CN113838132B - 一种基于卷积神经网络的单分子定位方法 - Google Patents
一种基于卷积神经网络的单分子定位方法 Download PDFInfo
- Publication number
- CN113838132B CN113838132B CN202111105737.6A CN202111105737A CN113838132B CN 113838132 B CN113838132 B CN 113838132B CN 202111105737 A CN202111105737 A CN 202111105737A CN 113838132 B CN113838132 B CN 113838132B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- neural network
- convolutional neural
- parameter information
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000004807 localization Effects 0.000 title claims description 15
- 239000002245 particle Substances 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010869 super-resolution microscopy Methods 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的单分子定位方法。包括：1)计算仿真出三维粒子图像，将三维粒子图像中的粒子编码为二维矩形，得到二维矩形的参数信息。2)将步骤1)中计算仿真出的三维粒子图像和对应的二维矩形参数信息组成数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型。3)测试过程中将单分子图像输入到步骤2)中训练好的网络中，得到预测的二维矩形参数信息。4)将步骤3)中预测的二维矩形的参数信息转换为单分子图像中粒子的信息，利用单分子图像中粒子的信息进行三维重建达到单分子定位的目的。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于卷积神经网络的单分子定位方法。
背景技术
单分子定位超分辨成像(SMLM)技术突破了衍射极限的限制，通过对单分子的定位和多次采集叠加就可实现超分辨的功能，为在生命科学、生物医学、化学科学、材料科学等需要对微小目标物质结构研究的领域提供了有效方法，并被广泛应用。
单分子定位超分辨成像(SMLM)技术一般由上千乃至上万帧的原始图像得到一幅超分辨图像。图像处理速度成了限制该技术发展的重要因素。Simon Gazagnes等人在《ISBI2017-IEEE International Symposium on Biomedical Imaging》中发表的《High densitymolecule localization for super-resolution microscopy using CEL0 based sparseapproximation》，通过加速稀疏恢复的方法来进行单分子的定位，该方法使用了FISTA算法，在保证精度的同时实现了对高密度分子的定位。但是该方法涉及一个耗时的迭代过程，仍然存在对单分子定位速度慢和图像处理的速度时间长的问题。
发明内容
本发明针对现有的单分子定位算法在实现超分辨时存在定位速度慢和图像处理时间长等问题，提出一种基于卷积神经网络的单分子定位方法，在卷积神经网络中的编码网络部分和解码网络部分的密集块之间加入了跳跃连接，利用密集块来提取图像中的特征信息，将低层特征信息和高层特征信息融合，帮助优化特征定位和细节信息处理，在保证定位精度的情况下实现加快了超分辨图像的定位速度和减少图像处理时间的目的。
一种基于卷积神经网络的单分子定位方法，其特征在于包括以下步骤：
1)利用角谱算法，随机生成三维粒子图像。
所述角谱算法可以根据刘宏展和纪越峰在《物理学报》中发表的《一种基于角谱理论的改进型相位恢复迭代算法》中的方法进行计算。
所述三维粒子图像，三维粒子图像中的粒子数为120到200的随机整数，三维粒子图像中的粒子参数信息由(x,y,z,R)表征，其中的x,y为粒子的质心坐标，z为轴向深度，轴向深度为0nm到750nm随机范围，R为粒子的半径，粒子的半径大小为2nm到15nm随机范围，三维粒子图像的像素尺寸为512*512。
2)将三维粒子图像中的粒子编码为二维矩形，得到二维矩形的参数信息，将三维粒子图像与对应的二维矩形的参数信息组成数据对。
所述二维矩形是将三维粒子图像中的所有粒子都进行编码，其中二维矩形的参数信息由中心坐标，灰度值和四边边长构成，二维矩形的中心坐标为粒子的质心坐标，二维矩形的灰度值由粒子的轴向深度通过公式C＝(255×z)/750计算得到，其中C为灰度值，z为每个粒子的轴向深度，二维矩形的四边边长由粒子的半径表示。
作为优选，数据对的数量大于9000组，其中取8000组数据对作为神经网络训练和验证的数据集，数据集中选取6000组数据用作训练集，剩下的2000组数据作为验证集。
3)把三维粒子图像，以及每个三维粒子图像对应的二维矩形参数信息数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型。
所述的卷积神经网络是由编码网络部分和解码网络部分组成，在编码网络部分和解码网络部分的对应位置处加入了跳跃连接结构。
所述编码网络部分由2层卷积层、4个密集块和4个最大值池化构成。第一个卷积层提取仿真出的三维粒子图像和其对应的二维矩形的参数信息的特征信息，将提取到的特征信息输入到密集块中，密集块将进一步的提取三维粒子图像和其对应的二维矩形的参数信息的特征信息，4个密集块之间由最大值池化连接，最大值池化负责对特征信息进行下采样。最后通过第二个卷积层将密集块提取出的所有三维粒子图像和其对应的二维矩形的参数信息的特征信息传输到解码网络部分。
所述密集块都是由4个密集层构成，每一个密集层都由依次连接的批标准化层、ReLU函数激活层和卷积层组成，每个密集层都从前一密集层获取输入，并通过跳跃连接结构将自己的特征信息传递给所有后续的密集层。
所述解码网络部分由1个卷积层、1个辍学层、4组上采样层和4个密集块构成。首先将由编码网络传输来的三维粒子图像和其对应的二维矩形的参数信息的特征信息通过一个辍学层，再通过上采样层将其特征信息传递到密集块中，每个上采样块都是一个转置卷积层，负责整合特征信息，并对特征信息进行上采样。解码网络部分的密集块与编码部分的密集块结构相同，4个密集块之间通过上采样层依次连接，最后通过卷积层将通过解码网络部分密集块的三维粒子图像和其对应的二维矩形的参数信息特征信息进行最后的整合。
所述跳跃连接结构起到了传递特征信息的作用，使得网络能够保留更多的特征信息的细节，帮助优化特征定位和细节信息处理。
4)将测试的单分子图像输入到训练好的卷积神经网络中进行测试，得到预测的与单分子图像中粒子所对应的二维矩形的参数信息。
5)对二维矩形的参数信息中的中心坐标，灰度值和四边边长进行转换，获得每个粒子的(x,y,z,R)信息，实现对单分子的定位目的。
与现有技术相比，本发明具有以下有益的技术效果：
与传统的单分子定位方法相比，本发明采用卷积神经网络的单分子定位方法在保证精度的同时减少了大量的计算时间。
附图说明
图1是本发明的卷积神经网络的结构图；
图2是本发明卷积神经网络中密集块的结构图；
图3是本发明预测得到的部分的二维矩形的参数信息。
具体实施方式
本发明提供的一种基于卷积神经网络的单分子定位方法，首先通过仿真软件使用角谱算法计算仿真，得到三维粒子图像，再将仿真出的三维粒子图像中的粒子编码为二维矩形，得到二维矩形信息，其中二维矩形参数信息由中心坐标，灰度值和四边边长构成。将三维粒子图像与对应的二维矩形的参数信息组成数据对。训练阶段，把三维粒子图像，以及对应的二维矩形参数信息数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与其对应的二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型。
本发明的卷积神经网络结构如图1所示，主要是由编码网络部分和解码网络部分组成。编码网络部分由2个卷积层，4个密集块和4个最大值池化构成。第一个卷积层提取仿真出的三维粒子图像和其对应的二维矩形的参数信息的特征信息，将提取到的特征信息输入到密集块中，密集块将进一步的提取三维粒子图像和其对应的二维矩形的参数信息的特征信息，再将第一个密集块的输出通过最大值池化输入到下一个密集块，最大值池化负责对特征信息进行下采样，这样依次通过4个密集块，最后通过第二个卷积层将密集块提取到的所有三维粒子图像和其对应的二维矩形的参数信息的特征信息传输到解码网络部分。解码网络部分由1个卷积层，1个辍学层，5组上采样层和4个密集块构成。辍学层防止了模型的过度拟合，每个上采样层都负责上调整特征映射的大小，解码网络部分的密集块与编码部分的密集块结构相同，密集块通过上采样层依次连接，卷积层的作用是对特征信息进行最后的整合以形成图像。编码网络和解码网络的对应位置加入了跳跃连接，帮助解码部分优化特征定位和细节信息处理。
密集块的结构如图2所示，密集块都是由4个密集层构成，每一个密集层都由依次连接的批标准化层、ReLU函数激活层和卷积层组成，每个密集层都从前一层获取输入，并通过跳跃连接结构将自己的特征信息传递给所有后续的密集层，这样，每个密集层都可以获得更多的特征信息，从而更好地检测提取粒子的特征。
测试阶段，将单分子图像输入到训练好的卷积神经网络中进行测试，得到与单分子图像中粒子所对应的二维矩形的参数信息的预测结果，如图3所示的为预测得到的部分二维矩形的参数信息。最后对二维矩形的参数信息中的中心坐标，灰度值和四边边长进行转换，获得每个粒子的(x,y,z,R)信息，实现对单分子的定位目的。
以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于卷积神经网络的单分子定位方法，其特征在于，该方法包括如下步骤：
1)随机生成三维粒子图像；
2)将步骤1)中随机生成的三维粒子图像中的粒子编码为二维矩形，得到二维矩形的参数信息，将三维粒子图像与对应的二维矩形的参数信息组成数据对；
3)将步骤1)随机生成的三维粒子图像和步骤2)中编码后的二维矩形的参数信息数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型；
4)将测试的单分子图像输入到步骤3)中训练好的卷积神经网络中进行测试，得到预测的与单分子图像中粒子所对应的二维矩形的参数信息；
5)将步骤4)中预测得到的二维矩形的参数信息中的中心坐标，灰度值和四边边长进行转换，获得每个粒子的(x ,y ,z ,R)信息，实现对单分子的定位目的；
步骤2)中所述的二维矩形的参数信息由中心坐标，灰度值和四边边长构成，其中中心坐标为三维粒子图像中粒子的质心坐标，灰度值由三维粒子图像中粒子的轴向深度通过公式C＝(255×z)/750计算得到，其中C为灰度值，z为每个粒子的轴向深度，四边边长由三维粒子图像中粒子的半径表示。
2.根据权利要求1所述的一种基于卷积神经网络的单分子定位方法，其特征在于，步骤3)中所述的卷积神经网络是由编码网络部分和解码网络部分组成，在编码网络部分和解码网络部分的对应位置处加入了跳跃连接结构。
3.根据权利要求2所述的一种基于卷积神经网络的单分子定位方法，其特征在于，所述的卷积神经网络中的编码网络部分由2层卷积层、4个密集块和4个最大值池化构成，卷积神经网络中的解码网络部分由1个卷积层、1个辍学层、4组上采样层和4个密集块构成。
4.根据权利要求3所述的一种基于卷积神经网络的单分子定位方法，其特征在于，所述的卷积神经网络中的密集块都是由4个密集层构成，每一个密集层都由依次连接的批标准化层、ReLU函数激活层和卷积层组成，每个密集层都从前一密集层获取输入，并通过跳跃连接结构将自己的特征信息传递给所有后续的密集层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111105737.6A CN113838132B (zh) | 2021-09-22 | 2021-09-22 | 一种基于卷积神经网络的单分子定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111105737.6A CN113838132B (zh) | 2021-09-22 | 2021-09-22 | 一种基于卷积神经网络的单分子定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113838132A CN113838132A (zh) | 2021-12-24 |
| CN113838132B true CN113838132B (zh) | 2023-08-04 |
Family
ID=78960296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111105737.6A Active CN113838132B (zh) | 2021-09-22 | 2021-09-22 | 一种基于卷积神经网络的单分子定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838132B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
| CN111310903A (zh) * | 2020-02-24 | 2020-06-19 | 清华大学 | 基于卷积神经网络的三维单分子定位系统 |
| CN112700499A (zh) * | 2020-11-04 | 2021-04-23 | 南京理工大学 | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 |
-
2021
- 2021-09-22 CN CN202111105737.6A patent/CN113838132B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
| CN111310903A (zh) * | 2020-02-24 | 2020-06-19 | 清华大学 | 基于卷积神经网络的三维单分子定位系统 |
| CN112700499A (zh) * | 2020-11-04 | 2021-04-23 | 南京理工大学 | 一种辐照环境下基于深度学习的视觉定位仿真方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113838132A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816593B (zh) | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 | |
| CN111080567B (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110570522B (zh) | 一种多视图三维重建方法 | |
| CN109949214A (zh) | 一种图像风格迁移方法及系统 | |
| CN113379601B (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
| Denninger et al. | 3d scene reconstruction from a single viewport | |
| CN114049435B (zh) | 一种基于Transformer模型的三维人体重建方法及系统 | |
| CN115035131A (zh) | U型自适应est的无人机遥感图像分割方法及系统 | |
| CN108108751A (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
| CN108921789A (zh) | 基于递归残差网络的超分辨率图像重建方法 | |
| CN108564606A (zh) | 基于图像转换的异源图像块匹配方法 | |
| CN109685716A (zh) | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 | |
| CN113379646A (zh) | 一种利用生成对抗网络进行稠密点云补全的算法 | |
| CN113870422A (zh) | 一种基于金字塔Transformer的点云重建方法、装置、设备及介质 | |
| CN111311530B (zh) | 基于方向滤波器及反卷积神经网络的多聚焦图像融合方法 | |
| CN108596222A (zh) | 基于反卷积神经网络的图像融合方法 | |
| Zhang et al. | Learning geometric transformation for point cloud completion | |
| CN116168067B (zh) | 基于深度学习的有监督多模态光场深度估计方法 | |
| CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
| CN116863053A (zh) | 一种基于知识蒸馏的点云渲染增强方法 | |
| CN103854015B (zh) | 基于联合稀疏描述的多姿态三维人脸识别方法 | |
| CN116452750A (zh) | 一种基于移动终端的物体三维重建方法 | |
| CN113838132B (zh) | 一种基于卷积神经网络的单分子定位方法 | |
| CN115661340B (zh) | 一种基于源信息融合的三维点云上采样方法与系统 | |
| CN114529794B (zh) | 一种红外与可见光图像融合方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |