CN110348569B - 基于卷积神经网络的实时光学层析方法和系统 - Google Patents

基于卷积神经网络的实时光学层析方法和系统 Download PDF

Info

Publication number
CN110348569B
CN110348569B CN201910649320.2A CN201910649320A CN110348569B CN 110348569 B CN110348569 B CN 110348569B CN 201910649320 A CN201910649320 A CN 201910649320A CN 110348569 B CN110348569 B CN 110348569B
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
wide
optical tomography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910649320.2A
Other languages
English (en)
Other versions
CN110348569A (zh
Inventor
龚辉
袁菁
张小宇
宁可夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910649320.2A priority Critical patent/CN110348569B/zh
Publication of CN110348569A publication Critical patent/CN110348569A/zh
Application granted granted Critical
Publication of CN110348569B publication Critical patent/CN110348569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于卷积神经网络的实时光学层析方法，通过搭建卷积神经网络，获取对比图像，拆分形成训练图像对，训练卷积神经网络，重建光学层析图像的步骤，从软件层面上对带有焦外信息干扰的宽场图像实现光学层析。这种方法大大地降低了精密光学器件的使用，减少了繁琐的光学系统的调试过程，节省了人力物力，并且能够实时进行处理，可以用于活体成像中。

Description

基于卷积神经网络的实时光学层析方法和系统
技术领域
本发明涉及图像处理技术，尤其是涉及一种基于卷积神经网络的实时光学层析方法及系统。
背景技术
在使用宽场显微镜对生物样本进行成像时，照明光会照亮视场附近的区域，从而造成光的信号散射。这种散射会影响光学系统采集到的生物样本信号，导致图像质量下降，信噪比降低。
当前，研究者们主要通过三类方法解决这一问题：一是使用共聚焦显微镜和结构光显微镜进行成像以保证图像的质量，因为共聚焦显微镜和结构光显微镜通过阻挡或消除背景光，只保留了焦面上的信号，从而达到光学层析的效果；二是使用光片照明显微镜和多光子显微镜进行成像以保证图像的质量，因为光片照明显微镜和多光子显微镜只激发焦面上的信号，因此抑制了背景信号的产生。三是使用反卷积算法，通过对光学显微镜的点扩散函数进行建模，逆向恢复出没有背景干扰的焦面图像。
前两类方法是从硬件层面上实现光学层析，它们或者需要对同一位置进行多次采集，或者需要进行点扫描，并且所有的样本均是直接通过较精密的光学显微镜成像获得较清楚的光学层析图像。这种方式不仅需要使用较复杂的光学器件，增加了光路的调试难度，而且降低了成像速度。第三类方法是基于软件的光学层析方法，它不需要复杂的光学硬件设施，但是它的缺点在于需要对光学显微镜的点扩散函数进行精确地建模，并且容易产生伪影，对噪声很敏感，图像重建时间很长，无法实时处理。因此，发明一种新的光学层析方法很有必要。
发明内容
本发明的目的在于克服上述技术不足，提出了一种基于卷积神经网络的实时光学层析方法，通过训练轻量型的卷积神经网络，从软件层面上对带有焦外信息干扰的宽场图像实现光学层析。这种方法大大地降低了精密光学器件的使用，减少了繁琐的光学系统的调试过程，节省了人力物力，并且能够实时进行处理，可以用于活体成像中。
为达到上述技术目的，本发明提供的一种基于卷积神经网络的实时光学层析方法，包括如下步骤：
S1搭建卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；S2获取对比图像：用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像；
S3拆分形成图像对：将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分，拆分后的图像尺寸大小为256×256像素，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；
S4训练卷积神经网络：设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；
S5重建光学层析图像：采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述步骤S3中所述的图像尺寸进行拆分，将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。
本发明还提供一种基于卷积神经网络的实时光学层析系统，用于实现上述方法，具体的系统包括：
卷积神经网络结构搭建模块，用于将网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；
获取对比图像模块，用于采用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像；
拆分形成图像对模块，用于将所述获取对比图像模块中的宽场图像和所述获取对比图像模块中的光学层析图像进行拆分，拆分后的图像尺寸大小为256×256像素，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；
训练卷积神经网络模块，用于设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述卷积神经网络结构搭建模块搭建的卷积神经网络结构，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；
重建光学层析图像模块，用于和获取对比图像模块相同的宽场显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述拆分形成图像对模块的尺寸进行拆分，将拆分后的新的宽场图像输入所述训练卷积神经网络模块得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。
附图说明
图1是采用脑作为样本，以脑成像为例对上述实时光学层析方法进行验证的效果图，其中(a)是用宽场显微镜拍摄的某一脑切片的某一位置的宽场图像，(b)是用结构光照明显微镜对(a)中的同一样本拍摄到的清晰焦面图像，(c)是经过本发明提供的基于卷积神经网络的实时光学层析方法对(a)中的图片进行处理后重建得到的光学层析图像，(a)、(b)、(c)三组图像中上面的为标记了神经元的图像，下面的为对胞体进行定位的图像。
图2是利用本发明方法对tdTomato标记的心脏组织样本进行成像的效果图，WF表示宽场显微镜拍摄的图像，SIM表示结构光显微镜拍摄的图像，CNN表示经过本发明方法处理后重建的光学层析图像。
图3是利用本发明方法对高尔基染色的的鼠脑组织进行成像的效果图，WF表示宽场显微镜拍摄的图像，SIM表示结构光显微镜拍摄的图像，CNN表示经过本发明方法处理后重建的光学层析图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例中以采用碘化丙啶染色的转基因标记荧光鼠脑组织的脑片作为样本来对本发明提供的一种基于卷积神经网络的实时光学层析方法进行验证，包括如下步骤：
S1搭建卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；
S2获取对比图像：用宽场显微镜和结构光照明显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像，均为像素大小为1024×1024的图像；
S3拆分形成图像对：将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分，拆分后得到16个图像尺寸大小为256×256像素的图像，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；
S4训练卷积神经网络：设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述步骤S1搭建的神经网络，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；
S5重建光学层析图像：采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述步骤S3中所述的图像尺寸进行拆分，将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。
本发明所提供的一种基于卷积神经网络的实时光学层析方法，首先搭建轻量级的卷积神经网络结构，然后通过光学显微镜获得一定数量的图像像素一一对齐的宽场图像与层析图像，通过拆分上述宽场图像与层析图像获得的图像对来训练搭建好的卷积神经网络从而获得训练完成的卷积神经网络。然后对于要获得新的光学层析图像时，不用再采用具有光学层析能力的显微镜，而只用采用简单的宽场荧光显微镜即可。将拍摄的宽场图像经过拆分后，输入训练完成的卷积神经网络中即可重建得到相应的光学层析图像，该方法大大地降低了精密光学器件的使用，减少了繁琐的光学系统的调试过程，并且具有实时处理的能力。
进一步地，为了训练步骤S1所述的卷积神经网络，所述步骤S3中经过拆分后的宽场图像与光学层析图像对设置为4000对。该图像对训练的时间为62min。
进一步地，若所述步骤S2中对同一样本直接拍摄得到的宽场图像和光学层析图像的像素不满足一一对齐，则利用配准算法将二者配准到同一平面上。为了保证通过卷积神经网络重建得到的层析图像的准确性，则需要保证用于对神经网络结构进行训练的图片对的像素一一对齐。
进一步地，所述步骤S3还包括将图像对的顺序打乱。打乱图像对的顺序使得训练完成的神经网络更加智能化，使得后期通过神经网络学习获得的光学层析图像更准确。
进一步地，所述步骤S3中拆分后的图像尺寸最好设置为256×256，这个与S1所述的卷积神经网络的感受野相接近，能够获得较好的重建效果。
进一步地，所述步骤S4中“用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络结构”的具体方法为采用监督学习的方法进行训练，并利用反向传播算法进行网络参数的调整。该方法保证了训练卷积神经网络结构的可实现性。
本发明中的样本选用脑，以脑成像为例对上述实时光学层析方法进行验证，如图1所示，其中，(a)是用宽场显微镜拍摄的某一脑切片的某一位置的宽场图像，(b)是用结构光照明显微镜对(a)中的同一样本拍摄到的清晰焦面图像，(c)是经过本发明提供的基于卷积神经网络的实时光学层析方法对(a)中的图片进行处理后重建得到的光学层析图像。直观地通过肉眼对比这三组图的清晰度可以看出，(a)的清晰度比(b)、(c)都要差，但(b)、(c)的清晰度差不多。另外，我们采用归一化均方根误差、结构相似性指标和二维相关性来定量评定重建结果的准确性。经过神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性分别为0.0181、0.9169和0.8803。这说明重建的结果和真实显微镜拍摄的图像是基本一致的。利用该方法，可以保证在宽场成像高通量的前提下，大大简化光路的结构，节省了人力和财力。由于网络采用编码器和解码器的U型对称结构，网络的参数比传统的深层残差卷积神经网络要少，输出图像的时间会加快。而且因为网络结构中有对称的降采样和升采样部分，因此输入的图像块的尺寸可以更大，网络输入和输出的图像尺寸均为256×256像素的图像块，重建图像时需要拆分的图像块数目较少，进一步缩短了图像重建的时间。对于按照步骤S1-S4训练完成的卷积神经网络，按照步骤S5重新对一张1024×1024像素大小的宽场图像进行重新建，首先按步骤S3所述的方法将待处理的宽场图像拆分成16个256×256像素的图像块，然后将这16个图像块输入所述步骤S4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像按顺序拼接得到上述1024×1024像素大小的宽场图像的重建的光学层析图像。将一张1024×1024像素大小的宽场图像通过训练完成的卷积神经网络进行重建获得光学层析图像的时间大约为0.07s，可以达到1秒15帧的视频速率，有希望应用于活体成像中。
实施例2
作为另一个实施例，我们将实施例1中所述步骤S3中经过拆分后的宽场图像与光学层析图像对设置为2000对，其他步骤与参数均一致，对本发明的光学层析方法进一步验证。该图像对训练的时间为33min。
对于图像重建的结果，我们仍然采用归一化均方根误差、结构相似性指标和二维相关性来定量评定重建结果的准确性。经过神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性分别为0.0237，0.8814，0.8637。这说明重建的结果和真实显微镜拍摄的图像是基本一致的。
实施例3
作为再一个实施例，我们将实施例1中所述步骤S3中经过拆分后的宽场图像与光学层析图像对设置为5000对，其他步骤与参数均一致，对本发明的光学层析方法进一步验证。该图像对训练的时间为76min。
对于图像重建的结果，我们仍然采用归一化均方根误差、结构相似性指标和二维相关性来定量评定重建结果的准确性。经过神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性分别为0.0174，0.9206和0.8829。这说明重建的结果和真实显微镜拍摄的图像是基本一致的。
从上述结果可看出，将图像对设置在2000-5000对这个范围，既保证了时间上不会花费太久，也保证了重建图像的质量。
实施例4
为了说明本发明方法并不限于某种特定的样本，对tdTomato标记的心脏组织做了同样的测试。所有步骤和参数与实施例1一致。结果如图2所示，其中WF为宽场显微镜拍摄的图像，由于背景荧光的干扰，可以看到宽场显微镜拍摄的图像对比度不高，图像的细节不清楚。SIM表示使用结构光显微镜拍摄的图像，结构光显微镜是一种具有光学层析能力的显微镜，它能够去除掉焦外背景荧光的干扰，提升图像的对比度和锐利度。CNN表示使用本发明方法，通过卷积神经网络恢复的图像，可以看到利用卷积神经网络算法恢复的图像和真实光学层析显微镜拍摄的图像质量是相当的。进一步计算了神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性，它们分别为0.0233，0.9188和0.9034。从定量分析的角度也说明重建的结果和真实显微镜拍摄的图像是基本一致的。因此本发明方法是可以作为一种稳定可靠的方法来代替光学层析显微镜。
实施例5
为了更进一步说明本发明方法并不限于某种特定的样本，对高尔基染色的鼠脑组织做了同样的测试。所有步骤和参数与实施例1一致。结果如图3所示，其中WF为宽场显微镜拍摄的图像，由于背景亮度很高，宽场显微镜拍摄的图像质量很差。SIM表示使用结构光显微镜拍摄的图像，利用具有光学层析能力的显微镜拍摄的图像对比度提升很大，图像清晰度得到了提升。CNN表示使用本发明方法，通过卷积神经网络恢复的图像，可以看到利用卷积神经网络算法恢复的图像和真实光学层析显微镜拍摄的图像质量是基本相同的，都明显去除了背景干扰，提升了图像清晰度和对比度。进一步计算了神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性，它们分别为0.0245，0.9032和0.8912。从定量分析的角度也说明重建的结果和真实显微镜拍摄的图像是基本一致的。因此本发明方法是可以作为一种稳定可靠的方法来代替光学层析显微镜。
本发明为完成上述基于卷积神经网络的实时光学层析方法，还提供一种基于卷积神经网络的实时光学层析系统，具体的系统包括：
卷积神经网络结构搭建模块，用于将网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；
获取对比图像模块，用于采用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像；
拆分形成图像对模块，用于将所述获取对比图像模块中的宽场图像和所述获取对比图像模块中的光学层析图像进行拆分，拆分后的图像尺寸大小为256×256像素，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；
训练卷积神经网络模块，用于设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述卷积神经网络结构搭建模块搭建的卷积神经网络结构，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；
重建光学层析图像模块，用于和获取对比图像模块相同的宽场显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像经过所述拆分形成图像对模块拆分后输入所述训练卷积神经网络模块得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种基于卷积神经网络的实时光学层析方法，其特征在于，包括如下步骤：
S1搭建卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；
S2获取对比图像：用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像，均为像素大小为1024×1024的图像；
S3拆分形成图像对：将所述步骤S2中的宽场图像和所述步骤S2中的光学层析图像进行拆分，拆分后得到16个图像尺寸大小为256×256像素的图像，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；
S4训练卷积神经网络：设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；
S5重建光学层析图像：采用具有与所述步骤S2中一致的宽场荧光显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述步骤S3中所述的图像片尺寸进行拆分，将拆分后的新的宽场图像输入所述步骤S4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。
2.根据权利要求1所述的基于卷积神经网络的实时光学层析方法，其特征在于，所述步骤S3中用于训练的所述图像对为2000-5000对。
3.根据权利要求1所述的基于卷积神经网络的实时光学层析方法，其特征在于，若所述步骤S2中对同一样本直接拍摄得到的宽场图像和光学层析图像的像素不满足一一对齐，则利用配准算法将二者配准到像素对齐的程度上。
4.根据权利要求2所述的基于卷积神经网络的实时光学层析方法，其特征在于，所述步骤S3还包括将所述图像对的顺序打乱。
5.根据权利要求2所述的基于卷积神经网络的实时光学层析方法，其特征在于，所述步骤S3中拆分后的图像的像素大小为256×256。
6.根据权利要求1-5任一所述的基于卷积神经网络的实时光学层析方法，其特征在于，所述步骤S4中“用拆分后一一对应的图像对训练所述步骤S1搭建的卷积神经网络结构”的具体方法为采用监督学习的方法进行训练，并利用反向传播算法进行参数的调整。
7.根据权利要求1-5任一所述的基于卷积神经网络的实时光学层析方法，其特征在于，所述步骤S5中对新样本进行拍摄的光学显微镜与所述步骤S1中的光学显微镜相同。
8.基于卷积神经网络的实时光学层析系统，其特征在于，包括：
卷积神经网络结构搭建模块，用于将网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；
获取对比图像模块，用于采用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像，均为像素大小为1024×1024的图像；
拆分形成图像对模块，用于将所述获取对比图像模块中的宽场图像和所述获取对比图像模块中的光学层析图像进行拆分，拆分后得到16个图像尺寸大小为256×256像素的图像，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；
训练卷积神经网络模块，用于设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述卷积神经网络结构搭建模块搭建的卷积神经网络结构，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；
重建光学层析图像模块，用于和获取对比图像模块相同的宽场显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述拆分形成图像对模块的尺寸进行拆分，将拆分后的新的宽场图像输入所述训练卷积神经网络模块得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。
CN201910649320.2A 2019-07-18 2019-07-18 基于卷积神经网络的实时光学层析方法和系统 Active CN110348569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910649320.2A CN110348569B (zh) 2019-07-18 2019-07-18 基于卷积神经网络的实时光学层析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910649320.2A CN110348569B (zh) 2019-07-18 2019-07-18 基于卷积神经网络的实时光学层析方法和系统

Publications (2)

Publication Number Publication Date
CN110348569A CN110348569A (zh) 2019-10-18
CN110348569B true CN110348569B (zh) 2021-10-08

Family

ID=68178678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910649320.2A Active CN110348569B (zh) 2019-07-18 2019-07-18 基于卷积神经网络的实时光学层析方法和系统

Country Status (1)

Country Link
CN (1) CN110348569B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103275B (zh) * 2019-12-24 2021-06-01 电子科技大学 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023225A (zh) * 2016-05-30 2016-10-12 华中科技大学 生物样本显微成像的自动修改成像区间方法
CN108805836A (zh) * 2018-05-31 2018-11-13 大连理工大学 基于深度往复式hdr变换的图像校正方法
CN109410129A (zh) * 2018-09-28 2019-03-01 大连理工大学 一种低光照图像场景理解的方法
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN109559358A (zh) * 2018-10-22 2019-04-02 天津大学 一种基于卷积自编码的图像样本升采样方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977981B (zh) * 2017-12-27 2020-11-24 深圳市优必选科技有限公司 基于双目视觉的场景解析方法、机器人及存储装置
CN108537754B (zh) * 2018-04-12 2021-06-22 哈尔滨工业大学 基于形变引导图的人脸图像复原系统
CN108549892B (zh) * 2018-06-12 2022-02-11 东南大学 一种基于卷积神经网络的车牌图像清晰化方法
CN108961180B (zh) * 2018-06-22 2020-09-25 理光软件研究所（北京）有限公司 红外图像增强方法及系统
CN109523584B (zh) * 2018-10-26 2021-04-20 上海联影医疗科技股份有限公司 图像处理方法、装置、多模态成像系统、存储介质及设备
CN109636737A (zh) * 2018-11-09 2019-04-16 建湖云飞数据科技有限公司 图片清晰化提升处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023225A (zh) * 2016-05-30 2016-10-12 华中科技大学 生物样本显微成像的自动修改成像区间方法
CN108805836A (zh) * 2018-05-31 2018-11-13 大连理工大学 基于深度往复式hdr变换的图像校正方法
CN109410129A (zh) * 2018-09-28 2019-03-01 大连理工大学 一种低光照图像场景理解的方法
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN109559358A (zh) * 2018-10-22 2019-04-02 天津大学 一种基于卷积自编码的图像样本升采样方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Deep learning optical-sectioning method";Xiaoyu Zhang等;《OPTICS EXPRESS》;20181112;第26卷(第23期);30762-30772页 *

Also Published As

Publication number Publication date
CN110348569A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
Li et al. Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising
Choi et al. Cycle-consistent deep learning approach to coherent noise reduction in optical diffraction tomography
JP2022516467A (ja) 深層学習を使用した表面への２次元蛍光波伝播システムと方法
Ford et al. Fast optically sectioned fluorescence HiLo endomicroscopy
CN110349237B (zh) 基于卷积神经网络的快速体成像方法
CN110378981A (zh) 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
Zhang et al. Rapid detection of neurons in widefield calcium imaging datasets after training with synthetic data
CN107621463A (zh) 图像重建方法、装置及显微成像装置
US10830701B2 (en) Scanned line angular projection microscopy
CN115220211A (zh) 基于深度学习和光场成像的显微成像系统及方法
CN110348569B (zh) 基于卷积神经网络的实时光学层析方法和系统
Chi et al. Hdr imaging with spatially varying signal-to-noise ratios
Xiao et al. Spatial resolution improved fluorescence lifetime imaging via deep learning
CN113269672B (zh) 一种超分辨率的细胞图像构建方法和系统
WO2020026093A1 (en) Device and process for capturing microscopic plenoptic images with turbulence attenuation
Sun et al. Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction
CN110243827B (zh) 一种适用于光透明样本的快速三维成像方法
Kornilova et al. Deep learning framework for mobile microscopy
US11256078B2 (en) Continuous scanning for localization microscopy
CN111352229B (zh) 一种虚拟多平面成像系统及方法
CN111402175B (zh) 一种高速扫描成像系统及方法
CN109978770A (zh) 基于深度神经网络的超分辨率场发射扫描电子显微镜
Zhang et al. Long-term mesoscale imaging of 3D intercellular dynamics across a mammalian organ
Kerepecky et al. Dual-cycle: Self-supervised dual-view fluorescence microscopy image reconstruction using cyclegan
Fanous et al. Neural Network-Based Processing and Reconstruction of Compromised Biophotonic Image Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant