CN113917677B - 一种三维超分辨率光片显微成像方法和显微镜 - Google Patents

一种三维超分辨率光片显微成像方法和显微镜 Download PDF

Info

Publication number
CN113917677B
CN113917677B CN202111059076.8A CN202111059076A CN113917677B CN 113917677 B CN113917677 B CN 113917677B CN 202111059076 A CN202111059076 A CN 202111059076A CN 113917677 B CN113917677 B CN 113917677B
Authority
CN
China
Prior art keywords
image
sub
dimensional super
resolution
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111059076.8A
Other languages
English (en)
Other versions
CN113917677A (zh
Inventor
李栋
乔畅
李子薇
张思微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Nathan Optoelectronic Technology Co ltd
Original Assignee
Beijing Nathan Optoelectronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nathan Optoelectronic Technology Co ltd filed Critical Beijing Nathan Optoelectronic Technology Co ltd
Priority to CN202111059076.8A priority Critical patent/CN113917677B/zh
Publication of CN113917677A publication Critical patent/CN113917677A/zh
Priority to PCT/CN2022/074257 priority patent/WO2023035543A1/zh
Application granted granted Critical
Publication of CN113917677B publication Critical patent/CN113917677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本申请公开了一种三维超分辨率光片显微成像方法和显微镜、特别是公开了显微成像方法，包括：以光片照明的方式对生物试样产生激发光以获得相关的荧光图像；由该荧光图像复制生成至少N个子图像，N为大于或等于2的整数，至少N个子图像中的第一子图像与荧光图像的角度相同，至少N个子图像中的第二子图像沿着第一方向相对于第一子图像被旋转一非零角度；第一子图像和第二子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得第一子图像的和第二子图像的一维超分辨率图像矩阵；将第一子图像的和第二子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；以及将经频域拼接的图像矩阵转换为二维超分辨率图像。本申请还包括对应的显微成像系统。

Description

一种三维超分辨率光片显微成像方法和显微镜
技术领域
本申请大体上涉及显微成像方法、特别是二维和/或三维超分辨率光片显微成像方法以及采用所述方法的相应的显微成像系统。
背景技术
光片荧光显微镜是一种新兴的显微成像技术，是生命活动过程动态观测的重要工具。区别于传统的宽场照明显微镜，光片显微镜采用照明与探测光路分离的设计，即照明光源与探测光路垂直，产生片状光源从侧面照明样品激发荧光。荧光图像由相机采集，再通过物镜轴向扫描或移动样本扫描获取三维信息。对比传统的宽场显微镜和共聚焦显微镜，光片显微镜具有更低的光毒性和光漂白性，且兼具了较高的轴向分辨率和较快的成像速度。这些优点使得光片荧光显微镜在以活体生物长时程三维动态观测为代表的生物医学成像领域中得到了广泛的应用。
光片显微镜与超分辨率技术结合可以使得成像分辨率突破衍射极限，有望揭示更精细的生物结构与细胞行为。近年来，随机激发光学重建超分辨显微技术(Stochasticoptical reconstruction microscopy，简称STORM技术)和受激发射损耗超分辨显微技术(Stimulated emission depletion microscopy，简称STED技术)等被应用在光片显微镜中，但是这些技术往往牺牲了成像速度，因此难以应用于毫秒级动态活动观测。与超分辨率结构光技术(Structured illumination microscopy，简称SIM技术)结合的光片显微镜可以在牺牲一定成像速度的条件下实现最高两倍分辨率提升的动态成像，但受限于光片照明结构光生成方式，仅能够得到一维方向的分辨率提升。此外，光片显微成像的轴向分辨率通常比横向分辨率低两至三倍，也限制了其在特定生物实验中的应用范围。开发高时空分辨率的三维各向同性超分辨率光片显微成像技术对于发育生物学、神经生物学等生命科学领域中的胚胎、组织、器官研究至关重要。
因此，期望能够以低成本且简单的方式来提升或者改进现有的技术或者设备，从而能够容易地实现基于二维或三维超分辨率显微成像。
发明内容
本申请的主要目的在于通过巧妙设计的显微成像技术来实现对生物样本、特别是动态生物样本二维或三维各向同性的超分辨率快速显微成像。
根据本申请的一个方面，提供了一种显微成像方法，包括：
以光片照明的方式对生物试样产生激发光以获得相关的荧光图像；
由该荧光图像复制生成至少N个子图像，其中，所述N为大于或等于2的整数，所述至少N个子图像中的第一子图像与所述荧光图像的角度相同，所述至少N个子图像中的第二子图像沿着第一方向相对于所述第一子图像被旋转一非零角度；
所述第一子图像和所述第二子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵；
将所述第二子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
将所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。因此，通过对光片激发产生的荧光图像进行一维超分辨率处理，并且同时以旋转后的同一图像也进行一维超分辨率处理并再次反向旋转，最终将两个经一维超分辨处理图像拼接为一个二维超分辨率图像，从而可以简单且快速地获得生物试样的二维超分辨率成像。本申请的这种方法特别是适合于活体生物试样的结构光超分辨率成像。
在本申请的上下文中，涉及“图像”和“子图像”的术语并非意味着“子图像”仅仅是“图像”的一部分，也可以意味着“子图像”具有与“图像”相同的像素点数。
可选地，令所述激发光透过所述生物试样后被反射以产生反射的光，从而激发所述生物试样以获得相关的反射激发荧光图像；
由所述反射激发荧光图像复制生成至少M个反射子图像，其中，所述M为大于或等于2的整数，所述至少M个反射子图像中的第一反射子图像与所述反射激发荧光图像的角度相同，所述至少M个反射子图像中的第二反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转所述非零角度；
所述第一反射子图像和所述第二反射子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵；
将所述第二反射子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
将所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
优选地，在以光片照明的方式对生物试样产生激发光以获得相关的荧光图像之前，如下训练所述卷积神经网络：
以至少三束相位不同的结构光激发所述生物试样获得至少三组相关的荧光图像；
以所述至少三组相关的荧光图像加和得到的图像作为训练所述卷积神经网络的输入；
将所述至少三组相关的荧光图像经标准重建算法获得的一维超分辨率图像作为训练所述卷积神经网络的真值。
可选地，所述卷积神经网络涉及U形神经网络模型、残差神经网络模型、或残差通道注意力卷积神经网络模型，在训练所述卷积神经网络时，利用损失函数对相关网络模型进行优化，所述损失函数包括均方误差(MSE)图像度量指标、结构相似性(SSIM)图像度量指标、或者它们的加权求和等；和/或，采用生成对抗神经网络的方式对相关网络模型进行训练；和/或，所述频域拼接涉及维纳滤波算法。
根据本申请的显微成像方法的神经网络训练方式，使得能够以光片照明的方式对生物试样激发产生荧光，进而对荧光图像进行超分辨处理，从而与单纯结构光激发荧光获取图像后再进行传统超分辨率重建相比，能够更加迅速地实现各向同性的超分辨率显微观测，为后续生物试样的动态显微观察提供基础。
可选地，所述非零角度的值＝180/(N-1)。
可选地，所述N为大于或等于2的整数，由该荧光图像复制生成的至少N个子图像包括所述第一子图像、所述第二子图像、…、第N子图像，所述第N子图像沿着所述第一方向相对于所述第一子图像被旋转并且所旋转角度的值＝(N-1)*180/N，并且所述第N子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第N子图像的一维超分辨率图像矩阵；
将所述第N子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(N-1)*180/N，将从所述第一子图像的一维超分辨率图像矩到所述第N子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。较多个子图像的拼接有助于进一步提高最终获得的图像的二维分辨率均匀性。
可选地，所述M为大于或等于2的整数，由该反射激发荧光图像复制生成的至少M个反射子图像包括所述第一反射子图像、所述第二反射子图像、…、第M反射子图像，所述第M反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转并且所旋转角度的值＝(M-1)*180/M，并且所述第M反射子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第M反射子图像的一维超分辨率图像矩阵；
将所述第M反射子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(M-1)*180/M，将从所述第一反射子图像的一维超分辨率图像矩至所述第M反射子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
可选地，移动所述生物试样，以使得所述结构光扫描所述生物试样，从而获得由所述结构光生成的二维超分辨率图像组和由所述反射的结构光所生成的二维超分辨率图像组，并且利用联合解卷积的方式将所述二维超分辨率图像组融合重建为三维超分辨率图像。
可选地，所述荧光图像和所述反射荧光图像为灰度图像，并且所述灰度图像以其所有的像素点所体现的灰度值为标准被转换成图像矩阵。
根据本申请的另一个方面，还提供了
一种显微成像系统，包括：
载物台，具有用于承载生物试样的平面；
照明单元，配置成选择性地产生朝向所述平面以结构光或光片照明的方式发光；
成像单元，配置成接收由所述照明单元发出的光对在所述载物台上承载的生物试样激发产生的荧光，所述照明单元的光轴与所述成像单元的光轴彼此垂直，并且所述成像单元的光轴与所述平面不平行；
计算单元，所述计算单元与所述成像单元数据相连，所述计算单元具有一计算系统，所述计算系统包含：
第一子模块，所述第一子模块接收所述成像单元因所述照明单元以光片照明的方式发光所产生的荧光图像，并且将所述荧光图像复制至少N个子图像，其中，所述N为大于2的整数，所述至少N个子图像中的第一子图像与所述荧光图像的角度相同，所述至少N个子图像中的第二子图像沿着第一方向相对于所述第一子图像被旋转一非零角度；
第二子模块，在所述第二子模块中，所述第一子图像和所述第二子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵；
第三子模块，在所述第三子模块中，将所述第二子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
第四子模块，在所述第四子模块中，将所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
可选地，如下训练所述卷积神经网络：
如下训练所述卷积神经网络：
以至少三束相位不同的结构光激发所述生物试样获得至少三组相关的荧光图像；
以所述至少三组相关的荧光图像加和得到的图像作为训练所述卷积神经网络的输入；
将所述至少三组相关的荧光图像经标准重建算法获得的一维超分辨率图像作为训练所述卷积神经网络的真值。
可选地，所述卷积神经网络涉及U形神经网络模型、残差神经网络模型、或残差通道注意力卷积神经网络模型，在训练所述卷积神经网络时，利用损失函数对相关网络模型进行优化，所述损失函数包括均方误差(MSE)图像度量指标、结构相似性(SSIM)图像度量指标、或者它们的加权求和等；和/或，采用生成对抗神经网络的方式对相关网络模型进行训练；和/或，所述频域拼接涉及维纳滤波算法。
可选地，所述至少三束相位不同的结构光是由所述照明单元发出的。
可选地，所述非零角度的值＝180/(N-1)。
可选地，在所述显微成像系统中，
所述N为大于或等于2的整数，由该荧光图像复制生成的至少N个子图像包括所述第一子图像、所述第二子图像、…、第N子图像，
在所述第一子模块中，所述第N子图像沿着所述第一方向相对于所述第一子图像被旋转并且所旋转角度的值＝(N-1)*180/N；
在所述第二子模块中，所述第N子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第N子图像的一维超分辨率图像矩阵；
在所述第三子模块中，将所述第N子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(N-1)*180/N；
在所述第四子模块中，将从所述第一子图像的一维超分辨率图像矩到所述第N子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵，并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
可选地，所述载物台包括载玻片，在所述载玻片的本体的顶表面上镀覆有反射膜，在所述反射膜的顶表面上镀覆有光学透明膜，所述载物台的平面由所述光学透明膜限定。
可选地，所述反射膜是金属银反射膜，所述光学透明膜是二氧化硅膜，并且所述二氧化硅膜的厚度是在600微米与700微米之间。
可选地，所述照明单元以光片照明的方式所发出的光透过所述生物试样后被所述反射膜反射以产生反射光，从而激发所述生物试样以获得相关的反射激发荧光；
所述第一子模块还接收所述成像单元因所述反射激发荧光产生的反射激发荧光图像，并且将由所述反射激发荧光图像复制生成至少M个反射子图像，其中，所述M为大于或等于2的整数，所述至少M个反射子图像中的第一反射子图像与所述反射激发荧光图像的角度相同，所述至少M个反射子图像中的第二反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转所述非零角度；
在所述第二子模块中，所述第一反射子图像和所述第二反射子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵；
在所述第三子模块中，将所述第二反射子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
在所述第四子模块中，将所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
可选地，所述M为大于或等于2的整数，由该反射激发荧光图像复制生成的至少M个反射子图像包括所述第一反射子图像、所述第二反射子图像、…、第M反射子图像，
在所述第一子模块中，所述第M反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转并且所旋转角度的值＝(M-1)*180/M；
在所述第二子模块中，所述第M反射子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第M反射子图像的一维超分辨率图像矩阵；
在所述第三子模块中，将所述第M反射子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(M-1)*180/M；
在所述第四子模块中，将从所述第一反射子图像的一维超分辨率图像矩至所述第M反射子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
可选地，所述载物台是能够移动的，以使得所述照明单元以光片照明的方式所发出的光扫描所述生物试样，因而由所述计算系统生成由所述光生成的二维超分辨率图像组和由所述反射的光所生成的二维超分辨率图像组，
所述计算系统还包括第五子模块，所述第五子模块配置成利用联合解卷积的方式将所述二维超分辨率图像组融合重建为三维超分辨率图像。
可选地，在所述显微成像系统中，所述荧光图像和所述反射荧光图像为灰度图像，并且所述灰度图像以其所有的像素点所体现的灰度值为标准被转换成图像矩阵。
可选地，所述照明单元的光轴与所述平面成45度或30度。
采用本申请的技术手段，可以利用光片照明的方式对活体生物试样进行显微荧光成像，并且可以克服一维超分辨率处理仅能够在单一方向上提高分辨率的不足，通过巧妙的设计实现二维或三维超分辨率成像处理，显著地改进了显微成像方法并提高了显微成像系统的整体性能。此外，本申请的显微成像方法和系统适用于从亚细胞到组织器官的不同尺寸的活体生物试样。
此外，三维超分辨率融合重建显微成像技术的采用能够有效地弥补在不同视角方向上的轴向分辨率与横向分辨率之间的差异不足，这对于发育生物学、神经生物学等生命科学领域中的胚胎、组织、器官研究是至关重要的。
附图说明
从下文的详细说明并结合下面的附图将能更全面地理解本申请的原理及各个方面。需要指出的是，各附图的比例出于清楚说明的目的有可能不一样，但这并不会影响对本申请的理解。在附图中：
图1是框图，示意性示出了一个用于处理图像的卷积神经网络的计算系统；
图2是框图，示意性示出了根据本申请的一个实施例的用于二维超分辨率图像处理的计算系统；
图3是示意图，介绍了根据本申请的计算系统的一个子模块的工作方式；
图4是示意图，介绍了根据本申请的计算系统的另一个子模块的工作方式；
图5是示意图，示意性示出了根据本申请的一个实施例的用于三维超分辨率图像处理的计算系统；
图6是示意图，示意性示出了根据本申请的一个实施例的显微成像系统；
图7是示意图，示意性示出了图6的显微成像系统如何工作。
具体实施方式
在本申请的各附图中，结构相同或功能相似的特征由相同的附图标记表示。
图1简单地示出了用于处理图像的卷积神经网络的计算系统。该计算系统包括输入端100、输出端300、以及二者之间的卷积计算模块200。通常，一幅彩色图像例如可以分解为三个图像层(红绿蓝、RGB)，并且每个图像层的分辨率是固定的。因此，以每个图像层的所有的像素点所体现的RGB标准颜色为标准可以将其分解成一个矩阵。因此，体现三个图像RBG层的三个矩阵可以分别输入到计算系统的卷积计算模块200中进行卷积神经网络计算，并且输出端300分别输出经过计算后的三个矩阵，然后这三个矩阵能够以像素点所体现的RGB标准颜色为标准再分别复原成三个图像RGB层，最终这三个图像RGB层被再次叠加为一幅彩色图像。当然，本领域技术人员应当清楚对于一幅灰度图而言，如果以所有的像素点所体现的灰度值为标准也可以将其分解成一个矩阵，并且输入到计算系统的卷积计算模块200中进行卷积神经网络计算；接着，输出端300可以输出经过计算后的一个矩阵；然后，这个矩阵能够以像素点所体现的灰度值为标准再复原成一幅灰度图，即经过卷积计算的灰度图。
在显微成像的技术领域中，通常仅仅针对灰度图进行处理。因此，以下描述的技术内容涉及灰度图的处理。但是，本领域技术人员应当清楚本申请描述的技术内容同样可以适用于彩色显微成像处理。
对于经由显微成像技术获得的较低分辨率的图像而言，可以通过卷积神经网络的计算系统来实现超分辨率成像，即利用卷积神经网络将较低分辨率的图像重建为较高分辨率的图像。
在传统的结构光照明光片荧光显微成像的处理技术中，没有涉及将光片照明荧光显微图像进行二维各向同性超分辨率处理。因此，为了能够以较为简单的方式快速且合适地实现针对光片照明荧光成像的图像的二维分辨率提升，本申请的技术方案提出了采用对待分析的显微图像进行多角度旋转、再将多角度旋转后的图像进行卷积神经网络处理、然后将处理后的图像进行旋转回正并进行频域拼接的图像处理方式。
以图2为例，介绍根据本申请的一个实施例的用于二维超分辨率图像处理的计算系统。该计算系统包括输入端10、输出端30、以及位于二者之间的计算模块20。输入端10、输出端30可以与参照图1介绍的输入端100、输出端300类似地接收图像矩阵并且输出经模块20处理后的图像矩阵。替代地，本文描述的输入端也可以理解为直接接收图像并将图像依据需要转换为图像矩阵的输入端，并且本文描述的输出端也可以理解为将待输出的图像矩阵可以直接转换为图像的输出端，其中，图像与相关矩阵之间的转换能够以本领域技术人员熟知的任何合适的方式来实现。
根据本申请的实施例，计算模块20可以包括多个子模块21、22、23、24，其中，子模块21可以用于将经输入端10输入或处理的图像矩阵以任意角度进行旋转处理；子模块22可以用于对图像矩阵进行卷积神经网络计算；子模块23可以用于将多个图像矩阵以任意角度进行旋转处理；并且子模块24可以用于以频域拼接的方式对多个图像矩阵进行处理。这些子模块21、22、23、24彼此依次串联，也就是说前一个模块的输出可以作为后一个模块的输出。
本领域技术人员应当清楚，计算模块20能够以计算机软件的方式来实现，从而本申请中描述的方法、计算系统、计算模块能够以软件编码的方式存储在计算机中，并依据需要由计算机运行来实现。
在子模块21和子模块23中，对图像矩阵进行任意角度旋转的方式可以采用本领域技术人员熟知的任何合适的算法，因此在本申请文件中将不再冗述。在子模块22中，对图像矩阵进行卷积神经网络计算所涉及的卷积神经网络模型包括但不限于U形神经网络模型、残差神经网络模型、残差通道注意力卷积神经网络模型等。
在光片荧光显微成像设备中，期望以光片照明的方式对所要观察的物体产生激发光，从而使得激发光以面方式聚焦，进而获得最佳的激发荧光观测效果。因此，作为一种简单易行的产生光片照明的方式，可以对光片荧光显微成像设备中的照明单元的物镜上游的光路中的相关部件进行配置，使得由照明单元的物镜射出的结构光发生“抖动”，从而确保根据需要从照明单元以光片照明的方式发出激发光。
传统地，结构光照明光片显微镜需要使用结构光激发荧光获取图像进而通过超分辨率处理来获得图像分辨率的提升，无法针对光片照明方式获得的荧光图像进行超分辨率处理。此外，在利用结构光激发荧光获取图像通常需要利用多束相位不同的结构光产生多组相位不同的激发荧光图像，不利于显微动态成像。因此，根据本申请的技术方案，在子模块22的使用过程中，对图像矩阵进行卷积神经网络能够将以光片照明方式激发获得的荧光图像或图像矩阵作为输入来产生一维超分辨率图像或图像矩阵，从而显著提升了成像速度，进而为后续显微动态成像提供基础。
因此，为了训练子模块22的卷积神经网络，本申请提出了如下的方式。首先，以多束(例如三束)相位不同的结构光作为激发光入射生物试样、活的生物试样从而产生多组相位不同的荧光图像。然后，以这多组相位不同的荧光图像加和得到一低分辨率(即，衍射极限分辨率)图像作为训练卷积神经网络的输入。接着，独立地再利用上述多组相位不同的荧光图像以本领域技术人员熟知的标准重建算法(例如参考Bi-Chang Chen等人的“Latticelight-sheet microscopy:Imaging molecules to embryos at high spatiotemporalresolution”，SCIENCE，VOL 346ISSUE 6208、2014年10月)获得一维超分辨率图像作为训练卷积神经网络的真值，从而根据本领域技术人员熟知的训练方法对子模块22的卷积神经网络进行训练。可选地，在训练卷积神经网络模型时以生成对抗网络为基础，其中生成网络部分为残差网络结构，并引入低频空间分量信息长程传递和通道注意力机制。对抗网络部分为多层卷积网络。针对显微图像的超分辨率目标，利用损失函数对所选定的网络模型进行优化时，所述损失函数包括均方误差(MSE)图像度量指标、结构相似性(SSIM)图像度量指标、或者它们的加权求和等；同时，对网络模型进行训练时可以采用生成对抗神经网络的方式，例如同时训练一个生成器模型和一个判别器模型。总之，子模块22中的卷积神经网络模型能够以本领域技术人员所熟知的任何合适的方式选取并且进行训练。
在子模块24中，可以将多个经单一方向的超分辨率处理的图像矩阵利用频域拼接的方式合成为一个图像矩阵、即一个二维超分辨率图像矩阵。作为一个示例，这里的频域拼接可以包括将多个图像矩阵经过傅里叶变化转换成频域数据、再利用合适的算法例如维纳滤波算法将频域数据中的各频域分量进行拼接，例如所采用的公式可以是
Figure BDA0003253971290000121
其中，Fi表示第i方向的一维超分辨率图像矩阵的频域信息、OTF0和OTFi表示光学传递函数以及第i方向的超分辨率的光学传递函数高频分量、ω表示维纳滤波参数。然后，经过拼接的频域分量可以通过傅里叶反变换生成二维超分辨率图像矩阵。当然，本领域技术人员应当清楚，任何其它合适的频域拼接方法也可以在本申请中采用。
为了解释根据本申请的子模块22的运行原理，以下参照附图3举例介绍。本领域技术人员应当清楚，参照附图3所介绍的示例仅仅是示意性的示例、并且并不以任何方式约束本申请的保护范围。
在图3中，A可以代表以光片照明的方式对生物试样、活的生物试样产生激发光从而激发荧光进而获得的荧光显微图像。由图像A复制生成三个图像，其中，A1代表与显微图像A相比角度完全相同的图像。在图3中，X所指示的方向代表经由如图2中的子模块22所进行卷积神经网络处理后的在分辨率方面得到加强的单一方向。此外，A2代表将显微图像A1或A相对于方向X顺时针旋转θ(＝60度)所获得的显微图像，A3代表将显微图像A1或A相对于方向X顺时针旋转2θ(＝2*60＝120度)所获得的显微图像。然后，这三个显微图像A1、A2、A3可以分布如之前所提及的方式被转换成相应的图像矩阵。然后，体现显微图像A1、A2、A3的这些图像矩阵可以输入到如图1所示的计算模块200或如图2所示的子模块22中，从而可以分别产生与经处理的图像矩阵对应的一维超分辨率图像B1、B2、B3，其中这些一维超分辨率图像在单一方向、例如X方向上的分辨率可以得到显著的加强。最后，获得与一维超分辨率图像B1的角度完全一致输出的图像C1、与图像B2相比逆时针方向旋转θ(＝60度)的图像C2、以及与图像B3相比逆时针方向旋转2θ(＝120度)的图像C3。
应当清楚的是，在上述处理过程中，子模块22中的卷积神经网络模型已经根据如上所提及的训练方式被训练完毕。因此，以光片照明的方式获得的荧光显微图像在经过卷积神经网络模型处理后可以直接获得一维超分辨率图像，从而与利用结构光进行荧光成像相比，可以显著节省处理时间、进而为后续三维和/或动态显微成像提供基础。
本领域技术人员应当清楚，在本申请的上下文中涉及“以光片照明的模式”或者“以光片照明的模式产生激发光”意味着通过结构光“抖动”(如之前描述所提及的)或者也可以通过以本领域技术人员熟知的高斯光束或贝塞尔光束扫描的方式来对生物试样产生激发光片。
为了解释根据本申请的子模块24的运行原理，以下参照附图4举例介绍。图3中的图像C1、C2、C3分别可以作为如图2所示的子模块24的输入。为了清楚，在图4中针对图像C1、C2、C3中的同一个位置的特定局部的像素区域，分别由C11、C21、C31代表。应当清楚的是，与图像A相比，图像C1在X方向上的分辨率得到显著加强，图像C2在与C1顺时针相差θ(＝60度)的方向上的分辨率得到显著加强，图像C3在与C1顺时针相差2θ(＝120度)的方向上分辨率得到显著加强。这一点，从相应的图像像素区域C11、C21、C31可以明显地看出。然后，这些图像C1、C2、C3经由子模块24进行频域拼接处理，最终合成获得图像D，其中D1代表与特定局部对应的像素区域。从D1可以看出，由于合成使得该特定局部在多个方向上的像素分辨率得到加强，从而对于整体的图像D而言，可以认为图像整体在二维方向上的分辨率得到了加强。
因为对于显微成像领域而言，生物样本结构具有各向异性的特征，所以采用以上介绍的原理训练卷积神经网络模型仅针对单一方向例如X方向进行训练，仍可以通过以不同方向旋转图像进而进行一维超分辨率处理、最终进行频域拼接，可以快速且有效地实现二维超分辨率图像处理。
本领域技术人员应当清楚的是，在图3中虽然仅仅涉及了以θ＝60度或2倍数角度的图像旋转角度，但是任何合适的图像旋转角度也可以在本申请的技术方案中采用。此外，虽然在所示的示例中采用了三个图像A1、A2、A3进行处理，但是本领域技术人员应当清楚更少个或者更多个图像也可以用于进行相应处理。例如，两个分别角度相差90度的图像可以同样用于如图3和/或4所示的示例中，或者更多个角度不同的图像也可以用于如图3和/或4所示的示例中。
应当清楚的是，角度θ值的选取是与输入子模块22的将被处理的以光片照明模式获得的荧光图像的数量相关联的。例如，在图3所示的实施例中，所输入的荧光图像的数量是3，则θ＝180/3＝60。再例如，如果所要输入子模块22的荧光图像的数量是2，则θ＝180/2＝90，这意味着需要仅仅以90度旋转一个输入的荧光图像。再例如，如果所要输入子模块22的荧光图像的数量是5，则θ＝180/5＝36，这意味着在进行处理时，第一个荧光图像无需旋转、第二个荧光图像先以θ＝36度旋转、第三个荧光图像先以2θ＝72度旋转、第四个荧光图像先以3θ＝108度旋转、第四个荧光图像先以4θ＝144度旋转，分别经过卷积神经网络处理之后相应地被反向旋转并进行频领拼接处理。
图5示意性示出了根据本申请的一个实施例的用于三维超分辨率图像处理的计算系统，其中，与图2所示相同的附图标记所代表的特征的功能和原理可以参见图2、3、4所介绍的内容。在图5所示的计算系统中，计算模块20'位于输入端10与输出端30之间，该计算模块20'可以包括如图2所示的计算模块20以及图像融合重建模块40。该图像融合重建模块40可以利用针对同一物体的两个以上的二维图像(例如针对该物体同时获得的两个以上不同视角的二维图像)通过联合解卷积的方式实现三维图像重建。本领域技术人员应当清楚，图像融合重建模块40能够以任何图像处理技术领域中熟知的三维图像重建方法来实现，例如可以采用商业三维重建软件如Avizo、Amira。例如，对于两组分别以不同视角观察同一物体的图像数据，先令这两组图像数据进行空间对准；然后，利用计算模块20对这两组图像数据进行二维超分辨率处理；接着，利用融合重建模块40以联合解卷积方法将经二维超分辨率处理的两组不同视角的图像数据进行融合重建，从而获得物体的三维超分辨率图像数据。这里，联合解卷积方法的模型选取可以为图像处理领域中任何已知的模型。仅作为一个示例，联合解卷积方法的模型可以参见Stephan Preibisch等人的《Effcient Bayesian-based Multiview Deconvolution》(Nature Methods、VOL.11、NO.6、2014年6月)。
可以理解的是，对于一个三维方向近似均匀的生物样本而言，如果能够采用两个视角同时进行观察检测，那么两组不同视角中的第一视角的高分辨率横向信息可以弥补第二视角的轴向分辨率的不足；同样地，第二视角的高分辨率横向信息可以弥补第一视角的轴向分辨率的不足。因此，计算模块20'能够高效地实现生物样本的三维超分辨率图像重建。
此外，根据本申请的技术方案，对于待处理的两个视角的荧光图像数据而言，还可以对之进行预处理，从而可以消除荧光图像数据中出现的因光反射所导致的背景引荧光信号。同时，两个视角的荧光图像数据可以被分割为两组不同的观测视角的图像数据，再对这两组不同的观测视角的图像数据进行空间对准，方便后续的图像数据处理。
图6示意性示出了根据本申请的一个实施例的显微成像系统1000、特别是光片显微成像系统。该显微成像系统1000包括照明单元1100、成像单元1200、载物台1300、与成像单元1200数据相连以便处理由成像单元1200所获取的图像数据的计算单元1400。照明单元1100可以配置成根据需要可以选择性地产生光片或者结构光，从而相应地针对在载物台1300上放置的生物样本产生激发光。特别地，光片的产生是由于照明单元1100所产生的结构光出现“抖动”(如之前描述的内容所介绍那样)。成像单元1200配置成获取并记录光信息。特别地，成像单元1200被配置成检测在生物样本受到光激发后产生的荧光。载物台1300例如可以包括载玻片。照明单元1100和成像单元1200各自具有光轴，并且二者的光轴彼此以直角布置，同时任何一个光轴与载物台1300的载玻片的平面成非零的夹角。在本申请的上下文中，载玻片也可以直接用附图标记1300表示。例如，如图6中的放大虚线圆圈所示，载玻片1300包括标准载玻片本体1301，其以平坦片材方式成形。在载玻片本体1301的顶表面上镀覆有一层反射膜，例如金属银反射膜1302。同时，在该反射膜1302的与载玻片本体1301相反的表面上镀覆有光学透明膜、例如二氧化硅膜1303。各膜的厚度可以依据需要而定。在一优选的实施例中，二氧化硅膜1303可以是在600微米与700微米之间。因此，光学透明膜或者说二氧化硅膜1303限定了载玻片1300的用于在其上放置生物试样的暴露表面。计算单元1400与成像单元1200数据相连意味着由成像单元1200所获取的生物样本受激产生的荧光的图像可以被矩阵化处理，并且矩阵化处理的数据可以进而由计算单元1400进一步处理。计算单元1400例如可以包括如图2或者图3所示的计算系统，或者任何其它合适的能够体现如图2或者图3所示的计算系统的计算机软硬件。此外，本领域技术人员应当清楚，由计算单元1400所输出的处理后的数据可以经由外接的显示屏(未示出)显示和/或存储在数据存储装置内，随后依据需要读取。
此外，在根据本申请的显微成像系统1000中，可以为载物台1300配置驱动机构(未示出)，使得载物台1300可以根据需要移动，从而实现对其上布置的生物试样进行成像显微时的光片扫描。替代地，也可以为照明单元1100、成像单元1200配置实现二者联动的驱动机构(未示出)，从而也可以实现对生物试样进行成像显微时的光片扫描。
以下参照图7示意性地说明如图6所示的显微成像系统1000的工作原理。如图所示，一个生物试样2000置于显微成像系统1000的载玻片1300的暴露表面上。由照明单元1100朝向生物试样2000产生激发光片。该激发光片因而会使得生物试样2000产生荧光信号，该荧光信号因而形成了能够由成像单元1200所能够获取并记录的第一荧光视角信号V1。然后，由照明单元1100的产生激发光片会在透过生物试样2000后会进一步透过载玻片1300的二氧化硅膜1303，并因而由金属银反射膜1302反射。该反射的激发光片转而射向生物试样2000，进一步激发产生荧光信号，该荧光信号因而形成了能够由成像单元1200所能够获取并记录的第二荧光视角信号V2。因此，这种反射的激发光片经生物试样2000产生的第二荧光视角信号V2可以认为形成了透过金属银反射膜1302可由成像单元1200的生物试样2000的虚像。因为由第一荧光视角信号V1所形成的生物试样2000的实像以及由第二荧光视角信号V2所形成的生物试样2000的虚像可以位于成像单元1200的探测焦平面，所以生物试样2000的实像以及虚像可以同时由成像单元1200获取。第一荧光视角信号V1和第二荧光视角信号V2同时携带了同一生物试样2000的不同部位的信息，同时第二荧光视角信号V2所形成的虚像将原本沿成像单元的物镜轴向分布或者主要以轴向分布的荧光信号镜像转换为横向分布或者主要以横向分布的信号。因此，正如之前所提及的，由于两个不同视角的横向分辨率和轴向分辨率可以相互弥补，所以当将两个视角的二维超分辨率信息进行融合重建后，可以获得三维超分辨率信息。在一个优选的实施例中，当照明单元1100的光轴与载玻片1300呈45度时，第二荧光视角信号V2所形成的虚像将原本沿成像单元的物镜轴向分布的荧光信号镜像翻转为横向分布的信号，此时两个不同视角的横向分辨率和轴向分辨率可以相互弥补的效果达到最佳。当然本领域技术人员应当清楚，其它角度例如30度等也可以在本申请中采用。
根据本申请的显微成像系统1000，利用其计算单元1400利用如图2所示的计算系统或者如图5所示的计算系统可以选择性地对生物试样2000进行二维超分辨率显微成像或者三维超分辨率显微成像。此外，计算单元1400还可以控制如图2所示的计算系统或者如图5所示的计算系统中的子模块22的卷积神经网络进行如之前所描述的那样进行训练。应当清楚的是，训练也可以是采用与显微成像系统1000独立的另外的显微成像系统来实现，从而使得显微成像系统1000直接使用经过训练后的子模块22。
在对生物试样2000进行二维超分辨率显微成像时，如图7所示，针对照明单元1100的激发光片照射，同时生成静止的生物试样2000的实像(由V1造成)和虚像(由V2造成)并且由成像单元1200获取并记录。本领域技术人员应当清楚的是，由于所生成的静止的生物试样2000的荧光实像(由V1造成)和荧光虚像(由V2造成)可以同时位于成像单元1200的探测焦平面上，因此它们可以同时作为一幅图像产生。根据需要，该幅图像可以彼此分割从而产生单独的实像图像和虚像图像。接着，由计算单元1400利用如图2所示的计算系统可以分别获得该实像的二维超分辨率图像以及该虚像的二维超分辨率图像。
作为一个替代，显微成像系统1000的载玻片1300也可以仅包括标准载玻片本体1301，即没有反射膜1302和光学透明膜、例如二氧化硅膜1303在其上设置。因此，这种替代的显微成像系统1000的改型可以如上所述地仅生成生物试样2000的二维超分辨率显微图像。
在需要对生物试样2000进行三维超分辨率显微成像时，如图7所示，针对照明单元1100的激发光片照射，同时生成生物试样2000的荧光实像(由V1造成)和荧光虚像(由V2造成)并且由成像单元1200获取并记录。在照明单元1100进行激发光片照射以及成像单元1200获取并记录荧光信息的同时，生物试样2000可以被移动。这样，随着生物试样2000的移动，在每个步频下可以各形成一个实像的二维超分辨率图像以及一个虚像的二维超分辨率图像。这样，多组实像的二维超分辨率图像以及多组虚像的二维超分辨率图像得以产生。所述多组实像的二维超分辨率图像可以体现有关生物试样2000的实像三维超分辨率信息，并且所述多组虚像的二维超分辨率图像可以体现有关生物试样的虚像三维超分辨率信息。接着，计算单元1400可以利用如图5所示的计算系统对多组实像的二维超分辨率图像以及多组虚像的二维超分辨率图像进行融合重建生成三维超分辨率显微图像。
本申请的技术方案可以实现成像单元的单幅拍摄的二维超分辨率显微成像和/或多幅拍摄的三维超分辨率成像，适用于活体生物样品精细结构静态或动态成像，突破传统的光片显微镜的成像性能。
尽管这里详细描述了本申请的特定实施方式，但它们仅仅是为了解释的目的而给出，而不应认为它们对本申请的范围构成限制。此外，本领域技术人员应当清楚，本说明书所描述的各实施例可以彼此相互组合使用。在不脱离本申请精神和范围的前提下，各种替换、变更和改造可被构想出来。

Claims (24)

1.一种显微成像方法，包括：
以光片照明的方式对生物试样产生激发光以获得相关的荧光图像；
由该荧光图像复制生成N个子图像，其中，所述N为大于或等于2的整数，所述N个子图像中的第一子图像与所述荧光图像的角度相同，所述N个子图像中的第二子图像沿着第一方向相对于所述第一子图像被旋转一非零角度；
所述第一子图像和所述第二子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵；
将所述第二子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
将所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像，其中，在以光片照明的方式对生物试样产生激发光以获得相关的荧光图像之前，如下训练所述卷积神经网络：
以至少三束相位不同的结构光激发所述生物试样获得至少三组相关的荧光图像；
以所述至少三组相关的荧光图像加和得到的图像作为训练所述卷积神经网络的输入；
将所述至少三组相关的荧光图像经标准重建算法获得的一维超分辨率图像作为训练所述卷积神经网络的真值。
2.根据权利要求1所述的显微成像方法，其特征在于，令所述激发光透过所述生物试样后被反射以产生反射的光，从而激发所述生物试样以获得相关的反射激发荧光图像；
由所述反射激发荧光图像复制生成M个反射子图像，其中，所述M为大于或等于2的整数，所述M个反射子图像中的第一反射子图像与所述反射激发荧光图像的角度相同，所述M个反射子图像中的第二反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转所述非零角度；
所述第一反射子图像和所述第二反射子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵；
将所述第二反射子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
将所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
3.根据权利要求2所述的显微成像方法，其特征在于，所述卷积神经网络涉及U形神经网络模型、残差神经网络模型、或残差通道注意力卷积神经网络模型，在训练所述卷积神经网络时，利用损失函数对相关网络模型进行优化，所述损失函数包括均方误差(MSE)图像度量指标、结构相似性(SSIM)图像度量指标、或者它们的加权求和；和/或，采用生成对抗神经网络的方式对相关网络模型进行训练；和/或，所述频域拼接涉及维纳滤波算法。
4.根据权利要求1或2所述的显微成像方法，其特征在于，所述非零角度的值＝180/(N-1)。
5.根据权利要求1所述的显微成像方法，其特征在于，所述N为大于或等于2的整数，由该荧光图像复制生成的N个子图像包括所述第一子图像、所述第二子图像、…、第N子图像，所述第N子图像沿着所述第一方向相对于所述第一子图像被旋转并且所旋转角度的值＝(N-1)*180/N，并且所述第N子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第N子图像的一维超分辨率图像矩阵；
将所述第N子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(N-1)*180/N，将从所述第一子图像的一维超分辨率图像矩到所述第N子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
6.根据权利要求2或3所述的显微成像方法，其特征在于，所述N为大于或等于2的整数，由该荧光图像复制生成的N个子图像包括所述第一子图像、所述第二子图像、…、第N子图像，所述第N子图像沿着所述第一方向相对于所述第一子图像被旋转并且所旋转角度的值＝(N-1)*180/N，并且所述第N子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第N子图像的一维超分辨率图像矩阵；
将所述第N子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(N-1)*180/N，将从所述第一子图像的一维超分辨率图像矩到所述第N子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
7.根据权利要求6所述的显微成像方法，其特征在于，所述M为大于或等于2的整数，由该反射激发荧光图像复制生成的M个反射子图像包括所述第一反射子图像、所述第二反射子图像、…、第M反射子图像，所述第M反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转并且所旋转角度的值＝(M-1)*180/M，并且所述第M反射子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第M反射子图像的一维超分辨率图像矩阵；
将所述第M反射子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(M-1)*180/M，将从所述第一反射子图像的一维超分辨率图像矩至所述第M反射子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
8.根据权利要求7所述的显微成像方法，其特征在于，移动所述生物试样，以使得所述光片扫描所述生物试样，从而获得由所述光片生成的二维超分辨率图像组和由所述反射的光所生成的二维超分辨率图像组，并且利用联合解卷积的方式将所述二维超分辨率图像组融合重建为三维超分辨率图像。
9.根据权利要求6所述的显微成像方法，其特征在于，所述荧光图像和所述反射激发荧光图像为灰度图像，并且所述灰度图像以其所有的像素点所体现的灰度值为标准被转换成图像矩阵。
10.根据权利要求1所述的显微成像方法，其特征在于，在以光片照明的方式对生物试样产生激发光以获得相关的荧光图像之前，如下训练所述卷积神经网络：
以至少三束相位不同的结构光激发所述生物试样获得至少三组相关的荧光图像；
以所述至少三组相关的荧光图像加和得到的图像作为训练所述卷积神经网络的输入；
将所述至少三组相关的荧光图像经标准重建算法获得的一维超分辨率图像作为训练所述卷积神经网络的真值。
11.根据权利要求7所述的显微成像方法，其特征在于，所述荧光图像和所述反射激发荧光图像为灰度图像，并且所述灰度图像以其所有的像素点所体现的灰度值为标准被转换成图像矩阵。
12.根据权利要求1所述的显微成像方法，其特征在于，所述N为大于或等于2的整数，由该荧光图像复制生成的N个子图像包括所述第一子图像、所述第二子图像、…、第N子图像，所述第N子图像沿着所述第一方向相对于所述第一子图像被旋转并且所旋转角度的值＝(N-1)*180/N，并且所述第N子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第N子图像的一维超分辨率图像矩阵；
将所述第N子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(N-1)*180/N，将从所述第一子图像的一维超分辨率图像矩到所述第N子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；以及
将经频域拼接的图像矩阵转换为二维超分辨率图像。
13.一种显微成像系统，包括：
载物台，具有用于承载生物试样的平面；
照明单元，配置成选择性地产生朝向所述平面以结构光或光片照明的方式发光；
成像单元，配置成接收由所述照明单元发出的光对在所述载物台上承载的生物试样激发产生的荧光，所述照明单元的光轴与所述成像单元的光轴彼此垂直，并且所述成像单元的光轴与所述平面不平行；
计算单元，所述计算单元与所述成像单元数据相连，所述计算单元具有一计算系统，所述计算系统包含：
第一子模块，所述第一子模块接收所述成像单元因所述照明单元以光片照明的方式发光所产生的荧光图像，并且将所述荧光图像复制N个子图像，其中，所述N为大于2的整数，所述N个子图像中的第一子图像与所述荧光图像的角度相同，所述N个子图像中的第二子图像沿着第一方向相对于所述第一子图像被旋转一非零角度；
第二子模块，在所述第二子模块中，所述第一子图像和所述第二子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵，其中，如下训练所述卷积神经网络：
以至少三束相位不同的结构光激发所述生物试样获得至少三组相关的荧光图像；
以所述至少三组相关的荧光图像加和得到的图像作为训练所述卷积神经网络的输入；
将所述至少三组相关的荧光图像经标准重建算法获得的一维超分辨率图像作为训练所述卷积神经网络的真值；
第三子模块，在所述第三子模块中，将所述第二子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
第四子模块，在所述第四子模块中，将所述第一子图像的和所述第二子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
14.根据权利要求13所述的显微成像系统，其特征在于，所述卷积神经网络涉及U形神经网络模型、残差神经网络模型、或残差通道注意力卷积神经网络模型，在训练所述卷积神经网络时，利用损失函数对相关网络模型进行优化，所述损失函数包括均方误差(MSE)图像度量指标、结构相似性(SSIM)图像度量指标、或者它们的加权求和；和/或，采用生成对抗神经网络的方式对相关网络模型进行训练；和/或，所述频域拼接涉及维纳滤波算法。
15.根据权利要求13所述的显微成像系统，其特征在于，所述至少三束相位不同的结构光是由所述照明单元产生发出的。
16.根据权利要求13或14所述的显微成像系统，其特征在于，所述非零角度的值＝180/(N-1)。
17.根据权利要求13至15任一所述的显微成像系统，其特征在于，
所述N为大于或等于2的整数，由该荧光图像复制生成的N个子图像包括所述第一子图像、所述第二子图像、…、第N子图像，
在所述第一子模块中，所述第N子图像沿着所述第一方向相对于所述第一子图像被旋转并且所旋转角度的值＝(N-1)*180/N；
在所述第二子模块中，所述第N子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第N子图像的一维超分辨率图像矩阵；
在所述第三子模块中，将所述第N子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(N-1)*180/N；
在所述第四子模块中，将从所述第一子图像的一维超分辨率图像矩到所述第N子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵，并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
18.根据权利要求13至15任一所述的显微成像系统，其特征在于，所述载物台包括载玻片，在所述载玻片的本体的顶表面上镀覆有反射膜，在所述反射膜的顶表面上镀覆有光学透明膜，所述载物台的平面由所述光学透明膜限定。
19.根据权利要求18所述的显微成像系统，其特征在于，所述反射膜是金属银反射膜，所述光学透明膜是二氧化硅膜，并且所述二氧化硅膜的厚度是在600微米与700微米之间。
20.根据权利要求19所述的显微成像系统，其特征在于，所述照明单元以光片照明的方式所发出的光透过所述生物试样后被所述反射膜反射以产生反射光，从而激发所述生物试样以获得相关的反射激发荧光；
所述第一子模块还接收所述成像单元因所述反射激发荧光产生的反射激发荧光图像，并且将由所述反射激发荧光图像复制生成M个反射子图像，其中，所述M为大于或等于2的整数，所述M个反射子图像中的第一反射子图像与所述反射激发荧光图像的角度相同，所述M个反射子图像中的第二反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转所述非零角度；
在所述第二子模块中，所述第一反射子图像和所述第二反射子图像分别被转换成图像矩阵并经卷积神经网络处理，以获得所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵；
在所述第三子模块中，将所述第二反射子图像的一维超分辨率图像矩阵沿着与所述第一方向相反的第二方向旋转该非零角度；
在所述第四子模块中，将所述第一反射子图像的和所述第二反射子图像的一维超分辨率图像矩阵经频域拼接为一个图像矩阵；并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
21.根据权利要求20所述的显微成像系统，其特征在于，所述M为大于或等于2的整数，由该反射激发荧光图像复制生成的M个反射子图像包括所述第一反射子图像、所述第二反射子图像、…、第M反射子图像，
在所述第一子模块中，所述第M反射子图像沿着所述第一方向相对于所述第一反射子图像被旋转并且所旋转角度的值＝(M-1)*180/M；
在所述第二子模块中，所述第M反射子图像被转换成图像矩阵并经卷积神经网络处理，以获得所述第M反射子图像的一维超分辨率图像矩阵；
在所述第三子模块中，将所述第M反射子图像的一维超分辨率图像矩阵沿着所述第二方向旋转并且所旋转角度的值＝(M-1)*180/M；
在所述第四子模块中，将从所述第一反射子图像的一维超分辨率图像矩至所述第M反射子图像的一维超分辨率图像矩经频域拼接为一个图像矩阵；并且将经频域拼接的图像矩阵转换为二维超分辨率图像。
22.根据权利要求21所述的显微成像系统，其特征在于，所述载物台是能够移动的，以使得所述照明单元以光片照明的方式所发出的光扫描所述生物试样，因而由所述计算系统生成由所述光生成的二维超分辨率图像组和由所述反射的光所生成的二维超分辨率图像组，
所述计算系统还包括第五子模块，所述第五子模块配置成利用联合解卷积的方式将所述二维超分辨率图像组融合重建为三维超分辨率图像。
23.根据权利要求22所述的显微成像系统，其特征在于，所述荧光图像和所述反射激发荧光图像为灰度图像，并且所述灰度图像以其所有的像素点所体现的灰度值为标准被转换成图像矩阵。
24.根据权利要求13至15任一所述的显微成像系统，其特征在于，所述照明单元的光轴与所述平面成45度或30度。
CN202111059076.8A 2021-09-09 2021-09-09 一种三维超分辨率光片显微成像方法和显微镜 Active CN113917677B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111059076.8A CN113917677B (zh) 2021-09-09 2021-09-09 一种三维超分辨率光片显微成像方法和显微镜
PCT/CN2022/074257 WO2023035543A1 (zh) 2021-09-09 2022-01-27 一种三维超分辨率光片显微成像方法和显微镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111059076.8A CN113917677B (zh) 2021-09-09 2021-09-09 一种三维超分辨率光片显微成像方法和显微镜

Publications (2)

Publication Number Publication Date
CN113917677A CN113917677A (zh) 2022-01-11
CN113917677B true CN113917677B (zh) 2023-05-05

Family

ID=79234330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111059076.8A Active CN113917677B (zh) 2021-09-09 2021-09-09 一种三维超分辨率光片显微成像方法和显微镜

Country Status (2)

Country Link
CN (1) CN113917677B (zh)
WO (1) WO2023035543A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917677B (zh) * 2021-09-09 2023-05-05 北京纳析光电科技有限公司 一种三维超分辨率光片显微成像方法和显微镜
CN115100033B (zh) * 2022-05-20 2023-09-08 浙江大学 一种荧光显微图像超分辨重建方法和装置以及计算设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796609A (zh) * 2015-04-17 2015-07-22 南京理工大学 基于最优哈达玛编码的大视场高分辨率显微成像方法
CN112580808A (zh) * 2020-12-30 2021-03-30 杭州电子科技大学 一种基于改进型led矩阵无透镜成像方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014102215A1 (de) * 2014-02-20 2015-08-20 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Lichtblattmikroskopie
CN106770147B (zh) * 2017-03-15 2019-07-19 北京大学 一种结构光照明超分辨显微成像方法
CN107492070B (zh) * 2017-07-10 2019-12-03 华北电力大学 一种双通道卷积神经网络的单图像超分辨率计算方法
CN108227233B (zh) * 2017-12-27 2020-02-21 清华大学 基于光片结构光的显微层析超分辨率成像方法及系统
CN109035143B (zh) * 2018-07-17 2020-09-08 华中科技大学 一种基于贝塞尔光片成像的三维超分辨方法
KR20220085781A (ko) * 2019-10-21 2022-06-22 일루미나, 인코포레이티드 구조화 조명 현미경법을 위한 향상된 계산 효율
CN110954524B (zh) * 2019-12-18 2022-07-08 深圳大学 一种非线性结构光超分辨显微成像装置及方法
CN111693695A (zh) * 2020-05-15 2020-09-22 华南理工大学 抗原与抗体蛋白结合动态作用过程信号采集及处理方法
CN112131945A (zh) * 2020-08-21 2020-12-25 南京大学 一种基于深度学习的无透镜显微成像系统及方法
CN112614056B (zh) * 2020-12-31 2023-09-05 北京纳析光电科技有限公司 图像超分辨率处理方法
CN113256772B (zh) * 2021-05-10 2023-08-01 华中科技大学 一种基于视角转换的双角度光场高分辨重构系统及方法
CN113917677B (zh) * 2021-09-09 2023-05-05 北京纳析光电科技有限公司 一种三维超分辨率光片显微成像方法和显微镜

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796609A (zh) * 2015-04-17 2015-07-22 南京理工大学 基于最优哈达玛编码的大视场高分辨率显微成像方法
CN112580808A (zh) * 2020-12-30 2021-03-30 杭州电子科技大学 一种基于改进型led矩阵无透镜成像方法

Also Published As

Publication number Publication date
WO2023035543A1 (zh) 2023-03-16
CN113917677A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
Luo et al. Synthetic aperture-based on-chip microscopy
CN113917677B (zh) 一种三维超分辨率光片显微成像方法和显微镜
CN109597195B (zh) 基于晶格光照的超分辨三维光场显微成像系统及方法
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
Swoger et al. Multi-view image fusion improves resolution in three-dimensional microscopy
US8019136B2 (en) Optical sectioning microscopy
CN104885187A (zh) 傅立叶重叠关联成像系统、设备和方法
CN103048272A (zh) 基于倏逝场照明的移频超分辨显微成像方法和装置
CN111123495B (zh) 基于环形阵列光源照明的三维全内反射显微成像装置及方法
CN109477954A (zh) 具有相位调制元件的scape显微术和图像重构
CN106707492B (zh) 基于空间光调制器的采集端频域拼贴显微系统
CN107144954B (zh) 成像系统和方法
CN116183568B (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
Bai et al. Imaging enhancement of light-sheet fluorescence microscopy via deep learning
US20160041099A1 (en) Light sheet fluorescence and differential interference contrast microscope
CN110320654A (zh) 基于多角度4Pi显微镜的快速三维体成像系统及方法
US11356593B2 (en) Methods and systems for single frame autofocusing based on color- multiplexed illumination
CN111521608A (zh) 一种超分辨率显微成像方法及显微镜
CN108205191A (zh) 基于多角度照明以及傅立叶域编码调制的傅立叶层叠成像系统
JP2024502613A (ja) ライン走査型の共焦点顕微鏡から等方的な面内超解像画像を生成するシステム及び方法
US10823945B2 (en) Method for multi-color fluorescence imaging under single exposure, imaging method and imaging system
CN208766383U (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
Guo et al. Rapid 3D isotropic imaging of whole organ with double-ring light-sheet microscopy and self-learning side-lobe elimination
US11156818B2 (en) Flexible light sheet generation by field synthesis
CN220626208U (zh) 一种寻址扫描超分辨显微成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230328

Address after: 303-1, Floor 3, Building 4, No. 9 Hospital, Life Science Park, Changping District, Beijing 102206

Applicant after: Beijing Nathan Optoelectronic Technology Co.,Ltd.

Address before: 100101 Beijing city Chaoyang District Datun Road No. 15

Applicant before: Institute of Biophysics, Chinese Academy of Sciences

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant