CN111415297A - 一种共聚焦显微镜的成像方法 - Google Patents
一种共聚焦显微镜的成像方法 Download PDFInfo
- Publication number
- CN111415297A CN111415297A CN202010152737.0A CN202010152737A CN111415297A CN 111415297 A CN111415297 A CN 111415297A CN 202010152737 A CN202010152737 A CN 202010152737A CN 111415297 A CN111415297 A CN 111415297A
- Authority
- CN
- China
- Prior art keywords
- image
- density image
- module
- low
- confocal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 239000012472 biological sample Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供一种共聚焦显微镜的成像方法，包括如下步骤：S1：使用光聚焦显微镜采集低扫描密度图像；S2：将所述低扫描密度图像重建成高分辨率图像；S3：输出所述高分辨率图像。通过将低扫描密度图像重建成高分辨率图像，并借此变相实现共聚焦显微镜采集的加速，使得观测动态样本成为可能。
Description
技术领域
本发明涉及显微镜成像技术领域，尤其涉及一种共聚焦显微镜的成像方法。
背景技术
荧光激光扫描共聚焦显微镜的原理为：激光系统(激发源)发出的相干光穿过共轭平面(共聚焦)中针孔，扫描点落在样品上，同时第二针孔位于检测器(光电倍增管)的前面。当激光被双色镜反射并在限定的焦平面上扫描整个样品时，从样品上的点(在同一焦平面中)发出的二次荧光会通过双色镜返回并在检测器的针孔处聚焦为共聚焦点。
共聚焦显微镜是一种在生物学领域中非常重要的成像工具。即使在存在组织散射的情况下，它也能捕获高分辨率的三维图像。同时使用两个针孔可以确保拒绝来自背景点的大多数散射光。尽管拒绝这些散射光对成像质量的提升非常有必要，随之而来的代价也极高。为了确保这一点，不得不使用点扫描的方式来扫描样本。这就意味着，即使要在1mm3的视野中达到1μm这样的中等空间分辨率，也学要扫描多大109数量的点。即使在每个点的停留时间短到1μs，整体的成像时间也达到了以分钟为单位的数量级。如此缓慢的成像速度，对于动态目标成像提出了严峻的挑战。
在生物学和医学中，对于动态样本的视频观测是对一个连续变化的过程进行离散采样而得到的一系列不同时间帧的组合。如果直接使用高分辨率的共聚焦显微镜，由于需要扫描的点数量较多，整体成像时间会较长，在这段较长的时间内，由于动态样本时刻变化的特性，样本中的细胞早已偏离了原来的位置。这就导致了一个常见的问题：高分辨率观测的视频和低分辨率观测的视频，每一帧都无法对应。
为了缩短成像时间，现有技术普遍的做法是减小成像图片的分辨率，这样只需要扫描更少的点就能得到成像的结果。这样的做法带来的坏处就是大大降低了成像图片或视频的视觉质量。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有技术中缺乏一种保证图像或视频质量的共聚焦显微镜快速成像方法的问题，提供一种共聚焦显微镜的成像方法。
为了解决上述问题，本发明采用的技术方案如下所述：
一种共聚焦显微镜的成像方法，包括如下步骤：S1：使用光聚焦显微镜采集低扫描密度图像；S2：将所述低扫描密度图像重建成高分辨率图像；S3：输出所述高分辨率图像。
优选地，在步骤S1之前还包括：训练共聚焦图像超分辨率深度网络模型，利用所述共聚焦图像超分辨率深度网络模型将所述低扫描密度图像重建成高分辨率图像；所述共聚焦图像超分辨率深度网络模型包括基于PSNR的初级模型和基于视觉效果高级模型。
优选地，训练共聚焦图像超分辨率深度网络模型包括如下步骤：T1：构建基于生成对抗网络的共聚焦图像超分辨率深度网络模型，T2：构建训练数据集：使用光聚焦显微镜采集相同视野下的低扫描密度图像和与所述低扫描密度图像相应的第一高扫描密度图像；T3：利用训练数据集对所述共聚焦图像超分辨率深度网络模型的所述初级模型进行训练，采用空间域损失函数进行约束；T4：基于所述初级模型的训练结果，利用训练数据集对所述共聚焦图像超分辨率深度网络模型的所述高级模型进行训练，采用相对生成对抗损失函数、感知损失函数和傅里叶频域损失函数进行约束。
优选地，所述初级模型包括：生成器：所述低扫描密度图像作为输入，对所述低扫描密度图像重建后得到第二高扫描密度图像。
优选地，所述生成器将所述低扫描密度图像重建得到所述第二高扫描密度图像包括如下步骤：通过特征提取模块提取所述低扫描密度图像的特征；通过特征映射模块重复地将所述特征映射到高维空间，再映射回低维空间，最终得到高维特征；将所述高维特征输入到重建模块，所述重建模块基于所述高维特征和所述低扫描密度图像重建出所述第二高扫描密度图像。
优选地，所述特征映射模块采用发现传播反馈结构进行特征映射，具体包括：融合模块，用于利用不同的加权参数来将不同的特征组合起来；上采样模块，由反卷积层-卷积层-反卷积层的顺序结构构成；下采用模块，由卷积层-反卷积层-卷积层的顺序结构构成。
优选地，对于第1个所述融合模块，输入有两个来源，分别是所述特征提取模块提取的所述低扫描密度图像的特征Fin和上一次迭代的结果Fout，Fin和Fout被分别乘上不同的权重然后拼接起来，得到了第1个所述上采样模块U1的输入L1：
将L1作为第1个上采样模块U1的输入得到H1：
H1＝U1(L1)
将H1作为第1个下采样模块D1的输入得到L2：
L2＝D1(H1)
以此类推可以得到Ln和Hn:
其中，N表示一共有N个上采样或下采样模块对；
最后，所述特征提取模块的输出Fout表示为：
优选地，所述高级模型包括：相对生成对抗判别器模块：将所述第一高扫描密度图像作为第一输入，所述第二高扫描密度图像作为第二输入，用于约束所述第二高扫描密度图像的数据流在所述第一高扫描密度图像的空间附近；Vgg特征提取模块：用于提取所述深层语义信息，约束所述第二高扫描密度图像的特征与所述第一高扫描密度图像的相似程度；傅里叶变换模块：用于转换到频域进行对比，滤除所述第二高密度图像的特征中不属于第一高密度图像的特征。
优选地，所述傅里叶频域损失函数，计算公式如下：
LF＝L1(ln(|fft(ISR+β)|+α)，In(|fft(ISR+β)|+α))
其中，L1指的是1范数损失函数；ln(x)指的是对x求以e为底的对数；fft(I)是将特征I进行傅里叶转换；α和β是两个超参数。
优选地，采用所述初级模型将与所述数据训练集中图像中的生物样本种类不一致的所述低扫描密度图像重建成所述高分辨率图像；采用所述高级模型将与所述数据训练集中图像中的生物样本种类一致的所述低扫描密度图像重建成所述高分辨率图像。
本发明的有益效果为：提供一种共聚焦显微镜的成像方法，通过将低扫描密度图像重建成高分辨率图像，并借此变相实现共聚焦显微镜采集的加速，使得观测动态样本成为可能。
进一步的，通过训练先进的共聚焦图像超分辨率深度网络模型实现获取共聚焦图像超分辨率，而且本发明的模型包括初级模型和高级模型适用于不同的图片，具有更强的泛化性。
再进一步的，首次将基于傅里叶变换实现的傅里叶频域损失函数引入到生物图像超分辨率工作中，能够在极大程度上减轻伪影。
本发明还提供一种先进的反向传播反馈模块作为特征映射模块，以更少的参数获得更强大的LR-HR特征映射能力。
附图说明
图1是本发明实施例中一种共聚焦显微镜的成像方法的示意图。
图2是本发明实施例中训练共聚焦图像超分辨率深度网络模型的方法示意图。
图3是本发明实施例中共聚焦图像超分辨率深度网络模型的结构示意图。
图4是本发明实施例中生成器将低扫描密度图像重建得到第二高扫描密度图像的方法示意图。
图5是本发明实施例中特征映射模块的示意图。
图6(a)-图6(i)是本发明实施例中共聚焦显微镜的成像的图像示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种共聚焦显微镜的成像方法，包括如下步骤：
S1：使用光聚焦显微镜采集低扫描密度图像；
S2：将所述低扫描密度图像重建成高分辨率图像；
S3：输出所述高分辨率图像。
现有技术中为了缩短成像时间，减小成像图片的分辨率，只需要扫描更少的点就能得到成像的结果，导致大大降低了成像图片或视频的视觉质量。与现有技术不同的是，本发明的目的在于使用基于深度学习的方法，以不牺牲成像质量为前提来变相“加速”成像过程。同样采集低分辨率的图像，经过后处理，可以得到相应的高分辨率的图像，而成像时间仍然是采集低分辨率图像的时间。对于动态样本的观测，本发明可以先拍摄一个低分辨率的图像或视频，然后对这个图像或视频进行逐帧后处理，再将所有帧合并起来，就能得到质量令人满意的高分辨率视频。通过将硬件采集问题转换为图像超分辨率问题，从另一个角度实现了共聚焦显微镜成像过程的加速。
在共聚焦显微镜的成像之前还包括：
训练共聚焦图像超分辨率深度网络模型，利用所述共聚焦图像超分辨率深度网络模型将所述低扫描密度图像重建成高分辨率图像；
所述共聚焦图像超分辨率深度网络模型包括基于PSNR的初级模型和基于视觉效果高级模型。
如图2所示，训练共聚焦图像超分辨率深度网络模型包括如下步骤：
T1：构建基于生成对抗网络的共聚焦图像超分辨率深度网络模型；
T2：构建训练数据集：使用光聚焦显微镜采集相同视野下的低扫描密度图像和与所述低扫描密度图像相应的第一高扫描密度图像；
T3：利用训练数据集对所述共聚焦图像超分辨率深度网络模型的所述初级模型进行训练，采用空间域损失函数进行约束；
T4：基于所述初级模型的训练结果，利用训练数据集对所述共聚焦图像超分辨率深度网络模型的所述高级模型进行训练，采用相对生成对抗损失函数、感知损失函数和傅里叶频域损失函数进行约束。
在本发明中，将模型的训练分为两个阶段，分别是基于PSNR(PSNR-oriented)的初级模型和基于视觉效果(visual-driven)的高级模型。采用所述初级模型将与所述数据训练集中图像中的生物样本种类不一致的所述低扫描密度图像重建成所述高分辨率图像；采用所述高级模型将与所述数据训练集中图像中的生物样本种类一致的所述低扫描密度图像重建成所述高分辨率图像；具有更强的泛化性。可以理解的是，细胞核和细胞质的特征是不一样的、不同的细胞也是不同的。现有技术中都是针对一种数据类型训练一个模型，泛化性得不到保证，可行性只停留在理论上，因为如果遇到与预训练好的模型训练数据类型不一致的应用场景，重建效果会急剧下降。
如图3所示，在本发明的一种实施例中，共聚焦图像超分辨率深度网络模型是基于生成对抗网络模型，
初级模型包括：生成器，低扫描密度图像作为输入，对低扫描密度图像重建后得到第二高扫描密度图像。通过将低分辨率(低扫描密度)的图片输入生成器中，得到一个高分辨率(高扫描密度)的重建结果。
高级模型在初级模型的基础上还包括判别器，通过损失函数，来共同约束重建结果使之与重建目标尽可能接近。图3中下方图像为重建结果图像即第二高扫描密度图像，上方图像为重建目标图像即第一高扫描密度图像。
如图4所示，在本发明的一种实施例中，生成器将低扫描密度图像重建得到第二高扫描密度图像包括如下步骤：
通过特征提取模块提取所述低扫描密度图像的特征；
通过特征映射模块重复地将所述特征映射到高维空间，再映射回低维空间，最终得到高维特征；
将所述高维特征输入到重建模块，所述重建模块基于所述高维特征和所述低扫描密度图像重建出所述第二高扫描密度图像。
在神经网络模型中使用反馈结构主要有两个明显的好处：首先，使用反馈连接网络可以使得响应信息传输回之前的层，因此这种信息回流可以有效地指导重建过程；其次，反馈或循环结构可以极大程度地减少网络参数而不会降低重建性能，鉴于缺乏训练数据，减少网络的参数量是使得学习问题(训练网络)可行的关键。
如图5所示，在本发明的一种实施例中，所述特征映射模块采用发现传播反馈结构进行特征映射，具体包括：
融合模块，用于利用不同的加权参数来将不同的特征组合起来；
上采样模块，由反卷积层-卷积层-反卷积层的顺序结构构成；
下采用模块，由卷积层-反卷积层-卷积层的顺序结构构成。
为了充分利用反馈机制在网络结构中的优势，本发明提供一种先进的反向传播反馈模块(back-projection feedback module)作为特征映射模块，以更少的参数获得更强大的LR-HR特征映射能力。反向传播反馈模块包含3个部分，即融合模块，上采样模块和下采样模块。融合模块主要利用不同的加权参数来将不同的特征组合起来；上采样模块是由反卷积层-卷积层-反卷积层的顺序结构构成；下采样模块是由卷积层-反卷积层-卷积层的顺序结构构成。以一个4倍超分的任务为例，上采样模块将特征的大小从w*h放大到4w*4h，而下采样模块将特征的大小从4w*4h缩小为w*h。
对于第1个所述融合模块，输入有两个来源，分别是所述特征提取模块提取的所述低扫描密度图像特征Fin和上一次迭代的结果Fout，Fin和Fout被分别乘上不同的权重然后拼接起来，得到了第1个所述上采样模块U1的输入L1：
将L1作为第1个上采样模块U1的输入得到H1：
H1＝U1(L1)
将H1作为第1个下采样模块D1的输入得到L2：
L2＝D1(H1)
以此类推可以得到Ln和Hn:
其中，N表示一共有N个上采样或下采样模块对；
最后，所述特征提取模块的输出Fout表示为：
在本发明的一种实施例中，高级模型包括：
相对生成对抗判别器模块：将所述第一高扫描密度图像作为第一输入，所述第二高扫描密度图像作为第二输入，用于约束所述第二高扫描密度图像的数据流在所述第一高扫描密度图像的空间附近；
Vgg特征提取模块：用于提取所述深层语义信息，约束所述第二高扫描密度图像的特征与所述第一高扫描密度图像的相似程度；
傅里叶变换模块：用于转换到频域进行对比，滤除所述第二高密度图像的特征中不属于第一高密度图像的特征。
傅里叶变换模块的损失函数是傅里叶频域损失函数，计算公式如下：
LF＝L1(In(|fft(ISR+β)|+α)，ln(|fft(ISR+β)|+α))
其中，L1指的是1范数损失函数；ln(x)指的是对x求以e为底的对数；fft(I)是将特征I进行傅里叶转换；α和β是两个超参数，目的是为了避免神经网络训练过程中出现梯度爆炸的问题。
通过使用上述公式，在频率域对于重建结果进行约束，这样做的好处在于频率域中可以轻易区分出低频信息和高频信息，然后借由梯度反向传播机制，在空间域同样提升重建的视觉效果。
训练神经网络后，对于新采集到的低分辨率的共聚焦图片，使用训练好的模型进行不同的处理，即可得到高分辨率的共聚焦图片。
采用本发明的方法，可以通过训练先进的共聚焦图像超分辨率深度网络模型实现获取共聚焦图像超分辨率，并借此变相实现共聚焦显微镜采集的加速，使得观测动态样本成为可能。
在一种具体的实施例中，通过本方法，在理论上将成像速度提高40～60倍(甚至更高)，使得观测动态样本成为了可能。
如图6(a)-图6(i)所示，图6(a)是通过共聚焦显微镜直接采集得到的第一高密度图像，图6(b)是将采集得到的低分辨率图像进行双立方插值到和图6(a)一样大小的结果，图6(c)是图6(b)通过本发明的方法重建的第二高密度图像。图6(d)、图6(g)和图6(e)、图6(h)分别是图6(a)和图6(b)在三维空间里x-z和y-z平面上的切面，图6(f)和图6(i)是对应的结果。从图中可以看到，x-y平面上的图6(c)、x-z平面上的图6(f)、y-z平面上的图6(i)都有很好的重建效果。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种共聚焦显微镜的成像方法，其特征在于，包括如下步骤：
S1：使用光聚焦显微镜采集低扫描密度图像；
S2：将所述低扫描密度图像重建成高分辨率图像；
S3：输出所述高分辨率图像。
2.如权利要求1所述的共聚焦显微镜的成像方法，其特征在于，在步骤S1之前还包括：
训练共聚焦图像超分辨率深度网络模型，利用所述共聚焦图像超分辨率深度网络模型将所述低扫描密度图像重建成高分辨率图像；
所述共聚焦图像超分辨率深度网络模型包括基于PSNR的初级模型和基于视觉效果高级模型。
3.如权利要求2所述的共聚焦显微镜的成像方法，其特征在于，训练共聚焦图像超分辨率深度网络模型包括如下步骤：
T1：构建基于生成对抗网络的共聚焦图像超分辨率深度网络模型，
T2：构建训练数据集：使用光聚焦显微镜采集相同视野下的低扫描密度图像和与所述低扫描密度图像相应的第一高扫描密度图像；
T3：利用训练数据集对所述共聚焦图像超分辨率深度网络模型的所述初级模型进行训练，采用空间域损失函数进行约束；
T4：基于所述初级模型的训练结果，利用训练数据集对所述共聚焦图像超分辨率深度网络模型的所述高级模型进行训练，采用相对生成对抗损失函数、感知损失函数和傅里叶频域损失函数进行约束。
4.如权利要求3所述的共聚焦显微镜快速成像方法，其特征在于，所述初级模型包括：
生成器：所述低扫描密度图像作为输入，对所述低扫描密度图像重建后得到第二高扫描密度图像。
5.如权利要求4所述的共聚焦显微镜快速成像方法，其特征在于，所述生成器将所述低扫描密度图像重建得到所述第二高扫描密度图像包括如下步骤：
通过特征提取模块提取所述低扫描密度图像的特征；
通过特征映射模块重复地将所述特征映射到高维空间，再映射回低维空间，最终得到高维特征；
将所述高维特征输入到重建模块，所述重建模块基于所述高维特征和所述低扫描密度图像重建出所述第二高扫描密度图像。
6.如权利要求5所述的共聚焦显微镜快速成像方法，其特征在于，所述特征映射模块采用发现传播反馈结构进行特征映射，具体包括：
融合模块，用于利用不同的加权参数来将不同的特征组合起来；
上采样模块，由反卷积层-卷积层-反卷积层的顺序结构构成；
下采用模块，由卷积层-反卷积层-卷积层的顺序结构构成。
7.如权利要求6所述的共聚焦显微镜快速成像方法，其特征在于，对于第1个所述融合模块，输入有两个来源，分别是所述特征提取模块提取的所述低扫描密度图像特征Fin和上一次迭代的结果Fout，Fin和Fout被分别乘上不同的权重然后拼接起来，得到了第1个所述上采样模块U1的输入L1：
将L1作为第1个上采样模块U1的输入得到H1：
H1＝U1(L1)
将H1作为第1个下采样模块D1的输入得到L2：
L2＝D1(H1)
以此类推可以得到Ln和Hn：
其中，N表示一共有N个上采样或下采样模块对；
最后，所述特征提取模块的输出Fout表示为：
8.如权利要求7所述的共聚焦显微镜快速成像方法，其特征在于，所述高级模型包括：
相对生成对抗判别器模块：将所述第一高扫描密度图像作为第一输入，所述第二高扫描密度图像作为第二输入，用于约束所述第二高扫描密度图像的数据流在所述第一高扫描密度图像的空间附近；
Vgg特征提取模块：用于提取所述深层语义信息，约束所述第二高扫描密度图像的特征与所述第一高扫描密度图像的相似程度；
傅里叶变换模块：用于转换到频域进行对比，滤除所述第二高密度图像的特征中不属于所述第一高密度图像的特征。
9.如权利要求8所述的共聚焦显微镜快速成像方法，其特征在于，所述傅里叶频域损失函数，计算公式如下：
LF＝L1(ln(|fft(ISR+β)|+α)，ln(|fft(ISR+β)|+α))
其中，L1指的是1范数损失函数；ln(x)指的是对x求以e为底的对数；fft(I)是将特征I进行傅里叶转换；α和β是两个超参数。
10.如权利要求9所述的共聚焦显微镜快速成像方法，其特征在于，
采用所述初级模型将与所述数据训练集中图像中的生物样本种类不一致的所述低扫描密度图像重建成所述高分辨率图像；
采用所述高级模型将与所述数据训练集中图像中的生物样本种类一致的所述低扫描密度图像重建成所述高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010152737.0A CN111415297B (zh) | 2020-03-06 | 2020-03-06 | 一种共聚焦显微镜的成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010152737.0A CN111415297B (zh) | 2020-03-06 | 2020-03-06 | 一种共聚焦显微镜的成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111415297A true CN111415297A (zh) | 2020-07-14 |
| CN111415297B CN111415297B (zh) | 2023-04-18 |
Family
ID=71492821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010152737.0A Active CN111415297B (zh) | 2020-03-06 | 2020-03-06 | 一种共聚焦显微镜的成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111415297B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508782A (zh) * | 2020-09-10 | 2021-03-16 | 浙江大华技术股份有限公司 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
| CN113724150A (zh) * | 2021-07-27 | 2021-11-30 | 清华大学 | 无需高信噪比真值图像的结构光显微重建方法及装置 |
| CN115052077A (zh) * | 2022-06-13 | 2022-09-13 | 中亿启航数码科技(北京)有限公司 | 一种扫描装置及方法 |
| CN115065761A (zh) * | 2022-06-13 | 2022-09-16 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
| CN117333574A (zh) * | 2023-12-01 | 2024-01-02 | 始终(无锡)医疗科技有限公司 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103048300A (zh) * | 2012-12-17 | 2013-04-17 | 江苏大学 | 一种激光扫描共聚焦显微镜 |
| US20190271648A1 (en) * | 2018-03-01 | 2019-09-05 | Carl Zeiss Microscopy Gmbh | Method for Accelerated High-Resolution Scanning Microscopy |
-
2020
- 2020-03-06 CN CN202010152737.0A patent/CN111415297B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103048300A (zh) * | 2012-12-17 | 2013-04-17 | 江苏大学 | 一种激光扫描共聚焦显微镜 |
| US20190271648A1 (en) * | 2018-03-01 | 2019-09-05 | Carl Zeiss Microscopy Gmbh | Method for Accelerated High-Resolution Scanning Microscopy |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508782A (zh) * | 2020-09-10 | 2021-03-16 | 浙江大华技术股份有限公司 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
| CN112508782B (zh) * | 2020-09-10 | 2024-04-26 | 浙江大华技术股份有限公司 | 网络模型的训练方法、人脸图像超分辨率重建方法及设备 |
| CN113724150A (zh) * | 2021-07-27 | 2021-11-30 | 清华大学 | 无需高信噪比真值图像的结构光显微重建方法及装置 |
| CN115052077A (zh) * | 2022-06-13 | 2022-09-13 | 中亿启航数码科技(北京)有限公司 | 一种扫描装置及方法 |
| CN115065761A (zh) * | 2022-06-13 | 2022-09-16 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
| CN115065761B (zh) * | 2022-06-13 | 2023-09-12 | 中亿启航数码科技(北京)有限公司 | 一种多镜头扫描装置及其扫描方法 |
| CN115052077B (zh) * | 2022-06-13 | 2023-09-22 | 中亿启航数码科技(北京)有限公司 | 一种扫描装置及方法 |
| CN117333574A (zh) * | 2023-12-01 | 2024-01-02 | 始终(无锡)医疗科技有限公司 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
| CN117333574B (zh) * | 2023-12-01 | 2024-05-03 | 始终(无锡)医疗科技有限公司 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111415297B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111415297B (zh) | 一种共聚焦显微镜的成像方法 | |
| CN113670878B (zh) | 基于空频域混合式重建的超分辨结构光照明显微成像方法 | |
| US10996452B2 (en) | High-resolution 2D microscopy with improved section thickness | |
| JP2013515958A (ja) | 高密度の確率的サンプリング撮像のシステムおよび方法 | |
| US10663750B2 (en) | Super-resolution imaging of extended objects | |
| Greer et al. | Fast objective coupled planar illumination microscopy | |
| US20220343463A1 (en) | Changing the size of images by means of a neural network | |
| CN114365179A (zh) | 无载玻片组织学成像方法和系统 | |
| CN116519601A (zh) | 基于艾里光束联合稀疏采样的光声显微成像系统及方法 | |
| CN118339494A (zh) | 观察装置和观察方法 | |
| Song et al. | Light-field microscopy for the optical imaging of neuronal activity: When model-based methods meet data-driven approaches | |
| Li et al. | Deep adversarial network for super stimulated emission depletion imaging | |
| Zhu et al. | Noise-robust phase-space deconvolution for light-field microscopy | |
| US11340057B2 (en) | Systems and methods for interferometric multifocus microscopy | |
| US20210132350A1 (en) | Method and apparatus for extending depth of field during fluorescence microscopy imaging | |
| US20230221541A1 (en) | Systems and methods for multiview super-resolution microscopy | |
| Wu et al. | Structured illumination-based phase retrieval via Generative Adversarial Network | |
| WO2022173848A1 (en) | Methods of holographic image reconstruction with phase recovery and autofocusing using recurrent neural networks | |
| Zheng et al. | Multiplane HiLo microscopy with speckle illumination and non-local means denoising | |
| CN114119415A (zh) | 三光子深层组织成像方法及装置 | |
| Shen et al. | Confocal rescan structured illumination microscopy for real-time deep tissue imaging with superresolution | |
| Hsu et al. | Volumetric bioimaging based on light field microscopy with temporal focusing illumination | |
| CN112967268A (zh) | 基于光场的数字光学层析方法和装置 | |
| Gaige et al. | Multiscale structural analysis of mouse lingual myoarchitecture employing diffusion spectrum magnetic resonance imaging and multiphoton microscopy | |
| EP1877954A2 (en) | Four-dimensional imaging of periodically moving objects via post-acquisition synchronization of nongated slice-sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |