CN110599399B - 基于卷积神经网络的快速双光子成像方法及装置 - Google Patents
基于卷积神经网络的快速双光子成像方法及装置 Download PDFInfo
- Publication number
- CN110599399B CN110599399B CN201910722623.2A CN201910722623A CN110599399B CN 110599399 B CN110599399 B CN 110599399B CN 201910722623 A CN201910722623 A CN 201910722623A CN 110599399 B CN110599399 B CN 110599399B
- Authority
- CN
- China
- Prior art keywords
- neural network
- resolution
- convolutional neural
- super
- photon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 95
- 238000003384 imaging method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000005070 sampling Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000000399 optical microscopy Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010869 super-resolution microscopy Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于卷积神经网络的快速双光子成像方法及装置，其中，该方法结合点扫描双光子成像技术，具体包括：利用计算机数据采集系统采集低采样率的双光子图像；构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型；采用超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像。该方法在系统集成后，在低采样率下仍能获得较高的成像分辨率，克服了分辨率和成像速度之间的矛盾。
Description
技术领域
本发明涉及光学显微技术领域，特别涉及一种基于卷积神经网络的快速双光子成像方法及装置。
背景技术
光学显微成像技术是一种非侵入式的观测手段，广泛应用于生物组织的结构和功能成像，以及各种微观结构的观测。与荧光标记技术相结合，荧光显微镜能够实现特异性成像，成为生命科学研究最有力的工具之一。传统的单光子显微镜具有背景荧光强、缺乏层析能力、光漂白严重等缺点；光片显微成像通过将激发与探测置于两个相互垂直的方向，降低了光漂白，在透明样本中实现了层析成像，但其无法应用于具有强散射特性的生物样本；共聚焦显微镜通过引入共焦针孔来格挡背景荧光，实现了轴向层析成像，但受限于机械扫描器件的机械惯性，时间分辨率较低。多光子点扫描显微镜是一种基于非线性光学效应的新型成像技术，但点扫描成像的本质决定了其同样无法达到较高的时间分辨率。
纵观各种光学显微技术，时间分辨率和空间分辨率之间的矛盾是与生俱来的，因为各种旨在提高时间分辨率或者空间分辨率其中之一的技术改进，都是在牺牲另一方面的基础上的折衷。超分辨显微技术可以达到亚衍射极限的空间分辨率，但每张超分辨图像实际上需要采集大量的图像才能合成，大大降低了成像速度。在功能成像任务中，通常是依赖降低采样数量来提高成像速度，自然无法达到高的空间分辨率。但是，生物细胞和组织是高速动态的系统，生命科学的进一步探索需要同时具有高时空分辨率的成像工具。
随着深度学习技术的不断进步，其优越的性能在很多方面已经超越人类。卷积神经网络是一种为基于图像的视觉任务而特殊设计的深度神经网络，通过卷积核的游走来生成和局部信息相关的图像特征，通过共享权值以减小网络的训练参数，非常适合图像分类、目标检测等任务。卷积神经网络在数据集上进行预训练之后，即可在新的数据上达到同样好的效果，并且处理速度快，适合大通量的实时任务。
如何结合人工智能技术的最新进展，克服时空分辨率之间的固有矛盾，是推进光学显微成像技术进步的重要课题。
发明内容
本发明旨在提供一种基于卷积神经网络的快速双光子成像方法及装置，在达到较高成像速度的同时，通过卷积神经网络的特征提取和信息补充能力，恢复图像特征以提高图像的空间分辨率，实现对生物组织的高时空分辨率的观测。
本发明一方面实施例提供一种基于卷积神经网络的快速双光子成像方法，包括以下步骤：
利用计算机数据采集系统采集低采样率的双光子图像；
构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型；
采用所述超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像。
本发明另一方面实施例提供一种基于卷积神经网络的快速双光子成像装置，包括：
采集模块，利用计算机数据采集系统采集低采样率的双光子图像；
训练模块，用于构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型；
处理模块，用于采用所述超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像。
因此，本发明的技术方案通过利用卷积神经网络极佳的特征提取能力，使得双光子成像系统即使采用很低的采用率，经过卷积神经网络的处理和恢复，所得到的图像仍能达到较高的空间分辨率，实现在高成像速度下的高分辨率成像。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的基于卷积神经网络的快速双光子成像方法的基本结构图；
图2为本发明实施例所提供的基于卷积神经网络的快速双光子成像方法流程图；
图3为本发明实施例所提供的卷积神经网络的架构图；
图4为本发明实施例所提供的卷积神经网络的训练和运行流程图；
图5为本发明实施例所提供的一种基于卷积神经网络的快速双光子成像装置结构示意图；
图6为本发明实施例所提供的另一种基于卷积神经网络的快速双光子成像装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
首先，如图1所示，本发明结合双光子点扫描成像技术，其中，双光子点扫描成像系统是本发明最底层的组成部分，它包括飞秒激光器、电光调制器、振镜和压电陶瓷等三维扫描设备，PMT等信号采集装置。在计算机上设计控制和采集程序后，可以实现对样本基本的双光子成像。
下面参照附图描述根据本发明实施例提出的基于卷积神经网络的快速双光子成像方法及装置，首先将参照附图描述根据本发明实施例提出的基于卷积神经网络的快速双光子成像方法。
图2是本发明一个实施例的基于卷积神经网络的快速双光子成像方法流程图。
如图2所示，该基于卷积神经网络的快速双光子成像方法包括以下步骤：
在步骤S1中，利用计算机数据采集系统采集低采样率的双光子图像。
具体地，本发明实施例利用计算机数据采集系统获得双光子点扫描系统的图像，允许采用低采样率获取图像。并能通过预留的数据接口将图像数据传输到训练好的卷积神经网络，经卷积神经网路的恢复和处理得到高品质的最终结果。
在步骤S2中，构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型。
其中，如图3所示，超分辨卷积神经网络也就是深层卷积神经网络，其结构大致包括四个部分：输入卷积层、堆叠的残差块、组合映射层和输入卷积层。
具体地，输入卷积层用于输出张量尺寸为128×128×32，即通过卷积操作和非线性激活函数ReLU将原始图像映射到32个特征通道；
堆叠的残差块由六个残差块堆叠而成，残差块的特征通道数量从34增加到64，用于逐渐生成高级别的图像特征，同时通过前馈连接避免底层特征的丢失。
组合映射层用于将残差块的多个特征通道的输出映射到同一张图像上，不同特征通道上相同坐标的像素组合成网格。该步骤完成特征的组合，是网络能够取得良好效果的关键一步。
输出卷积层用于采用间隔卷积，对上一步的特征图进行下采样和非线性运算，为了避免出现马赛克和边缘锯齿现象，实际上完成图像的进一步整形。
需要说明的是，超分辨卷积神经网络中所有的激活函数均采用ReLU，并且不含BatchNormalization(批标准化)层。超分辨卷积神经网络的输出尺寸(边长)是输入尺寸的四倍，即输出像素数目是输入像素数目的16倍，经过充分的训练后，网络可以实现对16倍下采样图像的特征重建，大幅提高图像的分辨率。
因此，深层卷积神经网络的主体结构是六个顺序相连的残差块，用于实现高信息保持度的特征提取。前后添加一个卷积层用于特征的输入输出映射，核心是中间的特征组合映射层。
步骤S2进一步包括：构建超分辨卷积神经网络，通过前期实验结果和公开数据集制作训练样本集，将训练样本集投入超分辨卷积神经网络中，对超分辨卷积神经网络进行训练，得到超分辨卷积神经网络模型。
具体地，如图4所示，构建整个卷积神经网络的流程为：
S201：搭建超分辨卷积神经网络，所述网络包括数个卷积层、残差块、组合映射层、下采样层，所有激活函数均采用ReLU函数，所有层不含BatchNormalization层；
S202：通过前期实验结果和公开数据集制作训练样本，训练集应包括含尽可能多的图像类别和结构类别，训练集应尽可能大；
S203：将训练集投入网络，采用totalvariation(全变分)约束的像素均方误差作为损失函数
利用反向传播算法和Adam优化器进行训练，为保证训练结果，本发明实施例采用尽可能大的batch size(批处理参数)。训练充分后存储整个网络的参数，包括网络结构、权值数据等。
S204：将训练好的模型集成到系统中。
换言之，搭建超分辨网络之后，利用收集的大量样本训练本网络，在达到收敛精度后即可集成到成像系统中。
在步骤S3中，采用超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像。
在本发明的一个实施例中，通过超分辨卷积神经网络模型对低采样率的双光子图像进行计算重建，进而得到高分辨率的双光子图像。
也就是说，如图1所示，首先在双光子点扫描显微系统上制作数据接口，以便于实现实时的数据传输和处理。然后，构建超分辨卷积神经网络的结构，以128×128的输入尺寸为例，网络结构见图3。输入数据最初经过一个卷积层，映射为32个特征通道，然后通过六个残差块，每个残差块包括两个卷积层和一个跨度为两层的前馈连接，前馈连接将输入数据直接叠加到卷积层的输出中，其作用是避免图像的底层特征在多次卷积后被丢失。经过顺序连接的残差块处理后，数据具有64个特征通道，张量尺寸为128×128×64。此后是一个特征映射层，也是实现像素超分辨的关键一环，它将64个特征通道的对应像素进行网格化组合，映射为输入图像的八倍尺寸。为了避免图像出现锯齿和排列错乱现象，最后添加一个间隔卷积将图像下采样为512×512大小，即得到最终的输出，输出图像的像素数目是原始图像的16倍，相当于对双光子点扫描16倍降采样的计算重建。
根据本发明实施例提出的基于卷积神经网络的快速双光子成像方法，通过利用卷积神经网络极佳的特征提取能力，使得双光子成像系统即使采用很低的采样率，经过卷积神经网络的处理和恢复，所得到的图像仍能达到较高的空间分辨率，实现了在高成像速度下的高分辨率成像。
为了实现上述实施例，本发明还提出了一种基于卷积神经网络的快速双光子成像装置。
图5是本发明一个实施例的基于卷积神经网络的快速双光子成像装置结构示意图。
如图5所示，该基于卷积神经网络的快速双光子成像装置10包括：采集模块100、训练模块200和处理模块300。
其中，采集模块100，利用计算机数据采集系统采集低采样率的双光子图像
训练模块200，用于构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型。
在本发明的一个实施例中，训练模块200包括：构建单元用于构建超分辨卷积神经网络。制作单元用于通过前期实验结果和公开数据集制作训练样本集。训练单元用于将训练样本集投入超分辨卷积神经网络中，对超分辨卷积神经网络进行训练，得到超分辨卷积神经网络模型。
在本发明的一个实施例中，超分辨卷积神经网络包括输入卷积层、堆叠的残差块、组合映射层和输入卷积层。
处理模块300，用于采用超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像。
在本发明的一个实施例中，通过超分辨卷积神经网络模型对低采样率的双光子图像进行计算重建，进而得到高分辨率的双光子图像。
在本发明的一个实施例中，如图6所示，还包括：添加模块400，用于在输出高分辨率的双光子图像之前，添加一个间隔卷积将图像采样为预设大小，以避免输出的高分辨率的双光子图像出现锯齿和排列错乱。
需要说明的是，前述对基于卷积神经网络的快速双光子成像方法实施例的解释说明也适用于该装置，此处不再赘述。
根据本发明实施例提出的基于卷积神经网络的快速双光子成像装置，通过利用卷积神经网络极佳的特征提取能力，使得双光子成像系统即使采用很低的采样率，经过卷积神经网络的处理和恢复，所得到的图像仍能达到较高的空间分辨率，实现了在高成像速度下的高分辨率成像。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于卷积神经网络的快速双光子成像方法，其特征在于，包括以下步骤：
利用计算机数据采集系统采集低采样率的双光子图像；
构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型；
采用所述超分辨卷积神经网络模型处理所述低采样率的双光子图像，得到高分辨率的双光子图像；
其中，构建所述卷积神经网络的流程包括：
S201：搭建超分辨卷积神经网络，所述网络包括数个卷积层、残差块、组合映射层、下采样层，所有激活函数均采用ReLU函数，所有层不含BatchNormalization层；
S202：通过前期实验结果和公开数据集制作训练样本；
S203：将训练集投入网络，采用totalvariation约束的像素均方误差作为损失函数
利用反向传播算法和Adam优化器进行训练，训练后存储整个网络的参数，包括网络结构、权值数据；
S204：将训练好的模型集成到系统中。
2.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法，其特征在于，所述构建并训练超分辨卷积神经网络，得到超分辨卷积神经模型，包括：
构建所述超分辨卷积神经网络；
通过前期实验结果和公开数据集制作训练样本集；
将所述训练样本集投入所述超分辨卷积神经网络中，对所述超分辨卷积神经网络进行训练，得到所述超分辨卷积神经网络模型。
3.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法，其特征在于，所述超分辨卷积神经网络包括输入卷积层、堆叠的残差块、组合映射层和输入卷积层。
4.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法，其特征在于，所述采用所述超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像，包括：
通过所述超分辨卷积神经网络模型对所述低采样率的双光子图像进行计算重建，进而得到所述高分辨率的双光子图像。
5.如权利要求1中所述的基于卷积神经网络的快速双光子成像方法，其特征在于，还包括：
在输出所述高分辨率的双光子图像之前，添加一个间隔卷积将图像采样为预设大小，以避免输出的所述高分辨率的双光子图像出现锯齿和排列错乱。
6.一种基于卷积神经网络的快速双光子成像装置，其特征在于，包括：
采集模块，用于利用计算机数据采集系统采集低采样率的双光子图像；
训练模块，用于构建并训练超分辨卷积神经网络，得到超分辨卷积神经网络模型；
处理模块，用于采用所述超分辨卷积神经网络模型处理低采样率的双光子图像，得到高分辨率的双光子图像；
其中，构建所述卷积神经网络的流程包括：
S201：搭建超分辨卷积神经网络，所述网络包括数个卷积层、残差块、组合映射层、下采样层，所有激活函数均采用ReLU函数，所有层不含BatchNormalization层；
S202：通过前期实验结果和公开数据集制作训练样本；
S203：将训练集投入网络，采用totalvariation约束的像素均方误差作为损失函数
利用反向传播算法和Adam优化器进行训练，训练后存储整个网络的参数，包括网络结构、权值数据；
S204：将训练好的模型集成到系统中。
7.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置，其特征在于，所述训练模块包括：
构建单元，用于构建所述超分辨卷积神经网络；
制作单元，用于通过前期实验结果和公开数据集制作训练样本集；
训练单元，用于将所述训练样本集投入所述超分辨卷积神经网络中，对所述超分辨卷积神经网络进行训练，得到所述超分辨卷积神经网络模型。
8.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置，其特征在于，所述超分辨卷积神经网络包括输入卷积层、堆叠的残差块、组合映射层和输入卷积层。
9.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置，其特征在于，所述处理模块包括：
通过所述超分辨卷积神经网络模型对所述低采样率的双光子图像进行计算重建，进而得到所述高分辨率的双光子图像。
10.如权利要求6中所述的基于卷积神经网络的快速双光子成像装置，其特征在于，还包括：
添加模块，用于在输出所述高分辨率的双光子图像之前，添加一个间隔卷积将图像采样为预设大小，以避免输出的所述高分辨率的双光子图像出现锯齿和排列错乱。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019106839802 | 2019-07-26 | ||
| CN201910683980 | 2019-07-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599399A CN110599399A (zh) | 2019-12-20 |
| CN110599399B true CN110599399B (zh) | 2022-02-18 |
Family
ID=68853519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910722623.2A Expired - Fee Related CN110599399B (zh) | 2019-07-26 | 2019-08-06 | 基于卷积神经网络的快速双光子成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599399B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111103275B (zh) * | 2019-12-24 | 2021-06-01 | 电子科技大学 | Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法 |
| CN111311522B (zh) * | 2020-03-26 | 2023-08-08 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN113674168A (zh) * | 2021-08-05 | 2021-11-19 | 清华大学 | 实时的荧光成像智能增强方法与装置 |
| CN115702777B (zh) * | 2021-08-13 | 2024-05-17 | 深圳先进技术研究院 | 一种多功能双光子显微成像系统 |
| CN114092329B (zh) * | 2021-11-19 | 2023-01-20 | 复旦大学 | 一种基于亚像素神经网络的超分辨荧光显微成像方法 |
| CN117333574B (zh) * | 2023-12-01 | 2024-05-03 | 始终(无锡)医疗科技有限公司 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369189A (zh) * | 2017-07-21 | 2017-11-21 | 成都信息工程大学 | 基于特征损失的医学图像超分辨率重建方法 |
| CN109472801A (zh) * | 2018-11-22 | 2019-03-15 | 廖祥 | 一种用于多尺度的神经形态检测和分割方法 |
| CN109816592A (zh) * | 2019-01-26 | 2019-05-28 | 福州大学 | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 |
-
2019
- 2019-08-06 CN CN201910722623.2A patent/CN110599399B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369189A (zh) * | 2017-07-21 | 2017-11-21 | 成都信息工程大学 | 基于特征损失的医学图像超分辨率重建方法 |
| CN109472801A (zh) * | 2018-11-22 | 2019-03-15 | 廖祥 | 一种用于多尺度的神经形态检测和分割方法 |
| CN109816592A (zh) * | 2019-01-26 | 2019-05-28 | 福州大学 | 一种基于卷积神经网络的单帧图像连续尺度超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| Enhanced Deep Residual Networks for Single Image Super-Resolution;Bee Lim 等;《2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops》;IEEE;20170726;文章第二-四节，附图2-3 * |
| 一种多映射卷积神经网络的超分辨率重建算法;王世平 等;《西安电子科技大学学报》;20171221;第45卷(第4期);全文 * |
| 脑神经活动光学显微成像技术;莫驰 等;《科学通报》;20181230;第63卷(第36期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599399A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599399B (zh) | 基于卷积神经网络的快速双光子成像方法及装置 | |
| Brasier et al. | Evolutionary relationships within the Avalonian Ediacara biota: new insights from laser analysis | |
| CN110441271B (zh) | 基于卷积神经网络的光场高分辨解卷积方法及系统 | |
| CN104111242B (zh) | 一种三维像素超分辨显微成像方法 | |
| JP2013542468A (ja) | 走査型投影レンズレス顕微鏡システム | |
| CN112465701A (zh) | 显微图像的深度学习超分辨率重建方法、介质及电子设备 | |
| CN110349237B (zh) | 基于卷积神经网络的快速体成像方法 | |
| CN101865673B (zh) | 一种微观光场采集与三维重建方法及装置 | |
| JP2018536211A5 (zh) | ||
| CN112949636A (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| US20190052793A1 (en) | Apparatus for generating a synthetic 2d image with an enhanced depth of field of an object | |
| CN105389785A (zh) | 一种点扩散函数的处理方法 | |
| CN113902658A (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
| CN114549318A (zh) | 基于亚体素卷积神经网络的超高分辨荧光显微成像方法 | |
| CN114331840A (zh) | 重建高保真超分辨显微图像的方法、装置 | |
| CN107622482B (zh) | 一种基于白带显微成像的图像融合方法 | |
| Li et al. | Deep-3D microscope: 3D volumetric microscopy of thick scattering samples using a wide-field microscope and machine learning | |
| CN113269672B (zh) | 一种超分辨率的细胞图像构建方法和系统 | |
| CN111524078B (zh) | 一种基于稠密网络的显微镜图像去模糊方法 | |
| Sivaguru et al. | Multimodal optical microscopy methods reveal polyp tissue morphology and structure in Caribbean reef building corals | |
| CN116912086A (zh) | 一种基于双路径融合的图像分辨率提升方法及系统 | |
| Zhang et al. | Hybrid domain attention network for efficient super-resolution | |
| CN110967827B (zh) | 一种基于光场微型显微系统的成像建模方法及装置 | |
| CN112967268B (zh) | 基于光场的数字光学层析方法和装置 | |
| CN110243828B (zh) | 基于卷积神经网络的生物组织三维成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220218 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |