CN111402175B - 一种高速扫描成像系统及方法 - Google Patents

一种高速扫描成像系统及方法 Download PDF

Info

Publication number
CN111402175B
CN111402175B CN202010265219.XA CN202010265219A CN111402175B CN 111402175 B CN111402175 B CN 111402175B CN 202010265219 A CN202010265219 A CN 202010265219A CN 111402175 B CN111402175 B CN 111402175B
Authority
CN
China
Prior art keywords
image
scanning
imaging
sample
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010265219.XA
Other languages
English (en)
Other versions
CN111402175A (zh
Inventor
龚辉
张德洁
袁菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010265219.XA priority Critical patent/CN111402175B/zh
Publication of CN111402175A publication Critical patent/CN111402175A/zh
Application granted granted Critical
Publication of CN111402175B publication Critical patent/CN111402175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种高速扫描成像系统及方法，系统包括：神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将模糊图像对应的清晰图像作为输出图像；训练学习模块：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，用于将参照输入图像及输出图像进行拆分后形成图像训练对，输入神经网络结构中训练，以获得训练完成的神经网络；重建清晰图像模块：将待成像样本通过高速扫描获取的模糊图像作为输入图像，输入神经网络中学习，输出清晰图像。其目的在于解决目前成像时间受限于相机的帧率，成像速度仍没有得到较好的提升。

Description

一种高速扫描成像系统及方法
技术领域
本发明涉及图像处理技术，尤其是涉及一种高速扫描成像系统及方法。
背景技术
目前，针对大样本成像一般有2种成像方式，第一种方式是：先对样本的部分进行成像，成像完成后移动样本到未成像部分，再让样本停下来对未成像部分进行成像，这样不断重复停下来成像---移动样本以完成整个大样本的成像。该成像方式一般采用宽场显微镜或结构光显微镜进行成像，这种方式因为是静态成像，需要在不同的视场来回移动，因此成像花费的时间较长。第二种方式是：采用扫描成像方式让样本匀速移动时进行成像。该成像方式一般采用扫描显微镜进行成像，这种方式因为是动态成像，在移动样本的过程中同时进行成像，虽然可以节省不必要的移动时间，，但成像时间受限于相机的帧率，因此成像速度仍然没有得到较好的提升。
目前针对大样本成像，为了充分发挥扫描成像方式的优点，研究者们为了充分利用相机的帧率，发明了斜照明成像系统。使用数值孔径较高的物镜来产生腰部较窄的光片，并使用另一个正交物镜来收集荧光，进行显微成像。为了降低深层样本对光的散射作用，选择了在subarray模式下工作的sCMOS相机快速对样本薄层进行成像。
上述的这种斜照明成像系统，是从硬件层面改善了成像系统，以充分利用相机的帧率。但这种方法存在三个缺点：第一，该系统使用了两个物镜进行正交成像，比普通的线扫描成像系统复杂；第二，该系统的产生的光片，在远离束腰中心的光片发散较严重，会导致成像质量恶化；第三，该方法虽然充分利用的相机的所有帧率，但它依然无法突破相机的速率限制。
因此提出一种新的高速扫描成像技术非常有必要。
发明内容
本发明的目的在于克服上述技术不足，提出了一种高速扫描成像系统，包括：神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将所述模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸；
训练学习模块：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；
重建清晰图像模块：将所述待成像样本通过高速扫描获取的模糊图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的清晰图像。
优选地，所述输入图像为一帧下的N张图像，所述N为正整数，且N≥1，所述输出图像为一张图像。
优选地，所述输出图像的尺寸为W*H，所述输入图像的尺寸为N*(W/K)*H，其中，W、K、H均为正整数，且W为K的整数倍。
优选地，还包括图像采集模块，包括线扫描显微镜及探测器，所述探测器为N线阵列探测器，用于对样本扫描成像时获取一帧下的N张图像，对样本进行常速扫描成像时获得N张清晰图像，取N张清晰图像中的一张作为输出图像，进行高速扫描时获得N张模糊图像，取N张模糊图像作为输入图像。
优选地，所述扫描成像速度v的大小为：
v＝M*Pixel/t
其中，v是扫描成像速度，M为线扫描显微镜的放大倍数，Pixel是探测器一个像素的大小，t为线扫描显微镜的单帧曝光时间。
优选地，所述线扫描显微镜为线共聚焦扫描显微镜。
优选地，所述W与H的范围为：0＜W≤256，0＜H≤256。
优选地，所述N满足N≤6。
为达到上述技术目的，本发明还提供一种高速扫描成像方法，包括：
设置神经网络结构：搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将所述模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸；
训练学习：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；
重建清晰图像：将所述待成像样本通过高速扫描获取的模糊图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的清晰图像。
优选地，还包括获取扫描图像，采用线扫描显微镜及阵列探测器，以正常速度v匀速移动样本通过所述线扫描显微镜及阵列探测器配合对所述样本进行成像以获得清晰图像，将获得的清晰图像中的一张作为输出图像，以高速K*v匀速移动样本通过所述线扫描显微镜及阵列探测器配合对所述样本进行成像以获得模糊图像，将所有的模糊图像作为输入图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提出了一种高速扫描成像系统，不需要增加额外的光学器件，通过加快系统的扫描速度进行拍照成像和使用神经网络重建清晰图像，简化了成像系统的硬件结构。
(2)本发明提供了一种高速扫描成像方法，该方法以K倍速度加速采集N张K倍降采样的模糊图像，然后输入到训练好的神经网络中得到对应的清晰图像。在这过程中，只需要训练一次神经网络，之后便可以用该网络重建清晰图像。与现有技术相比，该方法不用借助复杂的光学器件以及机械结构，便可以加快成像速度K倍；当K>N时，该方法也可以突破相机帧率K/N倍，这是传统的显微镜无法做到的。
附图说明
图1为样本扫描成像过程示意图；其中，图1(a)为采用N线的线阵探测器，以常速v对样本进行扫描成像的成像过程；图1(b)为采用N线的线阵探测器，以高速K*v对样本进行扫描成像的成像过程；
图2为thy1-GFP脑组织样本使用神经网络重建结果与真实图像的对比图；其中，
图2(a)为thy1-GFP脑组织样本使用K*v高速扫描成像采集的模糊图像，其中N＝4，K＝6；
图2(b)为使用神经网络对图2(a)的模糊图像重建的清晰图像；图2(c)为thy1-GFP脑组织样本以v常速扫描成像采集的清晰图像，即真实图像；
图3为PI染色的细胞样本使用神经网络重建结果与真实图像的对比图；其中，图3(d)为PI染色的细胞样本使用K*v高速扫描成像采集的图像，其中N＝1，K＝6；图3(e)为使用神经网络对图3(d)的模糊图像重建的清晰图像；图3(f)为PI染色的细胞样本以v常速扫描成像获得的清晰图像，即真实图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提出了一种高速扫描成像系统，包括：神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸；训练学习模块：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，用于将参照输入图像及参照输出图像按照设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将图像训练对输入神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像模块：将待成像样本通过高速扫描获取的模糊图像作为输入图像，依据设置的输入图像尺寸进行拆分后，输入训练完成的神经网络中进行学习，依据设置的输出图像的尺寸输出待成像样本的清晰图像。
通过该系统，不需要增加额外的光学器件，通过加快系统的扫描速度进行拍照成像和使用神经网络重建清晰图像，减少了成像时间，突破了相机采集速率的限制。
进一步地，所述输入图像与输出图像的图像区域完全对齐。这样保证输入图像与输出图像获取的样本成像区域相同，以保证图像恢复的准确性。
进一步地，输入图像为一帧下的N张图像，N为正整数，且N≥1，所述输出图像为一张图像。即可由一张模糊的输入图像输出一张清晰的输出图像，也可由2张及2张以上的模糊输入图像输出一张清晰的输出图像。
作为进一步地优选，2≤N≤6。针对输入图像而言，2张及2张以上的模糊图像之间存在1/K个亚像素的位移，各模糊图像之间包含不同的图像信息。将他们同时作为神经网络的输入图像有助于恢复真实图像的细节信息，预测到一个真实度更高的图像。
进一步地，输出图像的尺寸为W*H，输入图像的尺寸为N*(W/K)*H，其中，W、K、H均为正整数，且W为K的整数倍。其中，K为获取模糊图像时的速度加倍数值。优选地，0＜W≤256，0＜H≤256。例如：N＝6、K＝6、W＝240、H＝240，即输入图像的尺寸为6×40×240，该尺寸与神经网络的感受野相接近，能够获得较好的重建效果。
进一步地，还包括图像采集模块，包括线扫描显微镜及探测器，探测器为N线阵列探测器，用于对样本扫描成像时获取一帧下的N张图像，对样本进行常速扫描成像时获得N张清晰图像，取N张清晰图像中的一张作为输出图像，进行高速扫描时获得N张模糊图像，取N张模糊图像作为输入图像。如图1所示，使用线扫描共聚焦显微镜及N线阵列探测器采集样本图像。扫描成像时，样本移动，显微镜与探测器不动。其中，图1(a)为采用N线的线阵探测器，以常速v对样本进行扫描成像的成像过程；图1(b)为采用N线的线阵探测器，以高速K*v对样本进行扫描成像的成像过程。可看出，加速后相同的曝光时间内样本移动距离更大，采集到的样本图像数量更多，因此通过加速移动样本可加快扫描成像速度。
进一步地，训练学习时，若参照输入图像及参照输出图像的像素不满足一一对齐，可利用配准算法将二者配准到同一平面上。
进一步地，还可以将图像训练对的顺序打乱，打乱图像对的顺序使得训练完成的神经网络更加智能化，使得通过神经网络学习获得的图像更准确。
进一步地，神经网络训练图像对的过程中可采用监督学习的方法进行训练，并利用反向传播算法进行网络参数的调整，从而保证训练神经网络结构的可实现性。
实施例1
本实施例以thy1-GFP转基因标记荧光鼠脑组织为样本来对本发明提供的高速扫描成像系统进行说明。
本实施例的高速扫描成像系统包括神经网络结构设置模块，用于搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸，具体为：
该神经网络结构包括编码器和解码器两部分，编码器由三个2x2下采样模块组成，下采样模块之间连接了两个卷积层；解码器由与编码器对称的三个2x2上采样模块组成，且在每个编码器和解码器之间有跳跃连接，使得图像的浅层特征可以和深层特征结合到一起。设置输入图像的尺寸为4×40×240，输出图像的尺寸为240×240，即M＝240，H＝240，N＝4，K＝6。先对输入图像上采样到输出图像的尺寸，再通过编码和解码两个过程，整个网络的处理过程是图像先通过编码器降采样8倍，再通过解码器上采样8倍，最终使得输出图像为高分辨率的清晰图像。
由于神经网络采用编码器和解码器的对称结构，网络的参数比传统的深层残差卷积神经网络要少，输出图像的时间会加快，缩短了图像重建的时间。
需要说明的是，神经网络结构没有特定限制在本专利描述的模型中，可以采用多种形式的神经网络结构，只要能完成本发明的目的即可。
训练学习模块：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，具体为：
采用图1所示的扫描成像过程，如图1(a)所示，将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，如图1(b)所示，并对同一参照样本以高速K*v扫描成像获得的模糊图像作为参照输入图像，其中K＝6。所述扫描成像速度v的大小为：v＝M*Pixel/t。其中，v是扫描成像速度，M为线扫描显微镜的放大倍数，Pixel是探测器一个像素的大小，t为线扫描显微镜的单帧曝光时间。
将参照输入图像及参照输出图像按照上述设置的尺寸进行拆分后形成图像训练对，将图像训练对输入上述神经网络结构中进行训练，获得训练完成的神经网络；具体为：将参照输入图像及参照输出图像配准对齐，拆分参照输入图像成4×40×240的尺寸，拆分参照输出图像为240×240的尺寸，按照输入图像与输出图像的图像区域完全对齐的原则拆分后形成3000对图像训练对。设置神经网络的损失函数，优化器以及正则项，将已经制作好的图像训练对输入到上述的神经网络结构中进行训练，直到申请网络的损失函数达到最小，从而获得训练完成的神经网络模型。该模型训练了80个周期，用时大约90分钟。
重建清晰图像模块：
本实施例中采用了线共聚焦扫描显微镜与4线阵列探测器配合，将待成像样本通过高速扫描获取的N＝4张6倍降采样的模糊图像作为输入图像，依据设置的4×40×240输入图像尺寸进行拆分后，输入训练完成的神经网络中进行学习，依据设置的240×240输出图像的尺寸输出所述待成像样本的清晰图像。
上述成像结果如图2所示，其中，图2(a)为thy1-GFP脑组织样本使用高速6V扫描成像获得的模糊图像；图2(b)为使用神经网络对2(a)图的模糊图像进行重建的清晰图像；图2(c)为thy1-GFP脑组织样本正常速度V扫描成像获得的清晰图像，也即真实图像；直观地对比这三幅图的可以看出，图2(a)为图2(b)、2(c)的降采样图像，分辨率最低。图2(b)的成像质量与图2(c)的成像质量相对当。此外，本发明采用RMSE和SSIM以定量的方式进一步验证了图像质量(说明：关于RMSE和SSIM的值每提高0.01，图像的质量就会大幅度提升)，以真实图像为参考图像，输入图像的双线性插值图像与输出图像的PSNR分别为：32.29dB和35.45dB；输入图像与输出图像的SSIM分别为：0.97和0.99(1为极限值)。从定量分析的角度也说明重建的图像质量和高速获取的原始模糊图像相比有了较大的提升。利用该方系统，可以保证在不增加系统复杂度的前提下，提高6倍的成像速度。
实施例2
为了说明本发明提供的系统及方法并不限于某种特定的样本，且N和K可以根据实际成像条件进行选取，本实施例对另一种样本——PI染色的脑细胞做了同样的测试，该实施例与实施例1的不同之处在于，采用了单阵列探测器进行成像，即N＝1。结果如图3所示，其中图3(d)为PI染色的细胞样本使用K*V高速扫描成像所获得的模糊图像，图3(e)为使用神经网络对图3(d)的模糊图像重建的清晰图像，图3(f)为PI染色的细胞样本以v常速扫描成像获得的清晰图像，也即真实图像。由图可以看出，神经网络重建结果提升了输入图像的分辨率，采用本发明系统中的神经网络恢复的图像和显微镜拍摄的真实图像质量相当。此外，本发明进一步以真实图像为参考图像，计算了输入图像的双线性插值图像与输出图像的PSNR分别为：26.72dB和28.70dB；输入图像与输出图像的SSIM分别为：0.94和0.97。从定量分析的角度也说明神经网络重建的图像质量和高速获取的原始输入图像相比有了较大的提升。由图中的成像结果可知，本发明的系统可提高线共聚焦显微镜的成像速度，并且不会导致成像质量下降。本实施例的系统提升了6倍的成像速度，并且可以突破相机采集速率的限制，比相机最快的采集速率快K/N＝6倍。
本发明还提供了一种高速扫描成像方法，包括：设置神经网络结构：搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将所述模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸；训练学习：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；重建清晰图像：将所述待成像样本通过高速扫描获取的模糊图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的清晰图像。该方法以K倍速度加速采集N张K倍降采样的模糊图像，然后输入到训练好的神经网络中得到对应的清晰图像。在这过程中，只需要训练一次神经网络，之后便可以用该网络重建清晰图像。与现有技术相比，该方法不用借助复杂的光学器件以及机械结构，便可以加快成像速度K倍；当K>N时，该方法也可以突破相机帧率K/N倍，这是传统的显微镜无法做到的。
进一步地，该方法还包括获取扫描图像，采用线扫描显微镜，以正常速度v匀速移动样本通过所述线扫描显微镜及阵列探测器配合对所述样本进行成像以获得清晰图像，将获得的清晰图像中的一张作为输出图像，以高速K*v匀速移动样本通过所述线扫描显微镜及阵列探测器配合对所述样本进行成像以获得模糊图像，将所有的模糊图像作为输入图像。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种高速扫描成像系统，包括：
神经网络结构设置模块：用于搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将所述模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸；
训练学习模块：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，用于将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；
重建清晰图像模块：将所述待成像样本通过高速扫描获取的模糊图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的清晰图像；
所述输入图像为一帧下的N张图像，所述N为正整数，且N≥1，所述输出图像为一张图像；
所述输出图像的尺寸为W*H，所述输入图像的尺寸为N*(W/K)*H，其中，W、K、H均为正整数，且W为K的整数倍。
2.根据权利要求1所述的高速扫描成像系统，其特征在于，还包括图像采集模块，包括线扫描显微镜及探测器，所述探测器为N线阵列探测器，用于对样本扫描成像时获取一帧下的N张图像，对样本进行常速扫描成像时获得N张清晰图像，取N张清晰图像中的一张作为输出图像，进行高速扫描时获得N张模糊图像，取N张模糊图像作为输入图像。
3.根据权利要求2所述的高速扫描成像系统，其特征在于，所述扫描成像速度v的大小为：
v＝M*Pixel/t
其中，v是扫描成像速度，M为线扫描显微镜的放大倍数，Pixel是探测器一个像素的大小，t为线扫描显微镜的单帧曝光时间。
4.根据权利要求2或3所述的高速扫描成像系统，其特征在于，所述线扫描显微镜为线共聚焦扫描显微镜。
5.根据权利要求2或3所述的高速扫描成像系统，其特征在于，所述W与H的范围为：0＜W≤256，0＜H≤256。
6.根据权利要求2或3所述的高速扫描成像系统，其特征在于，所述N满足N≤6。
7.一种高速扫描成像方法，其特征在于，包括：
设置神经网络结构：搭建神经网络结构，将对待成像样本进行高速扫描获取的模糊图像作为输入图像，将所述模糊图像对应的清晰图像作为输出图像，设置输入图像及输出图像的尺寸；
训练学习：将对参照样本以常速v扫描成像获得的清晰图像作为参照输出图像，并以高速K*v扫描成像获得的模糊图像作为参照输入图像，将所述参照输入图像及参照输出图像按照所述设置的输入图像及输出图像的尺寸进行拆分后形成图像训练对，将所述图像训练对输入所述神经网络结构中进行训练，以获得训练完成的神经网络；
重建清晰图像：将所述待成像样本通过高速扫描获取的模糊图像作为输入图像，依据所述设置的输入图像尺寸进行拆分后，输入所述训练完成的神经网络中进行学习，依据所述设置的输出图像的尺寸输出所述待成像样本的清晰图像；
所述输入图像为一帧下的N张图像，所述N为正整数，且N≥1，所述输出图像为一张图像；
所述输出图像的尺寸为W*H，所述输入图像的尺寸为N*(W/K)*H，其中，W、K、H均为正整数，且W为K的整数倍。
8.根据权利要求7所述的高速扫描成像方法，其特征在于，还包括获取扫描图像，采用线扫描显微镜及阵列探测器，以正常速度v匀速移动样本通过所述线扫描显微镜及阵列探测器配合对所述样本进行成像以获得清晰图像，将获得的清晰图像中的一张作为输出图像，以高速K*v匀速移动样本通过所述线扫描显微镜及阵列探测器配合对所述样本进行成像以获得模糊图像，将所有的模糊图像作为输入图像。
CN202010265219.XA 2020-04-07 2020-04-07 一种高速扫描成像系统及方法 Active CN111402175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010265219.XA CN111402175B (zh) 2020-04-07 2020-04-07 一种高速扫描成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010265219.XA CN111402175B (zh) 2020-04-07 2020-04-07 一种高速扫描成像系统及方法

Publications (2)

Publication Number Publication Date
CN111402175A CN111402175A (zh) 2020-07-10
CN111402175B true CN111402175B (zh) 2022-04-08

Family

ID=71431487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010265219.XA Active CN111402175B (zh) 2020-04-07 2020-04-07 一种高速扫描成像系统及方法

Country Status (1)

Country Link
CN (1) CN111402175B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109087256A (zh) * 2018-07-19 2018-12-25 北京飞搜科技有限公司 一种基于深度学习的图像去模糊方法及系统
CN109993712A (zh) * 2019-04-01 2019-07-09 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备
CN110188752A (zh) * 2019-05-20 2019-08-30 南京邮电大学 监控视频下模糊车牌的去模糊识别系统及去模糊识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289951B2 (en) * 2016-11-02 2019-05-14 Adobe Inc. Video deblurring using neural networks
US11195257B2 (en) * 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109087256A (zh) * 2018-07-19 2018-12-25 北京飞搜科技有限公司 一种基于深度学习的图像去模糊方法及系统
CN109993712A (zh) * 2019-04-01 2019-07-09 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备
CN110188752A (zh) * 2019-05-20 2019-08-30 南京邮电大学 监控视频下模糊车牌的去模糊识别系统及去模糊识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Light Field Reconstruction Using Convolutional Network on EPI and Extended Applications";Gaochang Wu 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20190731;第41卷(第7期);1681-1694 *
"基于快速卷积神经网络的图像去模糊";任静静 等;《计算机辅助设计与图形学学报》;20170831;第29卷(第8期);1444-1456 *

Also Published As

Publication number Publication date
CN111402175A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
Nguyen et al. Deep learning approach for Fourier ptychography microscopy
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
US20040184657A1 (en) Method for image resolution enhancement
DE102018114005A1 (de) Materialprüfung von optischen Prüflingen
CN111429562B (zh) 基于深度学习的宽场彩色光切片显微成像方法
CN110246083A (zh) 一种荧光显微图像超分辨率成像方法
CN114331911A (zh) 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法
Li et al. Fast confocal microscopy imaging based on deep learning
CN113296259A (zh) 基于孔径调制子系统和深度学习的超分辨成像方法和装置
CN114387196B (zh) 超分辨显微镜欠采样图像的生成方法、装置
Fazel et al. Analysis of super-resolution single molecule localization microscopy data: A tutorial
Du et al. Computational framework for generating large panoramic super-resolution images from localization microscopy
CN111402175B (zh) 一种高速扫描成像系统及方法
Guo et al. Rapid 3D isotropic imaging of whole organ with double-ring light-sheet microscopy and self-learning side-lobe elimination
CN110243827B (zh) 一种适用于光透明样本的快速三维成像方法
CN112070887A (zh) 一种基于深度学习的全切片数字成像景深扩展法
CN110348569B (zh) 基于卷积神经网络的实时光学层析方法和系统
CN115100409B (zh) 一种基于孪生网络的视频人像分割算法
US20230394632A1 (en) Method and image processing device for improving signal-to-noise ratio of image frame sequences
CN115063377A (zh) 纤维状结构三维显微图像的智能插值方法及系统
CN111352229A (zh) 一种虚拟多平面成像系统及方法
CN112053304A (zh) 一种全切片数字成像单次拍照快速准焦复原方法
CN109978770A (zh) 基于深度神经网络的超分辨率场发射扫描电子显微镜
CN112070660A (zh) 一种基于迁移学习的全切片数字成像自适应自动聚焦方法
Ma et al. Reconstruct high-resolution multi-focal plane images from a single 2D wide field image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant