CN110243827B - 一种适用于光透明样本的快速三维成像方法 - Google Patents

一种适用于光透明样本的快速三维成像方法 Download PDF

Info

Publication number
CN110243827B
CN110243827B CN201910649481.1A CN201910649481A CN110243827B CN 110243827 B CN110243827 B CN 110243827B CN 201910649481 A CN201910649481 A CN 201910649481A CN 110243827 B CN110243827 B CN 110243827B
Authority
CN
China
Prior art keywords
sample
wide
images
optical tomography
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910649481.1A
Other languages
English (en)
Other versions
CN110243827A (zh
Inventor
龚辉
袁菁
宁可夫
张小宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910649481.1A priority Critical patent/CN110243827B/zh
Publication of CN110243827A publication Critical patent/CN110243827A/zh
Application granted granted Critical
Publication of CN110243827B publication Critical patent/CN110243827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供了一种适用于光透明样本的快速三维成像方法，本发明方法包括：S1训练卷积神经网络；S2样本处理：对待成像样本进行光透明处理后固定；S3获取浅层的光学层析图像：获取浅层的宽场图像，输入至训练完成的卷积神经网络，获得与宽场图像同等数量同等尺寸的光学层析图像；S4获取整个光透明样本的光学层析图像。本发明方法利用高通量的宽场成像和快速的轴向扫描来获取样本的三维图像，最后由卷积神经网络恢复出清晰完整的三维图像，这种方法显著加快了图像拍摄速度，并且降低了光漂白效应。

Description

一种适用于光透明样本的快速三维成像方法
技术领域
本发明涉及图像处理技术和显微成像技术，尤其是涉及一种适用于光透明样本的快速三维成像方法。
背景技术
在利用光学显微镜对厚组织样本进行探测时，深层组织会对入射光产生严重的吸收和散射，导致成像深度有限。利用光透明方法可以使组织表现为较好的光透明特性，光入射进组织不会发生较大的吸收或散射。目前适用于光透明样本的成像方法主要是光片显微镜，然而该方法依赖两个互相正交的光路对样本进行激发和探测，光路十分复杂并且不好调节。并且光片显微镜使用的物镜多为长工作距离的空气镜，其数值孔径NA值较低，分辨率不理想。
发明内容
本发明的目的在于克服上述技术不足，提出了一种适用于光透明样本的快速三维成像方法。该方法对厚组织样本进行光透明处理，并利用高通量的宽场成像和快速的轴向扫描来获取样本的三维图像，最后由卷积神经网络恢复出清晰完整的三维图像，这种方法实现简单，不涉及复杂的光路，成像速度快，并且对于组织深处也能实现清晰成像，分辨率能够达到轴突分辨的级别。
为达到上述技术目的，本发明提供的一种适用于光透明样本的快速三维成像方法，包括如下步骤：
S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像，以获得轴向的多张宽场图像及光学层析图像，所述光学层析显微镜成像的轴向间隔为x µm，所述宽场照明显微镜成像的轴向间隔为n×x µm(n≥2)，其中x、n均为正整数，将所述宽场图像和光学层析图像进行拆分，取p张轴向间隔为nx µm的宽场图像和(p-1)n+1张轴向间隔为x µm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数，然后用拆分后的训练图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；
S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定；
S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述光透明样本的浅层进行成像以获得轴向间隔为n×x µm的p张所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出轴向间隔为x µm的(p-1)n+1张的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；
S4获取整个光透明样本的光学层析图像：判断是否获得整个光透明样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。
进一步的，所述步骤S1中U型卷积神经网络分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸。
进一步的，所述样本的厚度大于1mm。
进一步的，所述步骤S2具体为：将经过光透明处理后的样本包埋于琼脂糖中，然后固定在充满光透明试剂的水槽中。
进一步的，所述进行成像的浅层的厚度为50-100um。
进一步的，所述步骤S1中利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像的具体方法为：通过压电扫描器控制宽场照明显微镜和光学层析显微镜的物镜使得所述宽场照明显微镜和光学层析显微镜按相应的轴向间隔对样本成像。
进一步的，所述步骤S1中的样本与所述S2-S4中的光透明样本相同或不同。
附图说明
图1为一种适用于光透明样本的快速三维成像方法的流程图。
图2为使用本方法对脑片样本进行成像的输入图像和输出图像。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
本实施例以鼠脑样本作为研究对象来解释本发明的具体实施过程，鼠脑样本的厚度为1.5mm，直接用光学显微镜进行三维探测时，成像深度受到光散射的影响而受限在10μm左右。为提高光学显微镜的成像深度，需对鼠脑样本进行光透明处理，经过光透明处理后的鼠脑样本包埋于琼脂糖中，并固定于水槽中。水槽中充满了光透明试剂。如图1所示，本发明提供的一种适用于光透明样本的快速三维成像方法具体包括：
S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸。输入图像和输出图像的尺寸均为256x256像素。
利用压电扫描器控制宽场照明显微镜和结构光显微镜的物镜，以使所述宽场照明显微镜和结构光显微镜分别对经光透明处理的鼠脑样本的浅层进行轴向扫描三维成像，以获得轴向的多张宽场图像及多张光学层析图像，所述浅层的厚度为80µm，所述结构光显微镜是一种具有光学层析能力的显微镜，轴向间隔为x=2µm，所述宽场照明显微镜拍摄的轴向间隔为n×x =8µm，此处n=8/2=4。
将所述多张宽场图像及多张光学层析图像配准到同一水平面上，像素一一对齐，按照256x256像素的尺寸进行拆分。本实施例中设置p=3，则(p-1)n+1=9，将拆分后的图像按顺序取3张轴向间隔为8µm的宽场图像和9张轴向间隔为2µm的光学层析图像组成训练图像对。
设置卷积神经网络的损失函数为平均绝对值误差函数，将所述训练图像对输入至卷积神经网络中进行训练，当网络输出的误差不再下降时，终止训练，获得训练完成的卷积神经网络。
S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定，本实施例直接对上述已进行光透明处理的鼠脑组织进行成像，故此处不再重复处理样本。若此处要成像的样本与上一步骤中成像的样本不同时，需要对新的样本进行光透明处理。
S3获取浅层的光学层析图像：采用所述步骤S1中的压电扫描器控制所述步骤1中的宽场照明显微镜的物镜，对所述鼠脑样本的浅层以8µm的步进进行轴向成像，本实施例中获取到的当前视场的宽场图像大小为1024x1024像素，取3张所述宽场图像按照256x256像素的大小进行拆分，每份可以获得（1024/256）×（1024/256）=16张256x256像素的宽场图像。将这3份数量各为16张的宽场图像作为输入图像，输入至所述步骤S1中训练好的卷积神经网络中，输出9份数量各为16张的256x256像素的光学层析图像。如图2所示，其中a为输入的宽场图像，间隔nx=8µm，b为输出的光学层析图像，间隔x=2µm。将输出图像按顺序拼接，得到9张间隔为2µm、大小为1024x1024像素的当前视场的光学层析图像。对于80µm的浅层，需要依次重复80/16=5次获取光学层析图像的过程，才能获得清晰完整的三维图像。
当前视场的成像结束后，将鼠脑样本移动到下一视场，重复上述步骤依次进行成像，直至整个浅层所有视场的三维图像获取完成。
S4获取整个光透明样本的光学层析图像：判断是否已获得整个光透明样本的光学层析图像，如未全部获得，则利用振动切片机将已获得光学层析图像的浅层切除，以露出新的浅层，重复步骤S3，所述切除厚度与所述步骤S1和S3中成像深度一致，均为80µm；如已获得整个光透明样本的光学层析图像，则结束。
本发明提供的成像方法非常适用于厚度较厚的光透明样本，这种方法实现简单，不涉及复杂的光路，成像速度快，并且对于组织深处也能实现清晰成像，分辨率能够达到轴突分辨的级别。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (7)

1.一种适用于光透明样本的快速三维成像方法，其特征在于，包括如下步骤：
S1训练卷积神经网络：搭建基于编码解码的U型卷积神经网络，利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像，以获得轴向的多张宽场图像及光学层析图像，所述光学层析显微镜成像的轴向间隔为x µm，所述宽场照明显微镜成像的轴向间隔为n×x µm(n≥2)，其中x、n均为正整数，将所述宽场图像和光学层析图像进行拆分，取p张轴向间隔为nx µm的宽场图像和(p-1)n+1张轴向间隔为x µm的光学层析图像组成训练图像对，拆分后的宽场图像与光学层析图像配准到同一平面、像素一一对齐，其中p为正整数，然后用拆分后的训练图像对训练所述卷积神经网络，以获得训练完成的卷积神经网络；
S2样本处理：对待成像样本进行光透明处理以获得光透明样本，并对其进行固定；
S3获取浅层的光学层析图像：采用所述步骤S1中的宽场照明显微镜对所述光透明样本的浅层进行成像以获得轴向间隔为n×x µm的p张所述浅层的宽场图像，将所述浅层的宽场图像按照所述步骤S1中的宽场图像的尺寸进行拆分后，输入所述步骤S1中训练完成的卷积神经网络中，最终输出轴向间隔为x µm的(p-1)n+1张的等同尺寸的光学层析图像，将本次输出的光学层析图像进行拼接以获得所述浅层的光学层析图像；
S4获取整个光透明样本的光学层析图像：判断是否获得整个光透明样本的光学层析图像，未全部获得则将所述已获得光学层析图像的浅层切除以露出新的浅层后重复步骤S3，已全部获得则结束。
2.根据权利要求1所述的适用于光透明样本的快速三维成像方法，其特征在于，所述步骤S1中U型卷积神经网络分为编码器部分和解码器部分，编码器由8层步长为2、卷积核为4×4的卷积层构成，解码器由与所述编码器对称的8层步长为2、卷积核为4×4的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器的每个卷积层先降采样2倍，再经过解码器的每个反卷积层升采样2倍，最终恢复到原来的尺寸。
3.根据权利要求2所述的适用于光透明样本的快速三维成像方法，其特征在于，所述样本的厚度大于1mm。
4.根据权利要求3所述的适用于光透明样本的快速三维成像方法，其特征在于，所述步骤S2具体为：将经过光透明处理后的样本包埋于琼脂糖中，然后固定在充满光透明试剂的水槽中。
5.根据权利要求4所述的适用于光透明样本的快速三维成像方法，其特征在于，所述进行成像的浅层的厚度为50-100um。
6.根据权利要求5所述的适用于光透明样本的快速三维成像方法，其特征在于，所述步骤S1中利用宽场照明显微镜和光学层析显微镜对同一样本进行轴向扫描三维成像的具体方法为：通过压电扫描器控制宽场照明显微镜和光学层析显微镜的物镜使得所述宽场照明显微镜和光学层析显微镜按相应的轴向间隔对样本成像。
7.根据权利要求1-6任一所述的适用于光透明样本的快速三维成像方法，其特征在于，所述步骤S1中的样本与所述S2-S4中的光透明样本相同或不同。
CN201910649481.1A 2019-07-18 2019-07-18 一种适用于光透明样本的快速三维成像方法 Active CN110243827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910649481.1A CN110243827B (zh) 2019-07-18 2019-07-18 一种适用于光透明样本的快速三维成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910649481.1A CN110243827B (zh) 2019-07-18 2019-07-18 一种适用于光透明样本的快速三维成像方法

Publications (2)

Publication Number Publication Date
CN110243827A CN110243827A (zh) 2019-09-17
CN110243827B true CN110243827B (zh) 2020-11-20

Family

ID=67892634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910649481.1A Active CN110243827B (zh) 2019-07-18 2019-07-18 一种适用于光透明样本的快速三维成像方法

Country Status (1)

Country Link
CN (1) CN110243827B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111103275B (zh) * 2019-12-24 2021-06-01 电子科技大学 Pat先验信息辅助的基于cnn和自适应ekf的动态fmt重建方法
CN113075159B (zh) * 2021-03-26 2022-10-14 重庆医药高等专科学校 一种基于太赫兹光谱的切片检查细胞成像系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023291A (zh) * 2016-05-12 2016-10-12 华中科技大学 快速获取大样本三维结构信息和分子表型信息的成像装置和方法
CN106846463A (zh) * 2017-01-13 2017-06-13 清华大学 基于深度学习神经网络的显微图像三维重建方法及系统
CN108603922A (zh) * 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
CN110009028A (zh) * 2019-03-28 2019-07-12 北京科技大学 一种显微图像数据增强方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203217237U (zh) * 2013-03-12 2013-09-25 耿征 真三维显示装置和系统
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US11664114B2 (en) * 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
CN107958475B (zh) * 2017-12-19 2020-06-02 清华大学 基于深度学习生成网络的变角度光照层析方法及装置
EP3509013A1 (en) * 2018-01-04 2019-07-10 Holo Surgical Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure
US10706262B2 (en) * 2018-01-08 2020-07-07 3DLOOK Inc. Intelligent body measurement
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN108898560B (zh) * 2018-06-21 2023-04-28 四川大学 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
US20200037962A1 (en) * 2018-08-01 2020-02-06 General Electric Company Plane selection using localizer images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108603922A (zh) * 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
CN106023291A (zh) * 2016-05-12 2016-10-12 华中科技大学 快速获取大样本三维结构信息和分子表型信息的成像装置和方法
CN106846463A (zh) * 2017-01-13 2017-06-13 清华大学 基于深度学习神经网络的显微图像三维重建方法及系统
CN110009028A (zh) * 2019-03-28 2019-07-12 北京科技大学 一种显微图像数据增强方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A platform for efficient identification of molecular phenotype of brain-wide neural circuits;Tao Jiang;《Science Report》;20171024;1-12 *
Deep learning optical-section method;Xiaouyu Zhang;《optics express》;20181107;第23卷(第26期);30762-30772 *
On-line optical clearing method for whole-brain imaging in mice;Hao Wu;《Biomedical optics express》;20190429;第5卷(第10期);2612-2622 *

Also Published As

Publication number Publication date
CN110243827A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
EP2720076B1 (en) Self autofocus sensor
Sivaguru et al. Capturing the surface texture and shape of pollen: a comparison of microscopy techniques
CN110243827B (zh) 一种适用于光透明样本的快速三维成像方法
CN104181686A (zh) 基于fpm的光场显微方法
Bennke et al. Modification of a high-throughput automatic microbial cell enumeration system for shipboard analyses
US10623627B2 (en) System for generating a synthetic 2D image with an enhanced depth of field of a biological sample
Zhao et al. Deep-learning super-resolution light-sheet add-on microscopy (Deep-SLAM) for easy isotropic volumetric imaging of large biological specimens
US20100188739A1 (en) Tomographic Light Field Microscope
Gu et al. High-density 3D single molecular analysis based on compressed sensing
CN106353234A (zh) 一种基于激光共聚焦扫描的膜孔结构及孔隙率测试方法
WO2018160629A1 (en) Surface ablation lathe tomography (salt) systems and methods for whole organ phenotyping
JP2016036024A (ja) 撮像装置および分析装置
CN110349237B (zh) 基于卷积神经网络的快速体成像方法
Ströhl et al. Multifocus microscopy with optical sectioning and high axial resolution
CN110348569B (zh) 基于卷积神经网络的实时光学层析方法和系统
CN102735609A (zh) 一种体液成像系统、方法及景深扩展成像装置
US20220270279A1 (en) Sample imaging via two-pass light-field reconstruction
CN111352229A (zh) 一种虚拟多平面成像系统及方法
CN209707371U (zh) 用于循环肿瘤细胞快速检测的大视场生物成像、扫描、分析装置
CN104865195A (zh) 光学投影断层成像的检测方法
US9961326B2 (en) Stereo extended depth of focus
CN105761212A (zh) 基于dmd编码的哈达码变换高灵敏成像的方法
CN111402175B (zh) 一种高速扫描成像系统及方法
Wang et al. Method and Device of All-in-Focus Imaging with Overexposure Suppression in an Irregular Pipe

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant