CN111122567B - 一种高通量光学层析三维成像系统 - Google Patents

一种高通量光学层析三维成像系统 Download PDF

Info

Publication number
CN111122567B
CN111122567B CN201811296073.4A CN201811296073A CN111122567B CN 111122567 B CN111122567 B CN 111122567B CN 201811296073 A CN201811296073 A CN 201811296073A CN 111122567 B CN111122567 B CN 111122567B
Authority
CN
China
Prior art keywords
sample
image
strip
pixels
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811296073.4A
Other languages
English (en)
Other versions
CN111122567A (zh
Inventor
骆清铭
袁菁
钟秋园
金锐
龚辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hust-Suzhou Institute For Brainsmatics
Original Assignee
Hust-Suzhou Institute For Brainsmatics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201811296073.4A priority Critical patent/CN111122567B/zh
Application filed by Hust-Suzhou Institute For Brainsmatics filed Critical Hust-Suzhou Institute For Brainsmatics
Priority to AU2019372392A priority patent/AU2019372392B2/en
Priority to JP2021523973A priority patent/JP7190034B2/ja
Priority to KR1020217016637A priority patent/KR102593253B1/ko
Priority to EP19878242.7A priority patent/EP3876022A4/en
Priority to PCT/CN2019/098367 priority patent/WO2020088014A1/zh
Priority to CA3118393A priority patent/CA3118393C/en
Publication of CN111122567A publication Critical patent/CN111122567A/zh
Priority to US17/302,330 priority patent/US11906723B2/en
Application granted granted Critical
Publication of CN111122567B publication Critical patent/CN111122567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/286—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q involving mechanical work, e.g. chopping, disintegrating, compacting, homogenising
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/286—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q involving mechanical work, e.g. chopping, disintegrating, compacting, homogenising
    • G01N2001/2873—Cutting or cleaving
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G01N2021/1787—Tomographic, i.e. computerised reconstruction from projective measurements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G02B27/0966—Cylindrical lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种高通量光学层析三维成像系统，包括：光束调制模块，其用于将光束调制成能够在物镜的焦平面聚焦并能够在物镜的离焦面发散的调制光束；成像模块，其用于采用相机对调制光束照明下的样本在不同像素下成像；切除模块，其用于将样本的已成像表层切除；解调模块，其用于将一个表层中的一个样本条的样本图像解调形成光学层析图像，并将每个表层的每个样本条的光学层析图像重建成三维图像。本发明通过将样本分隔形成至少一个表层，并将至少一个表层分隔形成至少一个样本条，其可通过对每个样本条的成像而实现对整个样本的成像，当无法进行多层次成像时可通过切除模块将已成像部分切割而实现样本的任意层成像，其成像速度快、效率高。

Description

一种高通量光学层析三维成像系统
技术领域
本发明涉及成像技术，尤其是涉及一种高通量光学层析三维成像系统。
背景技术
在光学成像技术领域，传统宽场显微镜的焦外背景干扰使得无法获得焦面清晰的图像，一般通过将组织切成薄片来避免背景干扰，而光学层析通过光学的成像方法达到 类似组织切片的成像效果，也称为光学切片。共聚焦显微成像技术通过在相机前放置小 孔(pinhole)阻挡离焦的背景干扰，而只让焦面的有效信号通过，达到光学层析效果。 多光子激发显微成像技术利用非线性效应，只在焦点处具有足够的能量以激发样本的荧 光信号，实现理想的光学层析效果。然而，这两种光学层析技术都采用逐点扫描的成像 方式，在成像通量上较宽场成像方式有明显不足。
结构光照明显微成像技术利用对宽场照明叠加一种高频的周期性图案调制实现对 焦面信号的调制，而离焦信号则因这种高频调制的快速衰减而被抑制，从而实现光学层析。这一过程的实现，需要至少三张不同调制相位的原始图像，通过结构光照明显微成 像重建算法解调出焦面信号，得到光学层析图像。相比于同样具有光学层析功能的共聚 焦和多光子激发显微成像技术，结构光照明显微成像因采用宽场成像方式而有着成像通 量高、速度快的优势。当需要对大尺寸样本进行成像时，结构光照明显微成像技术通常 需采用马赛克拼接方式来扩大成像视场。这使得大尺寸样本成像时所耗时间大部分都用 于了马赛克与马赛克间的样本移动，限制了整体成像速度。为避免过多的马赛克拼接， 申请号为201310131718.X的中国专利申请公开了一种结构光快速扫描的成像方法，采 用线扫描条带式成像提高成像速度，采用结构光照明抑制背景干扰，实现快速获取大尺 寸样本的光学层析图像。但这一方法同样需要对样本成像区域来回扫描三次，以获得结 构光照明显微成像算法重建所需的原始数据，其牺牲了成像速度，而且该种成像方法需 要在条带式成像系统中使用光束调制器件以实现对照明光场的调制，增加了系统的复杂 性；同时，其因采用传统结构光照明显微成像方法，成像质量对调制图案对比度依赖较 大。而且，现有的成像方式无法进行三维成像，故发展一种简单、高效的高通量光学层 析三维成像系统是很有必要的。
发明内容
本发明的目的在于克服上述技术不足，提出一种高通量光学层析三维成像系统，解 决现有技术中三维成像速度慢的技术问题。
为达到上述技术目的，本发明的技术方案提供一种高通量光学层析三维成像系统， 其特征在于，包括：
光束调制模块，其用于将光束调制成能够在物镜的焦平面聚焦并能够在物镜的离焦 面发散的调制光束，且该调制光束在物镜的焦平面具有不完全相同的调制强度；
成像模块，其用于对调制光束照明下的样本的至少一个表层的至少一个样本条在不 同像素下进行成像；
切除模块，其用于将样本的已成像的表层切除；
解调模块，其用于将一个表层中的一个样本条的样本图像解调形成光学层析图像， 并将每个表层的每个样本条的光学层析图像重建形成三维图像。
与现有技术相比，本发明通过将样本分隔形成至少一个表层，并将至少一个表层分 隔形成至少一个样本条，其可通过对每个样本条的成像而实现对整个样本的成像，当无法进行多层次成像时可通过切除模块将已成像部分切割而实现样本的任意层成像，其成像速度快、效率高。
附图说明
图1是本发明的高通量光学层析三维成像系统的光学结构示意图；
图2是本发明的高通量光学层析三维成像系统的连接框图；
图3是本发明的样本成像示意图；
图4是本发明的实施例1的光学层析图像的重建原理图；
图5是本发明的实施例2的光学层析图像的重建原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1、图2、图3所示，本发明提供了一种高通量光学层析三维成像系统10，其 包括光束调制模块11、成像模块12、切除模块13、解调模块14。
光束调制模块11用于将光束调制成能够在物镜117的焦平面聚焦并能够在物镜117 的离焦面发散的调制光束11b，且该调制光束11b在物镜117的焦平面具有不完全相同的调制强度；所述光束调制模块11包括一用于将照明光线整形成呈线状的线光束11a 的整形光路及一用于将线光束11a调制成线照明调制光束11b的调制光路。
光束调制模块11可由沿光线方向依次设置的激光光源111、第一透镜112、第二透镜113、柱透镜114、第三透镜115、二向色镜116和物镜117组成，激光光源111、第 一透镜112、第二透镜113、柱透镜114形成整形光路，而第三透镜115、二向色镜116 和物镜117则形成调制光路。光线整形时，激光光源111出射形成照明光线，其由第一 透镜112和第二透镜113依次处理后进行扩束，扩束后的光束由柱透镜114调制形成呈 线状的线光束11a，该线光束11a为发散的光线，故其经过第三透镜115调制形成平行 光线的线光束11a，并经过二向色镜116调制其入射方向后进入物镜117以形成能够在 物镜117的焦平面聚焦并能够在物镜117的离焦面发散的线照明调制光束11b。为了便 于后续的成像，调制光束11b的光轴与照明光线和未经过反射的线光束11a的光轴垂直 设置，即第一透镜112、第二透镜113、柱透镜114、第三透镜115同轴设置，且第一透 镜112、第二透镜113、柱透镜114、第三透镜115的中轴线与物镜117的中轴线垂直设 置。而且，二向色镜116与调制光束11b的光轴的夹角为45°，其可保证经过二向色镜 116反射后的线光束11a的宽度不会发生改变。
本实施例首先将照明光线整形成呈线状的线光束11a，然后再将线光束11a调制成可线照明的调制光束11b，本实施例通过能够在物镜117的焦平面聚焦并能够在物镜117 的离焦面发散的调制光束11b对样本30进行线照明，其可利于样本30激发出荧光，从 而利于后续成像。
其中，上述调制光束11b在物镜焦平面具体由不完全相同的调制强度，例如高斯调制、正弦调制、三角调制等具有不完全相同调制强度的波形调制。由于本实施例的照明 光束采用高斯光束，故本实施例形成的调制光束11b为高斯调制。其中，本实施例也可 根据需要采用其他具有不完全相同的调制强度的波形调制。
成像模块12用于对调制光束11b照明下的样本20的至少一个表层的至少一个样本条在不同像素下进行成像；其包括驱动单元121、成像单元122、图像块获取单元123 及拼接单元124，驱动单元121用于驱动光束调制模块11和样本20在相互垂直的三个 方向上作相对运动，成像单元122用于沿样本条长度方向作连续成像的，所述样本条的 长度方向与光束调制模块11和样本20的其中一个相对运动方向相同。
为了与上述光束调制模块11配合，本实施例的驱动单元121可采用一三维电动平移台，而样本20可放置于该三维电动平移台上，三维电动平移台可驱动样本20在水平 面作横向、纵向移动，并能够驱动样本20在竖直平面作上下运动，从而实现驱动光束 调制模块11和样本20在相互垂直的三个方向上作相对运动；可以理解的是，本实施例 的驱动单元121并不限于驱动样本20在三个垂直的方向运动，其也可以驱动光束调制 模块11在三个垂直的方向运动。
具体设置时，三维电动平移台位于物镜117正下方，且三维电动平移台的上表面处于水平状态，而物镜117的中轴线则垂直于三维电动平移台的上表面。
成像单元122则由一成像光路构成，其由位于物镜117正上方的发射滤光片122a、筒镜122b和成像相机122c组成，样本20在调制光束11b的作用下被激发发出的荧光 依次经过物镜117、二向色镜116、发射滤光片122a和筒镜122b，并由成像相机122c 探测成像。其中，本实施例的成像相机122c为具有Sub-array(子阵列)或ROI(Region of interest，感兴趣区)功能的面阵CCD(Charge-coupled device，电荷耦合元件)或面 阵CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)相机， 也可采用具有面模式功能的线阵CCD或线阵CMOS相机。为了便于后续的光学层析图 像的重建，本实施例所述成像相机122c的成像区域为N行像素，N≥2，且成像相机122c 的成像方向和成像区域的宽度分别与线照明调制光束11b的方向和宽度相同。
为了便于成像，本实施例的样本20可呈矩形块状，故当进行三维成像时，可将样本20设置由样本本体及包裹于样本本体外的固体介质组成，固体介质一般为琼脂、石 蜡或树脂。其中，样本20可分隔形成由上至下依次均匀布置的多个表层，分别为：第 一表层、第二表层、第三表层等，而每个表层则沿纵向均匀分隔形成多个样本条，分别 为：第一样本条、第二样本条、第三样本条等，样本条的宽度可设置与成像相机122c 的N行像素的宽度相同。
如图3所示，当成像时，样本设定为八个表层，每个表层则分隔形成4个样本条， 驱动单元121驱动样本20横向作连续、匀速运动，则成像相机122c对第一表层21的 第一样本条211进行成像，当第一样本211成像完成后，样本20沿横向返回，其可对 第二表层22的第一样本条221成像，然后可以依次对第三表层23的第一样本条231、 第四表层24的第一样本条241等进行成像，由于成像相机122c在竖直方向成像的层数 有限，故当达到设定成像层数后，例如第四表层24的第一样本条241成像完成后，可 驱动样本20纵向移动一个样本条的宽度，并依次对第一表层21的第二样本条212、第 二表层22的第二样本条222、第三表层23的第二样本条232、第四表层24的第二样本 条242进行成像，然后按上述方式对第一表层21至第四表层24的其他样本条均进行成 像，成像完成后，则可通过切除模块13将已成像的第一表层21至第四表层24切除； 切除后，驱动样本20向上运动四个表层厚度的距离，然后继续对第五表层～第八表层进 行成像。
在每一个样本条的成像过程中，在不同像素下的形成的样本图像的计算公式为：
I(i)＝Iinf(i)+Iout
其中，I(i)为i像素下形成的样本图像，f(i)为样本图像I(i)所对应的调制强度，Iin为样本图像的焦平面图像，Iout为样本图像的离焦面图像；
其中，成像相机122c的N行像素沿横向布置，其与样本条的运动方向相同，从而 便于样本20的样本条在不同像素下分别成像。在对一个样本条进行成像时，成像相机 122c的单帧曝光时间与样本20移动一行像素的时间，若设定任意一行像素在一帧图像 中对应的图像为一个条带图像块，则任意一行像素在多帧图像中对应的多个条带图像块 为该样本20的各个部分的依次连续成像，该连续成像可拼接成一条带图像，而N行像 素则可形成N个条带图像。如图4中(a)所示，在与所述样本20成像平面相平行的平 面上形成相垂直X与Y两个方向，所述调制光束11b在X与Y方向分别具有如下特性： 所述调制光束11b在所述N行像素上沿X方向上具有不完全相同的调制强度，所述调 制光束11b在所述N行像素的每一行像素上沿Y方向上具有相同的调制强度，具体为X 方向为横向、Y方向为纵向。而且，N行像素的分布方向和宽度分别与线照明调制光束 11b的分布方向和宽度相同，并互为物像共轭关系，从而便于成像区域与线照明调制光 束11b相对应。本实施例的像素为行像素，样本图像为条带图像。
如图4中(a)所示，在成像时，样本20沿成像像素排列方向运动，由于成像的单 帧曝光时间与样本20移动一行像素的时间相同，故每行像素沿样本20长度方向依次形 成多个条带图像块，该多个条带图像块则是对样本20的连续成像。
而本实施例所述图像块获取单元123用于获取按时间顺序所得的一个样本条的每帧 图像中的第i行像素的条带图像块，条带图像块的计算公式为
Figure BDA0001851214190000051
其中，It(i)为第t帧图像中第i行像素对应的条带图像块，
Figure BDA0001851214190000052
为It(i)相对的条带图 像块的焦平面图像，即
Figure BDA0001851214190000061
为完整的条带图像中的第m个条带图像块的焦平面图像，
Figure BDA0001851214190000062
为It(i)相对的条带图像块的离焦面图像，f(i)为第i行像素对应的调制强度；
所述拼接单元124用于将一个样本条的每帧图像中的第i行像素的条带图像块依次 拼接获得第i行像素的条带图像，其计算公式为：
Figure BDA0001851214190000063
其中，M为完整的条带图像所对应的条带图像块数量，具体为：所述条带图像由M个条带图像块拼接形成，其中，
Figure BDA0001851214190000064
为所述条带图像中第m个条带图像块所对应的焦平 面图像，m≤M。
需要说明的是，上述条带图像为一行像素相对应的多个条带图像移位拼接而成，而 其为上述描述的条带图像，即N行像素可分别拼接形成N个条带图像。
解调模块14用于将一个表层中的一个样本条的条带图像解调形成光学层析图像，并将每个表层的每个样本条的光学层析图像重建形成三维图像。
所述解调模块14包括图像累加单元141、解调单元142及层析单元143，所述图像累加单元141用于将一个样本条的至少一行像素的条带图像累加形成第一条带图像、并 将该样本条的至少一行像素的条带图像累加形成第二条带图像，所述解调单元142用于 将第一条带图像和第二条带图像解调成光学层析图像，所述层析单元143用于将多个样 本条的光学层析图像重建形成三维图像。
当获取上述N个条带图像时，可任意选择其中的一个、两个或多个条带图像进行累加并形成第一条带图像，然后按同样的方式累加获得第二条带图像，为了避免上述解调 算法获取的光学层析图像为零，故本实施例可设定α个像素下的条带图像相对应的调制 强度的累加值和β个像素下的条带图像相对应的调制强度的累加值不相同。
当累加之后，可由解调单元142按如下解调算法获取对应样本条的焦平面图像，即光学层析图像，所述解调单元142采用的解调算法的解调公式为：
Iin＝c×|βI1-αI2|
其中，α、β为正整数，c为大于0的常数，I1为α个像素下获取的条带图像的累加和，I2为β个像素下获取的样本图像的累加和；α个像素下的样本图像相对应的调制强度的累加值和β个像素下的样本图像相对应的调制强度的累加值不相同。
由于每个条带由多个条带图像块拼接而成，故
Figure BDA0001851214190000065
为了便于说明本实施例的条带图像的获取流程，按以下实施例进行说明。
实施例1：如图4中(a)所示，当样本沿N行像素排列方向运动时，其可在时间t1至tN+M-1时间内获得N+M-1帧图像(M为完整的条带图像所对应的条带图像块数量， 该实施例中N为8，M为9)，而其N+M-1帧图像中的每一行像素均对应一条带图像块， 例如：可获取第一帧图像的第一行像素的条带图像块I1(1)、第2帧图像的第1行像素的 条带图像块I2(1)，第N帧图像的第1行像素的条带图像块IN(1)以及第N+M-1帧图像的 第1行像素的条带图像块IN+M-1(1)，而上述条带图像块I1(1)、条带图像块I2(1)至条带 图像块IN+M-1(1)可依次拼接形成一条带图像，对应的第二行像素至第N行像素均可拼 接形成对应的条带图像。
如图4中(b)和(c)所示，为了便于说明如何获取更清晰的条带图像块和条带图像，先以第2行像素和第4行像素为例进行说明，由条带图像块和样本图像的计算公式 分别可知：
Figure RE-GDA0001982234580000071
和
Figure RE-GDA0001982234580000072
则第4帧图像在第4行像素下 的条带图像块
Figure RE-GDA0001982234580000073
(其中m＝1，因为条带图像由9个条带图像块拼接 形成，而第4帧图像在第4行的像素下的条带图像块为所述条带图像的第一个条带图像 块，即
Figure RE-GDA0001982234580000074
为所述条带图像中第1个条带图像块所对应的焦平面图像)；对应的，
Figure RE-GDA0001982234580000075
Figure RE-GDA0001982234580000076
其中
Figure RE-GDA0001982234580000077
第2帧图像在第2行像素下的条带图像块
Figure RE-GDA0001982234580000078
I1为第4行像素下获取的样本图像的累加和，I2为第2行像素 下获取的样本图像的累加和，选取α和β的值均为1，
Figure RE-GDA0001982234580000079
Figure RE-GDA00019822345800000710
因此，
Figure RE-GDA00019822345800000711
Figure RE-GDA00019822345800000712
实施例2：如图5所示，第4行像素下拼接形成的条带图像
Figure BDA00018512141900000713
其 中
Figure BDA00018512141900000714
第1行像素下拼接形成的条带图像
Figure BDA00018512141900000715
其中
Figure BDA00018512141900000716
第2行像素下拼接形成的条带图像
Figure BDA00018512141900000717
其中
Figure BDA00018512141900000718
第3行像素下拼接形成的条带图像
Figure BDA00018512141900000719
其中
Figure BDA00018512141900000720
若I1为第1、2、3行像素下获取的样本图像的累加和，12为第4行像素下获取的样 本图像的累加和，则相当于对应选取α的值为3、β的值为1，故由解调公式可知：
Figure BDA00018512141900000721
Figure BDA00018512141900000722
Figure BDA00018512141900000723
因此，
Figure BDA00018512141900000724
Figure BDA00018512141900000725
通过上述解调算法可依次获得每一个样本条的光学层析图像，而层析单元143则可 将所有的光学层析图像进行拼接形成一立体三维图像。
需要说明的是，当样本20的纵向宽度小于成像相机122c的N行像素的成像区域的宽度时，则每个表层只有一个样本条，样本20在成像过程中则不需要纵向运动；而当 样本20的纵向宽度小于成像相机122c的N行像素的成像区域的宽度，且其厚度小于成 像相机122c能够成像的深度时，例如仅仅只有两个表层，则样本20只需要在横向作往 返运动即可，其也不需要切除模块13进行表层切除；其中，当样本20的宽度小于成像 相机122c的N行像素成像区域的宽度，且其厚度小于设定的一个表层的厚度时，则该 样本20只需要一次扫描成像即可，其可认为是二维成像。由上可知，本实施例通过对 多个二维图像叠加形成一三维图像。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本 发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保 护范围内。

Claims (9)

1.一种高通量光学层析三维成像系统，其特征在于，包括：
光束调制模块，其用于将光束调制成能够在物镜的焦平面聚焦并能够在物镜的离焦面发散的调制光束，且该调制光束在物镜的焦平面具有不完全相同的调制强度；
成像模块，其用于采用相机对调制光束照明下的同一样本的至少一个表层的至少一个样本条在不同像素下进行成像；
切除模块，其用于将样本的已成像的表层切除；
解调模块，其用于将一个表层中的一个样本条的样本图像解调形成光学层析图像，并将每个表层的每个样本条的光学层析图像重建形成三维图像；
所述成像模块中，形成的样本条的样本图像的计算公式为：
Figure 468759DEST_PATH_IMAGE001
其中，
Figure 305128DEST_PATH_IMAGE002
为i像素下形成的样本图像，
Figure 77912DEST_PATH_IMAGE003
为样本图像
Figure 25140DEST_PATH_IMAGE002
所对应的调制强度，
Figure 199769DEST_PATH_IMAGE004
为样本图像的焦平面图像，
Figure 269356DEST_PATH_IMAGE005
为样本图像的离焦面图像；
所述解调模块中，解调公式为：
Figure 903338DEST_PATH_IMAGE006
= c × | β I1 – α I2 |
其中，α、β为正整数，c为大于0的常数，I1为α个像素下获取的样本图像的累加和，I2为β个像素下获取的样本图像的累加和；α个像素下的样本图像相对应的调制强度的累加值和β个像素下的样本图像相对应的调制强度的累加值不相同。
2.根据权利要求1所述的高通量光学层析三维成像系统，其特征在于，所述成像模块包括一用于驱动光束调制模块和样本在相互垂直的三个方向上作相对运动的驱动单元及一用于沿样本条长度方向作连续成像的成像单元，所述样本条的长度方向与光束调制模块和样本的其中一个相对运动方向相同。
3.根据权利要求2所述的高通量光学层析三维成像系统，其特征在于，所述成像模块中的相机的成像区域为N行像素，N≥2；在与样本成像平面相平行的平面上形成相垂直X与Y两个方向，所述调制光束在X与Y方向分别具有如下特性：所述调制光束在所述N行像素上沿X方向上具有不完全相同的调制强度，所述调制光束在所述N行像素的每一行像素上沿Y方向上具有相同的调制强度；所述像素为行像素，所述样本图像为条带图像。
4.根据权利要求3所述的高通量光学层析三维成像系统，其特征在于，所述成像模块还包括一图像块获取单元及一拼接单元，所述图像块获取单元用于获取按时间顺序所得的一个样本条的每帧图像中的第i行像素的条带图像块，条带图像块的计算公式为
Figure 513311DEST_PATH_IMAGE007
，
Figure 417813DEST_PATH_IMAGE008
为第t帧图像中第i行像素对应的条带图像块，
Figure 986197DEST_PATH_IMAGE009
为
Figure 343360DEST_PATH_IMAGE010
相对的条带图像块的焦平面图像，即
Figure 960287DEST_PATH_IMAGE011
为完整的条带图像中的第m个条带图像块的焦平面图像，
Figure 843929DEST_PATH_IMAGE012
为
Figure 989740DEST_PATH_IMAGE008
相对的条带图像块的离焦面图像，
Figure 162095DEST_PATH_IMAGE013
为样本图像
Figure 487772DEST_PATH_IMAGE002
所对应的调制强度；所述拼接单元用于将一个样本条的每帧图像中的第i行像素的条带图像块依次拼接获得第i行像素的条带图像，其计算公式为
Figure 757079DEST_PATH_IMAGE014
，其中，M为完整的条带图像所对应的条带图像块数量，m≤M。
5.根据权利要求4所述的高通量光学层析三维成像系统，其特征在于，所述解调模块包括图像累加单元、解调单元及层析单元，所述图像累加单元用于将一个样本条的至少一行像素的条带图像累加形成第一条带图像、并将该样本条的至少一行像素的条带图像累加形成第二条带图像，所述解调单元用于将第一条带图像和第二条带图像按所述解调公式解调成所述条带图像光学层析图像，则
Figure 277053DEST_PATH_IMAGE015
，所述层析单元用于将多个样本条的光学层析图像重建形成三维图像。
6.根据权利要求5所述的高通量光学层析三维成像系统，其特征在于，所述成像单元成像的单帧曝光时间与光束调制模块和样本沿样本条长度方向相对移动一行像素的时间相同；所述N行像素的分布方向和宽度分别与调制光束的分布方向和宽度相同，并互为物像共轭关系。
7.根据权利要求6所述的高通量光学层析三维成像系统，其特征在于，所述光束调制模块包括一用于将照明光线整形成呈线状的线光束的整形光路及一用于将线光束调制成线照明调制光束的调制光路。
8.根据权利要求7所述的高通量光学层析三维成像系统，其特征在于，所述整形光路包括沿照明光线的传递方向依次设置的激光光源、第一透镜、第二透镜、柱透镜；所述调制光路包括用于将线光束的发散光线调制成平行光线的第三透镜、用于调制线光束的入射方向的二向色镜及一与调制入射方向后的线光束同轴设置的物镜。
9.根据权利要求8所述的高通量光学层析三维成像系统，其特征在于，所述驱动单元为一用于驱动样本在相互垂直的三个方向上运动的平移台，所述平移台位于所述物镜远离二向色镜一侧，且其垂直于所述调制光束的光轴；所述切除模块中包括振动切片刀具、金刚石刀具、硬质合金刀具中的一种或多种。
CN201811296073.4A 2018-11-01 2018-11-01 一种高通量光学层析三维成像系统 Active CN111122567B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201811296073.4A CN111122567B (zh) 2018-11-01 2018-11-01 一种高通量光学层析三维成像系统
JP2021523973A JP7190034B2 (ja) 2018-11-01 2019-07-30 高スループット光トモグラフィ三次元イメージングシステム
KR1020217016637A KR102593253B1 (ko) 2018-11-01 2019-07-30 고플럭스 광학 단층촬영 3차원 이미징 시스템
EP19878242.7A EP3876022A4 (en) 2018-11-01 2019-07-30 High-throughput optical tomography three-dimensional imaging system
AU2019372392A AU2019372392B2 (en) 2018-11-01 2019-07-30 High-throughput optical sectioning three-dimensional imaging system
PCT/CN2019/098367 WO2020088014A1 (zh) 2018-11-01 2019-07-30 一种高通量光学层析三维成像系统
CA3118393A CA3118393C (en) 2018-11-01 2019-07-30 High-throughput optical sectioning three-dimensional imaging system
US17/302,330 US11906723B2 (en) 2018-11-01 2021-04-30 High-throughput optical sectioning three-dimensional imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811296073.4A CN111122567B (zh) 2018-11-01 2018-11-01 一种高通量光学层析三维成像系统

Publications (2)

Publication Number Publication Date
CN111122567A CN111122567A (zh) 2020-05-08
CN111122567B true CN111122567B (zh) 2022-09-16

Family

ID=70464702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811296073.4A Active CN111122567B (zh) 2018-11-01 2018-11-01 一种高通量光学层析三维成像系统

Country Status (8)

Country Link
US (1) US11906723B2 (zh)
EP (1) EP3876022A4 (zh)
JP (1) JP7190034B2 (zh)
KR (1) KR102593253B1 (zh)
CN (1) CN111122567B (zh)
AU (1) AU2019372392B2 (zh)
CA (1) CA3118393C (zh)
WO (1) WO2020088014A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521401B2 (en) * 2020-07-31 2022-12-06 Bridging Biosciences, LLC Fertility window prediction using a convolutional neural network (CNN) and other learning methods
CN117705775B (zh) * 2024-02-05 2024-04-26 中国科学院长春光学精密机械与物理研究所 多色荧光显微成像系统、成像方法、自动聚焦方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2773607B2 (ja) * 1993-10-28 1998-07-09 日本電気株式会社 顕微鏡照明装置
KR100504261B1 (ko) * 1997-04-04 2005-07-27 아이시스이노베이션리미티드 현미경법 이미징 장치 및 방법
GB0030310D0 (en) * 2000-12-13 2001-01-24 Medical Res Council Apparatus and method for imaging a histological sample
GB0211068D0 (en) 2002-05-14 2002-06-26 Amersham Biosciences Uk Ltd Method for assessing biofilms
JP3731073B2 (ja) * 2002-09-17 2006-01-05 独立行政法人理化学研究所 顕微鏡装置
JP5307439B2 (ja) * 2007-04-23 2013-10-02 オリンパス株式会社 レーザ顕微鏡
CN101661159B (zh) * 2008-08-25 2011-09-21 麦克奥迪实业集团有限公司 一种基于二维调制技术的切层图像获取方法
US9285575B2 (en) * 2009-01-26 2016-03-15 President And Fellows Of Harvard College Systems and methods for selective detection and imaging in coherent Raman microscopy by spectral excitation shaping
DE102010013830A1 (de) * 2010-03-26 2011-09-29 Carl Zeiss Microlmaging Gmbh Mikroskop und Verfahren zur mikroskopischen Erfassung von Licht einer Probe
JP5454424B2 (ja) * 2010-09-03 2014-03-26 ソニー株式会社 撮像方法
US20120127464A1 (en) * 2010-11-22 2012-05-24 Canon Kabushiki Kaisha Light source apparatus
US8649024B2 (en) * 2010-12-03 2014-02-11 Zygo Corporation Non-contact surface characterization using modulated illumination
CN102928970B (zh) * 2012-10-19 2014-10-29 华中科技大学 一种大样本快速三维显微成像的方法和系统
CN103207449B (zh) * 2013-04-17 2015-04-29 华中科技大学 一种结构光快速扫描显微成像方法
TWI486625B (zh) * 2013-05-16 2015-06-01 Univ Nat Central 數位全像顯微鏡
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム
CN104061879B (zh) * 2014-06-19 2017-11-24 四川大学 一种连续扫描的结构光三维面形垂直测量方法
CN110192094A (zh) * 2016-11-18 2019-08-30 迪术斐迅公司 自动化组织切片捕获、索引和储存系统及方法
CN108020503B (zh) * 2017-11-20 2020-09-08 苏州博芮恩光电科技有限公司 一种光片照明显微切片成像系统及成像结果处理方法
CN108593605B (zh) * 2018-04-23 2020-02-28 清华大学 三维高速宽视场层析成像方法及装置
KR20200071563A (ko) * 2018-12-11 2020-06-19 삼성전자주식회사 Hsi 기반 검사 장치
US10839542B2 (en) * 2019-01-29 2020-11-17 The Chinese University Of Hong Kong Systems and methods for 3D laparoscopic surface reconstruction
US20230045982A1 (en) * 2021-08-11 2023-02-16 Vergent Research Pty Ltd Shuttered Light Field Display

Also Published As

Publication number Publication date
JP2022511676A (ja) 2022-02-01
CA3118393A1 (en) 2020-05-07
KR20210086694A (ko) 2021-07-08
JP7190034B2 (ja) 2022-12-14
US11906723B2 (en) 2024-02-20
WO2020088014A1 (zh) 2020-05-07
KR102593253B1 (ko) 2023-10-24
US20210333536A1 (en) 2021-10-28
CA3118393C (en) 2023-06-27
AU2019372392B2 (en) 2023-01-19
EP3876022A1 (en) 2021-09-08
AU2019372392A1 (en) 2021-06-03
EP3876022A4 (en) 2021-12-29
CN111122567A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
JP6934856B2 (ja) 複数の対象面を同時にイメージングする光シート顕微鏡
US10181190B2 (en) Microscope and microscope image acquisition method
CN112930492B (zh) 用于使用时间复用光片的快速体积荧光显微术的装置和方法
JP2021165851A (ja) ライトシート顕微鏡法のための構成及び方法
US11906723B2 (en) High-throughput optical sectioning three-dimensional imaging system
WO2008064220A2 (en) Method and system for wide-field multi-photon microscopy having a confocal excitation plane
CN108061964B (zh) 一种可用于大样品的高速三维显微成像装置和方法
JP2020525811A (ja) 多焦点構造化照明顕微鏡システム及び方法
US11619585B2 (en) Rapid axial scanning for light sheet microscopy using a phased array
CN111122568B (zh) 一种高通量光学层析成像方法及成像系统
US20230221541A1 (en) Systems and methods for multiview super-resolution microscopy
CN111650739B (zh) 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN111260747B (zh) 基于虚拟数字调制的高通量光学层析成像方法及系统
US20230168484A1 (en) Method and system for multi-view episcopic selective plane illumination microscope
CN117631249B (zh) 线扫共聚焦扫描光场显微成像装置及方法
Schellenberg et al. Time-resolved 3D confocal fluorescence microscopy on living cells

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant