CN111656163A - 用于在荧光显微成像期间扩展景深的方法和装置 - Google Patents

用于在荧光显微成像期间扩展景深的方法和装置 Download PDF

Info

Publication number
CN111656163A
CN111656163A CN201980010750.8A CN201980010750A CN111656163A CN 111656163 A CN111656163 A CN 111656163A CN 201980010750 A CN201980010750 A CN 201980010750A CN 111656163 A CN111656163 A CN 111656163A
Authority
CN
China
Prior art keywords
sample
image
single image
deconvolution
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980010750.8A
Other languages
English (en)
Inventor
F·弗瑞多尼
R·M·勒文森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN111656163A publication Critical patent/CN111656163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

所公开的实施例涉及一种系统，该系统执行具有扩展景深的显微成像。该系统包括用于保持样本的载物台和用于照射样本的光源，其中光源产生波长在230nm至300nm范围内的紫外光，以促进利用紫外表面激发(MUSE)成像的显微术。该系统还包括成像设备，该成像设备包括放大被照射样本的物镜和捕获放大样本的单个图像的传感器阵列。该系统还包括控制器，该控制器控制成像设备和/或载物台以在单个图像的采集时间期间扫描样本的一系列焦平面。该系统还包括图像处理系统，该图像处理系统使用反卷积技术来处理单个图像，以产生具有扩展景深的最终图像。

Description

用于在荧光显微成像期间扩展景深的方法和装置
发明人：F·弗瑞多尼和R·M·勒文森
相关申请
根据35U.S.C.§119，本申请要求与本申请相同的发明人于2018年1月29日提交的、标题为“用于扩展显微成像的景深的方法”的美国临时申请No.62/623,320的优先权，该美国临时申请的内容通过引用结合于此。
技术领域
所公开的实施例涉及用于执行荧光显微成像的技术。更具体地，所公开的实施例涉及用于增大通过荧光显微成像获得的图像的景深的技术。
背景技术
为了促进在荧光显微镜中的高分辨率，通常使用高数值孔径(NA)镜头来获取图像。令人遗憾的是，高NA透镜的使用极大地限制了显微镜的景深，这意味着只有在极薄的焦平面内的特征才将被聚焦，而不在焦平面内的其他特征将无法聚焦。对于薄切片显微镜载玻片，这通常不是问题，因为安装在载玻片上的组织的几乎平坦的形貌。然而，在对位于显微镜成像平面上的非切片组织成像时，这种有限的景深会成为一个问题。这是由于微观尺度上组织表面粗糙度的程度，这使得几乎不可能使所有重要特征同时聚焦。
研究人员试图通过在获取图像时改变成像设备的焦点(或改变样本与成像设备的距离)，以使得从多个不同的成像平面收集信息，来解决这种有限景深的问题。然后通过反卷积来处理所得到的模糊图像，以产生最终图像，该最终图像在一定景深范围内聚焦。(例如，参见发明人迈克尔E.德莱赛等人于2008年10月28日发表的第7,444,014号、标题为“扩展景深显微术”的美国专利。)令人遗憾的是，这种技术需要大量的计算来确定对象在z维度上的位置，这使得它不适合各种各样的应用。
因此，需要一种在高分辨率荧光显微成像期间扩展景深，而没有现有技术的性能问题的技术。
发明内容
所公开的实施例涉及一种系统，该系统执行具有扩展景深的显微成像。该系统包括用于保持样本的载物台和用于照射样本的光源，其中光源产生波长在230nm至300nm范围内的紫外光，以促进利用紫外表面激发(MUSE)成像的显微术(microscopy)。该系统还包括成像设备，该成像设备包括放大被照射样本的物镜和捕获放大样本的单个图像的传感器阵列。该系统还包括控制器，该控制器控制成像设备和/或载物台以在单个图像的采集时间期间扫描样本的一系列焦平面。该系统还包括图像处理系统，该图像处理系统使用反卷积技术来处理单个图像，以产生具有扩展景深的最终图像。
在一些实施例中，当扫描样本的一系列焦平面时，系统使用可调透镜来改变成像设备的焦点。
在一些实施例中，扫描样本的一系列焦平面涉及移动以下中的一个或多个：样本；物镜；并入成像设备中的管透镜；和传感器阵列。
在一些实施例中，移动样本、物镜、管透镜或传感器中的一个或多个涉及使用以下中的一个或多个：压电致动器；线性致动器；和音圈。
在一些实施例中，捕获样本的单个图像包括：捕获样本的多个图像；和组合多个图像以产生样本的单个图像。
在一些实施例中，处理单个图像包括：将反卷积技术分别应用于利用具有拜耳图案(Bayer pattern)的传感器获取的单个图像的多个颜色平面，以产生多个反卷积的颜色平面；以及组合多个反卷积的颜色平面以产生具有扩展景深的最终图像。
在一些实施例中，处理单个图像涉及使用二维(2D)反卷积。
在一些实施例中，2D反卷积包括基于傅立叶变换的反卷积。
在一些实施例中，图像处理系统还在产生最终图像时使用基于机器学习的降噪技术和/或分辨率增强技术。
在一些实施例中，基于机器学习的降噪和/或分辨率增强技术涉及在反卷积图像和真实图像之间创建映射。
在一些实施例中，预先用一种或多种荧光染料对样本进行染色。
附图说明
本专利或申请文件包含至少一个以彩色执行的附图。具有(一个或多个)彩色附图的本专利或专利申请出版物的副本将由专利局根据要求并在支付必要的费用后提供。
图1示出了根据所公开的实施例的显微系统，其在改变样本和成像设备之间的距离的同时捕获样本的图像。
图2示出了根据所公开的实施例的显微系统，其在改变到样本的焦距的同时捕获样本的图像。
图3示出了根据所公开的实施例的流程图，该流程图示出了以促进扩展图像景深的方式捕获和处理图像的过程。
图4示出了根据所公开的实施例，可以如何通过扩展景深(EDOF)技术来改善图像。
图5示出了根据所公开的实施例的过程的流程图，该过程分别对捕获图像的颜色平面进行反卷积，然后组合反卷积的图像。
图6示出了根据所公开的实施例，不同颜色分量的示例性图像在被组合之前可以如何被分别反卷积。
具体实施方式
以下描述是为了使本领域的任何技术人员能够制作和使用本发明的各实施例而呈现的，并且是在特定应用及其要求的上下文中提供的。对所公开的实施例的各种修改对于本领域技术人员来说将是明显的，并且在不脱离本发明的实施例的精神和范围的情况下，这里定义的一般原理可以应用于其他实施例和应用。因此，本发明的实施例不限于所示的实施例，而是符合与这里公开的原理和特征一致的最宽范围。
在该具体实施方式中描述的数据结构和代码通常存储在计算机可读存储介质上，该计算机可读存储介质可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。计算机可读存储介质包括但不限于易失性存储器、非易失性存储器、磁和光存储设备，例如磁盘驱动器、磁带、CD(光盘)、DVD(数字多功能盘或数字视频盘)，或者能够存储现在已知或以后开发的计算机可读介质的其他介质。
在具体实施方式部分中描述的方法和过程可以体现为代码和/或数据，代码和/或数据可以存储在如上所述的计算机可读存储介质中。当计算机系统读取并执行存储在计算机可读存储介质上的代码和/或数据时，计算机系统执行体现为数据结构和代码并存储在计算机可读存储介质中的方法和过程。此外，下面描述的方法和过程也可以包括在硬件模块中。例如，硬件模块可以包括但不限于专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及现在已知或以后开发的其他可编程逻辑器件。当硬件模块被激活时，硬件模块执行包含在硬件模块中的方法和过程。在具体实施方式部分中描述的方法和过程可以体现为代码和/或数据，该代码和/或数据可以存储在如上所述的计算机可读存储介质中。
讨论
MUSE(UV表面激发显微术)是一种新的显微术方法，它提供了一种可以直接并且快速地从新鲜或固定的组织中生成具有增强的空间和颜色信息的诊断质量图像的直接而廉价的成像技术。成像过程是非破坏性的，从而允许下游分子分析。(参见Farzad Fereidouni等人的“用于无载玻片组织学和病理学成像的UV表面激发(MUSE)显微术”，Proc.SPIE9318，光学活检XIII:朝着实时的光谱成像和诊断,93180F，2015年3月11日。)
为了便于MUSE成像，先用常见荧光染料对样本进行短暂染色，然后用280nm的紫外光激发，由于该波长的光穿透深度有限，所以这产生高度表面加权的图像。这种方法还利用了“无用”现象(具有长发射斯托克斯位移的紫外斑点激发)以在可见光范围内产生广谱图像。请注意，MUSE即使在单个快照中也能容易地提供表面形貌信息，虽然不是完全三维的，但图像易于获取并且易于解释，从而提供了对组织结构的更多见解。
令人遗憾的是，使用具有固有深度信息的样本工作会在确定适当的焦点以及捕获扩展景深图像方面带来问题。我们开发了一种加速和高效的技术，其通过采用扫焦采集技术来在MUSE成像期间扩展景深。我们还开发了一种快速自动对焦的新方法。这些功能共同促进了MUSE的功能和易用性。
由于MUSE通过使用短紫外(UV)光(通常为280nm)激发对组织进行宽视场荧光成像来操作，所以MUSE技术只能对厚样本的表面进行成像。组织内部的对象不能被MUSE可视化的事实允许捕获扩展的景深所需的计算操作省略先前解决该问题的方法所需的计算密集型操作。(请注意，MUSE是唯一的宽视场UV成像技术，其仅使用表面加权特征来即时捕获图像。)
用于在改变2轴聚焦位置的同时捕获单个图像的先前技术需要作为扩展景深(EDOF)计算的一部分的对象估计步骤，因为那些非表面加权成像方法在成像体积内的不同深度获得多个信号。例如，参见(上文引用的)第7,444,014号美国专利的图3中的流程图中的步骤310。相比之下，我们新的MUSE EDOF技术只检测沿样品表面定位的发射对象，这些对象可以是平的，也可以不是平的。这允许省略第7,444,014号美国专利中描述的计算上昂贵的“对象估计步骤”。
优势
我们新的MUSE EDOF成像技术提供了许多优势。
(1)该技术与传统的显微镜设计兼容。只需要对传统的显微镜设计进行微小的更改。这些更改可以涉及将显微镜物镜装配在压电致动器上(或使用其他机械载物台)，使得焦平面扫描操作可以与照相机的图像采集同步。
(2)不需要额外的数据或图像采集。由于压电致动器的快速响应，在EDOF图像采集过程期间图像采集时间不会延长。
(3)这种技术有利于近实时分析。在操作期间，压电致动器(或其他机械装置)被配置成在照相机的采集时间内将显微镜载物台或物镜移动到期望的范围内(～100pm)，以捕获单个图像。这种技术以与照相机同步的方式扫描所期望的范围，并从所有层收集光。通过使用这种图像采集技术，我们基本上将与3D点扩展函数(PSF)卷积的对象的三维(3D)轮廓积分为二维(2D)图像。根据卷积定理，z方向上的积分从卷积中脱离出来，并且它变成与2DPSF进行卷积的对象。因此，分析方法基本上是图像的2D反卷积。注意，存在执行2D卷积的大量可用方法。然而，由于时间的限制，我们关注基于傅里叶变换的技术。
(4)该技术还有助于噪声降低。尽管基于PSF的反卷积是有效的，但它们会给得到的图像增加不同量的噪声。为了降低这种噪声，我们可以使用基于机器学习的噪声降低技术，该噪声降低技术通过在反卷积图像和使用多个单独平面获得的“真实”EDOF图像之间创建映射来操作。这些可以合并成噪声低得多的单个EDOF图像，但代价是多次图像采集和非常长的计算时间。请注意，使用(根据样本类型到样本类型的)基于机器学习的映射允许我们获取快速的单图像扫描焦点图像，并计算高质量、低噪声的得到的图像。还可以通过对傅立叶变换图像应用自定义窗口函数来抑制低信号高频分量，从而实现噪声降低。(例如，参见“Optical Systems with Resolving Powers Exceeding the Classical Limit(具有超过传统极限的分辨能力的光学系统)”，JOSA第56卷，11期，第1463-1471页，1966年)。该技术提供了实时噪声降低，因为它仅包括将窗口函数乘以傅立叶变换图像。另一种噪声降低技术是标准韦纳滤波。(参见Wiener,Norbert,1949,Extrapolation,Interpolation,andSmoothing of Stationary Time Series(平稳时间序列的外推、插值和平滑)，New York:Wiley.)
这项技术的一个主要好处是速度。注意，图像获取时间不受扫描的限制，因为扫描操作是通过照相机曝光时间同步的。此外，由于收集的数据有限，相关的分析技术不需要来自多个层的数据。
显微系统
图1示出了根据所公开的实施例的示例性显微系统，该显微系统在改变样本和成像设备之间的距离的同时捕获样本110的图像。更具体地，图1示出了由传感器阵列102和物镜104组成的成像设备。该成像设备获取样本110的图像，样本110被固定到可移动载物台108。在成像过程期间，光源106用波长为280nm的UV光照射样本110，以便于MUSE成像。请注意，图1中所示的所有组件由控制器112操作。
因为载物台108是可移动的，所以使焦平面通过样本110的移动与传感器阵列102对图像的采集同步是可能的。例如，载物台108可用于在100毫秒的窗口内将样本110向物镜104每毫秒一微米地移动，在此期间传感器阵列102收集图像。(在替代实施例中，可以移动物镜104和/或传感器阵列102来代替移动载物台108。)此外，我们可以采用任何类型的线性致动器，例如压电换能器或音圈，来移动载物台108。
请注意，收集图像的时间比使成像设备饱和的时间长得多是不切实际的，因此我们只能为每个焦平面收集有限量的光。为了解决这个问题，我们可以拍摄更多的图像，然后对它们进行平均。
图2示出了显微系统的替代设计，其使用改变其焦距的物镜204来移动焦平面，而不是使用可移动的载物台。如图2所示，物镜204包括焦距调节装置205，其可用于改变焦平面的位置。
捕获和处理图像
图3示出了根据所公开的实施例的流程图，该流程图示出了以促进扩展图像景深的方式捕获和处理图像的过程。在操作期间，系统通过成像设备捕获样本的单个图像，其中，用波长在230nm至300nm范围内的紫外光对样本进行照射，以促进利用紫外表面激发(MUSE)成像的显微术，并且其中成像设备包括放大样本的物镜和捕获放大样本的单个图像的传感器阵列(步骤302)。当捕获样本的单个图像时，系统控制成像设备和/或保持样本的载物台在单个图像的采集时间期间扫描样本的一系列焦平面(步骤304)。接下来，系统使用反卷积技术来处理单个图像，以产生具有扩展景深的最终图像(步骤306)。最后，系统可选地使用基于机器学习的降噪技术和/或分辨率增强技术来产生最终图像(步骤308)。例如，系统可以使用机器学习技术，诸如生成性对抗网络(GAN)。
在处理步骤306期间，我们假设通过对轴向轴上的图像层求和，z轴上的卷积脱离，并且我们有了与PSF的总和卷积的对象的总和。
对于3D对象，来自不同轴向层的图像是通过将3D PSF与对象轮廓进行卷积来确定的：
Figure BDA0002607838270000081
通过将累积强度定义为
Figure BDA0002607838270000091
并且将累积的PSF定义为
Figure BDA0002607838270000092
并且假设光只来自表面层
Figure BDA0002607838270000093
我们可以得到方程(1)的两边在轴向轴上的积分：
Figure BDA0002607838270000094
并且可以通过应用PSFc(x,y)的反卷积滤波器来恢复对象:
Figure BDA0002607838270000095
对于近实时处理，基于逆傅里叶变换的方法将是可以接受的。在这些方法中，求和图像被傅立叶变换并除以OTF(PSF的傅立叶变换)，以反卷积来自模糊图像的求和的PSF。虽然这些基于FFT的方法很快，但令人遗憾的是这些方法噪声很大，并且需要适当的噪声抑制，例如通过韦纳滤波。通过使用执行傅立叶变换的快速方法，诸如由麻省理工学院的Matteo Frigo和Steven G.Johnson开发的西部最快傅立叶变换(FFTW)软件库所使用的方法，可在一秒钟内返回900万像素图像的EDOF。
如图4中出现的图像所示，通过使用上述EDOF处理技术，我们能够从具有相当大的表面粗糙度的样本开始有效地重建完全聚焦的图像。图4示出了用罗丹明和Hoechst染色的肾脏样本的图像。图4中的右栏示出了左栏中红色方块的放大区域。
请注意，肾脏样本的扩展表面形貌(包括厚组织)使得难以获得聚焦图像，即使使用传统的自动聚焦也是如此，如行A所示，其中以最佳聚焦拍摄单个图像。相比之下，行B显示了更清晰、反卷积的离焦单图像，行C显示了10帧z堆栈的反卷积平均值。请注意，虽然由多个z平面构建的行C中的图像比行B中的图像显示噪声小得多的聚焦图像，但是获取这些图像花费的时间几乎是10倍长，并且处理多个z平面图像花费的时间更长。我们的目标是在获取和处理行B中的数据所需的时间内达到行C的质量。
图5示出了根据所公开的实施例的过程的流程图，该过程分别对捕获图像的颜色平面进行反卷积，然后组合反卷积的图像。(该流程图强调了出现在图3中的流程图中的步骤306中发生的操作。)当在步骤306中处理单个图像时，系统将反卷积技术分别应用于单个图像的多个颜色平面，以产生多个反卷积的颜色平面(步骤502)。然后，系统组合多个反卷积的颜色平面，以产生具有扩展景深的最终图像(步骤504)。图6示出了一个示例，该示例示出了根据所公开的实施例，来自拜耳传感器的不同颜色分量的图像在被组合之前可以如何被分别反卷积。
对所公开的实施例的各种修改对于本领域技术人员来说将是明显的，并且在不脱离本发明的精神和范围的情况下，这里定义的一般原理可以应用于其他实施例和应用。因此，本发明不限于所示的实施例，而是符合与本文公开的原理和特征一致的最宽范围。
前面对实施例的描述仅出于说明和描述的目的。它们并不旨在穷举或将本说明书限制于所公开的形式。因此，许多修改和变化对于本领域技术人员来说是明显的。此外，以上公开并不旨在限制本说明书。本说明书的范围由所附权利要求限定。

Claims (33)

1.一种用于执行具有扩展景深的显微成像的系统，包括：
用于保持样本的载物台；
用于照射所述样本的光源，其中所述光源产生波长在230nm至300nm范围内的紫外光，以促进利用紫外表面激发MUSE成像的显微术；
成像设备，包括：
放大被照射的样本的物镜，以及
捕获放大的样本的单个图像的传感器阵列；
控制器，所述控制器控制所述成像设备和/或所述载物台在所述单个图像的采集时间期间扫描所述样本的一系列焦平面；和
图像处理系统，所述图像处理系统使用反卷积技术来处理所述单个图像，以产生具有扩展景深的最终图像。
2.如权利要求1所述的系统，其中，当扫描所述样本的所述一系列焦平面时，所述系统使用可调透镜来改变所述成像设备的焦点。
3.如权利要求1所述的系统，其中，扫描所述样本的所述一系列焦平面包括移动以下中的一个或多个：
所述样本；
所述物镜；
管透镜，所述管透镜被结合到所述成像设备中；和
所述传感器阵列。
4.如权利要求3所述的系统，其中移动所述样本、所述物镜、所述管透镜或所述传感器中的一个或多个涉及使用以下中的一个或多个：
压电致动器；
线性致动器；和
音圈。
5.如权利要求1所述的系统，其中，捕获所述样本的所述单个图像包括：
捕获所述样本的多个图像；和
组合所述多个图像以产生所述样本的所述单个图像。
6.如权利要求1所述的系统，其中处理所述单个图像包括：
将所述反卷积技术分别应用于利用具有拜耳图案的传感器获取的所述单个图像的多个颜色平面，以产生多个反卷积的颜色平面；和
组合所述多个反卷积的颜色平面，以产生具有所述扩展景深的所述最终图像。
7.如权利要求1所述的系统，其中处理所述单个图像涉及使用二维2D反卷积。
8.如权利要求7所述的系统，其中所述2D反卷积包括基于傅立叶变换的反卷积。
9.如权利要求1所述的系统，其中所述图像处理系统在产生所述最终图像时还使用基于机器学习的降噪技术和/或分辨率增强技术。
10.如权利要求9所述的系统，其中所述基于机器学习的降噪和/或分辨率增强技术涉及在反卷积图像和真实图像之间创建映射。
11.如权利要求1所述的系统，其中所述样本预先使用一种或多种荧光染料被染色。
12.一种用于执行具有扩展景深的显微成像的方法，包括：
通过成像设备捕获样本的单个图像，其中用波长在230nm至300nm范围内的紫外光对所述样本进行照射，以促进利用紫外表面激发MUSE成像的显微术，并且其中所述成像设备包括放大所述样本的物镜和捕获放大样本的所述单个图像的传感器阵列；
其中，在捕获所述样本的所述单个图像时，所述方法控制所述成像设备和/或保持所述样本的载物台在所述单个图像的采集时间期间扫描所述样本的一系列焦平面；以及
使用反卷积技术来处理所述单个图像，以产生具有扩展景深的最终图像。
13.如权利要求12所述的方法，其中，当扫描所述样本的所述一系列焦平面时，所述方法使用所述成像设备中的可调透镜来改变所述成像设备的焦点。
14.如权利要求12所述的方法，其中扫描所述样本的所述一系列焦平面包括移动以下中的一个或多个：
所述样本；
所述物镜；
管透镜，所述管透镜被结合到所述成像设备中；和
所述传感器阵列。
15.如权利要求14所述的方法，其中，移动所述样本、所述物镜、所述管透镜或所述传感器中的一个或多个包括使用以下中的一个或多个：
压电致动器；
线性致动器；和
音圈。
16.如权利要求12所述的方法，其中，捕获所述样本的所述单个图像包括：
捕获所述样本的多个图像；和
组合所述多个图像以产生所述样本的所述单个图像。
17.如权利要求12所述的方法，其中，处理所述单个图像包括：
将所述反卷积技术分别应用于利用具有拜耳图案的传感器获取的所述单个图像的多个颜色平面，以产生多个反卷积的颜色平面；和
组合所述多个反卷积的颜色平面，以产生具有所述扩展景深的所述最终图像。
18.如权利要求12所述的方法，其中处理所述单个图像涉及使用二维2D反卷积。
19.如权利要求18所述的方法，其中，所述2D反卷积包括基于傅立叶变换的反卷积。
20.如权利要求12所述的方法，其中，所述方法还包括在产生所述最终图像时使用基于机器学习的降噪技术和/或分辨率增强技术。
21.如权利要求20所述的方法，其中，所述基于机器学习的降噪和/或分辨率增强技术包括在反卷积图像和真实图像之间创建映射。
22.如权利要求12所述的方法，其中，所述样本预先使用一种或多种荧光染料被染色。
23.一种存储指令的非暂时性计算机可读存储介质，所述指令当由显微成像系统的控制器执行时使得所述显微成像系统执行用于具有扩展景深的显微成像的方法，所述方法包括：
通过成像设备捕获样本的单个图像，其中用波长在230nm至300nm范围内的紫外光照射所述样本，以促进利用紫外表面激发MUSE成像的显微术，并且其中所述成像设备包括放大所述样本的物镜和捕获放大样本的所述单个图像的传感器阵列；
其中，在捕获所述样本的所述单个图像时，所述方法控制所述成像设备和/或保持所述样本的载物台在所述单个图像的采集时间期间扫描所述样本的一系列焦平面；以及
使用反卷积技术来处理所述单个图像，以产生具有扩展景深的最终图像。
24.如权利要求23所述的非暂时性计算机可读存储介质，其中，当扫描所述样本的所述一系列焦平面时，所述方法使用可调透镜来改变所述成像设备的焦点。
25.如权利要求23所述的非暂时性计算机可读存储介质，其中，扫描所述样本的所述一系列焦平面包括移动以下中的一个或多个：
所述样本；
所述物镜；
管透镜，所述管透镜被结合到所述成像设备中；和
所述传感器阵列。
26.如权利要求25所述的非暂时性计算机可读存储介质，其中，移动所述样本、所述物镜、所述管透镜或所述传感器中的一个或多个包括使用以下中的一个或多个：
压电致动器；
线性致动器；和
音圈。
27.如权利要求23所述的非暂时性计算机可读存储介质，其中，捕获所述样本的所述单个图像包括：
捕获所述样本的多个图像；和
组合所述多个图像以产生所述样本的所述单个图像。
28.如权利要求23所述的方法，其中，处理所述单个图像包括：
将所述反卷积技术分别应用于利用具有拜耳图案的传感器获取的所述单个图像的多个颜色平面，以产生多个反卷积的颜色平面；和
组合所述多个反卷积的颜色平面，以产生具有所述扩展景深的所述最终图像。
29.如权利要求23所述的非暂时性计算机可读存储介质，其中，处理所述单个图像包括使用二维2D反卷积。
30.如权利要求29所述的非暂时性计算机可读存储介质，其中，所述2D反卷积包括基于傅立叶变换的反卷积。
31.如权利要求23所述的非暂时性计算机可读存储介质，其中，所述方法还包括在产生所述最终图像时使用基于机器学习的降噪技术和/或分辨率增强技术。
32.如权利要求31所述的非暂时性计算机可读存储介质，其中，所述基于机器学习的降噪和/或分辨率增强技术涉及在反卷积图像和真实图像之间创建映射。
33.如权利要求23所述的非暂时性计算机可读存储介质，其中，所述样本预先使用一种或多种荧光染料被染色。
CN201980010750.8A 2018-01-29 2019-01-28 用于在荧光显微成像期间扩展景深的方法和装置 Pending CN111656163A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862623320P 2018-01-29 2018-01-29
US62/623,320 2018-01-29
PCT/US2019/015485 WO2019148142A2 (en) 2018-01-29 2019-01-28 Method and apparatus for extending depth of field during fluorescence microscopy imaging

Publications (1)

Publication Number Publication Date
CN111656163A true CN111656163A (zh) 2020-09-11

Family

ID=67395691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010750.8A Pending CN111656163A (zh) 2018-01-29 2019-01-28 用于在荧光显微成像期间扩展景深的方法和装置

Country Status (5)

Country Link
US (1) US20210132350A1 (zh)
CN (1) CN111656163A (zh)
CA (1) CA3089228A1 (zh)
TW (1) TW201935074A (zh)
WO (1) WO2019148142A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114114665A (zh) * 2021-11-26 2022-03-01 深圳先进技术研究院 一种硬件相关明场显微镜拍摄系统及方法
CN115359105A (zh) * 2022-08-01 2022-11-18 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570613B1 (en) * 1999-02-26 2003-05-27 Paul Howell Resolution-enhancement method for digital imaging
US7978346B1 (en) * 2009-02-18 2011-07-12 University Of Central Florida Research Foundation, Inc. Methods and systems for realizing high resolution three-dimensional optical imaging
CN103487926A (zh) * 2013-08-27 2014-01-01 北京航空航天大学 显微视觉检测系统景深扩展装置及方法
WO2014175220A1 (ja) * 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
CN107003242A (zh) * 2014-09-16 2017-08-01 劳伦斯·利弗莫尔国家安全有限责任公司 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL148664A0 (en) * 2002-03-13 2002-09-12 Yeda Res & Dev Auto-focusing method and device
WO2004075107A2 (en) * 2003-02-18 2004-09-02 Oklahoma Medical Research Foundation Extended depth of focus microscopy
US10830639B2 (en) * 2014-09-25 2020-11-10 Northwestern University Devices, methods, and systems relating to super resolution imaging
EP3488381B1 (en) * 2016-07-21 2024-02-28 Siemens Healthineers AG Method and system for artificial intelligence based medical image segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570613B1 (en) * 1999-02-26 2003-05-27 Paul Howell Resolution-enhancement method for digital imaging
US7978346B1 (en) * 2009-02-18 2011-07-12 University Of Central Florida Research Foundation, Inc. Methods and systems for realizing high resolution three-dimensional optical imaging
WO2014175220A1 (ja) * 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
CN103487926A (zh) * 2013-08-27 2014-01-01 北京航空航天大学 显微视觉检测系统景深扩展装置及方法
CN107003242A (zh) * 2014-09-16 2017-08-01 劳伦斯·利弗莫尔国家安全有限责任公司 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114114665A (zh) * 2021-11-26 2022-03-01 深圳先进技术研究院 一种硬件相关明场显微镜拍摄系统及方法
CN115359105A (zh) * 2022-08-01 2022-11-18 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质
CN115359105B (zh) * 2022-08-01 2023-08-11 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质

Also Published As

Publication number Publication date
WO2019148142A2 (en) 2019-08-01
TW201935074A (zh) 2019-09-01
US20210132350A1 (en) 2021-05-06
CA3089228A1 (en) 2019-08-01
WO2019148142A3 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US11169367B2 (en) Three-dimensional microscopic imaging method and system
US6320979B1 (en) Depth of field enhancement
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
EP3420393B1 (en) System for generating a synthetic 2d image with an enhanced depth of field of a biological sample
US7444014B2 (en) Extended depth of focus microscopy
JP7391865B2 (ja) 信号データのボケ除去のためのベースライン推定および半二次最小化を使用する装置および方法
JP2002531840A (ja) コンピュータを使用した適応画像形成装置及び方法
CN109425978B (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
CN111656163A (zh) 用于在荧光显微成像期间扩展景深的方法和装置
JP2020536276A (ja) 高分解能共焦点顕微鏡
EP3716200B1 (en) Image processing apparatus and method for use in an autofocus system
Garud et al. Volume visualization approach for depth-of-field extension in digital pathology
CN116337830B (zh) 基于衍射极限尺寸小孔的双光子合成孔径成像方法及装置
CN117631249B (zh) 线扫共聚焦扫描光场显微成像装置及方法
US11988824B2 (en) Microscope and method for forming a microscopic image with an extended depth of field
Alonso et al. All-in-focus reconstruction of a dynamic scene from multiple-multifocus captures
Malkusch et al. Digital light microscopy: Prerequisite for optimum contrast enhancement and increase of resolution
Ikoma Computational Fluorescence Microscopy for Three Dimensional Reconstruction
CN117330542A (zh) 高对比度各向同性高分辨荧光显微成像方法及成像系统
Vicente et al. Evaluation of 3D image-treatment algorithms applied to optical-sectioning microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200911

RJ01 Rejection of invention patent application after publication