CN113454511B - 显微图像的压缩获取 - Google Patents
显微图像的压缩获取 Download PDFInfo
- Publication number
- CN113454511B CN113454511B CN201980092754.5A CN201980092754A CN113454511B CN 113454511 B CN113454511 B CN 113454511B CN 201980092754 A CN201980092754 A CN 201980092754A CN 113454511 B CN113454511 B CN 113454511B
- Authority
- CN
- China
- Prior art keywords
- image
- wavelength
- sample
- spatial frequency
- frequency bandwidth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 claims abstract description 165
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 192
- 230000008569 process Effects 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 26
- 230000004075 alteration Effects 0.000 claims description 20
- 238000010521 absorption reaction Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 8
- 238000002073 fluorescence micrograph Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 15
- 210000004027 cell Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241000276498 Pollachius virens Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000003850 cellular structure Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- -1 incandescent Inorganic materials 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18124—Extraction of features or characteristics of the image related to illumination properties, e.g. according to a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Abstract
一种用于计算成像的显微镜可以包括配置为用多个波长照明样本的照明源、图像传感器、将样本成像到图像传感器上的物镜和可操作地耦合到照明组件和图像传感器的处理器。处理器可以被配置为从使用第一组照明条件以第一波长照明的样本获取第一图像数据集。处理器还可以被配置为从使用具有第二数量的照明条件的第二组照明条件以第二波长照明的样本获取第二图像数据集。第二组照明条件包括比第一组更少的照明条件,以便减少获取时间。处理器可以被配置为将第一图像数据集和第二图像数据集组合成样本的计算重建图像。
Description
相关申请
本申请根据35U.S.C.119(e)要求2018年12月21日提交的第62/783,527号美国临时专利申请的权益,其公开内容通过引用以其整体并入。
背景
在计算成像中,物体的高分辨率计算重建图像(computationally reconstructedimage)可以产生自用不同照明拍摄的一系列低分辨率图像。这种方法具有从具有较低分辨率的成像系统提供样本的高分辨率计算重建图像的好处。计算成像可以用于从低分辨率图像生成高分辨率计算重建彩色图像。然而,由于收集多个低分辨率图像和从收集到的信息以计算方式产生高分辨图像所需的时间,与计算成像相关联的开销不太理想。因为低分辨率图像的数量通常可以决定输出的高分辨率图像的质量和分辨率,所以在至少一些情况下,可能难以在基本上不使输出的图像降级的情况下减少开销。对于需要多个视野的应用,开销可能特别重大。
因为计算成像算法经常依赖于物理系统的相对较好的模型(可以是已知的、学习的或隐含的),所以这些算法可能与波长相关。在一些情况下,例如当单独处理每个波长时,这种波长相关性可以产生进一步的开销。对于每个波长,可以复制重建时间,并且在一些情况下,可以复制获取时间。例如,彩色成像过程可以用三个颜色通道(例如,红色、绿色和蓝色或“RGB”)操作,这可导致获取时间乘以三以及计算重建时间乘以三。这些通道也可以用在另一种彩色空间,如Lab(例如,CIELab)、YCbCr、YUV等,其可以进一步添加到计算重建和/或获取时间。
鉴于上述情况,减少获取时间和/或重建时间而不使输出的计算重建图像的质量和效用显著降级,将是可取的。
概述
如下面将更详细地描述,本公开描述了用于通过使用用于第一波长的第一组照明条件获取样本的第一图像数据集和使用用于第二波长的第二组照明条件获取样本的第二图像数据集来压缩获取显微图像的各种系统和方法。第一组照明条件可以包括比第二组照明条件更大数量的照明条件。第一图像数据集和第二图像数据集可以组合成样本的计算重建图像。因为第二组照明条件少于第一组照明条件,所以当与传统方法相比较时,此方法可以减少获取时间、重建时间、存储要求和其他成本。另外,因为第一波长可以被选择为产生的图像包含比第二波长的图像更多的信息,所以所得到的重建图像可能不会比来自传统方法的重建图像包含明显更少的信息。
另外,本文描述的系统和方法可以通过减少数据集大小和更有效地计算重建图像来改进计算设备(例如,连接到显微镜或与显微镜集成的计算设备)的功能。这些系统和方法也可以通过改进获取时间来改进显微成像领域。
通过引用并入
在此提及和标识的所有专利、申请和公开均通过引用以其整体并入本文,并且即使在本申请中的其他地方提及,也应被视为通过引用完全并入。
附图简述
通过参考以下阐述说明性实施例的详细描述及其附图,将获得对本公开的特征、优点和原理的更好理解,其中:
图1示出了根据一些实施例的示例性显微镜的图示;
图2A示出了根据一些实施例的当图1的显微镜失焦时的两个光束对的光学路径的图示;
图2B示出了根据一些实施例的当图1的显微镜聚焦时的两个光束对的光学路径的图示;
图3示出了根据一些实施例的用于显微图像的压缩获取的示例性过程的流程图;
图4A至图4C示出了根据一些实施例的用于显微图像的压缩获取的示例性过程的若干工作流程图;
图5示出了根据一些实施例的用于显微图像的压缩获取的示例性过程的工作流程图;
图6示出了根据一些实施例的来自第一通道中的多个低分辨率图像的样本的高分辨率重建;
图7示出了根据一些实施例的在第二通道中获取的图6的样本的单个图像;
图8示出了根据一些实施例的在第三通道中获取的图6的样本的单个图像;
图9示出了根据一些实施例的通过一起处理图6、图7和图8的图像而生成的彩色高分辨率图像;
图10示出了使用红色照明颜色和对应的细胞结构用图像传感器获取的放大原始图像;
图11示出了使用蓝色照明颜色和图10的对应细胞结构用图像传感器获取的放大原始图像;
图12示出了使用绿色照明颜色和图10的对应细胞结构用图像传感器获取的放大原始图像;
图13示出了从用绿色照明的多个图像和图10至图12的对应细胞结构获得的计算重建图像;以及
图14示出了来自如图10至图12中的图像和对应细胞结构的放大的计算重建彩色图像。
详细描述
以下详细描述根据本文公开的实施例提供了对本公开中描述的本发明的特征和优点的更好理解。尽管详细描述包括许多具体实施例,但是这些仅通过示例的方式提供,并且不应被理解为限制本文公开的本发明的范围。
因为人眼中的视锥细胞可以在大约555nm处产生最大视敏度,所以在某些照明条件下,人类可感知的最高分辨率可以是绿色通道。对于其他颜色通道,人眼可能无法感知到与绿色通道一样高的分辨率。在一些实施例中,计算重建图像包括用于第一波长(例如,绿色)的较高空间频率带宽和用于第二波长(例如,红色)的较低空间频率带宽。用户可以将这些图像感知为具有第一波长的较高空间频率带宽,同时将图像感知为彩色图像。尽管参考了彩色图像,但是此方法可以类似地应用于仅具有两个波长的计算重建图像,这两个波长可以包括紫外波长或红外波长。本文公开的实施例可以通过以调整到不同颜色通道(例如,波长)的方式处理图像来改进计算成像系统的成像时间(例如,获取时间和重建时间)。此方法可以减少被获取和/或用于重建的图像的数量。另外,不同的重建过程可以用于不同的波长。
在基于人眼对不同波长的敏感度的一些实施例中,所获取的低分辨率图像的数量可能针对不同波长而变化。例如,在一个实施例中,本文描述的系统可以使用绿色通道、红色通道和蓝色通道来执行计算成像。由于人眼对绿色通道的敏感性,本文描述的系统可以在绿色通道中获取多个图像,并且在红色通道和蓝色通道中的每个中获取更少的图像(如单个图像),而不显著地降低人类对所得到的重建图像的感知。在一些实施例中,本文描述的系统可以在绿色通道中获取多个图像,用于在绿色通道中重建高分辨率计算图像,同时在红色通道和蓝色通道中获取更少的图像,用于在红色通道和蓝色通道中重建中分辨率图像。
生物样本和其他样本的载玻片在某些颜色通道中可以比其他颜色通道存留(hold)更多信息。例如,使用绿色通道捕获高分辨率细节可能足够用于捕获信息。当存在某些污点或其他特性时,在其他通道(而不是绿色通道或除绿色通道之外)捕获高分辨率可能会有好处。此方法可以应用于使用其他波长(例如,红外线(IR)波长、紫外线(UV)波长和/或荧光波长)的场景。
下面将参考图1至图9提供自适应感测的详细描述。图1,图2A和图2B示出了显微镜和各种显微镜配置。图3至图5示出了用于样本的显微图像的压缩获取的示例性过程。图6至图9示出了样本在不同波长处的示例性图像。
图1是与示例性公开的实施例一致的显微镜100的示意图。本文所用的术语“显微镜”通常是指用于放大小于肉眼容易观察到的物体(即为用户创建物体的图像,其中图像大于物体)的任何设备或仪器。一种类型的显微镜可以是“光学显微镜”,其结合用于放大物体的光学系统来使用光。光学显微镜可以是具有一个或更多个放大镜的简单显微镜。另一种类型的显微镜可以是“计算显微镜”,其包括图像传感器和图像处理算法,以增强或放大物体的尺寸或其他特性。计算显微镜可以是专用设备,或者通过将软件和/或硬件与现有光学显微镜结合以产生高分辨率数字图像而创建。如图1中所示,显微镜100包括图像捕获设备102、焦点致动器104、连接到存储器108的控制器106、照明组件110和用户接口112。显微镜100的示例用途可以是捕获安装在位于图像捕获设备102的视场(FOV)内的载物台116上的样本114的图像,处理所捕获的图像,并在用户接口112上呈现样本114的放大图像。
图像捕获设备102可以用于捕获样本114的图像。在本说明书中,本文所用的术语“图像捕获设备”通常是指将进入透镜的光学信号记录为图像或图像序列的传感器或设备。光学信号可以是在近红外光谱、红外光谱、可见光谱和紫外光谱中。图像捕获设备的示例包括CCD摄像头、CMOS摄像头、光传感器阵列、视频摄像头、配备有摄像头的移动电话、网络摄像头、预览摄像头、显微镜物镜和检测器等。一些实施例可以包括仅单个图像捕获设备102,而其他实施例可以包括两个、三个或甚至四个或更多个图像捕获设备102。在一些实施例中,图像捕获设备102可以被配置为在定义的视场(FOV)中捕获图像。另外,当显微镜100包括若干图像捕获设备102时,图像捕获设备102可以在其相应FOV中具有重叠区域。图像捕获设备102可以具有一个或更多个图像传感器(图1中未示出),用于捕获样本114的图像数据。在其他实施例中,图像捕获设备102可以被配置为以高于VGA、高于1兆像素、高于2兆像素、高于5兆像素、10兆像素、高于12兆像素、高于15兆像素或高于20兆像素的图像分辨率捕获图像。另外,图像捕获设备102也可以被配置为具有小于15微米、小于10微米、小于5微米、小于3微米或小于1.6微米的像素尺寸。
在一些实施例中,显微镜100包括焦点致动器104。本文所用的术语“焦点致动器”通常是指能够将输入信号转换为用于调整样本114和图像捕获设备102之间的相对距离的物理运动的任何设备。可以使用各种焦点致动器,包括例如线性马达、电致伸缩致动器、静电马达、电容马达、音圈致动器、磁致伸缩致动器等。在一些实施例中,焦点致动器104可以包括模拟位置反馈传感器和/或数字位置反馈元件。焦点致动器104被配置为从控制器106接收指令,以便使光束会聚以形成样本114的清晰且轮廓分明的图像。在图1中所示的示例中,焦点致动器104可以被配置为通过移动图像捕获设备102来调整距离。在一些示例中,焦点致动器104可以被配置为调整用于在图像捕获设备102上形成样本114的图像的样本114的深度。例如,焦点致动器114可以被配置为移动到第一配置以第一深度对样本114成像或捕获样本114,并且移动到第二配置以第二深度对样本114成像或捕获样本114。
然而,在其他实施例中,焦点致动器104可以被配置为通过移动载物台116或者通过移动图像捕获设备102和载物台116来调整距离。显微镜100还可以包括用于根据所公开的实施例控制显微镜100的操作的控制器106。控制器106可以包括用于根据提供所需功能的存储或可访问的软件指令在图像数据和其他数据的一个或更多个输入上执行逻辑操作的各种类型的设备。例如,控制器106可以包括中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、高速缓冲存储器或用于图像处理和分析的任何其他类型的设备(如图形处理单元(GPU))。CPU可以包括被配置为处理来自图像传感器的图像的任何数量的微控制器或微处理器。例如,CPU可以包括任何类型的单核或多核处理器、移动设备微控制器等。可以使用各种处理器,包括例如可从诸如等制造商获得的处理器,并且可以包括各种架构(例如,x86处理器、/>等)。支持电路可以是本领域公知的任何数量的电路,包括高速缓存、电源、时钟和输入-输出电路。控制器106可以处于远程位置,如通信地耦合到显微镜100的计算设备。
在一些实施例中,控制器106可以与用于存储软件的存储器108相关联,所述软件在由控制器106执行时控制显微镜100的操作。另外,存储器108也可以存储与显微镜100的操作相关联的电子数据,如例如样本114的捕获的或生成的图像。在一种情况下,存储器108可以集成到控制器106中。在另一种情况下,存储器108可以与控制器106分离。
具体地,存储器108可以指位于控制器106处或位于远程位置处的多个结构或计算机可读存储介质,如云服务器。存储器108可以包括任何数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光学存储装置、磁带存储装置、可移动存储装置或其他类型的存储装置。
显微镜100可以包括照明组件110。本文所用的术语“照明组件”通常是指能够投射光以照明样本114的任何设备或系统。
照明组件110可以包括任何数量的光源,如发光二极管(LED)、LED阵列、激光器和配置为发射光的灯,如卤素灯、白炽灯或钠灯。在一个实施例中,照明组件110可以仅包括单个光源。可替代地,照明组件110可以包括组织成阵列或矩阵的四个、十六个或甚至超过一百个光源。在一些实施例中,照明组件110可以使用位于与照明样本114平行的表面处的一个或更多个光源。在其他实施例中,照明组件110可以使用位于与样本114垂直或与样本114成角度的表面处的一个或更多个光源。
另外,照明组件110可以被配置为在一系列不同照明条件下照明样本114。在一个示例中,照明组件110可以包括以不同照明角度布置的多个光源,如二维布置的光源。在这种情况下,不同照明条件可以包括不同照明角度。例如,图1描绘了从第一照明角度α1投射的光束118和从第二照明角度α2投射的光束120。在一些实施例中,第一照明角度α1和第二照明角度α2可以具有相同的值但相反的符号。在其他实施例中,第一照明角度α1可以与第二照明角度α2分离。然而,两个角度都源自光学器件的接受角度内的点。
在另一个示例中,照明组件110可以包括配置为以不同波长发射光的一个或更多个光源。在这种情况下,不同照明条件可以包括不同波长。不同波长可以包括在从约380纳米(nm)到约450纳米的范围内的紫外波长、在从约450nm到约485nm的范围内的蓝色波长、在从约485nm到500nm的范围内的青色波长、在从约500nm到565nm的范围内的绿色波长、在从约565nm到约590nm的范围内的黄色波长、在从约590nm到625nm的范围内的橙色波长、在从约625nm到约740nm的范围内的红色波长、大于700nm的红外波长或在从约700nm到约1100nm的范围内的近红外波长中的一个或更多个。
在又一个示例中,照明组件110可以被配置为以预定次数使用多个光源。在这种情况下,不同照明条件可以包括不同的照明模式。相应地并且与本公开一致,不同照明条件可以从包括以下项的组中选择:不同持续时间、不同强度、不同位置、不同照明角度、不同照明模式、不同波长或其任何组合。
与公开的实施例一致,显微镜100可以包括用户接口112、与用户接口112连接、或者与用户接口112通信(例如,通过网络或无线地,例如经由蓝牙)。本文所用的术语“用户接口”通常是指适合于呈现样本114的放大图像的任何设备或适合于从显微镜100的一个或更多个用户接收输入的任何设备。图1示出了用户接口112的两个示例。第一示例是通过蓝牙、蜂窝连接或Wi-Fi连接、直接地或通过远程服务器与控制器106无线通信的智能电话或平板电脑。第二示例是物理地连接到控制器106的PC显示器。在一些实施例中,用户接口112可以包括用户输出设备,包括例如显示器、触觉设备、扬声器等。在其他实施例中,用户接口112可以包括用户输入设备,包括例如触摸屏、麦克风、键盘、指针设备、摄像头、旋钮、按钮等。使用这些输入设备,用户可以能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼动追踪能力在屏幕上选择菜单选项,或者通过用于将信息传送到显微镜100的任何其他合适技术来向显微镜100提供信息输入或命令。用户接口112可以与一个或更多个处理设备(如控制器106)连接(物理地或无线地),以向用户提供信息或从用户接收信息并处理该信息。在一些实施例中,这种处理设备可以执行用于响应键盘输入或菜单选择、识别和解释在触摸屏上做出的触摸和/或手势、识别和跟踪眼睛运动、接收和解释语音命令等的指令。
显微镜100还可以包括载物台116,或者连接到载物台116。载物台116包括任何水平刚性表面,其中可以安装样本114用于检查。载物台116可以包括用于将包含样本114的载玻片保持在固定位置中的机械连接器。机械连接器可以使用以下项中的一个或更多个:安装件、附接构件、保持臂、夹具、夹子、可调节框架、锁定机构、弹簧或其任何组合。在一些实施例中,载物台116可以包括半透明部分或用于允许光照明样本114的开口。例如,从照明组件110传输的光可以穿过样本114并朝向图像捕获设备102。在一些实施例中,载物台116和/或样本114可以使用马达或手动控件在XY平面中移动,以使得能够对样本的多个区域成像。
图2A和图2B描绘了在两种情况下的显微镜100的更近的视图。具体地,图2A示出了当显微镜100失焦时的两个光束对的光学路径,并且图2B示出了当显微镜100聚焦时的两个光束对的光学路径。在样本比焦点的深度厚或深度变化很快的情况下,样本的一些部分可以在焦点上,而其他部分可以不在焦点上。
如图2A和图2B中所示,图像捕获设备102包括图像传感器200和透镜202。在显微镜中,透镜202可以被称为显微镜100的物镜。本文所用的术语“图像传感器”通常是指能够检测光学信号并将其转换为电信号的设备。电信号可以用于基于检测到的信号形成图像或视频流。图像传感器200的示例可以包括半导体电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)中的有源像素传感器或N型金属氧化物半导体(NMOS、Live MOS)。本文所用的术语“透镜”是指玻璃、塑料或其他透明材料的磨制或模制件,其相对的表面中的一个或两个是弯曲的,借此光线被折射,使得它们会聚或发散以形成图像。术语“透镜”也可以指包含如上定义的一个或更多个透镜的元件,如在显微镜物镜中。透镜至少大体横向于图像传感器200的光轴定位。透镜202可以用于会聚来自样本114的光束并将它们朝向图像传感器200引导。在一些实施例中,图像捕获设备102可以包括固定镜头或变焦镜头。
当样本114位于焦平面204处时,从透镜202投射的图像完全聚焦。术语“焦平面”在本文中用于描述一种垂直于透镜202的光轴并穿过透镜焦点的平面。焦平面204和透镜202的中心之间的距离称为焦距,并且由D1表示。在一些情况下,样本114可以不完全平坦,并且焦平面204和样本114的各个区域之间可以存在细微差异。因此,焦平面204和样本114或样本114的感兴趣区域(ROI)之间的距离被标记为D2。距离D2与其中样本114的图像或样本114的ROI的图像失焦的程度对应。例如,距离D2可以在0mm和约3mm之间。在一些实施例中,D2可以大于3mm。当距离D2等于零时,样本114的图像(或样本114的ROI的图像)完全聚焦。相比之下,当D2具有非零值时,样本114的图像(或样本114的ROI的图像)失焦。
图2A描绘了样本114的图像失焦的情况。例如,当从样本114接收的光束不会聚在图像传感器200上时,样本114的图像可能失焦。图2A描绘了光束对206和光束对208。两对都不会聚在图像传感器200上。为了简单起见,未示出样本114下方的光学路径。与本公开一致,光束对206可以与以照明角度α2以从照明组件110投射的光束120对应,并且光束对208可以与以照明角度α1以从照明组件110投射的光束118对应。另外,光束对206可以与光束对208同时撞击图像传感器200。本文中的术语“同时”意味着图像传感器200在重合或重叠的时间期间记录了与两个或更多个光束对相关联的信息,其中一个在另一个的持续时间期间开始和结束,或者其中后一个在另一个完成之前开始。在其他实施例中,光束对206和光束对208可以顺序地接触图像传感器200。术语“顺序地”意味着在完成记录与例如光束对208相关联的信息之后,图像传感器200已经开始记录与例如光束对206相关联的信息。
如上所讨论,D2是焦平面204和样本114之间的距离,并且它与样本114失焦的程度对应。在一个示例中,D2可以具有50微米的值。焦点致动器104被配置为通过将来自控制器106的输入信号转换为物理运动来改变距离D2。在一些实施例中,为了聚焦样本114的图像,焦点致动器104可以移动图像捕获设备102。在此示例中,为了聚焦样本114的图像,焦点致动器104可以将图像捕获设备102向上移动50微米。在其他实施例中,为了聚焦样本114的图像,焦点致动器104可以将载物台116向下移动。因此,在此示例中,代替将图像捕获设备102向上移动50微米,焦点致动器104可以将载物台116向下移动50微米。
图2B示出了样本114的图像在焦点上的情况。在这种情况下,光束对206和208会聚在图像传感器200上,并且距离D2等于零。换句话说,聚焦样本114的图像(或样本114的ROI的图像)可以依赖于调整图像捕获设备102和样本114之间的相对距离。相对距离可以由D1-D2表示,并且当距离D2等于零时,图像捕获设备102和样本114之间的相对距离等于距离D1,这意味着样本114的图像被聚焦。
图3示出了用于使用合适的显微镜(如显微镜100)压缩获取样本(如样本114)的显微图像的示例性方法300。在一个示例中,图3中所示的每个步骤都可以表示其结构包括多个子步骤和/或由多个子步骤表示的算法,下面将更详细地提供其示例。
如图3中所示,在步骤310处,本文描述的系统中的一个或更多个系统可以用图像传感器,从使用包括第一数量的照明条件的第一组照明条件照明的样本获取第一图像数据集,每个照明条件包括第一波长。例如,显微镜100可以用图像捕获设备102,从由照明组件110使用具有第一数量的照明条件的第一组照明条件照明的样本114获取第一图像数据集。第一图像数据集可以包括样本114的多个图像。
第一组照明条件可以各自包括第一波长,使得照明组件110可以通过以第一波长发射光来对样本114照明。第一波长可以对应于第一颜色。例如,第一波长可以对应于以下范围之一:从约200纳米(nm)到约380纳米(nm)的紫外范围、从约380nm到约450nm的紫色范围、从约450nm到约485nm的蓝色范围、从约485nm到500nm的青色范围、从约500nm到565nm的绿色范围、从约565nm到约590nm的黄色范围、从约590nm到625nm的橙色范围、从约625nm到约740nm的红色范围或从约700nm到约1100nm的近红外范围。在一些示例中,第一波长可以对应于发射第一波长分布的第一照明源的第一峰值。第一波长分布可以包括第一全宽半最大值。
在一些实施方式中,方法300可以包括确定第一波长。第一波长可以是用户定义的,如为每个样本定义的和/或与每个样本相关联。可替代地,对于要由显微镜100捕获的第一波长,确定第一波长可以是动态的和/或自适应的。确定第一波长可以包括用图像捕获设备102,获取例如由照明组件110用多个波长照明的样本114的初始图像数据集。控制器106作为显微镜100的一部分可以确定初始图像数据集的第一图像包括比初始数据集的第二图像更多的信息。显微镜100可以选择与第一图像对应的波长作为第一波长。例如,显微镜100可以捕获在绿色波长下照明的样本114的第一图像、在红色波长下照明的样本114的第二图像和在蓝色波长下照明的样本114的第三图像。显微镜100可以选择与具有最多信息的图像对应的波长作为第一波长,其可以对应于空间频率信息。例如,如果绿色通道图像包含比红色通道图像和蓝色通道图像更多的信息,则显微镜100可以选择绿色作为第一波长。显微镜100也可以确定其他波长的优先级或以其他方式对其他波长排序。例如,显微镜100可以选择红色作为第二波长,并且选择蓝色作为第三波长。
在一些示例中,显微镜100可以确定第一组照明条件。显微镜100可以基于从初始图像数据集识别的信息,确定第一组照明条件。显微镜100可以确定例如光源的数量、光源的位置、多个光源的位置的组合、照明角度、照明角度的组合、照明的数量、漫射器的位置、光的图案、滤波器、掩模或样本的焦点。
在一些示例中,显微镜100可以确定用于重建第一图像的计算过程。例如,显微镜100可以基于初始图像数据集,如通过从初始图像数据集识别某些信息和/或图案,确定计算过程。
在步骤320处,本文描述的系统中的一个或更多个系统可以用图像传感器,从使用包括第二数量的照明条件的第二组照明条件照明的样本获取第二图像数据集,每个照明条件包括第二波长。第一数量的照明条件可以大于第二数量的照明条件。例如,显微镜100可以用图像捕获设备102,从由照明组件110使用具有第二数量的照明条件的第二组照明条件照明的样本114获取第二图像数据集,第二数量的照明条件小于第一数量的照明条件。第二图像数据集可以包括样本114的一个或更多个图像。
第一数量可以比第二数量大至少二倍。与第二图像数据集相关联的第二获取时间可以不超过与第一图像数据集相关联的第一获取时间的一半。
除了具有较少的照明条件之外,第二组照明条件还可以不同于第一组照明条件。第二图像数据集可以小于第一图像数据集。例如,因为有较少的照明条件,所以显微镜100可以为第二图像数据集捕获比第一图像数据集更少的图像。在一些实施方式中,显微镜100可以在获取第一图像数据集之后获取第二图像数据集。
第二组照明条件可以各自包括第二波长,使得照明组件110可以通过以第二波长发射光来照明样本114。第二波长可以对应于第二颜色。例如,第二波长可以对应于以下范围之一:从约200纳米(nm)到约380纳米(nm)的紫外范围、从约380nm到约450nm的紫色范围、从约450nm到约485nm的蓝色范围、从约485nm到500nm的青色范围、从约500到565nm的绿色范围、从约565nm到约590nm的黄色范围、从约590nm到625nm的橙色范围、从约625nm到约740nm的红色范围或从约700nm到约1100nm的近红外范围。
第二波长可以不同于第一波长。例如,第二波长可以对应于与(第一波长的)第一颜色不同的第二颜色。在一些示例中,第一波长可以对应于发射第一波长分布的第一照明源的第一峰值(其可以包括第一全宽半最大值),并且第二波长可以对应于第二波长分布的第二峰值(其可以包括第二全宽半最大值)。第一全宽半最大值可以不与第二全宽半最大值重叠。可替代地,第一波长和第二波长可以对应于不同范围的波长。
在一些示例中,可以确定第二波长。例如,第二波长可以是用户定义的。可替代地,显微镜100可以确定第二波长,如上面关于步骤310所述。另外,显微镜100可以例如基于上面关于步骤310描述的初始图像数据集来确定第二组照明条件。
在步骤330处,本文描述的系统中的一个或更多个系统可以将第一图像数据集和第二图像数据集组合成样本的计算重建图像。例如,显微镜100可以将第一图像数据集和第二图像数据集组合成样本114的计算重建图像。
计算重建图像可以包括二维(2D)图像、三维(3D)图像、2D强度图像、3D强度图像、2D相位图像、3D相位图像、2D荧光图像、3D荧光图像、2D高光谱图像或3D高光谱图像中的一个或更多个。计算重建图像可以包括彩色图像。例如,彩色图像可以包括红色通道、绿色通道或蓝色通道中的两个或更多个。在这种示例中,第一波长可以对应于红色通道、绿色通道或蓝色通道中的一个,并且第二波长可以对应于红色通道、绿色通道或蓝色通道中的另一个。
此外,计算重建图像的空间频率带宽可以比用第一组照明条件获取的多个图像中的每个图像的空间频率带宽大至少1.5倍。
在一些示例中,显微镜100可以单独地处理第一图像数据集和第二图像数据集,以从第一图像数据集生成第一计算重建图像并从第二图像数据集生成第二计算重建图像。显微镜100可以将第一计算重建图像与第二计算重建图像组合,以生成计算重建图像。第一图像数据集可以包括第一多个图像,并且第二图像数据集可以包括一个或更多个图像。该一个或更多个图像可以包括用第二组照明条件获取的单个图像。可替代地,该一个或更多个图像可以包括第二多个图像。显微镜100可以一起处理第一多个图像和该一个或更多个图像,以生成计算重建图像。
此外,在一些示例中,显微镜100可以用图像传感器(例如,图像捕获设备102)从使用第三组照明条件用第三波长照明的样本获取第三图像数据集。第三组照明条件可以包括比第一数量的照明条件少的第三数量的照明条件。显微镜100可以将第三数据集与第一图像数据集和第二图像数据集组合,以生成计算重建图像。
在另一个示例中,显微镜100可以用图像传感器(例如,图像捕获设备102),从使用附加的N组照明条件用N个附加波长照明的样本获取N个附加图像数据集。N可以是至少一的整数。例如,N可以是在从约10到约100的范围内的整数。显微镜100可以将N个附加数据集与第一图像数据集、第二图像数据集和第三图像数据集组合,以生成计算重建图像。计算重建图像可以包括高光谱图像。
图4A示出了可以由合适的显微镜(如显微镜100)执行的对应方法400的工作流程图。方法400可以对应于方法300的变体。
如图4A中所示,在步骤410(其可以对应于步骤310)处,显微镜100可以使用图像捕获设备102,从如由照明组件110照明的通道#1获取N1个图像。在步骤411(其可以对应于步骤330)处,显微镜100可以处理来自通道#1的N1个图像,例如以生成用于通道#1的第一计算重建图像。显微镜100可以基于低分辨率图像的数量(例如,N1)确定用于第一计算重建图像的分辨率。
在步骤420(其可以对应于步骤320)处,显微镜100可以使用图像捕获设备102,从如由照明组件110照明的通道#2获取N2个图像。在步骤421(其可以对应于步骤330)处,显微镜100可以处理来自通道#2的N2个图像,例如以生成用于通道#2的第二计算重建图像。显微镜100可以基于低分辨率图像的数量(例如,N2)确定用于第二计算重建图像的分辨率。
显微镜100可以以任何顺序对每个通道,例如,通道#1至通道#M,重复获取和处理。另外,如本文所述,显微镜100可以对每个通道和对每个样本自适应地确定包括许多照明的照明条件。在步骤430(其可以对应于步骤320)处,显微镜100可以使用图像捕获设备102,从通道#M获取NM个图像。在步骤431(其可以对应于步骤330)处,显微镜100可以处理来自通道#M的NM个图像,例如以生成用于通道#M的计算重建图像。
在步骤440(其可以对应于步骤330)处,显微镜100可以融合通道(例如,通道#1至通道#M),以形成最终图像。例如,显微镜100可以使用针对每个通道获取的图像、针对每个通道的计算重建图像和/或其任何子组合来生成用于样本114的最终计算重建图像。通道的融合可以以许多方式进行。在一些实施例中,步骤540、440、442或444中的一个或更多个包括颜色校准,并且可以使用例如颜色空间(如CIELAB、CIELUV、YCbCr、XYZ或CIEUVW)。
图4B示出了可以由合适的显微镜(如显微镜100)执行的另一种方法402的工作流程图。方法402可以对应于方法300和/或方法400的变体。
如图4B中所示,在步骤412(其可以对应于步骤310)处,显微镜100可以使用图像捕获设备102,从如由照明组件110照明的通道#1获取N1个图像。在步骤422(其可以对应于步骤320)处,显微镜100可以使用图像捕获设备102,从如由照明组件110照明的通道#2捕获N2个图像。
在步骤413(其可以对应于步骤330)处,显微镜100可以处理来自通道#1的N1个图像和来自通道#2的N2个图像,例如以生成用于通道#1和通道#2的计算重建图像。
显微镜100可以以任何顺序对每个通道(例如,通道#1至通道#M)重复获取和处理。在步骤432(其可以对应于步骤320)处,显微镜100可以使用图像捕获设备102,从通道#M获取NM个图像。在步骤433(其可以对应于步骤330)处,显微镜100可以处理来自通道#M的NM个图像,例如以生成用于通道#M的计算重建图像。
在步骤442(其可以对应于步骤330)处,显微镜100可以融合通道(例如,通道#1至通道#M),以形成最终图像。例如,显微镜100可以使用针对每个通道获取的图像、针对每个通道和/或通道组合的计算重建图像和/或其任何子组合来生成用于样本114的最终计算重建图像。
图4C示出了可以由合适的显微镜(如显微镜100)执行的另一种方法404的工作流程图。方法404可以对应于方法300、方法400和/或方法402的变体。
显微镜100可以以任何顺序获取图像并处理每个通道,例如通道#1至通道#M。如图4C中所示,在步骤414(其可以对应于步骤310)处,显微镜100可以使用图像捕获设备102,从如由照明组件110照明的通道#1获取N1个图像。在步骤424(其可以对应于步骤320)处,显微镜100可以使用图像获取设备101,从如由照明组件110照明的通道#2获取N2个图像。在步骤432(其可以对应于步骤320)处,显微镜100可以使用图像捕获设备102从通道#M获取NM个图像。
在步骤415(其可以对应于步骤330)处,显微镜100可以处理来自通道#1的N1个图像、来自通道#2的N2个图像和来自通道#M的NM个图像,例如以生成用于通道#1至通道#M的计算重建图像。
在步骤444(其可以对应于步骤330)处,显微镜100可以融合通道(例如,通道#1至通道#M),以形成最终图像。例如,显微镜100可以使用针对每个通道获取的图像、针对通道组合的计算重建图像和/或其任何子组合来生成用于样本114的最终计算重建图像。
图5示出了可以由合适的显微镜(如显微镜100)执行的方法500的工作流程图。方法500可以对应于方法300、方法400、方法402和/或方法404的变体。特别地,方法500可以对应于方法400的具体示例。
如图5中所示,在步骤510(其可以对应于步骤310和/或步骤410)处,显微镜100可以使用图像捕获设备102,获取使用如由照明组件110照明的绿色通道的N个图像。如上所述,绿色通道可以提供比红色通道或蓝色通道更多的信息,使得它可以期望使绿色通道优先。如本文所述,显微镜100可以自适应地确定N,或者可以使用预先配置的值。另外,显微镜100可以以低分辨率(如比显微镜100的原始分辨率更低的分辨率)从绿色通道获取N个图像。在步骤511(其可以对应于步骤330和/或步骤411)处,显微镜100可以处理来自绿色通道的N个图像,例如以重建来自绿色通道图像的高分辨率图像,这些绿色通道图像可以是低分辨率图像。图6示出了可以从来自绿色通道的N个图像重建的高分辨率图像600。
在步骤520(其可以对应于步骤320和/或步骤420)处,显微镜100可以使用图像捕获设备102,从如由照明组件110照明的红色通道获取单个图像。显微镜100可以以显微镜100的原始分辨率获取红色通道图像。在步骤521(其可以对应于步骤330和/或步骤421)处,显微镜100可以处理来自红色通道的图像,例如以对红色图像去噪或以其他方式增强红色图像。图7示出了图像700,其可以是使用科勒照明获取的单个图像。如图6和图7中所见,图像700可以具有比图像600的分辨率更低的分辨率。
在步骤530(其可以对应于步骤320和/或步骤430)处,显微镜100可以使用图像捕获设备102,从蓝色通道获取单个图像。显微镜100可以以显微镜100的原始分辨率获取蓝色通道图像。在步骤531(其可以对应于步骤330和/或步骤431)处,显微镜100可以处理来自蓝色通道的图像,例如以对蓝色图像去噪。图8示出了图像800,其是使用科勒照明获取的单个图像。如图6和图8中所见,图像800可以具有比图像600的分辨率更低的分辨率。
在步骤540(其可以对应于步骤330和/或步骤440)处,显微镜100可以融合通道(例如,红色通道、绿色通道和蓝色通道),以形成高分辨率彩色图像。例如,显微镜100可以使用针对每个通道获取的图像、针对每个通道的处理的图像和/或其任何子组合来生成用于样本114的最终计算重建图像。图9示出了图像900,其可以是通过一起处理图像600、图像700和图像800而生成的彩色高分辨率图像。如图6至图9中所见,图像900可以具有比图像600、图像700和图像800的分辨率更高的分辨率。虽然图5示出了以绿色、红色和蓝色的顺序的获取和处理,但是显微镜100可以以任何顺序对每个通道执行获取和处理。
根据一些实施例,参考图10至图13中所示的示例性图像,将理解计算重建图像的改进的空间频率带宽。
图10示出了使用红色照明颜色和对应的细胞结构用图像传感器获取的放大原始图像1000;
图11示出了使用蓝色照明颜色和图10的对应细胞结构用图像传感器获取的放大原始图像1100;
图12示出了使用绿色照明颜色和图10的对应细胞结构用图像传感器获取的放大原始图像1200;
图13示出了从用绿色和图10至图12的对应细胞结构照明的多个图像获得的计算重建图像1300。如本文所述,多个图像用第一组照明条件生成,并且如本文所述,计算重建图像1300从多个图像获得。
图14示出了计算重建RGB图像1400和图10至图13中的图像的对应细胞结构。计算重建彩色图像1400用多个绿色照明条件和单个红色照明条件以及单个蓝色照明条件生成。如将参考图10至图14进行理解的,计算重建彩色图像1400示出了如分别与图10至图12的单独红色图像、蓝色图像和绿色图像相比较的细胞结构的改进的分辨率。通过将与第一波长和第一组照明条件对应的计算重建图像(例如,图像1300)与如本文所述的来自其他照明波长的一个或更多个图像(例如图像1000和图像1100)组合,可以获得计算重建彩色图像1400。可替代地,可以组合来自以不同波长和照明条件的图像的数据,以生成计算重建彩色图像1400,而不首先生成如本文所述的与第一波长和第一组照明条件对应的计算重建图像。
计算重建彩色图像可以用于细胞分析,并且可以如本文所述在由用户观察的显示器上显示。
在一些示例中,第一数量的照明条件比第二数量的照明条件大至少二倍。与第二图像数据集相关联的第二获取时间可以不超过与第一图像数据集相关联的第一获取时间的一半。计算重建图像的空间频率带宽可以比用第一组照明条件获取的多个图像中的每个图像的空间频率带宽大至少1.5倍。
在一些示例中,计算重建图像可以包括增加的空间频率带宽、用于光学像差的校正或图像对比度的增加中的一个或更多个。显微镜100可以基于第一组照明条件将第一图像数据集转换为空间频率空间并映射到空间频率空间中的空间频率,以相比于用第一组照明条件获取的多个图像中的每个图像的第一空间频率带宽,提供计算重建图像的增加的空间频率带宽。图像传感器(例如,图像捕获设备102)可以包括空间频率带宽,并且计算重建图像的增加的空间频率带宽可以大于图像传感器的空间频率带宽除以样本的图像到图像传感器上的放大率。
在一些示例中,第一图像数据集可以包括第一多个图像,每个图像包括第一空间频率带宽。计算重建图像的增加的空间频率带宽可以大于第一多个图像中的所述每个图像的第一空间频率带宽。第一多个图像可以包括未用第一多个图像中的所述每个图像的第一空间频率带宽解析的样本的特征,并且计算重建图像可以包括用计算重建图像的增加的空间频率带宽解析的样本的特征。
显微镜100可以通过从样本信息分离像差信息来提供光学像差的校正,以便减少光学像差对计算重建图像的影响。可选地,像差信息可以包括与用于在图像传感器上对样本成像的光学器件相关联的像差空间频率和相位。可选地,样本信息可以包括与样本的结构相关联的样本空间频率和相位。
显微镜100可以通过以计算方式放大重建图像的高空间频率来提供计算重建图像的增加的图像对比度,以更好地表示样本。计算重建图像可以包括增加的对比度。相比于第一图像数据集的多个图像中的每个图像的高空间频率与低空间频率的比,增加的对比度可以包括计算重建图像中的高空间频率与低空间频率的增加的比。
显微镜100可以在显示器(如用户接口112)上显示重建的图像。重建的图像可以用与第一波长对应的用于第一颜色通道的第一空间频率带宽和与第二波长对应的用于第二颜色通道的第二空间频率带宽在显示器上显示。第一空间频率带宽可以大于第二空间频率带宽。例如,第一波长可以对应于绿光,使得第一颜色通道对应于绿色通道。第二波长可以对应于红光或蓝光,使得第二颜色通道对应于红色通道或蓝色通道。绿色通道可以用第一空间频率带宽在显示器上显示,并且红色通道或蓝色通道可以用第二空间频率带宽在显示器上显示。
在一些示例中,显微镜100可以用与第一波长对应的第一空间频率带宽和第一用户可感知颜色以及与第二波长对应的第二空间频率带宽和第二用户可感知颜色,在显示器(例如,用户接口112)上提供重建的图像。第一空间频率带宽可以大于由图像传感器用第二组照明条件以第二波长获取的一个或更多个图像的空间频率带宽。
在一些示例中,计算重建图像可以包括与第一波长对应的第一空间频率带宽和与第二波长对应的第二空间频率带宽。第一空间频率带宽可以大于由图像传感器用第二组照明条件以第二波长获取的一个或更多个图像的空间频率带宽。
在一些示例中,计算重建图像可以包括红色通道、绿色通道和蓝色通道。第二波长可以包括与红色通道对应的红光,并且第三波长可以包括与第三通道对应的蓝光。第三通道可以用第三空间频率带宽在显示器上显示,该第三空间频率带宽可以小于第一空间频率带宽。
在一些示例中,图像传感器(例如,图像捕获设备102)可以包括传感器,该传感器包括二维阵列的像素。第一图像数据集的第一颜色可以对应于第一波长,并且第二图像数据集的第二颜色可以对应于第二波长。显微镜100可以基于第一波长和第二波长将计算重建图像映射到红色通道、绿色通道和蓝色通道。
在一些示例中,图像传感器可以包括灰度图像传感器,该灰度图像传感器包括二维阵列的像素。在一些示例中,图像传感器可以包括彩色图像传感器和滤色器阵列,该彩色图像传感器包括二维阵列的像素,该滤色器阵列包括布置在二维阵列上方的多个滤色器。可以基于第一波长和滤色器在第一波长处的第一吸收特性来确定第一图像数据集。可以基于第二波长和在第二波长处的第二吸收特性来确定第二图像数据集。显微镜100可以根据滤色器在第一波长处的第一吸收特性和滤色器在第二波长处的第二吸收特性组合第一图像数据集和第二图像数据集,以便生成计算重建图像。
在一些示例中,第一波长可以不同于第二波长,并且当样本用第二组照明条件中的一个或更多个照明时,可以利用照明样本的一组照明条件中的一个或更多个基本同时获取第一图像数据集的一部分和第二图像数据集的一部分。
在一些示例中,第一数据集和第二数据集对应于样本的第一深度。显微镜100还可以调节显微镜100的焦点,来以多个深度对样本成像。显微镜100还可以重复获取步骤和组合步骤(例如,步骤310-330),以生成计算重建图像。计算重建图像可以包括在与多个深度对应的不同深度处的多个计算重建图像。
如上文结合示例方法300、方法400、方法402、方法404和方法500所解释的,本文描述的计算成像系统可以通过定制针对每个波长的获取来减少以不同波长获取图像的获取时间。将产生更多信息的波长可以优先于将产生更少信息的波长(例如,给定的更多获取和/或重建时间)。例如,由于人眼对绿色的敏感度,绿色通道可以优先于红色通道和蓝色通道。通过减少次优先波长的获取和/或重建时间,以及以其他方式维持用于优先的波长的获取和/或重建时间,可以减少计算成像系统的总成像时间,而不会对所得到的重建图像产生显著的不利影响。换句话说,通过保存来自优先的波长的信息来减轻由于减少次优先波长的获取和/或重建时间而导致的信息丢失。
如本文所述,本文所述和/或所示的计算设备和系统广泛地表示能够执行(如包含在本文描述的模块内的那些)计算机可读指令的任何类型或形式的计算设备或系统。在它们最基本的配置中,这些计算设备每个都可以包括至少一个存储器设备和至少一个物理处理器。
如本文所用,术语“存储器”或“存储器设备”通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中,存储器设备可以存储、加载和/或维持本文描述的模块中的一个或更多个。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些中的一个或更多个的变体或组合、或任何其他合适的存储存储器。
另外,如本文所用,术语“处理器”或“物理处理器”通常是指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实施的处理单元。在一个示例中,物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实施软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些中的一个或更多个的部分、这些中的一个或更多个的变体或组合、或任何其他合适的物理处理器。
尽管作为单独的元素示出,但是本文所述和/或所示的方法步骤可以表示单个应用的部分。另外,在一些实施例中,这些步骤中的一个或更多个步骤可以表示或对应于一个或更多个软件应用或程序,当由计算设备执行时,一个或更多个软件应用或程序可以使计算设备执行一项或更多项任务,如方法步骤。
另外,本文描述的设备中的一个或更多个设备可以将数据、物理设备和/或物理设备的表示从一种形式转换为另一种形式。附加地或替代地,本文所述的模块中的一个或更多个模块可以通过在计算设备上执行、在计算设备上存储数据和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式的计算设备转换为另一种形式的计算设备。
如本文所用,术语“计算机可读介质”通常是指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输型介质,如载波,以及非临时型介质,如磁存储介质(例如,硬盘驱动器、磁带驱动器和软盘)、光学存储介质(例如,压缩磁盘(CD)、数字视频磁盘(DVD)和BLU-RAY磁盘)、电子存储介质(例如,固态驱动器和闪存介质)和其他分布系统。
本领域中的普通技术人员将认识到,本文公开的任何过程或方法可以以许多方式进行修改。本文所述和/或所示的工艺参数和步骤顺序仅通过示例的方式给出,并且可以根据需要进行改变。例如,虽然本文所示和/或所述的步骤可以以特定的顺序示出或讨论,但是这些步骤不一定需要以所示的或所讨论的顺序执行。
本文所述和/或所示的各种示例性方法也可以省略本文所述或所示的步骤中的一个或更多个步骤,或者包括除了公开的那些之外的附加步骤。此外,如本文公开的任何方法的步骤可以与如本文公开的任何其他方法的一个或更多个步骤组合。
如本文所述的处理器可以被配置为执行本文公开的任何方法的一个或更多个步骤。可替代地或组合地,处理器可以被配置为组合如本文公开的一种或更多种方法的一个或更多个步骤。
除非另有说明,如说明书和权利要求中所用的术语“连接到”和“耦合到”(及其派生词)应被理解为允许直接的和间接的(即经由其他元件或组件)连接。另外,如说明书和权利要求中所用的术语“一个(a)”或“一个(an)”应解释为“……中的至少一个”。最后,为了便于使用,如说明书和权利要求中所用的术语“包括(including)”和“具有(having)”(及其派生词)是与单词“包括(comprising)”可互换的,并且应具有与单词“包括(comprising)”相同的含义。
如本文公开的处理器可以被配置有指令,以执行如本文公开的任何方法的任何一个或更多个步骤。
将理解,虽然术语“第一”、“第二”、“第三”等可以在本文中用于描述各种层、元件、组件、区域或部分,而不涉及事件的任何特定顺序或序列。这些术语仅用于将一个层、元件、组件、区域或部分与另一个层、元件、组件、区域或部分区分开来。在不脱离本公开的教导的情况下,如本文所述的第一层、元件、组件、区域或部分可以被称为第二层、元件、组件、区域或部分。
如本文所用,术语“或(or)”用于包含性地指代替代或组合中的项目。
如本文所用,诸如数字等字符指代相似的元素。
本公开包括以下编号的条款。每个条款可以与一个或更多个其他条款组合到此类组合与本文公开的教导一致的程度。
第1条、一种用于生成计算重建图像的方法,该方法包括:用图像传感器,从使用包括第一数量的照明条件的第一组照明条件照明的样本获取第一图像数据集,每个照明条件包括第一波长;用图像传感器,从使用包括第二数量的照明条件的第二组照明条件照明的样本获取第二图像数据集,每个照明条件包括第二波长,其中第一数量大于第二数量;以及将第一图像数据集和第二图像数据集组合成样本的计算重建图像。
第2条、根据第1条所述的方法,其中计算重建图像包括与第一波长对应的第一空间频率带宽和与第二波长对应的第二空间频率带宽,第一空间频率带宽大于第二空间频率带宽。
第3条、根据第2条所述的方法,其中第一空间频率带宽大于由图像传感器用第一组照明条件以第一波长获取的一个或更多个图像的空间频率带宽。
第4条、根据第2条所述的方法,其中第二空间频率带宽大于由图像传感器用第二组照明条件以第二波长获取的一个或更多个图像的空间频率带宽。
第5条、根据第2条所述的方法,其中计算重建图像包括至少部分基于来自第一波长的第一图像数据集的用于第二波长的增加的对比度或像差校正中的一个或更多个。
第6条、根据第1条所述的方法,该方法还包括:用与第一波长对应的第一空间频率带宽和第一用户可感知颜色以及与第二波长对应的第二空间频率带宽和第二用户可感知颜色,在显示器上提供重建图像,第一空间频率带宽大于第二空间频率带宽和由图像传感器用第一组照明条件以第一波长获取的一个或更多个图像的空间频率带宽。
第7条、根据第1条所述的方法,其中第一数量比第二数量大至少2倍,并且与第二图像数据集相关联的第二获取时间不超过与第一图像数据集相关联的第一获取时间的一半,并且其中计算重建图像的空间频率带宽比用第一组照明条件获取的多个图像中的每个图像的空间频率带宽大至少1.5倍。
第8条、根据第1条所述的方法,其中第一图像数据集包括样本的多个图像,并且第二图像数据集包括样本的一个或更多个图像,并且其中第二图像数据集包括比第一图像数据集更少的样本的图像。
第9条、根据第1条所述的方法,其中计算重建图像包括增加的空间频率带宽、用于光学像差的校正或图像对比度的增加中的一个或更多个。
第10条、根据第9条所述的方法,其中基于第一组照明条件将第一图像数据集转换为空间频率空间并映射到空间频率空间中的空间频率,以相比于用第一组照明条件获取的多个图像中的每个图像的第一空间频率带宽,提供计算重建图像的增加的空间频率带宽。
第11条、根据第9条所述的方法,其中图像传感器包括空间频率带宽,并且计算重建图像的增加的空间频率带宽大于图像传感器的空间频率带宽除以样本的图像到图像传感器上的放大率。
第12条、根据第9条所述的方法,其中第一图像数据集包括第一多个图像,每个图像包括第一空间频率带宽,并且计算重建图像的增加的空间频率带宽大于第一多个图像中的所述每个图像的第一空间频率带宽。
第13条、根据第12条所述的方法,其中第一多个图像包括未用第一多个图像中的所述每个图像的第一空间频率带宽解析的样本的特征,并且计算重建图像包括用计算重建图像的增加的空间频率带宽解析的样本的特征。
第14条、根据第9条所述的方法,其中通过从样本信息分离像差信息来提供光学像差的校正,以便减少光学像差对计算重建图像的影响,并且可选地其中像差信息包括与用于在图像传感器上对样本成像的光学器件相关联的像差空间频率和相位,并且可选地其中样本信息包括与样本的结构相关联的样本空间频率和相位。
第15条、根据第9条所述的方法,其中通过以计算方式放大重建图像的高空间频率来提供计算重建图像的增加的图像对比度,以更好地表示样本。
第16条、根据第9条所述的方法,其中计算重建图像包括增加的对比度,并且其中相比于第一图像数据集的多个图像中的每个图像的高空间频率与低空间频率的比,增加的对比度包括计算重建图像中的高空间频率与低空间频率的增加的比。
第17条、根据第1条所述的方法,其中单独处理第一图像数据集和第二图像数据集,以从第一图像数据集生成第一计算重建图像并从第二数据集生成第二计算重建图像,并且其中第一计算重建图像与第二计算重建图像组合,以生成计算重建图像。
第18条、根据第1条所述的方法,其中第一图像数据集包括第一多个图像,并且第二图像数据集包括一个或更多个图像,并且其中一起处理第一多个图像和一个或更多个图像,以生成计算重建图像。
第19条、根据第18条所述的方法,其中一个或更多个图像包括用第二组照明条件获取的单个图像。
第20条、根据第18条所述的方法,其中一个或更多个图像包括第二多个图像。
第21条、根据第1条所述的方法,其中计算重建图像包括彩色图像,该彩色图像包括红色通道、绿色通道或蓝色通道中的两个或更多个。
第22条、根据第21条所述的方法,其中第一波长对应于红色通道、绿色通道或蓝色通道中的一个,并且第二波长对应于红色通道、蓝色通道或绿色通道中的另一个。
第23条、根据第22条所述的方法,其中用与第一波长对应的用于第一颜色通道的第一空间频率带宽和用与第二波长对应的用于第二颜色通道的第二空间频率带宽,在显示器上显示重建图像,第一空间频率带宽大于第二空间频率带宽。
第24条、根据第23条所述的方法,其中第一波长包括绿光,第一通道包括绿色通道,第二波长包括红光或蓝光,并且第二颜色通道包括红色通道或蓝色通道,并且其中用第一空间频率带宽在显示器上显示绿色通道,并且用第二空间频率带宽在显示器上显示红色通道或蓝色通道。
第25条、根据第24条所述的方法,其中计算重建图像包括红色通道、绿色通道和蓝色通道,并且其中第二波长包括与红色通道对应的红光并且第三波长包括与第三通道对应的蓝光,其中用比第一空间频率带宽小的第三空间频率带宽在显示器上显示第三通道。
第26条、根据第21条所述的方法,其中图像传感器包括传感器,该传感器包括二维阵列的像素,并且第一图像数据集的第一颜色对应于第一波长并且第二图像数据集的第二颜色对应于第二波长,并且其中基于第一波长和第二波长将计算重建图像映射到红色通道、绿色通道和蓝色通道。
第27条、根据第26条所述的方法,其中图像传感器包括灰度图像传感器,该灰度图像传感器包括二维阵列的像素。
第28条、根据第26条所述的方法,其中图像传感器包括彩色图像传感器和滤色器阵列,该彩色图像传感器包括二维阵列的像素,该滤色器阵列包括布置在二维阵列上方的多个滤色器。
第29条、根据第28条所述的方法,其中基于第一波长和滤色器在第一波长处的第一吸收特性确定第一图像数据集,并且基于第二波长和在第二波长处的第二吸收特性确定第二图像数据集。
第30条、根据第29条所述的方法,其中根据滤色器在第一波长处的第一吸收特性和滤色器在第二波长处的第二吸收特性组合第一图像数据集和第二图像数据集,以便生成计算重建图像。
第31条、根据第28条所述的方法,其中第一波长不同于第二波长,并且当用第二组照明条件中的一个或更多个照明样本时,利用照明样本的一组照明条件中的一个或更多个基本同时获取第一图像数据集的一部分和第二图像数据集的一部分。
第32条、根据第1条所述的方法,其中第一波长不同于第二波长。
第33条、根据第32条所述的方法,其中第一波长包括第一颜色,并且第二波长包括与第一颜色不同的第二颜色。
第34条、根据第32条所述的方法,其中第一波长包括发射第一波长分布的第一照明源的第一峰值,第一波长分布包括第一全宽半最大值,并且其中第二波长包括第二波长分布的第二峰值,第二波长分布包括第二全宽半最大值,并且其中第一全宽半最大值不与第二全宽半最大值重叠。
第35条、根据第32条所述的方法,其中第一波长是在以下范围中的一个内,并且第二波长是在以下范围中的不同一个内:从约200纳米(nm)到约380纳米(nm)的紫外范围、从约380nm到约450nm的紫色范围、从约450nm到约485nm的蓝色范围、从约485nm到500nm的青色范围、从约500nm到565nm的绿色范围、从约565nm到约590nm的黄色范围、从约590nm到625nm的橙色范围、从约625nm到约740nm的红色范围或从约700nm到约1100nm的近红外范围。
第36条、根据第33条所述的方法,其中第一波长是在范围中的一个内,并且第二波长是在范围中的不同一个内。
第37条、根据第1条所述的方法,该方法还包括:用图像传感器,从使用第三组照明条件用第三波长照明的样本获取第三图像数据集;其中第三数据集与第一图像数据集和第二图像数据集组合,以生成计算重建图像。
第38条、根据第37条所述的方法,其中第三组照明条件包括比第一数量的照明条件小的第三数量的照明条件。
第39条、根据第37条所述的方法,该方法还包括:用图像传感器,从使用附加的N组照明条件用N个附加波长照明的样本获取N个附加图像数据集;其中N个附加数据集与第一图像数据集、第二图像数据集和第三图像数据组合,以生成计算重建图像;其中N包括至少一的整数。
第40条、根据第39条所述的方法,其中N包括在从约10到100的范围内的整数。
第41条、根据第39条所述的方法,其中计算重建图像包括高光谱图像。
第42条、根据第1条所述的方法,其中计算重建图像包括2D图像、3D图像、2D强度图像、3D强度图像、2D相位图像、3D相位图像、2D荧光图像、3D荧光图像、2D高光谱图像或3D高光谱图像中的一个或更多个。
第43条、根据第1条所述的方法,其中第一数据集和第二数据集对应于样本的第一深度,该方法还包括:调整显微镜的焦距,来以多个深度对样本成像;以及重复获取步骤和组合步骤,以生成计算重建图像,该计算重建图像包括在与所述多个深度对应的不同深度处的多个计算重建图像。
第44条、根据第1条所述的方法,该方法还包括确定第一波长。
第45条、根据第44条所述的方法,其中第一波长是用户定义的。
第46条、根据第44条所述的方法,其中确定第一波长还包括:用图像传感器,获取用多个波长照明的样本的初始图像数据集;确定初始图像数据集的第一图像包括比初始图像数据集的第二图像更多的信息;选择多个波长中的与第一图像对应的第一波长作为第一波长;以及选择多个波长中的与第二图像对应的第二波长作为第二波长。
第47条、根据第46条所述的方法,其中信息包括空间频率信息。
第48条、根据第46条所述的方法,该方法还包括基于从初始图像数据集识别的信息,确定第一组照明条件。
第49条、根据第48条所述的方法,其中确定第一组照明条件包括确定光源的数量、光源的位置、多个光源的位置的组合、照明角度、照明角度的组合、照明数量、漫射器的位置、光的图案、滤波器、掩模或样本的焦点中的一个或更多个。
第50条、根据第46条所述的方法,该方法还包括基于初始图像数据集,确定用于重建第一图像的计算过程。
第51条、根据第1条所述的方法,其中计算重建图像包括三维图像。
第52条、根据第1条所述的方法,其中第二组照明条件不同于第一组照明条件。
第53条、根据第1条所述的方法,其中第二图像数据集小于第一图像数据集。
第54条、根据第1条所述的方法,其中在第二图像数据集之后获取第一图像数据集。
第55条、一种用于图像重建的显微镜,该显微镜包括:照明源,该照明源被配置为以多个角度用多个波长照明样本;图像传感器;物镜,其用于将用照明组件照明的样本成像到图像传感器上;和处理器,该处理器可操作地耦合到照明组件和图像传感器,该处理器被配置有指令,以执行前述条款中任一项所述的方法。
第56条、根据第55条所述的显微镜,其中多个波长包括在从约380纳米(nm)到约450纳米(nm)的范围内的紫色波长、在从约450nm到约485nm的范围内的蓝色波长、在从约485nm到500nm的范围内的青色波长、在从约500nm到565nm的范围内的绿色波长、在从约565nm到约590nm的范围内的黄色波长、在从约590nm到625nm的范围内的橙色波长、在从约625nm到约740nm的范围内的红色波长、大于700nm的红外波长或在从约700nm到约1100nm的范围内的近红外波长中的一个或更多个。
第57条、根据第55条所述的显微镜,其中照明组件被配置为在与样本的不同照明角度对应的多个位置处用多个光源照明样本。
第58条、根据第55条所述的显微镜,该显微镜还包括焦点致动器,该焦点致动器耦合到处理器,以调整用于在图像传感器上形成样本的图像的样本的深度。
第59条、根据第58条所述的显微镜,其中焦点致动器被配置为移动到第一配置以第一深度对样本成像,并且移动到第二配置来以第二深度对样本成像。
本公开的实施例已经如本文所阐述的那样被示出和描述,并且仅通过示例的方式被提供。本领域的普通技术人员将认识到在不脱离本公开的范围的情况下的许多改编、改变、变化和替换。在不脱离本公开和本文公开的发明的范围的情况下,可以利用本文公开的实施例的若干替代方案和组合。因此,当前公开的发明的范围应仅由所附权利要求及其等效物的范围限定。
Claims (62)
1.一种用于生成计算重建图像的方法,所述方法包括:
用图像传感器,从使用第一组照明条件照明的样本获取第一图像数据集,所述第一组照明条件包括第一数量的照明条件,每个照明条件包括第一波长,其中,所述第一组照明条件包括以下项中的至少一项:持续时间、强度、位置、照明角度、照明模式和波长;
用所述图像传感器,从使用第二组照明条件照明的所述样本获取第二图像数据集,所述第二组照明条件包括第二数量的照明条件,每个照明条件包括第二波长,其中,所述第一数量大于所述第二数量,并且其中,所述第二组照明条件包括以下项中的至少一项:持续时间、强度、位置、照明角度、照明模式和波长;以及
将所述第一图像数据集和所述第二图像数据集组合成所述样本的计算重建图像。
2.根据权利要求1所述的方法,其中,所述计算重建图像包括与所述第一波长对应的第一空间频率带宽和与所述第二波长对应的第二空间频率带宽,所述第一空间频率带宽大于所述第二空间频率带宽。
3.根据权利要求2所述的方法,其中,所述第一空间频率带宽大于由所述图像传感器用所述第一组照明条件以所述第一波长获取的一个或更多个图像的空间频率带宽。
4.根据权利要求2所述的方法,其中,所述第二空间频率带宽大于由所述图像传感器用所述第二组照明条件以所述第二波长获取的一个或更多个图像的空间频率带宽。
5.根据权利要求2所述的方法,其中,所述计算重建图像包括至少部分基于来自所述第一波长的所述第一图像数据集的用于所述第二波长的增加的对比度或像差校正中的一个或更多个。
6.根据权利要求1所述的方法,还包括:
用与所述第一波长对应的第一空间频率带宽和第一用户可感知颜色以及与所述第二波长对应的第二空间频率带宽和第二用户可感知颜色,在显示器上提供所述重建图像,所述第一空间频率带宽大于所述第二空间频率带宽和由所述图像传感器用所述第一组照明条件以所述第一波长获取的一个或更多个图像的空间频率带宽。
7.根据权利要求1所述的方法,其中,所述第一数量比所述第二数量大至少2倍,并且与所述第二图像数据集相关联的第二获取时间不超过与所述第一图像数据集相关联的第一获取时间的一半,并且其中,所述计算重建图像的空间频率带宽比用所述第一组照明条件获取的多个图像中的每个图像的空间频率带宽大至少1.5倍。
8.根据权利要求1所述的方法,其中,所述第一图像数据集包括所述样本的多个图像,并且所述第二图像数据集包括所述样本的一个或更多个图像,并且其中,所述第二图像数据集包括比所述第一图像数据集更少的所述样本的图像。
9.根据权利要求1所述的方法,其中,所述计算重建图像包括增加的空间频率带宽、用于光学像差的校正或图像对比度的增加中的一个或更多个。
10.根据权利要求9所述的方法,其中,基于所述第一组照明条件将所述第一图像数据集转换为空间频率空间并映射到所述空间频率空间中的空间频率,以相比于用所述第一组照明条件获取的多个图像中的每个图像的第一空间频率带宽,提供所述计算重建图像的增加的空间频率带宽。
11.根据权利要求9所述的方法,其中,所述图像传感器包括空间频率带宽,并且所述计算重建图像的所述增加的空间频率带宽大于所述图像传感器的所述空间频率带宽除以所述样本的图像到所述图像传感器上的放大率。
12.根据权利要求9所述的方法,其中,所述第一图像数据集包括多个第一图像,每个图像包括第一空间频率带宽,并且所述计算重建图像的所述增加的空间频率带宽大于所述多个第一图像中的所述每个图像的所述第一空间频率带宽。
13.根据权利要求12所述的方法,其中,所述多个第一图像包括未用所述多个第一图像中的所述每个图像的所述第一空间频率带宽解析的所述样本的特征,并且所述计算重建图像包括用所述计算重建图像的所述增加的空间频率带宽解析的所述样本的所述特征。
14.根据权利要求9所述的方法,其中,通过从样本信息分离像差信息来提供光学像差的校正,以便减少光学像差对所述计算重建图像的影响。
15.根据权利要求9所述的方法,其中,通过以计算方式放大所述重建图像的高空间频率来提供所述计算重建图像的增加的图像对比度,以更好地表示所述样本。
16.根据权利要求9所述的方法,其中,所述计算重建图像包括所述增加的对比度,并且其中,相比于所述第一图像数据集的多个图像中的每个图像的高空间频率与低空间频率的比,所述增加的对比度包括所述计算重建图像中的高空间频率与低空间频率的增加的比。
17.根据权利要求1所述的方法,其中,单独处理所述第一图像数据集和所述第二图像数据集,以从所述第一图像数据集生成第一计算重建图像并从所述第二图像数据集生成第二计算重建图像,并且其中,所述第一计算重建图像与所述第二计算重建图像组合,以生成所述计算重建图像。
18.根据权利要求1所述的方法,其中,所述第一图像数据集包括多个第一图像,并且所述第二图像数据集包括一个或更多个图像,并且其中,所述多个第一图像和所述一个或更多个图像被一起处理,以生成所述计算重建图像。
19.根据权利要求18所述的方法,其中,所述一个或更多个图像包括用所述第二组照明条件获取的单个图像。
20.根据权利要求18所述的方法,其中,所述一个或更多个图像包括多个第二图像。
21.根据权利要求1所述的方法,其中,所述计算重建图像包括彩色图像,所述彩色图像包括红色通道、绿色通道或蓝色通道中的两个或更多个。
22.根据权利要求21所述的方法,其中,所述第一波长对应于所述红色通道、所述绿色通道或所述蓝色通道中的一个,并且所述第二波长对应于所述红色通道、所述蓝色通道或所述绿色通道中的另一个。
23.根据权利要求22所述的方法,其中,用与所述第一波长对应的用于第一颜色通道的第一空间频率带宽和用与所述第二波长对应的用于第二颜色通道的第二空间频率带宽,在显示器上显示所述重建图像,所述第一空间频率带宽大于所述第二空间频率带宽。
24.根据权利要求23所述的方法,其中,所述第一波长包括绿光,所述第一颜色通道包括所述绿色通道,所述第二波长包括红光或蓝光,并且所述第二颜色通道包括所述红色通道或所述蓝色通道,并且其中,用所述第一空间频率带宽在所述显示器上显示所述绿色通道,并且用所述第二空间频率带宽在所述显示器上显示所述红色通道或所述蓝色通道。
25.根据权利要求24所述的方法,其中,所述计算重建图像包括所述红色通道、所述绿色通道和所述蓝色通道,并且其中,所述第二波长包括与所述红色通道对应的红光并且第三波长包括与第三颜色通道对应的蓝光,其中,用比所述第一空间频率带宽小的第三空间频率带宽在所述显示器上显示所述第三颜色通道。
26.根据权利要求21所述的方法,其中,图像传感器包括传感器,所述传感器包括二维阵列的像素,并且所述第一图像数据集的第一颜色对应于所述第一波长并且所述第二图像数据集的第二颜色对应于所述第二波长,并且其中,基于所述第一波长和所述第二波长将所述计算重建图像映射到所述红色通道、所述绿色通道和所述蓝色通道。
27.根据权利要求26所述的方法,其中,所述图像传感器包括灰度图像传感器,所述灰度图像传感器包括所述二维阵列的像素。
28.根据权利要求26所述的方法,其中,所述图像传感器包括彩色图像传感器和滤色器阵列,所述彩色图像传感器包括二维阵列的像素,所述滤色器阵列包括布置在所述二维阵列上方的多个滤色器。
29.根据权利要求28所述的方法,其中,基于所述第一波长和所述滤色器在所述第一波长处的第一吸收特性确定所述第一图像数据集,并且基于所述第二波长和在所述第二波长处的第二吸收特性确定所述第二图像数据集。
30.根据权利要求28所述的方法,其中,根据所述滤色器在所述第一波长处的第一吸收特性和所述滤色器在所述第二波长处的第二吸收特性组合所述第一图像数据集和所述第二图像数据集,以便生成所述计算重建图像。
31.根据权利要求28所述的方法,其中,所述第一波长不同于所述第二波长,并且当用所述第二组照明条件中的一个或更多个照明所述样本时,利用照明所述样本的一组照明条件中的一个或更多个基本同时获取第一图像数据集的一部分和第二图像数据集的一部分。
32.根据权利要求1所述的方法,其中,所述第一波长不同于所述第二波长。
33.根据权利要求32所述的方法,其中,所述第一波长包括第一颜色,并且所述第二波长包括与所述第一颜色不同的第二颜色。
34.根据权利要求32所述的方法,其中,所述第一波长包括发射第一波长分布的第一照明源的第一峰值,所述第一波长分布包括第一全宽半最大值,并且其中,所述第二波长包括第二波长分布的第二峰值,所述第二波长分布包括第二全宽半最大值,并且其中,所述第一全宽半最大值不与所述第二全宽半最大值重叠。
35.根据权利要求32所述的方法,其中,所述第一波长是在以下范围中的一个内,并且所述第二波长是在以下范围中的不同一个内:从200nm到380nm的紫外范围、从380nm到450nm的紫色范围、从450nm到485nm的蓝色范围、从485nm到500nm的青色范围、从500nm到565nm的绿色范围、从565nm到590nm的黄色范围、从590nm到625nm的橙色范围、从625nm到740nm的红色范围或从700nm到1100nm的近红外范围。
36.根据权利要求35所述的方法,其中,所述第一波长是在所述范围中的一个内,并且所述第二波长是在所述范围中的不同一个内。
37.根据权利要求1所述的方法,还包括:
用所述图像传感器,从使用第三组照明条件用第三波长照明的所述样本获取第三图像数据集,其中,所述第三组照明条件包括以下项中的至少一项:持续时间、强度、位置、照明角度、照明模式和波长;
其中,所述第三图像数据集与所述第一图像数据集和所述第二图像数据集组合,以生成所述计算重建图像。
38.根据权利要求37所述的方法,其中,所述第三组照明条件包括比所述第一数量的照明条件小的第三数量的照明条件。
39.根据权利要求37所述的方法,还包括:
用所述图像传感器,从使用附加的N组照明条件用N个附加波长照明的所述样本获取N个附加图像数据集;
其中,所述N个附加图像数据集与所述第一图像数据集、所述第二图像数据集和所述第三图像数据集组合,以生成所述计算重建图像;
其中,N包括至少一的整数。
40.根据权利要求39所述的方法,其中,N包括在从10到100的范围内的整数。
41.根据权利要求39所述的方法,其中,所述计算重建图像包括高光谱图像。
42.根据权利要求1所述的方法,其中,所述计算重建图像包括2D图像、3D图像、2D强度图像、3D强度图像、2D相位图像、3D相位图像、2D荧光图像、3D荧光图像、2D高光谱图像或3D高光谱图像中的一个或更多个。
43.根据权利要求1所述的方法,其中,所述第一图像数据集和所述第二图像数据集对应于所述样本的第一深度,所述方法还包括:
调整显微镜的焦距,来以多个深度对所述样本成像;以及
重复获取步骤和组合步骤,以生成所述计算重建图像,所述计算重建图像包括在与所述多个深度对应的不同深度处的多个计算重建图像。
44.根据权利要求1所述的方法,还包括确定所述第一波长。
45.根据权利要求44所述的方法,其中,所述第一波长是用户定义的。
46.根据权利要求44所述的方法,其中,确定所述第一波长还包括:
用所述图像传感器,获取用多个波长照明的所述样本的初始图像数据集;
确定所述初始图像数据集的第一图像包括比所述初始图像数据集的第二图像更多的信息;
选择所述多个波长中的与所述第一图像对应的第一波长作为所述第一波长;以及
选择所述多个波长中的与所述第二图像对应的第二波长作为所述第二波长。
47.根据权利要求46所述的方法,其中,所述信息包括空间频率信息。
48.根据权利要求46所述的方法,还包括基于从所述初始图像数据集识别的信息确定所述第一组照明条件。
49.根据权利要求48所述的方法,其中,确定所述第一组照明条件包括确定光源的数量、光源的位置、多个光源的位置的组合、照明角度、照明角度的组合、照明数量、漫射器的位置、光的图案、滤波器、掩模或所述样本的焦点中的一个或更多个。
50.根据权利要求46所述的方法,还包括基于所述初始图像数据集,确定用于重建所述第一图像的计算过程。
51.根据权利要求1所述的方法,其中,所述计算重建图像包括三维图像。
52.根据权利要求1所述的方法,其中,所述第二组照明条件不同于所述第一组照明条件。
53.根据权利要求1所述的方法,其中,所述第二图像数据集小于所述第一图像数据集。
54.根据权利要求1所述的方法,其中,在所述第二图像数据集之后获取所述第一图像数据集。
55.根据权利要求14所述的方法,其中,所述像差信息包括与用于在所述图像传感器上对所述样本成像的光学器件相关联的像差空间频率和相位。
56.根据权利要求14所述的方法,其中,所述样本信息包括与所述样本的结构相关联的样本空间频率和相位。
57.一种用于图像重建的显微镜,所述显微镜包括:
照明源,所述照明源被配置为以多个角度用多个波长照明样本;
图像传感器;
物镜,其用于将用照明组件照明的所述样本成像到所述图像传感器上;和
处理器,所述处理器可操作地耦合到所述照明组件和所述图像传感器,所述处理器被配置有指令以执行前述权利要求中任一项所述的方法。
58.根据权利要求57所述的显微镜,其中,所述多个波长包括在从380nm到450nm的范围内的紫色波长、在从450nm到485nm的范围内的蓝色波长、在从485nm到500nm的范围内的青色波长、在从500nm到565nm的范围内的绿色波长、在从565nm到590nm的范围内的黄色波长、在从590nm到625nm的范围内的橙色波长、在从625nm到740nm的范围内的红色波长、大于700nm的红外波长或在从700nm到1100nm的范围内的近红外波长中的一个或更多个。
59.根据权利要求57所述的显微镜,其中,所述照明组件被配置为在与所述样本的不同照明角度对应的多个位置处用多个光源照明所述样本。
60.根据权利要求57所述的显微镜,还包括焦点致动器,所述焦点致动器耦合到所述处理器以调整用于在所述图像传感器上形成所述样本的图像的所述样本的深度。
61.根据权利要求60所述的显微镜,其中,所述焦点致动器被配置为移动到第一配置来以第一深度对所述样本成像,并且移动到第二配置来以第二深度对所述样本成像。
62.一种存储指令的计算机可读存储介质,所述指令在由处理器执行时使所述处理器执行根据权利要求1-56中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862783527P | 2018-12-21 | 2018-12-21 | |
US62/783,527 | 2018-12-21 | ||
PCT/IL2019/051388 WO2020129064A1 (en) | 2018-12-21 | 2019-12-19 | Compressed acquisition of microscopic images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113454511A CN113454511A (zh) | 2021-09-28 |
CN113454511B true CN113454511B (zh) | 2023-11-14 |
Family
ID=71102075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980092754.5A Active CN113454511B (zh) | 2018-12-21 | 2019-12-19 | 显微图像的压缩获取 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210392304A1 (zh) |
EP (1) | EP3899621A4 (zh) |
JP (1) | JP2022516038A (zh) |
CN (1) | CN113454511B (zh) |
WO (1) | WO2020129064A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3698193A1 (en) | 2017-10-19 | 2020-08-26 | Scopio Labs Ltd. | Adaptive sensing based on depth |
WO2019097523A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Multi/parallel scanner |
WO2019097524A1 (en) | 2017-11-20 | 2019-05-23 | Scopio Labs Ltd. | Accelerating digital microscopy scans using empty/dirty area detection |
US11650405B2 (en) | 2019-11-15 | 2023-05-16 | Scopio Labs Ltd. | Microscope and method for computational microscopic layer separation |
CN116033033A (zh) * | 2022-12-31 | 2023-04-28 | 西安电子科技大学 | 一种联合显微图像和rna的空间组学数据压缩和传输方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10148897B2 (en) * | 2005-07-20 | 2018-12-04 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
US8520970B2 (en) * | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
DE102012214472B4 (de) * | 2012-08-14 | 2020-10-01 | Siemens Healthcare Gmbh | Verfahren zur Ermittlung von Dualenergie-Bilddatensätzen und eine Röntgeneinrichtung dazu |
US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
US9817224B2 (en) * | 2014-04-30 | 2017-11-14 | University Of Connecticut | Methods and systems for Fourier ptychographic imaging |
WO2016084310A1 (ja) * | 2014-11-27 | 2016-06-02 | パナソニックIpマネジメント株式会社 | 画像取得装置、画像形成システムおよび画像形成方法 |
US9774765B2 (en) * | 2015-09-15 | 2017-09-26 | Mitutoyo Corporation | Chromatic aberration correction in imaging system including variable focal length lens |
EP3374816A2 (en) * | 2015-11-11 | 2018-09-19 | Scopio Labs Ltd. | Computational microscopes and methods for generating an image under different illumination conditions |
US20170168285A1 (en) * | 2015-12-14 | 2017-06-15 | The Regents Of The University Of California | Systems and methods for image reconstruction |
EP3394579B1 (en) * | 2015-12-21 | 2023-09-20 | Verily Life Sciences LLC | Systems and methods for determining an identity of a probe in a target based on colors and locations of two or more fluorophores in the probe and in the target |
US10558029B2 (en) * | 2016-10-27 | 2020-02-11 | Scopio Labs Ltd. | System for image reconstruction using a known pattern |
-
2019
- 2019-12-19 JP JP2021536395A patent/JP2022516038A/ja active Pending
- 2019-12-19 WO PCT/IL2019/051388 patent/WO2020129064A1/en unknown
- 2019-12-19 CN CN201980092754.5A patent/CN113454511B/zh active Active
- 2019-12-19 EP EP19901062.0A patent/EP3899621A4/en active Pending
-
2021
- 2021-06-18 US US17/304,331 patent/US20210392304A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022516038A (ja) | 2022-02-24 |
EP3899621A1 (en) | 2021-10-27 |
EP3899621A4 (en) | 2022-09-28 |
US20210392304A1 (en) | 2021-12-16 |
CN113454511A (zh) | 2021-09-28 |
WO2020129064A1 (en) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113454511B (zh) | 显微图像的压缩获取 | |
US10705326B2 (en) | Autofocus system for a computational microscope | |
Steger et al. | Machine vision algorithms and applications | |
US20200143519A1 (en) | Bright Spot Removal Using A Neural Network | |
US20190384962A1 (en) | Methods and systems for diagnostic platform | |
US20180373016A1 (en) | Microscope having a refractive index matching material | |
US20230005281A1 (en) | Adaptive sensing based on depth | |
JP2015111143A (ja) | スライド全体蛍光スキャナ | |
JP2013201530A (ja) | 撮像装置及びその制御方法 | |
US11650405B2 (en) | Microscope and method for computational microscopic layer separation | |
US9386233B2 (en) | Image acquisition apparatus, image acquisition method, and computer program | |
US11828927B2 (en) | Accelerating digital microscopy scans using empty/dirty area detection | |
CN111866387B (zh) | 深度图像成像系统和方法 | |
JP2021193459A (ja) | 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 | |
US20160063307A1 (en) | Image acquisition device and control method therefor | |
Oberdörster et al. | Digital focusing and refocusing with thin multi-aperture cameras | |
CN113329140A (zh) | 补偿渐晕 | |
Guo et al. | Research on multi-sensor high dynamic range imaging technology and application | |
US20230377144A1 (en) | Detecting scan area within hematology slides in digital microscopy | |
Liu | Camera System Characterization with Uniform Illuminate | |
JP2017102381A (ja) | 顕微鏡システム | |
JP2016166941A (ja) | 合焦位置検出装置、合焦位置検出方法、撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |