CN105190290B - 定位生物和非生物介质中的纳米颗粒的三维图像处理 - Google Patents

定位生物和非生物介质中的纳米颗粒的三维图像处理 Download PDF

Info

Publication number
CN105190290B
CN105190290B CN201480025297.5A CN201480025297A CN105190290B CN 105190290 B CN105190290 B CN 105190290B CN 201480025297 A CN201480025297 A CN 201480025297A CN 105190290 B CN105190290 B CN 105190290B
Authority
CN
China
Prior art keywords
under test
sample
particle
test particle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480025297.5A
Other languages
English (en)
Other versions
CN105190290A (zh
Inventor
詹姆斯·M·比奇
塞缪尔·M·劳伦斯
拜伦·J·奇塔姆
詹姆斯·L·于尔兹
罗伯特·P·多尔蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cytoviva Inc
Original Assignee
Cytoviva Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cytoviva Inc filed Critical Cytoviva Inc
Publication of CN105190290A publication Critical patent/CN105190290A/zh
Application granted granted Critical
Publication of CN105190290B publication Critical patent/CN105190290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/10—Condensers affording dark-field illumination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0038—Investigating nanoparticles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/144—Imaging characterised by its optical setup
    • G01N2015/1445—Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

公开了用于通过使用暗视场显微术来对介质中的受验颗粒进行三维成像的方法和系统的实施方式。一些例子尤其包括用于获取样本的三维(3D)体积图像的方法、用于确定在样本内的至少一个受验颗粒的3D位置的方法、用于确定在至少一个受验颗粒的位置和细胞和/或其它类似的生物或非生物结构内的至少一个细胞结构的位置之间的至少一个空间相关性的方法、显示至少一个受验颗粒的位置的方法、用于增加从包含弱和强光源的样本获取的3D图像的动态范围的方法以及用于在垂直方向上锐化3D图像的方法。

Description

定位生物和非生物介质中的纳米颗粒的三维图像处理
相关申请的交叉引用
本申请要求2013年3月12日提交的具有序列号61/776,977的标题为“THREE-DIMENSIONAL IMAGE PROCESSING TO LOCATE NANOPARTICLES IN BIOLOGICAL ANDNONBIOLOGICAL MEDIA”的共同未决的美国临时申请的优先权，将其全部内容通过引用并入本文。
技术领域
本发明涉及定位生物和非生物介质中的纳米颗粒的三维图像处理。
背景
将药物和化学制剂向活细胞内的引入最近开始在作为载体的各种配置中利用在本文被称为受验颗粒的小于100纳米尺寸的纳米级物体和/或微观物体。例如，治疗药物可被涂覆到诸如金和银的纳米尺寸的颗粒上或装入诸如金和银的纳米尺寸的颗粒内。功能化受验颗粒然后被引入身体内，其中它被吸收到组织内并最终被细胞占有。仅将应接收药物的细胞作为目标的能力由被细胞表面识别的在颗粒上的功能涂层启用。对于在受验颗粒的细胞摄取过程和药物颗粒的细胞内处理的研究对药物治疗过程的发展很重要。由使用各种技术的很多不同类型的研究说明在细胞内的摄取和分布中涉及的细胞-受验颗粒交互作用。
最广泛使用的工具之一是通过荧光显微术的细胞成像。常规荧光显微术不允许细胞的三维体积被查看。因此，共焦荧光显微术被用于使在一个体积之上的细胞的薄切片成像以查看在三维中的细胞结构。然而，这些方法需要对荧光标记的引入。荧光团到受验颗粒或细胞结构的附着可改变对药物输送的预期作用并明显增加细胞制备的困难。允许在三维中的对受验颗粒位置的确定而不改变对药物输送的预期作用的系统和方法因此是有意义的，且有可能在增加对毫微级药物输送的理解中起重要作用，因而促进纳米医学的发展。
概述
本公开提供了宽视场显微术方法，其可确定在未染色和发荧光细胞内或在半透明非生物介质和光可穿过其传输的诸如纤维基质的其它介质中的受验颗粒的位置。本公开提供了用于从未染色和发荧光细胞制备内的功能化受验颗粒获得图像数据的新颖方法。与需要荧光细胞和颗粒的当前的方法相反地，还提供了用于使用从细胞体积散射的宽带照明来产生三维细胞-受验颗粒图像的方法。可通过暗视场照明方法和对图像划分技术的使用而不是通过使用为特定荧光团设计的滤色块的传统荧光方法来获取这种图像。在美国专利第7,564,623“Microscope Illumination Device and Adapter Therefor”和美国专利第7,542,203“Microscope Illumination Device and Adapter Therefor”中教导了适当的照明系统和方法的非限制性例子，这两个专利都通过引用全部被并入本文。
此外，本公开还提供了新颖的计算方法以进行暗视场图像段的三维去卷积并从而揭示受验颗粒相对于细胞结构的位置。与为特定荧光团波长设计的单PSF相反地，新方法使用多点扩展函数(PSF)来校正在整个宽光谱范围内的图像焦点。新PSF可被设计成对用于暗视场显微术的可变和固定虹膜物镜有效。新去卷积方法通过对感兴趣的每个细胞结构和受验颗粒的类型使用单独的PSF来自动检测图像中的细胞结构和受验颗粒以优化三维图像重建。作为例子，受验颗粒可以在窄的波长范围上是反射的，而细胞图像在宽的波长范围上或在不同的波长范围上产生。
去卷积的独特特征是所有受验颗粒的三维图像到球形图标的转换，球形图标精确地位于在三维体积中的受验颗粒坐标处。从这种方法产生包括所有受验颗粒位置的数据集，且使用该数据集，用户可接着通过沿着三个维度移动显微镜载物台来检查感兴趣的特定受验颗粒，以便检查受验颗粒的位置。例如，用户可通过对超光谱显微术的使用来检查特定的受验颗粒以评估报告药物是否被附着到颗粒或从颗粒分离的光谱特性。
本公开的方法是不同的和独特的，因为它们能够使用标准研究宽视场显微镜而不是共焦显微镜来操作。对荧光标记的需求的消除减小了功能化受验颗粒的复杂性，这在很多情况下可改变功能。在其上可渲染三维图像的宽光谱范围允许以不同的受验颗粒配置使用本方法，其中可在可见光到近红外波长范围内的任何地方观察到不同的受验颗粒配置。在光学显微术的领域中不存在已知的可自动确定在细胞内的受验颗粒位置的当前技术方法。
本公开的实施例还涉及以下方面：
1)一种用于获取样本的三维体积图像的方法，所述方法包括：
通过暗视场显微术从所述样本获取多个二维图像，所述多个图像包括沿着焦距的方向在多个相等间隔开的样本位置的每一个处获得的至少一个二维图像，每个二维图像包含来自所述样本的焦点对准和焦点未对准的光；
将所述多个二维图像输入到用于确定存在于所述样本中的至少一个结构的位置的三维计算方法；以及
规划所述样本的三维体积图像，所述三维图像示出存在于所述样本中的所述至少一个结构的所述位置。
2)如项目1)所述的方法，其中，所述样本包括：
至少一个细胞和/或其它类似的生物或非生物结构；以及
在所述至少一个细胞内的至少一个未染色受验颗粒。
3)如项目1)或2)所述的方法，其中，所述暗视场显微术使用用于照亮所述样本的宽带光。
4)如项目2)或3)所述的方法，其中：
所述至少一个细胞和/或其它类似的生物或非生物结构是荧光的；
所述至少一个未染色受验颗粒是非荧光的；以及
所述暗视场显微术包括与用于照亮所述样本的荧光激发光的特定波长组合的宽带光。
5)如项目1)-4)中的任一项所述的方法，其中：
存在于所述样本中的所述至少一个结构包括：
至少一个细胞和/或其它类似的生物或非生物结构；
在所述至少一个细胞和/或其它类似的生物或非生物结构内的至少一个标记细胞结构；以及
在所述至少一个细胞和/或其它类似的生物或非生物结构内的至少一个非荧光受验颗粒；以及
所述暗视场显微术包括窄带光和宽带光的混合以照亮所述样本，所述窄带光激发所述至少一个标记细胞结构而所述宽带光从所述至少一个非荧光受验颗粒散射。
6)如项目1)-5)中的任一项所述的方法，还包括：
调节所述窄带光和所述宽带光的相对强度以使在所述图像中的所述至少一个标记细胞结构和所述至少一个受验颗粒的亮度均衡，所述至少一个标记细胞结构弱地贡献于所述图像而所述至少一个受验颗粒强地贡献于所述图像；以及
在所述三维图像中显示所述至少一个标记细胞结构的位置和所述至少一个受验颗粒的位置而不引起饱和。
7)如项目1)-6)中的任一项所述的方法，还包括：
通过弧光灯的使用来产生窄带和宽带光的混合，所述弧光灯在其光谱输出中包含至少一个峰值，所述弧光灯的光强度在由所述至少一个峰值定义的窄波长范围内强而在由所述至少一个峰值定义的所述窄波长范围之外的宽波长范围内弱；
使来自所述弧光灯的光穿过激发滤波器，所述激发滤波器具有使所述至少一个峰值的波长通过的通带；
使用穿过所述激发滤波器的窄带光照亮所述至少一个标记细胞结构；
同时使用来自所述弧光灯的宽带光照亮所述至少一个受验颗粒；
接收穿过发射滤波器的第一通带的光，所述第一通带使从所述至少一个标记细胞结构发射的光穿过而不使在所述激发滤波器的所述通带内的光穿过；以及
接收穿过所述发射滤波器的第二通带的光，所述发射滤波器的所述第二通带不使在所述发射滤波器的所述第一通带内的光穿过。
8)一种用于确定在样本内的至少一个受验颗粒的三维(3D)位置的方法，所述方法包括：
通过暗视场显微术获取所述样本的至少两个图像，所述两个图像中的每一个在沿着焦距的方向的不同的样本位置处被获得；
经由3D去卷积分析所述至少两个图像，其中，所述分析包括对至少一个多点扩展函数(多PSF)的使用；
经由3D卷积根据分析所述至少两个图像的结果确定所述至少一个受验颗粒的所述位置；以及
获取一个或多个3D图像，所述一个或多个3D图像示出所述至少一个受验颗粒的3D位置。
9)如项目8)所述的方法，其中，所述暗视场显微术包括宽带光。
10)如项目8)或9)所述的方法，其中，所述至少一个多PSF包括在波长范围上的多个窄带PSF的光谱加权积分。
11)如项目10)所述的方法，其中，所述多个窄带PSF包括至少一个计算的窄带PSF。
12)如项目10)所述的方法，其中，所述多个窄带PSF包括至少一个测量的窄带PSF。
13)如项目8)-12)中的任一项所述的方法，还包括：
使所述至少一个3D图像变模糊；
在所述焦距的方向上对所述至少一个3D图像进行插值；以及
定位在所述至少一个3D图像内的峰值。
14)如项目13)所述的方法，其中，所述至少一个多PSF包括受验颗粒体素PSF和分开的非受验颗粒体素PSF。
15)如项目8)-14)中的任一项所述的方法，其中，所述至少一个受验颗粒已被涂覆，所述涂覆改变所述至少一个受验颗粒的光谱。
16)如项目8-15中的任一项)所述的方法，其中，所述样本是生物样本。
17)如项目16)所述的方法，其中，所述生物样本是未染色的。
18)如项目16)所述的方法，其中，所述生物样本是染色的。
19)如项目8)-18)中的任一项所述的方法，其中，所述样本包括半透明材料。
20)如项目8)-19)中的任一项所述的方法，其中，所述样本包括纤维基质。
21)一种用于确定在细胞和/或其它类似的生物结构或非生物结构内的至少一个受验颗粒的位置和至少一个细胞结构的位置之间的至少一个空间相关性的方法，所述方法包括：
确定在三维坐标系内的所述至少一个受验颗粒的所述位置；
确定在所述三维坐标系内的所述至少一个细胞结构的所述位置；
在所述三维坐标系中规划所述至少一个受验颗粒的所述位置相对于所述至少一个细胞结构的所述位置的矢量描述；以及
从所述矢量描述确定所述空间相关性。
22)如项目21)所述的方法，还包括：相对于所述细胞和/或其它类似的生物或非生物结构内的细胞内空间的位置确定所述至少一个受验颗粒的所述位置。
23)如项目21)或22)所述的方法，还包括相对于在所述细胞和/或其它类似的生物或非生物结构外部的细胞外空间的位置确定所述至少一个受验颗粒的所述位置。
24)如项目21)-23)中的任一项所述的方法，其中，所述至少一个受验颗粒包括多个受验颗粒。
25)如项目21)-24)中的任一项所述的方法，还包括：
获取由所述至少一个细胞结构的边界围住的三维(3D)密度函数，所述3D密度函数描述所述多个受验颗粒。
26)如项目25)所述的方法，其中，所述至少一个细胞结构包括细胞器。
27)如项目25)所述的方法，其中，所述至少一个细胞结构包括整个细胞和/或其它类似的生物或非生物结构。
28)如项目21)-27)中的任一项所述的方法，其中，所述至少一个细胞结构是染色的。
29)如项目21)-27)中的任一项所述的方法，其中，所述至少一个细胞结构是未染色的。
30)如项目21)-29)中的任一项所述的方法，还包括相对于细胞器内的空间的位置确定所述至少一个受验颗粒的所述位置。
31)如项目21)-30)中的任一项所述的方法，还包括相对于细胞器外的空间的位置确定所述至少一个受验颗粒的所述位置。
32)如项目21)-31)中的任一项所述的方法，还包括确定在所述多个受验颗粒的位置和所述至少一个细胞结构的位置之间的最小距离。
33)如项目32)所述的方法，其中，所述至少一个细胞结构是所述细胞和/或其它类似的生物或非生物结构的染色边界。
34)如项目32)所述的方法，其中，所述至少一个细胞结构是染色核膜。
35)一种显示至少一个受验颗粒的位置的方法，所述方法包括：
通过暗视场显微术获取样本的至少两个图像，所述至少两个图像中的每一个在沿着焦距的方向的不同的样本位置处获得；
经由3D去卷积分析所述至少两个图像，其中，所述分析包括对至少一个多点扩展函数(多PSF)的使用；
经由三维(3D)卷积从对所述至少两个图像的分析的结果确定所述至少一个受验颗粒的所述位置；以及
获取一个或多个3D图像，所述一个或多个3D图像通过在所述至少一个受验颗粒的3D位置处显示球形图标来示出所述至少一个受验颗粒的3D位置，所述球形图标代表唯一的3D空间坐标。
36)如项目35)所述的方法，还包括在所述一个或多个3D图像内显示细胞结构的半透明体积图像，所述至少一个受验颗粒的所述3D位置被显示在细胞结构的所述半透明体积图像之内。
37)一种用于增加从包含弱光源和强光源的样本获取的三维图像的动态范围的方法，所述方法包括：
通过暗视场显微术从样本获取短曝光三维图像，所述短曝光图像是通过使用短曝光时间来获取的；
通过暗视场显微术从所述样本获取长曝光三维图像，所述长曝光图像是通过使用长曝光时间来获取的；
识别在所述长曝光图像中的饱和像素；
从所述长曝光图像删除所识别的饱和像素；
用来自所述短曝光图像的相应像素代替在所述长曝光图像中的删除的像素以形成最终图像；以及
重新调节所述最终图像以反映公共曝光时间。
38)一种用于在垂直方向上锐化三维(3D)图像的方法，包括：
处理每个横向像素的垂直剖面以识别局部最小值；以及
用包括零的新剖面部分代替在所述局部最小值之间的所述剖面的部分，除了等于该部分的积分的单值以外，其中所述单值在所述垂直方向上位于该部分的质心处。
附图简述
参考以下附图可更好地理解本公开的很多方面。在包括通过引用并入本文的任何附图的附图中的部件不一定按比例，相反强调清楚地说明本公开的原理。而且，在附图中，相似的参考数字在全部几个视图中表示相应的部件。
图1是示出根据本公开的各种实施方式的图像形成的方法的流程图。
图2是示出根据本公开的各种实施方式的受验颗粒定位的方法的流程图。
图3是示出根据本公开的各种实施方式的图像形成的方法的流程图。
图4是根据本公开的各种实施方式的计算设备的系统方框图。
详细描述
在下面的讨论中，提供了对系统及其组件的一般描述，后面是对系统及其部件的操作的讨论。在本文描述了用于通过暗视场显微术的使用来获取和以计算方式处理在介质中的受验颗粒的三维图像数据的方法和系统的实施方式。可以是受验颗粒的物体包括功能化金属和非金属纳米颗粒和纳米棒、单壁和多壁碳纳米管、金壳、量子点和纳米丝。虽然在本文讨论的例证性实施方式可以指细胞介质，本公开的方法和系统不限于生物介质并可与任何适当的透明、半透明或半透明介质一起被使用。此外，虽然在细胞中的纳米颗粒的成像代表本公开的方法和系统的一个可能的应用，在本公开中的受验颗粒不需要限于纳米尺寸的颗粒，而可以是可使用本公开的方法和系统成像的任何尺寸的颗粒。此外，本公开的介质不需要限于诸如细胞的生物材料，而是可包括诸如纤维基质、过滤基质、乳剂和允许使用本公开的方法和系统来获取图像的任何适当的透明、半透明或半透明材料的非限制性的例子。
现在参考附图，描述了本公开的一个或多个优选实施方式。
所公开的方法
本文公开的方法和系统针对两个一般类别。描述了用于使用暗视场显微术获取包含受验颗粒的生物和非生物介质的三维(3D)图像数据的获得方法。此外，描述了将3D去卷积处理扩展到以前它不能处理的图像数据的方法和系统。
获得方法
本章提出了用于获取3D图像数据的方法和系统。使用暗视场成像方法可做出包含可散布有受验颗粒的某种介质的规定体积的记录。可结合任何适当的暗视场显微术系统——例如作为非限制性的例子，在美国专利第7,564,623“Microscope IlluminationDevice and Adapter Therefor”中描述的系统——来做出记录。介质可以是生物的，例如细胞材料，或非生物的，例如纤维基质。还可以使用相同的技术获取对没有受验颗粒的介质的记录。当受验颗粒被包括时，用在本公开中所述的处理，不需要为了检测并定位它们而对它们荧光地标记。介质和细胞可由载玻片支承并在盖玻片下稳定，或它们可以在可支承活细胞的环境流式小室中。
记录由以在每个图像之间在垂直(或焦距)方向上的固定距离获取的2D图像栈组成。在活细胞制备中，受验颗粒的细胞和位置应在获取该图像栈所需的几秒期间以时间和空间方式稳定。通过交替地获取图像并随后沿着垂直方向将显微镜载物台移动到新的预定位置来记录该图像栈。产生的图像栈代表体积的低分辨率表示，并且是对于计算过程的输入。当生物介质和受验颗粒都是未染色的(非荧光的)时，该过程允许使用任意地从细胞和受验颗粒反射的宽带照明。如果受验颗粒在特定波长下具有谐振峰值且未染色细胞具有不同的反射光谱，则该过程允许两个光谱，一个强调受验颗粒峰值波长，而另一个强调综合考虑的细胞反射率、照明和摄像机灵敏度的特性。该方法同时解释这两个光谱，使得两种类型的物体有效地被成像。
可选地，该过程允许将第一窄带波长从受验颗粒峰值移开，从而减少它对图像的贡献。这个第二种情况是有用的，因为从在细胞研究中使用的很多受验颗粒反射的光比细胞反射强至少一个数量级。如果使用了最高效率，则当细胞结构在图像中的合理值处时，图像将在受验颗粒的位置处饱和。本公开还描述了用于使用两个记录来增加对两种类型的物体的记录的动态范围的方法，每个记录使用高动态范围摄像机而得到，在相同的焦距位置处做出，其中曝光时间在一个图像中被设置得短以在在没有饱和的情况下捕获受验颗粒而在另一图像中使其变长以捕获细胞结构。该过程然后用在短曝光图像中的相同像素的值代替在长曝光图像中的饱和像素，其中按比例调整值以反映共同的曝光时间，且数据现在以浮点格式存在。也可能用多于16位的固定点格式表示新图像。
在一些实施方式中，该过程也允许细胞结构被荧光地标记。如下所述地，当细胞发射出现在一个波长处且受验颗粒的谐振峰值在不同的波长处时，计算过程可通过为每个使用单独点扩展函数来利用单独的波长。可使用诸如石英卤素源的连续光谱类型的光源来进行这种类型的获取。
当替代地由诸如汞弧的弧光灯的强峰值激发细胞荧光时，存在来自细胞结构的信号可相对于来自未标记的受验颗粒的信号被升高的额外优点。为了完成此，需要窄带与宽带光的受控混合，第一个用于细胞结构而第二个用于受验颗粒，使得来自每个物体的相对信号强度可被调节。由Cytoviva开发和制造的双模荧光模块是用于混合来自两个光谱区的光的设备的非限制性例子。设备包含穿过窄带波长的可旋转轮中的荧光激发滤波器。设备允许将滤波器稍微移动到一侧以允许未过滤光源的一部分也进入照明光束内。当目的是对荧光物体成像时，将多程发射滤波器添加到显微镜。从物体发射的波长的窄带穿过多程发射滤波器的一个通道。从双模荧光模块出来的直射光穿过多程滤波器的其它通道，并被用于对未染色的物体成像。实际上，穿过其余的发射滤波器带的来自弧光灯的直射光远离弧光灯光谱的峰值，且因此通过该方法，与细胞结构相比，强度较低地照亮受验颗粒。因为可成比例地控制混合的量，可在将数据输入到3D去卷积的计算过程之前使来自已标记细胞结构和未标记受验颗粒的信号强度均衡。这最后的过程可通过当维持用于细胞结构的高像素值时消除在输入数据中的饱和像素来显著提高3D去卷积。
扩展到用于使用暗视场显微术来对包含受验颗粒的生物/非生物介质成像的3D去 卷积
本章讨论用于从如上讨论的获取的数据来计算3D影像的3D去卷积过程的系统和方法。在暗视场显微术中，由物体将光从源散射。与在由摄像机产生的记录中的暗背景对照，散射的强度和因而物体的图像是相对亮的。在荧光中，光由物体的标记发射。荧光发射的强度相对弱，且所记录的荧光被包含在波长的窄带内。与荧光中的低亮度条件相反，从物体散射的光被包含在波长的较宽带中且通常比荧光强得多。在诸如包含受验颗粒的细胞的未染色的生物介质中，这意味着可具有必须都在去卷积算法中处理的弱信号物体(细胞)和强信号物体(受验颗粒)。
接着描述了从暗视场显微术数据创建经处理的3D图像的可应用的步骤。如在图1的流程图中所示的，如上所述获取的图像栈被获取并接着被输入到在本文中被称为计算的3D去卷积和显示过程。通过这种方法，在生物和非生物介质(其中生物和非生物介质都是未染色的)中的受验颗粒的3D图像可由暗视场显微术得到。3D去卷积已被描述成用于对包含在图像栈中的荧光物体的图像去模糊(锐化)的方法。本公开为了同一目的使用以暗视场照明而成像的非荧光材料来应用该方法。
在荧光和暗视场反射光之间的差异是，光在波长的窄带上直接源于荧光物体，而在暗视场反射光中，通过源于覆盖波长的宽范围的光源的光观察物体。当激光被用于荧光激发时，在沐浴样本的照明中可具有相干干涉，而在暗视场反射中，对不相干光的使用产生对样本的更均匀的照明。来自物体的直接荧光发射和从物体反射的光通常拥有诸如相干性和偏振状态的不同的光学特性。只在荧光标记存在的地方发射荧光，而从所有材料表面获取暗视场光反射，且正因为如此，点光源不同。在一些实施方式中，宽带光的添加增加了3D去卷积方法的能力，其中窄带或激光是不需要的或可获得的。
为了使用宽带光进行3D去卷积，发展了新方法。如在图1的流程图中进一步示出的，可从覆盖宽带波长的范围的被计算或测量的窄带PSF的组合创建独特的多点扩展函数(多PSF)，独特的多点扩展函数(多PSF)是为宽带光所包含的波长的全范围而设计的。实际上，可通过对在多个波长处产生的单独的PSF求和来实现本文所述的加权积分。在宽带光的光谱范围内挑选几个离散波长。确切的数量可取决于点扩展函数随着波长改变的量。对于PSF的每个中心波长，在PSF中的圆环之间的间隔变化。在一些实施方式中，在每50nm到100nm的中心波长之间的间隔被用于创建PSF的集合，其提供去卷积的速度和准确度之间的良好折衷。可为每个波长计算或测量点扩展函数(PSF)。然后将PSF加到一起以获取多PSF，以便实现由光的宽带形成的图像的去卷积。如果光的强度在不同的波长处变化，则在求和之前用在SPF的中心波长处的光的强度对不同的PSF加权。
如在图1的流程图中进一步示出的，然后使用如本文所述的多PSF对图像数据去卷积，以便获取受验颗粒的位置并规划3D图像。应用多PSF的过程是首先使用阈值和在本文件中的其它地方描述的样条峰值探测器来确定受验颗粒位置。使用预先确定的半径，将在输入非插入的栅格中的体素根据它们是否位于受验颗粒的分类半径内而分类为受验颗粒体素或非受验颗粒体素。在去卷积算法期间，受验颗粒PSF被应用于受验颗粒体素，而非受验颗粒PSF被应用于非受验颗粒体素。这当然打破了作为基于FFT的高速去卷积的基础的平移不变假设。通过在每次迭代时进行两次FFT卷积来解决这个问题：一次使用受验颗粒源重建而另一次应用非受验颗粒源分布。对这两个卷积的结果求和以产生用于在每个阶段处的更新的模型。根据体素的位置，将更新应用于受验颗粒或非受验颗粒源。在一些实施方式中，首先使用低通滤波器来使包含在穿过样本的体积获取的图像栈中的图像模糊(变得更不锐利)。这个步骤为下一步骤减少噪声。然后该过程在每个模糊图像中找到最亮的点，其是对受验颗粒的确切位置的估计，因为受验颗粒通常被假设成产生暗视场图像的最亮和最点状的部分。在一个实施方式中，然后该过程假设用于沿着Z轴(其是焦距的方向)的光强度的三次样条形式。确定了样条达到其最大值时的z值，且这被视为是对受验颗粒的z值的估计。这个z值通常在输入图像片的z值之间。受验颗粒位置的x和y值被确定为在平滑图像中的局部最亮的像素的位置。在处理中的稍后阶段中，还使用了三次样条以将去卷积的细胞结果插到等向性栅格。
在一些实施方式中，用于每种类型的物体(一个是生物/非生物介质而另一个是受验颗粒)的PSF的单独集合对在本公开中描述的过程是最佳的。一些实施方式使用一种方法，通过该方法，受验颗粒使用一个PSF处理受验颗粒并使用至少一个其它PSF处理记录中的生物或非生物介质的其余部分。基本原理是，每个组件在不同的波长(或波长的范围)处，以及还有，可单独地对纳米颗粒和细胞或其它物体对进行3D去卷积过程并然后将其重新组合。
在一些实施方式中，暗视场成像方法特别地被用于照亮并激发在生物或非生物介质中的荧光标记。虽然在荧光成像的背景中的对暗视场照明方法的使用不是常规的做法，但在本文中被证实为是有效的。在一些实施方式中，当受验颗粒被涂覆有功能化学物质时，3D图像去卷积是可应用的，功能化学物质反过来改变受验颗粒的光学反射或谐振特性。这是可能的，因为本文所述的获取和计算方法适合于宽带成像。
在一些实施方式中，在生物或其它介质(其中都是未染色的)中的受验颗粒的3D图像是可由暗视场显微术获取的。在一些实施方式中，本文所述的方法和系统可以只被应用于染色的生物和非生物介质。在一些实施方式中，虽然荧光染色细胞的3D成像是已知的，确定未染色的受验颗粒相对于发荧光生物介质中的特定细胞结构的位置(其通过荧光标记表达特定细胞结构)是可由暗视场显微术获取的。
在本文中还公开了用于确定在受验颗粒和生物或非生物结构之间的空间关系的方法。如在图2的流程图中示出的，在一些实施方式中，确定了被包含在3D图像中的受验颗粒的矢量描述，其中将x、y和z坐标分配到图像的特定体积分区(立方体)，且还确定了与特定体积分区重叠的细胞结构，以便揭露关于细胞结构的受验颗粒分布的定量描述。一些实施方式将空间关系的定义扩展并简化为二进制结果，其中受验颗粒在细胞或感兴趣的生物或非生物物体之内或之外。一些实施方式通过对每个横向像素将峰值隔离步骤应用于垂直三次样条函数来在垂直方向上锐化去卷积的3D图像。对于每个垂直三次样条函数，这个步骤从识别函数中的所有局部最小值开始。在一个局部最小值和下一个局部最小值之间的函数是峰值。确定这个峰值的质心，并用由除了等于被置于质心处的峰值的积分面积的值以外全零组成的函数代替峰值。
在一些实施方式中，可确定受验颗粒的密度函数，或换句话说，在细胞内部的不同部分中的受验颗粒的浓度。这种方法使用上面描述的3D细胞分区的思想。在一些实施方式中，这种方法也可被应用于染色细胞。一些实施方式使用染色介质，其中可相对于由荧光抗体标记揭露的一个或多个特定细胞结构将受验颗粒定位到这些结构，其中结构定义细胞内和细胞外空间(细胞质膜)或结构定义在细胞内细胞器(溶酶体、细胞核等)内部或外部的空间。在一些实施方式中，密度函数(受验颗粒的浓度)也可由细胞内细胞器以及细胞边界围住。
一些实施方式使用用户交互方法，其中可由观看3D体积显示图像的用户选择特定细胞结构，且可确定在单独的受验颗粒和细胞结构之间的最短距离，以及其中当随后选择特定受验颗粒时可为了视觉效应而添加代表最小距离矢量的线段。所有前述新颖的方法可被应用于对在生物介质中的受验颗粒运输的研究。
在一些实施方式中，在3D图像内的受验颗粒的存在可被人工地标记为在生物或其它结构存在的情况下使颗粒可视化方面的帮助。在一些实施方式中，使用球形物体或图标显示受验颗粒的位置，其中图标的中心在如通过3D计算确定的原始受验颗粒的x、y和z坐标处，且在3D图像中图标的颜色很容易与细胞结构的颜色区分开。在一些实施方式中，分别由单一和半透明颜色显示图标和细胞结构，以在3D图像旋转时帮助对细胞结构内的受验颗粒图标的观察。
如在图3的流程图中所示的，一些实施方式包括用于获取和图像计算的方法，图像计算增加可被包含在对全3D去卷积过程内的图像输入中的值的范围，使得来自生物或其它结构的较弱信号的结构被如实地渲染，而可来自受验颗粒的强得多的信号也保持在对图像所允许的满标度内。通过这种方法，在样本的每个平面处，使用不同的曝光时间(一个短而一个长)记录一组图像，其中短曝光捕获受验颗粒的光强度中的变化而不引起图像饱和，以及其中长曝光捕获由细胞结构引起的更细微的强度变化，以及其中通过识别在长曝光图像中的饱和像素并用来自短曝光图像中的相同像素的值代替它们的值以及重新调节最终图像值以反映公共曝光时间来创建单个图像。
现在参考图4，示出了根据本公开的实施方式的计算设备400的示意性方框图。计算设备400包括例如具有均被耦合到本地接口409的处理器403和存储器406的至少一个处理器电路。为此目的，计算设备400可包括例如至少一个服务器计算机或类似的设备。本地接口409可包括例如具有附随的地址/控制总线或如可认识到的其它总线结构的数据总线。
存储在存储器406中的是数据和可由处理器403执行的几个部件。具体地，存储在存储器406中并可由处理器403执行的是图像获取应用412、图像处理应用415和可能的其它应用418。当被计算设备400执行时，图像获取应用412和/或图像处理应用415在可实现如上面关于图1-3的流程图描述的计算处理的各种方面。例如，图像获取应用412可促进图像记录的获取和/或存储，而图像处理应用415可促进对图像的处理。在一些实现中，可在单个应用中结合图像获取应用412和图像处理应用415。也存储在存储器406中的可以是包括例如记录、图像、视频和其它数据的数据存储库421。此外，操作系统可被存储在存储器406中并可由处理器403执行。应理解，可以有存储在存储器中并可由处理器403执行的如可认识到的其它应用。
在以软件的形式实现本文讨论的任何组件的场合，可使用多种编程语言中的任一种，例如C、C++、C#、objective C、Perl、PHP、VisualRuby、或其它编程语言。多个软件组件被存储在存储器中并可由处理器403执行。在这个方面中，术语“可执行”意指以最终可由处理器403运行的形式的程序文件。可执行程序的例子可以例如是：编译程序，编译程序可被转换成具有可被载入存储器406的随机存取部分内并由处理器403运行的格式的机器代码；源代码，可以用正确的格式表示源代码，例如能够被载入存储器406的随机存取部分内并由处理器403执行的对象代码；或可由另一可执行程序解释以在存储器406的随机存取部分中产生由处理器403执行的指令的源代码等等。可执行程序可被存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、存储卡、诸如光盘(CD)或数字通用盘(DVD)的光学盘、软盘、磁带或其它存储器组件的存储器的任何部分或组件中。
存储器406在本文中被定义为包括易失性和非易失性存储器和数据存储组件。易失性组件是在失去电力时不保留数据值的那些组件。非易失性组件是在失去电力时保持数据值的那些组件。因此，存储器406可包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读取器访问的存储卡、经由相关软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当的磁带驱动器访问的磁带和/或其它存储器组件或这些存储器组件中的任意两个或多个的组合。此外，RAM可包括例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或磁性随机存取存储器(MRAM)和其它这样的设备。ROM可包括例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其它类似的存储器设备。
此外，分别地，处理器403可代表在并联的处理电路中运行的多个处理器403，且存储器406可代表在并联的处理电路中运行的多个存储器406。在这样的情况下，本地接口409可以是促进在多个处理器403中的任意两个之间、在任一处理器403和任一存储器406之间或在任两个存储器406之间等的通信的适当网络。处理器403可具有电气的或某种其它可用的结构。
虽然图像获取应用412、图像处理应用415和本文所述的其它各种系统的部分可体现在由通用硬件执行的软件或代码中，作为可选方案，这些应用也可体现在专用硬件或软件/通用硬件和专用硬件的组合中。如果体现在专用硬件中，则每个可被实现为使用多种技术中的任一种或组合的电路或状态机。这些技术可包括但不限于具有用于在一个或多个数据信号的应用上实现各种逻辑功能的逻辑门的分立逻辑电路、具有适当的逻辑门的专用集成电路或其它组件等。这样的技术通常是本领域中的技术人员公知的，且因此不在本文被详细描述。
图像获取应用412和图像处理应用415可包括程序指令以实现系统的逻辑功能和/或操作。程序指令可体现在包括用编程语言编写的人可读语句的源代码或包括由诸如计算机系统或其它系统中的处理器的适当的执行系统可识别的数字指令的机器代码的形式中。可从源代码等转换机器代码。如果体现在硬件中，每个块可代表电路或多个互连电路以实现指定的逻辑功能。
虽然图1-3中的流程图示出特定的执行顺序，应理解，执行顺序可不同于所示出的顺序。例如，可相对于所示的顺序扰乱两个或多个块的执行顺序。此外，可同时执行或局部同时地执行在图1-3中连续示出的两个或多个块。此外，在一些实施方式中，可略过或省略在图1-3中所示的一个或多个块(有利于例如所测量的行进时间)。此外，为了增强的效用、记账、性能测量或提供检修帮助等的目的，任何数量的计数器、状态变量、警告信号量或消息可被添加到本文所述的逻辑流。应理解，所有这样的变化在本公开的范围内。
此外，在本文所述的任何逻辑或应用(包括含软件或代码的图像获取应用412和图像处理应用415)可体现在任何非暂时性计算机可读介质中，其中任何非暂时性计算机可读介质用于由诸如在计算机系统或其它系统中的处理器403的指令执行系统使用或结合诸如在计算机系统或其它系统中的处理器403的指令执行系统使用。在这个意义上，逻辑可包括例如语句，语句包括可从计算机可读介质取出并由指令指令执行系统执行的指令和声明。在本公开的上下文中，“计算机可读介质”可以是用于由指令执行系统使用的或结合指令执行系统使用的可包含、存储或维持本文所述的逻辑或应用的任何介质。
计算机可读介质可包括诸如磁性、光学或半导体介质的很多物理介质中的任一个。适当的计算机可读介质的更具体的例子包括但不限于磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、USB闪存驱动器或光盘。此外，计算机可读介质可以是随机存取存储器(RAM)，包括例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)和磁性随机存取存储器(MRAM)。此外，计算机可读介质可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或其它类型的存储器设备。
在实施方式中，除了别的以外，还提供了用于获取样本的三维体积图像的方法，其包括通过暗视场显微术从样本得到多个二维图像，多个图像包括沿着焦距的方向在多个相等间隔开的样本位置的每个处获取的至少一个二维图像，每个二维图像包含来自样本的焦点对准和焦点未对准的光；将多个二维图像输入到用于确定存在于样本中的至少一个结构的位置的三维计算方法；以及规划样本的三维体积图像，三维图像示出存在于样本中的至少一个结构的位置。
在任一个或多个实施方式中，样本可包括至少一个细胞和/或其它类似的生物或非生物结构；以及在至少一个细胞内的至少一个未染色受验颗粒。暗视场显微术可使用用于照亮样本的宽带光。至少一个细胞和/或其它类似的生物或非生物结构可以是荧光的；至少一个未染色受验颗粒可以是非荧光的；和/或暗视场显微术可包括与用于照亮样本的荧光激发光的特定波长结合的宽带光。存在于样本中的至少一个结构可包括：至少一个细胞和/或其它类似的生物或非生物结构；在至少一个细胞和/或其它类似的生物或非生物结构内的至少一个标记细胞结构；和/或在至少一个细胞和/或其它类似的生物或非生物结构内的至少一个非荧光受验颗粒。暗视场显微术可包括窄带光和宽带光的混合以照亮样本，窄带光激发至少一个标记细胞结构而宽带光从至少一个非荧光受验颗粒散射。
在任一个或多个实施方式中，该方法可包括调节窄带光和宽带光的相对强度，以使在图像中的至少一个标记细胞结构和至少一个受验颗粒的亮度均衡，至少一个标记细胞结构弱地贡献于而至少一个受验颗粒强地贡献于图像和/或示出在没有饱和的三维图像中的至少一个标记细胞结构的位置和至少一个受验颗粒的位置。在任一个或多个实施方式中，该方法可包括：通过对弧光灯的使用来产生窄带和宽带光的混合，弧光灯在其光谱输出中包含至少一个峰值，弧光灯的光强度在由至少一个峰值定义的窄波长范围内强而在由至少一个峰值定义的窄波长范围之外的宽波长范围内弱；使光从弧光灯穿过具有使至少一个峰值的波长通过的通带的激发滤波器；使用穿过激发滤波器的窄带光照亮至少一个标记细胞结构；同时使用来自弧光灯的宽带光照亮至少一个受验颗粒；接收穿过发射滤波器的第一通带的光，第一通带使从至少一个标记细胞结构发射的光而不是在激发滤波器的通带内的光穿过；和/或接收穿过发射滤波器的第二通带的光，发射滤波器的第二通带不使在发射滤波器的第一通带内的光穿过。
在另一个实施方式中，提供了用于确定在样本内的至少一个受验颗粒的三维(3D)位置的方法，其包括：通过暗视场显微术获取样本的至少两个图像，这两个图像中的每个沿着焦距的方向在不同的样本位置处被获取；经由3D去卷积分析至少两个图像，其中，分析包括对至少一个多点扩展函数(多PSF)的使用；经由3D卷积根据分析至少两个图像的结果来确定至少一个受验颗粒的位置；以及获取一个或多个3D图像，一个或多个3D图像示出至少一个受验颗粒的3D位置。
在任一个或多个实施方式中，暗视场显微术可包括宽带光。至少一个多PSF可包括在波长范围上对多个窄带PSF的光谱加权积分。多个窄带PSF可包括至少一个所计算的窄带PSF和/或至少一个所测量的窄带PSF。
在任一个或多个实施方式中，该方法可包括使至少一个3D图像模糊；在焦距的方向上对至少一个3D图像进行插值；和/或对至少一个3D图像内的峰值进行定位。至少一个多PSF可包括受验颗粒体素PSF和分开的非受验颗粒体素PSF。至少一个受验颗粒可被涂覆，该涂覆改变至少一个受验颗粒的光谱。样本可以是生物样本。生物样本可以是未染色的或染色的。样本可包括半透明材料和/或纤维基质。
在另一个实施方式中，提供了用于确定在至少一个受验颗粒的位置和细胞和/或其它类似的生物结构或非生物结构内的至少一个细胞结构的位置之间的至少一个空间相关性的方法，其包括：确定在三维坐标系内的至少一个受验颗粒的位置；确定在三维坐标系内的至少一个细胞结构的位置；在三维坐标系中规划相对于至少一个细胞结构的位置的至少一个受验颗粒的位置的矢量描述；以及从矢量描述确定空间相关性。
在任一个或多个实施方式中，该方法可包括：确定相对于细胞和/或其它类似的生物或非生物结构内的细胞内空间的位置的至少一个受验颗粒的位置和/或确定相对于在细胞和/或其它类似的生物或非生物结构外部的细胞外空间的位置的至少一个受验颗粒的位置。在任一个或多个实施方式中，该方法可包括得到由至少一个细胞结构的边界围住的3D密度函数，3D密度函数描述多个受验颗粒。在任一个或多个实施方式中，该方法可包括：确定相对于细胞器内空间的位置的至少一个受验颗粒的位置和/或确定相对于在细胞器外空间的位置的至少一个受验颗粒的位置。
在任一个或多个实施方式中，至少一个受验颗粒包括多个受验颗粒。至少一个细胞结构可包括细胞器。至少一个细胞结构可包括整个细胞和/或其它类似的生物或非生物结构。至少一个细胞结构可以是染色的或未染色的。在任一个或多个实施方式中，该方法可包括确定在多个受验颗粒的位置和至少一个细胞结构的位置之间的最小距离。至少一个细胞结构可以是细胞和/或其它类似的生物或非生物结构的染色边界。至少一个细胞结构可以是染色核膜。
在另一实施方式中，提供了显示至少一个受验颗粒的位置的方法，其包括：通过暗视场显微术获取样本的至少两个图像，沿着焦距的方向在不同的样本位置处获得至少两个图像中的每一个；经由3D去卷积分析至少两个图像，其中，分析包括对至少一个多点扩展函数(多PSF)的使用；经由3D卷积根据分析至少两个图像的结果来确定至少一个受验颗粒的位置；以及获取一个或多个3D图像，一个或多个3D图像通过显示在至少一个受验颗粒的3D位置处的球形图标来示出至少一个受验颗粒的3D位置，球形图标代表唯一的3D空间坐标。在任一个或多个实施方式中，该方法可包括在一个或多个3D图像内显示细胞结构的半透明体积图像，至少一个受验颗粒的3D位置被显示在细胞结构的半透明体积图像之内。
在另一实施方式中，提供了用于增加从包含弱和强光源的样本获取的三维图像的动态范围的方法，该方法包括：通过暗视场显微术从样本获取短曝光三维图像，通过使用短曝光时间来获取短曝光图像；通过暗视场显微术从样本获取长曝光三维图像，通过使用长曝光时间来获取长曝光图像；识别在长曝光图像中的饱和像素；从长曝光图像删除所识别的饱和像素；用来自短曝光图像的相应像素代替在长曝光图像中的删除的像素以形成最终图像；以及重新调节最终图像以反映公共曝光时间。在另一个实施方式中，提供了用于在垂直方向上锐化3D图像的方法，该方法包括：处理每个横向像素的垂直剖面以识别局部最小值并用除了等于那个部分的积分的单个值以外包括零的新剖面部分代替在局部最小值之间的剖面的部分，其中单个值在垂直方向上位于该部分的质心处。
应强调，本公开的上面描述的实施方式仅仅是为了对本公开的原理的清楚理解而提出的实现的可能的例子。可对上面描述的实施方式做出很多变化和修改而实质上不偏离本公开的精神和原理。所有这样的修改和变化被规定为在本文中被包括在本公开的范围内并被权利要求保护。

Claims (35)

1.一种用于获取样本的三维体积图像的方法，所述方法包括：
通过暗视场显微术从所述样本获取多个二维图像，所述样本包括受验颗粒和至少一个细胞和/或其它生物或非生物结构，所述多个二维图像包括沿着焦距的方向在多个相等间隔开的样本位置的每一个处获得的至少一个二维图像，每个二维图像包含来自所述样本的焦点对准和焦点未对准的光；
将所述多个二维图像输入到用于确定存在于所述样本中的所述至少一个细胞和/或其它生物或非生物结构的位置的三维计算方法；以及
规划所述样本的三维体积图像，所述三维体积图像示出存在于所述样本中的所述受验颗粒和所述至少一个细胞和/或其它生物或非生物结构的所述位置。
2.如权利要求1所述的方法，其中，所述样本包括
在所述至少一个细胞和/或其它生物或非生物结构内的至少一个未染色受验颗粒。
3.如权利要求1或2所述的方法，其中，所述暗视场显微术使用宽带光，所述宽带光在宽波长范围上提供所述样本的连续光谱照明。
4.如权利要求2所述的方法，其中：
所述至少一个细胞和/或其它生物或非生物结构是荧光的；
所述至少一个未染色受验颗粒是非荧光的；以及
所述暗视场显微术包括与用于在窄波长范围上照亮所述样本的荧光激发光的特定波长组合的宽带光。
5.如权利要求1所述的方法，其中：
存在于所述样本中的所述至少一个细胞和/或其它生物或非生物结构包括：
在所述至少一个细胞和/或其它生物或非生物结构内的至少一个标记细胞结构；以及
在所述至少一个细胞和/或其它生物或非生物结构内的至少一个未染色受验颗粒，所述至少一个未染色受验颗粒是非荧光的；以及
所述暗视场显微术包括窄带光和宽带光的混合以照亮所述样本，所述窄带光在窄波长范围内，所述宽带光具有在所述窄波长范围之外的宽波长范围内的连续光谱，所述窄带光激发所述至少一个标记细胞结构而所述宽带光从所述至少一个未染色受验颗粒散射。
6.如权利要求5所述的方法，还包括：
调节所述窄带光和所述宽带光的相对强度以使在所述三维体积图像中的所述至少一个标记细胞结构和所述至少一个未染色受验颗粒的亮度均衡，所述至少一个标记细胞结构弱地贡献于所述三维体积图像而所述至少一个未染色受验颗粒强地贡献于所述三维体积图像；以及
在所述三维体积图像中显示所述至少一个标记细胞结构的位置和所述至少一个未染色受验颗粒的位置而不引起饱和。
7.如权利要求5和6中的任一项所述的方法，还包括：
通过弧光灯的使用来产生窄带光和宽带光的混合，所述弧光灯在其光谱输出中包含至少一个峰值，所述弧光灯的光强度在由所述至少一个峰值定义的窄波长范围内强而在由所述至少一个峰值定义的所述窄波长范围之外的宽波长范围内弱；
使来自所述弧光灯的光穿过激发滤波器，所述激发滤波器具有使所述至少一个峰值的波长通过的通带以产生所述窄带光；
使用穿过所述激发滤波器的所述窄带光照亮所述至少一个标记细胞结构；
同时使用来自所述弧光灯的所述宽带光照亮至少一个未染色受验颗粒；
接收穿过发射滤波器的第一通带的光，所述第一通带使从所述至少一个标记细胞结构发射的光穿过而不使在所述激发滤波器的所述通带内的光穿过；以及
接收穿过所述发射滤波器的第二通带的光，所述发射滤波器的所述第二通带不使在所述发射滤波器的所述第一通带内的光穿过。
8.一种用于确定在样本内的至少一个受验颗粒的三维(3D)位置的方法，所述方法包括：
通过暗视场显微术获取所述样本的至少两个图像，所述至少两个图像中的每一个在沿着焦距的方向的不同的样本位置处被获得；
经由3D去卷积分析所述至少两个图像，其中，所述分析包括对至少一个多点扩展函数(多PSF)的使用；
经由3D卷积根据分析所述至少两个图像的结果确定所述至少一个受验颗粒的所述位置；以及
获取一个或多个3D图像，所述一个或多个3D图像示出所述至少一个受验颗粒的3D位置。
9.如权利要求8所述的方法，其中，所述暗视场显微术包括宽带光。
10.如权利要求8或9所述的方法，其中，所述至少一个多PSF包括在波长范围上的多个窄带PSF的光谱加权积分。
11.如权利要求10所述的方法，其中，所述多个窄带PSF包括至少一个计算的窄带PSF。
12.如权利要求10所述的方法，其中，所述多个窄带PSF包括至少一个测量的窄带PSF。
13.如权利要求8或9所述的方法，还包括：
使所述一个或多个3D图像变模糊；
在所述焦距的方向上对所述一个或多个3D图像进行插值；以及
定位在所述一个或多个3D图像内的峰值。
14.如权利要求13所述的方法，其中，所述至少一个多PSF包括受验颗粒体素PSF和分开的非受验颗粒体素PSF。
15.如权利要求8或9所述的方法，其中，所述至少一个受验颗粒已被涂覆，所述涂覆改变所述至少一个受验颗粒的光谱。
16.如权利要求8或9所述的方法，其中，所述样本是生物样本。
17.如权利要求16所述的方法，其中，所述生物样本是未染色的。
18.如权利要求16所述的方法，其中，所述生物样本是染色的。
19.如权利要求8或9所述的方法，其中，所述样本包括半透明材料。
20.如权利要求8或9所述的方法，其中，所述样本包括纤维基质。
21.一种用于确定在细胞和/或其它生物结构或非生物结构内的至少一个受验颗粒的位置和至少一个细胞结构的位置之间的至少一个空间相关性的方法，所述方法包括：
确定在三维坐标系内的所述至少一个受验颗粒的所述位置；
确定在所述三维坐标系内的所述至少一个细胞结构的所述位置；
在所述三维坐标系中规划所述至少一个受验颗粒的所述位置相对于所述至少一个细胞结构的所述位置的矢量描述；以及
从所述矢量描述确定所述至少一个空间相关性。
22.如权利要求21所述的方法，还包括：相对于所述细胞和/或其它生物或非生物结构内的空间的位置确定所述至少一个受验颗粒的所述位置。
23.如权利要求21或22所述的方法，还包括相对于在所述细胞和/或其它生物或非生物结构外部的空间的位置确定所述至少一个受验颗粒的所述位置。
24.如权利要求21或22所述的方法，其中，所述至少一个受验颗粒包括多个受验颗粒。
25.如权利要求24所述的方法，还包括：
获取由所述至少一个细胞结构的边界围住的三维3D密度函数，所述3D密度函数描述所述多个受验颗粒。
26.如权利要求25所述的方法，其中，所述至少一个细胞结构包括细胞器。
27.如权利要求21或22所述的方法，其中，所述至少一个细胞结构是染色的。
28.如权利要求21或22所述的方法，其中，所述至少一个细胞结构是未染色的。
29.如权利要求21或22所述的方法，还包括相对于细胞器内的空间的位置确定所述至少一个受验颗粒的所述位置。
30.如权利要求21或22所述的方法，还包括相对于细胞器外的空间的位置确定所述至少一个受验颗粒的所述位置。
31.如权利要求24所述的方法，还包括确定在所述多个受验颗粒的位置和所述至少一个细胞结构的位置之间的最小距离。
32.如权利要求31所述的方法，其中，所述至少一个细胞结构是所述细胞和/或其它生物或非生物结构的染色边界。
33.如权利要求31所述的方法，其中，所述至少一个细胞结构是染色核膜。
34.一种显示至少一个受验颗粒的位置的方法，所述方法包括：
通过暗视场显微术获取样本的至少两个图像，所述至少两个图像中的每一个在沿着焦距的方向的不同的样本位置处获得；
经由3D去卷积分析所述至少两个图像，其中，所述分析包括对至少一个多点扩展函数(多PSF)的使用；
经由三维(3D)卷积从对所述至少两个图像的分析的结果确定所述至少一个受验颗粒的所述位置；以及
获取一个或多个3D图像，所述一个或多个3D图像通过在所述至少一个受验颗粒的3D位置处显示球形图标来示出所述至少一个受验颗粒的3D位置，所述球形图标代表唯一的3D空间坐标。
35.如权利要求34所述的方法，还包括在所述一个或多个3D图像内显示细胞结构的半透明体积图像，所述至少一个受验颗粒的所述3D位置被显示在细胞结构的所述半透明体积图像之内。
CN201480025297.5A 2013-03-12 2014-03-12 定位生物和非生物介质中的纳米颗粒的三维图像处理 Active CN105190290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361776977P 2013-03-12 2013-03-12
US61/776,977 2013-03-12
PCT/US2014/024346 WO2014165091A2 (en) 2013-03-12 2014-03-12 Three-dimensional image processing to locate nanoparticles in biolgical and nonbiological media

Publications (2)

Publication Number Publication Date
CN105190290A CN105190290A (zh) 2015-12-23
CN105190290B true CN105190290B (zh) 2019-06-14

Family

ID=50841937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025297.5A Active CN105190290B (zh) 2013-03-12 2014-03-12 定位生物和非生物介质中的纳米颗粒的三维图像处理

Country Status (5)

Country Link
US (2) US10152823B2 (zh)
EP (1) EP2972231B1 (zh)
JP (1) JP6503335B2 (zh)
CN (1) CN105190290B (zh)
WO (1) WO2014165091A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9799113B2 (en) * 2015-05-21 2017-10-24 Invicro Llc Multi-spectral three dimensional imaging system and method
CN104931397B (zh) * 2015-06-29 2018-04-10 广州机械科学研究院有限公司 基于励磁吸附的三维数字颗粒图像生成装置及方法
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN106225778A (zh) * 2016-07-18 2016-12-14 北京邮电大学 多介质传播中随机波动的视觉定位研究
CN109844503B (zh) * 2016-10-10 2022-01-14 马克斯-普朗克科学促进学会 用于高空间分辨率地确定样品中的分离的、以激励光可激励以发射发光的分子的位置的方法
US10302923B2 (en) * 2016-10-26 2019-05-28 Molecular Devices, Llc Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
EP3702779A4 (en) * 2017-10-26 2021-01-06 Konica Minolta, Inc. IMAGE PROCESSING DEVICE, METHOD FOR DETERMINING THE FOCUSING POSITION AND PROGRAM FOR DETERMINING THE FOCUSING POSITION
US10694113B1 (en) * 2019-05-01 2020-06-23 Xiris Automation Inc. Dark field illumination for laser beam delivery system
US11854281B2 (en) 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069115A (zh) * 2004-04-16 2007-11-07 奥本大学 显微镜照明装置及其适配器
CN101263411A (zh) * 2005-07-15 2008-09-10 奥本大学 显微镜照明装置和用于暗-和亮-场照明的适配器
CN101414056A (zh) * 2008-12-05 2009-04-22 南京东利来光电实业有限责任公司 暗视场照明物镜装置
CN101963582A (zh) * 2010-09-13 2011-02-02 深圳大学 一种三维荧光纳米显微成像方法、系统及成像设备
CN102301269A (zh) * 2008-12-05 2011-12-28 优尼森索股份公司 样品的光学切片以及样品中颗粒的检测
CN102388402A (zh) * 2010-02-10 2012-03-21 松下电器产业株式会社 图像处理装置及图像处理方法
CN102565395A (zh) * 2012-02-14 2012-07-11 北京大学 用包被抗体的金纳米颗粒检测细菌数量的方法
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671085A (en) * 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
IL127359A0 (en) * 1998-12-01 1999-10-28 Yeda Res & Dev Computerized adaptive imaging
US6563265B1 (en) * 2000-11-06 2003-05-13 General Electric Company Applying prealloyed powders as conducting members to arc tubes
US6905881B2 (en) 2000-11-30 2005-06-14 Paul Sammak Microbead-based test plates and test methods for fluorescence imaging systems
US7197193B2 (en) * 2002-05-03 2007-03-27 Creatv Microtech, Inc. Apparatus and method for three dimensional image reconstruction
JP4572162B2 (ja) * 2005-11-22 2010-10-27 株式会社ジーオングストローム 顕微鏡装置
US20070229823A1 (en) * 2006-03-31 2007-10-04 Intel Corporation Determination of the number concentration and particle size distribution of nanoparticles using dark-field microscopy
JP5818125B2 (ja) * 2010-01-15 2015-11-18 株式会社センテック 測定方法
US8744164B2 (en) * 2010-04-06 2014-06-03 Institute For Systems Biology Automated analysis of images using bright field microscopy
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
WO2011144212A1 (en) * 2010-05-21 2011-11-24 Chemometec A/S A compact dark field light source and dark field image analysis at low magnification
DE102011079941A1 (de) * 2011-07-27 2013-01-31 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungsverfahren und Mikroskop
US9295431B2 (en) * 2011-10-28 2016-03-29 New York University Constructing a 3-dimensional image from a 2-dimensional image and compressing a 3-dimensional image to a 2-dimensional image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101069115A (zh) * 2004-04-16 2007-11-07 奥本大学 显微镜照明装置及其适配器
CN101263411A (zh) * 2005-07-15 2008-09-10 奥本大学 显微镜照明装置和用于暗-和亮-场照明的适配器
CN101414056A (zh) * 2008-12-05 2009-04-22 南京东利来光电实业有限责任公司 暗视场照明物镜装置
CN102301269A (zh) * 2008-12-05 2011-12-28 优尼森索股份公司 样品的光学切片以及样品中颗粒的检测
CN102667473A (zh) * 2009-10-12 2012-09-12 文塔纳医疗系统公司 用于组织的增强的病理学测定和多分析物检测的多模态对比和明场背景再现
CN102388402A (zh) * 2010-02-10 2012-03-21 松下电器产业株式会社 图像处理装置及图像处理方法
CN101963582A (zh) * 2010-09-13 2011-02-02 深圳大学 一种三维荧光纳米显微成像方法、系统及成像设备
CN102565395A (zh) * 2012-02-14 2012-07-11 北京大学 用包被抗体的金纳米颗粒检测细菌数量的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Size-dependent endocytosis of gold nanoparticles studied by three-dimensional mapping of plasmonic scattering images;Sheng-Hann Wang et al.;《Journal of Nanobiotechnology》;20101231;第8卷;正文第1-8页，图2-3、5-7
Three-dimensional, single-molecule fluorescence Three-dimensional, single-molecule fluorescence a double-helix point spread function;Sri Rama Prasanna Pavani et al.;《Proceedings of the National Academy of Sciences of the United States of America》;20090303;第106卷(第9期);第2995-2999页

Also Published As

Publication number Publication date
US20190108674A1 (en) 2019-04-11
WO2014165091A3 (en) 2014-11-27
US10152823B2 (en) 2018-12-11
EP2972231A2 (en) 2016-01-20
EP2972231B1 (en) 2022-09-07
CN105190290A (zh) 2015-12-23
US10930061B2 (en) 2021-02-23
WO2014165091A2 (en) 2014-10-09
JP2016520798A (ja) 2016-07-14
US20160027206A1 (en) 2016-01-28
JP6503335B2 (ja) 2019-04-17

Similar Documents

Publication Publication Date Title
CN105190290B (zh) 定位生物和非生物介质中的纳米颗粒的三维图像处理
JP7459336B2 (ja) 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法
JP5832537B2 (ja) 試料の強調視覚評価
US10032064B2 (en) Visualization and measurement of cell compartments
CN104285175B (zh) 使用小波分析进行单颗粒定位的方法和装置
US9002077B2 (en) Visualization of stained samples
EP2516994B1 (en) System and method for imaging using dense-stochastic-sampling
US10007997B2 (en) System and method for segmentation of three-dimensional microscope images
US20230384223A1 (en) Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning
WO2021198279A1 (en) Methods and devices for virtual scoring of tissue samples
Delpiano et al. Automated detection of fluorescent cells in in‐resin fluorescence sections for integrated light and electron microscopy
US20210148824A1 (en) Sub-diffraction imaging, coding and decoding of non-bleaching scatters
US20240119746A1 (en) Apparatuses, systems and methods for generating synthetic image sets
US20230237734A1 (en) 3d biological cell constituent concentration
Pankajakshan et al. Deconvolution and denoising for confocal microscopy
Backová Bioinformatical analysis of the complex multidimensional microscopy datasets
JP7095075B2 (ja) 生きた有機体を定量化するための方法および装置、ならびに装置の使用
Hardo et al. Quantitative Microbiology with Microscopy: Effects of Projection and Diffraction
Wu Deep Learning-Enabled Computational Imaging in Optical Microscopy and Air Quality Monitoring
NELSON Mathematical morphology for quantification in biological & medical image analysis
Pengo Automation of early lung cancer detection
Alain Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant