CN109863384A - 基于图像的细胞分选系统和方法 - Google Patents

基于图像的细胞分选系统和方法 Download PDF

Info

Publication number
CN109863384A
CN109863384A CN201780046504.9A CN201780046504A CN109863384A CN 109863384 A CN109863384 A CN 109863384A CN 201780046504 A CN201780046504 A CN 201780046504A CN 109863384 A CN109863384 A CN 109863384A
Authority
CN
China
Prior art keywords
cell
image
particle
data
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780046504.9A
Other languages
English (en)
Other versions
CN109863384B (zh
Inventor
卢煜华
韩媛媛
顾义
张策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Priority to CN202211233369.8A priority Critical patent/CN115639134A/zh
Publication of CN109863384A publication Critical patent/CN109863384A/zh
Application granted granted Critical
Publication of CN109863384B publication Critical patent/CN109863384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/44—Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406—Fluorescence spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1484—Optical investigation techniques, e.g. flow cytometry microstructural devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1402—Data analysis by thresholding or gating operations performed on the acquired signals or stored data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Optical Measuring Cells (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

公开了用于流动系统中的粒子的成像和基于图像的分选的系统、装置和方法，包含流式细胞仪中的细胞。在一些方面，一种系统包含：粒子流装置，其用于使粒子流过通道；成像系统，其用于在流过所述通道期间获得粒子的图像数据；处理单元，其用于确定与所述粒子相关联的性质并产生用于基于与粒子性质相关联的分选标准对所述粒子进行分选的控制命令；以及致动器，其用于将所述粒子实时地引导到所述粒子流装置的多个输出路径之一中。

Description

基于图像的细胞分选系统和方法
关于联邦资助的研究或开发的声明
本发明是根据由美国国立卫生研究院授予的授权号1R43DA042636-01在政府支持下进行(NIH)。美国政府享有本发明的一定权利。
相关申请的交叉引用
此专利文件要求2016年6月10日提交的题为“基于图像的细胞分选的流式细胞仪”的美国临时专利申请号62/348,511的优先权和权益。上述专利申请的全部内容通过引用结合在此作为本专利文件的公开内容的一部分。
技术领域
此专利文献涉及用于流体中的粒子分选的系统、装置和技术，包含流式细胞仪装置和化学或生物测试和诊断测量中的技术和应用。
背景技术
流式细胞术是一种在流经流体时检测和分析如活细胞等粒子的技术。例如，流式细胞仪装置可以基于细胞和/或生物化学分子或分子簇的光学、电学、声学和/或磁性响应用于表征所述细胞和/或生物化学分子或分子簇的物理和生物化学性质，因为其以串行方式被询问。通常，流式细胞术使用外部光源来询问粒子，由输入光与粒子之间的如前向散射、侧向散射和荧光等一种或多种相互作用检测光学信号。通过流式细胞术测量的性质包含粒子的相对大小、粒度和/或荧光强度。
细胞分选，包含单细胞水平的细胞分选，已经成为流式细胞术领域的一个重要特征，因为研究人员和临床医生对研究和纯化某些细胞更感兴趣，例如如干细胞、循环肿瘤细胞和稀有细菌物种。细胞分选可以通过各种技术实现。
流式细胞仪装置和系统可以基于用于研究测定和诊断以及临床应用的微流体技术来实施。微流体装置是能够通过尺寸在相对小的尺寸(例如，亚毫米范围)的通道控制非常少量的流体(例如如，nL、pL和fL)的行为的仪器。可以实施微流体装置以获得各种分析测量，包含分子扩散值、化学结合系数、pH值、流体粘度、分子反应动力学等。微流体装置可以构建在微芯片上以检测、分离和分析生物样品，还可以称为芯片实验室。例如，微流体装置可以使用生物流体或含有细胞或细胞部分的溶液来诊断疾病。在例如微流体流式细胞仪的微流体通道内，可以使用流式细胞术技术根据其光学、电学、声学和/或磁响应来询问包含细胞、珠子和大分子的粒子。
发明内容
可以实施本专利文献中公开的技术以提供用于在流动系统中产生粒子图像的方法、装置和系统，并且在特定配置中，所公开的技术可以用于实时成像粒子并且随后分选粒子，包含基于来自图像的空间信息的细胞。所公开的技术可以用于在流式细胞仪中产生细胞图像和分选细胞。在应用中，通过考虑如荧光的空间分布等空间信息，所公开的技术可用于基于荧光和/或散射强度来检测和分选细胞。
在实施方式中，例如，所公开的系统具有流式细胞仪的高通量和成像细胞计数器的高空间分辨率，其中细胞图像以足够快的速率产生，以适应基于细胞的物理和/或生理性质的流动系统中的实时细胞分选，例如，与仅检测事件相反。
在一些方面，基于图像的粒子分选系统包含粒子流装置，其构造成包含：基板；形成在所述基板上的通道，其能够操作以使细胞沿着流动方向流动到所述通道的第一区域；以及在靠近所述通道中的所述第一区域的第二区域处从所述通道分叉的两个或两个以上输出路径；成像系统，其与所述粒子流装置介接，并且能够操作以在流过所述通道期间细胞位于所述第一区域时获得与所述细胞相关联的图像数据；与所述成像系统通信的数据处理和控制单元，所述数据处理和控制单元包含处理器，所述处理器被配置成处理由所述成像系统获得的所述图像数据，以从所述处理的图像数据确定与所述细胞相关联的一个或多个性质，并且基于所述确定的一个或多个性质与分选标准的比较来产生控制命令，其中所述控制命令是在所述细胞在所述通道中流动期间产生的，并且指示基于从对应于所述细胞的图像信号数据确定的一个或多个细胞性质确定的分选决策；以及致动器，其可操作地联接到所述粒子流装置并且与所述致动器通信，所述致动器能够操作以基于所述控制命令将所述细胞引导到所述两个或两个以上输出路径中的输出路径中，其中所述系统能够操作以在从由所述成像系统进行图像捕获的第一时间到由所述致动器进行粒子引导的第二时间的15毫秒或更短的时间帧范围内在所述通道中的流动期间对所述细胞中的每一个进行分选。
在一些方面，用于基于图像的粒子分选的方法包含获得流过粒子流装置的通道的细胞的图像信号数据；处理所述图像信号数据以产生代表所述细胞图像的图像数据集；分析所述产生的图像数据集以从所述处理的图像数据中识别所述细胞的一个或多个性质；利用分选标准评估所述细胞的述一个或多个识别的性质以产生控制命令从而基于在所述粒子流装置中的细胞流动期间从对应于所述细胞的所述图像信号数据中确定的一个或多个细胞性质对所述细胞进行分选；以及基于所述控制命令将所述细胞引导到所述粒子流装置的多个输出路径之一中。
在一些方面，基于图像的粒子分选系统包含粒子流装置，其构造成包含基板；形成在基板上的通道，其可操作以使流动粒子沿着流动方向流动到所述通道的第一区域；以及在靠近所述通道中的所述第一区域的第二区域处从所述通道分叉的两个或两个以上输出路径；成像系统，其与粒子流装置介接，并且当流过通道期间，当粒子位于第一区域时，可操作以获得与所述粒子相关联的图像数据；与所述成像系统通信的数据处理和控制单元，所述数据处理和控制单元包含处理器，所述处理器被配置成处理由所述成像系统获得的所述图像数据，以从所述处理的图像数据确定与粒子相关联的一个或多个性质，并且基于所述确定的一个或多个性质与分选标准的比较来产生控制命令；以及致动器可操作地联接到所述粒子流装置并且与所述致动器通信，所述致动器可操作以基于所述控制命令将所述粒子引导到所述两个或两个以上输出路径的输出路径中，其中所述系统能够操作以在从由所述成像系统进行图像捕获的第一时间到由所述致动器进行粒子引导的第二时间的15毫秒或更短的时间帧范围内在所述通道中的流动期间对所述粒子中的每一个进行分选。
在一些方面，用于基于图像的粒子分选的方法包含获得流过粒子流装置的通道的粒子的图像信号数据；处理所述图像信号数据以产生代表所述粒子图像的图像数据集；分析所述产生的图像数据集以从所述处理的图像数据中识别所述粒子的一个或多个性质；通过用分选标准评估一个或多个识别的性质来产生控制命令；基于所述控制命令将所述粒子引导到所述粒子流装置的多个输出路径之一中。
在附图，说明书和权利要求中更详细地描述了所公开的技术的上述和其它方面及其实现和应用。
附图说明
图1A示出了根据所公开的技术的基于图像的粒子分选系统的示例实施例的图。
图1B示出了根据所公开的技术的基于图像的粒子分选系统的数据处理和控制单元的示例实施例的框图。
图2A到图2C示出了根据所公开的技术的基于图像的细胞分选微流体系统的示例实施例的图。
图3A和图3B示出了根据所公开的技术从PMT信号捕获和处理的图像数据的实例，以产生用于基于图像的粒子分选技术的细胞图像。
图4A到图4C示出了根据本技术的基于图像的粒子分选方法的过程的示例实施例的图。
图4D示出了亮度-时间曲线图，其描绘了基于根据本技术的与通过示例系统的照明区域行进的单个细胞相关联的时域PMT信号的处理的示例细胞检测过程实施方式。
图5A示出了用于确定用于基于图像的细胞分选的检测到的细胞的识别特征的过程的示例实施方式的图。
图5B示出了描绘根据本技术的示例图像重建技术的实施方式的结果的数据图。
图6示出了描绘用于基于示例图像重建的细胞的荧光强度信号的数据图。
图7示出了细胞的重建图像的实例。
图8A和图8B示出了转染但未经药物处理的细胞和转染且经药物处理的细胞的示例荧光显微镜图像。
图9A和图9B示出了由转染但未经药物处理的细胞和转染且经药物处理的细胞的基于图像的细胞分选系统拍摄的示例性荧光细胞图像。
图10示出了来自示例实施方式的所有事件和经分选细胞的示例计算荧光面积的直方图。
图11示出了根据所公开的技术的基于图像的细胞分选微流体系统的示例实施例的图。
图12示出了使用图11中所示的系统的示例图像处理实施方式的流程图。
图13A示出了描绘通过图12中所示的示例图像处理步骤的示例数据的流程图。
图13B示出了使用示例接收器操作特性(ROC)技术来评估如细胞形态参数等提取参数的子集的示例分布图。
图14A和图14B分别示出了由示例系统捕获并且通过根据所公开的技术的示例图像重建技术重建的未易位细胞和易位细胞的细胞图像。
图15示出了超平面的实例，所述超平面展示了用于实现细胞分选标准的两个细胞集的分离。
图16A和图16B分别示出了由示例系统通过显微镜捕获的未易位细胞和易位细胞的细胞图像。
图17A和图17B分别示出了由示例系统捕获并且通过根据所公开的技术的示例图像重建技术重建的G1相位细胞和G2/M相位细胞的细胞图像。
图18示出了超平面的实例，所述超平面展示了用于实现细胞分选标准的两个细胞集的分离。
图19A和图19B分别示出了由示例系统捕获并且通过根据所公开的技术的示例图像重建技术重建的G1相位细胞和G2/M细胞的细胞图像。
图20示出了用于基于由图11中所示的系统实施的细胞的细胞膜上结合的珠子数量进行分选的示例图像处理实施方式的流程图。
图21示出了由具有不同数量的珠子的示例图像处理模块处理的灰度细胞图像的实例。
图22示出了不同数量珠子的珠子图像区域的直方图。
具体实施方式
一些现有的流式细胞仪装置和系统基于荧光和/或散射强度检测和分选细胞，而不考虑如荧光的空间分布等空间信息。在开发用于生产具有高通量和高空间分辨率的流式细胞仪的细胞图像的技术方面已经取得了一些进展。然而，细胞图像尚未以足够快的速率产生以用于应用，特别是用于流动系统中的细胞分选，例如，由于生成细胞图像所需的计算量。如此，用于细胞分选能力的现有技术是“仅检测”系统，并且不能基于有意义和细微差别的标准“筛选”检测到的细胞。
在应用中，所公开的技术可以以用于流式细胞术中的基于图像的细胞分选的方法、系统和装置的形式以特定方式实施，使用(a)利用FPGA和/或GPU以及并行实施的数学算法，通过高效的数据处理技术实时获取快速移动的细胞图像(b)基于粒子的空间特征的“门控”技术作为来自实时获取的图像的分选标准。与使用所选生物标记物的荧光强度作为细胞分选标准的传统流式细胞仪不同，根据所公开技术的方法、系统和装置允许含有空间特征的各种用户限定的门控标准。
基于图像的门控标准的实例包含细胞轮廓、细胞大小、细胞形状、内部细胞结构的大小和形状，如细胞核、荧光图案、荧光颜色分布等。例如，用户可以绘制他们希望分离的单元格，并且系统将相应地执行。利用这种独特的能力，研究人员等用户可以通过细胞质、细胞核或细胞膜结构域和亚结构域内某些蛋白质的定位来追踪许多重要的生物过程。因为每个细胞群在基因组(例如，突变、表观遗传学)或环境(例如，不对称分裂、形态发生素梯度)水平上具有一定程度的异质性，所以根据其单独的空间特征识别和提取单细胞被设想为显著贡献涉及免疫学、肿瘤异质性、干细胞分化和神经元分析领域。
在一些实施例中，基于图像的粒子分选系统包含与粒子分选致动器集成的如流动池或微流体装置等粒子流动装置；高速及高灵敏度光学成像系统；以及实时细胞图像处理和分选控制电子系统。例如，所公开的方法、系统和装置的目的是执行以下的整个过程：(i)粒子(例如，细胞)的图像捕获，(ii)来自时域信号的图像特征重建，以及(iii)在延迟小于15毫秒的时间内通过执行器进行粒子分选决策和分类操作，以满足实时粒子分选的需要。在本文描述的一些实施方式中，总延迟小于8毫秒(例如，7.8毫秒)，在一些实施方式中，总延迟小于6毫秒(例如，5.8毫秒)，并且在一些实施方式中，总延迟小于3.5毫秒(例如，3.3毫秒)。对于细胞分选的实施方式中，例如，所公开的方法、系统和装置能够通过特定于生命周期、蛋白质定位、基因定位、DNA损伤和其它细胞特性的图像特征对细胞进行成像、分析和分选，所述图像特征可以与不同的疾病或病原体相关联。
图1A示出了根据本技术的基于图像的粒子分选系统100的示例实施例的图。系统100包含粒子流装置110；成像系统120，其与粒子流装置110介接；数据处理和控制单元130，其与成像系统120通信；以及致动器140，其与数据处理和控制单元130通信并且可操作地连接到粒子流装置110。粒子流装置110被构造成包含通道111，其中粒子沿着流动方向流到询问区域115，在所述询问区域中，成像系统120针对询问区域115中的每个粒子获得图像数据。数据处理和控制单元130被配置成处理图像数据并且确定与粒子相关联的一个或多个性质以产生用于粒子分类的控制命令。控制命令被提供给致动器140，所述致动器在装置110的分选区域处与粒子流装置110介接，使得致动器操作以将特定粒子分类成对应于控制命令的输出通道。系统100实时地实施粒子的基于图像的分类，其中粒子由成像系统120在询问区域中成像，并且由分选区域中的致动器140实时地并且基于由数据处理和控制单元130分析的确定的特性进行分选。
系统100是用户可编程的，以基于用户定义的标准对每个粒子进行分选，所述标准可以与由数据处理和控制单元130实时分析的每个单独粒子呈现的多个性质中的一个或多个相关联。用户定义的一些示例性标准包含但不限于单个粒子的子特征的量和/或大小(例如，附接于活细胞的子粒子，包含被细胞吞噬或附接于细胞的粒子)；单个粒子的形态；和/或单个粒子的大小。以这种方式，系统100能够通过如活细胞的性质等性质来评估和分选粒子，包含通过细胞生理功能(例如，细胞的粒子或物质吸收、或细胞吞噬粒子)的分选，通过细胞损伤、蛋白质定位或其它细胞特性。
图1B示出了数据处理和控制单元130的示例实施例的框图。在各种实施方式中，数据处理和控制单元130被实施在一个或多个个人计算装置，例如包含台式或膝上型计算机，一个或在计算机系统中或可经由因特网访问通信网络多个计算装置(称为为“云”)，包含在云中的服务器和/或数据库，和/或一个或多个移动计算装置，如智能手机、平板电脑或包含智能手表或智能眼镜的可穿戴计算机装置。数据处理和控制单元130包含处理器131以处理数据，以及存储器132与处理器131通信以存储和/或缓冲数据。例如，处理器131可以包含中央处理单元(CPU)或微控制器单元(MCU)。在一些实施方式中，过程131可以包含场可编程门阵列(FPGA)或图形处理单元(GPU)。例如，存储器132可以包含并且存储处理器可执行代码，其在由处理器131执行时配置数据处理和控制单元130以执行各种操作，例如如接收信息、命令和/或数据、处理如来自成像系统120等信息和数据，以及将处理后的信息/数据发送或提供给如致动器140等另一个装置。为了支持数据处理和控制单元130，存储器132可以存储信息和数据，如由处理器131处理或引用的指令、软件、值、图像和其它数据。例如，各种类型的随机存取存储器(RAM)装置、只读存储器(ROM)装置、快闪存储器装置和其它可以被用来实施存储器132的存储功能的合适的存储介质。在一些实施方式中，数据处理和控制单元130包含用于将处理器131和/或存储器132连接到其它模块、单元或装置的输入/输出(I/O)单元133。在一些实施例中，如对于移动计算装置，数据处理和控制单元130包含无线通信单元，例如，如发射器(Tx)或发射器/接收器(Tx/Rx)单元。例如，在这种实施例中，I/O单元133可以将处理器131和存储器132与无线通信单元连接，例如，以利用与典型数据通信标准兼容的各种类型的无线接口，其可以用于数据处理和控制单元130与其它装置的通信，例如，如在云中的一个或多个计算机与用户装置之间。数据通信标准包含但不限于蓝牙、蓝牙低功耗(BLE)、Zigbee、IEEE 802.11、无线局域网(WLAN)、无线个域网(WPAN)、无线广域网(WWAN)、WiMAX、IEEE 802.16(全球微波接入互操作性(WiMAX))、3G/4G/LTE蜂窝通信方法和并行接口。在一些实施方式中，数据处理和控制单元130可以经由I/O单元133使用有线连接与其它装置连接。数据处理和控制单元130还可以与其它外部接口、数据存储源和/或视觉或音频显示装置等连接，以检索和传输可以由处理器131处理的数据和信息，所述数据和信息存储在存储器132、或展现在显示装置或外部装置的输出单元上。
图2A到图2C示出了根据基于图像的粒子分选系统100的一些实施例的基于图像的细胞分选微流体系统200的图。系统200包含：微流体装置210，用于使粒子流过用于分选的光学询问通道；成像系统220，用于获得询问通道的照明区域中的粒子的图像数据；数据处理和控制系统230，用于实时处理获得的图像数据并且确定分选命令；以及致动器240，用于基于所确定的分选命令来门控微流体装置210中的粒子。
如图2A和图2C所示，微流体装置210被构造成包含具有形成微流体样品通道211的通道的基板213，以及会聚在样品通道211上的微流体鞘通道212。在实施方式中，例如，样品通道被配置成承载悬浮在沿流动方向流动的流体中的粒子(例如，细胞)，并且鞘通道212被构造成提供鞘流的流体，以在流过微流体装置210的照明区域215之前将悬浮粒子流体动力地聚焦在流体中。在一些实施例中，例如，基板213可以由块状材料形成，例如，如聚二甲基硅氧烷(PDMS)，其粘合到基础基板，例如玻璃基础基板或其它材料的基础基板。
系统200的成像系统220包含光源221(例如，激光器)，用于在微流体装置210的照明区域215处提供输入或探测光；以及光学成像器222，用于获得照明区域215中的被照射粒子的图像。如图2A所示，示例光学成像器222包含(例如，显微镜或其它光学成像装置的)物镜223，所述物镜光学联接到空间滤波器(SF)224的、发射滤波器(EF)225和光电倍增管(PMT)226。在一些实施方式中，例如，成像系统220包含一个或多个用于将输入光引导到微流体装置210的照明区域215光导元件229。在图2A所示的实例中，光导元件229包含分色镜，所述分色镜布置有用于将输入光引导到照明区域215的光源221和光学成像器222。
在成像系统220的一些实施方式中，光源221(例如，激光器)被配置成产生荧光激发信号，所述荧光激发信号入射在照明区域215上以引起粒子的荧光发射。光学成像器222捕获光学输出荧光发射信号，使得粒子的图像可以生成。
系统200的数据处理和控制系统230被配置成与光学成像器222通信，例如，通过PMT以快速处理成像的粒子，并且基于实时成像的每个粒子的处理图像产生分选控制。在数据处理和控制单元230的一些实施方式中，FPGA处理单元被配置成快速处理由光学成像器222接收的图像信号数据。这种实施方式的实例可以包含Virtex-II(xc2v3000)FPGA平台以及编译器Xilinx 10.1，其可以通过National Instrument的底盘Crio-9104提供，以根据本技术的数据处理方法执行算法。
系统200的致动器240被配置成与实时数据处理和控制系统230通信，以将在样品通道211的门区域217中流动的粒子门控到微流体装置的两个或两个以上输出通道218中。在一些实施例中，例如，照明区域215与栅极区域217之间的距离可以在50μm到1mm的范围内。在实施方式中，致动器240实时地从数据处理和控制系统230接收分选命令，使得成像系统220和数据处理和控制系统230操作以在流过照明区域215的同时捕获和处理每个粒子的图像，因此致动器240接收并且执行分选命令以相应地对每个粒子进行门控。例如，在一些实施方式中，致动器240包含联接到基板213的压电致动器以产生偏转，所述偏转使粒子在栅极区域217中沿粒子方向移动，所述粒子方向将粒子沿着轨迹引导到两个或两个以上输出通道218中的一个。
在系统200的实施方式中，例如，悬浮的单细胞通过鞘流在微流体通道中流体动力学聚焦，从而确保细胞以均匀的速度在流体通道的中心行进。如在图2A中所示的实例中，PMT 226在宽视场荧光显微镜配置中检测荧光发射。在此实例中，为了适应微流体装置的几何形状，通过位于50×物镜223前面的微型分色镜(DM)229将激光束引入光学询问52度反射(例如，NA＝0.55，工作距离＝13mm)。
图2B示出了空间滤波器(SF)225的示例实施例，其插入在成像系统220的光学成像器222的图像平面处的检测路径中。空间滤波器设计包含具有多个分开定位的狭缝的图案。在一些实施例中，例如，空间滤波器225包含具有均匀尺寸的开口图案，其中所述开口图案通过光学成像器对接收光上的波形进行编码。在图2B所示的实例中，图案包含十个100μm×50μm的狭缝，所述狭缝以一个接一个的方式分开定位。在一些实施例中，例如，空间滤波器225包含开口图案，所述开口图案相对于穿过微流体通道的流动方向具有变化的纵向和横向尺寸，使得波形由光学成像器编码，以允许在微流体通道211的照明区域215中至少在两个维度上光学检测粒子的位置。在名称为“微流体装置中的光学时空编码技术(OPTICALSPACE-TIME CODING TECHNIQUE IN MICROFLUIDIC DEVICES)”的美国专利号9,074,978B2中提供了二维空间变化空间滤波器的实例，其全部内容通过引用并入作为本公开的一部分用于所有目的。
返回参考图2A，尽管成像系统220仅示出一个用于检测荧光信号的PMT，但是应当理解，可以将更多的PMT添加到光学成像器222，并且，如果需要，将更多激发激光束添加到光源221，以产生多色荧光细胞图像。
实时数据处理和控制系统230包含控制回路系统，所述控制回路系统使用现场可编程门阵列(FPGA)来实施，以处理捕获的图像并且为每个粒子产生相应的分选命令。数据处理和控制系统230包含可由FPGA执行的图像处理和基于图像的粒子分选算法，以提供系统200的自动化细胞图像生成和精确分选。例如，一旦通过FPGA算法做出分选决定，则启动示例芯片上集成的压电锆钛酸铅(PZT)致动器240以在分选接头处的喷嘴结构处施加流体压力。在一些实施方式中，示例性PZT致动器240被配置成响应于在每个操作等于或小于0.1毫秒的时间帧中的分选命令来执行流体移位操作。例如，PZT致动器在小于0.1毫秒内的流体位移展现出单细胞流体动力学操纵能力和高通量。
在名称为“基于信号编码的流体流式细胞仪和粒子感测(FLUIDIC FLOWCYTOMETRY DEVICES AND PARTICLE SENSING BASED ON SIGNAL ENCODING)”的美国专利号9,134,221B2中提供了可以在根据所公开的技术的装置、系统和方法的示例实施例中使用的粒子流装置和/或致动器的特征的其它实例，其全部内容通过引用并入作为本公开的一部分用于所有目的。基于名称为“使用空间-时间转换的成像流式细胞术(IMAGING FLOWCYTOMETRY USING SPATIAL-TEMPORAL TRANSFORMATION)”的PCT申请号PCT/US2015/053368并且公布为WO2016/054293A1，在美国专利申请号15/514,930中提供了可以在装置、系统和方法的示例实施例中使用的光学成像系统的特征的其它实例，所述申请是根据35U.S.C.§371的美国国家阶段申请文件，其全部内容通过引用并入作为本公开的一部分用于所有目的。
图3A和图3B示出了由PMT信号构成的、由示例数据处理和控制系统230处理的、使用图4中描述的示例算法并且由示例FPGA执行的PMT信号和荧光细胞图像的示例结果。图3A示出了来自用CellTrace CFSE染色的A549细胞的荧光的示例性时间-域PMT输出信号。图3B示出了对应的处理(例如，重新定尺寸)的荧光图像，其描绘了细胞的实际尺寸。在图中由虚线分段的编号区域示出了时域信号与所得图像之间的对应关系。大小在图3B中标出。
在x-(横向)方向上恢复的图像的空间分辨率取决于空间滤波器上的狭缝的数量，并且在y-(细胞行进)方向上取决于采样速率和细胞流速。在由成像流式细胞仪(图3B中所示)恢复的原始图像中，有效像素尺寸在x方向上为2μm并且在y方向上为约0.4μm。恢复的图像表示微流体通道中的物平面中的20μm乘以20μm的面积。
图4A示出了用于基于图像的粒子分选的方法400的示例实施例的图。方法400的实施方式可以由根据本技术的基于图像的粒子分选系统100的各种实施例执行，如系统200和系统1100。
方法400包含用于通过成像系统120捕获流过粒子流装置110(例如在询问区域115处)中的通道的粒子的图像数据的过程405。例如，过程405可以包含以预定速率或变化速率连续捕获图像，这可以基于通道中的粒子流速度。在一些实施方式中，过程405包含在成像系统120的控制器处从数据处理和控制单元230接收图像捕获命令以影响图像捕获协议以获得图像数据。例如，数据处理和控制单元130可以在系统的实时实施方式中改变由成像系统120执行的图像捕获协议的一个或多个参数。
图像捕获率可以与单个粒子的数据量相关联。例如，系统可以至少部分地基于(a)粒子流装置110的粒子流速和(b)电子采样率来确定图像捕获率和/或图像捕获协议的其它参数，例如，取决于所需的分辨率，其可以用于确定单个粒子的数据量。图像捕获率可以与成像系统120的数据处理和控制单元130和/或控制器(例如，处理器)的数据记录/计算能力相关联。例如，更高速的模数转换(ADC)和更大的存储器可以提高图像捕获率。可以至少部分地基于空间滤波器的设计来选择包含图像捕获和处理参数的图像捕获协议，例如，如在一些实施方式中，来自空间滤波器的光输出可以影响算法复杂度的处理。值得注意的是，如放大率、光学滤波器、成像模式等光学因素通常对图像捕获速度具有很小的影响(如果有的话)，但是在获得被处理以产生整体结果的输入数据方面是重要的，例如，确定用于确定分选决策或其它分析的粒子特性。
方法400包含在数据处理和控制单元130以及从成像系统120接收图像数据的过程410，其中所接收的数据与在粒子流装置110的通道中流动的成像系统120成像的粒子相关联。例如，在过程410的一些实施方式中，数据处理和控制单元130针对在粒子流装置110上的照明区域中成像的每个粒子从成像系统120的一个或多个PMT接收时间域信号数据，例如光强度。方法400包含过程420，其用于处理数据(例如，图像信号数据)以产生表示由成像系统120成像的粒子的图像的图像数据集。例如，在过程420的一些实施方式中，通过以下方式来预处理接收的图像信号数据：对数据进行滤波、使用根据本技术的图像重建算法基于经滤波数据重建图像、和/或调整重建的图像的尺寸，例如，其中重建的图像被转换为二值图像数据。方法400包含过程430，其用于分析所产生的图像数据集以基于预定标准识别成像粒子的一个或多个特征，并且基于所识别的一个或多个特征确定分选命令。在所述方法的一些实施方式中，方法400包含过程415，用于首先处理所接收的图像信号数据以检测照明区域中的粒子的存在，然后根据过程420处理数据，以产生随后根据过程430分析的图像数据集。方法400包含过程440，以向致动器140提供分选命令。所述方法400包含过程445由致动器140来执行分选命令以将在粒子流装置110的通道的分选区域中流动的粒子引导到装置110的对应输出通道。例如，在方法400的实施方式中，成像系统120和数据处理和控制系统230分别实时地实施过程405和410、420、430和440，使得致动器140接收并且执行分选命令以相应地引导粒子，例如，在从图像捕获(过程405)到粒子门控的致动(过程445)的小的时间段内将每个粒子门控到装置110的适当输出通道。例如，在过程445的一些实施方式中，致动器140包含联接到流动装置110的压电致动器，以在流体中产生流体动力学偏转，使粒子沿着期望的轨迹在粒子方向上移动以进入期望的输出通道。
在一些实施例中，数据处理和控制单元130包含对应于存储在存储器132中并且可由处理器131执行的过程410、420、430和440中的一个或任何组合的软件模块，以实施过程410、420、430和/或440。图4B示出了根据本技术的系统的示例数据处理模块的图。例如，数据处理和控制单元130可以包含粒子检测模块461、过程图像模块463和制作分选决策模块465。如图4B的示例图所示，一旦通过实施粒子检测模块461可执行的算法检测到粒子(例如，细胞)，如果检测到粒子(例如，细胞)，则数据处理和控制单元130继续实施过程图像模块463，否则，它例如通过PMT读出返回以保持记录图像。通过从细胞图像中提取参数并且将这些值与预定义的分选标准(例如，由过程图像模块463执行)进行比较，实施制作分选决策模块465以确定是否触发致动器140。在一些实施例中，数据处理和控制单元130包含记录图像模块467，以至少部分地控制成像系统120以实施过程405，例如，其可以包含启动和/或调整图像捕获协议或成像系统的设定。例如，在如利用成像器222的一些实施方式中，当记录图像模块467可操作用于控制以特定长度记录PMT读出时。
在一些实施方式中，基于要提取的一个或多个参数的类型来提取与粒子性质(例如，细胞性质)相关联的参数。例如，对于不同的形态参数，提取与细胞形态学性质相关联的参数的过程可以包含至少以下技术中的一些。所述过程可以包含分析图像区域，例如，包含确定二值图像中具有值“1”的像素的数量。像素的数量是图像区域。所述过程可以包含分析周界，例如，包含确定图像轮廓上的像素的数量，例如，当检测到图像轮廓时。所述过程可以包含分析x方向上的直径，例如，包含(例如，在二值图像中)确定每行中表示x方向的“1”像素的数量。例如，最大计数可以确定为x方向上的直径。所述过程可以包含分析y方向上的直径，例如，包含(例如，在二值图像中)，确定每列中表示y方向的“1”像素的数量。例如，最大计数可以确定为y方向上的直径。
图4C示出了过程430的示例实施方式(例如粒子检测模块461的实施方式)的图，以检测用于基于图像的细胞分选的细胞。在一些实施方式中，例如，粒子检测模块461搜索时域PMT信号的一部分，所述部分具有集成的荧光强度，在本文被称为“亮度”，其大于预设阈值。例如，在一些实施方式中，流动池或微流体装置中的细胞行进速度为0.08m/s，并且使用200kHz采样率，使得粒子分选和图像处理算法整合每个连续的500个数据点以获得亮度值。每当亮度大于第一预设阈值(例如，阈值1)时，这意味着细胞正在图像平面中进入光学系统的视场。所述算法确定亮度的时间导数，然后将其与第二预设阈值(例如，阈值2)进行比较。如果时间导数小于阈值2，则算法认为所述细胞完全在视野内，并且示例性过程430继续确定所检测的细胞的所识别的一个或多个特征，例如，因此启动过程图像模块463的实施方式。
图4D示出了亮度-时间曲线图，其描绘了基于与通过系统的照明区域行进的单个细胞相关联的时域PMT信号的处理的示例细胞检测过程实施方式。如图中所示，在1.176秒时间标记之后，基于阈值(例如，亮度≥1.0)检测到细胞进入成像区域(例如，询问区域115)，并且系统捕获图像信号数据，直到在1.179秒时间标记之后基于阈值(例如，亮度≤1.0)检测到细胞离开成像区域。
图5A示出了过程430的示例实施方式的图，例如，过程图像模块463的实施方式，以确定用于基于图像的细胞分选的检测到的细胞的所识别的一个或多个特征。在图5A所示的实例中，过程420在过程430的一些方面之后实施，例如，特别是在分析图像信号数据以确定是否检测到细胞之后。例如，在如图5A所示的一些实施方式中，在对接收的图像信号数据进行部分分析以确定细胞的存在之后，过程图像模块463预处理包含滤波或其它信号处理技术的图像信号数据(例如，时域PMT信号)。例如，在一些实施方式中，对接收的图像信号数据进行低通滤波以消除高频噪声。在一些实例中，使用用于低通滤波的10阶汉明窗，其是可应用的特定低通滤波器的实例。过程图像模块463可以实施过程420的其它特征，包含图像重建技术(例如，基于本文所描述的示例算法，包含等式(1))以将时域信号转换为表示细胞荧光的2维空间分布的图像。之后，重建的细胞图像被调整大小以用于保真目的并且被转换成二值图像。对于二值图像，例如，应用可选的开敞式滤波器技术来去除寄生噪声，并且过程图像模块463在应用开敞式滤波器之后检测一个或多个细胞特征(例如，细胞壁或膜检测)。在一些实施方式中，可在检测到一个或多个细胞特征之后应用开敞式滤波器。过程图像模块463基于检测到的细胞特征来提取参数，所述细胞特征描述如细胞形态等细胞的各方面，其可以与来自用户的预设分选标准的值进行比较，以便随后确定分选命令(例如，门控命令)。
下文针对演示基于图像的细胞分选的实例研究描述使用系统200的方法400的示例实施方式。在示例研究中，成像系统220包含具有高斯能量分布的椭圆形光束形状的100mW 488-nm激光器(例如，iBeam-SMART，Toptica)，其被准直、聚焦、然后扩展以照射区域在100μm(x方向)×250μm(y方向)上形成微流体装置210上的照明区域215。通过具有500nm截止波长的微型分色镜(例如，ThorLabs)的荧光和散射光通过50×、0.55NA物镜(例如Mituyoyo)收集。通过PMT(例如，H9307-02，Hamamatsu)获取每个通道中的光强度信号。
例如，由过程图像模块463实施的图像重建技术用于图像数据的空间到时间转换，其可以在下面以数学方式表达：
S(t)＝∫x，y细胞(x，y-Mvt)·F(x，y)·I(x，y)dxdy (1)
其中S(t)是测量的PMT信号，细胞是二维细胞荧光或散射强度分布，F(x,y)是空间滤波器的特征函数，I(x,y)是激光照明的强度分布，y是沿着细胞行进方向和x是沿横向方向，以及M是与流式细胞仪有关的光学系统的放大系数。当细胞以速度v在微流体通道中行进时，投射到空间滤波器上的图像，例如图2B中所示的实例SF 224，以Mv的有效速度行进。在最简单的情况下，为了解释等式(1)中的细胞的原理和求解，可以选择F(x,y)为大致在等式(2)和I(x,y)中表示的一系列小切口(例如，100μm×50μm矩形切口)，使其成为来自均匀强度的激光束(即顶帽光束轮廓)的常数：
其中x＝1,2,…,N是空间滤波器中的行数，L是传输荧光的两个狭缝之间的距离。结果，例如，可以从以下关系构建细胞图像：
例如，可以由过程图像模块463实施的示例图像重建技术包含确定两个变量：每个峰值中的采样点的数量，以及用于细胞流动的时域图像信号数据(例如，PMT信号)的起始点。例如，由于细胞不以完全均匀的速度行进，每个峰中的采样点数量略有变化；并且由于细胞行进速度以及图像区域中的细胞位置稍微改变(例如，基于示例空间滤波器设定的20μm×20μm图像区域)，时域PMT读出的起始点也改变。在示例图像重建技术中，m被称为PMT读出的起始点，n被称为每个峰值中的点数。例如，基于细胞速度变化，n的范围为46到51。因此，m的范围为0到519-10n。示例图像重建技术扫描m和n以确保最佳组合以重建细胞图像。例如，针对扫描中的每个组合计算每个峰的起始点处的强度的总和。最小求和的组合是图像重建的正确答案。在计算m和n之后，它们可用于重建明场和荧光图像，因为两个PMT记录的信号是同步的。示例图像重建技术基于等式(4)计算值，
图5B示出了描绘图像重建技术的实施方式的结果的示例数据图，例如，其示出了搜索每个峰的起始点和采样点数的最佳组合的示例结果。在数据图中示出的黑色“*”符号表示重建算法找到的每个峰的起始点。
通常，利用上文所描述的空间滤波器(例如，图2B的空间滤波器224)插入图像平面，来自细胞的不同部分的荧光将在不同时间通过不同的狭缝。结果，来自PMT的荧光信号的波形包含在时域中分离的一系列图案，并且时域中的信号的每个部分对应于由每个特定的细胞状态产生的荧光信号。在接收到每个狭缝上的光强度分布之后，可以通过将所有分布拼接在一起来构建整个细胞的细胞图像。在图2A到图2C所示的系统200的示例实施例中，空间滤波器含有依次定位的十个100μm×50μm的矩形狭缝。例如，对于50×物镜(M＝50)，滤波器设计允许使用包含等式(3)的算法构造行进细胞的荧光或散射图像(例如，不大于20μm×20μm)，这需要最少量的计算并且适用于高通量、实时基于图像的细胞分类和分选。例如，使用50×/0.55NA物镜，500kHz采样率获取PMT信号，以及0.2m/s细胞行进速度，由12μL/min样品流速和120μL/min鞘流速度给出，y方向上的像素的有效尺寸是其小于瑞利准则(Rayleigh Criterion)，因此导致y方向上的衍射限制分辨率。这里R是此计算中PMT读出的采样率。注意，可以使用其它实施方式参数，如：细胞以约8cm/s的速度行进(例如，由流速给出)；图像区域设定为20μm×20μm(例如，基于10个峰的荧光图像的PMT读出)；采样率为200kSamples/s，使得每个峰包含50个采样点。
对于示例研究，空间滤波器的设计在AutoCAD中绘制并且以20,000点/英寸(dpi)打印到透明掩模。在6英寸玻璃晶片上以3,000转/分钟(rpm)旋涂一层负性光致抗蚀剂(例如，NR9-1500PY，Futurrex公司(Futurrex,Inc.))。将晶片在150℃的热板上加热3分钟，然后通过透明掩模暴露于UV光(例如，EVG620NT，EV集团(EV Group))。UV曝光后，将晶片在100℃下烘烤另外3分钟，然后在RD6(例如，Futurrex公司)中显影12秒。将200nm厚的铝膜溅射到玻璃晶片上。在金属剥离后，形成空间滤波器的图案，并且将玻璃晶片切成15mm×15mm的片。为了帮助固持流式细胞仪系统中的空间滤波器，将具有十个50μm×100μm狭缝的空间滤波器安装到通过3D打印方法制造的样品固持器上。
对于实例研究，用pEGFP-GR质粒(例如，Addgene)转染HEK293T人类胚胎肾细胞样品。连续培养3天后，将1μM地塞米松(例如，西格玛奥德里奇公司(Sigma-Aldrich))添加到培养基中。孵育60分钟后，采集HEK293T细胞，用4％多聚甲醛固定、洗涤并且重悬于1X磷酸盐缓冲盐水(PBS)中。在每次成像实验之前，将悬浮液在PBS中稀释到200细胞/μL的浓度。
在示例性研究中使用的基于图像的细胞分选系统200的示例性实施例包含空间掩模，其包含10个狭缝并且利用约0.08m/s的细胞流速。图像面积设定为20μm×20μm。在这种设计中，来自细胞荧光的PMT信号似乎是10个分离的峰，并且每个峰的采样点数为约50。然而，不同细胞的速度不是完全均匀的，因此每个细胞的采样点数略有变化，并且还需要确定每个峰的起始点。如此，数据处理算法被配置成考虑这种变化的细胞速度，即，搜索特定范围内的每个峰的采样点的起点和数量，从而可以成功地重建细胞图像。基于细胞流速的变化，每个峰的采样点数通常在46到51之间。因此，细胞图像中的总点数为460到510。对于每个细胞，一旦粒子检测模块461确定存在细胞，就记录520个采样点的长度的PMT信号。例如，为了确保每个峰值的起始点和采样点数量的最佳组合，所述算法将采样点的数量从46个扫描到51个并且相应地开始每个峰值的起始点。对于扫描中的每个组合，计算所有起始点处的强度之和，并且选择具有最小总和的组合作为图像重建的正确答案。
图6示出了描绘用于基于示例图像重建的细胞的荧光强度信号的数据图。示例结果指示搜索每个峰的起始点和采样点数量的最佳组合。
图7示出了细胞的重建图像的实例，例如，其中在使用标准的情况下，使用荧光区域确定细胞的边界以产生细胞的图像。对于开敞式滤波器，其是侵蚀然后扩张，使用3×3邻域。在细胞壁或膜检测步骤中，扫描二值细胞图像中的所有像素。对于具有非零强度的像素，示例算法检查其3×3邻域中的所有九个像素。通过对其具有非零强度的相邻像素进行计数，例如，如果计数的数量大于0且小于8，则将此像素确定为细胞壁或膜上的像素。
示例技术至少部分地使用FPGA实施。表1示出了数据处理算法的示例实施方式中的每个步骤的向上近似延迟结果，其中总延迟在3.3ms内。示例数据处理算法可灵活地在多个平台上实施，包含并行实施。例如，利用图形处理单元(GPU)的并行处理能力，所述算法还可以在GPU中实现，例如，通过Nvidia的CUDA架构或通过AMD的OpenCL。图像分选算法具有结合GPU的并行处理能力的更短的运行时间，因此进一步提高了分选吞吐量。尽管在本专利文献中以示例方法的形式描述了产生细胞图像的公式，但值得注意的是，当使用与先前描述的10个狭缝空间掩模不同的空间滤波器设计时，所述算法可能稍微不同。然而，所述系统的整体工作程序保持不变。
表1示出了描述实例FPGA设计中的模块的性能的示例数据，例如，其中延迟以时间(ms)表示。
表1.
延迟(毫秒)
低通滤波器 0.6
重建图像 0.4
调整图像大小 0.8
打开滤波器 0.9
检测细胞壁 0.4
提取形态参数(例如，细胞区域) 0.2
总计 3.3
描述了来自示例研究的示例分选结果。例如，为了证明示例性基于实时图像的细胞分选系统的可行性，对具有荧光细胞质的细胞和具有荧光核的细胞的混合物执行分选测试。在用pEGFP-GR质粒转染后，正常人类胚胎肾细胞HEK293T细胞表达GFP，其可以被488nm激光激发并且在其细胞质中具有509nm的发射峰。在1μM地塞米松处理1小时后，荧光从细胞质区域转移到细胞核。
图8A和图8B示出了转染但未经药物处理的细胞(图8A)和转染且经药物处理的细胞(图8B)的示例荧光显微镜图像。图8A和图8B的图像表示20μm×20μm的面积。如未经药物处理的转染的HEK293T细胞(图8A)和经处理的所述细胞(图8B)的示例代表性显微图像所示，药物处理的细胞图像具有较小的荧光面积，但处理和未处理细胞两者的荧光强度的量值都具有相当宽的范围。
如图8A和图8B的图像所示，两行的左列示出了荧光图像；中间列示出了明场图像；以及右列示出了叠加图像。第1行示出了具有分布在细胞质中的荧光的样品细胞(例如，未用地塞米松处理)。第2行示出了具有分布在细胞核中的荧光的样品细胞(用地塞米松处理)。细胞是pEGFP-GR质粒转染HEK293T人类胚胎肾细胞。
图9A和图9B示出了由转染但未经药物处理的细胞(图9A)和转染且经药物处理的细胞(图9B)的基于图像的细胞分选系统拍摄的荧光细胞图像。示例图像表示20μm×20μm的面积。
图10示出了来自示例研究的所有事件和经分选细胞的示例所计算荧光面积的直方图。
在示例研究中，分选标准预设为84μm2，因此经药物处理的细胞通过示例系统分选。在此示例研究中，由于细胞大小、核大小和药物吸收的变化，有可能并非所有药物处理的细胞都被分选，但是分选的细胞都只在细胞核中有荧光，所以纯度得到保证。
如在系统200的示例实施例的示例实施方式中所证明的，所公开的系统和技术提供了具有基于单细胞的荧光和光散射图像的细胞分选能力的高通量流式细胞仪。实现了FPGA和/或GPU中的细胞图像捕获、处理和分选驱动，示例结果示出了上述设计提供了毫秒级的整体处理延迟。
图11示出了根据基于图像的粒子分选系统100的一些实施例的基于图像的细胞分选微流体系统1100的图。系统1100包含：微流体装置1110，用于使粒子流过用于分选的光学询问通道；成像系统1120，用于获得询问通道的照明区域中的粒子的图像数据；数据处理和控制系统1130，用于实时处理获得的图像数据并且确定分选命令；以及致动器1140，用于基于所确定的分选命令来门控微流体装置210中的粒子。在示例系统1110的一些实施方式中，微流体装置1110和致动器1140可以分别包含微流体装置210和致动器240。
系统1100的成像系统1120包含光源1121(例如，激光器)，用于在微流体装置1110的照明区域处提供输入或探测光；以及光学成像器1122，用于获得照明区域215中的被照射粒子的图像。如图11所示，示例光学成像器1122包含(例如，显微镜或其它光学成像装置的)物镜1123，所述物镜光学联接到空间滤波器(SF)1124的、发射滤波器(EF)1125A和1125B以及光电倍增管(PMT)1126。在图11所示的示例实施方式中，成像系统1120包含分色镜(DM)1129A和1129B，其中DM1129A与光源一起布置以将输入光引导到微流体装置1110上的照明区域，并且DM 1129B与光学成像器1122一起布置在光路中，以通过EF 1125B将一部分光输出信号引导到PMT 1126B，而光输出信号的无向部分经由EF1125A前进到PMT1126A。在一些实施方式中，光源1121(例如，激光器)被配置成产生荧光激发信号，所述荧光激发信号入射在照明区域上以引起粒子的荧光发射。光学成像器1122在PMT 1126A和1126B处捕获光学输出荧光发射信号，使得粒子的图像可以生成。
在系统1100的示例实施方式中，悬浮的单细胞通过鞘流在微流体装置1110的分选通道中流体动力学聚焦，从而确保细胞以均匀的速度在流体通道的中心行进。例如，荧光发射和明场信号均可以由多个光电倍增管检测，例如PMT 1126A和1126B。为了适应微流体装置的几何形状，来自激光器1121的488nm激光束通过位于50×物镜前面的微型分色镜1129A(例如，NA＝0.55，工作距离＝13mm)通过52度反射引入光学询问。在一些示例实施例中，系统1100包含光学光源1128(例如，LED，如图11中所示的示例405nm LED)，其可以放置在通道的相对侧以生成明场图像，并且其中光可以聚焦在激光照明位置。将空间编码滤波器(例如SF 1124)插入检测路径中的图像平面。为了将期望的发射带路由到其各自的PMT，分色镜1129B基于光谱分离由物镜收集的荧光和明场光。重建图像的空间分辨率由滤波器确定。x-(横向)方向的分辨率取决于滤波器上的狭缝数量，y-(细胞行进)方向取决于采样速率和细胞流速度。在图11中所示的系统1100的示例实施例中，有效像素尺寸在x方向上为2μm并且在y方向上为约0.4μm。
图12示出了系统1100的示例实施例的示例图像处理实施方式的流程图。数据处理和控制单元1130包含用于处理由成像系统1120捕获的荧光和明场图像的图像处理模块。例如，用于实施方法400的过程420和过程430的各方面的示例图像处理模块包含预处理来自多个PMT 1126A和PMT 1126B的接收的图像信号数据。在这种实施方式中，可以在基于对接收的图像信号数据的分析确定细胞的检测之后执行预处理技术。在图12所示的实例中，荧光和明场图像的PMT信号被低通滤波以消除高频噪声。在一些实施方式中，例如，10阶汉明窗用于低通滤波。示例图像处理模块被配置成执行图像重建算法以从时域PMT信号重建明场和荧光图像，例如，重建为2维图像。由于明场和荧光信号由相同的狭缝生成，因此它们由数据处理和控制单元1130同步。在一些实施方式中，对于明场和荧光图像两者启动一次图像重建算法。在一些实施方式中，例如，将重建的图像大小调整为50×50像素。在一些实施方式中，例如，基于强度阈值将灰度图像转换为二值图像。在一些实施方式中，例如，通过开敞式滤波器对二值图像进行滤波以消除寄生噪声。在一些实施方式中，例如，启动细胞轮廓算法以检测两个二值图像的轮廓。在一些实施方式中，例如，基于处理的图像提取形态参数，并且基于提取的参数进行分选决策。
图13A示出了描绘通过图12中所示的示例图像处理步骤的示例数据的流程图。在图中，示例图像处理模块产生包含图像轮廓特征的检测到的单个细胞的重建和调整大小的图像，其允许从产生的图像中提取如细胞形态等细胞特征参数。
所述算法在FPGA(National Instrument cRIO-9039)上实施。表2示出了由数据处理和控制单元1130的示例图像处理模块实施的每个步骤的示例性向上近似延迟结果。明场和荧光图像的图像处理并行执行。如表中所示，对于此实例，图像处理的总延迟大约为5.8毫秒。
表2示出了描述系统1100的示例实施方式的实例FPGA设计中的模块的性能的示例数据，例如，其中延迟以时间(ms)表示。
表2.
延迟(毫秒)
低通滤波器 0.8
重建 0.4
调整大小 1.6
打开滤波器 2
细胞轮廓检测 1
总计 5.8
例如，通过减少图像处理的时间延迟，可以提高分选吞吐量。例如，利用具有更多计算资源的更强大的FPGA，图像处理模块可以进一步并行以改善时间延迟。示例图像处理算法还可以替代地或另外地(例如，与FPGA并行处理)在GPU上实施，例如，如通过Nvidia的CUDA架构或AMD的OpenCL作为实例。因为示例图像处理算法是数据并行的，所以通过利用GPU的并行处理能力，可以大大加快处理速度，从而可以实现更高的吞吐量。
在一些实施方式中，例如，数据处理和控制单元1130可以被配置成例如使用接收器操作特性(ROC)来评估所提取的形态参数。选择顶部参数用于实时分选。
在一些实施方式中，使用ROC技术评估所提取的形态参数的方法包含以下方法。例如，ROC技术可以应用于来自流动细胞样品通过系统获得的图像数据的处理数据。例如，可以将细胞图像分成两个子集，例如，在某些情况下通过手动识别。作为实例，两个子集可以是易位细胞(例如，分选组)和未易位细胞(例如，未分选组)。对于每个细胞，提取形态参数。ROC技术可以包含为两个子集的每个参数生成分布。所述技术包含生成曲线，所述曲线是分布的ROC曲线。所述技术包含计算曲线下面积(AUC)，即曲线的积分。所述技术包含评估参数如何应用于分类，例如，可以选择具有较大AUC的参数作为用于分类的最佳合适参数。
图13B示出了使用示例ROC技术来评估如细胞形态参数等提取参数的子集的示例分布图。在所示的实例中，ROC包含TP、FP、FN、TN(TP为真阳性、FP为假阳性、FN为假阴性、TN为真阴性)。示例曲线表示ROC曲线。具有较大AUC的参数对于分类更好。
在选择参数进行分选后，支持向量机(SVM)可以用于使用所选参数生成非线性超平面作为门控标准。
作为实例，在将图像分离成子集(例如，如两个示例子集)之后，针对每个图像计算所选择的参数。每个图像对应于n维向量(n是所选参数的数量)。实施示例SVM技术以生成分隔子集的n维空间中的边界。例如，在进行分选决策时，可以计算每个细胞的所选参数，例如，以便知道单元位于边界的哪一侧(例如，细胞属于哪个子集)。然后，可以进行分选决策。
在表3中示出了提取的形态参数的实例。
表3.
荧光图像 明场图像 荧光图像+明场图像
面积 面积 荧光面积/明场面积(面积比)
周长 周长 荧光周长/明场周长(周长比)
形状因子(面积/周长) 形状因子(面积/周长)
直径(x方向) 直径(x方向)
直径(y方向) 直径(y方向)
下文描述使用系统1100的方法400的示例实施方式，例如，示出基于图像的细胞分选的研究，包含基于蛋白质易位的分选、基于细胞生命周期的分选以及基于结合在细胞的细胞膜上的珠子数量的分选。
一个示例研究包含分选pEGFP-GR质粒易位HEK-297T人类胚胎肾细胞，例如基于蛋白质易位的分选实施方式。所述示例研究证明了识别和分选pEGFP-GR质粒的能力，使得来自易位和未易位混合物的HEK-297T人类胚胎肾细胞易位。在所述研究中，用GR-GFP转染HEK-293T人类胚胎肾细胞并且分成2块平板。一块细胞未经处理，因此荧光停留在细胞质中。另一块细胞用药物处理，因此荧光从细胞质迁移到细胞核。将两种类型的细胞混合并且流过系统，其中仅基于示例方法的实施方式对易位细胞进行分选和收集。
在示例研究中，记录的PMT信号由数据处理和控制单元处理，例如，执行由Matlab代码实施的算法。基于PMT信号，重建每个细胞的荧光和明场图像，并且提取和记录每个细胞的形态参数。提取的形态参数用于监督机器学习以生成用于基于实时图像的细胞分选的标准。
在示例研究中，通过手动识别将重建的细胞图像分成两个子集。一个细胞亚群是在细胞质中具有荧光的未易位细胞，另一个细胞亚群是在细胞核中具有荧光的易位细胞。
图14A和图14B示出了由示例系统捕获并且由Matlab代码重建的未易位细胞和易位细胞的细胞图像。图14A示出了未易位细胞的图像，并且图14B示出了易位细胞的图像。在图14A和图14B的图像中，左边的图像是细胞的荧光图像，中间的图像是细胞的明场图像，以及右边的图像是检测到的明场轮廓的覆盖图像。
在示例研究中，使用接收器操作特性(ROC)基于两个带注释的子集来评估形态参数。选择顶部3个参数进行实时分选。例如，在这种情况下，顶部3个参数是荧光面积/明场面积(例如面积比)、荧光周长/明场周长(例如，周长比)和荧光面积。
在示例研究中，使用三个选定参数的分选标准用于系统中细胞的实时分选。基于所选择的顶部三个参数分离两个细胞子集的三维非线性超平面由支持向量机(SVM)形成。
图15示出了超平面的实例，其展现了两个细胞集(例如，易位细胞和未易位细胞)的分离，用于实施分选标准。
将两种类型的细胞以50:50混合并且使用磷酸盐缓冲盐水(PBS)稀释到200/μL。混合的样品流过基于图像的示例分拣系统并且基于实时模块进行分选。细胞以8cm/s的速度行进，其通过6μL/min的样品流速和60μL/min的鞘流速给出。示例成像器包含具有CCD相机的显微镜，其用于捕获收集的细胞的荧光和明场图像。
图16A和图16B示出了由示例系统通过显微镜捕获的未易位细胞和易位细胞的细胞图像。图16A示出了未易位细胞的显微镜图像，并且图16B示出了易位细胞的显微镜图像。在图16A和图16B的图像中，左边的图像是显微镜成像的细胞的荧光图像，中间的图像是显微镜的细胞的明场图像，右边的图像是叠加图像。
一个示例研究包含在G2/M阶段分选MDCK Madin-Darby犬肾上皮细胞，例如基于细胞生命周期的分选实施方式。在所述研究中，固定MDCK Madin-Darby犬肾上皮细胞并且用碘化丙啶(PI)染色细胞核。使固定和染色的MDCK细胞流过基于图像的示例分选系统，并且仅分选和收集G2/M期的细胞。
与用于基于蛋白质易位的分选的示例研究类似，处理记录的PMT信号以重建细胞图像并且提取形态参数。通过手动识别将重建的细胞图像分成两个子集。一个细胞亚群处于G1期。在G1期处，细胞核的成分被限制在细胞核膜中。另一个细胞亚群处于G2/M期。在G2/M期，核膜破裂，并且细胞核成分分布在细胞内。
图17A和图17B示出了由示例系统捕获并且由Matlab代码重建的G1期细胞和G2/M期细胞的细胞图像。图17A示出了G1期细胞的图像，并且图17B示出了G2/M期细胞的图像。在图17A和图17B的图像中，左边的图像是细胞的荧光图像，中间的图像是细胞的明场图像，以及右边的图像是检测到的明场轮廓的覆盖图像。
与基于蛋白质易位的分选的示例研究类似，使用ROC评估形态参数，并且通过SVM形成三维非线性超平面。顶部3个形态参数是荧光面积/亮场面积(例如面积比)、荧光面积和荧光周长/明场周长(例如，周长比)。
图18示出了超平面的实例，其展现出用于实施分选标准的两个细胞集(例如，G1期细胞和G2/M处细胞)的分离。
使用PBS将MDCK细胞稀释到200/μL。样品流过示例系统并且基于实时模块进行分选。细胞以8cm/s的速度行进，其通过6μL/min的样品流速和60μL/min的鞘流速给出。示例成像器包含具有CCD相机的显微镜，其用于捕获收集的细胞的荧光和明场图像。
图19A和图19B示出了由示例系统通过显微镜捕获的G1期细胞和G2/M细胞的细胞图像。图19A示出了G1期细胞的显微镜图像，并且图19B示出了G2/M期细胞的显微镜图像。在图19A和图19B的图像中，左边的图像是显微镜成像的细胞的荧光图像，中间的图像是显微镜的细胞的明场图像，右边的图像是叠加图像。
一个示例研究包含基于与细胞结合的珠子数量对HEK-297T人类胚胎肾细胞进行分选，例如，基于结合在细胞的细胞膜上的珠子数量的分选实施方式。在所述研究中，HEK-297T人类胚胎肾细胞与荧光珠子结合并且用CFSE试剂盒染色。细胞的荧光为520nm，并且珠子的荧光为645nm。两个波长的荧光信号由分色镜引导并且由两个PMT检测。基于结合珠子的数量对细胞进行分选。相应地修改了用于此应用的图像处理模块以处理图像。
图20示出了用于基于由系统1100的示例实施例实施的细胞的细胞膜上结合的珠子数量进行分选的示例图像处理实施方式的流程图。数据处理和控制单元1130包含用于处理由成像系统1120捕获的荧光和明场图像的图像处理模块。例如，用于实施方法400的过程420和过程430的各方面的示例图像处理模块包含预处理来自多个PMT 1126A和PMT 1126B的接收的图像信号数据。如图所示，例如，两个波长的荧光信号都经过低通滤波。在此示例研究中，520nm处的荧光信号用于图像重建。将重建的珠子图像尺寸调整为50×50像素。实施了顶帽变换以删除图像背景。在此示例实施方式中，7×7像素邻域用于顶帽变换。在此示例实施方式中，灰度图像被转换为二值图像。提取形态参数。在此实例中，选择图像区域作为分选标准，因为珠子具有相对均匀的尺寸。在一些实施方式中，例如，基于处理的图像提取形态参数，并且基于提取的参数进行分选决策。
表4示出了实时图像处理的总延迟为7.8毫秒。使用FPGA进行珠子计数实施了示例模块。
表4.
延迟(毫秒)
低通滤波器 0.8
重建 0.4
调整大小 1.6
顶帽变换 5
总计 7.8
图21示出了由具有不同数量的珠子的图像处理模块处理的灰度细胞图像的实例。如图21所示，左列中的图像是珠子的荧光图像，中间列中的图像是细胞的荧光图像，以及右列中的图像是叠加图像。
图22示出了不同数量珠子的珠子图像区域的直方图。
实例
以下实例说明本技术的若干实施例。可以在以下列出的实例之前或者在以下列出的实例之后呈现本技术的其它示例性实施例。
在根据本技术的一些实施例中(实例A1)，基于图像的粒子分选系统包含粒子流装置，其构造成包含基板；形成在基板上的通道，其可操作以使流动粒子沿着流动方向流动到所述通道的第一区域；以及在靠近所述通道中的所述第一区域的第二区域处从所述通道分叉的两个或两个以上输出路径；成像系统，其与粒子流装置介接，并且当流过通道期间，当粒子位于第一区域时，可操作以获得与所述粒子相关联的图像数据；与所述成像系统通信的数据处理和控制单元，所述数据处理和控制单元包含处理器，所述处理器被配置成处理由所述成像系统获得的所述图像数据，以从所述处理的图像数据确定与粒子相关联的一个或多个性质，并且基于所述确定的一个或多个性质与分选标准的比较来产生控制命令；以及致动器可操作地联接到所述粒子流装置并且与所述致动器通信，所述致动器可操作以基于所述控制命令将所述粒子引导到所述两个或两个以上输出路径的输出路径中，其中所述系统能够操作以在从由所述成像系统进行图像捕获的第一时间到由所述致动器进行粒子引导的第二时间的15毫秒或更短的时间帧范围内在所述通道中的流动期间对所述粒子中的每一个进行分选。
实例A2包含实例A1所述的系统，其中所述粒子流装置包含微流体装置或流动池，所述微流体装置或流动池与所述微流体装置或所述流动池的所述基板上的所述致动器集成。
实例A3包含实例A1所述的系统，其中所述致动器包含压电致动器，所述压电致动器联接到所述基板并且可操作以产生偏转以使所述粒子在所述第二区域中在某一方向上移动，从而将所述粒子沿着轨迹引导到所述两个或两个以上输出路径的所述输出路径。
实例A4包含实例A1所述的系统，其中所述成像系统包含：一个或多个光源，用于在所述粒子流装置的所述第一区域处提供输入光；以及光学成像器，用于从所述第一区域中的所述输入光照射的所述粒子捕获所述图像数据。
实例A5包含实例A4所述的系统，其中所述一个或多个光源包含激光器或发光二极管(LED)中的至少一种。
实例A6包含实例A4所述的系统，其中所述光学成像器包含显微镜的物镜，所述物镜光学联接到空间滤波器、发射滤波器和光电倍增管。
实例A7包含实例A6所述的系统，其中所述光学成像器进一步包含一个或多个光导元件，以在所述第一区域处引导所述输入光，以将由所述粒子发射或散射的光引导到所述光学成像器的光学元件，或两者。
实例A8包含实例A7所述的系统，其中所述光导元件包含分色镜。
实例A9包含实例A6所述的系统，其中所述光学成像器包含两个或两个以上光电倍增管，以基于由所述粒子发射或散射的两个或两个以上光带或者两个或两个以上类型的光产生两个或两个以上对应信号。
实例A10包含实例A1所述的系统，其中所述数据处理和控制单元的所述处理器包含并行的现场可编程门阵列(FPGA)、图形处理单元(GPU)或FPGA和GPU。
实例A11包含实例A1所述的系统，其中所述数据处理和控制单元被配置成接收与在所述粒子流装置上的所述第一区域中成像的所述粒子相关联的所述图像数据(例如，包含时域信号数据)，处理所述图像数据以产生代表所述粒子图像的图像数据集，分析所述产生的图像数据集以从与所述粒子的所述一个或多个性质相关联的所述图像数据集中提取一个或多个参数，以及基于所提取的一个或多个参数与所述分选标准的一个或多个阈值的比较来确定所述控制命令。
实例A12包含实例A11所述的系统，其中所述数据处理和控制单元被配置成处理所述图像数据以通过对所述图像数据进行滤波、基于所述经滤波数据重建第一图像、以及调整所述重建的第一图像的大小以产生第二图像来产生所述图像数据集，其中所述第二图像包含二值图像数据。
实例A13包含实例A1所述的系统，其中粒子包含细胞，并且与所述细胞相关联的所述一个或多个性质包含以下的一种或多种：所述细胞特征的数量或大小、附着于所述细胞的一个或多个亚粒子，或所述细胞的特定形态或所述细胞的一部分。
实例A14包含实例A1所述的系统，其中粒子包含细胞，并且所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
实例A15包含实例A1所述的系统，其中粒子包含细胞，并且与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，包含细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞的损伤或所述细胞对物质或亚粒子的吞噬。
在根据本技术的一些实施例中(实例A16)，用于基于图像的粒子分选的方法包含获得流过粒子流装置的通道的粒子的图像信号数据；处理所述图像信号数据以产生代表所述粒子图像的图像数据集；分析所述产生的图像数据集以从所述处理的图像数据中识别所述粒子的一个或多个性质；通过用分选标准评估一个或多个识别的性质来产生控制命令；基于所述控制命令将所述粒子引导到所述粒子流装置的多个输出路径之一中。
实例A17包含实例A16所述的方法，其中在15毫秒或更短的时间帧内在所述粒子在通道中流动期间执行获得、处理、分析、产生和引导操作。
实例A18包含实例A16所述的方法，其中所述产生控制命令包含从与所述粒子的所述识别的一个或多个性质相关联的所述粒子的处理后的图像数据中提取一个或多个参数，并且将从所述图像中提取的一个或多个参数与所述分选标准的一个或多个阈值进行比较。
实例A19包含实例A16所述的方法，其中处理所述图像信号数据以产生所述图像数据集包含对所述图像信号数据进行滤波；基于所述经滤波数据重建第一图像；以及调整所述重建的第一图像的大小以产生第二图像，其中所述第二图像包含二值图像数据。
实例A20包含实例A16所述的方法，其中所述处理图像信号数据包含在产生代表所述粒子图像的所述图像数据集之前检测所述粒子的存在。
实例A21包含实例A20所述的方法，其中检测粒子的存在包含计算与所述图像信号数据的信号强度的量值相关联的亮度值；用第一阈值评估所述亮度值；当所述亮度值超过所述第一阈值时确定导数值；评估所述导数值超过第二阈值；确定所述导数值超过所述第二阈值。
实例A22包含实例A16所述的方法，其中流过通道的粒子是细胞，并且与所述细胞相关联的所述一个或多个性质包含以下的一种或多种：所述细胞特征的数量或大小、附着于所述细胞的一个或多个亚粒子，或所述细胞的特定形态或所述细胞的一部分。
实例A23包含实例A16所述的方法，其中流过通道的粒子是细胞，并且所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
实例A24包含实例A16所述的方法，其中流过通道的粒子是细胞，并且与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，包含细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞的损伤或所述细胞对物质或亚粒子的吞噬。
在根据本技术的一些实施例中(实例A25)，用于获得流式细胞仪装置中的细胞的基于图像的分选的方法包含记录图像；分析记录的图像以确定是否检测到细胞；当确定检测到细胞时，处理图像；并且基于处理结果，确定是否在流式细胞仪装置中触发致动器。
实例A26包含实例A25所述的方法，其中在确定未检测到细胞时，重新开始记录图像。
实例A27包含实例A25所述的方法，其中确定是否检测到细胞包含计算亮度值；确定亮度值是否超过第一阈值；当确定亮度值超过第一阈值时，确定导数值；确定导数值是否超过第二阈值；当确定导数值超过第二阈值时，提供检测到细胞的指示，其中当没有确定亮度值超过第一阈值或导数值超过第二阈值时，提供未检测到的细胞的指示或不提供指示。
在根据本技术的一些实施例中(实例A28)，粒子成像和流动系统包含粒子流装置，其构造成包含基板；形成在基板上的通道，其可操作以使流动粒子沿着流动方向流动到所述通道的第一区域；成像系统，其与粒子流装置介接，并且当流过通道期间，当粒子位于第一区域时，可操作以获得与所述粒子相关联的图像数据；以及与所述成像系统通信的数据处理和控制单元，所述数据处理和控制单元被配置成处理由所述成像系统获得的所述图像数据，并且确定与粒子相关联的一个或多个性质，以产生包含指示所确定的粒子的一个或多个性质的数据的分析数据集。
实例A29包含实例A28所述的系统，其中粒子流动装置包含微流体装置或流动池。
实例A30包含实例A28所述的系统，其中所述成像系统包含：一个或多个光源，用于在所述粒子流装置的所述第一区域处提供输入光；以及光学成像器，用于从所述第一区域中的所述输入光照射的所述粒子捕获所述图像数据。
实例A31包含实例A30所述的系统，其中所述一个或多个光源包含激光器或发光二极管(LED)中的至少一种。
实例A32包含实例A30所述的系统，其中所述光学成像器包含显微镜的物镜，所述物镜光学联接到空间滤波器、发射滤波器和光电倍增管。
实例A33包含实例A32所述的系统，其中所述光学成像器进一步包含一个或多个光导元件(例如，分色镜)，以在所述第一区域处引导所述输入光，以将由所述粒子发射或散射的光引导到所述光学成像器的光学元件，或两者。
实例A34包含实例A30所述的系统，其中所述光学成像器包含两个或两个以上光电倍增管，以基于由所述粒子发射或散射的两个或两个以上光带或者两个或两个以上类型的光产生两个或两个以上对应信号。
实例A35包含实例A28所述的系统，其中所述数据处理和控制单元的所述处理器包含并行的现场可编程门阵列(FPGA)、图形处理单元(GPU)或FPGA和GPU。
实例A36包含实例A28所述的系统，其中所述数据处理和控制单元被配置成接收例如包含与在所述粒子流装置上的所述第一区域中成像的所述粒子相关联的时域信号数据的所述图像数据，处理所述图像数据以产生代表所述粒子图像的图像数据集，以及分析所述产生的图像数据集以从与所述粒子的所述一个或多个性质相关联的所述图像数据集中提取一个或多个参数。
实例A37包含实例A36所述的系统，其中所述数据处理和控制单元被配置成处理所述图像数据以通过对所述图像数据进行滤波、基于所述经滤波数据重建第一图像、以及调整所述重建的第一图像的大小以产生第二图像来产生所述图像数据集，其中所述第二图像包含二值图像数据。
实例A38包含实例A28所述的系统，其中粒子包含细胞，并且与所述细胞相关联的所述一个或多个性质包含以下的一项或多项：所述细胞特征的数量或大小、附着于所述细胞的一个或多个亚粒子，或所述细胞的特定形态或所述细胞的一部分。
实例A39包含实例A28所述的系统，其中粒子包含细胞，并且所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
实例A40包含实例A28所述的系统，其中粒子包含细胞，并且与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，包含细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞的损伤或所述细胞对物质或亚粒子的吞噬。
在根据本技术的一些实施例中(实例B1)，系统包含与片上分选致动器集成的微流体装置；高速及高灵敏度成像光学系统；以及实时细胞图像处理和分选控制电子系统。
实例B2包含实例B1所述的系统，其中实时细胞图像处理和分选控制电子系统被配置成允许一个或多个用户定义的门控标准。
实例B3包含实例B1所述的系统，其中一个或多个用户定义的门控标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小和形状、荧光图案或荧光颜色分布。
在根据本技术的一些实施例中(实例B4)，用于获得流式细胞仪装置中的细胞的基于图像的分选的方法包含记录图像；确定是否检测到细胞，并且在确定检测到细胞时，处理所述图像；并且基于处理结果，确定是否在流式细胞仪装置中触发致动器。
实例B5包含实例B4所述的方法，其中在确定未检测到细胞时，重新开始记录图像。
实例B6包含实例B4所述的方法，其中确定是否检测到细胞包含：在确定亮度值超过第一阈值时计算亮度值，确定导数值，并且在确定导数值超过第二阈值时，提供检测到细胞的指示。
实例B7包含实例B4所述的方法，其在FPGA或DSP之一中实施。
实例B8包含实例B1所述的系统，其中实时细胞图像处理和分选控制电子系统在FPGA中实施。
在根据本技术的一些实施例中(实例C1)，基于图像的粒子分选系统包含粒子流装置，其构造成包含：基板；形成在所述基板上的通道，其能够操作以使细胞沿着流动方向流动到所述通道的第一区域；以及在靠近所述通道中的所述第一区域的第二区域处从所述通道分叉的两个或两个以上输出路径；成像系统，其与所述粒子流装置介接，并且能够操作以在流过所述通道期间细胞位于所述第一区域时获得与所述细胞相关联的图像数据；与所述成像系统通信的数据处理和控制单元，所述数据处理和控制单元包含处理器，所述处理器被配置成处理由所述成像系统获得的所述图像数据，以从所述处理的图像数据确定与所述细胞相关联的一个或多个性质，并且基于所述确定的一个或多个性质与分选标准的比较来产生控制命令，其中所述控制命令是在所述细胞在所述通道中流动期间产生的，并且指示基于从对应于所述细胞的图像信号数据确定的一个或多个细胞性质确定的分选决策；以及致动器，其可操作地联接到所述粒子流装置并且与所述致动器通信，所述致动器能够操作以基于所述控制命令将所述细胞引导到所述两个或两个以上输出路径中的输出路径中，其中所述系统能够操作以在从由所述成像系统进行图像捕获的第一时间到由所述致动器进行粒子引导的第二时间的15毫秒或更短的时间帧范围内在所述通道中的流动期间对所述细胞中的每一个进行分选。
实例C2包含实例C1所述的系统，其中所述粒子流装置包含微流体装置或流动池，其与所述微流体装置或所述流动池的所述基板上的所述致动器集成。
实例C3包含实例C1所述的系统，其中所述致动器包含压电致动器，所述压电致动器联接到所述基板并且能够操作以产生偏转以使所述细胞在所述第二区域中在某一方向上移动，从而沿着轨迹将所述细胞引导到所述两个或两个以上输出路径中的所述输出路径。
实例C4包含实例C1所述的系统，其中所述成像系统包含：一个或多个光源，其用于在所述粒子流装置的所述第一区域处提供输入光；以及光学成像器，其用于从所述第一区域中的所述输入光照射的所述细胞中捕获所述图像数据。
实例C5包含实例C4所述的系统，其中所述一个或多个光源包含激光器或发光二极管(LED)中的至少一个。
实例C6包含实例C4所述的系统，其中所述光学成像器包含显微镜的物镜，所述物镜光学联接到空间滤波器、发射滤波器和光电倍增管。
实例C7包含实例C6所述的系统，其中所述光学成像器进一步包含一个或多个光导元件，以在所述第一区域处引导所述输入光，以将由所述细胞发射或散射的光引导到所述光学成像器的光学元件，或两者。
实例C8包含实例C7所述的系统，其中所述光导元件包含分色镜。
实例C9包含实例C6所述的系统，其中所述光学成像器包含两个或两个以上光电倍增管，以基于由所述细胞发射或散射的两个或两个以上光带或者两个或两个以上类型的光产生两个或两个以上对应信号。
实例C10包含实例C1所述的系统，其中所述数据处理和控制单元的所述处理器包含并行的现场可编程门阵列(FPGA)、图形处理单元(GPU)或FPGA和GPU。
实例C11包含实例C1所述的系统，其中所述数据处理和控制单元被配置成接收包含与在所述粒子流装置上的所述第一区域中成像的所述细胞相关联的时域信号数据的所述图像数据，处理所述图像数据以产生代表所述细胞图像的图像数据集，分析所述产生的图像数据集以从与所述细胞相关联的所述一个或多个性质相关联的所述图像数据集中提取一个或多个参数，以及基于所提取的一个或多个参数与所述分选标准的一个或多个阈值的比较来确定所述控制命令。
实例C12包含实例C11所述的系统，其中所述数据处理和控制单元被配置成处理所述图像数据以通过对所述图像数据进行滤波、基于所述经滤波数据重建第一图像、以及调整所述重建的第一图像的大小以产生第二图像来产生所述图像数据集，其中所述第二图像包含二值图像数据。
实例C13包含实例C1所述的系统，其中与所述细胞相关联的所述一个或多个性质包含以下一项或多项：所述细胞的或所述细胞上的特征的数量或大小、附着于所述细胞的一个或多个粒子，或所述细胞的特定形态或所述细胞的一部分。
实例C14包含实例C1所述的系统，其中所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
实例C15包含实例C1所述的系统，其中与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，其包含细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞对基因的表达或定位、所述细胞的损伤或所述细胞对物质或粒子的吞噬。
实例C16包含实例C15所述的系统，其中对所述细胞的所述确定的损伤包含DNA损伤。
在根据本技术的一些实施例中(实例C17)，用于基于图像的粒子分选的方法包含获得流过粒子流装置的通道的细胞的图像信号数据；处理所述图像信号数据以产生代表所述细胞图像的图像数据集；分析所述产生的图像数据集以从所述处理的图像数据中识别所述细胞的一个或多个性质；利用分选标准评估所述细胞的述一个或多个识别的性质以产生控制命令从而基于在所述粒子流装置中的细胞流动期间从对应于所述细胞的所述图像信号数据中确定的一个或多个细胞性质对所述细胞进行分选；以及基于所述控制命令将所述细胞引导到所述粒子流装置的多个输出路径之一中。
实例C18包含实例C17所述的方法，其中在15毫秒或更短的时间帧内在所述细胞在所述通道中流动期间执行所述获得、所述处理、所述分析、所述产生和所述引导操作。
实例C19包含实例C17所述的方法，其中所述产生所述控制命令包含从所述细胞的与所述细胞的所述识别的一个或多个性质相关联的所述处理后图像数据中提取一个或多个参数，以及将从所述图像中提取的一个或多个参数与所述分选标准的一个或多个阈值进行比较。
实例C20包含实例C17所述的方法，其中处理所述图像信号数据以产生所述图像数据集包含对所述图像信号数据进行滤波；基于所述经滤波数据重建第一图像；以及调整所述重建的第一图像的大小以产生第二图像，其中所述第二图像包含二值图像数据。
实例C21包含实例C17所述的方法，其中所述处理所述图像信号数据包含在产生代表所述细胞的所述图像的所述图像数据集之前检测所述细胞的存在。
实例C22包含实例C21所述的方法，其中所述检测细胞的存在包含计算与所述图像信号数据的信号强度的量值相关联的亮度值；用第一阈值评估所述亮度值；当所述亮度值超过所述第一阈值时确定导数值；评估所述导数值超过第二阈值；以及确定所述导数值超过所述第二阈值。
实例C23包含实例C17所述的方法，其中与所述细胞相关联的所述一个或多个性质包含以下的一项或多项：所述细胞特征的数量或大小、附着于所述细胞的一个或多个粒子，或所述细胞的特定形态或所述细胞的一部分。
实例C24包含实例C17所述的方法，其中所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
实例C25包含实例C17所述的方法，其中与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，其包含细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞对基因的表达或定位、所述细胞的损伤或所述细胞对物质或粒子的吞噬。
实例C26包含实例C25所述的方法，其中对所述细胞的所述确定的损伤包含DNA损伤。
可以在数字电子电路中、或者在计算机软件、固件或硬件(包含在本说明书中所披露的结构及其结构等效物)中、或者在其一个或多个的组合中实施本专利文件中所描述的主题和操作的实施方式。本说明书中所描述的主题的实施方式可以被实施为一个或多个计算机程序产品，即，在有形和非暂时性计算机可读介质上编码的一个或多个计算机程序指令模块，用于由数据处理设备执行或控制数据处理设备的操作。计算机可读介质可以是机器可读存储装置，机器可读存储基板、存储器装置、影响机器可读传播信号的物质组合或其中的一个或多个的组合。术语“数据处理单元”或“数据处理设备”涵盖用于处理数据的所有设备、装置和机器，包含例如可编程处理器、计算机或多个处理器或计算机。除了硬件以外，所述设备可以包含为正在讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中的一个或多个的组合的代码。
计算机程序(又称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包含编译型语言或解释型语言，并且其可以用任何形式部署，包含作为独立式程序或作为模块、组件、子例程、或适合于在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在文件的保持其他程序或数据的部分中(例如，存储在标记语言文档中的一个或多个脚本)、存储在专用于所讨论的程序的单个文件中、或者存储在多个协调文件(例如，存储一个或多个模块、子程序、或代码的多个部分的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个站点或分布在多个站点并且通过通信网络互连的多个计算机上被执行。
本说明书中所描述的过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行以便执行对输入数据进行操作并且生成输出的功能。这些过程或逻辑流程还可以由装置执行，并且装置还可以被实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
作为实例，适合于执行计算机程序的处理器包含通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必不可少的元件是用于执行指令的处理器和一个或多个用于存储指令和数据的存储器设备。通常，计算机还将包括一个或多个用于存储数据的存储设备(例如，磁盘、磁光盘、或光盘)或者操作性地联接成用于从其中接收数据或向其传输数据或者既接收又传输数据。然而，计算机不需要具有这种设备。适用于存储计算机程序指令和数据的计算机可读介质包含所有形式的非易失性存储器，介质和存储器装置，包含例如半导体存储器装置，例如EPROM、EEPROM和闪存装置。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
说明书和附图旨在仅被视为示例性的，其中示例性意味着实例。如本文所描述的，除非上下文明确指示不包括复数形式，否则单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在同样包含复数形式。另外，除非上下文另有明确说明，否则“或”的使用旨在包含“和/或”。
尽管此专利文献含有许多细节，但这些细节不应被解释为对任何发明或可以要求保护的范围的限制，而是作为特定于具体发明的具体实施例的特征的描述。在单独的实施例的上下文中在本专利文件中描述的某些特征还可以在单个实施例中组合实施。相反，在单一实施例的背景下描述的不同特征也可以被单独的或以任何合适的子组合的方式实现在多个实施例中。而且，尽管特征以上可以被描述为以某些组合起作用并且甚至如此最初被要求，但来自所要求的组合的一个或多个特征在某些情况下可以与组合离体，并且所要求的组合可以针对子组合或子组合的变化。
类似地，虽然附图中以具体顺序描绘了操作，但这不应被理解成要求这种操作以所示的具体顺序或以有序顺序执行，或者所有展示的操作可以被执行，以实现令人希望的结果。此外，在本专利文件中描述的实施例中的各种体系组分的分离不应被理解为在所有实施例中都需要这种分离。
在方法或过程的一般上下文中描述了本文描述的各种实施例，其可以在一个实施例中由计算机可读介质中包含的计算机程序产品实施，包含由网络环境中的计算机执行的如程序代码等计算机可执行指令。计算机可读介质可以包含可移动和不可移动存储装置，包含但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字通用光盘(DVD)，蓝光光盘等。因此，本申请中描述的计算机可读介质包含非暂时性存储介质。通常，程序模块可以包含执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令，相关数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码的实例。这种可执行指令或相关数据结构的特定序列表示用于实施在这些步骤或过程中描述的功能的相应动作的实例。
例如，所公开实施例的一个方面涉及一种体现在非暂时性计算机可读介质上的计算机程序产品。所述计算机程序产品包含用于执行所公开实施例的任何一个或全部操作的程序代码。
仅描述了少数实施方式和实例，并且可以基于本专利文档中描述和示出的内容来进行其它实施方式、增强和变化。

Claims (26)

1.一种基于图像的粒子分选系统，其包括：
粒子流装置，其构造成包含：基板；形成在所述基板上的通道，所述通道能够操作以使细胞沿着流动方向流动到所述通道的第一区域；以及在靠近所述通道中的所述第一区域的第二区域处从所述通道分叉的两个或两个以上输出路径；
成像系统，其与所述粒子流装置介接，并且能够操作以在流过所述通道期间细胞位于所述第一区域时获得与所述细胞相关联的图像数据；
与所述成像系统通信的数据处理和控制单元，所述数据处理和控制单元包含处理器，所述处理器被配置成处理由所述成像系统获得的所述图像数据，以从所述处理的图像数据确定与所述细胞相关联的一个或多个性质，并且基于所述确定的一个或多个性质与分选标准的比较来产生控制命令，其中所述控制命令是在所述细胞在所述通道中流动期间产生的，并且指示基于从对应于所述细胞的图像信号数据确定的一个或多个细胞性质确定的分选决策；以及
致动器，其可操作地联接到所述粒子流装置并且与所述致动器通信，所述致动器能够操作以基于所述控制命令将所述细胞引导到所述两个或两个以上输出路径中的输出路径中，
其中所述系统能够操作以在从由所述成像系统进行图像捕获的第一时间到由所述致动器进行粒子引导的第二时间的15毫秒或更短的时间帧范围内在所述通道中的流动期间对所述细胞中的每一个进行分选。
2.根据权利要求1所述的系统，其中所述粒子流装置包含微流体装置或流动池，所述微流体装置或流动池与所述微流体装置或所述流动池的所述基板上的所述致动器集成。
3.根据权利要求1所述的系统，其中所述致动器包含压电致动器，所述压电致动器联接到所述基板并且能够操作以产生偏转以使所述细胞在所述第二区域中在某一方向上移动，从而沿着轨迹将所述细胞引导到所述两个或两个以上输出路径中的所述输出路径。
4.根据权利要求1所述的系统，其中所述成像系统包含：一个或多个光源，所述光源用于在所述粒子流装置的所述第一区域处提供输入光；以及光学成像器，所述光学成像器用于从所述第一区域中的所述输入光照射的所述细胞中捕获所述图像数据。
5.根据权利要求4所述的系统，其中所述一个或多个光源包含激光器或发光二极管(LED)中的至少一种。
6.根据权利要求4所述的系统，其中所述光学成像器包含显微镜的物镜，所述物镜光学联接到空间滤波器、发射滤波器和光电倍增管。
7.根据权利要求6所述的系统，其中所述光学成像器进一步包含一个或多个光导元件，以在所述第一区域处引导所述输入光，以将由所述细胞发射或散射的光引导到所述光学成像器的光学元件，或两者。
8.根据权利要求7所述的系统，其中所述光导元件包含分色镜。
9.根据权利要求6所述的系统，其中所述光学成像器包含两个或两个以上光电倍增管，以基于由所述细胞发射或散射的两个或两个以上光带或者两个或两个以上类型的光产生两个或两个以上对应信号。
10.根据权利要求1所述的系统，其中所述数据处理和控制单元的所述处理器包含并行的现场可编程门阵列(FPGA)、图形处理单元(GPU)或FPGA和GPU。
11.根据权利要求1所述的系统，其中所述数据处理和控制单元被配置成接收包含与在所述粒子流装置上的所述第一区域中成像的所述细胞相关联的时域信号数据的所述图像数据，处理所述图像数据以产生代表所述细胞的图像的图像数据集，分析所述产生的图像数据集以从与同所述细胞相关联的所述一个或多个性质相关联的所述图像数据集中提取一个或多个参数，并且基于所提取的一个或多个参数与所述分选标准的一个或多个阈值的比较来确定所述控制命令。
12.根据权利要求11所述的系统，其中所述数据处理和控制单元被配置成处理所述图像数据以通过对所述图像数据进行滤波、基于所述经滤波数据重建第一图像、以及调整所述重建的第一图像的大小以产生第二图像来产生所述图像数据集，其中所述第二图像包含二值图像数据。
13.根据权利要求1所述的系统，其中与所述细胞相关联的所述一个或多个性质包含以下一项或多项：所述细胞的或所述细胞上的特征的数量或大小、附着于所述细胞的一个或多个粒子，或所述细胞的特定形态或所述细胞的一部分。
14.根据权利要求1所述的系统，其中所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
15.根据权利要求1所述的系统，其中与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，包含：细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞对基因的表达或定位、对所述细胞的损伤或所述细胞对物质或粒子的吞噬。
16.根据权利要求15所述的系统，其中对所述细胞的所述确定的损伤包含DNA损伤。
17.一种用于基于图像的粒子分选的方法，其包括：
获得流过粒子流装置的通道的细胞的图像信号数据；
处理所述图像信号数据以产生代表所述细胞的图像的图像数据集；
分析所述产生的图像数据集以从所述处理的图像数据中识别所述细胞的一个或多个性质；
利用分选标准评估所述细胞的述一个或多个识别的性质以产生控制命令从而基于在所述粒子流装置中的细胞流动期间从对应于所述细胞的所述图像信号数据中确定的一个或多个细胞性质对所述细胞进行分选；以及
基于所述控制命令将所述细胞引导到所述粒子流装置的多个输出路径之一中。
18.根据权利要求17所述的方法，其中在15毫秒或更短的时间帧内在所述细胞在所述通道中流动期间执行所述获得、所述处理、所述分析、所述产生和所述引导操作。
19.根据权利要求17所述的方法，其中所述产生所述控制命令包含从所述细胞的与所述细胞的所述识别的一个或多个性质相关联的所述处理后图像数据中提取一个或多个参数，以及将从所述图像中提取的一个或多个参数与所述分选标准的一个或多个阈值进行比较。
20.根据权利要求17所述的方法，其中所述处理所述图像信号数据以产生所述图像数据集包含：
对所述图像信号数据进行滤波；
基于所述经滤波数据重建第一图像；以及
调整所述重建的第一图像的大小以产生第二图像，其中所述第二图像包含二值图像数据。
21.根据权利要求17所述的方法，其中所述处理所述图像信号数据包含在产生代表所述细胞的所述图像的所述图像数据集之前检测所述细胞的存在。
22.根据权利要求21所述的方法，其中所述检测所述细胞的存在包含：
计算与所述图像信号数据的信号强度的量值相关联的亮度值；
用第一阈值评估所述亮度值；
当所述亮度值超过所述第一阈值时确定导数值；
评估所述导数值超过第二阈值；以及
确定所述导数值超过所述第二阈值。
23.根据权利要求17所述的方法，其中与所述细胞相关联的所述一个或多个性质包含以下一项或多项：所述细胞的或所述细胞上的特征的数量或大小、附着于所述细胞的一个或多个粒子，或所述细胞的特定形态或所述细胞的一部分。
24.根据权利要求17所述的方法，其中所述分选标准包含细胞轮廓、细胞大小、细胞形状、细胞核大小、细胞核形状、荧光图案或荧光颜色分布。
25.根据权利要求17所述的方法，其中与所述细胞相关联的所述一个或多个性质包含所述细胞的生理性质，包含：细胞生命周期阶段、所述细胞对蛋白质的表达或定位、所述细胞对基因的表达或定位、对所述细胞的损伤或所述细胞对物质或粒子的吞噬。
26.根据权利要求25所述的方法，其中对所述细胞的所述确定的损伤包含DNA损伤。
CN201780046504.9A 2016-06-10 2017-06-09 基于图像的细胞分选系统和方法 Active CN109863384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211233369.8A CN115639134A (zh) 2016-06-10 2017-06-09 基于图像的细胞分选系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662348511P 2016-06-10 2016-06-10
US62/348,511 2016-06-10
PCT/US2017/036864 WO2017214572A1 (en) 2016-06-10 2017-06-09 Image-based cell sorting systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211233369.8A Division CN115639134A (zh) 2016-06-10 2017-06-09 基于图像的细胞分选系统和方法

Publications (2)

Publication Number Publication Date
CN109863384A true CN109863384A (zh) 2019-06-07
CN109863384B CN109863384B (zh) 2022-10-28

Family

ID=60578995

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211233369.8A Pending CN115639134A (zh) 2016-06-10 2017-06-09 基于图像的细胞分选系统和方法
CN201780046504.9A Active CN109863384B (zh) 2016-06-10 2017-06-09 基于图像的细胞分选系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211233369.8A Pending CN115639134A (zh) 2016-06-10 2017-06-09 基于图像的细胞分选系统和方法

Country Status (5)

Country Link
US (3) US11016017B2 (zh)
EP (1) EP3469338A4 (zh)
JP (2) JP7075126B2 (zh)
CN (2) CN115639134A (zh)
WO (1) WO2017214572A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110484434A (zh) * 2019-08-09 2019-11-22 北方民族大学 微流控芯片、基于微流控的细胞分选方法及系统
CN112179831A (zh) * 2020-09-26 2021-01-05 宁波大学 缺陷细胞的检测装置及方法
CN112646701A (zh) * 2020-12-10 2021-04-13 中国科学院深圳先进技术研究院 一步式单细胞分离分配系统
CN113237818A (zh) * 2021-05-28 2021-08-10 上海睿钰生物科技有限公司 一种细胞分析方法和系统

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579435B (zh) 2012-10-15 2023-09-26 纳诺赛莱克特生物医药股份有限公司 颗粒分选的系统、设备和方法
JP6691053B2 (ja) 2014-03-18 2020-04-28 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニアＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｃａｌｉｆｏｒｎｉａ 無線周波数多重化を用いた並行フローサイトメーター
EP3362778B1 (en) 2015-10-13 2022-08-03 Omega Biosystems Incorporated Multi-modal fluorescence imaging flow cytometry system
US10324019B2 (en) 2016-03-17 2019-06-18 Becton, Dickinson And Company Cell sorting using a high throughput fluorescence flow cytometer
GB201615532D0 (en) * 2016-09-13 2016-10-26 Univ Swansea Computer-Implemented apparatus and method for performing a genetic toxicity assay
EP3549099B1 (en) * 2016-12-01 2024-08-21 Bruker Cellular Analysis, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
EP3654018B1 (en) * 2017-07-11 2023-06-21 Hamamatsu Photonics K.K. Sample observation device and sample observation method
CN108362628A (zh) * 2018-01-11 2018-08-03 天津大学 基于偏振衍射成像流式细胞仪的无标记细胞流式分选方法
US11371929B2 (en) * 2018-02-16 2022-06-28 The Regents Of The University Of California Systems, devices and methods for three-dimensional imaging of moving particles
JP7109229B2 (ja) * 2018-03-30 2022-07-29 シスメックス株式会社 フローサイトメーター及び粒子検出方法
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
CN112204380A (zh) * 2018-05-31 2021-01-08 伯克利之光生命科技公司 微流体设备中的微物体的自动检测和表征
CN117496511A (zh) * 2018-06-27 2024-02-02 株式会社Cybo 显示控制设备、显示控制方法以及显示控制程序
LU100870B1 (de) * 2018-07-09 2020-01-09 Cytena Gmbh Verfahren zum Untersuchen einer flüssigen Probe
GB2576191B (en) * 2018-08-08 2022-11-16 Sphere Fluidics Ltd Droplet processing methods and systems
US10611995B2 (en) * 2018-08-15 2020-04-07 Deepcell, Inc. Systems and methods for particle analysis
US20220034785A1 (en) * 2018-09-14 2022-02-03 The Regents Of The University Of California Cell sorting device and method
US11227672B2 (en) 2018-10-17 2022-01-18 Becton, Dickinson And Company Adaptive sorting for particle analyzers
JP7466563B2 (ja) 2019-03-29 2024-04-15 ベクトン・ディキンソン・アンド・カンパニー 粒子の区別に使用するためのパラメータ
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
US11294391B2 (en) * 2019-05-28 2022-04-05 Pixart Imaging Inc. Moving robot with improved identification accuracy of step distance
WO2021007075A1 (en) * 2019-07-10 2021-01-14 Becton, Dickinson And Company Reconfigurable integrated circuits for adjusting cell sorting classification
CN114829626A (zh) 2019-10-10 2022-07-29 1859公司 用于微流体筛选的方法和系统
FR3108623A1 (fr) * 2020-03-27 2021-10-01 Treefrog Therapeutics Procédé de caractérisation d’un micro-tissu biologique par imagerie
WO2022021338A1 (zh) * 2020-07-31 2022-02-03 深圳先进技术研究院 一种生物样本分选方法、声表面波微流控芯片、系统、终端以及存储介质
KR20220018646A (ko) * 2020-08-07 2022-02-15 광운대학교 산학협력단 기포 제거가 가능한 인공지능 기반 미세유체 제어시스템
WO2022080492A1 (ja) * 2020-10-15 2022-04-21 シンクサイト株式会社 フローサイトメータ、セルソータ、光学情報生成方法、及びプログラム
US20240302264A1 (en) * 2021-05-10 2024-09-12 The Regents Of The University Of California Methods of analyzing shaped particles containing cells using fluorescence activated cell sorting
WO2023235895A1 (en) * 2022-06-03 2023-12-07 The Regents Of The University Of California Systems and methods for image-activated particle sorting based on ai gating
WO2024077266A2 (en) * 2022-10-06 2024-04-11 The Regents Of The University Of California Systems, devices and methods for sorting moving particles
WO2024077165A2 (en) * 2022-10-06 2024-04-11 Element Biosciences, Inc. Three-dimensional base calling in next generation sequencing analysis
WO2024148025A1 (en) * 2023-01-03 2024-07-11 The Board Of Trustees Of The Leland Stanford Junior University Apparatuses and methods involving spatiotemporal sequencing of droplet assays
CN117448149A (zh) * 2023-10-31 2024-01-26 恩大细胞基因工程有限公司 一种干细胞收集控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0681177A1 (en) * 1994-05-02 1995-11-08 Biometric Imaging, Inc. Method and apparatus for cell counting and cell classification
CN102250825A (zh) * 2011-06-22 2011-11-23 首都师范大学 一种采用流式细胞仪分选正在分裂细胞的方法
CN103674814A (zh) * 2012-09-13 2014-03-26 香港城市大学 用于操作粒子的方法和装置
CN104204768A (zh) * 2012-02-09 2014-12-10 贝克曼考尔特公司 分选流式细胞仪
CN104520435A (zh) * 2012-04-02 2015-04-15 博格有限责任公司 基于细胞的探询式分析及其应用
CN104870652A (zh) * 2012-10-05 2015-08-26 加州理工学院 用于微流体成像和分析的方法和系统
CN105008895A (zh) * 2012-10-15 2015-10-28 纳诺赛莱克特生物医药股份有限公司 颗粒分选的系统、设备和方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020186874A1 (en) * 1994-09-07 2002-12-12 Jeffrey H. Price Method and means for image segmentation in fluorescence scanning cytometry
WO1999050645A1 (en) 1998-03-30 1999-10-07 Bioshaf Flow cytometer for analysis of general diagnostic factors in cells and body fluids
US7450229B2 (en) 1999-01-25 2008-11-11 Amnis Corporation Methods for analyzing inter-cellular phenomena
DK2305171T3 (da) 2003-03-28 2022-03-21 Inguran Llc Apparat og fremgangsmåder til tilvejebringelse af kønssorteret dyresæd
US20050221339A1 (en) * 2004-03-31 2005-10-06 Medical Research Council Harvard University Compartmentalised screening by microfluidic control
JP4601423B2 (ja) * 2004-12-28 2010-12-22 独立行政法人科学技術振興機構 細胞計測および分離チップ
US20060164307A1 (en) 2005-01-26 2006-07-27 Innerwireless, Inc. Low profile antenna
JP4047336B2 (ja) * 2005-02-08 2008-02-13 独立行政法人科学技術振興機構 ゲル電極付セルソーターチップ
JP4684959B2 (ja) * 2006-07-04 2011-05-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2010085194A (ja) 2008-09-30 2010-04-15 Sysmex Corp 試料分析装置
JP5058962B2 (ja) * 2008-12-22 2012-10-24 オリンパス株式会社 細胞画像解析装置、細胞画像解析方法、及びプログラム
WO2011028818A2 (en) * 2009-09-01 2011-03-10 Trustees Of Boston University High throughput multichannel reader and uses thereof
CN102884170A (zh) * 2010-03-04 2013-01-16 新加坡国立大学 检测和分离细胞的微流体分选器
SG10201912164UA (en) 2010-11-16 2020-02-27 1087 Systems Inc System for identifying and sorting living cells
US20130074614A1 (en) * 2011-09-25 2013-03-28 Theranos, Inc., a Delaware Corporation Container configurations
US20160077015A1 (en) 2011-09-25 2016-03-17 Theranos, Inc. Systems and methods for multi-analysis
US8824768B1 (en) * 2011-11-10 2014-09-02 Blair K. Simon Fertilization test method and apparatus
EP2602608B1 (en) * 2011-12-07 2016-09-14 Imec Analysis and sorting of biological cells in flow
US9797836B1 (en) * 2012-02-29 2017-10-24 National Technology & Engineering Solutions Of Sandia, Llc Hyperspectral imaging flow cytometer
US10180398B2 (en) * 2012-02-29 2019-01-15 National Technology & Engineering Solutions Of Sandia, Llc Trajectory-based triggering system for hyperspectral imaging flow cytometer
CN104540548B (zh) 2012-05-15 2017-02-22 皇家飞利浦有限公司 近距放射治疗装置
WO2014055756A1 (en) * 2012-10-04 2014-04-10 Vertex Pharmaceuticals Incorporated Method for measuring atr inhibition mediated increases in dna damage
US9036885B2 (en) * 2012-10-28 2015-05-19 Technion Research & Development Foundation Limited Image reconstruction in computed tomography
ES2900530T3 (es) * 2013-04-12 2022-03-17 Becton Dickinson Co Configuración automatizada para la clasificación celular
US8820538B1 (en) * 2014-03-17 2014-09-02 Namocell LLC Method and apparatus for particle sorting
US20170122861A1 (en) * 2014-03-17 2017-05-04 Namocell Inc. Method and apparatus for particle sorting
US10502674B2 (en) 2014-06-27 2019-12-10 The Regents Of The University Of California Apparatus and method for label-free analysis of rare cells from bodily fluids
ES2827022T3 (es) * 2014-09-30 2021-05-19 Univ California Citómetro de flujo de formación de imágenes mediante transformación espacio-temporal
US10525462B2 (en) * 2016-04-21 2020-01-07 Georgia Tech Research Corporation Methods, devices, and systems for sorting particles
US11408812B2 (en) * 2016-04-22 2022-08-09 Becton, Dickinson And Company High density deposition for array production

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0681177A1 (en) * 1994-05-02 1995-11-08 Biometric Imaging, Inc. Method and apparatus for cell counting and cell classification
CN102250825A (zh) * 2011-06-22 2011-11-23 首都师范大学 一种采用流式细胞仪分选正在分裂细胞的方法
CN104204768A (zh) * 2012-02-09 2014-12-10 贝克曼考尔特公司 分选流式细胞仪
CN104520435A (zh) * 2012-04-02 2015-04-15 博格有限责任公司 基于细胞的探询式分析及其应用
CN103674814A (zh) * 2012-09-13 2014-03-26 香港城市大学 用于操作粒子的方法和装置
CN104870652A (zh) * 2012-10-05 2015-08-26 加州理工学院 用于微流体成像和分析的方法和系统
CN105008895A (zh) * 2012-10-15 2015-10-28 纳诺赛莱克特生物医药股份有限公司 颗粒分选的系统、设备和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110484434A (zh) * 2019-08-09 2019-11-22 北方民族大学 微流控芯片、基于微流控的细胞分选方法及系统
CN112179831A (zh) * 2020-09-26 2021-01-05 宁波大学 缺陷细胞的检测装置及方法
CN112646701A (zh) * 2020-12-10 2021-04-13 中国科学院深圳先进技术研究院 一步式单细胞分离分配系统
CN112646701B (zh) * 2020-12-10 2023-12-26 中国科学院深圳先进技术研究院 一步式单细胞分离分配系统
CN113237818A (zh) * 2021-05-28 2021-08-10 上海睿钰生物科技有限公司 一种细胞分析方法和系统

Also Published As

Publication number Publication date
CN109863384B (zh) 2022-10-28
EP3469338A1 (en) 2019-04-17
WO2017214572A1 (en) 2017-12-14
JP7075126B2 (ja) 2022-05-25
US20220011216A1 (en) 2022-01-13
US11016017B2 (en) 2021-05-25
EP3469338A4 (en) 2020-01-15
US20190302000A1 (en) 2019-10-03
JP2019526783A (ja) 2019-09-19
US11668641B2 (en) 2023-06-06
JP2022106909A (ja) 2022-07-20
CN115639134A (zh) 2023-01-24
US20230384208A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
CN109863384A (zh) 基于图像的细胞分选系统和方法
US11861889B2 (en) Analysis device
US20230127698A1 (en) Automated stereology for determining tissue characteristics
CN107209041B (zh) 使用时空转换的成像流式细胞仪
JP2021139910A (ja) 粒子分析選別装置及び方法
CN104764684A (zh) 用于通过使用光分布来提高粒子成像设备中的测量精确度的装置、系统和方法
US20220034785A1 (en) Cell sorting device and method
JP4985480B2 (ja) がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
US20220003655A1 (en) Information processing apparatus, information processing method, and computer program
CN110402197A (zh) 生物墨水转移设备
Mattana et al. Automated phasor segmentation of fluorescence lifetime imaging data for discriminating pigments and binders used in artworks
US20230296492A1 (en) Information processing apparatus, flow cytometer system, sorting system, and information processing method
Voros et al. Correlative Fluorescence and Raman Microscopy to Define Mitotic Stages at the Single-Cell Level: Opportunities and Limitations in the AI Era
US20230071901A1 (en) Information processing apparatus and information processing system
CN110537089A (zh) 用于分析细胞的方法和装置
del Aguila Pla et al. Cell detection on image-based immunoassays
Anjikar et al. Deep Learning in Biomedical Applications of Raman Spectroscopy
WO2023235895A1 (en) Systems and methods for image-activated particle sorting based on ai gating

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant