CN112752964A - 批量颗粒分选 - Google Patents

批量颗粒分选 Download PDF

Info

Publication number
CN112752964A
CN112752964A CN201880098289.1A CN201880098289A CN112752964A CN 112752964 A CN112752964 A CN 112752964A CN 201880098289 A CN201880098289 A CN 201880098289A CN 112752964 A CN112752964 A CN 112752964A
Authority
CN
China
Prior art keywords
micro
particles
particle
flow channel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880098289.1A
Other languages
English (en)
Inventor
F·德阿普佐
V·什科尔尼科夫
雷阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN112752964A publication Critical patent/CN112752964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/1031—Investigating individual particles by measuring electrical or magnetic effects
    • G01N15/12—Investigating individual particles by measuring electrical or magnetic effects by observing changes in resistance or impedance across apertures when traversed by individual particles, e.g. by using the Coulter principle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0038—Investigating nanoparticles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1019—Associating Coulter-counter and optical flow cytometer [OFC]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488—Methods for deciding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1493—Particle size

Landscapes

  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Dispersion Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

提供了一种用于批量分选颗粒的系统和方法。批量分选系统的示例包括微流体喷射器、在一端流体耦合到微流体喷射器的流动通道、以及耦合到与微流体喷射器相对的流动通道端的储存器。计数器被设置在微流体喷射器上游的流动通道中，以在从微流体喷射器喷射之前对颗粒进行计数。光学传感器用于对流动通道成像。控制器被配置为至少部分基于图像来定位流动通道中的目标颗粒，以及至少部分基于来自计数器的计数来在收集器皿中捕获目标颗粒。

Description

批量颗粒分选
背景技术
当前，荧光激活细胞分选（FACS）是研究实验室中用于分选细胞的主要技术。在FACS中，振动流动室用于产生微滴线。当微滴离开振动流动室时，光学系统用于收集平均光学信息，诸如微滴中细胞的平均荧光和散射。微滴带电，并且基于电荷而偏转到不同的收集管中。
附图说明
某些示例性实施例在以下详细描述中并且参考附图进行描述，其中：
图1是根据示例的使用包括微流体喷射器阵列的管芯的批量分选系统的图；
图2是根据示例的可以用于批量分选系统中的环状镜的图；
图3是根据示例的另一批量分选系统的图，其中照明光学系统提供与返回到摄像机的光共线的照明；
图4是根据示例的可以用于批量颗粒分选的管芯的图；
图5(A)和5(B)是根据示例的集成颗粒分选单元（PSU）的图，所述集成颗粒分选单元（PSU）可以使用图4的管芯来实现批量颗粒分选；
图6是根据示例的系统的图，所述系统可以使用多个光学检测器来分析批量颗粒分选方法的图像；
图7是根据示例的施行批量颗粒分选的控制器的图；
图8是根据示例的批量颗粒分选系统的图，所述批量颗粒分选系统将微流体喷射器与微滴充电系统相组合以操纵微滴；
图9是根据示例的包括用于操纵微滴的高压电极的镜子的图；
图10是根据示例的使用包括多个微流体喷射器的管芯使用图像处理来分选批量的颗粒的方法的过程流程图；
图11(A)直至(E)是根据示例的流动通道的一部分的图，所述流动通道包括用荧光染料染色之后成像的九个细胞；
图12是根据示例的训练和使用卷积神经网络（CNN）来标识感兴趣区域和感兴趣区域中的颗粒的过程的示意图；
图13是根据示例的批量颗粒分选的过程的示意图；
图14是根据示例的用于批量地分选颗粒的过程的框图；
图15是根据示例的使用和训练模型来对诸如细胞之类的颗粒进行分类的过程的框图；以及
图16是根据示例的训练和使用卷积神经网络来同时标识感兴趣区域和对感兴趣区域中的颗粒进行分类的过程的示意图。
具体实施方式
当前的FACS系统复杂、昂贵、并且需要专业人员来维护和操作。因此，更简单的系统将是有价值的。本文中公开了用于经由对微流体喷射器阵列的非破坏性和连续光学监视来对诸如细胞之类的颗粒进行光学分选的系统和方法。微流体喷射器类似于喷墨打印机中使用的喷射器，并且可以包括热致动喷射器或压电单元喷射器。
该系统包括具有流体溶液的储存器，所述流体溶液包含形状、荧光或大小或可以光学区分的其它性质不同的颗粒。在一些示例中，颗粒是细胞。在其它示例中，颗粒是纳米复合材料，诸如用于电视和监视器的硫化镉球体。储存器向流动通道进料，所述流动通道向独立控制的微流体喷射器的喷嘴进料。诸如显微镜之类的成像系统监视例如通向喷射器的流动通道中喷射器的进料，而不干扰喷射的材料到达目标目的地，诸如多井板中的井、收集器皿或其它容器。成像系统包括例如具有中心孔径的环状镜，其被放置在光路中以将成像系统聚焦在微流体喷射器上。包含目标颗粒的喷射微滴穿过孔径到目标目的地中。
目标颗粒由控制器选择，该控制器处理由光学系统收集的图像，以标识容纳颗粒的流动通道内的感兴趣区域。计数被分配给从喷嘴前的最终颗粒开始并从储存器移回以进料到流动通道的颗粒。
然后微流体喷射器被致动以喷射颗粒，同时对喷射的颗粒数量进行计数。当计数指示已经到达目标颗粒时，通过与其它设备一前一后地致动微流体喷射器，目标颗粒被分送到捕获容器中。在一个示例中，移动支撑多井板的x-y平台以将井放置在微流体喷射器下方，以捕获容纳目标颗粒的微滴。在另一示例中，移动x-y平台以移动微流体喷射器下方的捕获器皿。在一些示例中，喷射的微滴可以在离开喷嘴之后被充电。然后，在与微滴的标称轨迹正交的方向上施加的电场使微滴朝向目标位置（诸如捕获器皿）偏转。电极可以集成到环状镜的表面上。在一些示例中，电极是放置在镜子下方的板。这两种技术可以一前一后地使用，例如，x-y平台移动微流体喷射器下方的一组收集器皿，以及电场被用于将微滴操纵到目标收集器皿中。
在捕获目标颗粒之后，可以移动x-y平台以将废物容器放置在微流体喷射器下方。然后微流体喷射器的顺序点火被恢复，同时继续对颗粒进行计数以确保其它目标颗粒被捕获。
图1是根据示例的使用包括微流体喷射器阵列的管芯102的批量分选系统100的图。批量分选系统100具有光学传感器，诸如摄像机104，其可以包括电荷耦合设备（CCD），以收集管芯102的图像。摄像机104或本文中提到的任何其它成像设备可以包括高帧率成像系统、CCD、二极管阵列、多通道分光光度计或任何数量的其它光学传感器，除其它光学传感器之外，尤其诸如光电倍增管（PMT）、光电晶体管或光电二极管。光学系统106用于收集从管芯102到达的光108，并且将其聚焦在摄像机104的传感器上。
如本文中所描述的，在一些示例中，管芯102的微流体喷射器使用热电阻器来通过加热喷嘴后面的流体从喷嘴喷射流体，从而产生把流体从喷嘴压出来的气泡。在其它示例中，微流体喷射器使用压电单元来把流体从喷嘴压出来。如关于图4所描述的，管芯102可以包括通向每个喷嘴的透明通道，其中透明通道的宽度可以被选择为把颗粒（诸如细胞）压入大体上单个锉线（file line）。因此，对管芯102成像使流动通道中的颗粒线成像。
光学系统106可以包括透镜、滤光器、衍射光栅和其它设备，以将入射光108聚焦在摄像机104中的传感器阵列上。在一些示例中，光学系统106包括允许入射光108的窄频带到达摄像机104的滤光器。在各种示例中，光学系统106包括单色仪，该单色仪可调节到入射光108的不同频率以进行操作。在其它示例中，光学系统106将入射光108分成不同的通道，每个通道被发送到摄像机104内的不同传感器。例如，这可以提供入射光108的多光谱分析，如关于图6所描述的。在各种示例中，光学系统106和摄像机104用于施行明场、暗场、荧光、超光谱和其它光学分析。
聚焦透镜110用于将光学系统106聚焦在来自管芯102的入射光108上。聚焦透镜110可以是单个透镜、一组透镜或其它光学装置。在示例中，聚焦透镜110是菲涅尔透镜，提供了宽面积的透镜，而没有添加显著的复杂性。在其它示例中，聚焦透镜110与光学系统集成，并且包括多个元件，诸如显微镜物镜。
环状镜112用于将来自管芯102的光引导朝向聚焦透镜110。环状镜112以适合光收集的角度114放置，所述角度114诸如30°、45°等。在示例中，角度114是45°。环状镜112中的开口116定位在管芯102的正下方，以允许来自微流体喷射器的微滴穿过到位于环状镜112下方的平台118。在各种示例中，除其它大小之外，开口116的直径尤其大约为0.5mm、大约为1mm或大约为2mm。在其它示例中，开口116一般是椭圆形的，例如，大约1mm宽且大约3mm长、或者大约0.5mm宽且大约1.5mm长的椭圆形，并且与管芯102对准。
可以移动平台118以将不同的收集器皿放置在管芯102下方，所述收集器皿诸如多井板上单独的井、废物容器、微量样本管或其任何组合。在一些示例中，平台118是x-y平移平台或x-y平台，其可以在x-y网格中移动多井板，以与管芯102微流体喷射器下方的井对准。在其它示例中，平台118是线性平移平台，其可以移动管芯102中的微流体喷射器下方的微量样本管，用于收集或处置细胞。
为了成像，可以使用任何数量的不同技术来照明管芯102。在一些示例中，来自光源122的照明120被引导朝向管芯102。照明120可以聚焦在管芯102上，或者广泛地照明盒的底座。在各种示例中，这被调整以选择明场还是暗场成像技术用于成像。另外，光源122可以相对于管芯102移动到不同的位置，如由箭头124所指示的。在其它示例中，光学系统106可以包括如关于图3所描述的共线照明系统。在一些示例中，光源122是激光器，诸如激光光电二极管或具有不同峰值波长分布的激光光电二极管阵列。
储存器126容纳流体，该流体包括感兴趣的颗粒（或在一个示例中为细胞）。颗粒的不同之处在于形状、荧光或其它光谱性质、大小或可以由成像确定的其它性质。储存器126向腔室128中进料，所述腔室128向管芯102进料。在一个示例中，腔室128的大小约为6mm，并且流体耦合到管芯102的喷嘴。
储存器126、腔室128、管芯102、平台118和光源122可以形成颗粒分选单元（PSU）130。在一些示例中，例如，PSU 130被构造成集成单元以便于处置，如关于图5所描述的。
批量分选系统100包括通过图像数据链路134耦合到摄像机104的控制器132。控制器132可以分析来自摄像机104的图像，以标识目标颗粒，诸如特定类型的细胞，其接近管芯102中的微流体喷射器，例如，在通向微流体喷射器的喷嘴的流动通道中。控制器132还通过控制链路136耦合到管芯102的微流体喷射器，并且耦合到控制平台118的电机。在示例中，控制器132标识通向微流体喷射器的流动通道中的颗粒，并且为每个颗粒分配计数，从喷嘴开始并增加。
控制器132然后激活管芯102的微流体喷射器，以从每个微流体喷射器顺序喷射细胞，同时对喷射的颗粒进行计数。当计数指示要被喷射的下一个颗粒是目标颗粒时，控制器132使用平台118的电机来移动微流体喷射器下方的收集井。控制器132然后激活微流体喷射器，以将目标颗粒喷射到收集井中。控制器132然后移动微流体喷射器下方的不同容器（诸如废物容器），以捕获非目标颗粒。关于图10、11、13和14更详细地讨论了捕获这些颗粒的过程。关于图7更详细地讨论了控制器132本身。
光学系统106、摄像机104和环状镜112形成用于探测管芯102中的材料的光学设备。在各种示例中，光学设备是显微镜、荧光计、颗粒大小分析仪、图像识别系统或其组合。
图2是根据示例的可以用于批量分选系统100中的环状镜112的图200。类似的编号项目如关于图1所描述的。图200示出了开口116，由微流体喷射器喷射的微滴通过该开口到达目标容器。
图3是根据示例的另一批量分选系统300的图，其中照明光学系统302提供与返回到摄像机104的入射光108共线的照明。类似的编号项目如关于图1所描述的。在该示例中，照明光学系统302包括反射表面304，诸如部分镀银镜或充当分束器的棱镜，其将来自共线光源306的照明120通过聚焦透镜110引导到环状镜112上以照明管芯102。共线光源306可以包括任何数量的照明源。在示例中，共线光源306包括发光二极管阵列。在另一示例中，共线光源306包括激光阵列，该激光阵列包括不同频率的激光二极管和光学器件，以扩展光束并将它们线性地引导到照明光学系统302中。
从管芯102返回的入射光108穿过反射表面304，并被摄像机104捕获。为了提高由摄像机104检测到的入射光108的量，滤光器308可以放置在共线光源306和照明光学系统302之间以及照明光学系统302和摄像机104之间。在示例中，滤光器308是彼此垂直放置的偏振滤光器。在另一示例中，滤光器308处于共线光源306和照明光学系统302之间的激发带，诸如以大约320nm的波长为中心的50nm带通滤光器，以及处于照明光学系统302和摄像机104之间的发射带，诸如以大约450nm的波长为中心的50nm带通滤光器。
在批量分选系统300的示例中，光学系统是明场显微镜，其包括长工作距离显微镜物镜，例如作为聚焦透镜110。在该示例中，用作反射表面304的分束器将来自光纤耦合光源（诸如卤素灯）的照明120引导朝向用作共线光源306的聚焦透镜110。诸如聚焦透镜之类的聚光器元件可以连同管透镜一起放置在分束器和摄像机104之间，以将光聚焦在摄像机104上。
图4是根据示例的可以用于批量颗粒分选的管芯102的图。管芯102可以包括多个流动通道402，每个流动通道402流体耦合到从储存器126（图1）到喷嘴406的进料洞404。在各种示例中，取决于每个流动通道402要容纳的颗粒数量，管芯102包括两个、四个、10个或更多个流动通道。可以理解，要分选的颗粒可以包括细胞、纳米复合材料（诸如CdS纳米球）或任何数量的其它材料。因此，在示例中对细胞的任何引用应被更广泛地解释为包括任何种类的颗粒。
可以选择每个流动通道402的宽度，以将较大的颗粒限制成单条线，例如，限制细胞，诸如循环肿瘤细胞（CTC）、白血细胞和壁之间的其它较大细胞。诸如较小的红血细胞、细菌细胞等之类的其它细胞可以成簇。在一些示例中，流动通道402的宽度大于大约7.5微米（μm）。在其它示例中，流动通道402的宽度大于大约10μm、或大于大约15μm、或大于大约20μm。选择的流动通道402的大小取决于在批量分选过程中预期要遇到的较大颗粒的大小。
每个流动通道402终止于用于微流体喷射器的喷嘴406。就在喷嘴406之前，每个流动通道402具有库尔特计数器408，用于在细胞从流动通道402经过到喷嘴406中时对细胞进行电化学计数。一般而言，库尔特计数器408具有上游电极和下游电极，其中当细胞或颗粒进入电极之间的体积时，电极之间的阻抗改变。在一些示例中，库尔特计数器包括将上游电极与下游电极分开的微通道。在颗粒（诸如细胞）流过微通道时，可以检测到电极之间电流的瞬时下降。在其它示例中，可以使用不同的技术（诸如光学检测）来对喷射的颗粒进行计数。
每个喷嘴406均具有在下面的微流体喷射器，当被激活时，所述微流体喷射器从喷嘴406喷射微滴。在新材料从流动通道402流入喷嘴406中时，库尔特计数器408对穿过库尔特计数器408到喷嘴406中的颗粒进行计数。在一些示例中，微流体喷射器是热敏电阻，当被激活时，所述热敏电阻加热喷嘴406中的液体，从而形成把微滴从喷嘴406压出来的气泡。在其它示例中，微流体喷射器是压电致动器，当被激活时，所述压电致动器将微滴物理地喷射出喷嘴406。
管芯102可以通过任何数量的不同技术形成，除其它技术之外，尤其包括化学蚀刻、化学沉积、模制或机械加工。在示例中，管芯102是在微流体喷射器上方形成的单个硅块。在硅上方放置掩模以描绘流动通道402，然后对其进行蒸汽或等离子体蚀刻以形成流动通道402。在另一示例中，在微流体喷射器的电路上方形成聚合物层，诸如聚碳酸酯、聚丙烯等。然后使用被推入聚合物层中的阳模将流动通道402模制到聚合物层中。在这些示例的任一个中，在流动通道402上方形成覆盖层。覆盖层对于用于对流动通道402中的细胞进行标识和计数的光的频率是透明的，所述覆盖层诸如SU-8层。在示例中，覆盖层对于紫外光和可见光是透明的，以实现细胞的荧光光谱。在其它示例中，覆盖层仅对可见光透明，例如，用于细胞的直接成像。
图5(A)和5(B)是根据示例的集成颗粒分选单元（PSU）500的图，所述集成颗粒分选单元（PSU）500可以使用图4的管芯102来实现批量颗粒分选。类似的编号项目如关于图1、3和4所描述的。在该示例中，管芯102安装在集成PSU 502中。光学系统106包括照明透镜504，以整理来自共线光源306的照明120。聚焦透镜506将成像光学器件从管芯102收集的入射光108聚焦在摄像机104上。
收集管芯102的初始图像，并且如图5(B)所示出的，每个流动通道402中的细胞508位于感兴趣区域中，被标识为目标或非目标细胞，并且被分配计数。随着给每个喷嘴406以动力的微流体喷射器被点火，细胞508被向前拉动通过流动通道402。在细胞从喷嘴406喷射时，每个喷嘴406的库尔特计数器408对细胞进行计数。当计数指示先前标识的目标细胞510在喷嘴406中时，移动平台118以将收集器皿放置在正容纳目标细胞510的管芯102中的微流体喷射器下方。然后微流体喷射器被点火以捕获目标细胞510。
一旦计数指示初始图像中的所有细胞508已经被喷射，就可以收集和分析另一图像，以准备捕获另一目标细胞510的集合。在微流体喷射器的顺序点火期间，可以捕获附加的图像以确保过程正在正确操作。该系统不限于诸如摄像机104之类的单个图像捕获设备，而是可以使用多个图像捕获设备来分析不同光谱频率下的图像。
PSU 500可以使用任何数量的光学配置以用于批量细胞分选过程。在一个示例中，管芯102大约为2.5cm2，其中视场近似为1mm2。在该示例中，聚焦物镜大约为10倍，以允许在视野中捕获大约1000个颗粒或细胞。
在各种示例中，摄像机具有为1ms的明场积分时间和为10ms的荧光积分时间。帧率大于每秒大约30帧（fps），分辨率大于每颗粒或细胞大约500像素，图像大小大于大约1920×1080像素（HD），从而导致图像大小大约为2至4兆字节。
在一些示例中，管芯在1mm2的管芯面中具有10个喷嘴，并且点火频率为10kHz。这提供了每秒大约100至每秒大约50,000个颗粒吞吐量的系统性能。处理时间的范围从针对每10^6个颗粒中的一个目标颗粒约5分钟到针对每10^4个颗粒中的一个目标颗粒大约9小时。这假设成像需要大约10ms，处理需要大约10ms，打印需要大约10ms，以及将平台移动到捕获容器需要大约300ms，以及大约十亿个颗粒正在被分选。
图6是根据示例的系统600的图，该系统600使用多个光学检测器来分析批量颗粒分选方法的图像。类似的编号项目如关于图1、3、4和5所描述的。在该示例中，从管芯102的成像收集的入射光108可以由一系列检测器成像。例如，第一分束器602可以通过第一聚焦透镜606发送入射光108的一部分604。第一聚焦透镜606将部分604聚焦在光收集器上，所述光收集器诸如第一电荷耦合设备（CCD）608。诸如窄带通滤光器之类的第一滤光器610可以用于隔离用于成像的波长。在一些示例中，第一分束器602具有反射频率范围的二向色涂层，并且允许该频率范围之外的光穿过。在该示例中，可以不使用第一滤光器610。
进一步的光学检测器可以用于收集其它范围的光频率。例如，第二分束器612将入射光108的另一部分614引导到第二聚焦透镜616。第二聚焦透镜616将部分614聚焦在第二CCD 618上。第二滤光器620可以用于隔离用于成像的波长。至于第一分束器602，第二分束器612可以使用二向色涂层来反射特定频率范围，并且可以不使用第二滤光器620。
取决于每个分束器602和612的反射表面304处的损耗，可以添加另外的光学检测系统622。在示例中，第一光学检测系统624用于捕获管芯102的可见光图像，例如，用于确定颗粒或细胞大小。在示例中，第二光学系统626用于检测在第一波长的光处的发射，例如，其中第一波长的光是最低能量或最难以检测。这允许第一波长的光在来自分束器的显著损耗之前被检测到。在该示例中，后续光学检测系统622可以捕获其它波长的光处的发射，例如，以检测难度的顺序，其中更难以检测传播通过更少分束器的波长的光。
图7是根据示例的施行批量颗粒分选的控制器132的图。控制器132包括执行存储的指令的中央处理单元（CPU）702。在各种示例中，CPU 702是微处理器、片上系统（SoC）、单核处理器、双核处理器、多核处理器、多个独立的处理器、计算集群等。
CPU 702通过总线704通信耦合到控制器132中的其它设备。总线704可以包括外围组件互连（PCI）总线和工业标准架构（EISA）总线、PCI express（PCIe）总线、高性能互连或专有总线，诸如在片上系统（SoC）上使用的总线。
总线704可以将处理器耦合到图形处理单元（GPU）706，诸如可从英伟达、英特尔、AMD、ATI和其它公司获得的单元。在一些示例中，除了GPU 706之外或代替GPU 706，使用浮点门阵列（FPGA）来处理图像。如果存在，则GPU 706提供图形处理能力，以实现对来自摄像机的图像的高速处理。例如，使用USB 3.1传送来自摄像机的图像数据的数据速率小于每秒大约1Gb，使用FPGA具有每细胞标识小于大约10μs的处理时间。GPU 706可以被配置为施行任何数量的图形操作。例如，GPU 706可以被配置为通过隔离感兴趣区域、降尺度、降低噪声、校正照明等来预处理多个图像帧。在仅使用光谱技术的示例中，GPU 706可以不存在。
存储器设备708和存储设备710可以通过总线704耦合到CPU 702。在一些示例中，存储器设备708和存储设备710是单个单元，例如，具有可由CPU 702访问的连续地址空间。存储器设备708容纳操作代码、数据、设置和由CPU 702用于控制的其它信息。在各种实施例中，存储器设备708包括随机存取存储器（RAM），除其它RAM之外，尤其诸如静态RAM（SRAM）、动态RAM（DRAM）、零电容RAM、嵌入式DRAM（eDRAM）、扩展数据输出RAM（EDO RAM）、双数据速率RAM（DDR RAM）、电阻RAM（RRAM）和参数RAM（PRAM）。
存储设备710用于容纳长期数据，诸如存储的程序、操作系统和用于实现细胞分选系统功能的其它代码块。在各种示例中，存储设备710包括非易失性存储设备，诸如固态驱动器、硬驱动器、磁带驱动器、光学驱动器、闪存驱动器、驱动器阵列或其任何组合。在一些示例中，存储设备710包括非易失性存储器，诸如非易失性RAM（NVRAM）、电池备份DRAM、闪速存储器等。在一些示例中，存储设备710包括只读存储器（ROM），诸如掩模ROM、可编程ROM（PROM）、可擦除可编程ROM（EPROM）和电可擦除可编程ROM（EEPROM）。
多个接口设备可以通过总线704耦合到CPU 702。在各种示例中，除其它接口设备之外，接口设备尤其包括微流体喷射器控制器（MEC）接口712、成像器接口716和电机控制器720。
MEC接口712将控制器132耦合到微流体喷射器控制器714。MEC接口712引导微流体喷射器控制器714单独或成组地对微流体喷射器阵列中的微流体喷射器点火。如本文中所描述的，至少部分基于细胞或颗粒类型的标识，响应于细胞或颗粒类型的计数来施行点火。
成像器接口716将控制器132耦合到成像器718。成像器接口716可以是高速串行或并行接口，诸如PCIe接口、USB 3.0接口、火线接口等。在各种示例中，成像器718是被配置为通过高速接口传送数据和接收控制信号的高帧率摄像机。在一些示例中，成像器718是在不同波长处成像的多个CCD设备。
电机控制器720将控制器132耦合到平台平移器722。除其它电机控制器之外，电机控制器720尤其可以是步进电机控制器或伺服电机控制器。平台平移器722包括耦合到电机控制器720的电机、传感器或二者，以移动微流体喷射器下方的平台和附接的收集器皿。
网络接口控制器（NIC）724可以用于将控制器132耦合到网络726。在各种示例中，这允许将控制信息传送到控制器132，并且将数据从控制器132传送到网络726上的单元。除其它网络之外，网络726尤其可以是广域网（WAN）、局域网（LAN）或互联网。在一些示例中，NIC 724将控制器132连接到集群计算网络或网络726上的其它高速处理系统，其中发生图像处理和数据存储。这可以由不包括GPU 706的控制器132用于图形处理。在一些示例中，专用人机接口（HMI）（未示出）可以包括在控制器132中，用于系统的本地控制。HMI可以包括显示器和键盘。
存储设备710可以包括用于实现批量分选系统功能的代码块。在各种示例中，代码块包括用于从成像器718捕获帧或图像的帧捕获控制器728。在一些示例中，图像处理器730用于处理图像以标识感兴趣区域，例如，每个感兴趣区域包含相同类型的颗粒或颗粒组。图像处理器730然后处理感兴趣区域以确定颗粒身份，并且确定哪个感兴趣区域容纳目标类型的颗粒。图像处理器730然后至少部分基于感兴趣区域和微流体喷射器之间的距离来为感兴趣区域分配计数。图像处理器730可以使用任何数量的计算系统来标识颗粒类型中的感兴趣区域。例如，关于图12-16所讨论的方法可以由图像处理器730实现。
平台运动控制器732引导电机控制器720移动平台平移器722。在一些示例中，电机控制器720用于移动微流体喷射器下方的多井板上的捕获井，以至少部分基于喷射的颗粒计数是否指示要喷射的下一个颗粒是目标类型来捕获容纳目标颗粒的微滴。电机控制器720还用于移动微流体喷射器下方的废物容器，以捕获不包括目标颗粒的微滴。
MEC点火控制器734使用MEC接口712来引导微流体喷射器控制器714对微流体喷射器顺序点火，同时对点火期间喷射的颗粒进行计数。在各种示例中，计数值用于捕获目标颗粒或将非目标颗粒发送到废物容器。
批量分选过程不限于移动平台来捕获目标颗粒。在一些示例中，来自微流体喷射器的微滴喷射可以例如使用介电泳或电泳与用于操纵微滴的高压场相组合，以将容纳颗粒的微滴引导朝向收集器皿。
图8是根据示例的批量颗粒分选系统800的图，所述批量颗粒分选系统800将微流体喷射器与微滴充电系统相组合来操纵微滴。类似的编号项目如关于图1所描述的。在图8的批量颗粒分选系统800中，照明未示出。然而，批量颗粒分选系统800可以使用图1的光源122、图3的共线光源或任何其它数量的其它光源。
微滴充电系统802或电源使用电极804在微滴从管芯102上的微流体喷射器喷射时对微滴施加电荷。微滴充电系统802可以使用固定电压，诸如500V、1000V、1500V或更高，这取决于电极804附近的击穿电压和用于瞄准微滴的操纵电压。
在微滴从管芯102上的微流体喷射器移动到平台118上的收集器皿时，也是电源的操纵系统808将高压场施加到放置在微滴路径附近的电极。在示例中，电极810形成在环状镜112中，以在微滴穿过环状镜中的开口116时操纵微滴。在其它示例中，电极是设置在环状镜112下方的板。
图9是根据示例的镜子900的图，所述镜子900包括用于操纵微滴的高压电极902-908。在示例中，镜子900具有四个电极，所述四个电极可以具有独立施加的电压以操纵微滴。在该示例中，穿过开口的带正电的微滴被拉动朝向带负电的电极，并且被推离带正电的电极。作为示例，如果微滴在离开微流体喷射器之后由正500V电极充电，则将电极V_nw 902充电到1500V正，以及将电极V_se 906充电到500V负可以在V_se 906的大致方向上将微滴操纵到例如V_se 906下方的收集器皿中。
在一些示例中，操纵微滴可以与可移动平台相组合，以选择用于不同类型颗粒（诸如细胞）的收集器皿。例如，可以移动平台到不同组的收集器皿，其中颗粒的特定收集器皿由微滴操纵电压确定。这可以改进批量分选系统基于喷射的颗粒的计数来快速分选多个颗粒类型的能力。
图10是根据示例的使用包括多个微流体喷射器的管芯使用图像处理来分选批量的颗粒的方法的过程流程图。方法1000可以通过关于先前的各图所描述的控制器132来实现。如本文中所述，颗粒可以是细胞。该方法在框1002处开始，此时微流体喷射器被顺序点火以用颗粒使管芯中的流动通道充满。在计数器开始对颗粒进行计数时，库尔特计数器可以用于确定流动通道何时充满颗粒。
在框1004处，拍摄管芯面的图像。这可以使用关于除其它图之外，尤其图1、3、5或6所描述的成像系统来施行。在框1006处，图像被传递到例如在控制器132中或在通过NIC724（图7）耦合到控制器的网络连接系统中的图像处理系统。
在框1008处，图像被处理以确定感兴趣区域，标识感兴趣区域中的颗粒，并为感兴趣区域分配计数。这可以由控制器132或网络连接系统来施行，其使用关于图12-16所讨论的方法。这些方法可以包括对光谱向量的分析，其中在多个波长范围中的每一个处的光谱响应被用于标识特定类型的细胞。在其它示例中，可以训练神经网络以基于在多个不同波长处的图像响应来识别感兴趣区域和细胞类型二者，所述图像响应包括可见图像、发射光谱等。在框1010处，目标类型的颗粒被分配给收集器皿。目标类型可以是使用单个收集器皿的单个类型，或者是使用多个收集器皿的多个类型，这取决于正在被施行的测定。
在框1012中，在对已经被分送的颗粒进行计数的同时，对管芯的微流体喷射器顺序点火。这可以以这样的方式施行，即一个颗粒被分送在单个微滴中。然而，如果包括多个颗粒大小，诸如与更小得多的红血细胞混合的大的目标细胞，则红血细胞的组或簇可以以单个微滴喷射，并且被计数为单个感兴趣区域。
在框1014处，将计数与先前分配的计数进行比较，以确定目标颗粒是否即将要被喷射。如果是，则在框1016处，顺序点火被停止。在框1018处，移动x-y平台以移动管芯上的微流体喷射器下方的捕获器皿。在框1020处，目标颗粒的微流体喷射器被点火，以将颗粒分送到捕获器皿中。在框1022处，移动x-y平台以将废物器皿返回到微流体喷射器下方的位置。在一些示例中，可以进行检查以确定计数是否指示要分送的下一个颗粒也是目标颗粒。如果是，则可以在x-y平台将废物器皿移回到微流体喷射器下方的位置中之前分送颗粒。
如果在框1014处，确定没有目标颗粒即将要被喷射，或者如果在框1022处平台已经被移回到废物器皿，则做出关于计数中的所有颗粒是否已经被分送的确定。如果没有，则过程流程返回到框1012，以继续对微流体喷射器顺序点火。
如果在框1024处，确定当前计数中的所有颗粒已经被分送，则过程流程返回到框1004。在框1004处，拍摄管芯面的新图像，并且重复方法1000。
图11(A)直至(E)是根据示例的流动通道的一部分1100的图，所述流动通道包括用荧光染料染色之后成像的九个细胞。图11(A)是细胞的可见图像，示出了一些细胞（诸如细胞2、6和7）具有与其它细胞不同的大小。细胞的大小可以用于确定细胞是否是目标类型，诸如白血细胞、癌细胞或其它感兴趣的细胞。然而，在没有进一步的特征的情况下，仅仅大小可能不会提供有区别的特性。在该示例中，细胞1、3-5、8和9具有类似的大小。因此，细胞可以在用各种荧光染料染色之后成像，以通过使用荧光光谱进一步区分细胞。
图11(B)是用4’,6-二脒基-1-苯基吲哚（DAPI）染色的细胞的图像，该DAPI与DNA中富含腺嘌呤-胸腺嘧啶的区域强结合。一般而言，染料用于对溶解的细胞进行染色，但是死亡确实扩散到活细胞中，尽管以缓慢的速率。
图11(C)是用细胞角蛋白（CK）染色剂染色的细胞的图像，该CK染色剂与水不溶性胞质内结构蛋白反应。这些蛋白质是上皮和毛发形成细胞的主要蛋白质。所述蛋白质也在上皮肿瘤或癌中被发现。因此，第二染料可以突出上皮肿瘤细胞。可以通过CK染色剂突出的其它细胞包括来自癌、类癌、上皮组织等的细胞。CK染色剂可以用于区别肉瘤样癌与肉瘤。在肉瘤样癌中，恶性细胞具有上皮肿瘤和间质肿瘤（“肉瘤”）二者的性质。
图11(D)是用CD45染色剂染色的细胞的图像。CD45染色剂或CD45抗体染色与同种抗原和CD45白细胞共同抗原（LCA）的所有亚型反应。CD45蛋白是跨膜糖蛋白，其在细胞表面以高水平表达。它的存在将白细胞或白血细胞与非造血细胞区分开来，所述非造血细胞除其它细胞之外，尤其诸如肺细胞、骨细胞、软骨细胞或脂肪细胞。
图11(E)是由成像系统收集的图像的聚合，包括细胞的可见图像和染色细胞的荧光图像。可以生成查找表，该查找表包括目标细胞由于添加到材料的每个染色剂而将发出荧光的量和波长。查找表中的单元的单独条目可以被称为光谱向量。光谱向量可以与来自可见图像的细胞大小和纹理信息相组合来标识细胞。在一些示例中，光谱向量与机器学习技术一起使用，所述机器学习技术诸如支持向量机（SVM）。这可以改进细胞分选过程期间细胞标识的准确性。可以使用其它技术来标识细胞，诸如训练神经网络来识别感兴趣区域和细胞类型二者。
可以注意到，本文中所描述的技术不限于细胞。如所提及的，使用本文中所描述的技术和系统，任何数量的其它颗粒可以在批量过程中被分选。在各种示例中，颗粒由荧光无机材料形成，诸如硫化镉球体，其中球体的大小控制发射波长，并且可以用于分选球体。
图12是根据示例的训练和使用卷积神经网络（CNN）1202来标识感兴趣区域和感兴趣区域中的颗粒的过程1200的示意图。在过程1200中，标记的训练数据集1204（其是具有基础真值的图像）用于训练神经网络1202。如本文中所使用的，基础真值指示图像中的位置（感兴趣区域）和颗粒类型被标记和标识。然后颗粒的特征可以用于训练定位和分类模型。在一些示例中，模型仅用于分类身份。在这些示例中，基础真值指示图像中的颗粒被标记和标识。然后颗粒的特征可以用于训练分类模型。特征提取可以是颗粒特征的手动标识，或者是从训练数据学习的特征。
数据增强过程1206用于增加训练数据集的数量，并且还引入合理的变化，例如，使标识更鲁棒。这可以通过对原始训练数据集应用一些变换来施行，所述变换除其它变换之外，尤其诸如旋转、翻转或裁剪。数据增强过程1206生成增强的数据集1208，该增强的数据集1208被提供给CNN 1202中的训练过程1210。
训练过程1210生成模型1212。推理引擎1214使用模型1212来施行本文中所描述的标识。这是当推理引擎1214处理查询图像1216以生成输出1218时施行的。输出1218包括感兴趣区域，例如，以指示包含颗粒的图像部分的边界框的形式。另外，输出1218分配每个边界框中的颗粒的标识。边界框在微流体喷射器的喷嘴处开始顺序编号。
特征提取分类方法的选择取决于颗粒类型和数据采集的系统能力，包括速度、分辨率、信噪比等，以及计算能力，包括GPU、FPGA或其它专用硬件。可以用于标识特定细胞的形态特征的示例可以包括大小、形状、颜色、任务强度、空间分布等。
本领域中已知的任何数量的卷积神经网络和训练技术可以在本文中用于对颗粒进行定位和分类。例如，如果感兴趣区域（ROI）的位置是已知的，只留下对象分类，则可以使用典型的卷积神经网络模型。在该模型中，ROI在输入图像中定义，并且穿过多个卷积阶段以进行特征选择。在每个卷积阶段，可以对图像应用多个卷积核，诸如图像滤波和特征选择。在特征选择之后，通过多个神经网络层的分类过程可以标识图像中的特征类型，例如，颗粒或细胞。在神经网络的末端，可以执行标准化指数函数中的层，以进一步对特征的类型进行分类。这可能导致概率向量，对于每个类别，该概率向量指示目标对象属于该类别。具有最高概率的类别是输出。
然而，在关于批量分选过程所讨论的技术中，实现了感兴趣区域的同时标识和感兴趣区域中颗粒的分类。在该过程中，可以使用深度学习模型。已经开发了多个模型来解决这个问题，所述多个模型倾向于同时推断定位和分类。性能和实时预测之间的权衡确定了要选择的模型。
这些类型的模型的示例除其它模型之外，尤其包括YOLO（你仅看一次）、Faster R-CNN、SSD、Mask R-CNN或RetinaNet。第一模型，YOLO）使用单个神经网络来预测感兴趣区域的边界框和颗粒类型的类别概率。参见You Only Look Once: Unified, Real-TimeObject Detection, Redmon, J.; Divvala, S.; Girshick, R;和 Farhadi, A.，在https://pjreddie.com/media/files/papers/yolo.pdf（在2018年9月10日最后一次访问）；也参见YOLOv2: An Incremental Improvement, Redmon, J; Farhadi, A，在https://pjreddie.com/media/files/papers/YOLOv3.pdf（在2018年9月10日最后一次访问）。提及的其它模型可类似地访问。
图13是根据示例的用于批量颗粒分选的过程1300的示意图。过程1300在框1302处开始，此时获取包括流动通道中的颗粒的管芯面的图像。如本文中所描述的，可以使用可见光摄像机、多个CCD成像系统或二者来获得图像。
在框1304处，检测颗粒位置或边界框。在框1306处，图像被分成感兴趣区域（ROI）。取决于管芯面的大小，可能存在100个ROI、500个ROI、1000个ROI或更多。在框1308处，对每个ROI中的颗粒类型进行确定或分类。在框1310处，对颗粒进行编号。在一些示例中，对ROI进行编号，因为多个小颗粒可能在单个ROI中作为簇出现，诸如红血细胞。
在框1312处，微流体喷射器被点火以将非目标颗粒喷射到废物器皿中，同时用库尔特计数器的阻抗电极对颗粒进行计数。当计数指示已经到达目标颗粒时，点火被暂停。
在框1314处，移动x-y平台以将收集器皿定位在容纳目标颗粒的微流体喷射器下方。在框1316处，容纳目标颗粒的微流体喷射器被点火，以将目标颗粒喷射到收集器皿中。在框1318处，移动x-y平台以将废物器皿定位在微流体喷射器下方。如本文中所描述的，在一些示例中，在移动x-y平台以将废物器皿重新定位在微流体喷射器下方之前，做出关于序列中的下一个颗粒是否也是目标颗粒的确定。
在框1320处，做出关于是否所有颗粒已经被分送的确定。这通过将当前计数与在框1310中分配的总计数进行比较来施行。如果没有，则过程流程返回到框1312，以继续批量分选过程。
如果在框1320处，确定指示当前计数中的所有颗粒已经被分送，则过程流程返回到框1302。在框1302处，可以获取新图像来对另一批量的颗粒进行分选，或者过程1300可以结束。在该过程1300中，单个神经网络模型1322可以用于实现关于框1304、1306和1308所描述的过程。
图14和15是批量分选过程和训练过程的更详细的示意图。图14是根据示例的用于批量地分选颗粒的过程1400的框图。图15中所示出的过程1500用于对单独颗粒进行分类和计数。
过程1400在框1402处开始，其中收集（一个或多个）初始背景图像。背景图像用于补偿背景的改变。例如，如果碎片或其它材料粘在流动通道中，则流动通道可能发生改变。
在框1404处，例如，通过对微流体喷射器顺序点火，将颗粒装载到管芯的流动通道中。在框1406处，捕获管芯的图像，例如其中从储存器直到微流体喷射器的喷嘴充满颗粒。在框1408处，从捕获的图像减去背景参考1410，以产生差异图像。在框1412处，可以用阈值来处理差异图像，以获得前景颗粒的掩模。
在框1414处，前景掩模可以用于隔离图像中的单独颗粒。然后，如关于图15所描述的，可以在框1416处对单独颗粒的位置进行分类。在一些示例中，单独颗粒的隔离和颗粒的分类可以使用单个神经网络过程1418来施行，如关于图12、13和16所描述的。
在框1420处，在对被喷射的细胞进行计数的同时，从微流体喷射器顺序喷射颗粒。当计数指示目标颗粒在微流体喷射器的喷嘴中时，收集器皿在微流体喷射器下方移动以捕获目标颗粒。喷射继续直到计数中的所有颗粒耗尽为止。在该点处，过程流程返回到框1402，以针对下一批量重复分选。在一些示例中，过程流程在框1420之后结束。
图15是根据示例的使用1502和训练1504模型来对颗粒（例如细胞）进行分类的过程1500的框图。使用1502模型对颗粒进行分类在框1506处开始，此时例如从图14的框1416向分类模型1508提供未知细胞图像。在分类模型1508中，使用一种技术来标识最可能的细胞类型。这可以通过神经网络、支持向量机（SVM）或更简单的技术来实现，所述技术诸如光谱向量的查找表。这提供了预测的细胞类型1510。在框1512处，计数被分配给颗粒。过程流程然后返回到图14的框1420。
通过获得要识别的不同颗粒类型的训练图像1514来施行分类模型1508的训练1504。从每个颗粒类型的训练图像提取特征1516，所述特征1516将颗粒类型与其它颗粒类型区分开来。如关于图12所描述的，特征1516可以包括颗粒大小、颗粒的发射光谱、发射光谱与用于染色的染料的相关性等。每个颗粒类型的基础真值标识1518和特征1516可以由基于机器学习的分类系统1520使用，所述基于机器学习的分类系统1520可以显式或隐式地将特征1516与基础真值标识1518相关。在一些示例中，显式相关性是保存到查找表的每个颗粒类型的光谱向量。在一些示例中，隐式相关性包括神经网络模型中节点之间的加权因子。然后，显式或隐式相关性被用作标识颗粒类型的分类模型1508。
图16是根据示例的训练1602和使用1604卷积神经网络来同时标识感兴趣区域和对感兴趣区域中的颗粒进行分类的过程的示意图。这些过程可以与卷积神经网络一起使用，除其它卷积神经网络之外，所述卷积神经网络尤其诸如关于图12所描述的YOLO或RetinaNET。
训练1602在框1606处开始，此时包括第一颗粒类型的样本被装载到批量分选系统中。在框1608处，收集装载有第一颗粒类型的管芯的图像。在框1610处，感兴趣区域被手动裁剪并保存为图像。在框1612处，类别标签被分配给第一颗粒类型。所得到的图像1614被保存以供训练神经网络使用。
针对生成另一训练图像集的另一颗粒类型，重复1616训练1602。针对可以使用的每个连续颗粒类型施行进一步的训练1618。然后在卷积神经网络的训练过程中使用所述图像来训练感兴趣区域和颗粒类型的识别二者。
使用1604卷积神经网络在框1620处开始，其中装载用于颗粒分析的样本。在框1622处，收集装载有颗粒分析样本的管芯的图像。在框1624处，经训练的CNN用于标识感兴趣区域和颗粒类型。在框1626处，计数被分配给每个颗粒，例如，在最靠近微流体喷射器的喷嘴的颗粒处开始。当微流体喷射器被顺序激活时，颗粒的标识列表1628及其计数用于确定在收集器皿中捕获哪些颗粒。
虽然本技术可能易受各种修改和替代形式的影响，但是上面所讨论的示例性示例仅通过示例的方式示出。应当理解，该技术不意图限于本文中所公开的特定示例。实际上，本技术包括落入本技术范围内的所有替代、修改和等同物。

Claims (15)

1.一种用于批量分选颗粒的分选系统，包括：
微流体喷射器；
流动通道，在一端流体耦合到微流体喷射器；
储存器，耦合到与微流体喷射器相对的流动通道端；
计数器，设置在微流体喷射器上游的流动通道中，以在从微流体喷射器喷射之前对颗粒进行计数；
光学传感器，用于对流动通道成像；以及
控制器，被配置为：
至少部分基于图像来定位流动通道中的目标颗粒；以及
至少部分基于来自计数器的计数来在收集器皿中捕获目标颗粒。
2.根据权利要求1所述的分选系统，其中所述储存器包括流体溶液，所述流体溶液包括颗粒。
3.根据权利要求1所述的分选系统，包括：
微滴充电系统，用于对从微流体喷射器喷射的微滴施加电荷；以及
接近耦合到电源的光学传感器的电极，包括将微滴操纵到目标位置的电场。
4.根据权利要求1所述的分选系统，其中所述微流体喷射器包括热敏电阻。
5.根据权利要求1所述的分选系统，其中每个微流体喷射器包括压电单元。
6.根据权利要求1所述的分类系统，其中所述光学传感器包括：
镜子，包括允许喷射的微滴穿过到收集器皿中的开口；以及
摄像机，通过镜子聚焦在流动通道上。
7.根据权利要求1所述的分选系统，其中所述光学传感器包括荧光计。
8.根据权利要求1所述的分选系统，其中所述光学传感器包括颗粒大小分析仪。
9.根据权利要求1所述的分选系统，其中所述光学传感器包括图像识别系统。
10.根据权利要求1所述的分选系统，其中所述收集器皿包括安装到x-y平台的多井板。
11.一种批量分选颗粒的方法，包括：
捕获包括颗粒线的流动通道的图像，其中所述流动通道耦合到微流体喷射器；
处理图像以标识流动通道中的颗粒；
至少部分基于流动通道中的每个颗粒的位置，为流动通道中的每个颗粒分配编号；
对微流体喷射器点火以喷射颗粒，同时对已经喷射的颗粒进行计数；
确定微流体喷射器中的颗粒计数对应于目标颗粒，并且响应于确定：
将收集器皿移动到微流体喷射器下方的地方中；以及
对微流体喷射器点火以将目标颗粒喷射到收集器皿中。
12.根据权利要求11所述的方法，包括：
确定计数不对应于目标颗粒；以及
对微流体喷射器点火以将颗粒喷射到废物器皿中。
13.根据权利要求11所述的方法，其中处理图像包括使用图像识别来确定细胞标识。
14.根据权利要求11所述的方法，其中处理图像包括确定图像中细胞的荧光光谱。
15.根据权利要求11所述的方法，包括使用介电泳将包括颗粒的微滴操纵到目标容器中。
CN201880098289.1A 2018-10-01 2018-10-01 批量颗粒分选 Pending CN112752964A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/053725 WO2020072031A1 (en) 2018-10-01 2018-10-01 Batch particle sorting

Publications (1)

Publication Number Publication Date
CN112752964A true CN112752964A (zh) 2021-05-04

Family

ID=70054667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098289.1A Pending CN112752964A (zh) 2018-10-01 2018-10-01 批量颗粒分选

Country Status (4)

Country Link
US (1) US11391660B2 (zh)
EP (1) EP3861316B1 (zh)
CN (1) CN112752964A (zh)
WO (1) WO2020072031A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409266A (zh) * 2021-06-17 2021-09-17 陕西科技大学 一种金刚砂颗粒检测及计数方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11278928B2 (en) * 2018-01-30 2022-03-22 Hewlett-Packard Development Company, L.P. Alignment devices
WO2020072028A1 (en) * 2018-10-01 2020-04-09 Hewlett-Packard Development Company, L.P. Particle sorting using microfluidic ejectors

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA932551A (en) * 1969-11-18 1973-08-28 Cornell Aeronautical Laboratory Apparatus for counting, differentiating and sorting particles according to their microstructure variations
US20030133119A1 (en) * 2002-01-17 2003-07-17 Bachur Nicholas R. Rapid imaging of particles in a large fluid volume through flow cell imaging
US20070159627A1 (en) * 2006-01-09 2007-07-12 Johnson Paul E Method and system for counting particles in a laminar flow with an imaging device
US20110312081A1 (en) * 2010-06-17 2011-12-22 Geneasys Pty Ltd Reagent dispensing apparatus for array of microfluidic devices
US20130095469A1 (en) * 2010-06-10 2013-04-18 Albert-Ludwigs-Universitaet Freiburg Apparatus and method for dispensing cells or particles confined in a free flying droplet
CN103226088A (zh) * 2013-04-08 2013-07-31 贵州茅台酒股份有限公司 一种颗粒物计数方法及其装置
CN103403547A (zh) * 2010-11-09 2013-11-20 综合医院公司 使用电差分计数器对颗粒计数
CN103460018A (zh) * 2011-02-04 2013-12-18 塞通诺米/St有限责任公司 颗粒分选设备和方法
CN105431725A (zh) * 2013-03-14 2016-03-23 塞通诺米/St有限责任公司 无操作员式颗粒处理系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7214298B2 (en) 1997-09-23 2007-05-08 California Institute Of Technology Microfabricated cell sorter
EP1334347A1 (en) 2000-09-15 2003-08-13 California Institute Of Technology Microfabricated crossflow devices and methods
JP2003154245A (ja) * 2001-11-26 2003-05-27 Mikuni Corp 液体希釈装置
EP2666849A3 (en) 2002-04-01 2014-05-28 Fluidigm Corporation Microfluidic particle-analysis systems
JP4304120B2 (ja) 2004-04-30 2009-07-29 ベイバイオサイエンス株式会社 生物学的粒子をソーティングする装置及び方法
US20080261326A1 (en) 2007-04-23 2008-10-23 Christie Dudenhoefer Drop-on-demand manufacturing of diagnostic test strips
US8936762B2 (en) 2009-09-01 2015-01-20 Trustees Of Boston University High throughput multichannel reader and uses thereof
CA2805426C (en) * 2010-07-15 2020-03-24 Corinthian Ophthalmic, Inc. Drop generating device
KR20130066291A (ko) 2011-12-12 2013-06-20 삼성전자주식회사 회수 가능한 세포 카운터 시스템
US9372143B2 (en) 2013-05-15 2016-06-21 Captl Llc Scanning image flow cytometer
WO2020091866A1 (en) * 2018-10-30 2020-05-07 Becton, Dickinson And Company Particle sorting module with alignment window, systems and methods of use thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA932551A (en) * 1969-11-18 1973-08-28 Cornell Aeronautical Laboratory Apparatus for counting, differentiating and sorting particles according to their microstructure variations
US20030133119A1 (en) * 2002-01-17 2003-07-17 Bachur Nicholas R. Rapid imaging of particles in a large fluid volume through flow cell imaging
US20070159627A1 (en) * 2006-01-09 2007-07-12 Johnson Paul E Method and system for counting particles in a laminar flow with an imaging device
US20130095469A1 (en) * 2010-06-10 2013-04-18 Albert-Ludwigs-Universitaet Freiburg Apparatus and method for dispensing cells or particles confined in a free flying droplet
US20110312081A1 (en) * 2010-06-17 2011-12-22 Geneasys Pty Ltd Reagent dispensing apparatus for array of microfluidic devices
CN103403547A (zh) * 2010-11-09 2013-11-20 综合医院公司 使用电差分计数器对颗粒计数
CN103460018A (zh) * 2011-02-04 2013-12-18 塞通诺米/St有限责任公司 颗粒分选设备和方法
CN105431725A (zh) * 2013-03-14 2016-03-23 塞通诺米/St有限责任公司 无操作员式颗粒处理系统和方法
CN103226088A (zh) * 2013-04-08 2013-07-31 贵州茅台酒股份有限公司 一种颗粒物计数方法及其装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409266A (zh) * 2021-06-17 2021-09-17 陕西科技大学 一种金刚砂颗粒检测及计数方法及系统

Also Published As

Publication number Publication date
US11391660B2 (en) 2022-07-19
WO2020072031A1 (en) 2020-04-09
EP3861316A4 (en) 2022-05-25
US20210262913A1 (en) 2021-08-26
EP3861316A1 (en) 2021-08-11
EP3861316B1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
EP3861316B1 (en) Batch particle sorting
US10180398B2 (en) Trajectory-based triggering system for hyperspectral imaging flow cytometer
CN103674814B (zh) 用于操作粒子的方法和装置
US20060177348A1 (en) Cell sorter chip having gel electrodes
CN110573858A (zh) 用于成像流式细胞术的设备、系统和方法
EP2640844A2 (en) System for identifying and sorting living cells
US20210293691A1 (en) Droplet processing methods and systems
CN111164485A (zh) 用于光学检查多个显微样品的方法和装置
CN114556084A (zh) 细胞分析装置系统及细胞分析方法
CN112996900A (zh) 细胞分选装置及方法
JP7388131B2 (ja) 微小粒子回収方法、微小粒子分取用マイクロチップ、微小粒子回収装置、エマルションの製造方法、及びエマルション
US11486814B2 (en) Particle sorting using microfluidic ejectors
CN115997116A (zh) 微粒分选装置、微粒分选方法、程序和微粒分选系统
CN111521548A (zh) 一种颗粒分析分选装置及方法
WO2020242485A1 (en) Particle imaging
US12032147B2 (en) Microscopy systems
US20220299420A1 (en) Systems and methods for image cytometry
US12008825B2 (en) Classification workflow for flexible image based particle sorting
WO2023140188A1 (ja) フローサイトメータ及びフローサイトメータの液滴生成振動素子を駆動する信号の波形パラメータ設定方法
WO2023243422A1 (ja) 粒子分取システム、粒子分取方法、及び粒子分取プログラム
WO2023007777A1 (ja) 粒子分取装置及び粒子分取方法
US20240210317A1 (en) Devices for biological analysis
WO2018025088A2 (en) Use of vibrationnal spectroscopy for dna content inspection
WO2020072030A1 (en) Microscopy systems
JP2023550927A (ja) 細胞画像分類のための効率的かつロバストな高速ニューラルネットワーク

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination