CN112352158A - 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪 - Google Patents

用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪 Download PDF

Info

Publication number
CN112352158A
CN112352158A CN201980043900.5A CN201980043900A CN112352158A CN 112352158 A CN112352158 A CN 112352158A CN 201980043900 A CN201980043900 A CN 201980043900A CN 112352158 A CN112352158 A CN 112352158A
Authority
CN
China
Prior art keywords
flow cytometer
image
phase
processing software
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980043900.5A
Other languages
English (en)
Inventor
阿伊多根·奥兹坎
佐尔坦·戈罗奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN112352158A publication Critical patent/CN112352158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502715—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by interfacing components, e.g. fluidic, electrical, optical or mechanical interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1484—Optical investigation techniques, e.g. flow cytometry microstructural devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18—Water
    • G01N33/186—Water using one or more living organisms, e.g. a fish
    • G01N33/1866—Water using one or more living organisms, e.g. a fish using microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0465—Particular recording light; Beam shape or geometry
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/02—Adapting objects or devices to another
    • B01L2200/026—Fluid interfacing between devices or objects, e.g. connectors, inlet details
    • B01L2200/027—Fluid interfacing between devices or objects, e.g. connectors, inlet details for microfluidic devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2300/00—Additional constructional details
    • B01L2300/06—Auxiliary integrated devices, integrated components
    • B01L2300/0627—Sensor or part of a sensor is integrated
    • B01L2300/0663—Whole sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2400/00—Moving or stopping fluids
    • B01L2400/04—Moving fluids with specific forces or mechanical means
    • B01L2400/0475—Moving fluids with specific forces or mechanical means specific mechanical means and fluid pressure
    • B01L2400/0487—Moving fluids with specific forces or mechanical means specific mechanical means and fluid pressure fluid pressure, pneumatics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0033—Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0445—Off-axis recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/50—Nature of the object
    • G03H2210/55—Having particular size, e.g. irresolvable by the eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/62—Moving object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/10—Spectral composition
    • G03H2222/13—Multi-wavelengths wave with discontinuous wavelength ranges
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/10—Spectral composition
    • G03H2222/16—Infra Red [IR]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00—Light sources or light beam properties
    • G03H2222/34—Multiple light sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/15—Colour filter, e.g. interferential colour filter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/24—Reflector; Mirror
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Dispersion Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Hematology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Clinical Laboratory Science (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Microbiology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

一种成像流式细胞仪设备包括容纳被配置用于脉冲或连续波操作的多色照明源的壳体。微流体通道设置在壳体中并且流体地耦接到包含流过微流体通道的对象的流体源。彩色图像传感器邻近微流体通道设置，并接收来自照明源的，穿过微流体通道的光。图像传感器捕获包含穿过微流体通道的移动对象的原始全息图像的图像帧。对图像帧进行图像处理以针对每种颜色重建移动对象的相位和/或强度图像。然后将重建的相位和/或强度图像输入到经训练的深度神经网络，该经训练的神经网络输出移动对象的相位恢复图像。经训练的深度神经网络也可以受到训练以对对象类型进行分类。

Description

用于水样的无标记分析的能够深度学习的便携式成像流式细 胞仪
相关申请
本申请要求于2018年6月4日提交的美国临时专利申请号62/680,374的优先权，其通过引用合并于此。根据35U.S.C.§119和任何其他适用法规要求优先权。
技术领域
技术领域通常涉及现场便携式且成本有效的成像流式细胞仪。更具体地，本技术领域涉及能够深度学习的流式细胞仪，其自动捕获流动的水样的内容物的相位对比彩色图像。
关于联邦政府赞助的声明
研究与开发
本发明是在美国国防部授予的，授权号为W56HZV-16-C-0122的政府支持下完成的。政府拥有本发明的某些权利。
背景技术
浮游生物形成了海洋食物链的基础，因此，它是整个海洋生态系统的重要组成部分。浮游植物约占我们星球上光合自养初级生产力的一半。长期绘制浮游植物的组成的高分辨率图非常重要，但具有挑战性，因为不同物种的组成和相对种群会随着时间的变化而迅速变化。此外，对浮游植物浓度和组成的控制因素尚不完全清楚，其种群动态混乱。季节性开花周期的变化也会对环境和经济产生重大影响。绝大多数的浮游植物物种是无害的，但有些种类的浮游植物产生的神经毒素可以进入食物链，积累，且毒害鱼类、哺乳动物，最终毒害人类。值得注意的示例包括：产生短毒素并引起神经毒性贝类中毒的短小卡伦氏菌，产生萨克森毒素并引起麻痹性贝类中毒的亚历山大藻，产生冈田酸导致腹泻性贝类中毒的肌动蛋白的渐尖鳍藻，以及形成软骨藻酸导致健忘症贝类中毒，甚至可能导致死亡的拟菱形藻。目前，在沿海地区(包括美国加利福尼亚州)对这些物种的浓度进行监测，通常是通过使用浮游生物网从沿海水域手动收集样品，然后将样品运送到中央实验室进行基于光学显微镜的分析来进行的，这非常繁琐，缓慢且昂贵，需要专业人员进行几个手动步骤。
作为基于光学显微镜的分析的替代方法，流式细胞仪已经用于分析浮游植物样品超过35年。该技术依靠使用鞘流将浮游生物样品限制在照射激光束的焦点和测量样品体积内每个单个对象/粒子的前向散射强度和侧面散射强度。为了帮助分类，通常将其与荧光读数结合以检测在藻类和蓝细菌中发现的叶绿素、藻蓝蛋白和藻红蛋白的自发荧光。基于流式细胞仪的几种现场便携式设备已成功用于分析天然水样中的纳米级和微微浮游植物分布。然而，仅基于散射和荧光数据的分类识别通常在流式细胞仪中是不可行的，因此，这些设备需要附加的显微图像分析，或者需要通过某种形式的成像加以增强。
因此，成像流式细胞仪已经成为一种广泛使用的技术，其中使用显微镜物镜对流体流内的样品(例如藻类)成像。图像捕获由荧光检测器触发，因此，对具有可检测的自发荧光的对象成像。一些被广泛使用和可商购的成像流式细胞仪包括Flowcam(流体成像技术)，成像Flowcytobot(麦克莱恩研究实验室)以及CytoSense(Cytobouy b.v.)。尽管这些系统能够对流中的浮游生物进行成像，但它们仍具有一些重要的局限性。显微镜物镜的使用在这些系统的图像分辨率和体积通量之间提供了一种强有力的折衷机制；因此，为了获得高质量的图像，所测量的样品体积应限制在每小时几毫升(例如3–15毫升/小时)。使用较低放大倍率的物镜可以将低通量放大约10倍，而以图像质量为代价。另外，显微镜物镜的浅景深需要使用稳定的鞘流将液体样品进行流体动力学聚焦成几微米厚的层。这也限制了可以成像的对象的大小(例如，<150μm)以及流速，从而限制了系统的通量，这需要使用其他昂贵的技术，例如声聚焦。作为这些因素的结果，当前在环境微生物学领域中使用的成像流式细胞仪相当笨重(例如9至30千克)且价格昂贵(>40,000至100,000美元)，这限制了它们的广泛使用。
与这些现有的基于荧光的方法中的一些相反，浮游生物样品的全息成像提供了无标记的替代方法；事实上，它在环境微生物学中的应用始于40多年前使用摄影胶片，随后通过数码相机和重建技术继续使用。全息术提供了体积成像技术，该技术使用相干或部分相干的光来记录对象的干扰强度模式。随后可以重建此全息图，以数字方式将对象聚焦。全息图包含有关对象的复杂折射率分布的信息，因此，不仅可以获取样品的吸收率，而且可以获取其相分布。数字全息术的几种实现方式用于对流体流动进行成像。
可以根据外部参考波(在线或离轴)的存在，成像体积的放大率以及利用透镜或球面波前进行照明来对这些数字全息显微系统进行分类。离轴系统可以直接从捕获的全息图中检索相位信息；但是，它们的空间带宽乘积和图像质量通常比在线系统差。还存在可商购的在线全息成像流式细胞仪系统，例如LISST-Holo2(华盛顿州贝尔维尤的红杉科学公司)。与传统的成像流式细胞仪相比，该平台是单色系统(即不提供颜色信息)，并且图像质量相对较差。通量和空间分辨率在此设备中耦接，并因此它可以以有限的分辨率(约25-2500μm的等效球体直径和4μm的特征分辨率)为代价实现高通量体积成像，这仅用于检测和识别较大的生物体。还描述了在光路上使用显微镜物镜的高分辨率和更好图像质量的系统，但是，使用显微镜物镜不仅使这些系统更昂贵，而且限制了可达到的视场(FOV)和深度场，并因此大大降低了系统的通量，例如约0.8mL/h。
发明内容
在一个实施例中，提供了功能强大但又可移动且廉价的成像流式细胞仪设备，用于环境微生物学和相关用途。提供了在线全息成像流式细胞仪，其能够以约100mL/h或更高的通量自动检测并实时或接近实时地提供流动水样中无标签对象的彩色图像。在一个实施例中，高通量成像流式细胞仪重约1kg，尺寸为约15.5cm×15cm×12.5cm。成像流式细胞仪基于在诸如膝上型计算机等的计算设备上运行的能够深度学习的相位恢复和全息重建框架，来获得流动水样中的对象的图像，在一些实施例中，该框架还用于控制成像流式细胞仪设备。与其他成像流式细胞仪相比，成像流式细胞仪设备显著更紧凑，重量更轻且具有极高的成本效益，零件总成本不到2500美元，这仅是现有成像流式细胞仪成本的一小部分。该成像流式细胞仪设备可以连续检查通过0.8毫米厚的微流控芯片泵送的液体，而无需任何荧光触发或样品的流体动力学聚焦，从而也使该设备坚固耐用且非常易于操作，涵盖了从微米到几百微米的很大的动态范围对象尺寸。
在一些实施例中，成像流式细胞仪设备可以用于对水生微生物成像。水生微生物包括浮游生物和纳米浮游生物以及藻类。包括寄生虫等的其他微生物也可以用成像流式细胞仪设备成像。这种水生寄生虫的示例包括例如贾第虫(Giardia)。贾第虫是会引起称为贾第虫病的腹泻病的微观寄生虫。在其他实施例中，成像流式细胞仪设备可用于计数或量化样品中水生微生物的数量。这包括水生微生物的总数，以及确定特定种类或类别的微生物的特定子计数。在其他实施例中，流式细胞仪设备能够将识别出的微生物分类为属于特定物种、类别或表型。
通过对洛杉矶海岸线沿线海洋样品的微浮游生物和纳米浮游生物组成进行成像展示了便携式全息成像流式细胞仪的功能，并测量了潜在有害藻类拟菱形藻的浓度，与加利福尼亚公共卫生部(CDPH)进行的独立测量取得了良好的一致性。当然，其他微生物也可以如本文所述成像。这些现场结果证明了高通量成像流式细胞仪的有效性。在其他实施例中，成像流式细胞仪设备可以形成多个成像流式细胞仪的网络的基础，该网络可以被部署用于大规模、连续地监测和定量水样的微观成分。例如，现场的环境观察者可以使用该设备来监视各种水体的状态或健康。这可以包括海洋、河流、湖泊、溪流、池塘、饮用水源等。
在一个实施例中，公开了便携式成像流式细胞仪设备，其包括含有照明源的壳体或外壳，该照明源包括被配置用于同时、脉冲或连续波操作的多个彩色发光二极管(LED)(多个彩色LED可以存在于单个芯片上)。该设备还包括一个或多个带通滤波器，其被配置为对来自多个彩色LED的光进行光谱滤波，以调整照射流体样品的光的相干性。成像流式细胞仪设备包括微流体设备，该微流体设备具有流体地耦合至泵(在一个实施例中也位于壳体或外壳)的微流体通道，该泵被配置为将水基流体泵送通过微流体设备的微流体通道。彩色图像传感器邻近微流体通道设置，并且沿着包含来自多个彩色LED的光谱过滤光的光路放置。彩色图像传感器被配置为捕获图像帧，该图像帧包含穿过微流体通道的水中所包含的对象(例如，微生物)的原始全息图像。
在一个实施例中，从光源到彩色图像传感器的光路是折叠的光路。这有利地减小了设备的整体尺寸。在一个实施例中，这可以使用位于壳体或外壳中的反射镜(例如，凸面反射镜)来实现。可替代地，光路是不折叠的，但是这可能导致更大的设备尺寸。在一个实施例中，由一个或多个使用也包含在设备中的充电电路来充电的电容器以脉冲为多个彩色LED供电。便携式成像流式细胞仪设备还包括计算设备或与计算设备相关联，其被配置为接收由彩色图像传感器生成的多个图像帧。该计算设备可以与容纳成像流式细胞仪设备的各个部件的壳体或外壳分开形成。该计算设备可以包括与成像流式细胞仪设备位于同一位置的计算机，例如膝上型计算机、个人计算机、平板电脑等。可替代地，或除此之外，诸如服务器等的远程计算机可以用于图像处理。优选地，计算设备使用用于图像处理的图形处理单元(GPU)，以提高成像流式细胞仪设备的处理速度，使得其可以产生实时或接近实时的结果。该计算设备包括其中包含(或由此执行)的图像处理软件，在其他操作中，该图像处理软件被配置为执行背景减除以及自动检测所获取的图像帧中的对象。在一个实施例中，成像流式细胞仪设备的用户使用图形用户界面(GUI)与图像处理/控制软件对接。
图像处理软件还被配置为针对所获取的每个LED彩色全息图重建检测到的对象的相位和/或强度图像。在一个特定实施例中，使用诸如基于角度频谱的波传播算法的波传播算法来执行重建，以获取每个色彩通道的重建相位图像和强度图像(总共六个关于感兴趣的候选对象的图像)。在优选实施例中，图像处理软件还包括经训练的深度神经网络，其利用重建的相位和/或强度图像作为输入。然后，经训练的深度神经网络输出相位恢复的相位和/或强度图像，在一个实施例中，然后将其数字化生成(例如，合并)以创建所检测对象的相位对比图像。在一个替代实施例中，图像处理软件被配置为自动表征或识别检测到的对象的类型。图像处理软件可以以任何数量的软件程序或语言来实现。示例包括但不限于C/C++和CUDA应用程序接口(API)。可以使用NVIDIA CUDA深度神经网络库(cuDNN)来实现深度神经网络，尽管本发明不限于此特定实现。
在一个实施例中，使用成像流式细胞仪设备对对象进行成像的方法包括：在将包含对象的流体泵送或以其他方式流过微流体通道的同时，获得对象的多个图像帧。使用图像处理软件执行背景减除操作以去除伪像、灰尘、污垢等。然后，使用图像处理软件在背景减除后识别出潜在的感兴趣对象。接下来，图像处理软件重建对象的强度和相位图像。这些重建的对象强度和相位图像，尽管与全息图相比在分辨率上有所改善，但是仍然具有诸如双图像伪像的伪像。为了解决这个问题，然后将对象的重建的强度和相位图像输入到由图像处理软件执行的经训练的深度神经网络中，其中，经训练的深度神经网络输出对象的相位恢复的强度和相位图像。然后可以数字地生成或计算(例如，合并)对象的相位恢复的强度和相位图像，以创建检测到的对象的相位恢复的相位对比图像。
在另一实施例中，成像流式细胞仪设备使用单色图像传感器和相应的可以包括单个光源的光源。例如，此配置对于不需要附加颜色信息的对象或粒子计数或对象分类可能就足够了。
在另一实施例中，彩色图像传感器与近红外(IR)光源结合使用。这可以包括LED、激光二极管或其他光源。另外，在各种实施例中，可以省略一个或多个滤波器(这包括单色实施例以及彩色实施例)。例如，如果使用更多的窄带成像源，则可以完全省去滤波器。
在一个实施例中，可以在重建之前(例如，使用全息图本身)识别一些或全部对象。在该实施例中，例如，与整个图像帧相反，然后仅可以重建较小的对象子集。
成像流式细胞仪设备需要用于处理所获取的数据(即图像)和/或对成像流式细胞仪设备本身进行控制的计算设备。这可以使用连接到或集成到成像流式细胞仪设备本身的本地计算设备来进行。例如，可以使用任何数量的本地接口，包括诸如USB、GigE、以太网等的有线连接。也可以使用无线连接。在其他实施例中，所获取的数据的处理和/或成像流式细胞仪设备的控制的一些方面可以在本地计算设备和远程计算设备之间划分。例如，可以使用本地计算设备来控制成像流式细胞仪设备的操作参数，而远程计算机(例如服务器)可以用于图像处理。
在一个实施例中，提供了便携式成像流式细胞仪设备，其包括壳体或外壳。至少一个照明源设置在壳体或外壳中，并配置用于脉冲或连续波操作。微流体通道(例如，微流体设备的一部分)设置在壳体中，并且流体地耦接到其中包含被构造成流过微流体通道的对象的流体源。图像传感器布置成与微流体通道相邻并且布置在光路上，该光路接收来自穿过微流体通道的至少一个照明源的光，图像传感器被配置为捕获包含穿过微流体通道的对象的原始全息图像的多个图像帧。
便携式图像流式细胞仪设备与具有在其上执行的图像处理软件或由此被配置为执行背景减除并自动检测多个图像帧中的移动对象(例如，微生物)的计算设备进行通信。图像处理软件还被配置为在多个帧中分割移动对象并自动聚焦移动对象以识别在微流体通道内的移动对象的高度(z)位置。在一个实施例中，图像处理软件还被配置为针对每种颜色(例如，红色、蓝色、绿色)重建移动对象的相位和/或强度图像。例如，可以使用基于角度频谱的波传播算法来执行重建。图像处理软件可以进一步包括经训练的深度神经网络，其中将重建的相位和/或强度图像输入到输出移动对象的相位恢复的强度和/或相位图像的经训练的深度神经网络。替代地或附加地，可以组合相位恢复的强度和相位图像以生成移动对象的相位恢复的相位对比图像。
在另一实施例中，使用流式细胞仪设备对对象进行成像的方法包括：在使包含对象(例如，微生物)的流体流过微流体通道的同时，获得多个图像帧。使用图像处理软件执行背景减除操作以去除伪影。利用图像处理软件进行背景减除后，在多个图像帧中识别移动对象。使用图像处理软件生成移动对象的重建强度和相位图像。然后将重建的移动对象的强度和相位图像输入到由图像处理软件执行的经训练的深度神经网络中，其中经训练的深度神经网络输出移动对象的相位恢复的强度和/或相位图像或移动对象的相位恢复的相位对比图像。
在另一实施例中，用经训练的神经网络分类器代替经训练的深度神经网络(用于输出相位恢复的图像)，该分类器将观察到的移动对象分类为一个或多个对象类型。例如，经训练的神经网络分类器接收移动对象的重建的强度和相位图像作为输入，然后输出该对象是否是特定类型的二进制输出(即，是或否)。例如，经训练的神经网络分类器可用于将微生物分类为特定的物种或表型。
在另一实施例中，使用流式细胞仪设备对对象进行成像的方法包括：在使包含对象的流体流过微流体通道的同时获得多个图像帧；以及使用图像处理软件执行背景减除操作以去除伪影。利用图像处理软件进行背景减除之后在多个图像帧中识别移动对象。图像处理软件用于重建移动对象的强度和相位图像。然后将移动对象的重建的强度和相位图像输入到由图像处理软件执行的经训练的深度神经网络中，其中，经训练的深度神经网络输出移动对象内部的折射率分布。可替代地，或者除了移动对象内部的折射率分布之外，经训练的深度神经网络还可以输出移动对象的厚度。在一个特定的实施例中，折射率分布可以用作替代物以测量微生物的组成(例如，化学或脂质含量)。
附图说明
图1示出了流式细胞仪成像系统的照片，该系统包括成像流式细胞仪设备、含样品的流体源和计算设备。在面板A中还示出了流式细胞仪设备的微流体通道和成像子系统的示意图。面板B示出了处于打开状态的成像流式细胞仪设备的壳体或外壳的照片图像，其示出了各种部件。面板B的侧面是面板B的虚线区域的照片图像，其示出了具有微流体通道的微流体设备。在照明源和滤波器中也可以看到。
图2示出了在外壳或壳体打开的情况下成像流式细胞仪设备拍摄的照片。
图3示出了微流体通道的横截面图，其示出了流过微流体通道的移动对象(沿箭头A的方向)。
图4A示出了根据一个实施例的成像流式细胞仪设备的部件的分解图。
图4B示出了图4A的组装的成像流式细胞仪设备的透视图，其中为了清楚起见移除了顶部或盖子(镜和镜架可见)。
图5示出了在与成像流式细胞仪设备结合使用的计算设备(例如，膝上型计算机)上使用的图形用户界面(GUI)的一个示例。该图像示出了完整的视场(FOV)。
图6示出了在与成像流式细胞仪设备结合使用的计算设备(例如，膝上型计算机)上使用的图形用户界面(GUI)的另一示例。较小的图像示出在单个帧中检测到的已裁剪对象的不同重建图像。
图7示意性地示出了图像预处理、高分辨率色彩重建和基于深度神经网络(DNN)的相位恢复的操作。图像预处理涉及背景减除以消除伪影，然后进行重采样，对象分割和自动聚焦以识别感兴趣的候选对象。高分辨率色彩重建可基于对象的全息图像生成重建的强度和相位图像。将每个颜色通道的重建强度和相位图像输入经训练的神经网络中，以生成恢复的强度和/或相位图像。将红色、绿色和蓝色通道中的相位恢复的强度和相位图像进行融合以生成最终的每个对象的相位对比图像(显示在右侧的黑色虚线框内)。
图8示出了与成像流式细胞仪设备一起使用的图像处理软件所利用的分割算法。计算全视野背景减除全息图的空间梯度，以检测图像中存在的对象的快速振荡全息衍射图样。将梯度设定为阈值以创建二值图像，并执行形态学封闭以从每个对象获得单个掩模签名。计算掩模的中心坐标，并将其用于将整个视野全息图分割为包含单个对象(例如生物)的子全息图。
图9A示出了用于全息图像重建的卷积神经网络(CNN)的架构。对于RGB强度(×3)和RGB相位通道(×3)，每个输入矩阵为1024×1024像素，即总共形成6个通道。网络输出是流动对象的相位恢复和双图像消除的RGB强度和RGB相位。可以将它们合并以创建对象的最终相位对比图像。
图9B示意性地示出了与成像流式细胞仪设备对接的计算设备。该计算设备包括图像处理软件和控制软件，用于控制成像流式细胞仪设备的各个方面。
图10示出了由流式细胞仪在洛杉矶海岸线上检测到的各种海洋浮游生物的图像，由它们的(a-1至1-24)原始全息图和(b-1至b-24)相位对比重建在相位恢复之后表示。生物体被标识为：(1)洛氏角毛藻、(2)柔弱角毛藻、(3)亮尾毛壳菌、(4)劳德藻属、(5)细柱藻属、(6)菱形藻属、(7)梭角藻、(8)叉状角藻、(9)角质杜仲菌属、(10)辐杆藻属、(11)斯氏几内亚藻、(12)骨条藻属(13)纤毛虫属、(14)角管藻属、(15)斯氏几内亚藻、(16)岩屑、(17)斜纹藻属、(18)克劳迪肯原骨膜虫、(19)斯坦原小球藻、(20)海洋原甲藻、(21)多边舌夹藻、(22)鳍藻、(23)小等刺硅鞭藻(硅质骨架)和(24)海线藻属。面板(a-1)中的虚线矩形代表与重建图像相对应的分段且旋转45°的区域。
图11示出了相位对比彩色图像，其描绘了在洛杉矶海岸线附近发现并由流式细胞仪以100mL/h的流速成像的浮游生物。
图12示出了洛杉矶地区海岸线的地图以及示出了海洋中拟菱形藻的流行的图表。根据加利福尼亚公共卫生部(CDPH)协议收集了样品。通过成像流式细胞仪系统分析了每个样品的一部分，且其余部分被送至CDPH进行后续分析，这与我们的测量结果非常吻合。插图显示了拟菱形藻的相位对比重建实例，该藻可产生海藻酸(一种可能引起健忘性贝类中毒的危险神经毒素)。
图13示出了显示来自在雷东多海滩获得的一系列海水测量结果的现场测试结果的图表。每2个小时对海洋的最高1.5m进行采样，并随时间测量或观察浮游生物浓度的变化。在日出后(6.21AM)开始测量，并使用流式细胞仪对每个样品进行现场成像。结果显示白天总浮游生物计数增加，而拟菱形藻的数量在早晨时段达到峰值。
图14A至图14F示出了增加系统中的液体流速对图像质量的影响。矩形通道横截面内的相对流速分布在左上方(图14F)。这些测量是在一个含有高浓叉状角藻的海洋样品上进行的，因此，它被用作本试验的模式生物。在保持120-μs-光照脉冲长度恒定的情况下，以高于100mL/h的各种流速对样品进行测试。选择位于通道内最大流速区域(通常是中央区域)附近的对象，并将它们的位置显示为点。图14A至图14E是对应于不同流速的重建强度。还显示了照明脉冲期间的流速(mL/h)和理论计算的位移(μm)。
图15示出了流动贾第虫囊孢的基于深度学习的扩展景深(DOF)重建。(顶行)由图像传感器捕获的原始全息图被分为多个单独的颜色通道，并在大约与通道中心相对应的高度进行重建。该初始重建被用作深度神经网络的输入，该深度神经网络经过训练即可在单个步骤中重建全息图，而无需考虑它们的对象高度，从而自动实现自动聚焦和相位恢复的功能；从而通过同时重建所有粒子的焦点图像来生成场景的扩展景深图像。(底行)通过对每个粒子进行自动聚焦，对同一原始全息图进行单独重建。颗粒在流道高度(0–800μm)的不同高度重建；顶部和底部各行之间的比较清楚地表明，可以使用基于深度神经网络的扩展DOF重建将整个体积合并为一个平面(右上图)，从而可以重建密集的水样而不会受到本地可用计算能力的限制。
图16示出了成像流式细胞仪设备的成像性能。1951年的空军测试图被放置在距离CMOS传感器平面七个不同距离(z)处，与微流体通道的高度范围相对应。高度约550μm的图表是第8组元素3，对应于1.55μm的线宽。高于此高度时，光的相干性会随着z距离稳定地降低可实现的分辨率，并且通道的顶部解析出的线宽为1.95μm，对应于第8组元素1。
图17A示意性地示出了与在重建图像上训练以检测和计数特定微生物的神经网络分类器结合使用的流式细胞仪成像系统。
图17B示出了根据一个实施例的DenseNet神经网络分类器网络的细节。
图18示出了使用成像流式细胞仪设备进行的光路长度差测量的示例。对于视野中的每个对象，细胞仪设备不仅获得强度，而且还获得红色、绿色和蓝色通道(以相应的框架颜色表示)中每个通道的相位信息。浮游生物(虎斑猛水蚤幼体(Tigriopus nauplii))的透明部分在常规的明场(组合强度)彩色图像中不可见，但是由于外骨骼与周围水之间的折射率不匹配，因此在相位(组合相位)中变得可见。为了可视化，可以生成相位对比图像以融合强度和相位以获得对象的高对比度彩色图像。同样，可以计算出包含对象厚度和折射率分布信息的光路长度差(光路差图像–右下)。
具体实施方式
图1示出了流式细胞仪成像系统2的照片图像，该系统结合了成像流式细胞仪设备10，在一个实施例中，该设备获得沿箭头A的方向移动的移动对象12的图像，例如在图3中看到的图像，该移动对象12穿过微流体设备16的微流体通道14。移动对象12被携带在微流体通道14内的流动流体中。流动流体通常是水基流体，例如水。图1还示出了(在图像面板A中)成像流式细胞仪设备10的各种内部组件的示意图。图像面板B示出了成像流式细胞仪设备10的内部工作部件的拍摄视图，其中，壳体或外壳18处于打开状态。壳体或外壳18可包括底部20，如在图4A中最清楚地看到的，底部20包含成像流式细胞仪设备10的大部分部件。壳体18可以包括盖子或顶部22，在一个实施例中，它们铰接或连接至底部20，并且可以打开/关闭以提供进入壳体18的内部的通道。容纳在壳体或外壳18中的成像流式细胞仪设备10的整体尺寸足够小，使得成像流式细胞仪设备10是便携式的，并且可以从一个位置移动到另一个位置。在一个实施例中，成像流式细胞仪设备10重约1kg或更小，并且总体积小于约3,000cm3。例如，成像流式细胞仪设备10可以具有例如大约15.5cm×15cm×12.5cm的尺寸。与其他成像流式细胞仪相比，成像流式细胞仪设备10明显更紧凑，重量更轻并且具有极高的成本效益，其部件成本低于2500美元，这仅是现有成像流式细胞仪成本的一小部分。
如图1和图9B所示，系统2还包括可操作地连接至成像流式细胞仪设备10的计算设备24。在一个实施例中，计算设备24用于使用控制软件30和/或图像处理软件28来控制流式细胞仪设备10的各种操作方面。这包括控制包含对象12的流体被泵送通过成像流式细胞仪设备10的速率，成像参数(例如在此描述的各种彩色光源的强度)以及相机设置(例如，帧速率、LED的曝光时间、增益、色彩比率等)。
如本文所述，计算设备24的控制软件30和/或图像处理软件28也可以用于查看、控制或修改用于重建相位和幅度图像的重建参数。控制软件30和/或图像处理软件28也可以用于校准重建对象的高分辨率图像所需的参数。这包括用于红色、绿色和蓝色LED的角度补偿(θ，Ψ)。计算设备24的控制软件30和/或图像处理软件28也可以用于查看和保存各种图像(包括全息图像、重建图像和相位恢复图像)。例如，在一个特定实施例中，相位恢复的强度图像和相位恢复的相位图像被组合或合并以生成对象12的相位恢复的相位对比图像。这些可以显示在与计算设备24相关联的显示器26等上。图5和图6示出了示例性图形用户界面(GUI)110，其用于查看数据和图像以及控制成像流式细胞仪设备10的各种操作方面。
在一个实施例中，计算设备24包含图像处理软件28，其用于执行如本文更充分描述的成像和其他操作。例如，这包括图像预处理操作，例如背景减除、图像重采样、对象分割、对象聚焦操作。图像处理软件28还执行高分辨率的颜色重建，其中，将全息图像重建为强度和/或相位图像。图像处理软件28还可执行用于生成相位恢复的强度和/或相位图像(或将这两者合并的相位恢复的相位对比图像)的经训练的神经网络(例如，深度神经网络或DNN)。经训练的神经网络也可以用于识别或分类被成像的对象12的类型。
图像处理软件28还用于获取和存储在成像流式细胞仪设备10的操作期间收集的许多图像文件。在某些模式下，可以通过图像处理软件28来生成实时数据和图像。在其他模式下，图像处理软件28可用于分析先前已捕获的图像，然后将其传输到计算设备或计算设备24可访问的存储介质。图像文件的传送可经由有线传输或无线传输发生。在本文所述的一些实施例中，图像处理软件28能够自动识别或分类对象12。例如，在使用成像流式细胞仪设备10评估水体的情况下，图像处理软件28可以识别浮游生物或其他微生物的类型。类型可以指特定的微生物物种，或者可以指特定的表型。
图像处理软件28可以集成到控制软件30中，该软件用于控制成像流式细胞仪设备10的各个操作方面。但是，在一些实施例中，成像流式细胞仪设备10的控制方面可以由与图像处理软件28分开的控制软件30来运行。就这一点而言，控制软件30可以驻留在第一计算设备10上，而图像处理软件28可以驻留在第二计算设备24上。例如，本地计算设备24可以用于利用控制软件30来控制成像流式细胞仪设备10，而远程计算设备10(例如，服务器、云计算机等)可以执行图像处理软件28。当然，如图1所示，单个计算设备24可以操作图像处理软件28和控制软件30。
可以与流式细胞仪成像系统2一起使用的计算设备24可以包括任何数量的计算设备，例如个人计算机(PC)、膝上型计算机、平板计算机、移动电话(例如，智能电话)、服务器等。如本文所述，图像处理软件28最好在具有一个或多个图形处理单元(GPU)(提高图像处理软件28生成图像或其他输出的速度)的计算设备24上执行。计算设备24可以经由有线(例如，USB等)和/或无线连接(Wi-Fi、蓝牙等)与成像流式细胞仪设备10对接。成像流式细胞仪设备10可以由可以连接至AC插座的电源供电(并且通过电源转换为5V DC)。可替代地，成像流式细胞仪设备10可以由可以在壳体或外壳18内部或外部的一个或多个电池(例如5V电池组)供电。
仍参考图1，成像流式细胞仪设备10与其中包含对象12的流体源结合使用。流体源可以包含在接收器32中，例如试管、比色杯、小瓶等。如图1所示，提供了两个这样的接收器32。每个接收器32通过管道34分别连接到包含如本文所述的微流体通道14的微流体设备16的入口40和出口42(在图2中最佳可见)。第一接收器32用于将流体吸入成像流式细胞仪设备10，而第二接收器32用于接收已经通过成像流式细胞仪设备10的流体。因此，一个接收器32用于流体输入，而另一个接收器32用于流体输出。容纳在穿过成像流式细胞仪设备10的接收器32中的流体源32是一个实施例，是水性或水基流体。水基流体可包含在天然或人造水体处获得的水样。示例包括海洋、河流、湖泊、溪流、池塘、饮用水源等。
参照图1和图2，成像流式细胞仪设备10包括微流体设备16，该微流体设备16中形成有与入口40和出口42连通的微流体通道14。微流体设备16可以形成为层压体或整体结构，并且被保持在壳体或外壳18内的保持器39内。微流体设备16可以采取例如芯片或流通池的形式。可以根据需要将微流体设备16插入该保持器39中并从该保持器39中移除(例如，微流体设备16可以是在每次使用之后被更换的一次性组件)。微流体设备26由光学透明材料(例如，光学透明聚合物或玻璃)形成，使得来自光源的光能够穿过微流体通道14，从而使流体中包含的对象12的全息图像可以通过如本文所述的图像传感器捕获。微流体通道14的尺寸可以从数十或数百微米变化到大于1mm。微流体通道14的尺寸应该足够大，以使得微流体通道14不会响应于流体流动而阻塞。本文所述的测试的微流体通道14具有800μm的高度和约5mm的宽度。通过增加横截面尺寸(例如，高度或宽度)，可以实现更高的通量率。
泵44布置在壳体或外壳18中，并用于将包含对象12的流体从接收器32泵入微流体设备16的微流体通道14中。流体离开接收器32，并通过泵44泵入入口40，在此处流体继续沿着微流体通道14向下流动，然后通过出口42流出。离开微流体设备16的流体通过管道34被倒空到接收接收器32中。泵44可以包括如本文所述的蠕动泵(例如，Instech p625)。其他类型的泵44包括微流体泵或能够将流体泵送通过微流体通道14的任何其他泵。可以使用控制软件30来改变泵44的流速。在一些实施例中，成像流式细胞仪设备10中泵44的存在是可选的。例如，泵44可以在成像流式细胞仪设备10的外部。在另一个实施例中，成像流式细胞仪设备10可以与另一个系统或过程串联放置，并且可以使用泵送的流来推动或拉动流体通过微流体通道14。
图像传感器46设置为与微流体设备16和微流体通道14相邻，以使图像传感器46的有效区域包围微流体通道14的区域。如本文所述，图像传感器46的有效区域可以以微流体通道14的中心为中心。尽管在其他实施例中，有效区域可以与微流体通道14的表面接触，但是在图像传感器46的有源区域的微流体通道的底表面上可以存在几微米等的小的气隙。在一个实施例中，当使用多色光源时，所使用的图像传感器46是彩色图像传感器46。这种彩色图像传感器的示例包括具有像素尺寸为1.4μm的CMOS彩色图像传感器46(例如Basleraca4600-10uc(Basler AG，德国))的相机47。彩色图像传感器46可以经由电缆(例如，USB电缆)供电，该电缆也用于传送由彩色图像传感器46捕获的图像(即，图像帧)。在一些其他实施例中，成像流式细胞仪设备10可以使用单色图像传感器46。在这样的实施例中，不需要多色光源。例如，当需要诸如对象计数等的较低级别的分辨率时，可以使用单色图像传感器46。
光源50设置在壳体或外壳18中，并用于提供照明，该照明用于照亮流过微流体通道14的流体中所包含的对象12。在一个实施例中，光源50是多色光源，其发射多个离散波长范围或波段的光。例如，可以使用多色LED以发出红色、绿色和蓝色的光。示例包括具有可单独寻址的红色、蓝色和绿色LED管芯的可表面安装的RGBW LED，这些管芯用于创建多色光，同时驱动多色光以照射包含流动流体的微流体通道14。这种多色光源50的示例是由LEDEngin(欧司朗)制造的LZ4-04MDPB发射器。提供三路输出LED驱动器控制器电路52(LT3797，凌力尔特公司驱动器)以驱动光源50。
参照图1和图4A，在一个实施例中，提供了多个滤波器54以调节照射微流体通道14的光的相干性。图1示出了两个这样的滤波器54，它们是三重带通光学滤波器(Edmund光学#87-246，Chroma Inc.69015m)以增加照明的时间相干性。滤波器与垫片55间隔开，并被保持在保持器57中，并由帽59保持(见图4A)。然而，应当理解，在其他实施例中，可能仅需要单个滤波器54。在其他实施例中，在光源50的相干足够窄的情况下，甚至可能不需要滤波器54。
在成像流式细胞仪设备10的操作期间，多色光源50的不同LED同时以脉冲方式被点亮。图像传感器45在全局复位释放模式下操作，并且调节脉冲宽度以不允许在微流体通道14内以最大速度行进的对象12移动超过单个传感器像素的宽度。对于100mL/h的流量，这相当于120μs的脉冲长度。
为了使不同的LED产生脉冲，将高电流脉冲存储在三个0.1-F电容器56中，使用电容器充电器控制器58(LT3750，Linear Technologies)将其充电到12V。电容器电荷由图像传感器闪光窗口触发信号启动，该信号在帧捕获期间处于活动状态，并且其长度可以由相机/图像传感器46软件驱动程序控制。充电器控制器58获得“接通”状态，并且继续对电容器充电直到达到12V的预设电压电平。在短的照明脉冲期间，电容器上的电压仅略有下降，并且在每个帧捕获重置充电周期时，电容器会立即重新充电，从而允许连续操作。
LED被同步并且通过驱动电路52确保它们的恒定电流操作。控制器58使用来自图像传感器46的相同的闪光窗口信号来在软件设置的曝光持续时间内开启光源50的LED。该电路的每个脉冲的每个LED的电流保持恒定，因此，每个全息帧的照明强度保持不变。
在另一个替代实施例中，光源50以不产生光脉冲的连续波操作进行操作。例如，当图像传感器46以“脉冲”模式操作以捕获多个图像帧时，光源50的多色LED可以在连续的时间段内同时发光(例如，在执行样品分析的同时)。使用现代相机系统众所周知的各种选项，可以以例如非常快的快门/图像捕获速度来操作图像传感器46。在这方面，移动对象12产生相似的图像，但是代替脉冲光源50，图像传感器46以脉冲模式运行。当然，使用连续波光源50消除了对电容器56和相关的电荷控制器58的需要。
参照图1、图4A、图4B，壳体或外壳18包括反射镜60，在一个实施例中，该反射镜60是通过反射镜底座62安装在盖子或顶部22中的凸面镜60。在到达微流体通道14之前反射镜60反射来自光源50的光，从而增加空间相干性，同时允许紧凑和轻量的光学设置。在这方面，形成折叠的光路，由此由光源50发射的光被反射到微流体通道14上，由此流体中的对象12的全息图投射在图像传感器46上并由图像传感器46捕获。在替代配置中，光源50和微流体通道14之间的光路没有折叠，但是，这将使光源50进一步远离并增加设备10的整体尺寸。虽然将单反射用作折叠的光路的一部分，但是应当理解，可以使用除了所示出的反射之外的附加反射(即，折叠的光路)。
如在图4A中最佳可见，提供了框架或支撑件64并将其固定在容纳各种部件的壳体18的底部20内。例如，这包括用于相机47的安装架66以及用于LED驱动电路52和光源50(例如，LED芯片)的安装架或保持器68。为泵44提供了单独的支架70。还为微流体设备保持器39提供了支架72。框架64还包括用于微控制器76的支架74，其用作i2c通信的接口。
实验
对成像流式细胞仪设备10进行了从洛杉矶海岸线海洋中获取的水样的测试。样品以100mL/h的流速成像，并且原始的完整FOV图像信息以膝上型计算机(也用于控制成像流式细胞仪设备10的操作)的形式保存在计算设备24。如图5和图6所示，浮游生物全息图已按照本文的详细说明(例如，图7、图8和相关说明)自动进行了细分，并由计算设备24使用深度卷积网络进行了重建，并且计算浮游生物的相位对比彩色图像并将其保存到本地膝上型计算机计算设备24中，该设备也通过定制的GUI110控制成像流式细胞仪。图10突出显示了由计算设备24执行的图像处理软件所采用的能够进行自动深度学习的重建处理的性能以及由成像流式细胞仪设备10所实现的图像质量，用初始分割的原始图像(全息图)和最终相位对比图像(在一个优选实施例中为彩色)展示了几种浮游生物。这些浮游生物类型中的大多数由成像流式细胞仪设备10基于重建图像来检测，如图10的图像中所详述。图11还示出了在同一海洋样品中成像的未识别的浮游生物的其他选择。每次测量的水样的一部分也被他们的专家发送到CDPH进行比较显微镜分析，并且在每个水样中发现的不同物种的定性组成与成像流式细胞仪设备10的测量结果非常一致。此外，为了与CDPH进行的常规分析进行定量比较，选择了潜在有毒的拟菱形藻藻类，并在洛杉矶海岸线上的六个不同测量位置(即公共海滩)评估了其相对丰度。如图12总结的，流式细胞仪的成像结果也与CDPH的分析结果有很好的一致性。
成像流式细胞仪设备10的现场便携性是通过在雷东多海滩码头现场操作成像流式细胞仪设备10进行的，其中实验进行了8小时。成像流式细胞仪设备10本身由5V电池组供电，并可以运行几个小时。在现场实验期间(从6:30AM到2:30PM)，使用500-Wh 19-V外部电池组为膝上型计算机计算设备24供电。在这些现场实验中，在早晨测量了海洋中浮游生物总浓度的时间演变，发现在白天，可能是由于垂直迁移，海水顶部1.5m处的微型浮游生物数量增加(见图13)。还手动计数了在这些样品中发现的拟菱形藻的数量，并且观察到在早晨(约8：30AM)达到峰值，然后稳定下降(图13)；总的来说，这些趋势的预测相当复杂，因为它们受到各种因素的影响，例如当地微生物群落的组成、潮汐和上升/下沉模式。这些结果证明成像流式细胞仪设备10能够在不需要连接到电网的情况下，在现场连续数小时定期测量和跟踪水样的浮游生物组成和浓度。
任何成像流式细胞仪的通量由几个因素确定，但是最重要的是它由所需的图像质量控制。成像流式细胞仪设备10被设计成获得图像传感器46的像素尺寸所允许的最高分辨率，由于在样品体积上无法获得足够的空间和时间相干性的照明强度损失，以及需要脉冲照明以消除运动模糊，导致光子预算紧张。由于对象12在微流体通道14中的快速流动，因此无法使用像素超分辨率方法将重建图像的分辨率提高到亚像素级别。实验以100mL/h的速度进行；然而，以某种运动模糊为代价，在不对设备10进行任何修改的情况下，该通量可以提高三倍。通过使用具有更高高度(例如，>1mm)的微流体通道14，其通量甚至可以进一步提高。为了证明这一点，我们用高达480毫升/小时的流量对海洋样品进行了成像(见图14A至图14F)。获得的重建结果显示，尽管流速提高了，但成像的藻类(叉状角藻)仍然很容易辨认。
除了物理体积通量之外，计算设备24(例如，膝上型计算机)的处理速度也可以是限制因素，主要影响可以实时处理的样品的最大密度。成像流式细胞仪设备10设计成实现实时操作，即，计算设备24处理信息的速度快于图像传感器46提供的信息以避免存储器溢出。当前，成像流式细胞仪设备10可以根据样品密度以三种模式运行。在第一模式中，成像流式细胞仪设备10可以获取并保存完整的FOV全息图，并且在测量之后执行所有的重建和相位恢复步骤，这对于高浓度样品(例如，>2,000-3,000个对象/mL)是必需的方法。甚至稠密的样品也可以通过成像流式细胞仪设备10进行分析，例如通过相应地稀释它们或降低通量来进行分析。在第二模式中，计算设备24的图像处理软件可以重建全息图，但是在测量期间不执行检测到的对象12的相位恢复。目前，图像分割和重建过程每个完整的FOV帧大约需要320毫秒，其中可以在GTX 1080GPU上通过并行计算为每个图像重建七(7)个对象。主要的计算操作是：(1)对整个FOV全息图进行分割以进行对象检测(约70ms)，(2)全息自动聚焦和重建(约12ms/对象)，以及(3)将最终的幅度和相位图像(8位，1024×1024像素×3个彩色通道)从设备(即GPU)传输到主机(即中央处理器)，并将其保存在内部固态驱动器上(每个对象约10-20毫秒)。因此，在重建而不是相位恢复对象12的情况下，成像流式细胞仪设备10可以以100mL/h的流量实时成像具有约700个对象/mL的样品。
在第三操作模式中，成像流式细胞仪设备10涉及在测量期间对所有流动对象12执行图像重建和相位恢复步骤。目前，基于深度学习的相位恢复步骤是图像处理算法中最密集的部分，运行时间约为250毫秒/对象。因此，如果在此第三种操作模式下需要实时相位恢复，它将以100mL/h的流速将样品密度限制为约100个对象/mL。由于GPU的性能每年平均提高1.5倍，随着GPU性能的提高，随着时间的推移，这些计算性能的限制将得到部分克服。此外，可以使用卷积神经网络同时聚焦全息图中的所有对象，与传统方法相比，该网络将全息重建的景深扩展了>25倍。这将允许将相位恢复，自动聚焦和图像重建步骤组合到单个神经网络中，从而使完整FOV的计算时间与颗粒的密度无关，从而可以对高密度流体样品进行实时成像。实际上，已经对该方法进行了测试，以重建800μm(高度)微流体通道14中的对象12，并发现无论微流体通道14内部的对象12的高度如何，该方法都能产生良好的结果(参见图15)。
尽管所测试的成像流式细胞仪设备10是现场便携式的，但是该特定实施例不是完全防水的并且不能在水面以上操作。通过简单地将USB3相机连接更改为GigE，并构建类似于OpenROV潜水平台的远程微控制器通信设置，此原型可以在距控制计算设备24(例如膝上型计算机)100米的范围内运行。与其他成像流式细胞仪技术相比，由于其硬件复杂度较低，因此系统2的组件成本非常低(<2,500美元)，并且具有大批量生产的能力，因此其制造成本不到760美元(见下表1)。这种非凡的成本效益为环境微生物学研究提供了各种令人兴奋的机会，并且可以允许以可承受的价格创建计算成像细胞仪网络，以便大规模、连续地监测海洋浮游生物的组成和海洋微生物组(或其他水体)。
表1
组件 单台设备(USD) 大量设备(USD)
泵 $700 ～$420
图像传感器 $676 ～$115
照明电路 ～$300 ～$110
光学滤波器 $400+$375 <$100
流动通道 ～$15 <$10
总价 ～$2466 <$755
方法
光学系统
成像流式细胞仪设备10使用像素尺寸为1.4μm(巴斯勒Basler aca4600-10uc)的彩色图像传感器46。移除相机47的壳体，并且重新布置电路以允许微流体设备16被直接放置成与图像传感器46的保护性盖玻片接触(见图1和图3)。在微流体设备16的底部和图像传感器46之间可能存在小的空气间隙(几微米)。通过使用来自LED光源50(Ledengin LZ4-04MDPB)的红色、绿色和蓝色发射器来提供成像流式细胞仪设备10的照明。从基于LED的光源50发射的光的空间和时间相干性增加，以实现传感器像素尺寸所允许的最大分辨率。通过使用凸面镜60(Edmund光学器件#64-061)来调整空间相干性以增加光路。LED光还通过两个三重带通光学滤波器54(Edmund Optics#87-246，Chroma Inc.69015m)进行光谱过滤，以增加照明的时间相干性。光学组件的放置旨在调整光谱滤波器角度的带通，以更好地匹配LED的最大发射。LED的空间和时间相干性的增加也降低了到达图像传感器46的强度。当以快速流动对对象12进行成像时，避免运动模糊所需的短曝光时间使我们的配置有必要利用线性传感器增益2。由增益产生的附加噪声足够低，以不干扰图像重建过程。
微流体通道和流动设计
内部高度为0.8mm的微流体通道14(Ibidiμ-Slide I)放置在图像传感器46的顶部，使用3D打印的支架39固定，并连接到蠕动泵44(Instech p625)。图像传感器46的有效区域的尺寸略小于微流体通道14的宽度(4.6mm对5mm)，并且微流体通道14的位置使得图像传感器46测量液体流的中心。通过求解假设为非滑动边界条件的不可压缩液体的Navier-Stokes方程，计算了微流体通道14内部的流动曲线(参见图14F)。结果表明，图像传感器测量了流经微流体通道14的总体积的约98％。流动轮廓是二维抛物面，最大流速位于微流体通道14的中心，其测量值比液体的平均速度高约1.66倍(请参见图14F)。为了获得在连续流动的液体中的对象12的清晰的、聚焦的图像，图像传感器46以全局复位释放模式操作并且通过闪光脉冲照亮样品，其中调整了照明脉冲的长度，以使在微流体通道14内以最大速度移动的对象12的移动幅度大于单个传感器像素的宽度。对于100mL/h的流量，这相当于120μs的脉冲长度。
脉冲照明、电源和控制电路
因为缩短照明时间也限制了可用的光子预算，所以通过根据LED颜色在2.2-5A的电流范围内操作它们，可以使LED光源50的亮度最大化。为每个LED发射器设置电流以在图像传感器46处产生相似的亮度水平，从而确保样品以每种颜色被充分点亮，这是获得彩色图像的要求。绿色LED光谱固有地比红色和蓝色对应物宽，因此，光谱滤波器54将最大程度地降低其强度。因此，绿色LED以实验确定的5A最大可能电流工作。红色和蓝色LED需要约2.2A的电流，以匹配图像传感器46上绿色LED的强度以校正白平衡。利用控制电路来控制成像流式细胞仪设备10的组件。该电路由5V壁挂式电源或手机充电器电池组供电。控制电路完成了四个主要任务：为蠕动泵44供电，为电容器56充电以向基于LED的光源50供电，使LED与图像传感器46同步，并产生稳定的、短的高电流脉冲，最后，使用集成电路间(i2c)接口通过计算设备24提供用于远程控制的接口，以设置各种参数。蠕动泵44由高效的升压DC-DC转换器在16V下供电(TPS61086，德州仪器(Texas Instruments))，其且速度由电位计通过i2c组件(TPL0401B，德州仪器(Texas Instruments))控制。高电流脉冲的电荷存储在三个0.1F电容器56中，使用电容器充电器控制器58(LT3750，凌力尔特公司(Linear Technologies))将其充电至12V。电容器电荷由图像传感器闪光灯窗口触发器启动信号，它在帧捕获期间处于活动状态，且其长度可以由相机软件驱动程序控制。充电器控制器58获得“接通”状态，并继续对电容器56充电，直到达到12V的预设电压电平。在短的照明脉冲期间，电容器56上的电压仅略微降低，并且，当每个帧捕获重置充电周期时，它们会立即充电，从而实现连续操作。通过三路输出LED驱动器控制器52(LT3797，凌力尔特公司(Linear Technologies))确保LED同步并确保其恒流工作。控制器52使用来自图像传感器46的相同的闪光窗口信号来在由软件设置的曝光持续时间内开启光源50的LED。使用数字i2c电位计(TPL0401B，德州仪器(Texas Instruments))将每个LED的电流控制在0-12.5A之间，并且电路52对于随后的脉冲将其保持恒定，从而为每个全息图框保持相同的照明强度。在启动期间，电路52稳定在恒定的光照水平大约需要3-4帧。为避免i2c线上有多个具有相同地址的设备，使用了一个地址转换器(LTC4317，凌力尔特公司(Linear Technologies))来与控制红色和蓝色LED的电位计接口。为了控制电路，计算设备24(例如，膝上型计算机)与Arduino微控制器76(来自Tinycircuits的TinyDuino)(仅用作i2c通信的接口)进行通信。
基于对象检测和基于深度学习的全息图重建
参考图7，对于在连续流动的水样中发现的目标对象12的自动检测和全息重建，在原始的全FOV图像80中发现的静态对象12(例如，流动通道中的灰尘颗粒)首先需要消除。这是通过计算约前20个图像80的时间平均图像(仅包含静态对象)并将其从当前原始全息图中减去而实现的。为确保适当的重建质量，此相减后的图像的均值会均匀地加回到当前帧。如图7所示，这会产生背景减除的完整FOV图像82，其中仅显示了由流新引入的对象12的全息图。这些对象12被自动检测到并从完整FOV中进行分割以进行单独处理，如图8所示。如操作84(图8)所示，首先将完整FOV背景减除的全息图82进行高斯滤波，然后通过具有其统计值(平均值+1.5×标准偏差)的硬阈值86将其转换为二进制图像，从而隔离了由FOV中包含的对象创建的全息签名的峰值。去除了具有几个像素区域的二进制轮廓，以减少由于传感器噪声而引起的误检测事件。在生成的二进制图像88中执行闭合操作以为每个对象12创建连续的补丁。所得的二值轮廓表示出现在FOV中的对象12的形状和位置，并且它们的形态信息用于通过某些所需的标准(例如，主轴)过滤每个轮廓。滤波后的轮廓的中心坐标用于分割其相应的全息图。通过该方法，不仅可以提取FOV中的所有对象12，而且还可以针对特定目标为感兴趣的对象12划分优先级。使用此方法，可以更好地利用计算设备24的计算资源并保持密度更高的样品的实时处理。
分割之后，如在操作90(图7)中所见，将拜耳阵列的全息图分离为三个单色(即，红色、绿色和蓝色)全息图，其对应于照明波长。为了充分利用光学系统的空间分辨率，将拜耳阵列绿色像素的方向旋转45°以调整其采样网格。同时，将红色和蓝色单色全息图上采样两倍，然后如操作92所示，将45°旋转应用于这些上采样的全息图。请注意，可以在不应用任何旋转的情况下，首先对完整FOV去拜耳图像进行分割(操作92)。在分割完成之后，原始拜耳的，背景减除的全息图然后经受旋转操作92。仅使用单个单色全息图对每个分割的对象12执行如操作94中所示的使用复梯度的Tamura的全息自动聚焦，以准确地估计各个对象12与图像传感器46的成像平面的距离。在这一点上，流中的每个对象12被3D定位(按FOV)。然后，将每个检测到的对象12的坐标与计算得出的估计流量轮廓结合使用，并在下一帧预测每个对象12的位置。如果在预测坐标处找到对象12，则将其标记为从总数和处理工作流中删除，以避免多次重建和计数同一对象12。
下一步是通过在操作96中看到的对重采样的全息图进一步上采样四倍来最大程度地提高重建的分辨率。然后，如操作98所示，通过波传播算法将每个颜色通道传播到所获得的重建距离，从而将其聚焦。在一个特定实施例中，波传播算法是基于角度频谱的波传播算法。关于基于角度频谱的波传播算法的细节可以在
Figure BDA0002865298120000261
Z.&amp；Ozcan，A.片上生物医学成像中找到，IEEE版本.生物医药。Eng.6，29–46(2013)，其通过引用并入本文中。通过执行四(4)个连续的角度频谱传播(每个角度传播对应于材料及其相应的厚度)，分别考虑存在于光路中的材料的不同折射率，即图像传感器46的盖玻片、图像传感器46与微流体通道14的底部之间的气隙、微流体通道14、以及其中的水或其他液体。如上所述，对于每个对象12，图像传感器46盖玻片、气隙和微流体通道14的底部厚度是恒定的，同时对象与微流体通道14底部的距离是变化的，并且由对单一颜色执行的自动聚焦算法94的结果给出。通过相应地修改传播内核来校正LED芯片光源50的红色、绿色和蓝色发射器之间的微小入射角差异。为了评估位于微流体通道14内部的对象12的成像流式细胞仪设备10的分辨率，用1951空军测试图代替了流动通道(见图16)。由于照明的部分相干特性，分辨率取决于对象到传感器的距离；因此，通过将测试图放置在图像传感器46上方的不同高度进行测量。最小分辨线的宽度在1.55μm至1.95μm之间变化，具体取决于对象12的高度，其中1.55μm对应于由成像流式细胞仪设备10在其正常操作期间成像的大多数流动对象12的最小可分辨特征。
然而，这些原始的重建相位和强度图像100(包括重建强度图像100i和重建相位图像100p)都受到自干涉和双图像噪声的污染，由于在图像传感器46的平面处全息图的相位信息的丢失，所以它们是在线数字全息成像系统的特征。因此，为了在没有这些伪影的情况下实现准确的图像重建，采用了基于深度学习的数字全息相位恢复方法，使用经训练的深度神经网络102(例如卷积神经网络)(见图7、图9A、图9B)进行预训练，并使用成像流式细胞仪设备10捕获了水生对象12的各种相位恢复重建。可以使用例如对象12的多高度图像来获得相位恢复的地面真相或“黄金标准”重建，其中使用多高度相位恢复执行相位恢复，如里文森等人在《使用神经网络中的深度学习进行相位恢复和全息图像重建》(LightSci.Appl.7.e17141(2018))中披露的内容，其通过引用并入本文。这使得能够在不牺牲成像流式细胞仪设备10的高通量操作的情况下自动且准确地获取对象12的光谱形态，否则这将是非常具有挑战性的，因为其他现有的相位恢复方法需要静态重复测量和/或耗时的迭代计算，这不适用于流动的对象12。
经训练的深度神经网络102输出相位恢复图像104，其包括相位恢复强度图像104i和相位恢复相位图像104p。如图7所示，可以将相位恢复的强度图像104i和相位恢复的相位图像104p组合或合并以创建相位恢复的相位对比图像106。图7在经训练的深度神经网络102的面板中还显示了相位恢复的相位对比图像106。为使诸如浮游生物的透明对象12可视化，基于红色，绿色和蓝色通道的复数值重建的彩色相位对比图像106有助于以高色差准确地解析各种水性微生物的精细特征和内部结构(例如，参见图10)。
图形用户界面(GUI)
使用GUI 110来操作用户经由计算设备24的显示器26与之交互的设备(图5和图6)。通过该GUI 110，可以指定所有相关的测量参数，例如液体流速，驱动电流，红色、绿色和蓝色LED的入射角，闪光脉冲持续时间，相机传感器增益等。GUI 110在微流体通道14的中心处给出实时的全视场重建图像，从而允许在具有和不具有背景减除的情况下在流动期间进行视觉检查，并在当前帧中显示检测到的对象12的总数。GUI 110还能够实时可视化多达十二(12)个分段，自动聚焦和重建的对象12(或者当然可以显示更多或更少的对象12)。用户可以指定是否以数字方式保存原始、背景减除的全息图或重建的图像(例如，图像106)的任何组合。GUI110也可以在演示模式下运行，从而允许在没有成像流式细胞仪设备10的情况下分析先前捕获的图像数据集。
样品制备和分析
遵循CDPH(美国)推荐的用于获取海洋样品的采样方案。使用直径为25cm的浮游生物网，在每个有码头的采样位置(马里布、圣莫尼卡、威尼斯、曼哈顿和美国加利福尼亚州的雷东多海滩)从码头末端开始进行总长度为15m(5×3m)的垂直拖网。杜梅岬没有码头，因此从海岸线进行水平拖曳。浮游生物网将海洋中发现的微浮游生物和纳米浮游生物浓缩为约250mL的样品，即，在这种情况下，冷凝比约为3000倍。提取1mL浓缩样品，并用50mL过滤过的海水重新稀释，使用成像流式细胞仪设备10对其内容物进行成像。剩余的样品被送到CDPH进行后续分析(用于比较目的)。在现场测试期间，使用了相同的浮游生物网，但是每次测量仅从1.5m的深度进行了一次垂直拖曳。1mL所得样品用20mL过滤海水重新稀释。为了节省控制计算设备24(即，膝上型计算机)的电池电量，在现场对约12mL的该样品成像。成像流式细胞仪设备10自动检测并保存所有检测到的浮游生物的重建图像106，并向用户提供关于检测到的浮游生物总数的实时反馈。通过扫描已保存图像的数据集并在视觉上识别拟菱形藻，手动对拟菱形藻进行了特定计数。
在另一个实施例中并参考图17A，流式细胞仪成像系统2与神经网络分类器114一起使用，该分类器被配置为检测和计数特定类型的对象12，例如特定类型的微生物。在该备选实施例中，用神经网络分类器114代替先前描述的经训练的深层神经网络102，在一个实施例中，训练该神经网络分类器114以输出关于特定微生物是特定类型还是物种的二元确定(即，是/否)。例如，神经网络分类器114用于检测和计数各种浓度的贾第虫囊孢。为此目的而训练的神经网络分类器114是DenseNet-121网络的变体，Huang等人，《计算机视觉和模式识别IEEE会议论文集》，第4700-4708页(2017年)，其通过引用合并。
改变DenseNet-121网络，包括省略了批处理规范层并使用了0.3的丢弃(dropout)。选择的网络优化器是自适应矩估计(ADAM)。总共使用了40000个贾第虫图像和40000个污垢颗粒图像来训练神经网络分类器114。每个类别的8000张图像用作验证集。图像旋转和翻转的数据增强技术也被用来增加样品图像的多样性。训练了神经网络分类器114，并对重建的但非相位恢复的相位和幅度图像做出了后续决定。就像在相位恢复训练神经网络102的情况下一样，神经网络分类器114的输入也是重建的红色、绿色和蓝色强度和相位图像(即图7中的图像100i，100p)(1024×1024×6层)。由于成像流式细胞仪设备10的像素尺寸以及贾第虫囊孢的尺寸小，因此第一步的每个图像的中心256×256区域被裁剪。整个网络架构可以在图17B中看到。
贾第虫样品是根据威斯康星州卫生学国家实验室(Madison，WI)的EPA 1623.1方法(EPA 1623.1，第7.12节)制备的，样品的辐照是由Waterborne Inc.(路易斯安那州新奥尔良)进行的。在制造商标准的1ml缓冲液中，测试样品的贾第虫囊孢计数分别为10、50、100和500。在通过成像流式细胞仪设备10分析之前，将这些样品重新稀释到50ml瓶装水中。对神经网络分类器114的训练是在单独的高浓度贾第虫样品(250000囊孢/ml)上进行的，该样品可以产生大量的贾第虫图像。对几个不加标样的水样成像，以提供在缓冲水中发现的典型污垢颗粒的影像。
在训练过程完成之后，选择具有最佳验证精度(对于贾第虫为97％，对于污垢为约99.5％)的神经网络分类器114。因为即使高浓度的贾第虫样品在缓冲水中也含有一些污垢，这会导致贾第虫图像的噪音标签，所以不能期望贾第虫的验证准确性达到100％。在训练了神经网络分类器114之后，使用低浓度贾第虫样品测试了系统2的性能。以100ml/h的通过量对样品进行成像，并且为了进行荧光显微镜比较，将成像流式细胞仪设备10的流出物收集并过滤到膜上。用荧光素标记的贾第虫特异性抗体(产品编号A300FLR-20X，Waterborne Inc.)处理含有流过成像流式细胞仪设备10的贾第虫囊孢的过滤膜，并在37℃下孵育过夜。使用台式显微镜手动计数荧光标记的囊孢。结果显示出良好的一致性，并总结在下表2中。
表2
Figure BDA0002865298120000301
表2示出了成像流式细胞仪设备10在检测和自动分类贾第鞭毛虫囊孢中的性能。将50ml水样以100ml/h的流量成像约30分钟。为了解决囊孢粘附到制造商的样品容器上并随后在样品制备过程中丢失的问题，样品在离开细胞仪后被收集并过滤。使用贾第虫特异性染料对过滤器捕获的贾第虫进行荧光染色，并使用荧光显微镜手动计数。结果显示出良好的一致性。
在另一个实施例中并参考图18，流式细胞仪成像系统2用于计算对象12的厚度，或者可替代地，计算对象12内的折射率分布。计算诸如微生物的对象12内的折射率分布可用于推断例如微生物内存在的特定生化状态或特性。作为一个特定的示例，可以为微生物12计算折射率分布，并用作确定生对象化学含量的替代物。例如，化学含量可以包括生对象的脂质含量。这对于生物燃料应用中的藻类等微生物的鉴定和筛选可能具有巨大的潜力。
光路差是感兴趣的对象12(即浮游生物)内部的光传播距离乘以感兴趣的对象12与周围介质之间的折射率差的量度。如果将光路长度差定义为ΔL(x,y)，则可以将物镜在每个波长的相位分布写为φk(x,y)＝2π·ΔL(x,y)/λk。波前的相位是2π周期量度，因此，在对象较厚且光路长度较大的情况下，可能会发生相位包裹。这个包裹的相位是φk,wrapped(x,y)＝φk(x,y)±2Nπ，其中-π＜φk,wrapped≤π，并且N是整数。可以处理在三个波长处由三个相位检索的重建生成的这些最终包裹相位图{φk,wrapped}，即通过一种优化算法，在Luo等人的《使用波长扫描的像素超分辨率》(Light：Science&Applications(2016)5，e16060)中公开的内容，该文献通过引用合并于此，通过最小化成本函数找到图像(x，y)上每个空间点的最佳路径长度ΔLopt(x，y)，该成本函数定义为：
Figure BDA0002865298120000311
在一个实现中，为了减少计算成本/时间，可以定义搜索范围[ΔL0-min{λk}/2,ΔL0+min{λk}/2]，其中ΔL0是光路长度的初步猜测：
Figure BDA0002865298120000321
其中波长的总数(K＝3)。在此搜索间隔内，可以扫描这些值以找到使成本函数最小化的光路长度ΔLopt(x,y)，从而导致光路差异。图18示出了该过程的示例。光路差是将对象12的折射率分布和对象的厚度耦接在一起的度量。如果知道对象12的折射率分布，则可以计算出正确的厚度。相反，如果知道对象12的厚度和周围介质的折射率，则可以计算对象12内部的折射率分布。在一种可能的应用中，获得诸如藻类的微生物内部的折射率分布可用于推断其脂质(或其他化学物质)含量。
尽管已经示出和描述了本发明的实施例，但是在不脱离本发明的范围的情况下可以进行各种修改。例如，尽管已经在彩色成像传感器的背景下主要描述了本发明，但是一些实施例可以使用单色图像传感器。另外，在一些实施例中，可能仅需要单个光源(没有多种颜色)。另外，在一些实施例中，可以使用近红外光源代替多色LED。同样地，在一个替代实施例中，一个或多个光源可以以连续波模式运行，其中，图像帧由以“脉冲模式”运行的图像传感器获取以捕获相似的图像帧。因此，除了所附权利要求及其等同物之外，本发明不应受到限制。

Claims (38)

1.一种便携式成像流式细胞仪设备，包括：
壳体；
至少一个照明源，设置在所述壳体中并被配置为用于脉冲或连续波操作；
微流体通道，布置在所述壳体中并且流体耦接至其中包含对象的流体源，所述流体源被配置为流过所述微流体通道；以及
图像传感器，邻近所述微流体通道设置并设置在光路中，所述光路接收来自穿过所述微流体通道的所述至少一个照明源的光，所述图像传感器被配置为捕获包含穿过所述微流体通道的所述对象的原始全息图像的多个图像帧。
2.根据权利要求1所述的便携式成像流式细胞仪设备，其中，所述图像传感器包括单色图像传感器。
3.根据权利要求1所述的便携式成像流式细胞仪设备，其中，所述图像传感器包括彩色图像传感器。
4.根据权利要求3所述的便携式成像流式细胞仪设备，其中，所述至少一个照明源包括多个彩色LED，并且所述多个彩色LED被同时脉冲化。
5.根据权利要求3所述的便携式成像流式细胞仪设备，其中，所述至少一个照明源包括多个彩色LED，并且所述多个彩色LED同时连续发光一段时间。
6.根据权利要求4所述的便携式成像流式细胞仪设备，还包括一个或多个带通滤波器，所述一个或多个带通滤波器被配置为对来自所述多个彩色LED的所述光进行光谱过滤。
7.根据权利要求1所述的便携式成像流式细胞仪设备，其中，所述至少一个照明源包括近红外光源。
8.根据权利要求1所述的便携式成像流式细胞仪设备，还包括泵，所述泵被配置为将所述流体泵送通过所述微流体通道。
9.根据权利要求8所述的便携式成像流式细胞仪设备，其中，所述泵在所述流式细胞仪设备的外部或内部。
10.根据权利要求1所述的便携式成像流式细胞仪设备，其中，所述光路包括折叠的光路。
11.根据权利要求10所述的便携式成像流式细胞仪设备，其中，所述折叠的光路包括设置在所述壳体中的反射镜。
12.根据权利要求4所述的便携式成像流式细胞仪设备，还包括一个或多个电容器，所述一个或多个电容器设置在所述壳体中并且被配置为对所述多个彩色LED供电。
13.根据权利要求12所述的便携式成像流式细胞仪设备，还包括布置在所述壳体中的电容器充电电路。
14.根据权利要求1所述的便携式成像流式细胞仪设备，还包括计算设备，所述计算设备被配置为接收由所述图像传感器生成的所述多个图像帧，所述计算设备在其上执行图像处理软件。
15.根据权利要求4所述的便携式成像流式细胞仪设备，还包括计算设备，所述计算设备被配置为接收由所述图像传感器生成的所述多个图像帧，所述计算设备在其上执行图像处理软件。
16.根据权利要求14所述的便携式成像流式细胞仪设备，其中，所述计算设备是本地计算设备或远程计算设备。
17.根据权利要求15所述的便携式成像流式细胞仪设备，其中，所述计算设备是本地计算设备或远程计算设备。
18.根据权利要求15所述的便携式成像流式细胞仪设备，其中，所述计算设备包括本地计算设备和远程计算设备两者。
19.根据权利要求15所述的便携式成像流式细胞仪设备，其中，所述计算设备包括图像处理软件，所述图像处理软件被配置为执行背景减除并自动检测所述多个图像帧中的移动对象。
20.根据权利要求19所述的便携式成像流式细胞仪设备，其中，所述计算设备包括图像处理软件，所述图像处理软件被配置为分割所述多个帧中的移动对象并自动聚焦所述移动对象以识别所述微流体通道内的所述移动对象的高度(z)位置。
21.根据权利要求20所述的便携式图像流式细胞仪设备，其中，所述计算设备包括图像处理软件，所述图像处理软件被配置为针对每种LED颜色重建所述移动对象的相位和/或强度图像，其中，所述重建是使用波传播算法来执行的。
22.根据权利要求21所述的便携式图像流式细胞仪设备，其中，所述图像处理软件还包括经训练的深度神经网络，其中，将所重建的相位和/或强度图像输入到所述经训练的深度神经网络，所述经训练的深度神经网络输出所述移动对象的相位恢复强度和/或相位图像。
23.根据权利要求22所述的便携式图像流式细胞仪设备，其中，所述经训练的深度神经网络输出所述移动对象的相位恢复和数字生成的相位对比图像。
24.根据权利要求19所述的便携式图像流式细胞仪设备，其中，所述图像处理软件还包括经训练的深度神经网络，其中，将所重建的相位和/或强度图像被输入到自动表征或识别所述移动对象的类型的所述经训练的深度神经网络。
25.根据权利要求15所述的便携式图像流式细胞仪设备，其中，所述计算设备包括图像处理软件，所述图像处理软件被配置为对所述移动对象进行计数和/或对所述移动对象进行分类。
26.根据权利要求21所述的便携式图像流式细胞仪设备，其中，所述图像处理软件被配置为在重建所述移动对象的相位和/或强度图像之前对移动对象进行分类或识别。
27.根据权利要求1至26中任一项所述的便携式图像流式细胞仪设备，其中，所述流体包括水，并且所述对象包括浮游生物、藻类、寄生虫或其他微生物。
28.一种使用权利要求1至26中任一项所述的流式细胞仪设备对对象成像的方法，包括：
当包含对象的流体流过所述微流体通道时，获得多个图像帧；
使用图像处理软件执行背景减除操作以去除伪像；
利用所述图像处理软件进行背景减除后，识别所述多个图像帧中的移动对象；
使用所述图像处理软件重建所述移动对象的强度和相位图像；以及
将所重建的所述移动对象的强度和相位图像输入到由所述图像处理软件执行的经训练的深度神经网络中，其中，所述经训练的深度神经网络输出所述移动对象的相位恢复强度和/或相位图像或所述移动对象的相位恢复相位对比图像。
29.根据权利要求28所述的方法，其中，所述流体包括水，并且所述移动对象包括微生物。
30.根据权利要求29所述的方法，还包括自动表征或识别所述微生物的类型的经训练的深度神经网络。
31.一种使用权利要求1至26所述的流式细胞仪设备对对象成像的方法，包括：
当包含有对象的流体流过所述微流体通道时，获得多个图像帧；
使用图像处理软件执行背景减除操作以去除伪像；
利用所述图像处理软件进行背景减除后，识别所述多个图像帧中的移动对象。
32.根据权利要求31所述的方法，还包括利用所述图像处理软件重建所述移动对象的子集的相位和/或强度图像。
33.根据权利要求32所述的方法，其中，所述图像处理软件还包括经训练的深度神经网络，其中，将所重建的相位和/或强度图像输入到所述经训练的深度神经网络，所述经训练的深度神经网络输出所述移动对象的相位恢复的强度和/或相位图像。
34.根据权利要求32所述的方法，其中，所述图像处理软件还包括经训练的深度神经网络，其中，将所重建的相位和/或强度图像输入到自动表征或识别所述移动对象的类型的所述经训练的深度神经网络。
35.根据权利要求34所述的方法，其中，所述流体包括水，并且所述移动对象包括微生物，并且其中，所述经训练的深度神经网络自动表征所述微生物的类型。
36.一种使用权利要求1至26中任一项所述的流式细胞仪设备对对象成像的方法，包括：
当包含对象的流体流过所述微流体通道时，获得多个图像帧；
使用图像处理软件执行背景减除操作以去除伪像；
利用所述图像处理软件进行背景减除后，识别所述多个图像帧中的移动对象；
使用所述图像处理软件重建所述移动对象的强度和相位图像；以及
将所重建的所述移动对象的强度和相位图像输入到由所述图像处理软件执行的经训练的深度神经网络中，其中，所述经训练的深度神经网络输出所述移动对象内部的折射率分布。
37.根据权利要求36所述的方法，其中，所述流体包括水，并且所述移动对象包括微生物，并且其中，所述移动对象内部的折射率分布被用作所述微生物内化学含量的替代物。
38.根据权利要求36所述的方法，其中，所述流体包括水，并且所述移动对象包括微生物，并且其中，所述移动对象内部的折射率分布被用作所述微生物内脂质含量的替代物。
CN201980043900.5A 2018-06-04 2019-06-04 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪 Pending CN112352158A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862680374P 2018-06-04 2018-06-04
US62/680,374 2018-06-04
PCT/US2019/035376 WO2019236569A1 (en) 2018-06-04 2019-06-04 Deep learning-enabled portable imaging flow cytometer for label-free analysis of water samples

Publications (1)

Publication Number Publication Date
CN112352158A true CN112352158A (zh) 2021-02-09

Family

ID=68770728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043900.5A Pending CN112352158A (zh) 2018-06-04 2019-06-04 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪

Country Status (5)

Country Link
US (1) US11501544B2 (zh)
EP (1) EP3803384A4 (zh)
CN (1) CN112352158A (zh)
CA (1) CA3102297A1 (zh)
WO (1) WO2019236569A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3085072B1 (fr) * 2018-08-14 2021-04-16 Commissariat Energie Atomique Procede d'observation d'un echantillon
US11879830B2 (en) * 2018-09-28 2024-01-23 Arizona Board Of Regents On Behalf Of The University Of Arizona Quantitative large area binding sensor for detecting biomarkers
EP3647765A1 (en) * 2018-10-31 2020-05-06 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Device and method for detecting and identifying extracellular vesicles in a liquid dispersion sample
EP3881137B1 (en) 2018-11-15 2024-06-26 The Regents of the University of California System and method for transforming holographic microscopy images to microscopy images of various modalities
KR20210088730A (ko) * 2018-12-03 2021-07-14 바이오 래드 래버러토리스 인코오포레이티드 액체 수준 결정
WO2020139835A1 (en) 2018-12-26 2020-07-02 The Regents Of The University Of California Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning
EP3931344A1 (en) * 2019-03-01 2022-01-05 Agricam Aktiebolag Method, device and system for detection of micro organisms
US11262286B2 (en) 2019-04-24 2022-03-01 The Regents Of The University Of California Label-free bio-aerosol sensing using mobile microscopy and deep learning
EP3751342A1 (en) * 2019-06-13 2020-12-16 Stichting VU Metrology method and method for training a data structure for use in metrology
US11460395B2 (en) 2019-06-13 2022-10-04 The Regents Of The University Of California System and method for measuring serum phosphate levels using portable reader device
JP7026853B2 (ja) * 2019-06-28 2022-02-28 富士フイルム株式会社 画像処理装置、評価システム、画像処理プログラム及び画像処理方法
EP3796212B1 (en) * 2019-09-23 2024-06-26 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Device for image-based cell classification, method therefor and use thereof
EP3839636B1 (en) 2019-12-20 2024-03-13 Imec VZW A device for detecting particles in air
US11211222B2 (en) * 2019-12-30 2021-12-28 Fei Company Method and system for automatic zone axis alignment
US11625002B2 (en) * 2020-01-29 2023-04-11 Regents Of The University Of Minnesota Machine learning holography for particle field imaging
US11915360B2 (en) 2020-10-20 2024-02-27 The Regents Of The University Of California Volumetric microscopy methods and systems using recurrent neural networks
CN112362440B (zh) * 2020-11-13 2021-07-06 江西省科学院 一种用于水体叶绿素a的自动检测装置
WO2023073708A1 (en) * 2021-10-27 2023-05-04 Ramot At Tel-Aviv University Ltd. A machine vision system for larval aquatic animal rearing
WO2023119267A1 (en) * 2021-12-21 2023-06-29 Ramot At Tel-Aviv University Ltd. Method and system for visualization of the structure of biological cells
TWI820645B (zh) * 2022-03-23 2023-11-01 英業達股份有限公司 預先取得識別資料以於貼片後配對電路板之系統及方法
WO2024050321A1 (en) * 2022-08-29 2024-03-07 The Regents Of The University Of California Virtual impactor-based label-free particulate matter detection using holography and deep learning
AU2022279500B1 (en) * 2022-12-01 2023-11-23 Provectus IP Pty Ltd Automated cell analyser and method

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292555A1 (en) * 2004-09-17 2008-11-27 The Regents Of The University Of Michigan Quantitative Two-Photon Flow Cytometry
US20100284016A1 (en) * 2009-05-06 2010-11-11 The Regents Of The University Of California Optical cytometry
WO2011049965A1 (en) * 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US20120148141A1 (en) * 2010-12-14 2012-06-14 Aydogan Ozcan Compact automated semen analysis platform using lens-free on-chip microscopy
WO2012088351A2 (en) * 2010-12-21 2012-06-28 The Regents Of The University Of California Compact wide-field fluorescent imaging on a mobile device
US20130126618A1 (en) * 2011-11-17 2013-05-23 WenLiang Gao Systems and methods for reading color optical codes
US20130157351A1 (en) * 2010-12-21 2013-06-20 The Regents Of The University Of California Compact wide-field fluorescent imaging on a mobile device
US20130162999A1 (en) * 2011-11-23 2013-06-27 University Of South Carolina Classification Using Multivariate Optical Computing
US20140192405A1 (en) * 2013-01-09 2014-07-10 Lumencor, Inc. Adjustable collimator for coupling a light guide to a microscope
US20140226059A1 (en) * 2013-02-12 2014-08-14 Non-Typical, Inc. Illumination assembly for a scouting camera
US20140355829A1 (en) * 2013-05-31 2014-12-04 Samsung Sds Co., Ltd. People detection apparatus and method and people counting apparatus and method
EP2985719A1 (en) * 2014-08-15 2016-02-17 IMEC vzw A system and method for cell recognition
US20160258859A1 (en) * 2015-03-06 2016-09-08 Becton, Dickinson And Company Light collection systems and methods for making and using thereof

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2461131B1 (en) 2005-03-17 2017-08-09 The Board of Trustees of The Leland Stanford Junior University Apparatus and method for frequency-domain optical coherence tomography
CN101344518B (zh) * 2008-08-15 2012-04-11 东南大学 微纳生物粒子的多模式集成化介电表征装置及方法
EP2368408B1 (en) * 2008-11-26 2019-03-20 Wireless Environment, LLC Wireless lighting devices and applications
US9331113B2 (en) 2010-05-03 2016-05-03 The Regents Of The University Of California Wide-field lensless fluorescent imaging on a chip
WO2012054351A2 (en) 2010-10-18 2012-04-26 The Regents Of The University Of California Microscopy method and system incorporating nanofeatures
US20120225475A1 (en) * 2010-11-16 2012-09-06 1087 Systems, Inc. Cytometry system with quantum cascade laser source, acoustic detector, and micro-fluidic cell handling system configured for inspection of individual cells
WO2012094523A2 (en) 2011-01-06 2012-07-12 The Regents Of The University Of California Lens-free tomographic imaging devices and methods
US8866063B2 (en) 2011-03-31 2014-10-21 The Regents Of The University Of California Lens-free wide-field super-resolution imaging device
WO2013019640A1 (en) 2011-07-29 2013-02-07 The Regents Of The University Of California Lensfree holographic microscopy using wetting films
CN103140788A (zh) * 2011-09-30 2013-06-05 三洋电机株式会社 分束器以及观察装置
WO2013070287A1 (en) 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
ES2890752T3 (es) 2012-02-06 2022-01-21 Univ California Lector de prueba de diagnóstico rápido portátil
WO2013184835A1 (en) 2012-06-07 2013-12-12 The Regents Of The University Of California Wide-field microscopy using self-assembled liquid lenses
US9103760B2 (en) * 2012-06-09 2015-08-11 E. I. Spectra, Llc Fluorescence flow cytometry device and method
WO2014012031A1 (en) 2012-07-13 2014-01-16 The Regents Of The University Of California High throughput lens-free three-dimensional tracking of sperm
US20140120563A1 (en) 2012-10-29 2014-05-01 The Regents Of The University Of California Allergen testing platform for use with mobile electronic devices
US9683938B2 (en) 2013-07-31 2017-06-20 The Regents Of The University Of California Fluorescent imaging using a flatbed scanner
US10365214B2 (en) 2014-01-14 2019-07-30 The Regents Of The University Of California Method and device for detection and spatial mapping of mercury concentration in water samples
EP3175302B1 (en) 2014-08-01 2021-12-29 The Regents of the University of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
US20160070092A1 (en) 2014-09-04 2016-03-10 The Regents Of The University Of California Method and device for fluorescent imaging of single nano-particles and viruses
US10175215B2 (en) 2014-12-23 2019-01-08 The Regents Of The University Of California Method and device for quantification of plant chlorophyll content
WO2016118884A1 (en) 2015-01-22 2016-07-28 The Regents Of The University Of California Device and method for nanoparticle sizing based on time-resolved on-chip microscopy
DE102015005656A1 (de) * 2015-05-02 2016-11-03 Testo Ag Zytometrierverfahren und Zytometereinheit
US10088663B2 (en) 2015-05-13 2018-10-02 The Regents Of The University Of California Device and method for tunable vapor condensed nanolenses
WO2017053592A1 (en) * 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
US10248838B2 (en) 2015-12-04 2019-04-02 The Regents Of The University Of California Method and device for single molecule imaging
US20170168285A1 (en) 2015-12-14 2017-06-15 The Regents Of The University Of California Systems and methods for image reconstruction
WO2017196885A1 (en) 2016-05-10 2017-11-16 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
US10795315B2 (en) 2016-05-11 2020-10-06 The Regents Of The University Of California Method and system for pixel super-resolution of multiplexed holographic color images
US20190119737A1 (en) 2016-05-17 2019-04-25 The Regents Of The University Of California Enhanced fluorescence readout and reduced inhibition for nucleic acid amplification tests
WO2017205530A1 (en) 2016-05-25 2017-11-30 The Regents Of The University Of California Wide-field imaging of birefringent crystals and other materials using lens-free polarized microscope
WO2018102346A1 (en) 2016-11-29 2018-06-07 The Regents Of The University Of California Antimicrobial susceptibility testing device and method for use with portable electronic devices
GB2574357B (en) 2017-03-10 2022-07-20 Univ California Mobile microscopy system for air quality monitoring
US20190346369A1 (en) 2017-03-27 2019-11-14 The Regents Of The University Of California Mobile phone based fluorescent multi-well plate reader
US11450121B2 (en) 2017-06-27 2022-09-20 The Regents Of The University Of California Label-free digital brightfield analysis of nucleic acid amplification
US11514325B2 (en) 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
US11222415B2 (en) 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
US11262286B2 (en) 2019-04-24 2022-03-01 The Regents Of The University Of California Label-free bio-aerosol sensing using mobile microscopy and deep learning

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292555A1 (en) * 2004-09-17 2008-11-27 The Regents Of The University Of Michigan Quantitative Two-Photon Flow Cytometry
US20100284016A1 (en) * 2009-05-06 2010-11-11 The Regents Of The University Of California Optical cytometry
WO2011049965A1 (en) * 2009-10-20 2011-04-28 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
CA2778284C (en) * 2009-10-20 2018-04-24 The Regents Of The University Of California Incoherent lensfree cell holography and microscopy on a chip
US20120148141A1 (en) * 2010-12-14 2012-06-14 Aydogan Ozcan Compact automated semen analysis platform using lens-free on-chip microscopy
US20130157351A1 (en) * 2010-12-21 2013-06-20 The Regents Of The University Of California Compact wide-field fluorescent imaging on a mobile device
WO2012088351A2 (en) * 2010-12-21 2012-06-28 The Regents Of The University Of California Compact wide-field fluorescent imaging on a mobile device
US20130126618A1 (en) * 2011-11-17 2013-05-23 WenLiang Gao Systems and methods for reading color optical codes
US20130162999A1 (en) * 2011-11-23 2013-06-27 University Of South Carolina Classification Using Multivariate Optical Computing
US20140192405A1 (en) * 2013-01-09 2014-07-10 Lumencor, Inc. Adjustable collimator for coupling a light guide to a microscope
US20140226059A1 (en) * 2013-02-12 2014-08-14 Non-Typical, Inc. Illumination assembly for a scouting camera
US20140355829A1 (en) * 2013-05-31 2014-12-04 Samsung Sds Co., Ltd. People detection apparatus and method and people counting apparatus and method
EP2985719A1 (en) * 2014-08-15 2016-02-17 IMEC vzw A system and method for cell recognition
US20160258859A1 (en) * 2015-03-06 2016-09-08 Becton, Dickinson And Company Light collection systems and methods for making and using thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNGJU JO ET AL.: "Holographic deep learning for rapid optical screening of anthrax spores", 《SCIENCE ADVANCES》 *

Also Published As

Publication number Publication date
US20210209337A1 (en) 2021-07-08
WO2019236569A1 (en) 2019-12-12
CA3102297A1 (en) 2019-12-12
EP3803384A1 (en) 2021-04-14
EP3803384A4 (en) 2021-08-11
US11501544B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
CN112352158A (zh) 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪
US10488344B2 (en) System for rapid assessment of water quality and harmful algal bloom toxins
Chennu et al. A diver-operated hyperspectral imaging and topographic surveying system for automated mapping of benthic habitats
US9007433B2 (en) Incoherent lensfree cell holography and microscopy on a chip
Melanthota et al. Deep learning-based image processing in optical microscopy
Mullen et al. Underwater microscopy for in situ studies of benthic ecosystems
US11125675B2 (en) Fluid suspended particle classifier
WO2022137243A1 (en) Optical technique for analyzing insects, shrimp and fish
Pollina et al. PlanktoScope: affordable modular quantitative imaging platform for citizen oceanography
US20220254182A1 (en) Optical technique for analyzing insects, shrimp and fish
Sutton et al. Multisensor sampling of pelagic ecosystem variables in a coastal environment to estimate zooplankton grazing impact
Dahms et al. Perspectives of underwater optics in biological oceanography and plankton ecology studies
Santos et al. A tunable hyperspectral imager for detection and quantification of marine biofouling on coated surfaces
Shahani et al. Design and testing of an underwater microscope with variable objective lens for the study of benthic communities
Vaughan et al. A review of microscopic cell imaging and neural network recognition for synergistic cyanobacteria identification and enumeration
US20220113671A1 (en) Portable uv holographic microscope for high-contrast protein crystal imaging
Ziccarelli et al. A novel method of obtaining near real-time observations of phytoplankton from a mobile autonomous platform
Haugum et al. Autonomous Flow-Through RGB and Hyperspectral Imaging for Unmanned Surface Vehicles
Nielsen et al. Dual-band fluorosensor for discriminating non-eating from algae-eating zooplankton in aquatic environments
Sobieranski et al. Portable digital in-line holography platform for sperm cell visualization and quantification
Júnior et al. Complete holography‐based system for the identification of microparticles in water samples
Wu Deep Learning-Enabled Computational Imaging in Optical Microscopy and Air Quality Monitoring
Mallery Computational Digital Inline Holography for In Situ Particle Tracking and Characterization
Santos et al. Remote 3D Imaging and Classification of Pelagic Microorganisms with A Short‐Range Multispectral Confocal LiDAR
Resende et al. Autonomous High-Resolution Image Acquisition System for Plankton

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210209

WD01 Invention patent application deemed withdrawn after publication