CN112541519A - 用于基于图像的细胞分类的装置、其方法及其用途 - Google Patents

用于基于图像的细胞分类的装置、其方法及其用途 Download PDF

Info

Publication number
CN112541519A
CN112541519A CN202010973479.2A CN202010973479A CN112541519A CN 112541519 A CN112541519 A CN 112541519A CN 202010973479 A CN202010973479 A CN 202010973479A CN 112541519 A CN112541519 A CN 112541519A
Authority
CN
China
Prior art keywords
cells
sorting
classification
cell
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010973479.2A
Other languages
English (en)
Inventor
迈克·赫比格
艾哈迈德·艾哈桑·纳瓦兹
马丁·诺泽尔
乔臣·古克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Dresden
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Original Assignee
Technische Universitaet Dresden
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Dresden, Max Planck Gesellschaft zur Foerderung der Wissenschaften eV filed Critical Technische Universitaet Dresden
Publication of CN112541519A publication Critical patent/CN112541519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502761—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip specially adapted for handling suspended solids or molecules independently from the bulk fluid flow, e.g. for trapping or sorting beads, for physically stretching molecules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/487—Physical analysis of biological material of liquid biological material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L2200/00—Solutions for specific problems relating to chemical or physical laboratory apparatus
    • B01L2200/06—Fluid handling related problems
    • B01L2200/0647—Handling flowable solids, e.g. microscopic beads, cells, particles
    • B01L2200/0652—Sorting or classification of particles or molecules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/149—Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Dispersion Chemistry (AREA)
  • Hematology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fluid Mechanics (AREA)
  • Clinical Laboratory Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本发明涉及用于基于图像的细胞分类的装置、其方法及其用途。一种用于对细胞进行实时分类的分类装置，所述分类装置包括：对齐单元，其配置为沿待分类的细胞的主轴线对齐所述细胞；和分类单元，其配置为使用多层感知器MLP对经对齐细胞进行分类；其中，所述MLP基于所述经对齐细胞的一个或多个图像对所述经对齐细胞进行分类。通过实施分类装置，在可以避免待分类的细胞的标签化的情况下，可以提供改善的且有效的基于细胞图像的实时细胞分类。

Description

用于基于图像的细胞分类的装置、其方法及其用途
相关申请的交叉引用
本申请要求于2019年9月23日提交欧洲专利局的、申请号为EP 19 198 891.4的欧洲专利申请的优先权和权益，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及基于图像的细胞分类。特别地，本发明涉及用于对细胞进行实时分类(classifying)的分类装置和分类方法，并且涉及用于对细胞进行实时分选(sorting)的分选装置和分选方法。本发明还涉及这些装置的用途。
背景技术
在生物、生物技术或医学程序领域中，在可能进行细胞的进一步分析之前，通常需要对来自异质群体的细胞进行分类和分选。例如，经分选细胞可以进行随后的精确分析以及对其蛋白质组学、转录组学或遗传学身份(identity)和功能的查询，或者可以用于培养并服务于特定药物的建立。这些经分选细胞也可以在再生医学应用中移植到患者体内。
传统的分类和分选方法依赖于赋予用于被动或主动分离的分子标记(marker)的荧光或磁特性。这种标签化(labelling)必须经由染料、抗体或基因修饰被施用到细胞表面或细胞中。然后，可以通过流式细胞仪(flow cytometry)检测该标签化，并且可以通过荧光激活细胞分选(fluorescent-activated cell sorting，FACS)装置对细胞进行分选。但是，这样的标签化是耗时且昂贵(time-and cost-intensive)的、可能改变细胞的特性和功能、并且可能与随后(例如，在移植中的)用途不相容。
当前，不存在替代方案来确保以高通量(例如，每秒超过50个细胞)但无需事先染色/标签化对细胞进行分类和分选。例如，细胞的明场像(bright-field image)通常显示出明显的差异，这些差异可以用于分类和分选。但是，迄今为止，不存在有效的技术来实时评估细胞的图像，以便能够对这些细胞进行分类并控制细胞仪上的分选单元。迄今为止，这种分类和分选技术的最快实现仅达到30毫秒的等待时间，且通常使用荧光图像。
因此，本发明的目的是解决与无需使用细胞标签化、基于细胞图像的有效细胞分类和分选有关的问题。特别地，本发明提出了一种用于对细胞进行实时分类的分类装置和分类方法，以及一种用于对细胞进行实时分选的分选装置和分选方法，其中保证了以高通量基于图像对无标签(即，无标记)细胞进行分类。
发明内容
期望提供用于以高通量基于细胞图像(例如，明场像)对无标签和无标记细胞进行改善、有效和准确分类的手段。
通过独立权利要求的主题解决了至少一些提到的目的和缺点。在从属权利要求中限定了进一步的优选实施方式。
根据本发明的一个方面，一种用于对细胞进行实时分类的分类装置包括：对齐单元，其配置为沿着待分类的细胞的主轴线对齐所述细胞；和分类单元，其配置为使用多层感知器(multilayer perceptron，MLP)对经对齐细胞进行分类，其中，所述MLP基于所述经对齐细胞的图像对所述经对齐细胞进行分类。因此，可以提供以高通量基于细胞的图像对细胞实时进行改善、有效和准确的分类。
根据本发明的另一方面，一种包括上述分类装置的分选装置还包括：分选单元，其配置为基于所述分类装置输出的分类结果，将经分类细胞分选到目标出口或默认出口。因此，可以提供以高通量基于细胞的图像对细胞实时进行改善、有效和准确的分选。
根据本发明的另一方面，一种用于对细胞进行实时分类的分类方法包括以下步骤：将待分类的细胞沿所述细胞的主轴线对齐；和使用多层感知器MLP对经对齐细胞进行分类，其中，所述MLP基于所述经对齐细胞的图像对所述经对齐细胞进行分类。因此，可以提供以高通量基于细胞的图像对细胞实时进行改善、有效和准确的分类。
根据本发明的另一方面，一种包括上述分类方法的步骤的分选方法还包括以下步骤：基于所述分类方法的分类结果，将经分类细胞分选到目标出口或默认出口。因此，可以提供以高通量基于细胞的图像对细胞实时进行改善、有效和准确的分选。
在所附权利要求中公开了本发明的进一步有利特征。
附图说明
图1是根据本发明的实施方式的分类装置的图示。
图2A和图2B示出了用于分类的通用多层感知器。
图3是根据本发明的另一实施方式的分选装置的图示。
图4示出了根据本发明的实施方式的用于对细胞进行分类和分选的设置的实施例。
图5示出了显示根据本发明的实施方式的分类方法的步骤的流程图。
图6示出了显示根据本发明的另一实施方式的分选方法的步骤的流程图。
图7A和图7B示出了异质样品的示例性测量结果，其中示出了使用多层感知器进行细胞分选之前和之后的细胞分布。
具体实施方式
参照附图描述本发明的优选实施方式。注意，以下描述仅包含实施例，并且不应被解释为限制本发明。在下文中，相似或相同的附图标记指示相似或相同的元件或功能。
图1是根据本发明的实施方式的分类装置100的图示。用于对细胞进行实时分类的分类装置包括对齐单元110和使用多层感知器130进行细胞分类的分类单元120。下面参考图1更详细地描述对齐单元110、分类单元120和MLP130。
对齐单元110接收待分类的细胞，并且沿着该细胞的主轴线对齐各细胞。例如，对齐单元110包括微流体通道，待分类的细胞流过该微流体通道。由于存在于微流体通道内并被施用在流过微流体通道的细胞上的力，因此各细胞自动地沿其主轴线对齐。
然后，分类单元120使用MLP 130对经对齐细胞进行分类。MLP 130是一类前馈人工神经网络，其基于经对齐细胞的图像对经对齐细胞进行分类。经对齐细胞的图像可以是无标记细胞的图像，以避免耗时且昂贵的标签化以及由于标签化引起的细胞特性和功能的改变。另外，通过首先沿各细胞的主轴线对齐各细胞，且然后基于细胞图像对经对齐细胞进行分类，由于标准化的细胞图像，因此可以使用MLP 130确保快速且准确的分类。
参照图2A和图2B更详细地解释MLP 130。图2A示出了MLP 130，作为用于分类的通用多层感知器，而图2B示出了第一隐藏层的节点200以获得更多细节。
如上所述，MLP 130属于包括输入层、至少一个隐藏层和输出层的前馈神经网络的通用类(general class)。特别地，MLP 130可以包括具有至少一个神经元的输入层、一个或若干个隐藏层、和输出层，各隐藏层通常具有多个神经元，输出层也具有至少一个神经元。就此而言，神经元是神经网络的节点，其中神经元(即节点)的集合形成层，例如输入层、隐藏层或输出层。在图2A中，输入层和输出层均分别包括三个神经元。然而，这仅是说明性的，并且根据配置，MLP 130的输入层和输出层可以包括更多或更少的神经元。
另外，在图2A中示出了两个隐藏层，其中第一隐藏层具有四个神经元，而最后一个隐藏层具有四个神经元。然而，MLP 130也可以仅包括一个隐藏层，或者可以在这两个隐藏层之间提供若干附加的隐藏层。同样，隐藏层的数量和各隐藏层的神经元数量仅是示例性的，且各隐藏层可以具有更多或更少的神经元，各隐藏层的神经元数量可以根据配置而变化。
输入层的神经元将来自外界的信息提供给MLP 130，其中在输入层的任何神经元中不执行计算。输入层仅将信息传送到(一个或多个)隐藏层中的神经元。在本发明的实施方式中，将待分类的细胞的图像作为信息输入到MLP 130的输入层。例如，用于分类的细胞的图像是细胞的明场像。然而，其他类型的成像(诸如暗场成像)或细胞的衍射图像的分析也是可能的。特别优选地使用定量相成像(也称为“定量相差显微镜(quantitative phase-contrast microscopy)”)。该成像方法允许获得细胞内密度分布的量度，从而为MLP提供更多输入数据。因此，特别好的分类是可能的。还设想了其他成像方法，诸如拉曼成像(Ramanimaging)、布里渊成像(Brillouin imaging)、衍射干涉法(diffraction interferometry)和相差显微镜。还应该理解，以上列举是非穷举的。由于到MLP 130的输入是图像，因此输入层中的神经元的数量可以等于输入到MLP 130的图像的像素数量。例如，如果使用20×20与50×50之间的像素图像进行分类，则意味着在输入层中提供了400个与2500个之间的神经元。
隐藏层的神经元与外界没有直接联系，使得神经元被称为“隐藏”。这些神经元执行计算并将信息从输入层的神经元传输到输出层的神经元。隐藏神经元的集合形成隐藏层，其中，MLP 130可以包括在输入层与输出层之间的一个隐藏层，或者可以根据输入数据(即待分类的细胞的图像)的复杂性和MLP包括超过一个的隐藏层。
输出层负责计算最终结果。根据输入到MLP 130的细胞图像和MLP 130的至少一个隐藏层的处理，输出层能够输出相应细胞的分类结果。输出层中神经元的数量可以等于MLP130应该预测的类的数量。例如，当MLP 130接收白细胞或红细胞的图像时，输出层能够输出显示该细胞是白细胞还是红细胞的分类结果。在该实施例中，第一类是指白细胞，而第二类是指红细胞，因此输出层可以包括两个神经元以区分白细胞与红细胞。再举另一实施例，可能更进一步期望使用MLP 130对红细胞、健康白细胞和癌性白细胞进行分类，这导致三个类(类1：红细胞；类2：健康白细胞；类3：癌性白细胞)。因此，MLP 130的输出层可以包括三个神经元。总之，MLP 130可以基于不同类型的细胞图像来区分这些不同类型的细胞。
换句话说，各神经元可以从一些其他节点或从外部来源接收输入，并且可以计算输出。各神经元可以具有关联的中性、正或负权重w，并且各层可以将函数f应用于输入以计算其输出。函数f可以是非线性的，并且可以被称为激活函数(activation function)。激活函数的目的是将非线性引入神经元的输出中，以表示由输入层接收并由MLP 130处理的数据。现有技术中提出若干种激活函数(整流器(rectifier)、线性、S形(sigmoid)、双曲线正切(hyperbolic tangent)、归一化指数函数(softmax)等)，可以根据MLP 130的配置和目的来进行选择。
图2B是图2A中所示的MLP 130的神经元200的图示。在这种情况下，神经元200是图2A的MLP 130的第一隐藏层的隐藏神经元，并且连接到图2A的MLP 130的输入层的三个神经元201、202和203。神经元200从神经元201、202和203接收三个输入值X1、X2和X3，其中各输入与权重w1、w2和w3之一相关联。然后，神经元200应用激活函数f来计算其输出Y。激活函数f可以将其输入的加权总和用作输入，如下所示：
Y＝f(w1*X1+w2*X2+w3*X3)。
然后，神经元200将其计算出的输出Y输出到神经元200连接到的下一层的神经元。在这种情况下，神经元200可以将其计算出的输出Y输出到神经元200连接到的第二隐藏层的神经元，以进行进一步处理。
训练MLP 130意味着校准与神经元的输入相关联的权重w。首先，可以基于例如高斯分布来随机选择初始权重。然后可以在初始权重上多次重复训练MLP 130的过程，直到使用反向传播算法(backpropagation algorithm)对权重进行校准，以准确预测输出。
在本发明的实施方式中，MLP 130在输入-输出对(input-output pair)上进行训练，输入是细胞的图像，且输出是相应的分类结果。例如，为了训练MLP 130，可以使用存储多个细胞图像和细胞的相应分类结果的数据库的数据。例如，如果要对白细胞和红细胞进行分类，则在若干个输入-输出对上对MLP 130进行训练，输入是白细胞和红细胞的图像，且输出是具有白细胞或红细胞的相应分类结果。一旦已经训练了MLP 130，就可以将MLP 130用于尚不知道分类结果的新细胞图像。例如，如果应使用细胞的明场像进行分类，则也应在细胞的明场像上训练MLP 130。
为了获得能够准确且正确地对细胞图像进行分类的MLP 130，可以在若干个输入-输出对上训练MLP 130，并且可以将训练过程重复若干次。就此而言，训练阶段可能要花费几分钟到几小时，这取决于输入-输出对的数量以及用于分类的MLP 130的期望准确度。然而，通过在对细胞进行分类之前提供对齐单元110并且通过使用经对齐细胞的细胞图像，将细胞图像标准化，导致训练过程更短并且细胞分类更加准确和正确。因此，以高通量实时进行的、并且没有细胞标签化的细胞分类是可能的。
在图1中，分类单元120和MLP 130被示为单独的实体。例如，分类装置100是公共计算装置，其中，MLP 130被存储在计算装置的存储件(storage)或存储器(memory)中，并且分类单元120被实现为能够访问存储件中的MLP 130的处理装置，以便获得基于细胞图像的分类结果。然而，分类装置100不限于这样的设置，并且MLP 130也可以被集成到分类单元120中。
图3是根据本发明的另一实施方式的分选装置的图示。分选装置可以包括分类装置100和分选单元310。由于上面已经参考图1非常详细地描述了分类装置100，因此出于简洁的原因，在此省略了对分类装置100的详细描述。
分选单元310可以获得由分类装置100输出的分类结果，并且可以基于获得的分类结果将各个细胞分选到目标出口400或默认出口500。例如，样品可以包含白细胞和红细胞，其中白细胞需要进行进一步分析。在该实施例中，如果要对样品中的细胞进行分类和分选以获得用于进一步分析的白细胞，则分类装置100基于细胞的细胞图像将这些细胞分类为白细胞和红细胞，并将结果输出到分选单元310。然后，分选单元310将白细胞分选到目标出口400，且将红细胞分选到默认出口500。设置不限于仅一个目标出口，并且设置也可以根据不同目标细胞的数量而包含超过一个的目标出口。另一选择可以是提供用于分类的逐步设置，其中，使用布置在各种阶段中的目标出口和默认出口来对细胞进行分类。在该逐步设置中，已被分选到目标出口或默认出口的细胞可以被传送到另一个出口(要么是目标出口要么是默认出口)，从而产生渐进且更加精确的分类。
分选单元310可以使用在声波波长范围内的驻波或行进表面波，以分离经分类细胞，并且要么将细胞推至目标出口400要么将细胞推至默认出口500。目标出口400和默认出口500可以是测试管或用于收集样品的经分类细胞的任何其他容器。
图4示出了根据本发明的实施方式的用于对细胞进行分类和分选的设置的实施例。对于该设置，可以使用WO 2015/024690A1中描述的系统，该系统由ZellmechanikDresden GmbH以名称“AcCellerator”出售。“AcCellerator”是一种高速成像细胞仪，用于通过实时可变形性细胞术测量(deformability cytometry measurement)进行的机械性细胞表征。图4示出了异质样品中的两种类型的细胞4(有格子的和有条纹的)，其中有格子的细胞可以是白细胞，而有条纹的细胞可以是红细胞。细胞4不必是红细胞和白细胞，而可以是任何类型的细胞。另外，不同类型的细胞的数量不必是两个，且异质样品中可以存在更多类型的细胞。
如图4所示，细胞4可以被插入到设置中并且可以从左向右流动(参见图4中所示的箭头)。为了确保细胞流过设置，可以使用泵(例如，Korbussen的Cetoni GmbH生产的neMESyS 290N)。作为管道，使用了
Figure BDA0002684931620000071
的产品FEP含氟聚合物管道(PostnovaAnalytics GmbH，Landsberg)。
首先，细胞4可以一次一个地到达已经在上面进行了非常详细描述的对齐单元110。例如，对齐单元110包括微流体通道，各细胞4流过该微流体通道，以便沿各细胞主轴线对齐各细胞4。微流体通道内的各细胞4可以例如以约0.163m/s的速度移动。这对应于约0.04μl/s的流速。微流体通道的尺寸可以配置为使得细胞4的直径优选为微流体通道的最窄点处的、微流体通道的宽度的30％至90％。
通过确保如上所述的关于细胞大小的微流体通道的尺寸，由于存在于微流体通道中并施用在细胞4上的力，使细胞4变形，即，使细胞4沿其主轴线延伸。通过使细胞4沿其主轴线延伸，细胞属性变得可见，这可以用于分类。然而，如果细胞4小于微流体通道的宽度的30％，则由于微流体通道而施用在细胞4上的力可能太小，并且细胞4的细胞属性变得不足以可见，而细胞变得可见是成功和正确分类所需要的。另一方面，如果细胞4覆盖超过微流体通道的宽度的90％，则细胞4可能会摩擦微流体通道的壁，这也导致分类不太成功。因此，优选确保细胞4的直径为微流体通道的宽度的30％至90％。例如，微流体通道的宽度可以是30μm，更优选地是20μm，以确保对具有例如12-15μm大小的细胞进行成功且正确的分类。
通道可以具有在1μm与100μm之间的截面直径，并且优选地具有50μm或更小的截面直径。对于较小的通道，很难允许细胞通过它们。对于较大的通道，对齐效果不那么明显。通道通常具有方形、矩形或圆形的截面形状。携带细胞的液体的流速通常在0.025m/s到0.5m/s的范围内，但是也可以在0.01m/s到5.0m/s的范围内。用于通道的材料没有特别限制，只要其能够允许对待分类的细胞4进行成像即可。即，通道必须具有足够的透明度以允许成像。在原型中，使用PDMS(聚二甲基硅氧烷)在玻璃上形成通道。从制造的角度来看，有利的是，使用可以被模制的塑料材料。对于对细胞进行分选的压电元件，使用铌酸锂(LiNbO3)，其首先被二氧化硅(即玻璃)覆盖，然后被PDMS覆盖。发现二氧化硅覆盖改善了PDMS的粘合特性。形成通道的材料未被涂覆。
一旦对齐单元110中存在的细胞4被对齐并沿其主轴线延伸，则成像单元140获得待分类的细胞4的图像。成像单元140可以是如上所述的分类装置100的一部分。然而，成像单元140也可以不是分类装置100的一部分，并且可以通过有线或无线连接将细胞4的图像发送到分类装置100。在这种情况下，分类装置100可以包括能够接收从成像单元140发送的图像的接收单元。不管成像单元140是否是分类装置100的一部分，成像单元140都可以包括能够获得细胞4的图像的任何普通相机或图像捕获装置。例如，成像单元140包括显微镜(例如，配备有
Figure BDA0002684931620000081
40x NA 0.75物镜(蔡司，Oberkochen)的Axiovert 200M(蔡司，Oberkochen))、光源和高速相机(MC1362 CMOS相机(Mikrotron，Unterschleissheim)用于捕获细胞图像。细胞图像可以是细胞4的明场像。
尽管优选具有这种成像单元，但是也可以在记录的图像(例如，细胞的视频或照片)上运行分类方法。即，严格来说，不需要有作为设备的一部分的成像单元140。
在已经获得细胞4的图像之后，该图像由以上非常详细描述的MLP 130使用，以对细胞4进行分类。通过使用MLP 4，即神经网络，在该设置中，可以对细胞图像进行实时分类，并且可以在不到1ms的时间内将分类结果发送到分选单元310，从而实现快速且有效的分类和分选过程。
分选单元310可以接收分类结果，并且可以将相应的细胞4分选到目标出口400或默认出口500。例如，分选单元310使用在声波波长范围内的驻波或行进表面波，以便分离经分类细胞4，并且使用相应的通道将经分类细胞4引导至目标出口400和默认出口500。然而，分选单元310还可以使用任何其他技术来分离细胞4。作为结果，有格子的细胞(例如，白细胞)被推到目标出口400，而有条纹的细胞(例如，红细胞)被推到默认出口500。在另一个实施方式中，代替将细胞推到默认出口500，可以校准设置中的流速，使得所有细胞默认进入默认出口500，即随流(flow)一起行进到默认出口500中。然后，如果将细胞分类为目标细胞，则将目标细胞推到目标出口400。为了再次参考关于有格子的细胞和有条纹的细胞的实施例，可以将有格子的细胞推到目标出口400，而有条纹的细胞可以随流一起行进到默认出口500中。
通过使用以上参考图1到图4所详细描述的装置或设置中的任何一种，对图像(例如，明场像或细胞的任何其他图像)进行实时图像处理(每幅图像约200μs)以进行细胞分类和分选是可能的，这与现有技术相比相当于将图像处理的加速度提高了100倍。利用类似于图4的设置，可以根据细胞的流速对每秒100个细胞和每秒高达2000个细胞进行分类。可以相应地调节细胞的流速，以确保快速且正确的分类。但是，如果细胞的流速太高，则可能难以确保正确的分类。因此，必须在细胞的快速分类和正确分类之间找到平衡。
可以在通用计算装置上执行细胞分类，其中通过首先沿细胞的主轴线对齐细胞，从而实现具有标准化图像的图像处理，然后使用MLP进行图像分析和分类来实现实时细胞分类。这导致分类过程的显著简化和加速。另外，细胞可以在对齐单元中变形并且沿其主轴线延伸，因此可以根据细胞在细胞图像上变得可见的机械特性进行分类和分选。
图5示出了显示根据本发明的实施方式的分类方法的步骤的流程图。可以由以上参考图1至图4非常详细描述的分类装置100来执行该分类方法。
如图5所示，分类方法包括步骤S510，该步骤S510用于使待分类的细胞沿着细胞的主轴线对齐。步骤S510可以由如上所述的分类装置100的对齐单元110来执行。例如，待分类的细胞流过微流体通道以进行对齐。就此而言，待分类的细胞的直径可优选地覆盖微流体通道的宽度的30％至90％。如上所述，通过确保细胞在宽度上覆盖微流体通道的30％至90％，由于存在于微流体通道中并施用在细胞上的力，细胞变形并沿其主轴线延伸。因此，细胞的机械性能在细胞图像上变得可见，并且可以改善基于细胞图像的细胞分类。目前，虽然仅对细胞的一幅图像进行成像，但是也可以使用超过一个的细胞图像来进行使用MLP的分类。例如，视频可以被馈送到MLP。鉴于这样的视频(它是待分类的细胞的一系列连续图像)还可以包括有关机械特性(例如，细胞的粘弹性特性)的信息(由于在细胞经受力时对细胞进行成像)，基于这样的视频对细胞进行的分类将是有利的，因为信息量更高。
然后，在分类方法的步骤S520中，使用MLP对经对齐细胞进行分类，其中MLP基于经对齐细胞的图像对经对齐细胞进行分类。该MLP可能已经在输入-输出对上进行了训练，输入是细胞的图像，且输出是相应的分类结果。上面已经参考图1至图4很详细地解释了MLP的结构和功能，因此出于简洁的原因，在此省略了MLP的详细描述。
另外，分类方法可以包括以下步骤：获得待分类的经对齐细胞的图像(未示出)。用于分类的细胞的图像可以是明场像、或示出待分类的细胞的任何其他类型的图像。为了确保实时进行无标签分类，待分类的细胞是无标记细胞。因此，可以避免标签化的缺点。
图6示出了显示根据本发明的另一实施方式的分选方法的步骤的流程图。可以由如上面参考图1至图4非常详细解释的分选装置300来执行该分选方法。
如图6中所示，分选方法可以包括如参考图5描述的分类方法的步骤S510和S520。出于简洁的原因，此处省略了步骤S510和S520的详细描述。
另外，分选方法可以包括步骤S600，该步骤S600基于分类方法的分类结果将经分类细胞分选到目标出口或默认出口。已经参照图3和图4给出了分选细胞的详细描述。
图7A和图7B示出了异质样品的示例性测量结果，其中示出了使用多层感知器进行细胞分选之前和之后的细胞分布。
对于图7A和图7B，对中性粒细胞进行分类，并且使用具有MLP的分选装置300从耗尽红细胞(RBC)的血液(葡聚糖沉淀(dextran sedimentation))中对其进行分选。在这种情况下，输入层获得26×26像素的图像，从而在输入层中产生26×26＝676个神经元。此外，MLP包括三个隐藏层，其中第一隐藏层具有24个神经元，第二隐藏层具有16个神经元，且第三隐藏层具有24个神经元。MLP的输出层包括与用于分类细胞的类一样多的神经元。在这种情况下，可能需要七个类来分类血小板(类1)、淋巴细胞(类2)、红细胞(类3)、双态红细胞(类4)、单核细胞(类5)、中性粒细胞(类6)和嗜酸性粒细胞(类7)。因此，由于七个类，输出层可以包括七个神经元。如果仅白细胞是感兴趣的，则输出层可以仅包括两个神经元，这两个神经元指的是针对白细胞的第一类和针对其余细胞的第二类。选择整流器作为激活函数。
就此而言，图7A示出了在分选之前初始样品的细胞分布，并且图7B示出了在对初始样品中的细胞进行分选之后的细胞分布。使用RT-FDC(“实时荧光和可变形性细胞仪”)以及CD14、CD66染色对靶标和初始样品进行后分析。当比较图7A和图7B的散点图时，散点图显示靶标中CD66+细胞的明显富集。CD66+细胞(中性粒细胞)明显富集于目标样品中，这意味着CD66+已成功地与(不需要的)CD14+细胞(单核细胞)和CD66-/CD14-细胞(红细胞)分离。因此，通过使用参考图1至图6描述的细胞分类和分选，可以将CD66+细胞成功地收集在目标出口中。
通过实施分类装置和分选装置、或通过执行如上所述的分类方法和分选方法，可以提供以高通量基于细胞的图像实时地对细胞进行改善、有效和准确的分类和分选。仅基于不同细胞类型的光学外观，就可以成功地分类和分离这些不同细胞类型而无需细胞标签化。由于不需要细胞的标签化，因此不需要耗时、昂贵且具有进一步副作用的染色程序。细胞的无标签分类和分选对于细胞治疗和临床应用可能至关重要。
本文中的分类和分选装置/方法不限于以上详细描述的这些场景。如上所述，本发明的实施方式和实施例允许以高通量基于细胞的细胞图像来进行改善的分类和分选。
应当理解，可以在不脱离本发明的范围或精神的情况下，在所描述的系统和方法以及本发明的配置中进行各种修改和变型。
已经关于特定实施方式和实施例描述了本发明，这些特定实施方式和实施例在所有方面旨在是示例性的而非限制性的。
而且，通过考虑说明书和本文公开的本发明的实践，本发明的其他实施方案对于本领域的技术人员来说将是显而易见的。说明书和实施例仅被认为是示例性的。为此，应当理解，发明的方面在于少于前述公开的实施方案或配置的所有特征。因此，本发明的真正范围由所附权利要求书指示。

Claims (15)

1.一种用于对细胞进行实时分类的分类装置，所述分类装置包括：
对齐单元，其配置为沿待分类的细胞的主轴线对齐所述细胞；和
分类单元，其配置为使用多层感知器MLP对经对齐细胞进行分类；
其中，所述MLP基于所述经对齐细胞的一个或多个图像对所述经对齐细胞进行分类。
2.根据权利要求1所述的分类装置，其还包括：
成像单元，其配置为获得待分类的所述经对齐细胞的所述一个或多个图像。
3.根据权利要求1或2所述的分类装置，其中，
所述对齐单元包括微流体通道，待分类的所述细胞流过所述微流体通道。
4.根据权利要求1到3中任一项所述的分类装置，
其中，所述MLP已经在输入-输出对上进行了训练，所述输入是细胞的图像，并且所述输出是相应的分类结果，和/或
其中，
用于分类的所述细胞的所述一个或多个图像是无标记细胞的图像。
5.根据权利要求1到4中任一项所述的分类装置，其中，
用于分类的所述细胞的所述一个或多个图像是明场像。
6.一种分选装置，其包括根据权利要求1到5中任一项所述的分类装置，所述分选装置还包括：
分选单元，其配置为基于所述分类装置输出的分类结果，将经分类细胞分选到目标出口或默认出口。
7.一种用于对细胞进行实时分类的分类方法，所述方法包括以下步骤：
将待分类的细胞沿所述细胞的主轴线对齐；和
使用多层感知器MLP对经对齐细胞进行分类；
其中，所述MLP基于所述经对齐细胞的一个或多个图像对所述经对齐细胞进行分类。
8.根据权利要求7所述的分类方法，其还包括以下步骤：
获得待分类的所述经对齐细胞的一个或多个图像。
9.根据权利要求7或8所述的分类方法，其中，
待分类的所述细胞流过微流体通道以进行对齐。
10.根据权利要求9所述的分类方法，其中，
待分类的所述细胞的直径优选为所述微流体通道的最小宽度的30％至90％。
11.根据权利要求7到10中任一项所述的分类方法，
其中，所述MLP已经在输入-输出对上进行了训练，所述输入是细胞的图像，并且所述输出是相应的分类结果。
12.根据权利要求7到11中任一项所述的分类方法，其中，
待分类的所述细胞是无标记细胞，和/或
其中，
用于分类的所述细胞的所述一个或多个图像是明场像。
13.一种分选方法，其包括根据权利要求7到12中任一项所述的分类方法的步骤，所述分选方法还包括以下步骤：
基于所述分类方法的分类结果，将经分类细胞分选到目标出口或默认出口。
14.一种根据权利要求1到5中任一项所述的分类装置用于对细胞进行分类的用途。
15.一种根据权利要求6所述的分选装置用于对细胞进行分选的用途。
CN202010973479.2A 2019-09-23 2020-09-16 用于基于图像的细胞分类的装置、其方法及其用途 Pending CN112541519A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19198891.4A EP3796212B1 (en) 2019-09-23 2019-09-23 Device for image-based cell classification, method therefor and use thereof
EP19198891.4 2019-09-23

Publications (1)

Publication Number Publication Date
CN112541519A true CN112541519A (zh) 2021-03-23

Family

ID=68051671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010973479.2A Pending CN112541519A (zh) 2019-09-23 2020-09-16 用于基于图像的细胞分类的装置、其方法及其用途

Country Status (3)

Country Link
US (1) US11610416B2 (zh)
EP (1) EP3796212B1 (zh)
CN (1) CN112541519A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107077A1 (en) * 2020-11-19 2022-05-27 Sony Group Corporation Classification workflow for flexible image based particle sorting
FR3140171A1 (fr) 2022-09-23 2024-03-29 Centre National De La Recherche Scientifique Dispositif et procede pour la caracterisation de cellules soumises a une contrainte physique

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6849423B2 (en) 2000-11-29 2005-02-01 Picoliter Inc Focused acoustics for detection and sorting of fluid volumes
EP1915211B1 (en) 2005-07-07 2009-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and device for acoustic manipulation of particles, cells and viruses
US8387803B2 (en) 2008-08-26 2013-03-05 Ge Healthcare Bio-Sciences Ab Particle sorting
US20100140185A1 (en) 2008-12-05 2010-06-10 John Hill Wastewater treatment
WO2010123453A1 (en) 2009-04-23 2010-10-28 Linda Johansson Device and method for manipulating particles utilizing surface acoustic waves
EP2608878A4 (en) 2010-08-23 2017-11-15 President and Fellows of Harvard College Acoustic waves in microfluidics
GB201103211D0 (en) 2011-02-24 2011-04-13 Univ Glasgow Fluidics apparatus, use of fluidics apparatus and process for the manufacture of fluidics apparatus
US9821310B2 (en) 2011-03-31 2017-11-21 The University Of Akron Two-stage microfluidic device for acoustic particle manipulation and methods of separation
EP2602608B1 (en) * 2011-12-07 2016-09-14 Imec Analysis and sorting of biological cells in flow
JP2015512766A (ja) 2012-01-31 2015-04-30 ザ・ペン・ステート・リサーチ・ファンデーション 可変定常的表面弾性波を用いたマイクロ流体操作及び粒子の分類
WO2014022268A1 (en) 2012-08-01 2014-02-06 The Penn State Research Foundation High efficiency separation and manipulation of particles and cells
GB201315196D0 (en) 2013-08-23 2013-10-09 Univ Dresden Tech Apparatus and method for determining the mechanical properties of cells
EP3060905A4 (en) 2013-10-25 2017-08-02 Monash University Virtual deterministic lateral displacement for particle separation using surface acoustic waves
US20170232439A1 (en) 2014-08-11 2017-08-17 Carnegie Mellon University Separation of low-abundance cells from fluid using surface acoustic waves
CA2985216C (en) 2015-05-13 2023-05-09 Royal Melbourne Institute Of Technology Acoustic wave microfluidic devices with increased acoustic wave energy utilisation
LT3341116T (lt) 2015-08-27 2022-05-25 President And Fellows Of Harvard College Rūšiavimo naudojant akustines bangas būdas
SG10201509280YA (en) 2015-11-11 2017-06-29 Singapore Univ Of Tech And Design Microfluidic particle manipulation
US20170333903A1 (en) * 2016-05-20 2017-11-23 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Automated Single Cell Cytological Classification in Flow
JP2019537157A (ja) * 2016-12-01 2019-12-19 バークレー ライツ，インコーポレイテッド マイクロ流体デバイスによる微小物体の自動検出及び再配置
CA3102297A1 (en) * 2018-06-04 2019-12-12 The Regents Of The University Of California Deep learning-enabled portable imaging flow cytometer for label-free analysis of water samples

Also Published As

Publication number Publication date
US11610416B2 (en) 2023-03-21
EP3796212B1 (en) 2024-06-26
US20210089751A1 (en) 2021-03-25
EP3796212A1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
JP7079203B2 (ja) デジタルホログラフィ顕微鏡検査および無傷の（ｕｎｔｏｕｃｈｅｄ）末梢血白血球を用いる高精度の５部鑑別（５－ｐａｒｔ Ｄｉｆｆｅｒｅｎｔｉａｌ）
EP2602608B1 (en) Analysis and sorting of biological cells in flow
Lincoln et al. High‐throughput rheological measurements with an optical stretcher
US9897532B2 (en) Method and device for high throughput cell deformability measurements
Roy et al. A simple and low-cost device performing blood cell counting based on lens-free shadow imaging technique
FI101653B (fi) Automatisoitu solunäytteiden luokittelija
CN105143849B (zh) 用于血液样品中粒子分析的动态范围扩展系统和方法
Rees et al. Imaging flow cytometry
JP5055351B2 (ja) 粒子を分類するカンチレバー型同軸フロー射出装置及び方法
CN113167714A (zh) 用于颗粒分析的系统和方法
US9487812B2 (en) Optical alignment deformation spectroscopy
US11092532B2 (en) Method and device for label-free, high throughput holographic screening and enumeration of tumor cells in blood
CN105960463A (zh) 用于精子分选的系统和方法
US11610416B2 (en) Device for image-based cell classification, method therefor and use thereof
US11123734B2 (en) System and method for immune activity determination
Piety et al. Quantifying morphological heterogeneity: a study of more than 1 000 000 individual stored red blood cells
D'Orazio et al. Electro-optical classification of pollen grains via microfluidics and machine learning
Schneider et al. Neural network for blood cell classification in a holographic microscopy system
JP2020041881A (ja) 制御装置、該制御装置を用いた微小粒子分取装置及び微小粒子分取システム、並びに制御方法、及び制御プログラム
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
CN113588522A (zh) 基于微流控和图像识别的循环肿瘤检测与分选方法及系统
Zhao et al. Deep learning of morphologic correlations to accurately classify CD4+ and CD8+ T cells by diffraction imaging flow cytometry
Hirotsu et al. Artificial intelligence-based classification of peripheral blood nucleated cells using label-free imaging flow cytometry
Herbig et al. Image-based cell sorting using artificial intelligence
Khalid et al. Urine sediment analysis by using convolution neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination