CN112689756A - 用于生物样品的无标记识别和分类的系统和方法 - Google Patents

用于生物样品的无标记识别和分类的系统和方法 Download PDF

Info

Publication number
CN112689756A
CN112689756A CN201980059163.8A CN201980059163A CN112689756A CN 112689756 A CN112689756 A CN 112689756A CN 201980059163 A CN201980059163 A CN 201980059163A CN 112689756 A CN112689756 A CN 112689756A
Authority
CN
China
Prior art keywords
training
image
machine learning
learning system
biological sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980059163.8A
Other languages
English (en)
Inventor
阿夫鲁·I·科恩
洪迪慧
斯蒂芬·莱茵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Publication of CN112689756A publication Critical patent/CN112689756A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N15/1429—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its signal processing
    • G01N15/1433—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1488—Methods for deciding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种使用成像系统分析生物样品的系统和方法。图像获取模块指示成像系统获得训练生物样品的无标记图像，并且接收第一训练图像。成像系统使训练生物样品发荧光并获得第二训练图像。分析模块分析第二训练图像以生成多个训练细胞特性，其中多个训练细胞特性中的每一个与训练生物样品中的多个训练细胞中的一个相关联。训练模块使用第一训练图像和多个训练细胞特性训练机器学习系统以得到经训练的机器学习系统，经训练的机器学习系统以第一训练图像作为输入，并生成对应于多个训练细胞特性的多个预测细胞特性。

Description

用于生物样品的无标记识别和分类的系统和方法
相关申请的交叉引用
本申请要求在2018年9月12日提交的美国临时申请No.16/128,798的优先权，其内容通过引用整体并入本文。
技术领域
本主题涉及用于生物样品的无标记识别和分类的系统和方法，并且更具体地，涉及使用监督机器学习系统的生物样品的识别和分类。
背景技术
诸如高内涵成像系统的成像系统可以用于捕获生物样品的一个或多个图像。此后，分析(一个或多个)图像以获得与生物样品相关联的度量。这些度量包括例如生物样品中多种不同类型的细胞、每种类型的细胞的数量、活细胞与死细胞的比例等。
成像系统包括一个或多个照明源、一个或多个物镜以及图像捕获装置，诸如，电荷耦合装置或互补金属氧化物半导体(CMOS)装置，以产生生物样品的放大图像。照明源可以包括激光器或其他光源，当生物样品不经受荧光时，所述激光器或其他光源引导光通过生物样品，并且透射通过生物样品的光由图像捕获装置成像。由图像捕获装置捕获的非荧光生物样品的图像在本文中称为无标记图像，并且可以是例如透射光图像、相位对比图像、微分干涉对比图像等。如对本领域普通技术人员显而易见的，这些不同类型的无标记图像是在不同照明条件下(例如，使用偏振光、特定波长的光等)和/或在光源和图像捕获装置之间使用不同类型的滤光器捕获的透射光图像。
在一些应用中，可以使用一种或多种荧光染料对生物样品进行染色(或标记)，每种荧光染料粘附到生物样品中的一种或多种特定蛋白质或组分。照明源用于将标记的生物样品暴露于具有(一个或多个)特定特性(例如，特定波长)的光，所述特定特性引起荧光染料发荧光，并且由这种荧光发射的光然后被图像捕获装置捕获。与未标记的生物样品的透射或反射图像相比，用染料标记的生物样品的荧光图像更清楚地将与荧光相关的那些元素(例如，蛋白质和细胞器)与生物样品的其他部分区分开。因此，可以从经受荧光的生物样品的图像中得到关于这样的元素的更准确的度量。
然而，用一种或多种荧光染料标记生物样品是耗时的。此外，某些荧光染料可能对生物样品有害，甚至有毒。至少由于这些原因，在某些情况下，对经受荧光标记的生物样品的图像进行显影是不可行的或不期望的。
获得通过仅使用透射光图像在荧光下对生物样品进行成像所提供的分析优势将是有用的。
发明内容
根据一个方面，使用成像系统分析生物样品的方法包括以下步骤：使非暂时性可编程装置进行以下步骤：指示成像系统获得训练生物样品的无标记图像并作为响应接收第一训练图像，以及指示成像系统使训练生物样品发荧光并获得训练生物样品经历荧光的图像并作为响应接收第二训练图像。使非暂时性可编程装置进行以下附加步骤：分析第二训练图像以生成多个训练细胞特性，以及使用第一训练图像和多个训练细胞特性训练机器学习系统以得到经训练的机器学习系统，使得当经训练的机器学习系统以第一训练图像作为输入进行操作时，经训练的机器学习系统生成对应于多个训练细胞特性的多个预测细胞特性。多个训练细胞特性中的每一个与包括训练生物样品的多个训练细胞中的一个相关联。
根据另一方面，用于使用成像系统分析生物样品的系统包括机器学习系统、图像获取模块、分析模块和训练模块。图像获取模块在非暂时性可编程装置上操作，并且指示成像系统生成训练生物样品的无标记图像，并且作为响应，接收第一训练图像，并且指示成像系统使训练生物样品发荧光并且获得训练生物样品经历荧光的图像，并且作为响应，接收第二训练图像。分析模块在非暂时性可编程装置上操作，并且分析第二训练图像以生成多个训练细胞特性，其中多个训练细胞特性中的每一个与包括训练生物样品的多个训练细胞中的一个相关联。训练模块在非暂时性可编程装置上操作并且使用第一训练图像和多个训练细胞特性训练机器学习系统以得到经训练的机器学习系统，使得当经训练的机器学习系统以第一训练图像作为输入进行操作时，经训练的机器学习系统生成对应于多个训练细胞特性的多个预测细胞特性。
在考虑以下详细描述和附图之后，其他方面和优点将变得显而易见，其中在整个说明书中，相同的标号表示相同的结构。
附图说明
图1是成像系统的框图；
图2是训练和分析系统的框图；
图3是由图2的训练和分析系统所采取的用于训练其机器学习系统的步骤的流程图；
图4是更详细地示出由图2的训练分析系统所采取的用于训练其机器学习系统的步骤的流程图；
图5是示出由图2的训练和分析系统采取的用于使用根据图3和图4所示的流程图训练的机器学习系统来分析生物样品的图像的步骤的流程图；
图6是训练图2的训练和分析系统的机器学习系统的处理流程的示例；以及
图7是操作图2的训练和分析系统的经训练的机器学习系统的处理流程的示例。
具体实施方式
在一些应用中，为了便于分析生物样品，可以处理生物样品的无标记(即，透射光)图像或荧光图像以生成分割图像。在这样的应用中，分割图像的每个像素对应于生物样品的透射光图像或荧光图像的像素。分割图像的每个像素的值指示透射光图像或荧光图像的对应像素是否与研究者感兴趣的生物样品的元素相关联。这种元素可以包括例如细胞内部、细胞器、蛋白质、细胞壁等。因为荧光图像更清楚地区分生物样品的元素，所以可以从荧光图像产生更准确的分割图像。
此外，在其他应用中，如上所述，可以更容易地分析生物样品的荧光图像以识别生物样品的具有特定特性(例如，特定蛋白质的存在，细胞是活的还是死的等)的细胞，因为例如这样的特性的存在引起在荧光图像中捕获的荧光。
然而，如上所述，获得生物样品的荧光图像可能不总是可行或期望的。如下面详细描述的，可以使用透射光和在荧光下对训练生物样品成像，以分别创建训练无标记图像和训练荧光图像。训练荧光图像可以被处理以创建分割图像。然后，机器学习系统可以被训练以从训练无标记图像创建分割图像。在训练之后，当以这种方式训练的机器学习系统被提供另外的生物样品的无标记图像作为输入时，经训练的机器学习系统产生分割图像，而不需要该另外的生物样品的荧光图像。
类似地，在一些情况下，处理训练荧光图像以产生指示在训练荧光图像中表示的生物样品中存在特定特性的训练特性值。训练无标记图像和训练特性值用于训练机器学习系统，使得当机器学习系统被提供无标记图像时，机器学习系统生成指示存在特性的特性值。
参考图1和图2，成像系统100被训练和分析系统200使用以获得一个或多个生物样品的无标记图像和荧光图像。在一些实施例中，这种成像系统100包括X-Y载物台102、一个或多个物镜104、图像捕获装置110、一个或多个反射镜112和控制器114。为了清楚起见，成像装置100的其他组件可包括诸如聚焦机构、一个或多个滤光器、从中选择物镜104的多个物镜等，在图1中均未示出。
在成像系统100的操作期间，生物样品载体116(诸如例如微型板)被手动地或自动地设置在X-Y载物台102上。样品载体116可以包括多个孔118，并且生物样品可以被布置在每个这样的孔118中，其中每个生物样品包括例如一个或多个细胞或一个或多个细胞的部分。
控制器114操作X-Y载物台102，使得选定的孔118或选定的孔118的一部分在成像装置110的视场中。控制器114然后操作照明源106a以用特定波长的光照射选定的孔118并致动图像捕获装置110，使得来自照明源106a的未被设置在选定的孔118中的生物样品吸收或反射的光透射通过生物样品、通过物镜104，并被图像捕获装置110记录为图像。
如果生物样品是(天然地或通过用荧光染料标记地)荧光的，则控制器114操作照明源106b以生成使生物样品发出荧光的光，并且由这样的荧光发射的光透射通过物镜104并且被图像捕获装置110记录为图像。
一个或多个反射镜112(例如，半透明、双向和/或二色镜(dichromic mirror))设置在照明源106b与样品盘116之间以及样品盘116与图像捕获装置110之间的光路中，以分别将光从照明源106b引导到样品盘116以及将光从样品盘116引导到图像捕获装置110。
控制器以这种方式重复操作X-Y载物台102、照明源106和图像捕获装置110，直到捕获了样品盘116的所有孔118的感兴趣的图像。此外，当在不同的照明条件下和/或利用物镜104和滤光器(未示出)的不同组合捕获每个这样的图像时，控制器114可以捕获相同孔118或该孔118的部分的若干图像。通过控制照明条件，当生物样品不经受荧光时，可以捕获第一图像，并且当相同的生物样品经受荧光时，可以捕获第二图像。可以对齐地捕获这样的图像，使得在第一图像的每个坐标处的像素和在第二图像的相同坐标处的第二图像的像素对应于生物样品的基本上相同的部分。
尽管本文所述的实施例涉及多孔样品载体116的使用，但对于本领域普通技术人员来说显而易见的是，可结合这些实施例使用单孔载体或显微镜载玻片。类似地，尽管这些实施例设想使用可由控制器114自动移动的X-Y载物台来捕获样品载体116的各个部分的图像，但是应当清楚，X-Y载物台可以由操作者手动移动(例如，如当使用常规显微镜时所做的那样)。
尽管图1示出了设置在照明源106和图像捕获装置110之间的样品盘116，但是对于本领域技术人员来说显而易见的是，照明源106可以设置在图像捕获装置110和样品盘116之间。在这种实施例中，使用一个或多个反射镜(未示出)将来自照明源106的被生物样品反射的光或由生物样品的荧光生成的光引导通过物镜104，并由图像捕获装置110对其进行捕获。
此外，尽管本文的实施例描述了使用基于透镜的成像系统100，但是对于本领域普通技术人员而言显而易见的是，使用无透镜的成像系统捕获的图像也可以与这样的实施例结合使用。
如下面更详细地描述的，成像系统100可以如上所述地操作，以向训练和分析系统200提供设置在样品盘116中的生物样品的无标记图像和这种生物样品在荧光下的图像。可以分析生物样品在荧光下的图像以在这样的图像中识别生物样品的展示特定特性的细胞(或其部分)。被识别为与特定特性相关联的这种细胞和透射光图像可以用于训练机器学习系统206，例如神经网络或另一深度学习系统。在训练之后，响应于输入的透射光图像，机器学习系统206产生多个特性预测。在一些实施例中，每个这样的特性预测与输入图像中的对应像素相关联，并且这样的特性预测的值指示这样的像素与特定特性相关联的概率。例如，如果机器学习系统206被训练为识别与包括活细胞和死细胞两者的输入图像中的活细胞相关联的像素，则由机器学习系统206生成的每个特性预测的值指示输入图像中的对应像素(并且因此由这样的像素表示的生物样品的部分)与活细胞相关联的概率。在这样的实施例中，机器学习系统206可以用于例如根据图像中存在的(一个或多个)细胞的类型或细胞的(一个或多个)特性来分割输入图像。
在其他实施例中，机器学习系统206可被训练为分析图像以确定该图像是否表示特定类型的细胞或具有特定特性的细胞。在这样的实施例中，当以这种方式训练的机器学习系统206被提供图像作为输入时，机器学习系统206生成输出，该输出是表示作为输入提供的图像包括特定类型的细胞或具有特定特性的细胞的概率的值。在这些实施例中，机器学习系统206可用于例如对图像所表示的细胞进行分类。其中表示的具有多个细胞的图像可以被平铺为相邻图块或重叠图块的子图像，其中每个子图像具有与单个细胞相关的尺寸。然后，可以将这样的子图像呈现给经训练的机器学习系统作为输入，并且经训练的机器学习系统的输出指示该子图像包括特定类型的细胞或具有特定特性的细胞的概率。
如图1和图2所示，除了机器学习系统206之外，训练和分析系统200还包括图像获取模块202和其中可以存储这样的图像的图像存储器204。在一些实施例中，图像获取模块202与控制器114连接以引导成像系统100捕获一个或多个图像并且将这样捕获的(一个或多个)图像提供给图像获取模块202。在一些实施例中，图像获取模块202指示控制器114配置成像系统100以使用例如(一个或多个)特定光源、(一个或多个)物镜、(一个或多个)滤光器等来捕获透射光图像或荧光图像。
图像获取模块202从成像系统100获得训练生物样品的训练无标记图像和训练荧光图像。训练无标记图像和训练荧光图像分别是用于训练机器学习系统206的无标记图像和荧光图像。如下面更详细描述的，训练模块208使用由图像获取模块202从成像系统100获得的训练无标记图像和训练荧光图像以及由图像分析模块210产生的与这样的图像相关联的细胞特性信息来训练机器学习系统206。在训练了机器学习系统206之后，将在这种训练期间产生的与机器学习系统206的每个节点相关联的参数(诸如激活值、缩放因子、内核权重等)存储在参数数据存储器212中。在训练之后，图像获取模块202获得另外的生物样品的另外的图像，并且测量模块214利用存储在参数数据存储器212中的参数来配置机器学习系统206，并且操作所配置的机器学习系统206以分析另外的图像，从而测量另外的生物样品的特性。在一些实施例中，由机器学习系统206生成的输出可以由输出处理模块216处理，该输出处理模块216进行阈值化、去除假值和/或以其他方式净化这种输出，然后，这种净化的输出由测量模块214处理。
图3是为了训练机器学习系统206所采取的步骤的流程图250。参考图1至图3，在步骤252，用户操作用户计算机218以向训练模块指定细胞特性，以训练机器学习系统206从输入图像中进行识别。这些特性包括存在例如活细胞、死细胞、特定蛋白质或化合物、特定细胞器等。在一些实施例中，用户还使用用户计算机218指定生物样品的类型(例如，神经细胞、动物细胞等)，其中机器学习系统206将被训练以识别特性。
此后，在步骤254，将具有沉积到其一个或多个孔118中的生物样品的训练样品盘116手动地或自动地装载到成像系统100的X-Y载物台102上。沉积到(一个或多个)这种孔118中的每个生物样品被染色或以其他方式被与该特性相关的荧光染料处理。
在装载训练样品盘116之后，在步骤256，图像获取模块202引导成像系统100捕获沉积在样品盘116的(一个或多个)孔118中的每个生物样品的透射光图像。作为响应，控制器114重复地操作X-Y载物台102以将孔118(或其一部分)定位在照明源106和物镜104之间的光路中，致动照明源106和图像捕获装置110以捕获孔118(或其一部分)的透射光图像，并将捕获的图像传输到图像获取模块202。控制器114以这种方式操作X-Y载物台102、照明源和图像捕获装置110，直到样品盘的所有孔118(或其中沉积有生物样品的孔118)的透射光图像都已被捕获并被发送到图像获取模块202。
此外，在步骤256，图像获取模块202接收如上所述捕获的每个透射光图像，并将这种透射光图像作为训练透射光图像存储在图像数据存储器204中。
在步骤258，图像获取模块202指示成像系统100的控制器114使生物样品(或附着于其的染料)发荧光，并在这种荧光期间捕获生物样品的图像。作为响应，控制器114操作X-Y载物台102以将孔118(或其一部分)定位在照明源106和物镜104之间的光路中。此后，控制器114致动照明源106以发射具有经选择以致使荧光染料或生物样品发荧光的一个或多个特定波长的光，操作图像捕获装置110以在荧光期间捕获生物样品的图像，且将所捕获图像发送到图像获取模块202。
在一些实施例中，图像获取模块202向控制器114指定照明源106应发射以引起生物样品和/或荧光染料的荧光的光的(一个或多个)波长。在这些情况下，图像获取模块202根据用户在步骤252指定的特性和/或生物样品类型来选择这些波长。在其他实施例中，图像获取模块202在步骤258或在步骤258之前向控制器114提供特性和/或生物样品类型，并且控制器114选择用来照射生物样品的光的(一个或多个)波长。
此外，在步骤258，图像获取模块202将在荧光期间由此接收的生物样品的每个图像作为训练荧光图像存储在图像数据存储器204中。
针对每个训练透射光图像捕获一个或多个训练荧光图像。此外，训练荧光图像的每个像素对应于训练透射光图像的像素，并且这些像素表示透射通过生物样品的基本上相同的部分或由生物样品的基本上相同的部分发荧光的光的强度。
尽管步骤256和258指定捕获样品盘116的孔118的透射光图像，然后捕获孔118的荧光图像，但是应当清楚，控制器114可以操作X-Y载物台102以将孔118定位在照明源106和图像捕获装置110之间的光路中，并且操作照明源106和图像捕获装置110以顺序地捕获这种孔的透射光图像和荧光图像。此后，控制器114可以操作X-Y载物台102以将孔118的另一部分或另一孔118定位在照明源106和图像捕获装置110之间的光路中，并且重复地捕获其透射光图像和荧光图像，直到样品训练盘116的其中沉积有生物样品的所有孔118都已经以这种方式被成像。每个捕获的图像可以在其被获取时被发送到图像获取模块202，或者所有捕获的图像可以在所有这样的图像已经被获取之后被成批地发送。
回到图3，在步骤260，例如，通过经由用户计算机218询问用户，训练模块208确定是否有另外的训练样品盘需要被成像。如果有另外的训练样品盘，则处理进行到步骤254。
否则，在步骤262，训练模块使用训练透射光和训练荧光图像来训练机器学习系统206，如下面更详细描述的。在完成对机器学习系统206的训练之后，在步骤264，将与机器学习系统206的每个节点相关联的参数存储在参数数据存储器212中。这样的参数包括例如激活阈值、输入和输出缩放因子或权重、卷积核、机器学习系统206的架构。例如，如果机器学习系统206是神经网络，则每层中的节点或神经元的架构、节点层之间的互连等被存储在参数数据存储器212中。如对本领域普通技术人员显而易见的，这种神经网络可以包括一个或多个卷积层和一个或多个神经元层与它们之间的一个或多个池化层的互连。所存储的参数足以将未训练的机器学习系统206配置成经训练状态。
图4示出了训练和分析系统200在图3的步骤262期间采取的用于训练机器学习系统206的步骤的流程图。参考图4，在步骤302，分析模块210根据在步骤252(图3)指定的特性从每个荧光训练图像生成相应的训练特性图像。在一些实施例中，所生成的训练特性图像包括针对从其生成这样的特性图像的荧光训练图像的每个像素的一个像素。在这样的实施例中，每个这样的像素指示荧光训练图像的对应像素与特性相关联的可能性。
如果机器学习系统206正在被训练以进行分割，则使用图像处理技术(包括边界(边缘)检测、边界填充、峰值检测及其组合)来分割训练特性图像。在一些实施例中，分割的训练特性图像的每个像素对应于荧光训练图像的像素(并且因此对应于与荧光训练图像相关联的透射光图像的像素)，并且在一些实施例中，具有零或一的值。具有值一的分割的训练特性图像的像素指示荧光训练图像的对应像素与选择的特性相关联。应当清楚，其他像素值可用于从分割的训练特性图像的其他像素中识别分割的训练特性图像的与所选特性相关联的那些像素。因此，分割的训练特性图像表示多个训练细胞特性(例如，活细胞、死细胞、具有特定细胞器的细胞、特定类型的细胞等)。
在步骤304，训练模块208选择分割的训练特性图像的第一子集。在一些实施例中，随机选择第一子集。在其他实施例中，根据捕获与其相关的训练无标记图像或荧光图像的时间，或根据与一个或多个样品盘相关的标识符选择第一子集，从样品盘产生得到分割的训练特性图像的荧光训练图像。对于本领域普通技术人员显而易见的是，可以使用一个或多个其他标准来选择第一子集。在步骤306，训练模块208选择与第一分割训练特性图像相关联的第一训练透射光图像，在步骤308，将第一训练透射光图像作为输入呈现给机器学习系统206，并且在步骤310，操作机器学习系统206以生成第一多个预测训练特性。第一多个预测训练特性包括与第一训练透射光图像的每个像素对应的预测训练特性，并且这种预测训练特性的值表示第一训练透射光图像的对应像素与该特性相关联的概率。
在步骤312，训练模块208例如使用损失函数(诸如，例如，加权的分类交叉熵函数)计算每个预测的训练特性的误差值和分割的训练特性图像的对应像素的值。在步骤314，然后通过使用例如反相传播来使用误差的值，以调整机器学习系统206的参数，如本领域普通技术人员将理解的。
在步骤315，训练模块208确定是否存在在步骤304选择的图像的子集中的尚未被用作机器学习系统206的输入的任何图像。如果是，则处理进行到步骤306。
否则，在步骤316，训练模块208评估经训练的机器学习系统206的性能。特别地，训练模块208选择训练特性图像的第二子集和与其对应的训练透射光图像的第二子集。训练模块208将训练透射光图像的第二子集呈现给经训练的机器学习系统206。作为响应，对于第二子集中的每个图像，经训练的机器学习系统206生成多个训练特性预测的集合，针对每个第二训练透射光图像的一个这样的多个训练特性预测的集合被呈现给经训练的机器学习系统206。从与第二子集的每个透射光图像相关联的每个训练荧光图像产生分割的训练特性图像。在多个训练特性预测的每个集合和与其相关联的分割的训练特性图像的像素之间计算误差值的集合。以这种方式产生的误差值的所有集合被组合成一个合计误差度量(例如，与被准确识别的特性相关联的像素的百分比)。
在步骤318，训练模块208将合计误差度量与预定的可接受误差进行比较，并且如果合计误差度量大于预定误差，则训练模块208如上所述进行到步骤304并且选择图像的另外的子集用于训练。在一些实施例中，训练模块208可以在用户计算机218上显示合计误差度量，并询问这种计算机的操作者是否进行进一步的训练。在其他实施例中，训练模块218也在步骤318根据已经用于训练的样品的数量、已经进行的训练的迭代数量、成功训练通过之间的合计误差度量的改进率、训练进行的时间量以及对于本领域普通技术人员显而易见的其他这样的条件来确定是否进行附加训练。如果批准附加训练，则训练模块208进行到步骤304。
在一些情况下，训练模块208在步骤318可以确定合计误差度量大于预定的可接受误差，但是附加训练未被批准(例如，如果合计误差度量没有改善)。在这种情况下，训练模块218可以在用户计算机218上显示合计误差度量以及合计误差度量大于预定的可接受误差的消息，并且不进行附加训练。
参考图2至图4，如果训练模块208在步骤318(图4)确定由于合计误差度量可接受或者由于合计误差度量没有改进而未准许机器学习系统206的附加训练，则如上所述完成步骤262(图3)，并且训练模块进行到步骤264(图3)。
以上描述了由训练和分析系统200进行的并且在图4中示出的用于训练机器学习系统206以分割和/或表征透射光图像中的一个或多个细胞的步骤302至318。训练和分析系统200可采取基本相同的步骤来训练机器学习系统206以在提供图像作为输入时生成特性值，其中特性值指示图像包括与在图3的步骤252处标识的特性相关联的细胞的概率。
具体地，在步骤302，代替从荧光图像产生训练特性图像，分析模块210产生每个荧光图像(或其子图像)的特性值，该特性值指示荧光图像是否包括具有所选特性的细胞。例如，为一的特性值可以指示存在该特性，而为零的特性值可以指示不存在该特性。应该清楚，可以使用其他值来代替一和零，以指示特性是否存在。训练模块208使用该特性值，而不是在步骤310至314使用分割的训练特性来训练机器学习系统206。此外，训练和分析系统200可以被配置成从在步骤256和258(图3)获得的图像中生成重叠或相邻的平铺图像，而不是使用具有多个细胞的图像。例如，这种平铺可由图像获取模块202或分析模块210进行。在一些实施例中，每个图像可以被划分为具有例如32像素×32像素尺寸的图块，其中每个图块复制相邻图块的一些像素，例如在每个方向上的8个像素。显然，可以使用其他尺寸的并且具有不同数量的重复像素的图块。在其他实施例中，可以根据生物样品的细胞或另一感兴趣部分预期占据的像素的预期数量来选择图块块的尺寸。
图5示出了系统200采取的使用经训练的机器学习系统206来测量一个或多个生物样品的特性的步骤的流程图400。参考图5，在步骤402，测量模块214从用户计算机218接收要在生物样品中测量的特性的选择，以及可选地接收包括生物样品的细胞类型的标识。在一些实施例中，在步骤402，测量模块214在用户计算机218上显示细胞的一个或多个特性和/或类型的列表，针对该列表，(一个或多个)机器学习参数已经被产生并被存储在参数数据存储器212中。也就是说，该列表指示(一个或多个)机器学习系统206已经被训练以在生物样品的无标记图像中识别的(一个或多个)细胞特性和/或(一个或多个)细胞类型。作为响应，测量模块214也在步骤402从用户计算机218接收对一个这样的特性和/或细胞类型的选择。
在步骤404，测量模块214选择参数数据存储器212中的参数，该参数是在训练机器学习系统206以分析所标识的细胞类型中的所选特性之后产生并存储的。此后，测量模块214用所选参数来配置机器学习系统206以使机器学习系统206返回到经训练的状态。
在步骤406，将在其孔118中沉积有生物样品的样品盘116装载在X-Y载物台102上。在步骤408，图像获取模块202引导成像系统100生成孔118或其一部分的透射光图像。然后，在步骤410，将透射光图像作为输入提供给经训练的机器学习系统206，并且作为响应，经训练的机器学习系统206产生多个预测的细胞特性。如上所述，多个预测的细胞特性中的每一个的值指示透射光图像的对应像素与特性相关联并且因此透射光图像的这种像素中表示的生物样品的部分也与该特性相关联的概率。
在一些实施例中，在步骤412，输出处理模块216进行附加操作以净化预测的细胞特性。这种净化操作涉及应用对本领域技术人员显而易见的图像处理技术，包括边界填充、边缘检测等。使用这样的图像处理技术，输出处理模块216可以调整与透射光的表示细胞的边缘的像素相关联的特性值，以使这样的边缘更明显，移除表示透射光图像中的过大(或过小)而不是单个细胞的对象的相邻特性值，并且移除与透射光图像中的与假内容相关联的像素相关联的特性值。在步骤412，可进行对本领域普通技术人员显而易见的其他类型的净化操作。
在一些实施例中，在步骤414，测量模块214将在步骤410生成的多个预测的细胞特性存储在数据存储器(未示出)中，将这样的多个特性发送到另一系统以用于进一步分析，或将这样的多个特性显示在用户计算机218上。
在一些实施例中，测量模块214可根据在步骤410和在步骤416生成的多个预测的细胞特性的值生成特性图像。特性图像的每个像素对应于透射光图像的像素。在一些实施例中，如果对应的预测细胞特性超过预定阈值，则将特性图像的像素设置为预定非零值，否则设置为零。在其他实施例中，根据相应的预测细胞特性的值来设置特性图像的像素的值。例如，测量模块214可以将特性图像的像素值设置为与透射光图像中的对应像素与特性相关联的概率相关联的特定颜色。在一些情况下，测量模块214可以根据特性图像自动地产生一个或多个度量，例如，在透射光图像中表示的细胞或其部分的数量的计数至少具有与特性相关联的预定概率。自动地产生(一个或多个)这样的度量可以涉及将边界或边缘检测、边界填充和类似算法应用于在步骤416生成的特性图像。在一些实施例中，操作者例如从列表中选择测量模块214计算的度量。在其他实施例中，测量模块214可以被预先配置以计算特定度量。可以使用对本领域技术人员显而易见的选择由测量模块214计算的度量的其他方式。在一些实施例中，特性图像可以用于生成应用于透射光图像的掩模(mask)，以隔离其中与特性相关联的细胞的图像。可以对特性图像进行附加处理，包括例如局部阈值处理、竞争性生长、边界生长等。
返回图5，在步骤418，测量模块214确定是否已经处理了样品盘116的其中沉积有生物样品的所有孔118，并且如果是，则确定测量模块214。否则，训练和分析系统100进行到步骤408以获取和分析附加的透射光图像。
对于本领域的普通技术人员来说显而易见的是，在步骤410产生的预测特性值可以仅是如上所述的单个特性值。在这种情况下，在步骤412，可以对特性值进行阈值处理或以其他方式进行处理，并且可以不需要进行步骤416。
图6示出了如上所述的训练图像训练和分析系统200的机器学习系统206的过程流程的示例。参考图2至图6，在步骤256(图3)由图像获取模块202(图2)获取生物样品的训练透射光(即，无标记)图像500，并且在步骤258(图3)由图像获取模块202获取生物样品的荧光图像502。在步骤302(图4)，由分析模块210(图2)生成训练特性图像504。如上所述，在步骤262(图3)，训练模块208使用训练透射光图像500和训练特性图像504来训练机器学习系统206。
图7示出了使用经训练的机器学习系统206的过程流程的示例。参考图2至图7，在步骤408(图5)由图像获取模块202获取输入透射光图像506，其在步骤410(图5)作为输入被提供给经训练的机器学习系统206。然后，在步骤412(图5)，来自经训练的机器学习系统206的输出被输出处理模块216(图2)用于产生特性图像508。
再次参考图2，在一些实施例中，机器学习系统206是卷积神经网络，其具有接受64×64透射光图像作为输入的输入层，并且作为响应，生成64×64输出图像。在一些实施例中，使用由加州Mountain View的Google公司开发的AutoML和NAette技术配置神经网络206。应当清楚，可以使用本领域技术人员已知的其他神经网络206技术，包括例如全卷积DensNet、针对机器视觉应用优化的神经网络等。应当清楚，机器学习系统206可以是包括随机森林树等的另一类型的机器学习系统。
尽管前面描述的训练和分析系统200被描述为用于训练机器学习系统206以分析单独的二维透射光图像，但是这样的训练和分析系统200可以适于训练机器学习系统206以分析在不同焦点处取得的表示这样的生物样品的三维表示的生物样品的一系列二维透射光图像。在这样的实施例中，使用一系列训练透射光图像和一系列训练荧光图像来训练机器学习系统206，其中包括这样的系列的所有图像与样品载体116的基本上相同的X-Y位置相关联，并且该系列的对应透射光和荧光图像与不同的焦点(即，不同的Z位置)相关联。包括一系列的所有图像被同时提供给机器学习系统206，并且机器学习系统206生成指示具有预定特性的细胞由该系列透射光图像表示的特性值，或者生成预测特性值的集合。如果生成了预测特性值的集合，则该集合包括与透射光图像的每个像素相关联的一个值，并且该值表示该像素与该特性相关联的概率。因此，预测特性值的集合可用于在三维中分割输入的一系列无标记图像。
参考图1和图2，对于本领域技术人员应当显而易见的是，第一成像系统100可以用于提供无标记图像和荧光图像，所述无标记图像和荧光图像用于训练第一未经训练的机器学习系统206以得到第一经训练的机器学习系统206，并且与第一经训练的机器学习系统206相关联的参数可以存储在参数数据存储器212中。此后，这样存储的参数可以用于配置第二未经训练的机器学习系统206以得到第二经训练的机器学习系统206(即，在第二未经训练的机器学习系统206上复制第一经训练的机器学习系统206的能力)。第二经训练的机器学习系统206可以用于分析使用第一成像系统或第二成像系统100生成的一个或多个无标记图像。此外，因为当操作第一或第二经训练的成像系统100时荧光图像不是必需的，所以应当清楚的是，第二成像系统100仅需要生成无标记图像，并且实际上甚至可以不被配备成生成荧光图像。
对于本领域技术人员来说显而易见的是，硬件和/或软件的任何组合可以用于实现本文描述的训练和分析系统200。可以理解和明白，结合图1至图5描述的处理、子处理和处理步骤中的一个或多个可以由一个或多个电子或数字控制装置上的硬件、软件或硬件和软件的组合执行。软件可以驻留在适当的电子处理组件或系统(诸如，图1至图5中示意性示出的功能系统、控制器、装置、组件、模块或子模块中的一个或多个)中的软件存储器(未示出)中。软件存储器可以包括用于实现逻辑功能(即，可以以诸如数字电路系统或源代码的数字形式实现的“逻辑”，或者以诸如模拟源(诸如模拟电、声音或视频信号)的模拟形式实现的“逻辑”)的可执行指令的有序列表。指令可以在处理模块或控制器(例如，图2的图像获取模块202、机器学习系统206、训练模块208、分析模块210和测量模块214以及处理模块216)内执行，该处理模块或控制器包括例如一个或多个微处理器、通用处理器、处理器的组合、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。此外，示意图描述了具有不受功能的架构或物理布局限制的物理(硬件和/或软件)实现的功能的逻辑划分。本申请中描述的示例系统可以以各种配置来实现，并且作为单个硬件/软件单元中的或单独的硬件/软件单元中的硬件/软件组件来操作。
对于本领域技术人员来说显而易见的是，图像训练和分析系统200的一个或多个组件可以在云环境中例如使用通过局域网或广域网(例如，因特网或专用网络)连接的分布式计算和存储系统操作。例如，图像获取模块202、机器学习系统206、训练模块208、输出处理模块216和测量模块214中的一个或多个可以在远离用户计算机218、成像系统100的和/或彼此远离的一个或多个计算机上操作。在一个这样的配置中，例如，图像获取模块202可以通过局域网或广域网与控制器114通信以从成像系统100获取图像并且将以这种方式获取的图像存储在基于云的图像存储204中。本地操作或在云中操作的训练模块208可以访问这样的图像以训练机器学习系统206并且将参数存储在参数数据存储器212中，参数数据存储器212也可以是基于云的存储系统。(在本地服务器上或在云环境中操作的)测量模块214可以访问存储在参数数据存储器212中的参数以训练未经训练的机器学习系统206(在本地计算机上或在云环境中操作的)。类似地，可以进行机器学习系统206的操作以分析使用本地或远程成像系统100获取的图像。
可执行指令可以被实现为其中存储有指令的计算机程序产品，当由电子系统的处理模块执行指令时，指令引导电子系统执行指令。计算机程序产品可以选择性地体现在任何非暂时性计算机可读存储介质中，以供指令执行系统、设备或装置(诸如基于电子计算机的系统、包含处理器的系统或可以选择性地从指令执行系统、设备或装置获取指令并执行指令的其他系统)使用或与其结合使用。在本文档的上下文中，计算机可读存储介质是可以存储由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的程序的任何非暂时性装置。非暂时性计算机可读存储介质可以选择性地是例如电子、磁、光学、电磁、红外或半导体系统、设备或装置。非暂时性计算机可读介质的更具体示例的非穷举列表包括：具有一个或多个导线的电连接(电子)、便携式计算机磁盘(磁性)、随机存取，即易失性存储器(电子)；只读存储器(电子)；可擦除可编程只读存储器，例如闪存(电子)；光盘存储器，例如CD-ROM、CD-R、CD-RW(光学)；以及数字通用盘存储器，即DVD(光学)。
还将理解，如本文中使用的信号或数据的接收和发送意味着两个或更多个系统、装置、组件、模块或子模块能够经由在某种类型的信号路径上行进的信号来彼此通信。信号可以是通信、电力、数据或能量信号，其可以沿着第一和第二系统、装置、组件、模块或子模块之间的信号路径将信息、功率或能量从第一系统、装置、组件、模块或子模块传送到第二系统、装置、组件、模块或子模块。信号路径可以包括物理连接、电连接、磁连接、电磁连接、电化学连接、光学连接、有线连接或无线连接。信号路径还可以包括在第一和第二系统、装置、组件、模块或子模块之间的附加系统、装置、组件、模块或子模块。
本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度如同每篇参考文献被单独且具体地指明通过引用并入本文并且在本文中整体阐述。
在描述本发明的上下文中(尤其是在权利要求的上下文中)使用的术语“一个(a和an)”和“所述(the)”以及类似的参考被解释为包含单数和复数，除非在此另外指出或与上下文明显矛盾。除非本文另有说明，本文中对数值范围的叙述仅旨在用作单独提及落入该范围内的每个单独值的速记方法，并且每个单独值被并入说明书中，如同其在本文中被单独叙述一样。除非本文另有说明或与上下文明显矛盾，否则本文所述的所有方法可以以任何合适的顺序进行。除非另外要求，否则本文提供的任何和所有示例或示例性语言(例如，“诸如(such as)”)的使用仅旨在更好地说明本公开，而不是对本公开的范围施加限制。说明书中的语言不应被解释为指示任何未要求保护的对于本公开的实践是必要的元素。
鉴于前述描述，对本公开的许多修改对于本领域技术人员将是显而易见的。应当理解，所示实施例仅是示例性的，并且不应当被认为限制本公开的范围。

Claims (20)

1.一种使用成像系统分析生物样品的方法，包括以下步骤：
使非暂时性可编程装置进行以下步骤：
指示所述成像系统获得训练生物样品的无标记图像，并且作为响应，接收第一训练图像；
指示所述成像系统使所述训练生物样品发荧光并获得经历荧光的所述训练生物样品的图像，并且作为响应，接收第二训练图像；
分析所述第二训练图像以生成多个训练细胞特性，其中，所述多个训练细胞特性中的每一个与包括所述训练生物样品的多个训练细胞中的一个相关联；以及
使用所述第一训练图像和所述多个训练细胞特性训练机器学习系统以得到经训练的机器学习系统，使得当所述经训练的机器学习系统以所述第一训练图像作为输入进行操作时，所述经训练的机器学习系统生成对应于所述多个训练细胞特性的多个预测细胞特性。
2.根据权利要求1所述的方法，其中，所述多个预测细胞特性中的每一个对应于所述多个训练细胞特性中的一个，并且所述非暂时性可编程装置迭代地进行训练所述机器学习系统的步骤，直到所述多个预测细胞特性中的每一个与所述多个训练细胞特性中的对应的一个之间的差异在预定量内。
3.根据权利要求1所述的方法，还使得所述非可编程暂时性装置进行以下步骤：接收所述生物样品的图像并且利用所述生物样品的所述图像作为输入来操作所述经训练的机器学习系统，并且作为响应，接收多个细胞特性，其中，所述多个细胞特性中的每一个与所述生物样品的细胞相关联。
4.根据权利要求3所述的方法，其中，使所述非可编程暂时性装置进行接收所述多个细胞特性的步骤包括接收所述生物样品的所述图像的每个像素的细胞特性的步骤。
5.根据权利要求3所述的方法，其中，所述非可编程暂时性装置进行处理所述多个细胞特性以得到与所述生物样品的所述图像相关联的度量的另外步骤。
6.根据权利要求5所述的方法，其中，所述度量包括在所述生物样品的所述图像中表示的活细胞、死细胞、特定细胞器和特定类型细胞的数量中的一个的计数。
7.根据权利要求1所述的方法，其中，经训练的机器学习系统包括第一经训练的机器学习系统，并且所述非暂时性可编程装置包括第一非暂时性可编程装置，并且所述方法还包括以下步骤：使所述第一非可编程暂时性装置进行存储与所述第一经训练的机器学习系统相关联的参数的另外的步骤，以及使第二非暂时性可编程装置进行用所存储的参数来配置未训练的机器学习系统以得到第二经训练的机器学习系统的步骤。
8.根据权利要求1所述的方法，其中，所述非暂时性可编程装置包括第一非暂时性可编程装置，并且所述方法包括使第二非暂时性可编程装置进行以下步骤的另外步骤：接收所述生物样品的图像并且以所述生物样品的所述图像作为输入来操作所述经训练的机器学习系统，并且作为响应，接收多个细胞特性，其中，所述多个细胞特性中的每一个与所述生物样品的细胞相关联。
9.根据权利要求1所述的方法，其中，使所述非暂时性可编程装置训练所述机器学习系统包括进行训练所述机器学习系统以针对特定类型的特性分析特定类型的生物样品的步骤。
10.根据权利要求1所述的方法，其中，所述无标记图像是表示所述生物样品的三维表示的一系列无标记图像中的一个，并且所述方法还包括使所述非暂时性可编程装置训练所述机器学习系统，包括同时向所述机器学习系统提供所有所述系列无标记图像作为输入。
11.一种用于使用成像系统分析生物样品的系统，包括：
在至少一个非暂时性可编程装置上操作的机器学习系统；
在所述至少一个非暂时性可编程装置上操作的图像获取模块，所述图像获取模块指示所述成像系统生成训练生物样品的无标记图像并且作为响应，接收第一训练图像，并且指示所述成像系统使所述训练生物样品发荧光并且获得经历荧光的所述训练生物样品的图像，并且作为响应，接收第二训练图像；
在所述至少一个非暂时性可编程装置上操作的分析模块，所述分析模块分析所述第二训练图像以生成多个训练细胞特性，其中，所述多个训练细胞特性中的每一个与包括所述训练生物样品的多个训练细胞中的一个相关联；以及
在所述至少一个非暂时性可编程装置上操作的训练模块，所述训练模块使用所述第一训练图像和所述多个训练细胞特性训练所述机器学习系统，以得到经训练的机器学习系统，使得当所述经训练的机器学习系统以所述第一训练图像作为输入进行操作时，所述经训练的机器学习系统生成与所述多个训练细胞特性相对应的多个预测细胞特性。
12.根据权利要求11所述的系统，其中，所述多个预测细胞特性中的每一个对应于所述多个训练细胞特性中的一个，并且训练模块迭代地进行训练所述机器学习系统的步骤，直到所述多个预测细胞特性中的每一个与所述多个训练细胞特性中的对应的一个之间的差异在预定量内。
13.根据权利要求11所述的系统，其中，所述图像获取模块接收所述生物样品的图像，并且在所述至少一个非暂时性可编程装置上操作的测量模块利用所述生物样品的所述图像作为输入来操作所述经训练的机器学习系统，并且作为响应，接收多个细胞特性，其中，所述多个细胞特性中的每一个与所述生物样品的细胞相关联。
14.根据权利要求13所述的系统，其中，所述测量模块在非暂时性可编程装置上操作，所述非暂时性可编程装置远离所述机器学习系统、所述图像获取模块、所述分析模块和所述训练模块在其上操作的至少一个所述非暂时性可编程装置。
15.根据权利要求13所述的系统，其中，所述多个细胞特性包括与所述生物样品的所述图像的每个像素相关联的细胞特性。
16.根据权利要求13所述的系统，其中，所述测量模块处理所述多个细胞特性以得到与所述生物样品的所述图像相关联的度量。
17.根据权利要求11所述的系统，其中，所述经训练的机器学习系统包括第一经训练的机器学习系统，并且所述系统还包括在第二非暂时性可编程装置上操作的另外的图像获取模块和测量模块，其中，所述训练模块存储与所述第一经训练的机器学习系统相关联的参数，所述第二非暂时性可编程装置用所存储的参数配置未训练的机器学习系统以得到第二经训练的机器学习系统，其中，所述另外的图像获取模块接收生物样品的图像，并且所述测量模块用所述图像作为输入来操作所述第二经训练的机器学习系统，并且作为响应，接收与所述生物样品相关联的特性。
18.根据权利要求11所述的系统，其中，所述机器学习系统包括卷积神经网络。
19.根据权利要求11所述的系统，其中，所述训练模块训练所述机器学习系统，以针对特定类型的特性来分析特定类型的生物样品。
20.根据权利要求11所述的系统，其中，所述无标记图像是表示所述生物样品的三维表示的一系列无标记图像中的一个，并且所述训练模块通过同时向所述机器学习系统提供所有所述一系列无标记图像作为输入来训练所述机器学习系统。
CN201980059163.8A 2018-09-12 2019-09-12 用于生物样品的无标记识别和分类的系统和方法 Withdrawn CN112689756A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/128,798 2018-09-12
US16/128,798 US10929716B2 (en) 2018-09-12 2018-09-12 System and method for label-free identification and classification of biological samples
PCT/US2019/050787 WO2020056118A1 (en) 2018-09-12 2019-09-12 System and method for label-free identification and classification of biological samples

Publications (1)

Publication Number Publication Date
CN112689756A true CN112689756A (zh) 2021-04-20

Family

ID=69719640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059163.8A Withdrawn CN112689756A (zh) 2018-09-12 2019-09-12 用于生物样品的无标记识别和分类的系统和方法

Country Status (5)

Country Link
US (1) US10929716B2 (zh)
EP (1) EP3850361A4 (zh)
JP (1) JP2022500753A (zh)
CN (1) CN112689756A (zh)
WO (1) WO2020056118A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
WO2020112434A2 (en) * 2018-11-30 2020-06-04 Corning Incorporated Compact optical imaging system for cell culture monitoring
US11803963B2 (en) 2019-02-01 2023-10-31 Sartorius Bioanalytical Instruments, Inc. Computational model for analyzing images of a biological specimen
AU2020273186A1 (en) 2019-04-11 2021-12-02 Agilent Technologies, Inc. User interface configured to facilitate user annotation for instance segmentation within biological sample
BR112023000629A2 (pt) * 2020-08-18 2023-01-31 Agilent Technologies Inc Tingimento de tecido e criação de imagens sequenciais de amostras biológicas para análise de imagem por aprendizado profundo e tingimento virtual
JP2023549020A (ja) * 2020-11-17 2023-11-22 ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッド 細胞を分類する方法
CN113076437B (zh) * 2021-04-13 2023-02-14 华南理工大学 一种基于标签重分配的小样本图像分类方法及系统
GB2607604A (en) * 2021-06-08 2022-12-14 Solentim Ltd Brightfield and fluorescence image comparison
WO2023095017A1 (en) * 2021-11-23 2023-06-01 Agilent Technologies, Inc. Digital analysis of preanalytical factors in tissues used for histological staining

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150087240A1 (en) * 2013-09-26 2015-03-26 Cellogy, Inc. Method and system for characterizing cell populations
CN104584069A (zh) * 2012-09-06 2015-04-29 索尼公司 信息处理装置、信息处理方法以及程序
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
CN106462746A (zh) * 2014-06-16 2017-02-22 西门子医疗保健诊断公司 分析数字全息显微术数据以用于血液学应用
US20170052106A1 (en) * 2014-04-28 2017-02-23 The Broad Institute, Inc. Method for label-free image cytometry
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
WO2017053592A1 (en) * 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
US20170160536A1 (en) * 2011-10-14 2017-06-08 Solentim Limited Method of and apparatus for analysis of a sample of biological tissue cells
WO2018044683A1 (en) * 2016-08-31 2018-03-08 Molecular Devices, Llc System and method for template-based image analysis
CN108140240A (zh) * 2015-08-12 2018-06-08 分子装置有限公司 用于自动分析细胞的表型反应的系统和方法
CN108350410A (zh) * 2015-11-10 2018-07-31 株式会社斯库林集团 分类器构成方法、以及用其进行的判定细胞生死的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030018457A1 (en) * 2001-03-13 2003-01-23 Lett Gregory Scott Biological modeling utilizing image data
ATE470849T1 (de) * 2005-08-11 2010-06-15 Sru Biosystems Inc Beugungsbasierter sensor, der markierungsfreie bindungserkennung und fluoreszenz-verstärkung kombiniert
US10386288B2 (en) * 2015-12-22 2019-08-20 Canon U.S. Life Sciences, Inc. System and method of label-free cytometry based on Brillouin light scattering
KR101927852B1 (ko) * 2016-06-10 2018-12-13 주식회사 토모큐브 3차원 굴절률 토모그램과 딥러닝을 이용한 비염색 비표지 세포 종류 구분 방법 및 장치
CA3213179A1 (en) * 2017-08-09 2019-02-14 Allen Institute Systems, devices, and methods for image processing to generate an image having predictive tagging
EP3598194A1 (de) * 2018-07-20 2020-01-22 Olympus Soft Imaging Solutions GmbH Verfahren zur mikroskopischen auswertung
EP3608828A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung eines auswertungsmittels für wenigstens ein optisches anwendungssystem einer mikroskopischen anwendungstechnologie

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170160536A1 (en) * 2011-10-14 2017-06-08 Solentim Limited Method of and apparatus for analysis of a sample of biological tissue cells
CN104584069A (zh) * 2012-09-06 2015-04-29 索尼公司 信息处理装置、信息处理方法以及程序
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
US20150087240A1 (en) * 2013-09-26 2015-03-26 Cellogy, Inc. Method and system for characterizing cell populations
US20170052106A1 (en) * 2014-04-28 2017-02-23 The Broad Institute, Inc. Method for label-free image cytometry
CN106462746A (zh) * 2014-06-16 2017-02-22 西门子医疗保健诊断公司 分析数字全息显微术数据以用于血液学应用
CN108140240A (zh) * 2015-08-12 2018-06-08 分子装置有限公司 用于自动分析细胞的表型反应的系统和方法
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
WO2017053592A1 (en) * 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
CN108350410A (zh) * 2015-11-10 2018-07-31 株式会社斯库林集团 分类器构成方法、以及用其进行的判定细胞生死的方法
WO2018044683A1 (en) * 2016-08-31 2018-03-08 Molecular Devices, Llc System and method for template-based image analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAJITH KECHERIL SADANANDAN 等: "Automated Training of Deep Convolutional Neural Networks for Cell SegmenSegmentationtation", SCIENTIFC REPORTS, pages 1 - 7 *

Also Published As

Publication number Publication date
JP2022500753A (ja) 2022-01-04
EP3850361A4 (en) 2022-06-29
US20200082222A1 (en) 2020-03-12
US10929716B2 (en) 2021-02-23
EP3850361A1 (en) 2021-07-21
WO2020056118A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
US10929716B2 (en) System and method for label-free identification and classification of biological samples
US10169878B2 (en) System and method for segmentation of three-dimensional microscope images
US11645752B2 (en) Image analysis system and method of using the image analysis system
US11334743B2 (en) System and method for image analysis of multi-dimensional data
JP6657242B2 (ja) 顕微鏡システムにおいて並行撮像を用いることにより合焦画像を生成するための装置および方法
US10133053B2 (en) Apparatus and method for generating in-focus images using parallel imaging in a microscopy system
US20230345115A1 (en) Method and system of developing an imaging configuration to optimize performance of a microscopy system
US20220351349A1 (en) A High-Content Imaging System to Generate Enhanced Images and Method of Operating the Same
Röder et al. A system architecture for online data interpretation and reduction in fluorescence microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210420

WW01 Invention patent application withdrawn after publication