CN116348921A - 用于将细胞分类的方法 - Google Patents
用于将细胞分类的方法 Download PDFInfo
- Publication number
- CN116348921A CN116348921A CN202180071615.1A CN202180071615A CN116348921A CN 116348921 A CN116348921 A CN 116348921A CN 202180071615 A CN202180071615 A CN 202180071615A CN 116348921 A CN116348921 A CN 116348921A
- Authority
- CN
- China
- Prior art keywords
- cells
- cell
- image
- target sample
- bright field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本公开提供了用于自动或半自动地将生物样品的显微图像中的细胞分类的示例性实施例。这些实施例包括针对分类器模型的开发选择训练集的方法。所公开的选择实施例可允许使用已经经历了与目标样品相同或相似的培养条件的训练示例来重新训练分类器模型。这些选择实施例可减少指定所述训练示例所需的人力。所公开的实施例还包括基于使用相衬成像和离焦明场成像来为所述细胞确定的度量而对单个细胞进行分类。这些度量可包括大小、形状、纹理和基于强度的度量。这些度量是基于底层影像的分割来确定的。在一些实施例中,所述分割基于生物样品的相衬成像和/或离焦明场成像。
Description
技术领域
本申请是要求2020年11月17日提交的美国申请第17/099,983号的优先权的国际申请,该申请以引用方式并入本文。通过引用并入的还有2019年2月1日提交的美国申请第16/265,910号和2020年11月17日提交的美国申请第16/950,368号。
背景技术
目前已知的分割生物标本中细胞的方法需要荧光标记的蛋白,例如,针对标记物控制的分割算法设定核定位蛋白(如组蛋白)的阈值。存在替代的无标记技术,诸如基于叠层成像术的方法、横向剪切干涉测量法和数字全息术,但是这些技术需要复杂的图像采集设置和复杂的图像形成算法,且处理时间长。另一种无标记技术包括深度学习算法(例如,卷积神经网络),此算法需要对大型图像数据集进行大量训练,且处理时间缓慢。其他方法在离焦条件下使用明场图像,这需要专门的硬件,如针孔光圈,并且不允许逐细胞分割。
显微图像中细胞的分类(例如,其在图像中的位置和范围已通过分割确定的细胞的分类)可促进各种应用,包括通过根据样品中存在的细胞数量的增加或减少、和/或对应于各种条件的细胞的比例(例如,分化的与未分化的相对比)来量化各种实验条件的影响,从而评估这些条件的影响。细胞分类可手动进行,然而,此种手动分类在时间和精力上会很昂贵,并且可能导致细胞分类不准确。自动化方法也是可用的,但是,这些方法可能需要荧光标记的蛋白,这可中断细胞的自然生物学,或者可能需要提供大量的训练示例集来训练自动化算法。
发明内容
在一个方面,公开了用于细胞的分类的示例性方法。该方法包括:(i)获得多个生物样品的图像组,其中图像组包括多个生物样品中的每个样品的至少一个图像;(ii)获得多个生物样品中第一细胞组的指示,并获得多个生物样品中第二细胞组的指示,其中第一细胞组与第一条件相关,以及第二细胞组与第二条件相关;(iii)基于图像组、第一细胞组的指示和第二细胞组的指示,确定第一多个度量组,其中第一多个度量组包括:第一细胞组的每个细胞的度量组和第二细胞组的每个细胞的度量组;(iv)基于第一多个度量组,使用监督学习算法来生成模型,以区分第一细胞组中的细胞和第二细胞组中的细胞,从而生成经训练的模型;(v)基于图像组来确定第二多个度量组,其中第二多个度量组包括:目标样品中存在的每个细胞的度量组;以及(vi)将目标样品中的细胞分类,其中将细胞分类包括将训练的模型应用于细胞的度量组。
在另一个方面,提供了用于细胞的分类的示例性方法。该方法包括:(i)获得目标样品的三个或更多个图像,其中目标样品包括以用于目标样品的焦平面为中心的一个或多个细胞,其中三个或更多个图像包括:相衬图像、第一明场图像和第二明场图像,其中第一明场图像表示聚焦在焦平面上方、第一离焦量处的目标样品的图像,并且其中第二明场图像表示聚焦在焦平面下方、第二离焦量处的目标样品的图像;(ii)基于第一明场图像和第二明场图像来确定目标样品的细胞图像;(iii)基于细胞图像和相衬图像来确定目标样品的目标分割图;(iv)基于目标样品的两个或更多个图像和目标分割图,确定目标样品中存在的每个细胞的度量组;以及(v)将目标样品中的细胞分类,其中将细胞分类包括将细胞的度量组应用于经训练的分类器。
在又一个方面,提供了用于细胞的分类的示例性方法。该方法包括:(i)获得目标样品的两个或更多个图像,其中目标样品包括以用于目标样品的焦平面为中心的一个或多个细胞,其中两个或更多个图像包括:相衬图像和一个或多个明场图像,其中一个或多个明场图像包括代表未聚焦在焦平面处的目标样品图像的至少一个明场图像;(ii)基于两个或更多个图像,确定目标样品中存在的每个细胞的度量组;以及(iii)通过将经训练的模型应用于细胞的度量组来将目标样品中的细胞分类。
在另一个方面,提供了一种非暂时性计算机可读介质,其配置成至少存储计算机可读指令,当所述计算机可读指令由计算设备的一个或多个处理器执行时,所述计算机可读指令使计算设备执行控制器操作以执行任何上述方法。
在又一个方面,提供了一种用于分析生物标本的系统,其包括:(i)光学显微镜;(ii)控制器,其中控制器包括一个或多个处理器;以及(iii)非暂时性计算机可读介质,其配置成至少存储计算机可读指令,当所述计算机可读指令由控制器执行时,所述计算机可读指令使得控制器执行控制器操作以执行任何上述方法。
已经讨论的特征、功能和优点可在各种示例中独立实现或者可以在其他示例中组合,其进一步的细节可参考以下描述和附图看到。
附图说明
专利或申请文件包含至少一张彩色附图。本专利或专利申请出版物的彩色附图副本将由专利局在提出请求并支付必要费用后提供。
图1是根据一个示例性实施的系统的功能框图;
图2描绘了根据示例性实施的计算设备和计算机网络的框图;
图3示出了根据示例性实施的方法的流程图;
图4示出了根据示例性实施的生物标本的图像;
图5示出了根据示例性实施的另一生物标本的图像;
图6A示出了根据示例性实施生成的,在喜树碱(CPT,细胞毒性)治疗之后的HT1080纤维肉瘤凋亡的时间过程后24小时的细胞图像响应的逐细胞分割掩模的实验结果;
图6B示出了根据图6A的实施,基于红色(Nuclight Red,细胞健康指标,“NucRed”)和绿色荧光(Caspase 3/7,凋亡指标)分类的细胞亚群;
图6C示出了根据图6A的实施,CPT治疗后红色群体减少(表明活细胞丢失),红色和绿色荧光增加(表明早期凋亡),以及24小时后绿色荧光增加(表明晚期凋亡);
图6D示出了根据图6A的实施,早期凋亡群体的浓度响应时间过程(显示红色和绿色荧光的总细胞的百分比);
图6E示出了根据示例性实施生成的,在环己酰胺(CHX,抑制细胞生长)治疗之后的HT1080纤维肉瘤凋亡的时间过程后24小时的细胞图像响应的逐细胞分割掩模的实验结果;
图6F示出了根据图6E的实施,基于红色(Nuclight Red,细胞健康指标,“NucRed”)和绿色荧光(Caspase 3/7,凋亡指标)分类的细胞亚群;
图6G示出了根据图6E的实施,CHX治疗后细胞凋亡缺乏,但细胞计数减少;
图6H示出了根据图6E的实施,早期凋亡群体的浓度响应时间过程(显示红色和绿色荧光的总细胞的百分比);
图7A示出了使用根据示例性实施生成的逐细胞分割分析,在用于贴壁细胞的无标记细胞计数的相衬图像上施加的逐细胞分割掩模。使用无标记的逐细胞分析和红细胞核计数分析两者来分析用NucLight Red试剂标记的不同密度的A549细胞,以验证随时间推移的无标记计数;
图7B示出了在背景中没有相衬图像的情况下根据图7A的逐细胞分割掩模;
图7C示出了根据图7A的实施,不同密度的相位计数和NucRed计数数据的时间过程;
图7D示出了根据图7A的实施,48小时内计数数据的相关性,并展示了斜率为1时R2值为1;
图8示出了根据示例性实施的方法的流程图;
图9示出了根据示例性实施的方法的流程图;
图10示出了根据示例性实施的方法的流程图;
图11示出了示例性显微图像和相关的示例性分割图;
图12A示出了示例性注释显微图像;
图12B示出了示例性注释显微图像;
图13示出了多孔样品板的孔的示例性示意图;
图14A和图14B说明了本文所述方法的实验预测准确性;
图15A和图15B说明了本文所述方法的实验预测准确性;以及
图16A、图16B和图16C说明了与基于标记的分类相比、本文所述方法的实验预测准确性。
附图是为了说明示例的目的,但是应当理解,本发明不限于附图中所示的布置和手段。
具体实施方式
I.概述
生物样品的显微成像可促进对样品内容物的多种分析以及它们对各种应用实验条件的响应的多种分析。此类分析可包括在对细胞进行分类后对细胞进行计数,以确定所施加条件的影响。例如,样品可以包括分化细胞组和未分化细胞组,并且样品的分析可以包括确定分化细胞的比例,例如,为了确定所施加的条件在导致未分化细胞变得分化方面的有效性。为了进行此种分析,需要定位样品中的细胞内的每个细胞,然后对细胞中的每个细胞进行分类。此种分类过程可以手动执行。然而,手动分类会非常昂贵、耗时,并且会导致不准确的分类。
本文所述的实施例证明了基于相衬图像、明场图像、相衬和/或明场图像的合成或细胞的其他显微图像来对细胞进行自动分类的多种方法。这些实施例中的一些包括使用一个或多个生物样品中的特定细胞组来训练模型,以对细胞进行分类。然后,可将此种经过训练的模型应用于附加细胞,以对这些附加细胞进行分类。为了对特定细胞进行分类,基于代表细胞的一个或多个图像来确定细胞的度量组。此种度量可包括与细胞的大小和/或形状相关的度量。此种度量可以附加地或替代地与细胞的纹理或强度相关,如在一个或多个相衬图像、明场图像、荧光图像或合成图像中所表示的。例如,一个或多个度量可以与荧光图像或一些其他种类的图像(例如,相衬、明场)中的细胞纹理(例如,细胞区域上亮度或强度的可变性和/或可变性结构)相关。然后,确定的细胞度量组可应用于经训练的模型,以便对细胞进行分类。
用于训练模型的细胞组能够以多种方式识别。在一些示例中,细胞可以由用户手动指示。这可以包括用户手动指示多孔样品板的所有孔。附加地或替代地,用户可以手动指示一个或多个生物样品中的单独细胞。在另一个示例中,用户可以指定时间点来指示细胞组,例如,设置第一时间点,在该第一时间点之前样品中的所有细胞属于第一组(例如,未分化组),并且设置第二时间点,在该第二时间点之后样本中的所有细胞属于第二组(例如,分化组)。在一些示例中,可以自动或半自动地指示细胞。这可以包括基于细胞的荧光图像来识别细胞组(例如,可以将具有阈值以上荧光信号的细胞分配到第一组,而可以将具有阈值以下荧光信号的细胞分配到第二组)。在又一个示例中,无监督或半监督学习算法可以将细胞聚类或以其他方式聚集成组,这些组然后可以用于训练分类器。
II.示例性架构
图1是示出操作环境100的框图,操作环境包括或涉及例如光学显微镜105和具有一个或多个细胞的生物标本110。下面描述的图3至图5、图8、图9和图10中的方法300、800、900和1000示出了可在该操作环境100中实现的方法的实施例。
图2是示出了根据示例性实施的计算设备200的示例的框图,该计算设备配置成直接或间接地与操作环境100交互。计算设备200可以用于执行图3至图5、图8、图9和图10中所示和下文描述的方法的功能。特别地,计算设备200可配置成执行一个或多个功能,包括例如部分基于由光学显微镜105获得的图像的图像生成功能。计算设备200具有处理器202,并且还具有通信接口204、数据存储器206、输出接口208和显示器210,它们各自联接到通信总线212。计算设备200还可以包括硬件以实现计算设备200内以及计算设备200与其他设备(例如未示出)之间的通信。例如,硬件可以包括发射器、接收器和天线。
通信接口204可以是无线接口和/或一个或多个有线接口,其允许到一个或多个网络214或一个或多个远程计算设备216(例如,平板电脑216a、个人计算机216b、膝上型计算机216c和移动计算设备216d)的短程通信和远程通信。此类无线接口可以提供在一种或多种无线通信协议下的通信,无线通信协议诸如蓝牙、WiFi(例如,电气和电子工程师协会(IEEE)802.11协议)、长期演进(LTE)、蜂窝通信、近场通信(NFC)和/或其他无线通信协议。此类有线接口可以包括以太网接口、通用串行总线(USB)接口或类似接口,以经由到有线网络的电线、双绞线、同轴电缆、光链路、光纤链路或其他物理连接进行通信。因此,通信接口204可以配置成从一个或多个设备接收输入数据,并且还可以配置成向其他设备发送输出数据。
通信接口204还可以包括用户输入设备,诸如键盘、小键盘、触摸屏、触摸板、计算机鼠标、轨迹球和/或其他类似设备。
数据存储器206可以包括或采用可由处理器202读取或访问的一种或多种计算机可读存储介质的形式。计算机可读存储介质可包括易失性和/或非易失性存储部件,诸如光、磁、有机或其他存储器或盘存储装置,其可整体或部分地与处理器202集成。数据存储器206被认为是非暂时性计算机可读介质。在一些示例中,数据存储器206可使用单个物理设备(例如,一个光学、磁、有机或其他存储器或盘存储单元)来实现,而在其他示例中,数据存储器206可使用两个或更多个物理设备来实现。
数据存储器206因此是非暂时性计算机可读存储介质,并且可执行指令218存储在其上。指令218包括计算机可执行代码。当指令218由处理器202执行时,使处理器202执行功能。此类功能包括但不限于,从光学显微镜100接收明场图像,并生成相衬图像、汇合掩模、细胞图像、种子掩模、逐细胞分割掩模和荧光图像。
处理器202可以是通用处理器或专用处理器(例如,数字信号处理器、专用集成电路等)。处理器202可以从通信接口204接收输入并处理输入以生成存储在数据存储器206中并输出到显示器210的输出。处理器202可配置成执行存储在数据存储器206中并且可执行以提供本文描述的计算设备200的功能的可执行指令218(例如,计算机可读程序指令)。
输出接口208将信息输出到显示器210,或者也输出到其他部件。因此,输出接口208可以类似于通信接口204,并且也可是无线接口(例如,发射器)或有线接口。例如,输出接口208可以向一个或多个可控设备发送命令。
图2中所示的计算设备200还可以代表操作环境100中例如与光学显微镜105通信的本地计算设备200a。该本地计算设备200a可以执行以下描述的方法300、800、900、1000的一个或多个步骤,可以从用户接收输入和/或可以将图像数据和用户输入发送到计算设备200以执行方法300、800、900和/或1000的所有或一些步骤。此外,在一个可选的示例性实施例中,平台可以用于执行方法300、800、900、1000中的一种或多种方法,并且包括计算设备200和光学显微镜105的组合功能。
图3示出了根据示例性实施,实现生物标本110的一个或多个细胞的逐细胞分割的示例性方法300的流程图。图8、图9和图10分别示出了根据示例性实施方案、实现生物标本110的一个或多个细胞的逐细胞分类的示例性方法800、900、1000的流程图。例如,图3、图8、图9和图10所示的方法300、800、900、1000呈现了可以与图2的计算设备200一起使用的方法的示例。此外,设备或系统可以用来或配置成执行图3、图8、图9和/或图10所示的逻辑功能。在一些情况下,设备和/或系统的部件可以配置成执行功能,使得部件配置和构造有硬件和/或软件以实现此种性能。设备和/或系统的部件可以布置成诸如当以特定方式操作时适于、能够或适合于执行功能。方法300、800、900、1000可以包括如这些附图中的框(例如,框305至330)中的一个或多个框所示的一个或多个操作、功能或动作。尽管在每个附图中以顺序的次序示出每个方法的这些框,但是这些框中的一些还可以并行执行,和/或以不同于本文描述的次序执行。此外,多个框可以组合成更少的框,拆分成附加的框,和/或基于目标实施方案进行删除。
应当理解,对于在本文公开的该过程和方法以及其他过程和方法,流程图示出了本示例的一种可能实施方案的功能和操作。在这点上,每个框可以代表模块、段或程序代码的一部分,其包括可由处理器执行的一个或多个指令以用于实现过程中的特定逻辑功能或步骤。程序代码可以存储在任何类型的计算机可读介质或数据存储器上,诸如包括磁盘或硬盘驱动器的存储设备。此外,程序代码可以以机器可读格式在计算机可读存储介质上或在其他非暂时性介质或制品上编码。计算机可读介质可以包括非暂时性计算机可读介质或存储器,例如计算机可读介质,其存储用于短时间的数据,诸如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括非暂时性介质,诸如二级或永久长期存储装置,例如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。可以认为计算机可读介质是例如有形计算机可读存储介质。
此外,图3、图8、图9、图10中的每个框以及本文公开的其他过程和方法内的每个框可以表示被连线以执行过程中的特定逻辑功能的电路。将替代性实施方式纳入本公开的示例的范围内,其中取决于所涉及的功能,可以不按照所示或讨论的顺序执行功能,所述顺序包括基本上同时或以相反的顺序,如本领域技术人员将合理地理解的那样。
III.示例性方法
如本文所用,“明场图像”是指基于从下方照射的生物样品(使得光波穿过生物样品的透明部分)而经由显微镜获得的图像。于是,在明场图像中捕捉到变化的亮度水平。
如本文所用,“相衬图像”是指基于从下方照射的生物样品而经由显微镜直接或间接获得的图像,其捕捉由于生物样品不同部分的折射率差异引起的穿过生物样品的光的相移。例如,当光波穿过生物标本时,光波振幅(即亮度)和相位以依赖于生物标本特性的方式改变。结果,相衬图像具有与像素相关联的亮度强度值,其变化使得具有高折射率的较密集区域在所得到的图像中渲染得较暗,而具有较低折射率的较稀疏区域在所得到的图像中渲染得较亮。相衬图像可经由多种技术生成,包括从明场图像的Z堆栈(Z-stack)生成。
如本文所用,明场图像的“Z堆栈”或“Z扫描”是指一种数字图像处理方法,其将在在不同焦距处拍摄的多张图像组合,以提供与任何单个源明场图像相比具有更大景深(即,焦平面的厚度)的合成图像。
如本文所用,“焦平面”是指垂直于光学显微镜的透镜轴的平面,在该平面上,能够在最佳焦点处观察生物标本。
如本文所用,“离焦量”是指在焦平面上方或下方使得能够在失焦情况下观察到生物标本的距离。
如本文所用,“汇合掩模”是指二进制图像,其中像素被识别为属于生物标本中的一个或多个细胞,使得对应于一个或多个细胞的像素被赋予值1,并且对应于背景的剩余像素被赋予值0,反之亦然。
如本文所用,“细胞图像”是指基于在不同平面获得的至少两个明场图像生成的图像,以增强细胞相对于背景的对比度。
如本文所用,“种子掩模”是指具有基于设定的像素强度阈值生成的二进制像素化的图像。
如本文所用,“逐细胞分割掩模”是指具有二进制像素化的图像(即,处理器为每个像素分配值0或1),使得生物标本110的细胞各自显示为不同的感兴趣区域。逐细胞分割掩模可以有利地允许对其中显示的细胞进行无标记计数,允许确定单个贴壁细胞的整个面积,允许基于细胞纹理度量和细胞形状描述符进行分析,和/或允许检测单个细胞的边界,包括针对倾向于形成片状的贴壁细胞,其中每个细胞可以接触生物标本110中的许多其它相邻细胞。
如本文所用,“区域增长迭代”是指迭代图像分割方法中的单个步骤,通过该步骤,通过获取一个或多个初始识别的单个或多组像素(即“种子”),并将相邻像素添加至该组像素来迭代扩展该种子,从而定义感兴趣区域(“ROI”)。处理器利用相似性度量来确定将哪些像素添加到增长区域,并且为处理器定义停止标准来确定区域增长何时完成。
如本文所使用的,“经训练的模型”是指用于预测和/或分类的模型(例如,人工神经网络、贝叶斯预测器、决策树),其参数(例如,权重、滤波器组系数)、结构(例如,隐藏层和/或单元的数量、此类单元的互连模式)、或配置的其他属性已经基于训练数据组进行了训练(例如,通过强化学习、通过梯度下降、通过分析确定模型参数的最大似然值),以生成预测细胞的类别归属(例如,活细胞/死细胞、分化细胞/未分化细胞)的输出。
现在参考图3至图5,使用图1至图2的计算设备示出方法300。方法300包括,在框305,处理器202生成生物标本110的至少一个相衬图像400,该生物标本包括以生物标本110的焦平面为中心的一个或多个细胞。然后,在框310,处理器202基于至少一个相衬图像400生成二进制图像形式的汇合掩模410。接下来,在框315,处理器202接收焦平面上方、离焦量处的生物标本110中的一个或多个细胞的第一明场图像415,以及接收焦平面下方、离焦量处的生物标本110中的一个或多个细胞的第二明场图像420。然后,在框320,处理器202基于第一明场图像415和第二明场图像420生成生物标本中的一个或多个细胞的细胞图像425。在框325,处理器202基于细胞图像425和至少一个相衬图像400生成种子掩模430。并且在框330,处理器202基于种子掩模430和汇合掩模410生成生物标本中的一个或多个细胞的图像,所述图像示出逐细胞分割掩模435。
如图3所示,在框305,处理器202生成生物标本110的至少一个相衬图像400(包括生物标本110的以焦平面为中心的一个或多个细胞)包括:处理器202接收明场图像的Z扫描,然后基于明场图像的Z扫描生成至少一个相衬图像400。在各种实施例中,生物标本110可以分散在代表实验组的孔板中的多个孔内。
在一个可选实施例中,方法100包括处理器202接收至少一个荧光图像,然后在逐细胞分割掩模435内计算生物标本110中一个或多个细胞的荧光强度。在本实施例中,荧光强度对应于感兴趣蛋白质的水平,例如标记细胞表面标记物(如CD20)的抗体或诱导对应于细胞死亡的荧光的膜联蛋白-V试剂。此外,确定单个细胞边界内的荧光强度可以增加亚群识别,并允许计算亚群特异性度量(例如,所有死亡细胞的平均面积和偏心率,如膜联蛋白-V的存在所定义的)。
在另一个实施例中,在框310,处理器202基于至少一个相衬图像400生成二进制图像形式的汇合掩模410包括:处理器202应用一个或多个局部纹理滤波器或亮度滤波器,以使得能够识别属于生物标本110中的一个或多个细胞的像素。示例滤波器可包括但不限于局部范围滤波器、局部熵滤波器、局部标准差滤波器、局部亮度滤波器和Gabor小波滤波器。图4和图5示出了示例汇合掩模410。
在又一个可选实施例中,光学显微镜105确定生物标本110的焦平面。此外,在各种实施例中,离焦量的范围可以是从20μm到60μm。最佳离焦量是根据所用物镜的光学特性确定的,包括物镜的放大率和工作距离。
在图5所示的另一个实施例中,在框320,处理器202基于第一明场图像415和第二明场图像420生成细胞图像425包括:处理器202基于以焦平面为中心的第三明场图像405、利用多个像素级数学运算或特征检测中的至少一者来增强第一明场图像415和第二明场图像420。像素级数学运算的一个示例包括加法、减法、乘法、除法或这些运算的任意组合。然后,处理器202计算变换参数,以将第一明场图像415和第二明场图像420与至少一个相衬图像400对准。接下来,处理器202将对准的第二明场图像420的每个像素的亮度水平与对准的第一明场图像415中相应像素的亮度水平相结合,从而形成细胞图像425。每个像素的亮度水平的组合可通过上述任何数学运算来实现。生成细胞图像425的技术效果是去除明场伪影(例如,阴影),并增强图像对比度以增加种子掩模430的细胞检测。
在又一个可选实施例中,在框320,处理器202基于第一明场图像415和第二明场图像420生成生物标本110中的一个或多个细胞的细胞图像425包括:处理器202接收一个或多个用户定义的参数,所述参数确定一个或多个阈值水平和一个或多个滤波器尺寸。然后,处理器202基于一个或多个用户定义的参数将一个或多个平滑滤波器应用于细胞图像425。平滑滤波器的技术效果是进一步增加种子掩模430中细胞检测的准确性,并增加每个细胞将被分配一个种子的可能性。选择平滑滤波器参数以适应不同的贴壁细胞形态,例如,扁平与圆形、突起细胞、成簇细胞等。
在另一个可选实施例中,在框325,处理器202基于细胞图像425和至少一个相衬图像400生成种子掩模430包括:处理器202修改细胞图像425,使得处于或高于阈值像素强度的每个像素被识别为细胞种子像素,从而产生具有二进制像素化的种子掩模430。种子掩模的二进制像素化的技术效果是允许与汇合掩模的相应二进制像素化进行比较。种子掩模的二进制像素化也被用作下面讨论的区域增长迭代的起点。例如,在又一个可选实施例中,种子掩模430可以具有多个种子,每个种子对应于生物标本110中的单个细胞。在本实施例中,方法300还包括,在处理器202生成示出逐细胞分割掩模435的生物标本中的一个或多个细胞的图像之前,处理器202比较种子掩模430和汇合掩模410,并从种子掩模430中消除未布置在汇合掩模410的区域中的一个或多个区域,并从汇合掩模410中消除不包含种子掩模430的多个种子中的一个种子的一个或多个区域。这些被消除的区域的技术效果是排除产生种子的小的明亮物体(例如,细胞碎片),并且增加对下面描述的区域增长迭代中使用的种子的识别。
在另一个可选实施例中,在框330,处理器202基于种子掩模430和汇合掩模410生成示出了逐细胞分割掩模435的生物标本110中的一个或多个细胞的图像包括:处理器202对活性种子集中的每一个执行区域增长迭代。然后,处理器202对活性种子集中的每个种子重复区域增长迭代,直到给定种子的增长区域到达汇合掩模410的一个或多个边界或者与另一个种子的增长区域重叠。处理器202基于细胞图像中相应像素值的属性为每次迭代选择活性种子集。此外,使用至少一个相衬图像400以及明场图像415、420、405的技术效果是种子对应于细胞图像425中的亮点以及相衬图像400中的高纹理区域(即,下面将更详细地描述汇合掩模410与种子掩模430的重叠)。使用汇合掩模410、至少一个相衬图像以及明场图像415、420、405产生的另一个技术效果是在逐细胞分割掩模435中识别单个细胞位置和细胞边界的准确性增加,作为一个示例,这有利地允许量化如细胞表面蛋白表达的特征。
在又一个可选实施例中,方法300可以包括处理器202响应于用户输入应用一个或多个滤波器,以基于一个或多个细胞纹理度量和细胞形状描述符移除对象。然后,处理器202响应于一个或多个滤波器的应用,修改示出逐细胞分割掩模的生物标本的图像。示例细胞纹理度量和细胞形状描述符包括但不限于细胞的大小、周长、偏心率、荧光强度、纵横比、实度、费雷特直径(Feret’sdiameter)、相衬熵和相衬标准偏差。
在另一个可选实施例中,方法300可以包括处理器202基于示出了逐细胞分割掩模435的生物标本110中的一个或多个细胞的图像来确定生物标本110的细胞计数。作为逐细胞分割掩模435中所示的已定义细胞边界的结果,有利地允许前述细胞计数,例如图4所示。在一个可选实施例中,生物标本110中的一个或多个细胞是贴壁细胞和非贴壁细胞中的一种或多种。在另一个实施例中,贴壁细胞可以包括:一种或多种不同的癌细胞系,包括人肺癌细胞、纤维癌细胞、乳腺癌细胞、卵巢癌细胞;或人微血管细胞系,包括人脐静脉细胞。在可选实施例中,处理器202执行区域增长迭代,使得将不同的平滑滤波器应用于非贴壁细胞(包括人免疫细胞,如PMBC和Jurkat细胞)而不是应用于贴壁细胞,以提高细胞边界的近似性。
作为一个示例,非暂时性计算机可读介质在其上存储有程序指令,在由处理器202执行程序指令时,执行一组动作,该组动作包括处理器202基于以生物标本110的焦平面为中心的至少一个明场图像405来生成包括一个或多个细胞的生物标本110的至少一个相衬图像400。然后,处理器202基于至少一个相衬图像400生成二进制图像形式的汇合掩模410。接下来,处理器202接收焦平面上方离焦量处的生物标本110中的一个或多个细胞的第一明场图像415以及焦平面下方离焦量处的生物标本110中的一个或多个细胞的第二明场图像420。然后,处理器202基于第一明场图像415和第二明场图像420生成一个或多个细胞的细胞图像425。处理器202还基于细胞图像425和至少一个相衬图像400生成种子掩模430。并且,处理器202基于种子掩模430和汇合掩模410生成生物标本100中的一个或多个细胞的图像,所述图像示出逐细胞分割掩模435。
在一个可选实施例中,非暂时性计算机可读介质还包括使处理器202接收至少一个荧光图像,以及使处理器202在逐细胞分割掩模内计算生物标本中的一个或多个细胞的荧光强度。
在另一个可选实施例中,非暂时性计算机可读介质还包括使处理器202基于细胞图像425和至少一个相衬图像400生成种子掩模430。并且非暂时性计算机可读介质还包括使处理器202修改细胞图像410而使得处于或高于阈值像素强度的每个像素被识别为细胞种子像素、从而导致种子掩模430具有二进制像素化。
在又一个可选实施例中,种子掩模430具有多个种子,每个种子对应于单个细胞。并且非暂时性计算机可读介质还包括,在所述处理器202生成示出逐细胞分割掩模435的生物标本110中的一个或多个细胞的图像之前,使所述处理器202比较种子掩模430和汇合掩模410、并从种子掩模430中消除未布置在汇合掩模410的区域中的一个或多个区域、并从汇合掩模410中消除不包含种子掩模430的多个种子中的一个种子的一个或多个区域。
在另一个可选实施例中,程序指令使处理器202基于种子掩模430和汇合掩模410生成示出了逐细胞分割掩模435的生物标本110中的一个或多个细胞的图像包括:处理器202对活性种子集中的每一个执行区域增长迭代。然后,非暂时性计算机可读介质还包括使处理器202对活性种子集中的每个种子重复区域增长迭代,直到给定种子的增长区域到达汇合掩模410的一个或多个边界或者与另一个种子的增长区域重叠。
非暂时性计算机可读介质还包括使处理器202响应于用户输入应用一个或多个滤波器,以基于一个或多个细胞纹理度量和细胞形状描述符移除对象。并且处理器202响应于一个或多个滤波器的应用,修改示出逐细胞分割掩模435的生物标本110的图像。
现在参考图8,使用图1至图2的计算设备示出了用于细胞分类的示例性方法800。方法800包括,在框805,处理器(例如,处理器202)获得多个生物样品的图像组,其中图像组包括多个生物样品的每个样品的至少一个图像。然后,在框810,处理器获得多个生物样品中第一细胞组的指示,并获得多个生物样品中第二细胞组的指示,其中第一细胞组与第一条件相关并且第二细胞组与第二条件相关。接下来,在框815,处理器基于图像组、第一细胞组的指示和第二细胞组的指示来确定第一多个度量组,其中第一多个度量组包括第一细胞组中每个细胞的度量组和第二细胞组中每个细胞的度量组。在框820,处理器基于第一多个度量组,使用监督学习算法生成模型,以区分第一细胞组中的细胞和第二细胞组中的细胞,从而生成经训练的模型。在框825,处理器基于图像组确定第二多个度量组,其中第二多个度量组包括目标样品中存在的每个细胞的度量组。然后,在框830,处理器对目标样品中的细胞进行分类,其中对细胞进行分类包括:将经训练的模型应用于细胞的度量组。方法800可以包括附加的步骤或特征。
现在参考图9,使用图1至图2的计算设备示出了用于细胞分类的另一个示例性方法900。方法900包括,在框905,处理器(例如,处理器202)获得目标样品的三个或更多个图像,其中目标样品包括以目标样品的焦平面为中心的一个或多个细胞,其中所述三个或更多个图像包括相衬图像、第一明场图像和第二明场图像,其中第一明场图像表示聚焦在焦平面上方第一离焦量处的目标样品的图像,并且其中第二明场图像表示聚焦在焦平面下方第二离焦量处的目标样品的图像。然后,在框910,处理器基于第一明场图像和第二明场图像确定目标样品的细胞图像。接下来,在框915,处理器基于细胞图像和相衬图像确定目标样品的目标分割图。在框920,处理器基于目标样品的两个或更多个图像和目标分割图来确定目标样品中存在的每个细胞的度量组。然后,在框925,处理器对目标样品中的细胞进行分类,其中对细胞进行分类包括将细胞的度量组应用于经训练的分类器。方法900可以包括附加的步骤或特征。
现在参考图10,使用图1至图2的计算设备示出了用于细胞分类的又一个示例性方法1000。方法1000包括,在框1005,处理器(例如,处理器202)获得目标样品的两个或更多个图像,其中目标样品包括以目标样品的焦平面为中心的一个或多个细胞,其中两个或更多个图像包括相衬图像和一个或多个明场图像,其中一个或多个明场图像包括代表未聚焦在焦平面的目标样品的图像的至少一个明场图像。然后,在框1010,处理器基于两个或更多个图像来确定目标样品中存在的每个细胞的度量组。接下来,在框1015,处理器通过将经训练的模型应用于细胞的度量组来对目标样品中的细胞进行分类。方法1000可以包括附加的步骤或特征。
如上所述,非暂时性计算机可读介质在其上存储有程序指令,在由处理器202执行这些指令时,非暂时性计算机可读介质可以执行前述方法的任何功能。
IV.实验结果
示例实施允许随着时间的推移在亚群中跟踪细胞健康。例如图6A示出了根据示例性实施生成的,在喜树碱(CPT,细胞毒性)治疗之后的HT1080纤维肉瘤凋亡的时间过程后24小时的相衬图像响应的逐细胞分割掩模的实验结果。用 NucLight Red(核活性标记)和无干扰的/> Caspase 3/7绿色试剂(凋亡指示剂)的多重读数来确定细胞健康。图6B示出了根据图6A的实施,使用/>逐细胞分析软件工具,基于红色和绿色荧光分类的细胞亚群。图6C示出了根据图6A的实施方案,CPT治疗后红色群体减少(表明活细胞丢失),红色和绿色荧光增加(表明早期凋亡),以及24小时后绿色荧光增加(表明晚期凋亡)。图6D示出了根据图6A的实施,早期凋亡群体的浓度响应时间过程(显示红色和绿色荧光的总细胞的百分比)。示出的值是3个孔的平均值±SEM。
在另一个示例中,图6E示出了根据示例性实施生成的、在环己酰胺(CHX,抑制细胞生长)治疗之后的HT1080纤维肉瘤凋亡的时间过程后24小时的细胞图像响应的逐细胞分割掩模的实验结果。用 NucLight Red(核活性标记)和无干扰的/>Caspase 3/7绿色试剂(凋亡指示剂)的多重读数来确定细胞健康。图6F示出了根据图6E的实施方案,使用/>逐细胞分析软件工具,基于红色和绿色荧光分类的细胞亚群。图6G示出了根据图6E的实施方案,CHX治疗后细胞凋亡缺乏,但细胞计数减少(数据未示出)。图6H示出了根据图6E的实施方案,早期凋亡群体的浓度响应时间过程(显示红色和绿色荧光的总细胞的百分比)。示出的值是3个孔的平均值±SEM。
图7A示出了使用根据示例性实施方案经由软件生成的逐细胞分割分析,在用于贴壁细胞的无标记细胞计数的相衬图像上施加的逐细胞分割掩模。使用无标记的逐细胞分析和红细胞核计数分析两者来分析用NucLight Red试剂标记的不同密度的A549细胞,以验证随时间推移的无标记计数。图7B示出了在背景中没有相衬图像的情况下根据图7A的逐细胞分割掩模。图7C示出了根据图7A的实施方案,不同密度的相位计数和红计数数据的时间过程。图7D示出了根据图7A的实施方案,48小时内计数数据的相关性,并展示了斜率为1时R2值为1。这在一系列的细胞类型中已被重复。示出的值是4个孔的平均值±SEM。
V.细胞分类示例
基于包含细胞的样品图像的细胞分类算法可促进多种应用。这可包括量化细胞和/或细胞样品的性质,量化细胞样品对所应用的实验条件的反应(例如,假定的药物或治疗的毒性或有效性),或评估关于样品的一些其他信息。细胞的分类通过允许确定样品中每类细胞的数量来促进此类应用。此种分类可以包括两类分类或分成两类以上的分类。在分类的一些示例中,可以将细胞分类为活细胞或死细胞、干细胞或成熟细胞、未分化细胞或分化细胞、野生型细胞或突变型细胞、上皮细胞或间充质细胞、正常细胞或由应用的化合物在形态上改变的细胞(例如,通过应用靶向细胞骨架的治疗化合物改变的细胞),或者在两种或更多种附加或替代分类之间进行分类。也可以给细胞分配多个类别,这些类别是从相应的多个不同的枚举类别集合中选择的。例如,可以将细胞分类为活细胞(从“活细胞”和“死细胞”的可能类别)和分化细胞(从“分化细胞”和“未分化细胞”的可能类别)。
本文所述的实施例通过确定特定细胞的度量组来实现该细胞的分类。该度量组由细胞的一个或多个显微图像确定。在确定此种度量时特别有用的是细胞的一个或多个离焦明场图像,或由此确定的和/或与细胞的相衬图像相结合的合成图像。例如,可以从细胞的相衬图像和细胞的(如上所述确定的)细胞图像中的每一者来确定细胞的一个或多个度量。该度量组的确定通常包括分割图像,以确定图像的哪一部分对应于细胞。如本文别处所述,分割本身是基于一个或多个图像来确定的。此外,分割可以用于确定一个或多个度量(例如,细胞的大小、与细胞形状相关的一个或多个度量等)。然后,将该度量组应用于模型以对细胞进行分类。
图11描绘了施加在生物样品的相衬图像1100上的示例性逐细胞分割掩模(亮线),所述生物样品包括多个细胞,所述多个细胞包括示例细胞1110。逐细胞分割掩模描绘了对应于细胞1110的相衬图像1100的部分;这由指示对应于示例细胞1110的逐细胞分割掩模部分的暗线1150来指示。暗线1150内的相衬图像1100的部分可用于确定示例细胞1110的一个或多个度量(例如,纹理相关度量、强度相关度量),描绘示例细胞1110的逐细胞分割掩模的部分1150也可以如此(例如,尺寸相关度量、形状相关度量)。
可以使用一种或多种上述方法来完成生物样品的一个或多个显微图像的分割,以定位该样品中的细胞。附加地或替代地,样品的一个或多个显微图像可以应用于卷积神经网络,该卷积神经网络已经经过训练来生成此种分割图。这可以包括应用样品的相衬图像和细胞图像。
分割图可用于确定细胞的尺寸度量。这可包括使用分割图来确定细胞的面积、由细胞占据的图像的像素数、由细胞占据的图像的像素和/或面积的百分比、细胞的周长、细胞的最大费雷特直径(Feret diameter)或与细胞大小相关的一些其他度量。
分割图还可用于确定细胞的一个或多个形状描述符度量。此种形状描述符度量可是细胞的圆形度、细胞的凸包的圆度、或细胞所占据的细胞凸包的比例、细胞的纵横比(即,细胞的最大长度与其正交轴的比率)、细胞的地理质心、细胞的强度加权质心或这两个质心之间的差值、或与细胞形状相关的一些其他度量。
附加的度量可包括与细胞的纹理和/或强度相关的度量,如细胞的一个或多个显微图像中所示。细胞的此种显微图像可以包括相衬图像、明场图像、荧光图像或细胞的其他图像。图像可以包括合成图像。如上所述,此种合成图像可以包括由两个或更多个明场图像产生的细胞图像,这些明场图像相对于生物样品的细胞内容物聚焦在各自不同的平面上。另一示例性合成图像是相衬图像和一个或多个明场图像的合成(例如,相衬图像和细胞图像的合成)。确定此种基于纹理或强度的度量可包括:根据分割图、基于与特定细胞对应的图像像素来确定度量。
可以从代表细胞的像素组的变化和/或纹理中确定纹理度量。这可包括在邻域的基础上计算一个或多个度量,例如,对于给定的像素,可以基于在指定距离内围绕给定像素的像素组来确定纹理值。此种邻域纹理值然后可以在细胞的像素上取平均,以产生该细胞的总纹理值。此种纹理值可以包括范围值、方差或标准偏差、熵、对比度值、均匀性值和/或一些基于纹理的测量值,所述范围值是像素组内最大强度值和最小强度值之间的差值,所述对比度值是所述像素组中存在的局部变化的测量值,所述均匀性值是所述像素组中均匀性的测量值。
基于强度的度量可包括:图像中细胞的平均亮度、图像中细胞亮度的标准偏差、图像中细胞亮度的最小值、图像中细胞亮度的最大值、图像中细胞像素的指定百分位数的亮度、图像中细胞上亮度值分布的峰度或偏斜度测量,或基于一个或多个图像中细胞的亮度或其变化的一些其他度量。
一旦确定了特定细胞的度量组,该度量组就可用于对该细胞进行分类。这可包括将度量组应用于经训练的模型。此种模型可以包括主成分分析、独立成分分析、支持向量机、人工神经网络、查找表、回归树、回归树集合、决策树、决策树集合、k最近邻分析、贝叶斯推断和逻辑回归中的一者或多者。
模型的输出可以是细胞的确定类别的简单指示,该细胞的度量组应用于模型。或者,模型可以输出指示细胞的类别的一个或多个值。然后可以将此种值与阈值进行比较以对细胞进行分类。例如,如果模型输出值大于阈值,则该细胞可以被分类为“活细胞”,而如果模型输出值小于阈值,则该细胞可以被分类为“死细胞”。此种阈值的值可以由算法确定,例如作为基于训练数据来训练模型的过程的一部分。附加地或替代地,阈值可以由用户设置。例如,用户可以基于视觉反馈来调整阈值,该视觉反馈在一个或多个显微图像中指示图像中细胞的分类。用户可以在经由算法过程生成初始阈值之后调整阈值。
图12A和图12B示出了用户调整阈值并接收关于调整生物样品中的细胞分类的影响的视觉反馈的基本实时迭代过程或其他迭代过程的示例。图12A描绘了在第一时间段期间的示例用户界面的元素。示例用户界面包括生物样品的第一注释图像1200a(例如,注释相衬图像)。对第一注释图像1200a进行注释以指示样品中的细胞,并指示根据阈值的第一值的细胞分类。如图12A所示,第一细胞类别用红色表示,以及第二细胞类别用蓝色表示。
然后,可通过用户输入将阈值更新为第二值。此种输入可以包括用户按下真实按钮或虚拟按钮来增加或减少阈值的值,用户操作键盘或其他装置来输入阈值的值,用户移动滑块或转盘来调整阈值的值,或者用户参与一些其他用户输入动作来将阈值调整到第二值。然后,应用阈值的第二值来重新分类样品中的细胞。然后,这种重新分类以生物样品的更新的第二注释图像1200b的形式可视地提供给用户,如图12B所示。对第二注释图像1200b进行注释,以指示样品中的细胞,并指示根据阈值的更新后的第二值的细胞分类。细胞中的一些细胞的分类随着阈值的调整而改变,因此第二注释图像1200b反映了这种改变。此种更新过程可以执行多次。例如,作为用户调整阈值的结果,可以以每20毫秒一次的速率或者以某些其他速率来执行更新过程,以近似细胞分类的实时更新。
可使用监督训练方法和合适的训练数据集来训练用于细胞分类的模型。训练数据集包括针对两组或多组训练细胞中的每个细胞而确定的度量组。每组训练细胞对应于模型可被训练来进行区分的相应类别或类别集。通过基于特定训练细胞的一个或多个显微图像来确定特定组中特定训练细胞的度量组,可如上所述确定训练数据集中的度量组。
在一些示例中,训练细胞可以放置在相同多孔样品板的孔内,所述多孔样品板包含待基于所述训练细胞进行分类的目标细胞。这具有这样的优点:在已经暴露于与目标细胞相同或相似的环境或其他条件的训练细胞上训练模型,而不需要大量单个细胞的手动注释。或者,可以将训练细胞放置在第一多孔样品板的孔中,并且可以将目标细胞放置在第二不同的多细胞样品板的孔中。此种第一多孔样品板和第二多孔样品板可以在同一培养箱中培养,或者暴露于相同或相似的环境条件下。
用于训练模型的各种图像和/或度量可以与应用于经训练的模型以分类未知细胞的各种图像和/或度量相同或不同。例如,荧光标记可以存在于含有训练细胞的生物样品中,但是可以不存在于含有待分类的未知目标细胞的样品中。这可以改善模型的训练,同时避免了将荧光标记物添加到目标样品中的复杂性或混杂性。附加地或替代地,荧光标记可以用于在训练模型之前将训练细胞分配到相应的组中。
可以以多种方式识别两组(或更多组)训练细胞中的训练细胞。在一些示例中,可以由用户手动识别训练细胞组。这可以包括用户手动指示两个或更多组中的每一组的单个细胞。在已经分割图像或未分割图像的情况下,可以使用描绘生物样品内细胞图像的用户界面来执行此种指示。附加地或替代地,用户可以手动指示多孔样品板的所有孔所对应的相应训练类别。以此种方式指示的孔中检测到的任何细胞将被分配到相应的类别以训练模型。用户可以基于对孔的条件的知识来指示此类孔。例如,特定的孔可以包括诱导细胞死亡的物质,然后用户可以指示此种孔包含属于“死细胞”类的细胞以用于训练模型。以此种逐孔的方式指示训练细胞组的优点是需要相对少量的用户时间和精力(例如,相对于用户指示用于训练的单个细胞)。
图13描绘了示例性用户界面1300的元素,用户可以使用该用户界面来指示多孔样品板的一个或多个孔对应于两个或更多个类别中的一个,然后可训练模型来区分所述类别。用户界面1300描绘了多孔样品板的孔的相对位置,其中每个孔由相应的正方形表示。可以提供关于每个孔的附加信息。此种附加信息可以包括关于孔的内容物的信息、应用于孔的条件、孔的内容物的图像或一些其他信息。然后,用户可以指示对应于各个类别的孔的组。如图所示,用户已经将第一孔组1310a指示为对应于第一类别(例如,“活细胞”类别),并将第二孔组1310b指示为对应于第二类别(例如,“死细胞”类别)。
应注意,细胞组的指示(例如,通过指示单个细胞,通过指示多孔样品板的所有孔,通过以自动或半自动方法一致地指示细胞)可包括在一个或多个指定时间点指示细胞。例如,指示第一细胞组可以包括在第一时间点指示孔(例如,当孔中的所有细胞或大部分细胞是活细胞时,指示活细胞组),以及指示第二细胞组可以包括在第二时间点指示相同的孔(例如,当孔中的所有细胞或大部分细胞是死细胞时,指示死细胞组)。
在使用所得到的训练数据来训练模型之前,可过滤或以其他方式修改指示的细胞组或由此确定的度量组。这样做是为了减少拟合数据所需的时间或迭代次数,从而在不过度拟合训练数据的情况下产生更准确的模型,或者改进经训练的模型和/或训练模型的过程。此种过滤或其他预处理步骤可以包括对训练的细胞组进行综合平衡、对训练的细胞组进行子采样、和/或对所确定的度量的值进行归一化(例如,对每个所确定的度量进行归一化,使得训练数据中所有细胞的度量值的总体占据标准范围和/或符合指定分布)。
附加地或替代地,可以通过算法识别,或以其他方式自动或半自动地识别训练细胞组。这可以包括使用荧光标记的存在与否来识别训练细胞组。这可以包括获得包含荧光标记物的生物样品的荧光图像,并且基于荧光图像,根据细胞的平均荧光强度是大于还是小于阈值水平来分别识别样品中的第一细胞组和第二细胞组。
在另一个示例中,可以使用无监督的训练过程对训练图像中的细胞进行分类。这可以包括在训练图像中识别两个或更多个细胞集群。然后,用户可以手动将有限数量的细胞分类为属于从两个或更多个类别的集合中选择的各个类别。这些手动分类的细胞可以是已经通过无监督训练过程聚类的细胞,或者可以是新的细胞。然后,手动分类可以用于将细胞集群分配到两个或更多个类别的集合中的适当类别。手动分类可以是基于逐细胞、基于整个孔、或一些其他方式的细胞手动分类。
已经出于说明和描述的目的呈现了不同的有利布置的描述,但是其不旨在作为详尽的或限于呈所公开形式的示例。许多修改和变化对于本领域普通技术人员来说是明显的。此外,与其他有利示例相比,不同的有利示例可以描述不同的优点。选择并描述所选择的一个或多个示例是为了最佳地解释示例的原理、实际应用,并且使得本领域的普通技术人员能够理解本公开的各种示例以及适合于所设想的特定用途的各种修改。
VI.实验分类结果
当使用从细胞的细胞图像(即,从两个或多个离焦明场图像确定的合成图像)确定的一个或多个度量时,细胞的分类得到改善。图14A和图14B示出了用喜树碱(一种能够导致细胞死亡的细胞毒性化合物,“CMP”)或实验对照化合物(“VEH”)处理的多个样品中,细胞分类为活细胞或死细胞的准确性。图13A示出了基于度量组的分类,该度量组由样品的逐细胞分割掩模(例如,面积、周长)和样品的相衬图像(例如,相衬平均亮度)来确定。图13B示出了基于上述度量以及从样品的细胞图像(例如,细胞图像平均亮度)确定的附加度量的分类。图14A和图14B中表示的所有细胞的总体准确度从0.82增加到0.94,其中F1统计从0.89增加到0.96(使用活细胞作为“阳性”类别)。
图15A和图15B示出了这种改进的细胞分类(活细胞或死细胞)准确性对一些样品中确定的细胞死亡率的影响随时间变化的情况。图15A示出了根据样品的逐细胞分割掩模(例如,面积、周长)和样品的相衬图像(例如,相衬平均亮度)来确定经确定的细胞死亡率随时间变化的样品。红色轨迹是由经训练的模型确定的速率,而蓝色轨迹是真实速率。图15B示出了使用上述度量以及从样品的细胞图像(例如,细胞图像平均亮度)确定的附加度量、从经训练的模型来确定经确定的细胞死亡率随时间变化的样品。
本文所述的分类方法有助于细胞分类,其准确度接近基于荧光基团的方法的准确度。这允许准确的分类,而没有可以与使用荧光标记相关的费用、复杂性或实验混杂效应。在实验中,在存在膜联蛋白V试剂的情况下,用浓度递增的细胞毒性化合物喜树碱(0.1-10μM)处理A549细胞72小时。基于荧光膜联蛋白反应将细胞分类为死细胞或活细胞(活细胞=低荧光,死细胞=高荧光)。基于膜联蛋白V的分类结果如图16A所示。本文描述的基于度量的方法用于使用死细胞(10μM,72h)和活细胞(赋形剂,0-72h)的无标记特征来训练模型。然后,将该模型应用于将细胞分类为活细胞或死细胞,以获得与膜联蛋白V反应相当的死细胞百分比。这种无标记分类的结果如图16B所示。图16C示出了使用膜联蛋白V或无标记方法计算的72小时死亡百分比浓度响应曲线的叠加,其示出了在该浓度范围内的预测响应是可比较的,并且EC50值是相似的(膜联蛋白V EC50=6.6E-07;无标记EC50=5.3E-07M-1)。
Claims (22)
1.一种用于细胞的分类的方法,所述方法包括:
获得多个生物样品的图像组,其中所述图像组包括所述多个生物样品中的每个样品的至少一个图像;
获得所述多个生物样品中第一细胞组的指示,并获得所述多个生物样品中第二细胞组的指示,其中所述第一细胞组与第一条件相关,以及所述第二细胞组与第二条件相关;
基于所述图像组、所述第一细胞组的指示和所述第二细胞组的指示,确定第一多个度量组,其中所述第一多个度量组包括:所述第一细胞组的每个细胞的度量组和所述第二细胞组的每个细胞的度量组;
基于所述第一多个度量组,使用监督学习算法来生成模型以区分所述第一细胞组中的细胞和所述第二细胞组中的细胞,从而生成经训练的模型;
基于所述图像组,确定第二多个度量组,其中所述第二多个度量组包括目标样品中存在的每个细胞的度量组;以及
将所述目标样品中的细胞分类,其中将所述细胞分类包括:将所述经训练的模型应用于所述细胞的所述度量组。
2.根据权利要求1所述的方法,其中将所述经训练的模型应用于所述细胞的所述度量组包括:基于所述细胞的所述度量组生成模型输出值,并且其中将所述细胞分类还包括:将所述模型输出值与阈值进行比较。
3.根据权利要求2所述的方法,还包括:
显示所述目标样品的注释图像,其中所述目标样品的所述注释图像包括所述细胞的指示和所述细胞的所述分类的指示;
接收指示被更新的阈值的用户输入;
通过将所述模型输出值与所述被更新的阈值进行比较来将所述细胞重新分类;以及
显示所述目标样品的被更新的注释图像,其中所述目标样品的所述被更新的注释图像包括所述细胞的指示和所述细胞的所述重新分类的指示。
4.根据权利要求1至3中任一项所述的方法,其中确定所述细胞的所述度量组包括确定以下中的至少一项:尺寸度量、形状描述符度量、纹理度量或基于强度的度量。
5.根据权利要求1至4中任一项所述的方法,其中所述经训练的模型包括主成分分析、独立成分分析、支持向量机、人工神经网络、查找表、回归树、回归树集成、决策树、决策树集成、k最近邻分析、贝叶斯推理和逻辑回归中的至少一者。
6.根据权利要求1至5中任一项所述的方法,其中所述目标样品包括以用于所述目标样品的焦平面为中心的一个或多个细胞,并且其中描绘所述目标样品的所述图像组的所述图像包括相衬图像和一个或多个明场图像,其中所述一个或多个明场图像包括至少一个明场图像,所述至少一个明场图像代表未聚焦在所述焦平面处的所述目标样品的图像。
7.根据权利要求6所述的方法,其中所述一个或多个明场图像包括第一明场图像和第二明场图像,其中所述第一明场图像表示聚焦在所述焦平面上方、第一离焦量处的所述目标样品的图像,其中所述第二明场图像表示聚焦在所述焦平面下方、第二离焦量处的所述目标样品的图像,并且其中所述方法还包括:
基于所述第一明场图像和所述第二明场图像来确定所述目标样品的细胞图像,其中确定所述细胞的所述度量组包括:基于所述细胞图像确定至少一个度量。
8.根据权利要求1至7中任一项所述的方法,其中荧光标记存在于所述第一细胞组的细胞中和所述第二细胞组的细胞中,并且其中所述荧光标记不存在于所述目标样品中。
9.根据权利要求1至8中任一项所述的方法,其中所述第一细胞组和所述第二细胞组都放置在第一多孔样品板的孔内,并且其中所述目标样品放置在第二多孔样品板的孔内。
10.根据权利要求1至9中任一项所述的方法,其中所述第一细胞组、所述第二细胞组和所述目标样品都放置在多孔样品板的孔内。
11.根据权利要求10所述的方法,其还包括:
显示所述多孔样品板的孔的相对位置的指示,其中所述第一细胞组存在于所述多孔样品板的第一孔组中,其中所述第二细胞组存在于所述多孔样品板的第二孔组中,其中获得所述第一细胞组的指示和所述第二细胞组的指示包括:在显示所述多孔样品板的孔的所述相对位置的指示之后,接收指示所述多孔样品板内所述第一孔组的相对位置和所述第二孔组的相对位置的用户输入。
12.根据权利要求1至11中任一项所述的方法,其还包括:
在生成所述经训练的模型之前,通过执行以下操作中的至少一者来预处理所述第一多个度量组:将所述第一多个度量组中的至少一个度量归一化,在所述第一细胞组的每个细胞的度量组和所述第二细胞组的每个细胞的度量组之间综合平衡所述第一多个度量组,以及对所述第一多个度量组进行子采样。
13.根据权利要求1至12中任一项所述的方法,其中所述第一细胞组和所述第二细胞组包含荧光标记,其中所述多个生物样品的所述图像组包括:描绘所述第一细胞组的至少一个荧光图像和描绘所述第二细胞组的至少一个荧光图像,其中获得所述多个生物样品内的所述第一细胞组的指示包括:使用描绘所述第一细胞组的至少一个荧光图像来识别所述第一细胞组,并且其中
获得所述多个生物样品中所述第二细胞组的指示包括:使用描绘所述第二细胞组的至少一个荧光图像来识别所述第二细胞组。
14.根据权利要求1至13中任一项所述的方法,其中将所述目标中的所述细胞分类包括:将所述细胞分类为活细胞或死细胞、将所述细胞分类为干细胞或成熟细胞、将所述细胞分类为上皮细胞或间充质细胞、以及将所述细胞分类为未分化细胞或分化细胞中的至少一者。
15.一种用于细胞的分类的方法,所述方法包括:
获得目标样品的三个或更多个图像,其中所述目标样品包括以用于所述目标样品的焦平面为中心的一个或多个细胞,其中所述三个或更多个图像包括相衬图像、第一明场图像和第二明场图像,其中所述第一明场图像表示聚焦在所述焦平面上方、第一离焦量处的所述目标样品的图像,并且其中所述第二明场图像表示聚焦在所述焦平面下方、第二离焦量处的所述目标样品的图像;
基于所述第一明场图像和所述第二明场图像来确定所述目标样品的细胞图像;
基于所述细胞图像和所述相衬图像来确定所述目标样品的目标分割图;
基于所述目标样品的两个或更多个图像和所述目标分割图,确定所述目标样品中存在的每个细胞的度量组;以及
将所述目标样品中的细胞分类,其中将所述细胞分类包括:将所述细胞的所述度量组应用于经训练的分类器。
16.根据权利要求15所述的方法,其中确定所述细胞的所述度量组包括确定以下中的至少一项:尺寸度量、形状描述符度量、纹理度量或基于强度的度量。
17.根据权利要求15至16中任一项所述的方法,其中确定所述细胞的所述度量组包括:基于所述相衬图像确定所述细胞的所述度量组中的至少一个度量。
18.根据权利要求15至17中任一项所述的方法,其中基于所述第一明场图像和所述第二明场图像来确定所述目标样品的所述目标分割图包括:将至少所述第一明场图像和所述第二明场图像、以及所述相衬图像应用于卷积神经网络。
19.一种用于细胞的分类的方法,所述方法包括:
获得目标样品的两个或更多个图像,其中所述目标样品包括以用于所述目标样品的焦平面为中心的一个或多个细胞,其中所述两个或更多个图像包括:相衬图像和一个或多个明场图像,其中所述一个或多个明场图像包括代表未聚焦在所述焦平面处的所述目标样品的图像的至少一个明场图像;
基于所述两个或更多个图像,确定所述目标样品中存在的每个细胞的度量组;以及
通过将经训练的模型应用于所述细胞的所述度量组来将所述目标样品中的所述细胞分类。
20.根据权利要求19所述的方法,其中所述目标样品的所述两个或更多个图像包括第一明场图像和第二明场图像,其中所述第一明场图像表示聚焦在所述焦平面上方、第一离焦量处的所述目标样品的图像,其中所述第二明场图像表示聚焦在所述焦平面下方、第二离焦量处的所述目标样品的图像,并且其中所述方法还包括:
基于所述第一明场图像和所述第二明场图像确定所述目标样品的细胞图像,其中确定所述细胞的所述度量组包括:基于所述细胞图像确定至少一个度量。
21.一种非暂时性计算机可读介质,其配置成至少存储计算机可读指令,当所述计算机可读指令由计算设备的一个或多个处理器执行时,所述计算机可读指令使得所述计算设备执行控制器操作以执行根据权利要求1至20中任一项所述的方法。
22.一种用于分析生物标本的系统,所述系统包括:
光学显微镜;
控制器,其中所述控制器包括一个或多个处理器;以及
非暂时性计算机可读介质,其配置成至少存储计算机可读指令,当所述计算机可读指令由所述控制器执行时,所述计算机可读指令使得所述控制器执行控制器操作以执行根据权利要求1至20中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/099,983 | 2020-11-17 | ||
US17/099,983 US20210073513A1 (en) | 2019-02-01 | 2020-11-17 | Method for Classifying Cells |
PCT/US2021/059419 WO2022108885A1 (en) | 2020-11-17 | 2021-11-15 | Method for classifying cells |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116348921A true CN116348921A (zh) | 2023-06-27 |
Family
ID=78844931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180071615.1A Pending CN116348921A (zh) | 2020-11-17 | 2021-11-15 | 用于将细胞分类的方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4248357A1 (zh) |
JP (1) | JP2023549020A (zh) |
KR (1) | KR20230104954A (zh) |
CN (1) | CN116348921A (zh) |
WO (1) | WO2022108885A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024056762A1 (en) * | 2022-09-15 | 2024-03-21 | Nanolive Sa | Digital system for cell assays using label free microscopy |
CN116453116B (zh) * | 2023-06-20 | 2023-09-08 | 杭州济扶科技有限公司 | 一种高适应性的明场细胞活死分类算法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8103081B2 (en) * | 2008-03-10 | 2012-01-24 | Cambridge Research & Instrumentation, Inc. | Classification of samples |
US20170052106A1 (en) * | 2014-04-28 | 2017-02-23 | The Broad Institute, Inc. | Method for label-free image cytometry |
US10929716B2 (en) * | 2018-09-12 | 2021-02-23 | Molecular Devices, Llc | System and method for label-free identification and classification of biological samples |
US10885631B2 (en) * | 2019-02-01 | 2021-01-05 | Essen Instruments, Inc. | Label-free cell segmentation using phase contrast and brightfield imaging |
-
2021
- 2021-11-15 WO PCT/US2021/059419 patent/WO2022108885A1/en active Application Filing
- 2021-11-15 KR KR1020237019707A patent/KR20230104954A/ko unknown
- 2021-11-15 JP JP2023519004A patent/JP2023549020A/ja active Pending
- 2021-11-15 EP EP21824178.4A patent/EP4248357A1/en active Pending
- 2021-11-15 CN CN202180071615.1A patent/CN116348921A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023549020A (ja) | 2023-11-22 |
KR20230104954A (ko) | 2023-07-11 |
EP4248357A1 (en) | 2023-09-27 |
WO2022108885A1 (en) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Landau et al. | Artificial intelligence in cytopathology: a review of the literature and overview of commercial landscape | |
US10671833B2 (en) | Analyzing digital holographic microscopy data for hematology applications | |
William et al. | A pap-smear analysis tool (PAT) for detection of cervical cancer from pap-smear images | |
Zeune et al. | Deep learning of circulating tumour cells | |
JP7201681B2 (ja) | 単一チャネル全細胞セグメンテーションのためのシステム及び方法 | |
US20210073513A1 (en) | Method for Classifying Cells | |
CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
Sommer et al. | Learning-based mitotic cell detection in histopathological images | |
US9378407B2 (en) | Automated fish reader using learning machines | |
CN113474813A (zh) | 使用相位对比和明场成像的无标记细胞分割 | |
US11954593B2 (en) | Method to determine a degree of abnormality, a respective computer readable medium and a distributed cancer analysis system | |
Singh et al. | Breast cancer detection and classification of histopathological images | |
CN116348921A (zh) | 用于将细胞分类的方法 | |
Ström et al. | Pathologist-level grading of prostate biopsies with artificial intelligence | |
US11803963B2 (en) | Computational model for analyzing images of a biological specimen | |
Kabir et al. | The utility of a deep learning-based approach in Her-2/neu assessment in breast cancer | |
Niederlein et al. | Image analysis in high content screening | |
KR20230063147A (ko) | 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템 | |
CN116406468A (zh) | 用于分析生物标本的图像的计算模型 | |
Dolcetti et al. | RUNIMC: An R-based package for imaging mass cytometry data analysis and pipeline validation | |
Qidwai et al. | Color-based Fuzzy Classifier for automated detection of cancerous cells in histopathological analysis | |
Landeros | Machine-Guided Biopsy Analysis in Oncology: Facilitating Diagnostic Access and Biomedical Discovery Through Deep Learning | |
Chai | Using machine learning techniques on digitised histopathological images to distinguish lipoma (LP) from atypical lipomatous tumours (ALT) | |
Sui | A Deep Learning Approach to Infer Cellular Features from Pathology Imaging Data | |
Lin Huang | U-Net vs HoVer-Net: A Comparative Study of Deep Learning Models for Cell Nuclei Segmentation and Classification in Breast Cancer Diagnosis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |