CN113989294A - 基于机器学习的细胞分割和分型方法、装置、设备及介质 - Google Patents

基于机器学习的细胞分割和分型方法、装置、设备及介质 Download PDF

Info

Publication number
CN113989294A
CN113989294A CN202111628829.2A CN202111628829A CN113989294A CN 113989294 A CN113989294 A CN 113989294A CN 202111628829 A CN202111628829 A CN 202111628829A CN 113989294 A CN113989294 A CN 113989294A
Authority
CN
China
Prior art keywords
cell
segmentation
image
single cell
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111628829.2A
Other languages
English (en)
Other versions
CN113989294B (zh
Inventor
岳蜀华
陈珣
吴舟桥
李子禹
季加孚
李忠武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Cancer Hospital
Original Assignee
Beihang University
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Cancer Hospital filed Critical Beihang University
Priority to CN202111628829.2A priority Critical patent/CN113989294B/zh
Publication of CN113989294A publication Critical patent/CN113989294A/zh
Application granted granted Critical
Publication of CN113989294B publication Critical patent/CN113989294B/zh
Priority to PCT/CN2022/130989 priority patent/WO2023124562A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开提供了一种基于机器学习的细胞分割和分型方法、装置、设备及介质。所述方法包括获取目标对象的至少一个细胞代谢图像；利用机器学习分割模型对至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像；对多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与单细胞代谢图像对应的单细胞图像特征图谱；将与多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到目标对象的图像特征图谱；通过对目标对象的图像特征图谱进行聚类对细胞进行分型。本公开提供的上述方法不受病理医生主观因素的影响，能够避免对细胞形态造成损伤并实现对细胞的精准分型，从而确定目标对象的病变程度。

Description

基于机器学习的细胞分割和分型方法、装置、设备及介质
技术领域
本公开涉及图像分割和分型领域，更具体地，涉及一种基于机器学习的细胞分割和分型方法、装置、设备及介质。
背景技术
目前，临床上通过对脱落细胞进行细胞病理检测（如基于H&E 或RAP染色的检测）来确定癌细胞（如胃癌细胞、肺癌细胞）、癌细胞的数量等与癌细胞相关的信息。但是，上述检测方法受病理医生主观因素影响较大，而且不同病例、不同病理医师之间的一致性也比较差，并且其灵敏度往往比较低（一般低于60%）。
此外，细胞病理检测不同于组织病理，细胞病理检测缺少组织定位信息，而且细胞经过染色、涂片、固定等处理后对细胞形态有损伤，从而使得实现单细胞精准量化的难度比较大，这非常不利于后续对目标对象的病变程度进行判断。
因此，需要一种新的方法来解决上述问题。
发明内容
针对上述问题，本公开提供了一种基于机器学习的细胞分割和分型方法。本公开提供的上述方法不受病理医生主观因素的影响，能够避免对细胞形态造成损伤并实现对细胞的精准分型，从而确定目标对象的病变程度。
本公开实施例提供了一种基于机器学习的细胞分割和分型方法，包括：获取目标对象的至少一个细胞代谢图像；利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像；对所述多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与所述单细胞代谢图像对应的单细胞图像特征图谱，其中，所述单细胞图像特征图谱至少包括细胞代谢特征；将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱；通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，其中，所述分型指示所述细胞所属的细胞类型。
根据本公开实施例，其中，通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，包括：对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量；基于所述不同类型细胞的数量，对所述细胞进行分型。
根据本公开实施例，其中，通过以下方式中的至少一种方式对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量：k均值聚类方式、层次聚类方式、自组织图聚类方式以及模糊聚类方式。
根据本公开实施例，其中，通过以下分类器中的至少一种分类器来基于所述不同类型细胞的数量对所述细胞进行分型：支持向量机分类器、线性判别分类器、K邻域分类器、逻辑回归分类器、随机森林决策树分类器、虚拟神经网络分类器以及深度学习卷积神经网络分类器。
根据本公开实施例，其中，所述方法还包括：对所述目标对象的图像特征图谱进行主成分分析，得到与每个单细胞图像特征图谱对应的主成分信息，其中，不同类型细胞的主成分信息不同；基于所述主成分信息，得到相同类型细胞的代谢特征靶点；根据代谢特征靶点确定目标对象的病变程度。
根据本公开实施例，其中，所述根据代谢特征靶点确定目标对象的病变程度，包括：将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，确定所述目标对象的病变程度。
根据本公开实施例，其中，所述利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像，包括：利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行单细胞图像分割，得到所述多个单细胞代谢图像。
根据本公开实施例，其中，所述利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像，包括：利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行第一次单细胞图像分割；利用分水岭分割方式或泛洪分割方式对第一次单细胞分割后的图像进行第二次分割，得到所述多个单细胞代谢图像。
根据本公开实施例，其中，所述单细胞图像特征图谱还包括细胞形态学特征。
根据本公开实施例，其中，所述细胞形态学特征包括以下项中的至少一项：细胞面积、细胞形状球度、细胞边界环形度、细胞中心、细胞中心偏心率、当量直径、细胞周长、长轴长、短轴长、长轴/短轴比和长轴/短轴旋转角度。
根据本公开实施例，其中，所述细胞代谢特征包括以下项中的至少一项：脂质含量、脂质浓度、蛋白含量、蛋白浓度、脱氧核糖核酸浓度、脂质/蛋白含量比、脂质/蛋白浓度比、脂质/脱氧核糖核酸浓度比、脂滴数量、脂滴面积、脂滴面积占细胞总面积比、脂滴范围脂质/蛋白浓度比、脂质成分/蛋白成分面积比、脂质成分/脱氧核糖核酸成分面积比、脂质成分占细胞总面积比、蛋白成分占细胞总面积比和脂质成分范围脂质/蛋白浓度比。
根据本公开实施例，其中，所述将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱，包括：按照预定顺序将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行排列，得到所述目标对象的图像特征图谱。
根据本公开实施例，其中，所述细胞代谢图像是基于拉曼成像的图像。
根据本公开实施例，其中，所述细胞类型包括：癌细胞、免疫细胞 、淋巴细胞、见皮细胞、上皮细胞、血细胞或子粒细胞。
本公开实施例提供了一种基于机器学习的细胞分割和分型装置，包括：获取模块，被配置为获取目标对象的至少一个细胞代谢图像；分割模块，被配置为利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像；特征提取模块，被配置为对所述多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与所述单细胞代谢图像对应的单细胞图像特征图谱，其中，所述单细胞图像特征图谱至少包括细胞代谢特征；图谱组合模块，被配置为将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱；分型模块，被配置为通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，其中，所述分型指示所述细胞所属的细胞类型。
根据本公开实施例，其中，所述分型模块，包括：对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量；基于所述不同类型细胞的数量，对所述细胞进行分型。
根据本公开实施例，其中，通过以下方式中的至少一种方式对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量：k均值聚类方式、层次聚类方式、自组织特征图聚类方式以及模糊聚类方式。
根据本公开实施例，其中，通过以下分类器中的至少一种分类器来基于所述不同类型细胞的数量对所述细胞进行分型：支持向量机分类器、线性判别分类器、K邻域分类器、逻辑回归分类器、随机森林决策树分类器、虚拟神经网络分类器以及深度学习卷积神经网络分类器。
根据本公开实施例，其中，所述装置还包括：主成分分析模块，被配置为对所述目标对象的图像特征图谱进行主成分分析，得到与每个单细胞图像特征图谱对应的主成分信息，其中，不同类型细胞的主成分信息不同；靶点获得模块，被配置为基于所述主成分信息，得到相同类型细胞的代谢特征靶点；病变确定模块，被配置为根据代谢特征靶点确定目标对象的病变程度。
根据本公开实施例，其中，所述病变确定模块，包括：将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，确定所述目标对象的病变程度。
根据本公开实施例，其中，所述分割模块，包括：利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行单细胞图像分割，得到所述多个单细胞代谢图像。
根据本公开实施例，其中，所述分割模块，包括：第一次分割模块，被配置为利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行第一次单细胞图像分割；第二次分割模块，被配置为利用分水岭分割方式或泛洪分割方式对第一次单细胞分割后的图像进行第二次分割，得到所述多个单细胞代谢图像。
根据本公开实施例，其中，所述单细胞图像特征图谱还包括细胞形态学特征。
根据本公开实施例，其中，所述细胞形态学特征包括以下项中的至少一项：细胞面积、细胞形状球度、细胞边界环形度、细胞中心、细胞中心偏心率、当量直径、细胞周长、长轴长、短轴长、长轴/短轴比和长轴/短轴旋转角度。
根据本公开实施例，其中，所述细胞代谢特征包括以下项中的至少一项：脂质含量、脂质浓度、蛋白含量、蛋白浓度、脱氧核糖核酸浓度、脂质/蛋白含量比、脂质/蛋白浓度比、脂质/脱氧核糖核酸浓度比、脂滴数量、脂滴面积、脂滴面积占细胞总面积比、脂滴范围脂质/蛋白浓度比、脂质成分/蛋白成分面积比、脂质成分/脱氧核糖核酸成分面积比、脂质成分占细胞总面积比、蛋白成分占细胞总面积比和脂质成分范围脂质/蛋白浓度比。
根据本公开实施例，其中，所述图谱组合模块，包括：按照预定顺序将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行排列，得到所述目标对象的图像特征图谱。
根据本公开实施例，其中，所述细胞代谢图像是基于拉曼成像的图像。
根据本公开实施例，其中，所述细胞类型包括：癌细胞、免疫细胞、淋巴细胞、见皮细胞、上皮细胞、血细胞或子粒细胞。
本公开实施例提供了一种基于机器学习的细胞分割和分型设备，包括：处理器，和存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令当由处理器执行时促使处理器执行上述方法。
本公开实施例提供了一种计算机可读记录介质，存储有计算机可执行指令，其中，所述计算机可执行指令当由处理器执行时促使处理器执行上述方法。
本公开实施例提供了一种深度神经网络模型执行图像分割的设备，包括：处理器，和存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令当由处理器执行时促使处理器执行上述方法。
本公开实施例提供了一种计算机可读记录介质，存储有计算机可执行指令，其中，所述计算机可执行指令当由处理器执行时促使处理器执行上述方法。
本公开实施例提供了一种基于机器学习的细胞分割和分型方法、装置、设备及介质。根据本公开提供的基于机器学习的细胞分割和分型方法，可利用机器学习分割模型对细胞进行准确的分割，可通过对细胞的特征图谱进行聚类来实现细胞的准确分型，进而实现对目标对象的病变程度进行准确判断。本公开提供的上述方法有效避免了病理医生主观因素的影响，而且无需对细胞形态造成损伤。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是示出根据本公开实施例的基于机器学习的细胞分割和分型方法的流程图；
图2是示出了根据本公开提供的机器学习分割模型对细胞代谢图像进行单细胞分割的效果图；
图3A示出了得到的与所述单细胞代谢图像对应的单细胞图像特征图谱中脂质含量的分布图；
图3B示出了针对该单病例得到的特征图谱；
图3C示出了癌细胞与正常细胞的示意图；
图4示出了根据本公开实施例的细胞分割和分型方法的示例图；
图5示出了对阳性细胞系和阴性细胞系的单细胞分型的效果图；
图6示出了代谢特征显著性差异参数（p-value）的值的示意图；
图7示出了单细胞代谢成像实现胃癌腹膜转移病例诊断的灵敏度（Sensitivity）和特异性（specificity）的示意图；
图8示出了根据本公开实施例的基于机器学习的细胞分割和分型装置800的框图；
图9示出了根据本公开实施例的基于机器学习的细胞分割和分型设备900的结构图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参考附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
在本说明书和附图中，基本上相同或相似的步骤和元素用相同或相似的附图标记来表示，并且对这些步骤和元素的重复描述将被省略。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。
目前，临床上确定癌细胞相关信息的方法受病理医生主观因素影响较大、一致性差而且还会对细胞形态造成损伤，这非常不利于后续对目标对象的病变程度进行判断。
为了解决上述问题，本公开提供了一种基于机器学习的细胞分割和分型方法。根据本公开提供的方法，可利用机器学习分割模型对细胞进行准确的分割，可通过对细胞的特征图谱进行聚类来实现细胞的准确分型，进而实现对目标对象的病变程度进行准确判断。本公开提供的上述方法有效避免了病理医生主观因素的影响，而且无需对细胞形态造成损伤。
下面将参照附图对上述本公开提供的基于机器学习的细胞分割和分型方法进行详细的说明。
图1是示出根据本公开实施例的基于机器学习的细胞分割和分型方法的流程图。
本公开提供的方法可以基于无标记、受激拉曼成像（如基于受激拉曼散射（Stimulated Raman Scattering，SRS）进行成像）方法来进行细胞分割和分型。受激拉曼技术利用两束激光的波长差来激发C-H区域特定化学键的分子振动。
参照图1，在步骤S110，可以获取目标对象的至少一个细胞代谢图像。
作为示例，目标对象可以是人体中器官或组织，如胃、肺。目标对象也可以是从人体中的器官或组织中获得的脱落细胞，如从胃部获得的脱落细胞，以判断胃部癌细胞的情况。
作为示例，细胞代谢图像可以是基于拉曼成像的图像。
作为示例，细胞代谢图像可以是通过一个通道获得的，如通过蛋白通道、脂质通道或DNA通道。
作为另一个示例，细胞代谢图像可以是通过多个通道获得的，例如包括蛋白通道、脂质通道和DNA通道的三个通道。
作为示例，对于单个病例（如胃癌病例或肺癌病例），可以通过一个或多个通道获得上述至少一个细胞代谢图像。
在步骤S120，可以利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像。
根据本公开实施例，利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像，可以包括：利用基于迁移学习（transferlearning）的神经网络对所述至少一个细胞代谢图像进行单细胞图像分割，以得到所述多个单细胞代谢图像。
作为示例，可以通过利用已有的单细胞分割数据库和神经网络分割模型（如关于荧光图像的单细胞分割的数据库和神经网络分割模型），以及少量的受激拉曼细胞图像与人工标注数据，使用迁移学习对上述内容进行训练，即可以得到需要使用的机器学习分割模型，从而实现高精准的单细胞代谢图像分割。
不同于传统的神经网络算法实现图像分割的方式，本公开提供的上述图像分割的方式，由于使用了基于迁移学习得到的上述机器学习分割模型，避免了大量临床数据的采集以及大量的人工（如病理医生专家）标注，这大大缩短了相关学习模型的开发周期，使得单细胞代谢成像技术的临床应用得到大大的推广。
根据本公开实施例，利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像，可以包括：利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行第一次单细胞图像分割；利用分水岭分割方式或泛洪分割方式对第一次单细胞分割后的图像进行第二次分割，得到所述多个单细胞代谢图像。
作为示例，可以通过利用已有的单细胞分割数据库和神经网络分割模型（如关于荧光图像的单细胞分割的数据库和神经网络分割模型），以及少量的受激拉曼细胞图像与人工标注数据，使用迁移学习对上述内容进行训练，即可以得到需要使用的基于迁移学习的神经网络，以对细胞代谢图像进行第一次单细胞图像分割。在进行第一次单细胞图像分割后的细胞代谢图像中可能会出现细胞离得非常近而造成分割不充分的问题，为了进一步提升单细胞分割准确性，可以利用分水岭分割方式（如分水岭（WaterShed）分割算法）或泛洪分割方式（如泛洪（flood-fill）算法）对第一次单细胞分割后的图像进行第二次分割，以得到所述多个单细胞代谢图像。
与传统通过手动圈划来进行单细胞分割的方式相比，本公开提供的上述分割方式可以在评价单细胞分割效果的相关参数方面具有优异的值，如f1 score参数的值可以达到95%，DICE参数的值可以达到89%。图2示出了根据本公开提供的机器学习分割模型对细胞代谢图像进行单细胞分割的效果图，其中，图2中的（a）表示本公开提供的机器学习分割模型的概念示图，64、128、256和512分别表示卷积核的大小分别是64 × 64、128 ×128、256 ×256和512 ×512；图2中的（b）表示两个细胞代谢图像进行单细胞图像分割后的效果图，其中分割出了多个单细胞代谢图像。由效果图中可以看出本公开提供的机器学习分割模型能够非常精准地对细胞代谢图像进行单细胞图像分割。此外，本公开提供的机器学习分割模型不限于对上述细胞代谢图像进行单细胞图像分割。实际上，本公开提供的机器学习分割模型可以对任何图像进行单细胞分割，如对荧光成像的图像和免疫组化拍摄的图像进行单细胞图像分割。
继续参考图1，在步骤S130，可以对所述多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与所述单细胞代谢图像对应的单细胞图像特征图谱，其中，所述单细胞图像特征图谱至少包括细胞代谢特征。
作为示例，可以通过已知的任何方式来对单细胞特征进行提取，如测量、计算等。每个单细胞代谢图像可以提取出多个单细胞特征，对所述多个单细胞特征进行组合（如排列）即可得到该单细胞图像特征图谱。
作为示例，细胞代谢特征可以包括以下项中的至少一项：脂质含量（LipidIntensity）、脂质浓度、蛋白含量、蛋白浓度、脱氧核糖核酸（DNA）浓度、脂质/蛋白含量比（Lipid /Protein Intensity）、脂质/蛋白浓度比、脂质/脱氧核糖核酸浓度比、脂滴数量、脂滴面积、脂滴面积占细胞总面积比、脂滴范围脂质/蛋白浓度比、脂质成分/蛋白成分面积比、脂质成分/脱氧核糖核酸成分面积比、脂质成分占细胞总面积比（Lipid AreaFraction）、蛋白成分占细胞总面积比和脂质成分范围脂质/蛋白浓度比。
如图3A所示，其中示出了得到的与所述单细胞代谢图像对应的单细胞图像特征图谱中脂质含量的分布图。从图3A所示的脂质含量分布图可以看出，该单细胞代谢图像中脂质含量在1.0-3.0之间的细胞数量比较多，并且随着脂质含量的增加，细胞所呈现的颜色也逐渐加深。如图3A所示，当脂质含量较低时（如在0.0-1.0之间），细胞颜色比较浅，如图3A中的（a）所示；当脂质含量比较多时（如在1.0-3.0之间），细胞颜色比较深，如图3A中的（b）所示；当脂质含量很多时（如在3.0-4.0之间），细胞颜色最深，如图3A中的（c）所示。
根据本公开实施例，所述单细胞图像特征图谱还可以包括细胞形态学特征。
作为示例，所述细胞形态学特征包括以下项中的至少一项：细胞面积（Area）、细胞形状球度（Round）、细胞边界环形度（Circularity）、细胞中心（Center）、细胞中心偏心率（Eccentricity）、当量直径（Equivalent Diameter）、细胞周长（Perimeter）、长轴长（MaxAxis Length）、短轴长、长轴/短轴比和长轴/短轴旋转角度（Orientation）。
在步骤S140，可以将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱。
根据本公开实施例，所述将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱，可以包括：按照预定顺序将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行排列，得到所述目标对象的图像特征图谱。
作为示例，可以将与每个单细胞代谢图像对应的单细胞图形特征图谱进行顺序组合即可得到目标对象的特征图谱，如得到关于来自胃部的脱落细胞的特征图谱。也就是说，将与每个单细胞代谢图像对应的单细胞图形特征图谱进行排列组合即可得到针对单病例（如胃癌）的特征图谱。如图3B所示，其中示出了针对该单病例得到的特征图谱，其中横轴表示各个单细胞，其取值为从第1个单细胞一直到最后一个单细胞；纵轴表示特征，其中选取了上述形态学特征和代谢特征中的7个特征作为示例；横轴和纵轴所包围的区域示出的颜色不同深浅的图形表示的是特征值的高低；当特征的值越高，其颜色越深。
继续参照图1，在步骤S150，可以通过对所述目标对象的图像特征图谱进行聚类以对所述细胞进行分型，其中，所述分型指示所述细胞所属的细胞类型。
根据本公开实施例，通过对所述目标对象的图像特征图谱进行聚类以对所述细胞进行分型，可以包括：对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量；基于所述不同类型细胞的数量，对所述细胞进行分型。
作为示例，可以通过以下方式中的至少一种方式对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量：k均值（K-means）聚类方式、层次聚类方式、自组织图（self-organization map，SOM）聚类方式以及模糊（Fuzzy c-means，FCM）聚类方式。
作为示例，所述细胞类型可以包括：癌细胞、免疫细胞（如中性粒细胞、嗜酸性粒细胞）、淋巴细胞、见皮细胞、上皮细胞、血细胞或子粒细胞。
作为示例，可以通过以下分类器中的至少一种分类器来基于所述不同类型细胞的数量对所述细胞进行分型：支持向量机（support vector machine learning, SVM）分类器、线性判别分类器、K邻域（K nearest neighbor, KNN）分类器、逻辑回归（logisticregression, LR）分类器、随机森林（random forest, RF）决策树分类器、虚拟神经网络（artificial neural network, ANN）分类器以及深度学习卷积神经网络（如AlexNet、ResNet、Inception、NasNet、VGG等）分类器。
通过上面的聚类方式可以有助于把相同或类似特征聚集在一起，从而得到不同类型的细胞的数量，然后根据聚类后相同类型的所有特征值的平均值即可以确定该细胞的类型。例如，第一类型的细胞数量为2000，第二类型的细胞数量为1000，第三类型的细胞数量为10000，针对第一类型的所有特征值而得到的平均值例如为1.3，针对第二类型的所有特征值而得到的平均值例如为0.8，针对第三类型的所有特征值而得到的平均值例如为2.2，而例如预先根据临床试验设定平均值在1以下的为上皮细胞，在1至2之间的为淋巴细胞，在2至3之间的为癌细胞，则由上述结果可以看出，第一类型的细胞为淋巴细胞，第二类型的细胞为上皮细胞，第三类型的细胞为癌细胞，以上仅作为说明性示例，本领域技术人员可以根据实际情况来灵活设定相应的值。
根据本公开实施例，本公开提供的细胞分割和分型方法还可以包括（图1中未示出）：对所述目标对象的图像特征图谱进行主成分分析，得到与每个单细胞图像特征图谱对应的主成分信息，其中，不同类型细胞的主成分信息不同；基于所述主成分信息，得到相同类型细胞的代谢特征靶点；根据代谢特征靶点确定目标对象的病变程度。
作为示例，对目标对象的图像特征图谱进行主成分分析（Principal ComponentAnalysis，PCA）有助于将获得的细胞的特征进行降维，从而便于量化各个特征。
作为示例，不同类型细胞的主成分信息不同，并且基于主成分信息可以得到相同类型细胞的代谢特征靶点（又称为显著性特征点），从而有助于得到同一类型脱落细胞的代谢特征中心位置。例如，主成分分析后，一个单细胞的所有特征降维为三个特征，然后将所有该相同类型的每个单细胞的所有降维后的特征进行汇总分析即可确定出该类型细胞的代谢特征中心位置，即代谢特征靶点。
作为示例，癌细胞代谢特征主成分与其他类型脱落细胞有明显差异，经过上述主成分分析与无监督学习聚类方式法实现单细胞分割和分型之后，得到如图3C所示癌细胞与正常细胞的示意图，其中，POS表示阳性病例，NEG表示阴性病例，PC1和PC2是主成分分析的轴，为正交关系；在图3C中，用大圈圈出的是正常细胞的区域，用小圈圈出的是肿瘤细胞区域，其中每一个点代表一个细胞；图3C中的A、B和C指示是细胞代谢图像中的肿瘤细胞所在的位置。
由上述无监督学习聚类算法实现单细胞分型可知，本公开提供的方法不需要大量SRS图像与人工标注也可以实现高精度的单细胞分型，这进一步缩短了相关模型的开发周期。此外，主成分分析联合聚类方式量化不同类型脱落细胞数与代谢特征靶点，作为训练例如胃癌腹膜诊断模型的特征输入，比输入未处理的图像特征训练的机器学习模型具有更高的准确性。
根据本公开实施例，所述根据代谢特征靶点确定目标对象的病变程度，可以包括：将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，确定所述目标对象的病变程度。
作为示例，以胃癌为例，可以将例如癌细胞的数量、上皮细胞的数量、免疫细胞的数量、血细胞的数量，癌细胞的代谢特征靶点、上皮细胞的代谢特征靶点、免疫细胞的代谢特征靶点、血细胞的代谢特征靶点，以及对应的实际探测结果（如癌症早期，癌症中期，癌症中晚期以及癌症晚期）输入到机器学习分类模型中进行训练，即可得到预先训练好的机器学习分类模型。
将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，可以快速精准地确定所述目标对象的病变程度，从而对目标对象进行快速精准诊断。例如确定目标对象的病变程度为腹膜转移阳性，则可以有助于快速精准诊断出结果“癌症晚期”，从而有助于医生进行针对性的治疗。
由上述结合图1至图3C对本公开提供的基于机器学习的细胞分割和分型方法可知，本公开提供的方法由于使用迁移学习来实现单细胞分割以及使用无监督学习聚类方式实现单细胞分割，从而在不需要大量SRS图像与人工标注的情况下也可以实现高精度的单细胞分割，这大大缩短了模型开发周期。此外，又由于主成分分析联合聚类方式量化不同类型脱落细胞数与代谢特征靶点，使得训练出的机器学习模型具有更高的准确性。由上述内容还可知，本公开提供的上述方法不会受病理医生主观因素的影响，能够避免对细胞形态造成损伤并实现对细胞的精准分型，使得单细胞代谢成像技术的临床应用得到大大的推广。
为了使上述本公开提供的基于机器学习的细胞分割和分型方法更加的清晰，接下来将以一个示例的形式对本公开提供的上述方法进行说明。
图4示出了根据本公开实施例的细胞分割和分型方法的示例图。
参照图4，在步骤a，基于拉曼成像技术，针对从胃癌患者的胃部获得的脱落细胞，通过蛋白通道和脂质通道这两个通道获得了两幅SRS单细胞代谢图像。
在步骤b，利用上述机器学习分割模型对上述两幅SRS单细胞代谢图像分别进行单细胞分割，得到多个单细胞代谢图像，如图中所示。
在步骤c，对所述两幅SRS单细胞代谢图像中的分割出的每个单细胞代谢图像进行单细胞特征提取，其中，提取的特征包括：脂质含量、脂质/蛋白含量比、脂质成分占细胞总面积比、蛋白成分占细胞总面积比、脂质成分范围脂质/蛋白浓度比、细胞形状球度、细胞中心偏心率和长轴/短轴比共八个特征。上述针对每个单细胞代谢图像提取的单细胞特征组合在一起即得到与所述单细胞代谢图像对应的单细胞图像特征图谱（图中示出了其中的脂质含量分布图），将与上述两幅SRS单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行顺序组合即可得到针对胃癌的特征图谱，如图中所示。
在步骤d，对该胃癌病例的特征图谱进行聚类（即采用无监督学习的方法）和主成分分析，以得到不同类型细胞的数量和相同类型细胞的代谢特征靶点。图中示出了针对该病例的每个单细胞的主成分分析的三个分量PC1、PC2和PC3的示意图以及单细胞分类的效果图。
在步骤e，将在步骤d获得的不同类型细胞的数量和相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型（即采用了监督学习方法的模型），确定出该胃癌病例为覆膜转移阳性，说明此时已达如癌症晚期。
由上述结合图4以示例的形式详细描述的本公开提供的细胞分割和分型方法可知，本公开提供的方法很好地结合了监督学习和无监督学习，提高了细胞分割、分型以及确定对象病变程度的准确性，避免了受病理医生主观因素的影响，而且未对细胞形态造成损伤。
本公开提供的上述方法在以肺癌和胃癌脱落细胞检测实例中具有优异的效果，如图5至7所示。
图5示出了对阳性细胞系和阴性细胞系的单细胞分型的效果图。在图5中，用细胞系来验证胃癌细胞内异常的脂质代谢。选择了两个细胞系进行测试，分别是阳性细胞系（如SNU）和阴性细胞系（如GES）。选择了7个细胞代谢特征进行提取，分别是脂质/蛋白含量比（Lipid /PRO Int）、脂质成分占细胞总面积比（Lipid area fraction）、蛋白含量（ProteinInt）、脂质含量（Lipid Int）、细胞面积（Area）、细胞形状球度（Round）、细胞边界环形度（Circle）。图5中的（a）示出的是多通道SRS图像；（b）示出的主成分分析和聚类后的效果图；（c）示出的是细胞代谢特征自相关系数；（d）示出了交叉验证统计单细胞分型的灵敏度与特异性，其中，真阳性正确率98.36%，假阳性错误率1.64%，假阴性错误率0%，以及真阴性正确率100%。从图中可以看出，根据本公开提供的方法实现的细胞分型的准确率为98.36%，特异性为100%。
图6示出了代谢特征显著性差异参数（p-value）的值的示意图。参照图6，统计对比胃癌腹膜转移/非转移病例腹腔灌洗脱落细胞的代谢特征，对比腹膜转移与非转移病例，单细胞代谢特征有明显差异，而且代谢特征比形态学特征的p-value 更小，进一步证明单细胞代谢成像技术提供的代谢与形态信息用于腹膜转移诊断比传统检测方法只提供形态学信息更准确。也就是说，从图6示出的结果可以看出，根据本公开提供的方法提取的包括细胞代谢特征的单细胞图像特征图谱能够比传统只提取细胞形态学特征的方法在确定胃癌的病变程度方面更加的准确。
图7示出了单细胞代谢成像实现胃癌腹膜转移病例诊断的灵敏度（Sensitivity）和特异性（specificity）的示意图。初步研究了34个病例的脱落细胞代谢特征，提取单病例的脱落细胞数与代谢特征靶点，机器学习算法实现胃癌腹膜转移/非转移预测。基于术中腹腔镜转移灶探测结果为金标准，交叉验证统计机器学习诊断模型的灵敏度和特异性。
参照图7，其中，（a）为对比34个阳性（POS）病例与阴性（NEG）病例的癌细胞（如异常淋巴细胞）代谢特征主成分，（b）为交叉验证结果，（c）为绘制灵敏度和特异性曲线计算的曲线下面积AUC。由图7中可以看出根据本公开提供的方法而实现的灵敏度和特异性分别为84.625%和85.71%，曲线下面积AUC=0.879。
基于图5至7的详细实验数据可知，基于本公开提供的方法的单细胞分割准确性95%左右；阳性/阴性细胞系验证单细胞分型的准确性达到98%以上；阴性/阳性胃癌病例的单细胞代谢特征有显著性差异，p-value远小于0.05；单细胞代谢成像用于腹膜转移预测的灵敏度、特异性达到85%，绘制灵敏度与（1-特异性）的关系图生成了ROC曲线，并计算了曲线下面积（AUC=0.89）。
此外，还以胰腺癌脱落细胞检测为实例，进行了实验。
具体地，从胰腺癌病例胰腺组织上提取少量胰腺癌脱落细胞，进行涂片，每个样品经过上述同样的样本处理、样本成像、成像数据分析后，用以区分正常组织/切缘组织/癌组织，实现术中切缘检测。
得到的实验数据为：正常组织/癌组织的单细胞代谢特征有显著性差异，p-value远小于0.05；单细胞代谢成像用于脱落细胞分型的灵敏度、特异性达到70%和85%，绘制灵敏度与（1-特异性）的关系图生成了ROC曲线，并计算了曲线下面积（AUC=0.8）；单细胞代谢成像用于组织切缘检测的灵敏度、特异性达到98%和98%，绘制灵敏度与（1-特异性）的关系图生成了ROC曲线，并计算了曲线下面积（AUC=0.98）。
由上述各种实验也可以得出，本公开提供的细胞分割和分型方法，灵敏度和特异性都很高，能够很好地应用于临床，为癌症的治疗提供了行之有效而又快速准确的新的方法。
本公开除了提供上述基于机器学习的细胞分割和分型方法之外，还提供了基于机器学习的细胞分割和分型装置。下面将结合图8对此进行说明。
图8示出了根据本公开实施例的基于机器学习的细胞分割和分型装置800的框图。上文针对基于机器学习的细胞分割和分型方法的说明同样适用于装置800，除非另有明确说明。
参照图8，所述装置800可以包括获取模块810、分割模块820、特征提取模块830、图谱组合模块840和分型模块850。
根据本公开实施例，获取模块810，可以被配置为获取目标对象的至少一个细胞代谢图像。
作为示例，目标对象可以是人体中器官或组织，如胃、肺。目标对象也可以是从人体中的器官或组织中获得的脱落细胞，如从胃部获得的脱落细胞，以判断胃部癌细胞的情况。
作为示例，细胞代谢图像可以是基于拉曼成像的图像。
作为示例，细胞代谢图像可以是通过一个通道获得的，如通过蛋白通道、脂质通道或DNA通道。
作为另一个示例，细胞代谢图像可以是通过多个通道获得的，例如包括蛋白通道、脂质通道和DNA通道的三个通道。
作为示例，对于单个病例（如胃癌病例或肺癌病例），可以通过一个或多个通道获得上述至少一个细胞代谢图像。
根据本公开实施例，分割模块820，可以被配置为利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像。
作为示例，分割模块820可以包括：利用基于迁移学习（transfer learning）的神经网络对所述至少一个细胞代谢图像进行单细胞图像分割，以得到所述多个单细胞代谢图像。
可以通过利用已有的单细胞分割数据库和神经网络分割模型（如关于荧光图像的单细胞分割的数据库和神经网络分割模型），以及少量的受激拉曼细胞图像与人工标注数据，使用迁移学习对上述内容进行训练，即可以得到需要使用的机器学习分割模型，从而实现高精准的单细胞代谢图像分割。
不同于传统的神经网络算法实现图像分割的方式，本公开提供的上述图像分割的方式，由于使用了基于迁移学习得到的上述机器学习分割模型，避免了大量临床数据的采集以及大量的人工（如病理医生专家）标注，这大大缩短了相关学习模型的开发周期，使得单细胞代谢成像技术的临床应用得到大大的推广。
作为另一示例，分割模块820可以包括：第一次分割模块，被配置为利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行第一次单细胞图像分割；第二次分割模块，被配置为利用分水岭分割方式或泛洪分割方式对第一次单细胞分割后的图像进行第二次分割，得到所述多个单细胞代谢图像。
根据本公开实施例，特征提取模块830，可以被配置为对所述多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与所述单细胞代谢图像对应的单细胞图像特征图谱，其中，所述单细胞图像特征图谱至少包括细胞代谢特征。
作为示例，可以通过已知的任何方式来对单细胞特征进行提取，如测量、计算等。每个单细胞代谢图像可以提取出多个单细胞特征，对所述多个单细胞特征进行组合（如排列）即可得到该单细胞图像特征图谱。
作为示例，细胞代谢特征可以包括以下项中的至少一项：脂质含量（LipidIntensity）、脂质浓度、蛋白含量、蛋白浓度、脱氧核糖核酸（DNA）浓度、脂质/蛋白含量比（Lipid /Protein Intensity）、脂质/蛋白浓度比、脂质/脱氧核糖核酸浓度比、脂滴数量、脂滴面积、脂滴面积占细胞总面积比、脂滴范围脂质/蛋白浓度比、脂质成分/蛋白成分面积比、脂质成分/脱氧核糖核酸成分面积比、脂质成分占细胞总面积比（Lipid AreaFraction）、蛋白成分占细胞总面积比和脂质成分范围脂质/蛋白浓度比。
根据本公开实施例，所述单细胞图像特征图谱还可以包括细胞形态学特征。
作为示例，所述细胞形态学特征包括以下项中的至少一项：细胞面积（Area）、细胞形状球度（Round）、细胞边界环形度（Circularity）、细胞中心（Center）、细胞中心偏心率（Eccentricity）、当量直径（Equivalent Diameter）、细胞周长（Perimeter）、长轴长（MaxAxis Length）、短轴长、长轴/短轴比和长轴/短轴旋转角度（Orientation）。
根据本公开实施例，图谱组合模块840，可以被配置为将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱。
作为示例，图谱组合模块840可以包括：按照预定顺序将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行排列，得到所述目标对象的图像特征图谱。如，可以将与每个单细胞代谢图像对应的单细胞图形特征图谱进行顺序组合即可得到目标对象的特征图谱，如得到关于来自胃部的脱落细胞的特征图谱。也就是说，将与每个单细胞代谢图像对应的单细胞图形特征图谱进行排列组合即可得到针对单病例（如胃癌）的特征图谱。
根据本公开实施例，分型模块850，可以被配置为通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，其中，所述分型指示所述细胞所属的细胞类型。
作为示例，分型模块850可以包括：对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量；基于所述不同类型细胞的数量，对所述细胞进行分型。
作为示例，可以通过以下方式中的至少一种方式对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量：k均值（K-means）聚类方式、层次聚类方式、自组织图（self-organization map，SOM）聚类方式以及模糊（Fuzzy c-means，FCM）聚类方式。
作为示例，所述细胞类型可以包括：癌细胞、免疫细胞（如中性粒细胞、嗜酸性粒细胞）、淋巴细胞、见皮细胞、上皮细胞、血细胞或子粒细胞。
作为示例，可以通过以下分类器中的至少一种分类器来基于所述不同类型细胞的数量对所述细胞进行分型：支持向量机（support vector machine learning, SVM）分类器、线性判别分类器、K邻域（K nearest neighbor, KNN）分类器、逻辑回归（logisticregression, LR）分类器、随机森林（random forest, RF）决策树分类器、虚拟神经网络（artificial neural network, ANN）分类器以及深度学习卷积神经网络（如AlexNet、ResNet、Inception、NasNet、VGG等）分类器。
通过上面的聚类方式可以有助于把相同或类似特征聚集在一起，从而得到不同类型的细胞的数量，然后根据聚类后相同类型的所有特征值的平均值即可以确定该细胞的类型。例如，第一类型的细胞数量为2000，第二类型的细胞数量为1000，第三类型的细胞数量为10000，针对第一类型的所有特征值而得到的平均值例如为1.3，针对第二类型的所有特征值而得到的平均值例如为0.8，针对第三类型的所有特征值而得到的平均值例如为2.2，而例如预先根据临床试验设定平均值在1以下的为上皮细胞，在1至2之间的为淋巴细胞，在2至3之间的为癌细胞，则由上述结果可以看出，第一类型的细胞为淋巴细胞，第二类型的细胞为上皮细胞，第三类型的细胞为癌细胞，以上仅作为说明性示例，本领域技术人员可以根据实际情况来灵活设定相应的值。
根据本公开实施例，本公开提供的细胞分割和分型装置还可以包括（图8中未示出）：主成分分析模块、靶点获得模块和病变确定模块，其中，主成分分析模块可以被配置为对所述目标对象的图像特征图谱进行主成分分析，得到与每个单细胞图像特征图谱对应的主成分信息，其中，不同类型细胞的主成分信息不同；靶点获得模块可以被配置为基于所述主成分信息，得到相同类型细胞的代谢特征靶点；病变确定模块可以被配置为根据代谢特征靶点确定目标对象的病变程度。
作为示例，对目标对象的图像特征图谱进行主成分分析（Principal ComponentAnalysis，PCA）有助于将获得的细胞的特征进行降维，从而便于量化各个特征。
根据本公开实施例，所述病变确定模块，包括：将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，确定所述目标对象的病变程度。
作为示例，以胃癌为例，可以将例如癌细胞的数量、上皮细胞的数量、免疫细胞的数量、血细胞的数量，癌细胞的代谢特征靶点、上皮细胞的代谢特征靶点、免疫细胞的代谢特征靶点、血细胞的代谢特征靶点，以及对应的实际探测结果（如癌症早期，癌症中期，癌症中晚期以及癌症晚期）输入到机器学习分类模型中进行训练，即可得到预先训练好的机器学习分类模型。
将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，可以快速精准地确定所述目标对象的病变程度，从而对目标对象进行快速精准诊断。例如确定目标对象的病变程度为腹膜转移阳性，则可以有助于快速精准诊断出结果“癌症晚期”，从而有助于医生进行针对性的治疗。
由于以上已经在描述根据本公开的基于机器学习的细胞分割和分型方法的过程中，对上述操作所涉及的内容的细节进行了介绍，因此这里为简洁起见不再赘述，相关细节可参照以上关于图1至图7的描述。
以上已经参照图1至图8描述了根据公开的实施例的基于机器学习的细胞分割和分型方法和装置。然而，应理解的是：图8所示的装置中的各个模块可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些模块可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。
需要说明的是，尽管以上在描述基于机器学习的细胞分割和分型装置800时将其划分为用于分别执行相应处理的模块，然而，本领域技术人员清楚的是，各模块执行的处理也可以在基于机器学习的细胞分割和分型装置不进行任何具体模块划分或者各模块之间并无明确划界的情况下执行。此外，以上参照图8描述的装置并不限于包括以上描述的模块，而是还可以根据需要增加一些其它模块（例如，存储模块、数据处理模块等），或者以上模块也可被组合。
此外，根据本公开的基于机器学习的细胞分割和分型方法可被记录在计算机可读记录介质中。具体地，根据本公开，可提供一种存储有计算机可执行指令的计算机可读记录介质，当所述计算机可执行指令被处理器执行时，可促使处理器执行如上所述的基于机器学习的细胞分割和分型方法。计算机可读记录介质的示例可包括磁介质（例如硬盘、软盘和磁带）；光学介质（例如CD-ROM和DVD）；磁光介质（例如，光盘）；以及特别配制用于存储并执行程序指令的硬件装置（例如，只读存储器（ROM）、随机存取存储器（RAM）、闪存等）。
此外，本公开还提供了一种基于机器学习的细胞分割和分型设备，接下来将结合图9进行说明。
图9示出了根据本公开实施例的基于机器学习的细胞分割和分型设备900的结构图。上文针对基于机器学习的细胞分割和分型方法的说明同样适用于设备900，除非另有明确说明。
参见图9，设备900可以包括处理器901和存储器902。处理器901和存储器902都可以通过总线903相连。
处理器901可以根据存储在存储器902中的程序执行各种动作和处理。具体地，处理器901可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或ARM架构的。
存储器902存储有计算机可执行指令，在计算机可执行指令被处理器901执行时实现上述由处理器执行的基于机器学习的细胞分割和分型方法。存储器902可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM）、可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）或闪存。易失性存储器可以是随机存取存储器（RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（SDRAM）、双倍数据速率同步动态随机存取存储器DDRSDRAM）、增强型同步动态随机存取存储器（ESDRAM）、同步连接动态随机存取存储器（SLDRAM）和直接内存总线随机存取存储器（DR RAM）。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其它方面可以在可以由控制器、微处理器或其它计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其它图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备，或其某些组合中实施。
在上面详细描述的本公开的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。

Claims (30)

1.一种基于机器学习的细胞分割和分型方法，包括：
获取目标对象的至少一个细胞代谢图像；
利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像；
对所述多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与所述单细胞代谢图像对应的单细胞图像特征图谱，其中，所述单细胞图像特征图谱至少包括细胞代谢特征；
将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱；
通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，其中，所述分型指示所述细胞所属的细胞类型。
2.如权利要求1所述的细胞分割和分型方法，其中，通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，包括：
对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量；
基于所述不同类型细胞的数量，对所述细胞进行分型。
3.如权利要求2所述的细胞分割和分型方法，其中，通过以下方式中的至少一种方式对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量：
k均值聚类方式、层次聚类方式、自组织图聚类方式以及模糊聚类方式。
4.如权利要求2所述的细胞分割和分型方法，其中，通过以下分类器中的至少一种分类器来基于所述不同类型细胞的数量对所述细胞进行分型：
支持向量机分类器、线性判别分类器、K邻域分类器、逻辑回归分类器、随机森林决策树分类器、虚拟神经网络分类器以及深度学习卷积神经网络分类器。
5.如权利要求2所述的细胞分割和分型方法，其中，所述方法还包括：
对所述目标对象的图像特征图谱进行主成分分析，得到与每个单细胞图像特征图谱对应的主成分信息，其中，不同类型细胞的主成分信息不同；
基于所述主成分信息，得到相同类型细胞的代谢特征靶点；
根据代谢特征靶点确定目标对象的病变程度。
6.如权利要求5所述的细胞分割和分型方法，其中，所述根据代谢特征靶点确定目标对象的病变程度，包括：
将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，确定所述目标对象的病变程度。
7.如权利要求1所述的细胞分割和分型方法，其中，所述利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像，包括：
利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行单细胞图像分割，得到所述多个单细胞代谢图像。
8.如权利要求1所述的细胞分割和分型方法，其中，所述利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像，包括：
利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行第一次单细胞图像分割；
利用分水岭分割方式或泛洪分割方式对第一次单细胞分割后的图像进行第二次分割，得到所述多个单细胞代谢图像。
9.如权利要求1所述的细胞分割和分型方法，其中，所述单细胞图像特征图谱还包括细胞形态学特征。
10.如权利要求9所述的细胞分割和分型方法，其中，所述细胞形态学特征包括以下项中的至少一项：细胞面积、细胞形状球度、细胞边界环形度、细胞中心、细胞中心偏心率、当量直径、细胞周长、长轴长、短轴长、长轴/短轴比和长轴/短轴旋转角度。
11.如权利要求9所述的细胞分割和分型方法，其中，所述细胞代谢特征包括以下项中的至少一项：脂质含量、脂质浓度、蛋白含量、蛋白浓度、脱氧核糖核酸浓度、脂质/蛋白含量比、脂质/蛋白浓度比、脂质/脱氧核糖核酸浓度比、脂滴数量、脂滴面积、脂滴面积占细胞总面积比、脂滴范围脂质/蛋白浓度比、脂质成分/蛋白成分面积比、脂质成分/脱氧核糖核酸成分面积比、脂质成分占细胞总面积比、蛋白成分占细胞总面积比和脂质成分范围脂质/蛋白浓度比。
12.如权利要求1所述的细胞分割和分型方法，其中，所述将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱，包括：
按照预定顺序将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行排列，得到所述目标对象的图像特征图谱。
13.如权利要求1至12中任一项所述的细胞分割和分型方法，其中，所述细胞代谢图像是基于拉曼成像的图像。
14.如权利要求1至12中任一项所述的细胞分割和分型方法，其中，所述细胞类型包括：癌细胞、免疫细胞、淋巴细胞、见皮细胞、上皮细胞、血细胞或子粒细胞。
15.一种基于机器学习的细胞分割和分型装置，包括：
获取模块，被配置为获取目标对象的至少一个细胞代谢图像；
分割模块，被配置为利用机器学习分割模型对所述至少一个细胞代谢图像进行单细胞图像分割，得到多个单细胞代谢图像；
特征提取模块，被配置为对所述多个单细胞代谢图像中的每个单细胞代谢图像进行单细胞特征提取，得到与所述单细胞代谢图像对应的单细胞图像特征图谱，其中，所述单细胞图像特征图谱至少包括细胞代谢特征；
图谱组合模块，被配置为将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行组合，得到所述目标对象的图像特征图谱；
分型模块，被配置为通过对所述目标对象的图像特征图谱进行聚类对所述细胞进行分型，其中，所述分型指示所述细胞所属的细胞类型。
16.如权利要求15所述的细胞分割和分型装置，其中，所述分型模块，包括：
对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量；
基于所述不同类型细胞的数量，对所述细胞进行分型。
17.如权利要求16所述的细胞分割和分型装置，其中，通过以下方式中的至少一种方式对所述目标对象的图像特征图谱进行聚类，得到不同类型细胞的数量：
k均值聚类方式、层次聚类方式、自组织特征图聚类方式以及模糊聚类方式。
18.如权利要求16所述的细胞分割和分型装置，其中，通过以下分类器中的至少一种分类器来基于所述不同类型细胞的数量对所述细胞进行分型：
支持向量机分类器、线性判别分类器、K邻域分类器、逻辑回归分类器、随机森林决策树分类器、虚拟神经网络分类器以及深度学习卷积神经网络分类器。
19.如权利要求16所述的细胞分割和分型装置，其中，所述装置还包括：
主成分分析模块，被配置为对所述目标对象的图像特征图谱进行主成分分析，得到与每个单细胞图像特征图谱对应的主成分信息，其中，不同类型细胞的主成分信息不同；
靶点获得模块，被配置为基于所述主成分信息，得到相同类型细胞的代谢特征靶点；
病变确定模块，被配置为根据代谢特征靶点确定目标对象的病变程度。
20.如权利要求19所述的细胞分割和分型装置，其中，所述病变确定模块，包括：
将所述不同类型细胞的数量以及所述相同类型细胞的代谢特征靶点输入到预先训练好的机器学习分类模型中，确定所述目标对象的病变程度。
21.如权利要求15所述的细胞分割和分型装置，其中，所述分割模块，包括：
利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行单细胞图像分割，得到所述多个单细胞代谢图像。
22.如权利要求15所述的细胞分割和分型装置，其中，所述分割模块，包括：
第一次分割模块，被配置为利用基于迁移学习的神经网络对所述至少一个细胞代谢图像进行第一次单细胞图像分割；
第二次分割模块，被配置为利用分水岭分割方式或泛洪分割方式对第一次单细胞分割后的图像进行第二次分割，得到所述多个单细胞代谢图像。
23.如权利要求15所述的细胞分割和分型装置，其中，所述单细胞图像特征图谱还包括细胞形态学特征。
24.如权利要求23所述的细胞分割和分型装置，其中，所述细胞形态学特征包括以下项中的至少一项：细胞面积、细胞形状球度、细胞边界环形度、细胞中心、细胞中心偏心率、当量直径、细胞周长、长轴长、短轴长、长轴/短轴比和长轴/短轴旋转角度。
25.如权利要求23所述的细胞分割和分型装置，其中，所述细胞代谢特征包括以下项中的至少一项：脂质含量、脂质浓度、蛋白含量、蛋白浓度、脱氧核糖核酸浓度、脂质/蛋白含量比、脂质/蛋白浓度比、脂质/脱氧核糖核酸浓度比、脂滴数量、脂滴面积、脂滴面积占细胞总面积比、脂滴范围脂质/蛋白浓度比、脂质成分/蛋白成分面积比、脂质成分/脱氧核糖核酸成分面积比、脂质成分占细胞总面积比、蛋白成分占细胞总面积比和脂质成分范围脂质/蛋白浓度比。
26.如权利要求15所述的细胞分割和分型装置，其中，所述图谱组合模块，包括：
按照预定顺序将与所述多个单细胞代谢图像中的每个单细胞代谢图像对应的单细胞图像特征图谱进行排列，得到所述目标对象的图像特征图谱。
27.如权利要求15至26中任一项所述的细胞分割和分型装置，其中，所述细胞代谢图像是基于拉曼成像的图像。
28.如权利要求15至26中任一项所述的细胞分割和分型装置，其中，所述细胞类型包括：癌细胞、免疫细胞、淋巴细胞、见皮细胞、上皮细胞、血细胞或子粒细胞。
29.一种基于机器学习的细胞分割和分型设备，包括：
处理器，和存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令当由处理器执行时促使处理器执行如权利要求1-14中的任一项所述的方法。
30.一种计算机可读记录介质，存储有计算机可执行指令，其中，所述计算机可执行指令当由处理器执行时促使处理器执行如权利要求1-14中的任一项所述的方法。
CN202111628829.2A 2021-12-29 2021-12-29 基于机器学习的细胞分割和分型方法、装置、设备及介质 Active CN113989294B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111628829.2A CN113989294B (zh) 2021-12-29 2021-12-29 基于机器学习的细胞分割和分型方法、装置、设备及介质
PCT/CN2022/130989 WO2023124562A1 (zh) 2021-12-29 2022-11-10 基于机器学习的细胞分割和分型方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111628829.2A CN113989294B (zh) 2021-12-29 2021-12-29 基于机器学习的细胞分割和分型方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113989294A true CN113989294A (zh) 2022-01-28
CN113989294B CN113989294B (zh) 2022-07-05

Family

ID=79734865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111628829.2A Active CN113989294B (zh) 2021-12-29 2021-12-29 基于机器学习的细胞分割和分型方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN113989294B (zh)
WO (1) WO2023124562A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018760A (zh) * 2022-04-14 2022-09-06 华南师范大学 一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法
CN116309280A (zh) * 2022-12-16 2023-06-23 上海药明康德新药开发有限公司 一种淋巴细胞标注方法和系统
WO2023124562A1 (zh) * 2021-12-29 2023-07-06 北京航空航天大学 基于机器学习的细胞分割和分型方法、装置、设备及介质
CN117216724A (zh) * 2023-08-22 2023-12-12 北京石油化工学院 一种微生物培养过程中多种物质实时检测的方法
WO2024016407A1 (zh) * 2022-07-21 2024-01-25 上海交通大学 一种基于异质性的细胞代谢网络建模方法及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137338A1 (en) * 2016-11-16 2018-05-17 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN111145209A (zh) * 2019-12-26 2020-05-12 北京推想科技有限公司 一种医学图像分割方法、装置、设备及存储介质
CN112215807A (zh) * 2020-09-24 2021-01-12 北京航空航天大学 基于深度学习的细胞图像自动分类方法及系统
CN112215801A (zh) * 2020-09-14 2021-01-12 北京航空航天大学 一种基于深度学习和机器学习的病理图像分类方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102534936B1 (ko) * 2018-10-24 2023-05-22 삼성에스디에스 주식회사 영상 분류 장치 및 방법
CN110705403A (zh) * 2019-09-19 2020-01-17 平安科技（深圳）有限公司 细胞分类方法、装置、介质及电子设备
CN113989294B (zh) * 2021-12-29 2022-07-05 北京航空航天大学 基于机器学习的细胞分割和分型方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137338A1 (en) * 2016-11-16 2018-05-17 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN111145209A (zh) * 2019-12-26 2020-05-12 北京推想科技有限公司 一种医学图像分割方法、装置、设备及存储介质
CN112215801A (zh) * 2020-09-14 2021-01-12 北京航空航天大学 一种基于深度学习和机器学习的病理图像分类方法及系统
CN112215807A (zh) * 2020-09-24 2021-01-12 北京航空航天大学 基于深度学习的细胞图像自动分类方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124562A1 (zh) * 2021-12-29 2023-07-06 北京航空航天大学 基于机器学习的细胞分割和分型方法、装置、设备及介质
CN115018760A (zh) * 2022-04-14 2022-09-06 华南师范大学 一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法
WO2024016407A1 (zh) * 2022-07-21 2024-01-25 上海交通大学 一种基于异质性的细胞代谢网络建模方法及其应用
CN116309280A (zh) * 2022-12-16 2023-06-23 上海药明康德新药开发有限公司 一种淋巴细胞标注方法和系统
CN117216724A (zh) * 2023-08-22 2023-12-12 北京石油化工学院 一种微生物培养过程中多种物质实时检测的方法

Also Published As

Publication number Publication date
WO2023124562A1 (zh) 2023-07-06
CN113989294B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN113989294B (zh) 基于机器学习的细胞分割和分型方法、装置、设备及介质
US20240312604A1 (en) Tumor cell content evaluation method, system and computer device
US10528848B2 (en) Histomorphometric classifier to predict cardiac failure from whole-slide hematoxylin and eosin stained images
US10846367B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) with integrated radiomic and pathomic features
US9430829B2 (en) Automatic detection of mitosis using handcrafted and convolutional neural network features
US10492723B2 (en) Predicting immunotherapy response in non-small cell lung cancer patients with quantitative vessel tortuosity
Hussain et al. Cascaded regression neural nets for kidney localization and segmentation-free volume estimation
Hwang et al. Improved classification and localization approach to small bowel capsule endoscopy using convolutional neural network
US20230041229A1 (en) Systems and methods for designing accurate fluorescence in-situ hybridization probe detection on microscopic blood cell images using machine learning
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
US20220108123A1 (en) Tissue microenvironment analysis based on tiered classification and clustering analysis of digital pathology images
Shen et al. Sparse bayesian learning for identifying imaging biomarkers in AD prediction
CN114511523B (zh) 基于自监督学习的胃癌分子亚型分类方法及装置
Zhang et al. 3D‐PulCNN: Pulmonary cancer classification from hyperspectral images using convolution combination unit based CNN
CN114841947A (zh) 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置
Xiao et al. MFMANet: Multi-feature Multi-attention Network for efficient subtype classification on non-small cell lung cancer CT images
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Quindós et al. Self-supervised out-of-distribution detection in wireless capsule endoscopy images
CN115631387B (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置
Adhikary et al. Feature assisted cervical cancer screening through DIC cell images
CN117038060A (zh) 一种基于机器学习级联的拉曼光谱分子检测及成像装置
Dy et al. Domain Adaptation using Silver Standard Labels for Ki-67 Scoring in Digital Pathology A Step Closer to Widescale Deployment
Saumiya et al. Unified automated deep learning framework for segmentation and classification of liver tumors
CN116740386A (zh) 图像处理方法、装置、设备和计算机可读存储介质
Dickson et al. A Dual Channel Multiscale Convolution U-Net Methodfor Liver Tumor Segmentation from Abdomen CT Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant