CN109636782A - 一种细胞类型分析模型训练方法、装置及分析方法 - Google Patents

一种细胞类型分析模型训练方法、装置及分析方法 Download PDF

Info

Publication number
CN109636782A
CN109636782A CN201811459149.0A CN201811459149A CN109636782A CN 109636782 A CN109636782 A CN 109636782A CN 201811459149 A CN201811459149 A CN 201811459149A CN 109636782 A CN109636782 A CN 109636782A
Authority
CN
China
Prior art keywords
image
network model
area
individual cells
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811459149.0A
Other languages
English (en)
Inventor
王志岗
汝昆
贺环宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Deep Analysis Intelligent Technology Co Ltd
Original Assignee
Suzhou Deep Analysis Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Deep Analysis Intelligent Technology Co Ltd filed Critical Suzhou Deep Analysis Intelligent Technology Co Ltd
Priority to CN201811459149.0A priority Critical patent/CN109636782A/zh
Publication of CN109636782A publication Critical patent/CN109636782A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供了一种细胞类型分析模型训练方法,包括:获取包含单个细胞图像的第一样本图像;以及将所述第一样本图像及对应的细胞类型作为样本训练第一神经网络模型,其中,所述第一神经网络模型构造为识别单个细胞的类型。通过将单个细胞图像的获取和识别分开为两个部分分别实现,只将技术要求较高的识别细胞类型部分由第一神经网络模型实现,降低了第一神经网络模型的复杂程度和计算量,从而也能提高分析的效率。并且,人工智能在大量的样本数据的支持下,具有较高的准确性和一致性,为医生诊断疾病提高准确有效的数据依据。

Description

一种细胞类型分析模型训练方法、装置及分析方法
技术领域
本发明涉及医学图像处理领域,具体涉及一种细胞类型分析模型训练方法、装置及分析方法。
背景技术
血液中各类细胞的数量和形态能够为医生诊断提供非常有价值的信息,例如在判断一些严重的疾病(如白血病等)时,血液中的某些特定的细胞的数量会出现明显的区别,因此,通过对血液中各类细胞数量的统计具有很好的医学诊断价值。现有的统计血液中各类细胞数量的方法是在显微镜下用肉眼去一个个统计和判断各类细胞的数量和类型,这样的方法不仅费时费力,工作量十分繁重,并且该统计工作需要具有相当医学知识的专业人员,这就进一步加重了每个工作人员的工作量,另外,由于细胞的成长变化过程是一个连续的过程,因而通过细胞的形态很难准确的判断其类型,这也会造成不同的工作人员会有一定的判断差异。因此,现有的通过人工统计的方法存在费时费力且准确性和一致性不高。
发明内容
有鉴于此,本申请实施例致力于提供一种细胞类型分析模型训练方法、设备及分析方法,解决了上述人工统计费时费力且准确性和一致性不高的问题。
根据本发明的一方面,本发明一实施例提供的一种细胞类型分析模型训练方法,包括:获取包含单个细胞图像的第一样本图像,其中所述单个细胞图像包括细胞核区域和细胞质区域;以及将所述第一样本图像及对应的细胞类型作为样本训练第一神经网络模型,其中,所述第一神经网络模型构造为根据包括所述单个细胞图像的细胞区域图像识别单个细胞的类型。
在一实施例中,所述获取包含单个细胞图像的第一样本图像包括:将包含细胞核区域的第二样本图像输入第二神经网络模型,通过所述第二神经网络模型确定包含所述细胞核区域的细胞边界,以获取所述第一样本图像。
在一实施例中,所述方法还包括:删除获取的所述第一样本图像中除所述单个细胞图像以外的其他图像,并将删除所述其他图像的所述第一样本图像及对应的细胞类型作为样本训练所述第一神经网络模型。
在一实施例中,所述方法还包括:用不同的颜色标注所述第一样本图像中的所述单个细胞图像,将标注颜色的所述第一样本图像及对应的细胞类型作为样本训练所述第一神经网络模型。
在一实施例中,所述第二神经网络模型的训练方法包括:将包含所述细胞核区域的所述第二样本图像及对应的所述第一样本图像作为样本训练所述第二神经网络模型,其中,所述第二神经网络模型构造为从血液样本图像中分割出包括所述单个细胞的细胞区域图像。
在一实施例中,所述第二神经网络模型的训练方法包括:通过人工标定的方式获取所述第一样本图像和/或所述第二样本图像。
根据本发明的另一方面,本发明一实施例提供的一种细胞类型分析方法,包括:选取血液样本图像中的待分析区域;确定所述待分析区域内的细胞核区域;分割出包括单个细胞图像的细胞区域图像,其中,所述单个细胞图像包括所述细胞核区域和细胞质区域;以及将所述细胞区域图像输入第一神经网络模型,通过所述第一神经网络模型识别单个细胞的类型;其中,所述第一神经网络模型通过如上任一项所述的方法训练。
在一实施例中,所述分割出包括单个细胞图像的细胞区域图像包括:确定包含所述细胞核区域的细胞边界以分割出包括单个细胞图像的细胞区域图像。
在一实施例中,所述确定包含所述细胞核区域的细胞边界包括:确定包含所述细胞核区域的待分割区域;将所述待分割区域的图像输入所述第二神经网络模型,通过所述第二神经网络模型确定包含所述细胞核区域的细胞边界。
在一实施例中,所述待分割区域以所述细胞核区域的重心为中心。
在一实施例中,所述待分割区域的面积比所述细胞核区域的面积大10%-15%。
在一实施例中,所述确定所述待分析区域内的细胞核区域包括:选取满足预设颜色条件的连续区域为所述待分析区域内的所述细胞核区域。
在一实施例中,所述满足预设颜色条件的连续区域包括:所述连续区域的红、绿、蓝三个颜色通道分量值分别在预设的阈值范围内。
在一实施例中,所述确定所述待分析区域内的细胞核区域包括:选择相同颜色的连续区域;判断所述连续区域是否满足预设颜色条件;当所述连续区域满足所述预设颜色条件时,判断所述连续区域的面积是否大于第一面积阈值且小于第二面积阈值;以及当所述连续区域的面积大于第一面积阈值且小于第二面积阈值时,选取所述连续区域为所述待分析区域内的所述细胞核区域。
在进一步的实施例中,所述确定所述待分析区域内的细胞核区域还包括:当所述连续区域的面积大于或等于所述第二面积阈值时,将所述连续区域分割成多个所述细胞核区域。
在一实施例中,所述将所述连续区域分割成多个所述细胞核区域包括:通过等比例缩小所述连续区域的图像,将所述连续区域分割成多个所述细胞核区域。
在进一步的实施例中,所述确定所述待分析区域内的细胞核区域还包括:当所述连续区域的面积小于或等于所述第一面积阈值时,判断包含所述连续区域的预设第三面积阈值范围内是否存在其他满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的连续区域;若存在其他满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的连续区域,将所述预设第三面积阈值范围内的满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的所有所述连续区域合并成一个所述细胞核区域。
在一实施例中,所述确定所述待分析区域内的细胞核区域还包括:以所述待分析区域的相互垂直的两个边界的方向分别为坐标轴建立坐标系;当确定的所述细胞核区域内至少存在一个点在所述坐标轴上时,放弃对该所述细胞核区域的后续处理。
在一实施例中,所述确定所述待分析区域内的细胞核区域包括:将所述待分析区域的图像输入第三神经网络模型,通过所述第三神经网络模型确定所述待分析区域内的所述细胞核区域。
在一实施例中,所述待分析区域包括载玻片上的血液样本散开方向两端的中段部分;优选地,所述中段部分的宽度为所述血液样本散开宽度的1/3。
在一实施例中,所述选取血液样本图像中的待分析区域包括:依次选取多个视野区域中的一个作为待分析区域。
在一实施例中,相邻的两个所述视野区域的重叠区域在视野移动方向上的长度大于预设长度阈值;优选地,所述预设长度阈值为4-5微米。
在一实施例中,所述依次选取多个视野区域中的一个作为待分析区域包括:对所述多个视野区域的图像进行坐标标记,根据所述坐标标记依次选取所述多个视野区域中的一个作为所述待分析区域。
在一实施例中,所述将所述细胞区域图像输入第一神经网络模型包括:删除分割出的所述细胞区域图像中除所述单个细胞图像以外的其他图像,将删除所述其他图像的所述细胞区域图像输入所述第一神经网络模型。
在一实施例中,所述方法还包括:将重合的多个所述细胞区域图像合并为一个所述细胞区域图像。
在一实施例中,所述通过所述第一神经网络模型识别单个细胞的类型包括:分别计算单个细胞为各种细胞类型的置信值,并根据所述置信值确定所述单个细胞的类型。
在一实施例中,所述根据所述置信值确定所述单个细胞的类型包括:当最大的置信值大于预设置信阈值时,确定所述单个细胞为所述最大的置信值所对应的类型。
在一实施例中,所述根据所述置信值确定所述单个细胞的类型包括:当最大的置信值小于或等于预设置信阈值时,标记出置信值最大的至少两种类型及对应的置信值。
在一实施例中,所述标记出置信值最大的至少两种类型及对应的置信值包括:用不同颜色标记出置信值最大的至少两种类型及对应的置信值。
根据本发明的另一方面,本发明一实施例提供的一种细胞类型分析模型训练装置,包括:获取模块,构造为获取包含单个细胞图像的第一样本图像,其中所述单个细胞图像包括细胞核区域和细胞质区域;以及第一神经网络模型训练模块,构造为将所述第一样本图像及对应的细胞类型作为样本训练第一神经网络模型,其中,所述第一神经网络模型构造为根据包括所述单个细胞图像的细胞区域图像识别单个细胞的类型。
在一实施例中,所述获取模块进一步配置为:将包含细胞核区域的第二样本图像输入第二神经网络模型,通过所述第二神经网络模型确定包含所述细胞核区域的细胞边界,以获取所述第一样本图像。
在一实施例中,所述装置还包括:预处理模块,构造为删除获取的所述第一样本图像中除所述单个细胞图像以外的其他图像,并将删除所述其他图像的所述第一样本图像及对应的细胞类型作为样本训练所述第一神经网络模型。
在一实施例中,所述装置还包括:标注模块,构造为用不同的颜色标注所述第一样本图像中的所述单个细胞图像,将标注颜色的所述第一样本图像及对应的细胞类型作为样本训练所述第一神经网络模型。
在一实施例中,所述装置还包括:第二神经网络模型训练模块,构造为将包含所述细胞核区域的所述第二样本图像及对应的所述第一样本图像作为样本训练所述第二神经网络模型,其中,所述第二神经网络模型构造为从血液样本图像中分割出包括所述单个细胞的细胞区域图像。
在一实施例中,所述第一样本图像和/或所述第二样本图像通过人工标定的方式获取。
根据本发明的另一方面,本发明一实施例提供的一种细胞类型分析装置,包括:选取模块,构造为选取血液样本图像中的待分析区域;细胞核确定模块,构造为确定所述待分析区域内的细胞核区域;细胞区域分割模块,构造为分割出包括单个细胞图像的细胞区域图像,其中,所述单个细胞图像包括所述细胞核区域和细胞质区域;以及细胞类型识别模块,构造为将所述细胞区域图像输入第一神经网络模型,通过所述第一神经网络模型识别单个细胞的类型,其中,所述第一神经网络模型通过如上任一项所述的方法训练。
在一实施例中,所述细胞区域分割模块进一步配置为:确定包含所述细胞核区域的细胞边界以分割出包括单个细胞图像的细胞区域图像。
在一实施例中,所述细胞区域分割模块进一步配置为:确定包含所述细胞核区域的待分割区域;将所述待分割区域的图像输入第二神经网络模型,通过所述第二神经网络模型确定包含所述细胞核区域的细胞边界。
在一实施例中,所述待分割区域以所述细胞核区域的重心为中心。
在一实施例中,所述待分割区域的面积比所述细胞核区域的面积大10%-15%。
在一实施例中,所述细胞核确定模块进一步配置为:选取满足预设颜色条件的连续区域为所述待分析区域内的所述细胞核区域。
在一实施例中,所述细胞核确定模块进一步配置为:所述连续区域的红、绿、蓝三个颜色通道分量值分别在预设的阈值范围内。
在一实施例中,所述细胞核确定模块包括:选取单元,构造为选择相同颜色的连续区域;第一判断单元,构造为判断所述连续区域示范满足预设颜色条件;第二判断单元,构造为当所述连续区域满足所述预设颜色条件时,判断所述连续区域的面积是否大于第一面积阈值且小于第二面积阈值;以及细胞核选取单元,构造为当所述连续区域的面积大于第一面积阈值且小于第二面积阈值时,选取所述连续区域为所述待分析区域内的所述细胞核区域。
在进一步的实施例中,所述第二判断单元进一步配置为:当所述连续区域的面积大于或等于所述第二面积阈值时,将所述连续区域分割成多个所述细胞核区域。
在一实施例中,所述细胞核确定模块进一步配置为:通过等比例缩小所述连续区域的图像,将所述连续区域分割成多个所述细胞核区域。
在进一步的实施例中,所述细胞核确定模块进一步包括:第三判断单元,构造为当所述连续区域的面积均小于或等于所述第一面积阈值时,判断包含所述连续区域的预设第三面积阈值范围内是否存在其他满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的连续区域;若存在其他满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的连续区域,将所述预设第三面积阈值范围内的满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的所有所述连续区域合并成一个所述细胞核区域。
在一实施例中,所述细胞核确定模块进一步配置为:以所述待分析区域的相互垂直的两个边界的方向分别为坐标轴建立坐标系;当确定的所述细胞核区域内至少存在一个点在所述坐标轴上时,放弃对该所述细胞核区域的后续处理。
在一实施例中,所述细胞核确定模块进一步配置为:将所述待分析区域的图像输入第三神经网络模型,通过所述第三神经网络模型确定所述待分析区域内的所述细胞核区域。
在一实施例中,所述待分析区域包括载玻片上的血液样本散开方向两端的中段部分;优选地,所述中段部分的宽度为所述血液样本散开宽度的1/3。
在一实施例中,所述选取模块进一步配置为:依次选取多个视野区域中的一个作为待分析区域。
在一实施例中,相邻的两个所述视野区域的重叠区域在视野移动方向上的长度大于预设长度阈值;优选地,所述预设长度阈值为4-5微米。
在一实施例中,所述选取模块进一步配置为:对所述多个视野区域的图像进行坐标标记,根据所述坐标标记依次选取所述多个视野区域中的一个作为所述待分析区域。
在一实施例中,所述细胞类型识别模块进一步配置为:删除分割出的所述细胞区域图像中除所述单个细胞图像以外的其他图像,将删除所述其他图像的所述细胞区域图像输入所述第一神经网络模型。
在一实施例中,所述装置还包括:查重模块,构造为将重合的多个所述细胞区域图像合并为一个所述细胞区域图像。
在一实施例中,所述细胞类型识别模块包括:置信值计算单元,构造为分别计算单个细胞为各种细胞类型的置信值,并根据所述置信值确定所述单个细胞的类型。
在一实施例中,所述细胞类型识别模块进一步包括:类型确定单元,构造为当最大的置信值大于预设置信阈值时,确定所述单个细胞为所述最大的置信值所对应的类型。
在一实施例中,所述细胞类型识别模块进一步包括:置信值标记单元,构造为当最大的置信值小于或等于预设置信阈值时,标记出置信值最大的至少两种类型及对应的置信值。
在一实施例中,所述置信值标记单元进一步配置为:用不同颜色标记出置信值最大的至少两种类型及对应的置信值。
根据本发明的另一方面,本发明一实施例提供的一种电子设备,包括:处理器;存储器;以及存储在所述存储器中的计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上任一项所述的方法。
根据本发明的另一方面,本发明一实施例提供的一种计算机程序产品,包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上任一项所述的方法。
根据本发明的另一方面,本发明一实施例提供的一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上任一项所述方法的步骤。
本申请实施例提供的细胞类型分析模型训练方法,通过将单个细胞图像的获取和识别分开为两个部分分别实现,只将技术要求较高的识别细胞类型部分由第一神经网络模型实现,降低了第一神经网络模型的复杂程度和计算量,从而也能提高分析的效率。通过上述步骤实现了人工智能代替人工识别细胞,大幅提高了分析的工作效率,并且通过大量的实际数据学习,可以逐步提高分析的准确性及结果的一致性,为医生诊断提供可靠的数据支持。
附图说明
图1所示为本发明实施例分析的血液样本图像的示意图。
图2所示为本发明一实施例提供的一种细胞类型分析模型训练方法的流程图。
图3所示为本发明另一实施例提供的一种细胞类型分析模型训练方法的流程图。
图4所示为本发明另一实施例提供的一种细胞类型分析模型训练方法的流程图。
图5所示为本发明另一实施例提供的一种细胞类型分析模型训练方法的流程图。
图6所示为本发明一实施例提供的一种细胞类型分析方法的流程图。
图7所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。
图8所示为本发明一实施例提供的确定细胞核区域方法的流程图。
图9所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。
图10所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。
图11所示为本发明一实施例提供的确定细胞边界方法的流程图。
图12所示为本发明一实施例提供的识别细胞类型方法的流程图。
图13所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。
图14所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。
图15所示为本发明一实施例提供的一种细胞类型分析模型训练装置的结构示意图。
图16所示为本发明另一实施例提供的一种细胞类型分析模型训练装置的结构示意图。
图17所示为本发明另一实施例提供的一种细胞类型分析模型训练装置的结构示意图。
图18所示为本发明另一实施例提供的一种细胞类型分析模型训练装置的结构示意图。
图19所示为本发明一实施例提供的一种细胞类型分析装置的结构示意图。
图20所示为本发明另一实施例提供的一种细胞类型分析装置的结构示意图。
图21所示为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
血液细胞大致分为三类:红细胞、白细胞和血小板,其中白细胞又由淋巴细胞、单核细胞、中性粒细胞(细分为中性杆状核粒细胞和中性分叶核粒细胞)、嗜酸性粒细胞、嗜碱性粒细胞五个亚类组成。在生物学分析领域,尤其是临床检验分析领域,针对不同亚类白细胞进行准确的分类对于诊断和研究有着非常重要的作用,而各个亚类白细胞含量的变化在临床上被用作诊断和治疗的重要指标。例如,急性细菌性感染会造成中性粒细胞增多,寄生虫感染和过敏性疾病等会造成嗜酸性粒细胞增多。
目前,白细胞计数法通常为目测计数法,目测计数法是在计数板上用镜检进行计数的方法,可不经处理直接进行计数,也可先用染色剂将血细胞细胞核染色后再进行计数。然而,目测计数法需要专业的人员来完成,因此,工作量大、效率低,并且结果不准确、一致性不高。
出于解决目测计数法的上述缺点,本申请实施例提供了一种细胞类型分析模型训练方法、装置及分析方法,通过训练神经网络模型并利用该神经网络模型实现自动识别白细胞类型,从而统计出血液中的各类白细胞的数量。通过人工智能代替现有的人工目测,能够大幅的提高工作效率,并且,人工智能在大量的样本数据的支持下,具有较高的准确性和一致性,为医生诊断疾病提高准确有效的数据依据。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
图1所示为本发明实施例分析的血液样本图像的示意图,其中,1为待分析区域、2为单个细胞图像、3为细胞核区域、4为细胞区域图像。应当理解,图1是为了更加清楚明确的说明本申请实施例的实现方式而给出的示例性的血液样本图像,并非实际应用中血液样本的真实图像。
图2所示为本发明一实施例提供的一种细胞类型分析模型训练方法的流程图。如图2所示,该训练方法包括如下步骤:
步骤110:获取包含单个细胞图像的第一样本图像。其中,单个细胞图像包括细胞核区域和细胞质区域,第一样本图像包括确定细胞边界的单个细胞图像。
可选地,第一样本图像的获取方法可以是:将包含细胞核区域的第二样本图像输入第二神经网络模型,通过第二神经网络模型确定包含细胞核区域的细胞边界,以获取第一样本图像。其中,第二神经网络模型构造为从血液样本图像中分割出包括单个细胞的细胞区域图像。第二神经网络模型作为第一神经网络模型的前序模型,将第二神经网络分割出的细胞区域图像作为第一神经网络模型的输入,对应的细胞类型作为第一神经网络模型的输出,以该输入-输出作为第一神经网络模型的训练集中的样本,通过第一神经网络模型实现单个细胞的识别。
可选地,第一样本图像还可以通过人工标定的方式获取。第一样本图像的获取即在包含细胞核区域的第二样本图像上确定细胞边界,可以由不具备特定的医学知识的人员实现,因此,第一样本图像可以通过人工标定获取。
步骤120:将第一样本图像及对应的细胞类型作为样本训练第一神经网络模型。其中,第一神经网络模型构造为根据包括单个细胞图像的细胞区域图像识别单个细胞的类型。第一样本图像对应的细胞类型可以由具备特定的医学知识的人员实现,通过大量的样本训练第一神经网络模型可以提高第一神经网络模型的识别精度。
通过将单个细胞图像的获取和识别分开为两个部分分别实现,将技术要求较低的获取单个细胞图像部分由人工或其他方式实现,而将技术要求较高的识别细胞类型部分由第一神经网络模型实现,降低了第一神经网络模型的复杂程度和计算量,从而也能提高分析的效率。
图3所示为本发明另一实施例提供的一种细胞类型分析模型训练方法的流程图。如图3所示,上述方法还可以包括:
步骤130:删除获取的第一样本图像中除单个细胞图像2以外的其他图像。
步骤140:将删除其他图像的第一样本图像及对应的细胞类型作为样本训练第一神经网络模型。
将第一样本图像中除单个细胞图像以外的其他图像删除,并将删除其他图像的第一样本图像及对应的细胞类型作为样本加入第一神经网络模型的训练集中,排除了其他图像对识别单个细胞的类型的干扰,从而提高了识别的准确性以及识别的效率。
图4所示为本发明另一实施例提供的一种细胞类型分析模型训练方法的流程图。如图4所示,上述方法还可以包括:
步骤150:用不同的颜色标注第一样本图像中的所述单个细胞图像。
步骤160:将标注颜色的第一样本图像及对应的细胞类型作为样本训练第一神经网络模型。
利用不同的颜色标注第一样本图像中的单个细胞图像,可以清楚区分不同的单个细胞区域(特别是临近的单个细胞区域)之间的边界,避免相互干扰,从而提高识别的准确性。
可选地,第一神经网络模型可以是卷积神经网络模型。应当理解,第一神经网络模型还可以是其他神经网络模型,本申请实施例对第一神经网络模型的类型不做限定。
图5所示为本发明另一实施例提供的一种细胞类型分析模型训练方法的流程图。如图5所示,第二神经网络模型的训练方法可包括如下步骤:
步骤210:将包含细胞核区域3的第二样本图像及对应的第一样本图像作为样本训练第二神经网络模型。
步骤220:将第二神经网络模型得到的第一样本图像及对应的细胞类型作为样本训练第一神经网络模型。
可选地,第一样本图像和/或所述第二样本图像也可以通过人工标定的方式获取。
通过训练第二神经网络模型和第一神经网络模型,将单个细胞的分割和识别分别由第二神经网络模型和第一神经网络模型完成,降低了每个神经网络模型的复杂程度和计算量,从而也能提高分析的效率。
可选地,第二神经网络模型可以是卷积神经网络模型。应当理解,第二神经网络模型还可以是其他神经网络模型,本申请实施例对第二神经网络模型的类型不做限定。
图6所示为本发明一实施例提供的一种细胞类型分析方法的流程图。如图6所示,该细胞类型分析方法包括如下步骤:
步骤310:选取血液样本图像中的待分析区域1。选取放置在载玻片上的血液样本的图像中的待分析区域1,分析待分析区域1中细胞的类型及数量。
待分析区域1可以是载玻片上的血液样本散开方向两端的中段部分;优选地,中段部分的宽度为血液样本散开宽度的1/3。血液样本在载玻片上散开时会因挤压而造成散开方向的初始段的细胞数量较少且结尾段的细胞数量堆积较多,而中段部分的细胞数量适中且散开的较为均匀,因此,可以选取中段部分作为待分析区域1可以更好的反映出血液样本中的细胞分布情况。
应当理解,本申请实施例可以根据实际应用场景的需求选取血液样本的全部或者部分区域作为待分析区域,只要所选取的待分析区域能够准确的反映出血液样本中细胞的分别状态即可,本申请实施例对于待分析区域的具体位置不做限定。
血液样本图像中的待分析区域1也可以通过依次选取多个视野区域中的一个作为待分析区域1。由于血液样本在显微镜下所展现的图像比较大,可以直接将显微镜下的血液样本图像扫描后选取待分析区域(如上述的中段部分)或先选取待分析区域再扫描选定的待分析区域的图像,并对待分析区域图像进行分析;也可以将选取待分析的血液样本划分为多个视野区域,依次选取多个视野区域中的一个作为待分析的区域,并对待分析的区域图像进行分析,将多个待分析区域的结果汇总形成最终的分析结果。通过将血液样本图像划分为多个待分析区域,可以减少每次分析的数据量,降低了本申请的方法对实现装置的要求。应当理解,在不考虑实现装置的配置及运行速度的前提下,可以采用上述任意一种选取待分析区域的方法,本申请实施例对于选取待分析区域的具体方法不做限定。
为了更好的实现多个视野区域的分析,可以对多个视野图像进行坐标标记,根据坐标标记依次选取多个视野区域中的一个作为待分析区域1。通过设置坐标标记,可以精确的实现多个视野区域的连续分析,避免了部分视野区域和部分细胞的遗漏。
可选地,相邻的两个视野区域的重叠区域在视野移动方向上的长度大于预设长度阈值;优选地,预设长度阈值为4-5微米。通常白细胞的直径为4-5微米,因此,为了防止处于两个相邻的视野区域之间的细胞的遗漏,相邻的两个视野区域的重叠区域至少能够包含一个细胞,即相邻的两个视野区域的重叠区域在视野移动方向上的长度大于一个细胞的直径。
步骤320:确定待分析区域1内的细胞核区域3。在选定的待分析区域1内确定细胞核区域3,无细胞核的细胞不会产生癌变,因此,在分析癌症等疾病中可以只需要关注有核细胞。
本申请实施例中,如图7所示,步骤320可以包括子步骤:
步骤3201:选取满足预设颜色条件的连续区域为待分析区域1内的细胞核区域3。为了区分血液样本中的各个部分,通常会对血液样本进行染色,利用各个部分在染色剂的作用下所显现的不同颜色可以区分血液样本中的细胞核、细胞质、细胞、杂质等各个部分。本申请实施例根据染色后细胞核所显现的颜色设置预设颜色条件,选取满足该预设颜色条件的连续区域为细胞核区域。染色方式可以为包括瑞氏染色等现有的染色方法,本申请实施例对于染色方式不做限定。
可选地,预设颜色条件可以是:选取的连续区域的红(R)、绿(G)、蓝(B)三个颜色通道分量值分别在预设的阈值范围内。RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,即每一种颜色都可以由其在红(R)、绿(G)、蓝(B)三个颜色通道的分量值唯一确定,因此,可以通过设置红(R)、绿(G)、蓝(B)三个分量值的阈值范围,选取我们所需要的颜色区域,即细胞核区域。
可选地,如图8所示,步骤320还可以包括如下子步骤:
步骤3202:选择相同颜色的连续区域。
步骤3203:判断连续区域是否满足预设颜色条件,若是,则转步骤3204,否则,放弃对该连续区域的后续步骤并转步骤3202。
步骤3204:判断连续区域的面积与第一面积阈值、第二面积阈值的大小关系,当连续区域的面积大于第一面积阈值且小于第二面积阈值时,转步骤3205;当连续区域的面积大于或等于第二面积阈值时,转步骤3206;否则,转步骤3207。
步骤3205:选取连续区域为待分析区域内的细胞核区域。当一个连续区域的颜色满足预设颜色条件时,可以确定该连续区域为细胞核区域,但是由于所选取的待分析区域图像为平面图像,多个细胞层叠时可能会造成多个细胞核被选取,或者细胞的分叶核可能会被选取为不同的多个细胞核区域。为了避免上述的误判断,本申请实施例对满足预设颜色条件的连续区域做进一步的判断,通过判断连续区域的面积是否符合单个细胞核的大小,即连续区域的面积是否大于第一面积阈值且小于第二面积阈值,若满足该预设条件,则确定该连续区域为单个的细胞核区域。
步骤3206:将连续区域分割成多个细胞核区域。当连续区域的面积大于或等于第二面积阈值时,即连续区域的面积超过了细胞核的面积,则认为该连续区域内有多个(至少两个)层叠的细胞核,因此,将该连续区域分割成多个细胞核区域,并对多个细胞核区域分别进行分析。
将连续区域分割成多个细胞核区域的方法可以是:通过等比例缩小连续区域的图像,将连续区域分割成多个细胞核区域。通过等比例缩小连续区域的图像,可以将图像中多个细胞核的连接区域的宽度逐步减小,直至连接区域断开,即实现了将连续区域分割成多个细胞核区域。
应当理解,本申请实施例可以根据实际应用场景而选取其他的方式将连续区域分割成多个细胞核区域,本申请实施例对于将连续区域分割成多个细胞核区域的具体方式不做限定。
步骤3207:判断包含连续区域的预设第三面积阈值范围内是否存在其他满足预设颜色条件且面积均小于或等于第一面积阈值的连续区域,若是,则转步骤3208,否则,转步骤330。
步骤3208:将预设第三面积阈值范围内的满足预设颜色条件且面积均小于或等于所述第一面积阈值的所有连续区域合并成一个细胞核区域。当一定范围(预设第三面积阈值范围)内的多个连续区域的面积均小于或等于第一面积阈值时,则认为该多个连续区域为一个分叶细胞核区域(如图1所示的细胞B),将该多个连续区域合并为一个细胞核区域。其中,预设第三面积阈值可以为分叶细胞核的面积值。
可选地,如图9所示,步骤320还可以包括子步骤:
步骤3209:将待分析区域1的图像输入第三神经网络模型,通过第三神经网络模型确定待分析区域1内的细胞核区域3。通过建立第三神经网络模型,将待分析区域的图像输入第三神经网络模型,利用第三神经网络模型确定细胞核区域。通过大量的样本训练可以有效提高确定细胞核区域的准确性,避免因染色效果不好而造成确定细胞核区域的确定性降低的问题。
可选地,第三神经网络模型可以是卷积神经网络模型。应当理解,第三神经网络模型还可以是其他神经网络模型,本申请实施例对第三神经网络模型的类型不做限定。
步骤330:分割出包括单个细胞图像2的细胞区域图像4,其中,单个细胞图像包括细胞核区域和细胞质区域(如图1所示的细胞A)。在确定细胞核区域3后,确定包含该细胞核区域3的细胞的细胞边界,得到单个细胞图像2,从而分割出包括单个细胞图像2的细胞区域图像4。其中,细胞区域图像4可以包含单个细胞图像2且大于单个细胞图像2,细胞区域图像4也可以就是单个细胞图像2,只要细胞区域图像4包括完整的单个细胞图像2即可,本申请实施例对于细胞区域图像的具体形状不做限定。
可选地,如图10所示,步骤330可以包括子步骤:
步骤3301:确定包含细胞核区域3的细胞边界。通过确定细胞边界可以得到完整的单个细胞图像,从而可以分割出包括单个细胞图像的细胞区域图像。
可选地,如图11所示,步骤330可以包括如下子步骤:
步骤3302:确定包含细胞核区域的待分割区域。
步骤3303:将待分割区域的图像输入第二神经网络模型,通过第二神经网络模型确定包含细胞核区域的细胞边界。其中,训练第二神经网络模型采用上述实施例中第二神经网络模型的训练方法,将包含细胞核区域的待分割区域的图像输入第二神经网络模型,通过第二神经网络模型得到确定细胞边界的细胞区域图像。确定一个包含细胞核区域的待分割区域,并将待分割区域的图像输入第二神经网络模型,利用第二神经网络模型确定包含细胞核区域的细胞边界。其中,待分割区域可以是细胞区域,也可以不是,只要待分割区域包括完整的单个细胞即可,本申请实施例对于待分割区域的具体形状不做限定。
可选地,待分割区域可以细胞核区域3的重心为中心。为了得到尽量小的包含细胞核区域的待分割区域,待分割区域的中心可以设定为细胞核区域的重心,即待分割区域是在细胞核区域的基础上等比例扩大得到的。当然,待分割区域也可以为方形等其他形状。
可选地,待分割区域的面积可以比细胞核区域的面积大10%-15%。根据通常细胞的面积与其细胞核的面积的对应关系,可以将待分割区域的面积设置为比细胞核区域的面积大10%-15%,以确保待分割区域包含细胞核区域。
步骤340:将细胞区域图像4输入第一神经网络模型,通过第一神经网络模型识别单个细胞的类型。其中,训练第一神经网络模型采用上述实施例中的任一种细胞类型分析模型训练方法,将确定细胞边界的细胞区域图像输入第一神经网络模型,通过第一神经网络模型得到单个细胞的类型。在分割出包括单个细胞图像2的细胞区域图像4后,将该细胞区域图像4输入第一神经网络模型,利用第一神经网络模型识别该单个细胞的类型。
可选地,如图12所示,步骤340可以包括子步骤:
步骤3401:删除分割出的细胞区域图像4中除单个细胞图像2以外的其他图像。
步骤3402:将删除其他图像的细胞区域图像4输入第一神经网络模型。
将细胞区域图像4中除单个细胞图像以外的其他图像(包括杂质和其他细胞等)删除是为了排除其他图像对识别单个细胞的类型的干扰,从而提高了识别的准确性以及识别的效率。
可选地,以待分析区域1的相互垂直的两个边界的方向分别为坐标轴建立坐标系(如图1所示);当确定的细胞核区域3内至少存在一个点在坐标轴上时,可以去除细胞核区域3(如图1所示的细胞C)。即当细胞C的细胞核区域与待分析区域的边界连接时,则表明包含该细胞核的细胞C有一部分不在该待分析区域1内(该待分析区域内不包括完整的细胞C),因此,放弃对该细胞核区域的后续处理,重新选取一个新的细胞核区域,以避免因细胞不完全而导致识别不准确的问题。
通过人工智能的方法实现自动从血液中提取白细胞并识别其类型,从而统计出血液中的各类白细胞的数量。利用人工智能代替现有的人工目测,能够大幅的提高工作效率,并且,人工智能在大量的样本数据的支持下,具有较高的准确性和一致性,为医生诊断疾病提高准确有效的数据依据。
图13所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。如图13所示,本实施例在上述实施例的基础上还可包括如下步骤:
步骤335:将重合的多个细胞区域图像合并为一个细胞区域图像。当分割出的细胞区域中有多个细胞区域图像重合时,则说明该多个细胞区域图像所包含的多个细胞为一个细胞,其中,该细胞的细胞核为分叶核,则将该多个细胞区域图像合并为一个细胞区域图像,防止重复统计该细胞而造成最终的统计结果。
图14所示为本发明另一实施例提供的一种细胞类型分析方法的流程图。如图14所示,本实施例在图6对应的实施例的基础上还可包括:
步骤350:分别计算单个细胞为各种细胞类型的置信值,并根据置信值确定单个细胞的类型。对每个单个细胞,分别计算其为各种细胞类型的置信值,并根据各个置信值确定单个细胞的类型。应当理解,计算单个细胞为某种细胞类型的置信值可以采用现有的概率统计中任意一种方法,本申请实施例对计算置信值的具体方法不做限定。通常置信值为一个百分比值,用以描述单个细胞为该种细胞类型的确定程度。
可选地,当最大的置信值大于预设置信阈值时,可确定单个细胞为最大的置信值所对应的类型。预先设置置信阈值(例如可以设置为90%-95%),当计算出各个置信值后,若最大的置信值大于该置信阈值时,则认为基本确定该单个细胞为最大的置信值对应的细胞类型。
可选地,当最大的置信值小于或等于预设置信阈值时,可标记出置信值最大的至少两种类型及对应的置信值。当最大的置信值小于或等于预设置信阈值时,则认为该单个细胞的类型无法准确判断,并将置信值最大的至少两种类型及对应的置信值标记出来,由人工确定,避免误判而影响最终的统计结果。应当理解,本申请实施例可以标记预设数量的类型,也可以预设一个阈值(例如40%),只标记置信值大于该阈值的类型,本申请实施例对标记的数量及方式不做限定。
优选地,还可以用不同颜色标记出置信值最大的至少两种类型及对应的置信值。通过不同颜色标记细胞类型及置信值,能够更加方便人工查看。
图15所示为本发明一实施例提供的一种细胞类型分析模型训练装置的结构示意图。如图15所示,该训练装置包括:
获取模块71,构造为获取包含单个细胞图像的第一样本图像,其中单个细胞图像包括细胞核区域和细胞质区域;第一神经网络模型训练模块72,构造为将第一样本图像及对应的细胞类型作为样本训练第一神经网络模型,其中,第一神经网络模型构造为根据包括单个细胞图像的细胞区域图像识别单个细胞的类型。
通过将单个细胞图像的获取和识别分开为两个部分分别实现,只将技术要求较高的识别细胞类型部分由第一神经网络模型实现,降低了第一神经网络模型的复杂程度和计算量,从而也能提高分析的效率。同时通过人工智能代替人工识别细胞,大幅提高了分析的工作效率,并且通过大量的实际数据学习,可以逐步提高分析的准确性及结果的一致性,为医生诊断提供可靠的数据支持。
可选地,获取模块可以进一步配置为:将包含细胞核区域的第二样本图像输入第二神经网络模型,通过第二神经网络模型确定包含细胞核区域的细胞边界,以获取第一样本图像。
图16所示为本发明另一实施例提供的一种细胞类型分析模型训练装置的结构示意图。如图16所示,该训练装置还可以包括:
预处理模块73,构造为构造为删除获取的第一样本图像中除单个细胞图像以外的其他图像,并将删除其他图像的第一样本图像及对应的细胞类型作为样本训练第一神经网络模型。将细胞区域图像中除单个细胞图像以外的其他图像删除,并将删除除其他图像的细胞区域图像及对应的细胞类型作为样本加入第一神经网络模型的训练集中,排除了其他图像对识别单个细胞的类型的干扰,从而提高了识别的准确性以及识别的效率。
图17所示为本发明另一实施例提供的一种细胞类型分析模型训练装置的结构示意图。如图17所示,该训练装置还可以包括:
标注模块74,构造为用不同的颜色标注第一样本图像中的单个细胞图像,将标注颜色的第一样本图像及对应的细胞类型作为样本训练第一神经网络模型。利用不同的颜色标注细胞区域图像中的单个细胞区域图像,可以清楚区分不同的单个细胞区域(特别是临近的单个细胞区域)之间的边界,避免相互干扰,从而提高识别的准确性。
可选地,第一神经网络模型可以是卷积神经网络模型。
图18所示为本发明另一实施例提供的一种细胞类型分析模型训练装置的结构示意图。如图18所示,该训练装置还可以包括:
第二神经网络模型训练模块75,构造为将包含细胞核区域的第二样本图像及对应的第一样本图像作为样本训练第二神经网络模型,其中,第二神经网络模型构造为从血液样本图像中分割出包括单个细胞的细胞区域图像。
可选地,第一样本图像和/或第二样本图像通过人工标定的方式获取。
通过建立第二神经网络模型和第一神经网络模型,将单个细胞的分割和识别分别由第二神经网络模型和第一神经网络模型完成,降低了每个神经网络模型的复杂程度和计算量,从而也能提高分析的效率。
可选地,第二神经网络模型可以是卷积神经网络模型。
图19所示为本发明一实施例提供的一种细胞类型分析装置的结构示意图。如图19所示,该分析装置包括:
选取模块81,构造为选取血液样本图像中的待分析区域;细胞核确定模块82,构造为确定待分析区域内的细胞核区域;细胞区域分割模块83,构造为分割出包括单个细胞图像的细胞区域图像,其中,所述单个细胞图像包括所述细胞核区域和细胞质区域;以及细胞类型识别模块84,构造为将细胞区域图像输入第一神经网络模型,通过第一神经网络模型识别单个细胞的类型,其中,第一神经网络模型通过如上任一项所述的方法训练。
通过人工智能的方法实现自动从血液中提取白细胞并识别其类型,从而统计出血液中的各类白细胞的数量。利用人工智能代替现有的人工目测,能够大幅的提高工作效率,并且,人工智能在大量的样本数据的支持下,具有较高的准确性和一致性,为医生诊断疾病提高准确有效的数据依据。
在一实施例中,选取模块81可以进一步配置为:
待分析区域1可以是载玻片上的血液样本散开方向两端的中段部分;优选地,中段部分的宽度为血液样本散开宽度的1/3。血液样本在载玻片上散开时会因挤压而造成散开方向的初始段的细胞数量较少且结尾段的细胞数量堆积较多,而中段部分的细胞数量适中且散开的较为均匀,因此,可以选取中段部分作为待分析区域1可以更好的反映出血液样本中的细胞分布情况。
血液样本图像中的待分析区域1也可以通过依次选取多个视野区域中的一个作为待分析区域1。可以直接将显微镜下的血液样本图像扫描后选取待分析区域或先选取待分析区域再扫描选定的待分析区域的图像,并对待分析区域图像进行分析;也可以将选取待分析的血液样本划分为多个视野区域,依次选取多个视野区域中的一个作为待分析的区域,并对待分析的区域图像进行分析,将多个待分析区域的结果汇总形成最终的分析结果。通过将血液样本图像划分为多个待分析区域,可以减少每次分析的数据量,降低了本申请的方法对实现装置的要求。
优选地,为了更好的实现多个视野区域的分析,可以对多个视野图像进行坐标标记,根据坐标标记依次选取多个视野区域中的一个作为待分析区域1。
可选地,相邻的两个视野区域的重叠区域在视野移动方向上的长度大于预设长度阈值;优选地,预设长度阈值为4-5微米。通常白细胞的直径为4-5微米,因此,为了防止处于两个相邻的视野区域之间的细胞的遗漏,相邻的两个视野区域的重叠区域至少能够包含一个细胞,即相邻的两个视野区域的重叠区域在视野移动方向上的长度大于一个细胞的直径。
在一实施例中,细胞核确定模块82可以进一步配置为:
选取满足预设颜色条件的连续区域为待分析区域1内的细胞核区域3。本申请实施例根据染色后细胞核所显现的颜色设置预设颜色条件,选取满足该预设颜色条件的连续区域为细胞核区域。
可选地,预设颜色条件可以是:选取的连续区域的红(R)、绿(G)、蓝(B)三个颜色通道分量值分别在预设的阈值范围内。
可选地,细胞核确定模块82可以进一步包括:选取单元,用于选择相同颜色的连续区域;第一判断单元,用于判断连续区域是否满足预设颜色条件;第二判断单元,用于当连续区域满足预设颜色条件时,判断连续区域的面积是否大于第一面积阈值且小于第二面积阈值;以及细胞核选取单元,用于当连续区域的面积大于第一面积阈值且小于第二面积阈值时,选取连续区域为待分析区域内的细胞核区域。为了避免上述的误判断,本申请实施例对满足预设颜色条件的连续区域做进一步的判断。
可选地,第二判断单元可以进一步配置为:当连续区域的面积大于或等于第二面积阈值时,将连续区域分割成多个细胞核区域。当连续区域的面积大于或等于第二面积阈值时,即连续区域的面积超过了细胞核的面积,则认为该连续区域内有多个(至少两个)层叠的细胞核,因此,将该连续区域分割成多个细胞核区域,并对多个细胞核区域分别进行分析。
将连续区域分割成多个细胞核区域的方法可以是:通过等比例缩小连续区域的图像,将连续区域分割成多个细胞核区域。
可选地,细胞核确定模块82可以进一步包括:第三判断单元,用于当连续区域的面积小于或等于所述第一面积阈值时,判断包含连续区域的预设第三面积阈值范围内是否存在其他满足预设颜色条件且面积均小于或等于第一面积阈值的连续区域;若存在其他满足所述预设颜色条件且面积均小于或等于所述第一面积阈值的连续区域,将预设第三面积阈值范围内的满足预设颜色条件且面积均小于或等于所述第一面积阈值的所有连续区域合并成一个细胞核区域。
在一实施例中,细胞核确定模块82可以进一步配置为:
以待分析区域1的相互垂直的两个边界的方向分别为坐标轴建立坐标系(如图1所示);当确定的细胞核区域3内至少存在一个点在坐标轴上时,可以放弃对该细胞核区域的后续处理(如图1所示的细胞C),重新选取一个细胞核区域,避免因细胞不完全而导致识别不准确的问题。
在一实施例中,细胞核确定模块82还可以进一步配置为:直接将待分析区域1的图像输入第三神经网络模型,通过第三神经网络模型确定待分析区域1内的细胞核区域3。通过大量的样本训练可以有效提高确定细胞核区域的准确性,避免因染色效果不好而造成确定细胞核区域的确定性降低的问题。
可选地,第三神经网络模型可以是卷积神经网络模型。
在一实施例中,细胞区域分割模块83还可以进一步配置为:
确定包含细胞核区域3的细胞边界。通过确定细胞边界可以得到完整的单个细胞图像,从而可以分割出包括单个细胞图像的细胞区域图像。
可选地,确定包含细胞核区域的待分割区域;将待分割区域的图像输入第二神经网络模型,通过第二神经网络模型确定包含细胞核区域的细胞边界。确定一个包含细胞核区域的待分割区域,并将待分割区域的图像输入第二神经网络模型,利用第二神经网络模型确定包含细胞核区域的细胞边界。
可选地,待分割区域可以细胞核区域3的重心为中心。为了得到尽量小的包含细胞核区域的待分割区域,待分割区域的中心可以设定为细胞核区域的重心,即待分割区域是在细胞核区域的基础上等比例扩大得到的。
可选地,待分割区域的面积可以比细胞核区域的面积大10%-15%。根据通常细胞的面积与其细胞核的面积的对应关系,可以将待分割区域的面积设置为比细胞核区域的面积大10%-15%,以确保待分割区域包含细胞核区域。
在一实施例中,细胞类型识别模块84可以进一步配置为:
删除分割出的细胞区域图像4中除单个细胞图像2以外的其他图像,将删除其他图像的细胞区域图像4输入第一神经网络模型。将细胞区域图像4中除单个细胞图像以外的其他图像删除是为了排除其他图像对识别单个细胞的类型的干扰,从而提高了识别的准确性以及识别的效率。
在一实施例中,细胞类型识别模块84可以包括:置信值计算单元,用于分别计算单个细胞为各种细胞类型的置信值,并根据置信值确定单个细胞的类型。对每个单个细胞,分别计算其为各种细胞类型的置信值,并根据各个置信值确定单个细胞的类型。
可选地,细胞类型识别模块84可以进一步包括:类型确定单元,用于当最大的置信值大于预设置信阈值时,确定单个细胞为最大的置信值所对应的类型。预先设置置信阈值(例如可以设置为90%-95%),当计算出各个置信值后,若最大的置信值大于该置信阈值时,则认为基本确定该单个细胞为最大的置信值对应的细胞类型。
可选地,细胞类型识别模块84进一步包括:置信值标记单元,用于当最大的置信值小于或等于预设置信阈值时,可标记出置信值最大的至少两种类型及对应的置信值。当最大的置信值小于或等于预设置信阈值时,则认为该单个细胞的类型无法准确判断,并将置信值最大的至少两种类型及对应的置信值标记出来,由人工确定,避免误判而影响最终的统计结果。
优选地,置信值标记单元还可以配置为:用不同颜色标记出置信值最大的至少两种类型及对应的置信值。通过不同颜色标记细胞类型及置信值,能够更加方便人工查看。
图20所示为本发明另一实施例提供的一种细胞类型分析装置的结构示意图。如图20所示,该分析装置还可以包括:
查重模块85,构造为将重合的多个细胞区域图像合并为一个细胞区域图像。当分割出的细胞区域中有多个细胞区域图像重合时,则说明该多个细胞区域图像所包含的多个细胞为一个细胞,其中,该细胞的细胞核为分叶核,则将该多个细胞区域图像合并为一个细胞区域图像,防止重复统计该细胞而造成最终的统计结果。
图21所示为本发明一实施例提供的电子设备的结构示意图。如图21所示,该电子设备可以是其上装备有细胞类型分析装置的诸如医学检测仪器之类的在线电子设备,也可以是能够与在线电子设备进行通信以向其传送训练好的机器学习模型的离线的电子设备。
如图21所示,电子设备9包括一个或多个处理器91和存储器92。
处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备9中的其他组件以执行期望的功能。
存储器92可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器91可以运行所述程序指令,以实现上文所述的本申请的各个实施例的区域标注方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如血液样本图像信息、位置信息、目标区域、训练样本等各种内容。
在一个示例中,电子设备9还可以包括:输入装置93和输出装置94,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如,该输入装置93可以是成像器件,用于采集血液样本图像信息,所采集的图像信息可以被存储在存储器92中以供其他组件使用。当然,也可以利用其他集成或分立的成像器件来采集该血液样本图像信息,并且将它发送到电子设备9。此外,该输入设备93还可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。
该输出装置94可以向外部(例如,用户或机器学习模型)输出各种信息,包括确定出的细胞类型、细胞数量、训练样本等。该输出设备94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图21中仅示出了该电子设备9中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备9还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书中描述的根据本申请各种实施例的区域标注方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书中描述的根据本申请各种实施例的区域标注方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个实施例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种细胞类型分析模型训练方法,其特征在于,包括:
获取包含单个细胞图像的第一样本图像,其中所述单个细胞图像包括细胞核区域和细胞质区域;以及
将所述第一样本图像及对应的细胞类型作为样本训练第一神经网络模型,其中,所述第一神经网络模型构造为根据包括所述单个细胞图像的细胞区域图像识别单个细胞的类型。
2.根据权利要求1所述的方法,其特征在于,所述获取包含单个细胞图像的第一样本图像包括:
将包含细胞核区域的第二样本图像输入第二神经网络模型,通过所述第二神经网络模型确定包含所述细胞核区域的细胞边界,以获取所述第一样本图像。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
删除获取的所述第一样本图像中除所述单个细胞图像以外的其他图像,并将删除所述其他图像的所述第一样本图像及对应的细胞类型作为样本训练所述第一神经网络模型。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
用不同的颜色标注所述第一样本图像中的所述单个细胞图像,将标注颜色的所述第一样本图像及对应的细胞类型作为样本训练所述第一神经网络模型。
5.根据权利要求2所述的方法,其特征在于,所述第二神经网络模型的训练方法包括:
将包含所述细胞核区域的所述第二样本图像及对应的所述第一样本图像作为样本训练所述第二神经网络模型,其中,所述第二神经网络模型构造为从血液样本图像中分割出包括所述单个细胞的细胞区域图像。
6.根据权利要求2所述的方法,其特征在于,所述第二神经网络模型的训练方法包括:
通过人工标定的方式获取所述第一样本图像和/或所述第二样本图像。
7.一种细胞类型分析方法,其特征在于,包括:
选取血液样本图像中的待分析区域;
确定所述待分析区域内的细胞核区域;
分割出包括单个细胞图像的细胞区域图像,其中所述单个细胞图像包括所述细胞核区域和细胞质区域;以及
将所述细胞区域图像输入第一神经网络模型,通过所述第一神经网络模型识别单个细胞的类型;
其中,所述第一神经网络模型通过如权利要求2-6任一项所述的方法训练。
8.根据权利要求7所述的方法,其特征在于,所述确定所述待分析区域内的细胞核区域包括:
选择相同颜色的连续区域;
判断所述连续区域是否满足预设颜色条件;
当所述连续区域满足所述预设颜色条件时,判断所述连续区域的面积是否大于第一面积阈值且小于第二面积阈值;以及
当所述连续区域的面积大于第一面积阈值且小于第二面积阈值时,选取所述连续区域为所述待分析区域内的所述细胞核区域。
9.根据权利要求7所述的方法,其特征在于,所述确定所述待分析区域内的细胞核区域还包括:
以所述待分析区域的相互垂直的两个边界的方向分别为坐标轴建立坐标系;
当确定的所述细胞核区域内至少存在一个点在所述坐标轴上时,放弃对该所述细胞核区域的后续处理。
10.一种细胞类型分析模型训练装置,其特征在于,包括:
获取模块,构造为获取包含单个细胞图像的第一样本图像,其中所述单个细胞图像包括细胞核区域和细胞质区域;以及
第一神经网络模型训练模块,构造为将所述第一样本图像及对应的细胞类型作为样本训练第一神经网络模型,其中,所述第一神经网络模型构造为根据包括所述单个细胞图像的细胞区域图像识别单个细胞的类型。
CN201811459149.0A 2018-11-30 2018-11-30 一种细胞类型分析模型训练方法、装置及分析方法 Pending CN109636782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811459149.0A CN109636782A (zh) 2018-11-30 2018-11-30 一种细胞类型分析模型训练方法、装置及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811459149.0A CN109636782A (zh) 2018-11-30 2018-11-30 一种细胞类型分析模型训练方法、装置及分析方法

Publications (1)

Publication Number Publication Date
CN109636782A true CN109636782A (zh) 2019-04-16

Family

ID=66070648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811459149.0A Pending CN109636782A (zh) 2018-11-30 2018-11-30 一种细胞类型分析模型训练方法、装置及分析方法

Country Status (1)

Country Link
CN (1) CN109636782A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135271A (zh) * 2019-04-19 2019-08-16 上海依智医疗技术有限公司 一种细胞分类方法及装置
CN110619773A (zh) * 2019-09-19 2019-12-27 广东小天才科技有限公司 一种勾勒框的生成方法、系统、存储介质及电子设备
CN110647874A (zh) * 2019-11-28 2020-01-03 北京小蝇科技有限责任公司 一种端到端的血细胞识别模型构造方法及应用
CN110766668A (zh) * 2019-10-11 2020-02-07 武汉兰丁医学高科技有限公司 细胞检测识别系统及方法
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111353987A (zh) * 2020-03-02 2020-06-30 中国科学技术大学 一种细胞核分割方法及装置
CN111458269A (zh) * 2020-05-07 2020-07-28 厦门汉舒捷医疗科技有限公司 一种外周血淋巴微核细胞图像人工智能识别方法
CN111598029A (zh) * 2020-05-21 2020-08-28 东莞太力生物工程有限公司 目标细胞株的筛选方法、系统、服务器及存储介质
CN113515077A (zh) * 2021-04-23 2021-10-19 重庆德方信息技术有限公司 人体细胞染色过程监控系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679184A (zh) * 2013-12-06 2014-03-26 河海大学 一种基于相关向量机的白细胞自动识别方法
CN103745210A (zh) * 2014-01-28 2014-04-23 爱威科技股份有限公司 一种白细胞分类方法及装置
CN105205804A (zh) * 2015-08-18 2015-12-30 爱威科技股份有限公司 血细胞图像中白细胞的核浆分离方法、分类方法及装置
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679184A (zh) * 2013-12-06 2014-03-26 河海大学 一种基于相关向量机的白细胞自动识别方法
CN103745210A (zh) * 2014-01-28 2014-04-23 爱威科技股份有限公司 一种白细胞分类方法及装置
CN105205804A (zh) * 2015-08-18 2015-12-30 爱威科技股份有限公司 血细胞图像中白细胞的核浆分离方法、分类方法及装置
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
危浩: "血细胞自动分类系统的实现研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
宁正元: "《计算机在生物科学研究中的应用》", 30 November 2006 *
徐宁 等: "血液白细胞图像自动识别系统开发与应用", 《实验技术与管理》 *
高虹: "基于神经网络方法的血液白细胞图像自动分类研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135271A (zh) * 2019-04-19 2019-08-16 上海依智医疗技术有限公司 一种细胞分类方法及装置
CN110619773A (zh) * 2019-09-19 2019-12-27 广东小天才科技有限公司 一种勾勒框的生成方法、系统、存储介质及电子设备
CN110766668A (zh) * 2019-10-11 2020-02-07 武汉兰丁医学高科技有限公司 细胞检测识别系统及方法
CN110766668B (zh) * 2019-10-11 2023-09-05 武汉兰丁智能医学股份有限公司 细胞检测识别系统及方法
CN110647874A (zh) * 2019-11-28 2020-01-03 北京小蝇科技有限责任公司 一种端到端的血细胞识别模型构造方法及应用
CN110647874B (zh) * 2019-11-28 2020-08-28 北京小蝇科技有限责任公司 一种端到端的血细胞识别模型构造方法及应用
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111105416B (zh) * 2019-12-31 2022-09-09 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111353987A (zh) * 2020-03-02 2020-06-30 中国科学技术大学 一种细胞核分割方法及装置
CN111458269A (zh) * 2020-05-07 2020-07-28 厦门汉舒捷医疗科技有限公司 一种外周血淋巴微核细胞图像人工智能识别方法
CN111598029A (zh) * 2020-05-21 2020-08-28 东莞太力生物工程有限公司 目标细胞株的筛选方法、系统、服务器及存储介质
CN113515077A (zh) * 2021-04-23 2021-10-19 重庆德方信息技术有限公司 人体细胞染色过程监控系统及方法

Similar Documents

Publication Publication Date Title
CN109636782A (zh) 一种细胞类型分析模型训练方法、装置及分析方法
CN109554432A (zh) 一种细胞类型分析方法、分析装置及电子设备
CN109507406A (zh) 一种细胞形态智能提取方法、装置及分析方法
Chandradevan et al. Machine-based detection and classification for bone marrow aspirate differential counts: initial development focusing on nonneoplastic cells
CN111325103B (zh) 一种细胞标注系统和方法
US10365203B2 (en) Method and apparatus for automated whole blood sample analyses from microscopy images
CN103930762B (zh) 用于样本显示与查看的系统和方法
Dimauro et al. Nasal cytology with deep learning techniques
CN105210083B (zh) 用于查验和分析细胞学标本的系统和方法
US6246785B1 (en) Automated, microscope-assisted examination process of tissue or bodily fluid samples
Bjornsson et al. Associative image analysis: a method for automated quantification of 3D multi-parameter images of brain tissue
US5235522A (en) Method and apparatus for automated analysis of biological specimens
CN103827657B (zh) 血液分析仪校准和评估
CN110473167B (zh) 一种基于深度学习的尿沉渣图像识别系统及方法
CN103345654B (zh) 一种基于形态学分类计数白细胞的方法
DE102007018034A1 (de) Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung
Dimauro et al. Rhino-Cyt: A system for supporting the rhinologist in the analysis of nasal cytology
JP3916395B2 (ja) 検体の予備処理機能を備えた検査体系
CN109580458A (zh) 流式细胞智能免疫分型方法、装置以及电子设备
CN110414317B (zh) 基于胶囊网络的全自动白细胞分类计数方法
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
Priyankara et al. An extensible computer vision application for blood cell recognition and analysis
Lv et al. High-accuracy morphological identification of bone marrow cells using deep learning-based Morphogo system
EP3563342B1 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
Korzynska et al. CNN support to diagnostics in sjögren’s syndrome

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416