CN112419262A - 骨髓涂片显微图像分析方法、装置、电子设备及存储介质 - Google Patents

骨髓涂片显微图像分析方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112419262A
CN112419262A CN202011306954.7A CN202011306954A CN112419262A CN 112419262 A CN112419262 A CN 112419262A CN 202011306954 A CN202011306954 A CN 202011306954A CN 112419262 A CN112419262 A CN 112419262A
Authority
CN
China
Prior art keywords
bone marrow
microscopic image
cells
smear
cell detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011306954.7A
Other languages
English (en)
Inventor
刘慧敏
沈宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202011306954.7A priority Critical patent/CN112419262A/zh
Publication of CN112419262A publication Critical patent/CN112419262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种骨髓涂片显微图像分析方法、装置、电子设备及存储介质。其中方法包括：获取骨髓涂片显微图像；将所述骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果；其中，所述骨髓细胞检测模型用于预测所述骨髓涂片显微图像中骨髓细胞的位置分布图，并将所述位置分布图和从所述骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据所述融合特征输出骨髓细胞检测结果。本发明不依赖于医学人员的主观判断，具有客观、高效的优点，同时骨髓细胞检测模型中引入了位置分布图的预测，丰富所提取的语义特征，不容易出现漏检、错检的情况，提高了检测骨髓细胞的准确率。还进一步实现骨髓细胞的定位、识别、分类、统计等全面分析。

Description

骨髓涂片显微图像分析方法、装置、电子设备及存储介质
技术领域
本发明属于图像处理领域，尤其涉及一种骨髓涂片显微图像分析方法、装置、电子设备及存储介质。
背景技术
骨髓细胞形态学检查是最早应用的一种血液肿瘤分类诊断方法，也是目前最基本而重要的方法之一。然而，目前这种镜检方法仍采用传统的人工观察分类计数的方式。该方法效率低、耗费人力，对医学专家的要求较高且识别结果依赖于人的主观判断。因此，借助图像处理与人工智能技术，对骨髓涂片显微图像进行分析，实现客观的、自动的骨髓细胞分类识别与统计，对提高疾病临床诊断效率和水平具有重要意义。
医学显微图像处理是近几十年来发展起来的新兴技术，其借助图像处理和模式识别领域的关键技术，对显微图像实现自动分析。图1示出了骨髓细胞显微图像示例。在现有研究中，由于骨髓有核细胞种类繁多，形态复杂多变，因此很多研究者仅针对某一特定类型的骨髓有核细胞进行检测，如采用HMRF(隐马尔科夫随机场)方法检测原始有核细胞；采用双通道活动轮廓算法检测巨核细胞。
并且，在骨髓细胞的检测过程中如何保证检测的准确性也是一个难题：对于粘连和遮挡现象比较严重的骨髓细胞，如图2左侧示例，检测时可能将其当作一个骨髓细胞，导致漏检；对于多核仁的特殊细胞，如图2右侧示例，检测时可能将其当作两个细胞，导致错检。
发明内容
本发明要解决的技术问题是为了克服现有技术在检测骨髓细胞时容易将粘连和遮挡现象比较严重的骨髓细胞当作一个骨髓细胞而导致漏检、将多核仁的特殊细胞当作两个细胞而导致错检的缺陷，提供一种骨髓涂片显微图像分析方法、装置、电子设备及存储介质。
本发明是通过以下技术方案解决上述技术问题的：
本发明提供一种骨髓涂片显微图像分析方法，包括：
获取骨髓涂片显微图像；
将所述骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果；
其中，所述骨髓细胞检测模型用于预测所述骨髓涂片显微图像中骨髓细胞的位置分布图，并将所述位置分布图和从所述骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据所述融合特征输出骨髓细胞检测结果。
较佳地，所述位置分布图包括骨髓细胞密度图。
较佳地，所述骨髓细胞检测模型还用于统计所述骨髓涂片显微图像中所述骨髓细胞的总数。
较佳地，统计所述骨髓涂片显微图像中所述骨髓细胞的总数，具体包括：
根据所述位置分布图得到所述骨髓细胞的总数；
或，统计所述骨髓细胞检测结果中检测出的骨髓细胞的总数。
较佳地，所述骨髓细胞检测结果包括从所述骨髓涂片显微图像中检测出的所有骨髓细胞图像，所述骨髓涂片显微图像分析方法还包括：
从所述骨髓细胞检测结果提取单个骨髓细胞图像；
将所述单个骨髓细胞图像输入一级分类模型得到一级分类结果，所述一级分类模型用于对所述单个骨髓细胞按照系群类别进行一级分类。
较佳地，所述骨髓涂片显微图像分析方法还包括：
将所述单个骨髓细胞图像输入所属系群类别相应的二级分类模型得到二级分类结果，所述二级分类模型用于对所述单个骨髓细胞按照相应系群生长阶段进行二级分类。
较佳地，所述骨髓涂片显微图像分析方法还包括以下步骤中的至少一个：
利用一级分类结果统计各类系群的骨髓细胞在所述骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
利用二级分类结果统计各生长阶段的骨髓细胞在所述骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
利用二级分类结果统计各生长阶段的骨髓细胞在所属系群类别骨髓细胞之中的数量占比。
本发明还提供一种骨髓涂片显微图像分析装置，包括：
图像获取模块，用于获取骨髓涂片显微图像；
细胞检测模块，用于将所述骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果；
其中，所述骨髓细胞检测模型用于预测所述骨髓涂片显微图像中骨髓细胞的位置分布图，并将所述位置分布图和从所述骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据所述融合特征输出骨髓细胞检测结果。
较佳地，所述位置分布图包括骨髓细胞密度图。
较佳地，所述骨髓细胞检测模型还用于统计所述骨髓涂片显微图像中所述骨髓细胞的总数。
较佳地，统计所述骨髓涂片显微图像中所述骨髓细胞的总数，具体包括：
根据所述位置分布图得到所述骨髓细胞的总数；
或，统计所述骨髓细胞检测结果中检测出的骨髓细胞的总数。
较佳地，所述骨髓细胞检测结果包括从所述骨髓涂片显微图像中检测出的所有骨髓细胞图像，所述骨髓涂片显微图像分析装置还包括：
图像提取模块，用于从所述骨髓细胞检测结果提取单个骨髓细胞图像；
一级分类模块，用于将所述单个骨髓细胞图像输入一级分类模型得到一级分类结果，所述一级分类模型用于对所述单个骨髓细胞按照系群类别进行一级分类。
较佳地，所述骨髓涂片显微图像分析装置还包括：
二级分类模块，用于将所述单个骨髓细胞图像输入所属系群类别相应的二级分类模型得到二级分类结果，所述二级分类模型用于对所述单个骨髓细胞按照相应系群生长阶段进行二级分类。
较佳地，所述骨髓涂片显微图像分析装置还包括以下模块中的至少一个：
第一占比模块，用于利用一级分类结果统计各类系群的骨髓细胞在所述骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
第二占比模块，用于利用二级分类结果统计各生长阶段的骨髓细胞在所述骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
第三占比模块，用于利用二级分类结果统计各生长阶段的骨髓细胞在所属系群类别骨髓细胞之中的数量占比。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的骨髓涂片显微图像分析方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上项所述的骨髓涂片显微图像分析方法的步骤。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明的骨髓涂片显微图像分析方法、装置、电子设备及存储介质，通过骨髓细胞检测模型检测骨髓涂片显微图像中的骨髓细胞图像，不依赖于医学人员的主观判断，具有客观、高效的优点，同时骨髓细胞检测模型中引入了位置分布图的预测，丰富所提取的语义特征，避免粘连和遮挡现象比较严重的骨髓细胞当作一个骨髓细胞、将多核仁的特殊细胞当作两个细胞，不容易出现漏检、错检的情况，提高了检测骨髓细胞的准确率。另外，本发明还进一步考虑到骨髓细胞的定位、识别、分类、统计等多个任务是相互关联的，采用多任务网络级联的方式来实现对骨髓涂片显微图像的端到端全面分析。
附图说明
图1为骨髓细胞显微图像示例图；
图2为骨髓细胞显微图像难样本示例图；
图3为本发明较佳实施例1的骨髓涂片显微图像分析方法的流程图；
图4为本发明较佳实施例1的骨髓细胞检测模型的结构图；
图5为本发明较佳实施例1中训练骨髓细胞检测模型的流程图；
图6为本发明较佳实施例2的骨髓细胞分类图；
图7为本发明较佳实施例2的骨髓涂片显微图像分析方法的流程图；
图8为本发明较佳实施例3的骨髓涂片显微图像分析装置的示意框图；
图9为本发明较佳实施例4的骨髓涂片显微图像分析装置的示意框图；
图10为本发明较佳实施例5的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种骨髓涂片显微图像分析方法。其中，骨髓涂片显微图像是指在显微视野下骨髓涂片的图像，其中的骨髓涂片可以是原始的、未经处理的骨髓涂片，也可以是经瑞氏染色或其他处理后的骨髓涂片，骨髓涂片中可能含有骨髓细胞。如图3所示，其包括以下步骤：
步骤101：获取骨髓涂片显微图像。
步骤102：将骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果。其中，骨髓细胞检测模型用于预测骨髓涂片显微图像中骨髓细胞的位置分布图，并将位置分布图和从骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据融合特征输出骨髓细胞检测结果。位置分布图显示了骨髓涂片显微图像中骨髓细胞的分布情况。骨髓细胞检测结果包括从骨髓涂片显微图像中检测出的所有骨髓细胞图像。
本实施例中，骨髓细胞检测模型可以是基于神经网络构建的。图4示出了骨髓细胞检测模型的一种结构图。骨髓细胞检测模型采用R-FCN(Region based FullyConvolutional Network，全卷积区域网络)模型进行以骨髓细胞为目标的目标检测，在R-FCN模型的基础上加入位置预测模块，用以实现预测骨髓细胞的位置分布图。整个模型以骨髓涂片显微图像为输入，经卷积、池化后输出原始特征图至位置预测模块，位置预测模块基于原始特征图输出相应的骨髓细胞的位置分布图，然后原始特征图与位置分布图融合产生融合特征，融合特征输入至RPN(Region Proposal Network，候选区域网络)模块，RPN模块生成骨髓细胞的候选框，候选框和融合特征作为位置敏感得分图的输入，经卷积、池化后，输出骨髓细胞的检测框，获得检测到的骨髓细胞。需要说明的是，上述仅是本实施例的一种基于R-FCN模型的骨髓细胞检测模型的结构，在其他实施例中，还可以采用其它目标检测模型构建骨髓细胞检测模型，如R-CNN(区域卷积神经网络)、Faster R-CNN(快速区域卷积神经网络)等，当然需要在原模型的基础上增加上述的位置预测模块，由此构建一种可基于位置分布预测实现骨髓细胞检测的神经网络。
位置分布图具体可以采用骨髓细胞密度图，骨髓细胞密度图可以通过对显示骨髓细胞的中心位置分布的骨髓细胞散点图进行高斯核卷积获得。
上述的骨髓细胞检测模型具体可以通过以下步骤训练而得，如图5所示：
步骤201：建立数据库，数据库包括原始图像集，原始图像集包含多个样本骨髓涂片显微图像以及标注的样本骨髓涂片显微图像中骨髓细胞的位置信息。
步骤202：对样本骨髓涂片显微图像进行预处理。考虑到骨髓涂片显微图像常常包含复杂的背景，成熟红细胞及杂质会影响各类细胞的分析，同时，受到模糊强度、噪声和不同成像条件的影响，会导致图像亮度和色调的差异。预处理的步骤可以包括颜色空间转换和中值滤波。
其中，颜色空间转换具体包括：将骨髓涂片显微图像转换至HIS(色调、饱和度、亮度)模型，提取转换后S(亮度)通道的灰度图像。由此提高有核骨髓细胞与背景的对比度，当然，若原始的骨髓涂片显微图像已经为HIS模型，则该步骤可以省略。该步骤的存在主要是针对原始的骨髓涂片显微图像为RGB(红绿蓝)模型或其他模型的情况。
中值滤波具体包括：将灰度图像中一个像素点的值用该点的一个邻域中各点值的中值代替。由此起到减少背景的影响、锐化细胞边缘、去除噪点的作用。
在步骤102将骨髓涂片显微图像输入骨髓细胞检测模型之前，可以对骨髓涂片显微图像进行同样的预处理，将预处理后的图像输入骨髓细胞检测模型，以提高模型的准确率。
步骤203：基于预设的损失函数，将预处理后的样本骨髓涂片显微图像和标注有位置信息的样本骨髓涂片显微图像输入至上述结构的神经网络模型进行迭代训练，直到损失函数收敛为止，将损失函数收敛后的模型作为骨髓细胞检测模型。
其中，损失函数为欧式损失函数、平方差损失函数和对数损失函数的线性和，其中欧式损失函数针对于位置预测模块中网络参数的训练，平方差损失函数和对数损失函数针对于R-FCN网络中网络参数的训练。欧氏损失函数如下式所示：
Figure BDA0002788582190000071
其中θ表示待优化的网络参数，N是样本骨髓涂片显微图像的数目，Xi表示输入的样本骨髓涂片显微图像，Fi是Xi对应位置分布图的真值，F(Xi；θ)是预测出的位置分布图。在位置分布图为密度图时，上式中的Fi即为Xi对应密度图的真值，F(Xi；θ)即为预测出的密度图。
本实施例的骨髓涂片显微图像分析方法通过上述增加了位置预测模块的骨髓细胞检测模型检测图像中的骨髓细胞，充分利用骨髓涂片显微图像的空间信息，丰富所提取的语义特征，避免粘连和遮挡现象比较严重的骨髓细胞当作一个骨髓细胞、将多核仁的特殊细胞当作两个细胞，不容易出现漏检、错检的情况。
进一步地，骨髓细胞检测模型还可以用于统计骨髓涂片显微图像中骨髓细胞的总数。即，骨髓细胞检测结果和检测到的骨髓细胞的总数同时作为模型的输出。
具体地，统计骨髓涂片显微图像中骨髓细胞的总数可以包括根据位置分布图得到骨髓细胞的总数。在位置分布图为密度图时，对密度图的密度函数进行积分或求和后即可得到骨髓细胞的总数。在一种替代方式中，统计骨髓涂片显微图像中骨髓细胞的总数可以包括统计骨髓细胞检测结果中检测出的骨髓细胞的总数。在另一种替代方式中，还可以进一步综合上述两种统计方式的计数结果(如求平均)，得出最终的骨髓细胞总数。
由此构建的骨髓细胞检测模型，为基于多任务神经网络的模型。多任务之一为骨髓细胞检测，用以检测骨髓涂片显微图像中的骨髓细胞。多任务之二为骨髓细胞计数，用以统计骨髓细胞的总数。这使得分析方法可以快速准确地检测骨髓细胞并对骨髓细胞进行计数。
实施例2
本实施例是在实施例1上的进一步改进。本实施例的方法还可以进一步实现骨髓细胞的分类。所述的分类可以包括按照四类系群细胞划分的一级分类以及按照不同生长阶段细胞划分的二级分类。
骨髓细胞在调节因子的作用下进行细胞增殖活动，是生长与发育的重要基础。四类系群细胞分别为粒细胞、有核红细胞、淋巴细胞和单核细胞。根据生长阶段不同，粒细胞分为原粒细胞、早幼粒细胞、中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞；有核红细胞系分为原始红细胞、早幼红细胞、中幼红细胞、晚幼红细胞；淋巴细胞系分为原始淋巴细胞、幼稚淋巴细胞、成熟淋巴细胞和浆细胞；单核细胞系分为原始单核细胞、幼稚单核细胞和成熟单核细胞。针对不同类型的骨髓细胞做进一步调研发现，原始淋巴细胞对各种血液疾病的诊断十分重要，而幼稚淋巴细胞在人体中非常罕见，因此将原始淋巴细胞作为单独的一类，将其他生长阶段的淋巴细胞和浆细胞作为一大类。同样的，单核细胞在人体中也比较罕见，因而直接将其作为一类，不再根据生长阶段细分。最终的骨髓细胞识别类别如图6所示。
本实施例的骨髓涂片显微图像分析方法，在实施例1的基础上还包括以下步骤，如图7所示：
步骤103：从骨髓细胞检测结果提取单个骨髓细胞图像。为了保证细胞的完整性，在步骤103之后可以对单个骨髓细胞图像按照预设缩放系数放大、裁剪，将裁剪后所得图像作为后续步骤104中一级分类模型和步骤105中二级分类模型的输入。其中，预设缩放系数可以为1.2。
步骤104：将单个骨髓细胞图像输入一级分类模型得到一级分类结果，一级分类模型用于对单个骨髓细胞按照系群类别进行一级分类。
步骤105：将单个骨髓细胞图像输入所属系群类别相应的二级分类模型得到二级分类结果，二级分类模型用于对单个骨髓细胞按照相应系群生长阶段进行二级分类。
本实施例中，一级分类模型和二级分类模型均可采用ResNet50(ResidualNetwork，残差网络)分类网络。当然本发明并不局限于此，在其他实施例中一级分类模型和二级分类模型可以采用相同的其他分类模型，亦或采用不同的分类模型。在一级分类模型和二级分类模型的训练阶段，可以使用实施例1中所建立的数据库，其中对于样本骨髓涂片显微图像需要进一步标注出每个像素点的分类标签，对于一级分类模型的训练样本需要至少标注出像素点的一级分类标签，对于二级分类模型的训练样本需要标注出像素点的一级和二级分类标签。
进一步地，骨髓涂片显微图像分析方法还可以包括：
步骤106：统计数量占比，具体可以包括：
利用一级分类结果统计各类系群的骨髓细胞在骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
利用二级分类结果统计各生长阶段的骨髓细胞在骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
利用二级分类结果统计各生长阶段的骨髓细胞在所属系群类别骨髓细胞之中的数量占比。
本实施例的方法能够实现各系群及各生长阶段骨髓细胞的分类及计数统计。具体的：
(1)对骨髓涂片显微图像进行了全面分析，不局限于对单一种类骨髓细胞的识别统计；
(2)采用基于深度学习的方法，首先采用检测网络定位所有骨髓细胞，然后采用级联的分类网络实现对12类骨髓细胞由粗到精的分类识别，避免了传统图像处理中复杂的手工特征设计工序，提高了算法的泛化能力；
(3)针对骨髓细胞类间差异小的问题，设计了级联的分类网络，实现骨髓细胞的分层分类，即先粗分类各系群细胞，再针对各个系群细胞进行精细分类。
实施例3
本实施例提供一种骨髓涂片显微图像分析装置。其中，骨髓涂片显微图像是指在显微视野下骨髓涂片的图像，其中的骨髓涂片可以是原始的、未经处理的骨髓涂片，也可以是经瑞氏染色或其他处理后的骨髓涂片，骨髓涂片中可能含有骨髓细胞。图8示出了该装置的示意框图，其包括：图像获取模块301和细胞检测模块302。
图像获取模块301用于获取骨髓涂片显微图像。
细胞检测模块302用于将骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果。其中，骨髓细胞检测模型用于预测骨髓涂片显微图像中骨髓细胞的位置分布图，并将位置分布图和从骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据融合特征输出骨髓细胞检测结果。位置分布图显示了骨髓涂片显微图像中骨髓细胞的分布情况。骨髓细胞检测结果包括从骨髓涂片显微图像中检测出的所有骨髓细胞图像。
本实施例中，骨髓细胞检测模型可以是基于神经网络构建的。该模型的结构和训练过程可以参见实施例1。
位置分布图具体可以采用骨髓细胞密度图，骨髓细胞密度图可以通过对显示骨髓细胞的中心位置分布的骨髓细胞散点图进行高斯核卷积获得。
本实施例的骨髓涂片显微图像分析装置通过上述增加了位置预测模块的骨髓细胞检测模型检测图像中的骨髓细胞，充分利用骨髓涂片显微图像的空间信息，丰富所提取的语义特征，避免粘连和遮挡现象比较严重的骨髓细胞当作一个骨髓细胞、将多核仁的特殊细胞当作两个细胞，不容易出现漏检、错检的情况。
在一优选实施方式中，骨髓细胞检测模型还可以用于统计骨髓涂片显微图像中骨髓细胞的总数。即，骨髓细胞检测结果和检测到的骨髓细胞的总数同时作为模型的输出。
具体地，统计骨髓涂片显微图像中骨髓细胞的总数可以包括根据位置分布图得到骨髓细胞的总数。在位置分布图为密度图时，对密度图的密度函数进行积分或求和后即可得到骨髓细胞的总数。在一种替代方式中，统计骨髓涂片显微图像中骨髓细胞的总数可以包括统计骨髓细胞检测结果中检测出的骨髓细胞的总数。在另一种替代方式中，还可以进一步综合上述两种统计方式的计数结果(如求平均)，得出最终的骨髓细胞总数。
由此构建的骨髓细胞检测模型，为基于多任务神经网络的模型。多任务之一为骨髓细胞检测，用以检测骨髓涂片显微图像中的骨髓细胞。多任务之二为骨髓细胞计数，用以统计骨髓细胞的总数。这使得分析方法可以快速准确地检测骨髓细胞并对骨髓细胞进行计数。
实施例4
本实施例是在实施例3上的进一步改进。本实施例的装置还可以进一步实现骨髓细胞的分类。所述的分类可以包括按照四类系群细胞划分的一级分类以及按照不同生长阶段细胞划分的二级分类。具体地分类情况可参见实施例2。
本实施例的骨髓涂片显微图像分析装置，如图9所示，在实施例3的基础上还包括图像提取模块303、一级分类模块304和二级分类模块305。
图像提取模块303用于从骨髓细胞检测结果提取单个骨髓细胞图像。为了保证细胞的完整性，可以进一步对单个骨髓细胞图像按照预设缩放系数放大、裁剪，将裁剪后所得图像作为后续一级分类模块304中一级分类模型和二级分类模块305中二级分类模型的输入。其中，预设缩放系数可以为1.2。
一级分类模块304用于将单个骨髓细胞图像输入一级分类模型得到一级分类结果，一级分类模型用于对单个骨髓细胞按照系群类别进行一级分类。
二级分类模块305用于将单个骨髓细胞图像输入所属系群类别相应的二级分类模型得到二级分类结果，二级分类模型用于对单个骨髓细胞按照相应系群生长阶段进行二级分类。
本实施例中，一级分类模型和二级分类模型均可采用ResNet50(ResidualNetwork，残差网络)分类网络。当然本发明并不局限于此，在其他实施例中一级分类模型和二级分类模型可以采用相同的其他分类模型，亦或采用不同的分类模型。在一级分类模型和二级分类模型的训练阶段，可以使用实施例1中所建立的数据库，其中对于样本骨髓涂片显微图像需要进一步标注出每个像素点的分类标签，对于一级分类模型的训练样本需要至少标注出像素点的一级分类标签，对于二级分类模型的训练样本需要标注出像素点的一级和二级分类标签。
进一步地，骨髓涂片显微图像分析装置还可以包括第一占比模块306、第二占比模块307和第三占比模块308。
第一占比模块306用于利用一级分类结果统计各类系群的骨髓细胞在骨髓涂片显微图像中所有骨髓细胞之中的数量占比。
第二占比模块307用于利用二级分类结果统计各生长阶段的骨髓细胞在骨髓涂片显微图像中所有骨髓细胞之中的数量占比。
第三占比模块308用于利用二级分类结果统计各生长阶段的骨髓细胞在所属系群类别骨髓细胞之中的数量占比。
本实施例的装置能够实现各系群及各生长阶段骨髓细胞的分类及计数统计。具体的：
(1)对骨髓涂片显微图像进行了全面分析，不局限于对单一种类骨髓细胞的识别统计；
(2)采用基于深度学习的方法，首先采用检测网络定位所有骨髓细胞，然后采用级联的分类网络实现对12类骨髓细胞由粗到精的分类识别，避免了传统图像处理中复杂的手工特征设计工序，提高了算法的泛化能力；
(3)针对骨髓细胞类间差异小的问题，设计了级联的分类网络，实现骨髓细胞的分层分类，即先粗分类各系群细胞，再针对各个系群细胞进行精细分类。
实施例5
本发明实施例还提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现本发明实施例1或2中骨髓涂片显微图像分析方法。
图10示出了本实施例的硬件结构示意图，如图10所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2的骨髓涂片显微图像分析方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例1或2骨髓涂片显微图像分析方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现本发明实施例1或2骨髓涂片显微图像分析方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种骨髓涂片显微图像分析方法，其特征在于，包括：
获取骨髓涂片显微图像；
将所述骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果；
其中，所述骨髓细胞检测模型用于预测所述骨髓涂片显微图像中骨髓细胞的位置分布图，并将所述位置分布图和从所述骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据所述融合特征输出骨髓细胞检测结果。
2.如权利要求1所述的骨髓涂片显微图像分析方法，其特征在于，所述位置分布图包括骨髓细胞密度图。
3.如权利要求1所述的骨髓涂片显微图像分析方法，其特征在于，所述骨髓细胞检测模型还用于统计所述骨髓涂片显微图像中所述骨髓细胞的总数。
4.如权利要求3所述的骨髓涂片显微图像分析方法，其特征在于，统计所述骨髓涂片显微图像中所述骨髓细胞的总数，具体包括：
根据所述位置分布图得到所述骨髓细胞的总数；
或，统计所述骨髓细胞检测结果中检测出的骨髓细胞的总数。
5.如权利要求1所述的骨髓涂片显微图像分析方法，其特征在于，所述骨髓细胞检测结果包括从所述骨髓涂片显微图像中检测出的所有骨髓细胞图像，所述骨髓涂片显微图像分析方法还包括：
从所述骨髓细胞检测结果提取单个骨髓细胞图像；
将所述单个骨髓细胞图像输入一级分类模型得到一级分类结果，所述一级分类模型用于对所述单个骨髓细胞按照系群类别进行一级分类。
6.如权利要求5所述的骨髓涂片显微图像分析方法，其特征在于，所述骨髓涂片显微图像分析方法还包括：
将所述单个骨髓细胞图像输入所属系群类别相应的二级分类模型得到二级分类结果，所述二级分类模型用于对所述单个骨髓细胞按照相应系群生长阶段进行二级分类。
7.如权利要求5或6所述的骨髓涂片显微图像分析方法，其特征在于，所述骨髓涂片显微图像分析方法还包括以下步骤中的至少一个：
利用一级分类结果统计各类系群的骨髓细胞在所述骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
利用二级分类结果统计各生长阶段的骨髓细胞在所述骨髓涂片显微图像中所有骨髓细胞之中的数量占比；
利用二级分类结果统计各生长阶段的骨髓细胞在所属系群类别骨髓细胞之中的数量占比。
8.一种骨髓涂片显微图像分析装置，其特征在于，包括：
图像获取模块，用于获取骨髓涂片显微图像；
细胞检测模块，用于将所述骨髓涂片显微图像输入骨髓细胞检测模型，得到骨髓细胞检测结果；
其中，所述骨髓细胞检测模型用于预测所述骨髓涂片显微图像中骨髓细胞的位置分布图，并将所述位置分布图和从所述骨髓涂片显微图像中提取的原始特征图融合得到融合特征，根据所述融合特征输出骨髓细胞检测结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的骨髓涂片显微图像分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的骨髓涂片显微图像分析方法的步骤。
CN202011306954.7A 2020-11-19 2020-11-19 骨髓涂片显微图像分析方法、装置、电子设备及存储介质 Pending CN112419262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011306954.7A CN112419262A (zh) 2020-11-19 2020-11-19 骨髓涂片显微图像分析方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011306954.7A CN112419262A (zh) 2020-11-19 2020-11-19 骨髓涂片显微图像分析方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112419262A true CN112419262A (zh) 2021-02-26

Family

ID=74774332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011306954.7A Pending CN112419262A (zh) 2020-11-19 2020-11-19 骨髓涂片显微图像分析方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112419262A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109241895A (zh) * 2018-08-28 2019-01-18 北京航空航天大学 密集人群计数方法及装置
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
CN109741344A (zh) * 2018-12-28 2019-05-10 上海联影智能医疗科技有限公司 血管分割方法、装置、医疗影像设备及存储介质
CN109952614A (zh) * 2016-08-22 2019-06-28 艾瑞斯国际有限公司 生物粒子的分类系统和方法
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111815607A (zh) * 2020-07-10 2020-10-23 济南大学 一种面向造血系统的骨髓细胞数据集构建方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109952614A (zh) * 2016-08-22 2019-06-28 艾瑞斯国际有限公司 生物粒子的分类系统和方法
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109241895A (zh) * 2018-08-28 2019-01-18 北京航空航天大学 密集人群计数方法及装置
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
CN109741344A (zh) * 2018-12-28 2019-05-10 上海联影智能医疗科技有限公司 血管分割方法、装置、医疗影像设备及存储介质
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111815607A (zh) * 2020-07-10 2020-10-23 济南大学 一种面向造血系统的骨髓细胞数据集构建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄紫云 等: "基于密度等级分类的田间棉铃计数算法", 《计算机辅助设计与图形学学报》, pages 1 - 8 *

Similar Documents

Publication Publication Date Title
US11900598B2 (en) System and method of classification of biological particles
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
Ramesh et al. Isolation and two-step classification of normal white blood cells in peripheral blood smears
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
Liu et al. Bone marrow cells detection: a technique for the microscopic image analysis
Wu et al. A hematologist-level deep learning algorithm (BMSNet) for assessing the morphologies of single nuclear balls in bone marrow smears: algorithm development
CN109886346A (zh) 一种心肌mri图像分类系统
CN113610859A (zh) 一种基于超声图像的甲状腺结节自动分割方法
Kumar et al. Segmentation of white blood cells using image segmentation algorithms
CN115270874A (zh) 一种基于密度估计的流式细胞分类和计数的方法和系统
Liu et al. WBCaps: a capsule architecture-based classification model designed for white blood cells identification
CN112183237A (zh) 基于颜色空间自适应阈值分割的白细胞自动分类方法
CN112084913A (zh) 一种端到端的人体检测与属性识别方法
Wu et al. A preliminary study of sperm identification in microdissection testicular sperm extraction samples with deep convolutional neural networks
Liu et al. A deep learning method and device for bone marrow imaging cell detection
Hu et al. Automatic detection of tuberculosis bacilli in sputum smear scans based on subgraph classification
KR20010017092A (ko) 혈구세포의 형태 자동 분석 및 카운트 방법
Barrera et al. Automatic normalized digital color staining in the recognition of abnormal blood cells using generative adversarial networks
An et al. Automated detection of tuberculosis bacilli using deep neural networks with sputum smear images
CN113222944B (zh) 细胞核分割方法及基于病理图像的癌症辅助分析系统、装置
CN112419262A (zh) 骨髓涂片显微图像分析方法、装置、电子设备及存储介质
Su et al. Roi-bmc-dnnet: An efficient automatic analysis model of whole-slide scanned bone marrow aspirate images for the diagnosis of hematological disorders
Taher et al. Morphology analysis of sputum color images for early lung cancer diagnosis
CN113869124A (zh) 基于深度学习的血细胞形态学分类方法及系统
Tayebi et al. Histogram of cell types: deep learning for automated bone marrow cytology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination