CN110414317B - 基于胶囊网络的全自动白细胞分类计数方法 - Google Patents

基于胶囊网络的全自动白细胞分类计数方法 Download PDF

Info

Publication number
CN110414317B
CN110414317B CN201910505860.3A CN201910505860A CN110414317B CN 110414317 B CN110414317 B CN 110414317B CN 201910505860 A CN201910505860 A CN 201910505860A CN 110414317 B CN110414317 B CN 110414317B
Authority
CN
China
Prior art keywords
capsule
image
layer
white blood
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910505860.3A
Other languages
English (en)
Other versions
CN110414317A (zh
Inventor
刘彦
沈晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910505860.3A priority Critical patent/CN110414317B/zh
Publication of CN110414317A publication Critical patent/CN110414317A/zh
Application granted granted Critical
Publication of CN110414317B publication Critical patent/CN110414317B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本发明公开了一种基于胶囊网络的全自动白细胞分类计数方法，包括步骤S1‑S7，本方案提出基于胶囊网络技术的全自动白细胞分类计数方法，针对外周血涂片的显微镜图像进行精准的白细胞分类计数，通过步骤S1‑S3对白细胞的准确定位分割，即从图像中将白细胞同红细胞、血小板等其他细胞区分开；步骤S4‑S7对白细胞进行分类，通过胶囊网络模型学习出辨识力强的图像特征，并基于其进行白细胞亚型的分类；最后运用于对白细胞进行计数。本发明所提出的白细胞分类计数方法中的分类模型能够捕获细胞之间更微小的差异，获得较高的准确性。

Description

基于胶囊网络的全自动白细胞分类计数方法
技术领域
本发明涉及白细胞识别计数技术领域，具体涉及一种基于胶囊网络的全自动白细胞分类计数方法。
背景技术
从外周血涂片的显微镜图像中对白细胞进行分类识别和计数能够为炎症、血液系统异常及相关疾病的诊断及治疗后的随访提供有力证据。白细胞的分类计数，指的是通过观察细胞的形态，将白细胞分为五种类型，包括中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞、淋巴细胞和单核细胞，并对其进行分别计数。
目前，该工作可以通过手工和自动两种方式来进行。手工进行白细胞分类计数对操作人员的技术要求较高，通常是由经验丰富的病理学家通过显微镜观察外周血涂片，并对各类细胞进行计数估算来完成，极为耗时费力。而白细胞分类计数的自动化工具，包括基于形态学分析的软件Cellavision，Easycell和Vision Hema等，及基于纹理特征分析的白细胞分类算法等方法。当白细胞受疾病影响而发生形态改变时，当前方法的自动计数结果的准确性会受到影响，目前临床工作中，超过15％的血样需要人工进行检查，导致了极大的工作负担，故亟需高精度的全自动白细胞分类计数工具。
一般来说，自动白细胞分类计数的工作流程包括预处理、分割、特征提取、特征选择和分类等几个步骤。通用的图像特征，如形状、形态学算子和纹理特征等，由于其并非专门针对白细胞设计，很难提高最终细胞分类识别的准确性。为了解决这一问题，研究人员曾尝试修改上述特征，使其适用于白细胞分类。由于人工设计高维特征的难度较大，目前的研究集中在基于卷积神经网络的白细胞识别系统。这些方法是数据驱动的，理论上讲，如果有足够的高质量数据，可以取得良好的效果。然而，可用于模型训练的外周血涂片数量不足，尤其是疾病影响导致白细胞产生形态改变时的外周血涂片数量更是有限。故上述方法的在实践中的可行性较低。
发明内容
针对现有技术的上述不足，本发明提供了一种针对外周血涂片的显微镜图像进行精准计数的基于胶囊网络的全自动白细胞分类计数方法。
为达到上述发明目的，本发明所采用的技术方案为：
提供一种基于胶囊网络的全自动白细胞分类计数方法，其包括以下步骤：
S1：筛选经标准染色后的外周血涂片的显微镜图像I0；
S2：将待处理的外周血涂片的显微镜图像I与显微镜图像I0进行颜色归一化，获得显微镜图像I1；
S3：通过对显微镜图像I1进行颜色解卷积，定位出显微镜图像I1上的白细胞，获得白细胞图像；
S4：将白细胞图像输入胶囊网络中的卷积层，输出特征图；
S5：将特征图输入主胶囊层中，将特征图组织成胶囊节点的格式，并产生包含初始特征的1152个胶囊，每个胶囊节点的输出均为128维矢量；
S6：胶囊节点依次通过第一表示胶囊层和第二表示胶囊层路由到输出层封装；输出层输出矢量长度最长的胶囊节点所对应的类别，即为图像I所包含的白细胞类型；
S7：根据白细胞类型，对白细胞分类进行累计计数。
进一步地，步骤S2包括：
S21：采用图像颜色传递算法将待处理的外周血涂片的显微镜图像I进行处理，使显微镜图像I的均值和方差与显微镜图像I0的一致，并得到显微镜图像I1。
进一步地，步骤S3包括：
S31：计算显微镜图像I1的矩阵W，矩阵W的尺寸为3×3；
S32：将显微镜图像I1沿矩阵W的三列进行投影，获得位于矩阵W中第一通道的亚甲基蓝染色图像和第二通道的伊红染色图像；
S33：将亚甲基蓝染色图像二值化，得到白细胞图像；
进一步地，矩阵W的第一列和第二列分别为染色剂亚甲基蓝和伊红对应的染色矢量。
进一步地，第一表示胶囊层包含16个64维的胶囊节点，第二表示胶囊层包含5个16维的胶囊节点；
进一步地，第二表示胶囊层与输出层之间还包括第一全连接层和第二全连接层，第一全连接层包含512个胶囊节点，第二全连接层包含1024个胶囊节点。
进一步地，卷积层中有256个特征映射，卷积层内核大小为9×9，卷积层步长为1。
本发明的有益效果为：本方案提出基于胶囊网络技术的全自动白细胞分类计数方法，针对外周血涂片的显微镜图像进行精准的白细胞分类计数，通过步骤S1-S3对白细胞的准确定位分割，即从图像中将白细胞同红细胞、血小板等其他细胞区分开；步骤S4-S7对白细胞进行分类，通过胶囊网络模型学习出辨识力强的图像特征，并基于其进行白细胞亚型的分类；最后运用于对白细胞进行计数。
第二表示胶囊层与输出层之间还包括第一全连接层和第二全连接层，目的是对输出的白细胞类型进行重建输入，改善网络的性能。本发明采用胶囊网络技术，胶囊节点传递的是矢量而非传统神经网络中的标量，使得与传统神经网络相比，基于胶囊架构的网络能够抽象出更高维度且具有层次结构的特征。本发明所提出的白细胞分类计数方法中的分类模型能够捕获细胞之间更微小的差异，获得较高的准确性。
附图说明
图1为基于胶囊网络技术的全自动白细胞分类计数方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，基于胶囊网络的全自动白细胞分类计数方法，其包括以下步骤：
S1：人工筛选经标准染色后的外周血涂片的显微镜图像I0；
S2：采用图像颜色传递算法将待处理的外周血涂片的显微镜图像I的均值和方差调整至与显微镜图像I0的均值和方差一致，并得到显微镜图像I1。
经过瑞氏染色后的外周血涂片中，白细胞的颜色明显不同于红细胞和血小板，故可通过基于颜色特征的方法来定位分割白细胞。步骤S1和S2为了排除由于染色不均导致的不同图像间的颜色差异。
S3：计算显微镜图像I1的矩阵W，矩阵W的尺寸为3×3；
S4：将显微镜图像I1沿矩阵W的三列进行投影，获得位于矩阵W中第一通道的亚甲基蓝染色图像和位于矩阵W中第二通道的伊红染色图像。
瑞氏染色所使用的两种染色剂分别为亚甲基蓝和伊红，染色后显微镜图像I1上每个像素的颜色可看作是这两种染色剂对应的染色图像的线性组合。
S5：将亚甲基蓝染色图像二值化，得到白细胞图像。
S6：将白细胞图像输入胶囊网络中的卷积层，输出特征图；
S7：将特征图输入主胶囊层中，主胶囊层将特征图组织成胶囊节点的格式，产生包含初始特征的1152个胶囊，每个胶囊节点的输出均为128维矢量；
S8：胶囊节点依次通过第一表示胶囊层和第二表示胶囊层路由到输出层封装；输出层输出矢量长度最长的胶囊节点所对应的类别，即为显微镜图像I所包含的白细胞类型；第一表示胶囊层包含16个64维的胶囊节点，第二表示胶囊层包含5个16维的胶囊节点；根据动态路由规则，主胶囊层封装的信息将被路由到输出层封装。第二表示胶囊层2的5个胶囊输出的矢量长度分别表示输入显微镜图像I属于相应类别的概率，输出层将矢量长度最长的胶囊节点对应的类别输出。
S9：运用步骤S8中确定的白细胞类型，对白细胞分类进行累计计数。
本方案中第二表示胶囊层与输出层之间还包括第一全连接层和第二全连接层，第一全连接层包含512个胶囊节点，第二全连接层包含1024个胶囊节点。卷积层中有256个特征映射，卷积层内核大小为9×9，步长为1。矩阵W的第一列和第二列分别代表了染色剂亚甲基蓝和伊红对应的染色矢量。
本方案提出基于胶囊网络技术的全自动白细胞分类计数方法，针对外周血涂片的显微镜图像进行精准的白细胞分类计数，通过对白细胞的准确定位分割，即从图像中将白细胞同红细胞、血小板等其他细胞区分开；对白细胞进行分类，通过胶囊网络模型学习出辨识力强的图像特征，并基于其进行白细胞亚型的分类；最后运用于对白细胞进行计数。
第二表示胶囊层与输出层之间还包括第一全连接层和第二全连接层，目的是对输出的白细胞类型进行重建输入，改善网络的性能。本发明采用胶囊网络技术，胶囊节点传递的是矢量而非传统神经网络中的标量，使得与传统神经网络相比，基于胶囊架构的网络能够抽象出更高维度且具有层次结构的特征。发明所提出的白细胞分类计数方法中的分类模型能够捕获细胞之间更微小的差异，获得较高的准确性。

Claims (5)

1.一种基于胶囊网络的全自动白细胞分类计数方法，其特征在于，包括以下步骤：
S1：筛选经标准染色后的外周血涂片的显微镜图像I0；
S2：将待处理的外周血涂片的显微镜图像I与显微镜图像I0进行颜色归一化，获得显微镜图像I1；具体为：
S21：采用图像颜色传递算法将待处理的外周血涂片的显微镜图像I进行处理，使显微镜图像I的均值和方差与显微镜图像I0的一致，并得到显微镜图像I1；
S3：通过对显微镜图像I1进行颜色解卷积，定位出显微镜图像I1上的白细胞，获得白细胞图像；包括：
S31：计算显微镜图像I1的矩阵W，所述矩阵W的尺寸为3×3；
S32：将显微镜图像I1沿矩阵W的三列进行投影，获得位于矩阵W中第一通道的亚甲基蓝染色图像和第二通道的伊红染色图像；
S33：将亚甲基蓝染色图像二值化，得到白细胞图像；
S4：将白细胞图像输入胶囊网络中的卷积层，输出特征图；
S5：将特征图输入主胶囊层中，将特征图组织成胶囊节点的格式，并产生包含初始特征的1152个胶囊，每个所述胶囊节点的输出均为128维矢量；
S6：胶囊节点依次通过第一表示胶囊层和第二表示胶囊层路由到输出层封装；输出层输出矢量长度最长的胶囊节点所对应的类别，即为图像I所包含的白细胞类型；
S7：根据所述白细胞类型，对白细胞分类进行累计计数。
2.根据权利要求1所述的基于胶囊网络的全自动白细胞分类计数方法，其特征在于，所述矩阵W的第一列和第二列分别为染色剂亚甲基蓝和伊红对应的染色矢量。
3.根据权利要求1所述的基于胶囊网络的全自动白细胞分类计数方法，其特征在于，所述第一表示胶囊层包含16个64维的胶囊节点，所述第二表示胶囊层包含5个16维的胶囊节点。
4.根据权利要求1所述的基于胶囊网络的全自动白细胞分类计数方法，其特征在于，所述第二表示胶囊层与输出层之间还包括第一全连接层和第二全连接层，所述第一全连接层包含512个胶囊节点，所述第二全连接层包含1024个胶囊节点。
5.根据权利要求1所述的基于胶囊网络的全自动白细胞分类计数方法，其特征在于，所述卷积层中有256个特征映射，所述卷积层内核大小为9×9，所述卷积层步长为1。
CN201910505860.3A 2019-06-12 2019-06-12 基于胶囊网络的全自动白细胞分类计数方法 Expired - Fee Related CN110414317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910505860.3A CN110414317B (zh) 2019-06-12 2019-06-12 基于胶囊网络的全自动白细胞分类计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910505860.3A CN110414317B (zh) 2019-06-12 2019-06-12 基于胶囊网络的全自动白细胞分类计数方法

Publications (2)

Publication Number Publication Date
CN110414317A CN110414317A (zh) 2019-11-05
CN110414317B true CN110414317B (zh) 2021-10-08

Family

ID=68359023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910505860.3A Expired - Fee Related CN110414317B (zh) 2019-06-12 2019-06-12 基于胶囊网络的全自动白细胞分类计数方法

Country Status (1)

Country Link
CN (1) CN110414317B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502970A (zh) * 2019-07-03 2019-11-26 平安科技（深圳）有限公司 细胞图片识别方法、系统、计算机设备及可读存储介质
CN112784652A (zh) * 2019-11-11 2021-05-11 中强光电股份有限公司 图像识别方法及装置
CN112508909B (zh) * 2020-12-03 2023-08-25 中国人民解放军陆军军医大学第二附属医院 一种外周血细胞形态学自动检测系统的疾病联想方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法
CN108985316A (zh) * 2018-05-24 2018-12-11 西南大学 一种改进重构网络的胶囊网络图像分类识别方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109344839A (zh) * 2018-08-07 2019-02-15 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109800817A (zh) * 2019-01-25 2019-05-24 西安电子科技大学 基于融合语义神经网络的图像分类方法
CN109840560A (zh) * 2019-01-25 2019-06-04 西安电子科技大学 基于胶囊网络中融入聚类的图像分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013132998A1 (ja) * 2012-03-07 2015-07-30 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
US10303979B2 (en) * 2016-11-16 2019-05-28 Phenomic Ai Inc. System and method for classifying and segmenting microscopy images with deep multiple instance learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法
CN108985316A (zh) * 2018-05-24 2018-12-11 西南大学 一种改进重构网络的胶囊网络图像分类识别方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109344839A (zh) * 2018-08-07 2019-02-15 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109800817A (zh) * 2019-01-25 2019-05-24 西安电子科技大学 基于融合语义神经网络的图像分类方法
CN109840560A (zh) * 2019-01-25 2019-06-04 西安电子科技大学 基于胶囊网络中融入聚类的图像分类方法

Also Published As

Publication number Publication date
CN110414317A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
US20230127698A1 (en) Automated stereology for determining tissue characteristics
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
CN110414317B (zh) 基于胶囊网络的全自动白细胞分类计数方法
CN111325103B (zh) 一种细胞标注系统和方法
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
CN108280320B (zh) 一种基于深度学习的快速精准高通量药物筛选系统
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN113537182B (zh) 染色体中期分裂相显微图像的自动识别方法与系统
Parab et al. Red blood cell classification using image processing and CNN
CN110059765B (zh) 一种矿物智能识别分类系统与方法
US20200117894A1 (en) Automated parameterization image pattern recognition method
CN112001315B (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
CN109815974A (zh) 一种细胞病理玻片分类方法、系统、设备、存储介质
CN113393443A (zh) 一种he病理图像细胞核分割方法及系统
CN111458269A (zh) 一种外周血淋巴微核细胞图像人工智能识别方法
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
CN112784767A (zh) 基于白细胞显微图像的细胞实例分割算法
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN113408480B (zh) 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统
Revanda et al. Classification of Acute Lymphoblastic Leukemia on White Blood Cell Microscopy Images Based on Instance Segmentation Using Mask R-CNN.
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN114387596A (zh) 细胞病理涂片自动判读系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211008

CF01 Termination of patent right due to non-payment of annual fee