CN113408480A - 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统 - Google Patents

基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统 Download PDF

Info

Publication number
CN113408480A
CN113408480A CN202110787406.9A CN202110787406A CN113408480A CN 113408480 A CN113408480 A CN 113408480A CN 202110787406 A CN202110787406 A CN 202110787406A CN 113408480 A CN113408480 A CN 113408480A
Authority
CN
China
Prior art keywords
bone marrow
image
case
staining
cytochemical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110787406.9A
Other languages
English (en)
Other versions
CN113408480B (zh
Inventor
陈冰
乔宇
李楠
徐航
范立权
熊树民
杨杰
陈赛娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Original Assignee
Shanghai Jiaotong University
Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202110787406.9A priority Critical patent/CN113408480B/zh
Publication of CN113408480A publication Critical patent/CN113408480A/zh
Application granted granted Critical
Publication of CN113408480B publication Critical patent/CN113408480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，包括：图像采集模块，用于采集瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像；图像分析模块，用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中，融合医学诊断专业知识来学习骨髓形态学的有效特征，获得基于深度学习的病例骨髓形态学有效特征的相关参数；疾病类型判断模块，用于采用基于知识推理和临床经验融合的机器学习方法分析所述病例骨髓形态学参数并识别出待诊断病例的疾病类型。本发明能够实现高准确率的骨髓形态学人工智能(Artificial Intelligence,AI)辅助诊断。

Description

基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统
技术领域
本发明涉及计算机辅助诊断技术领域，特别是涉及一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统。
背景技术
骨髓形态学检查是血液系统疾病诊断的必要依据，临床检验工作中通过显微镜观察骨髓细胞，对不同发育阶段的、形态正常或异常的各系造血细胞进行分类、计数及形态观察来确定血液系统疾病的诊断及疗效与预后评估。迄今，人工镜检仍是骨髓形态学检查的主要方法，检验过程耗时耗力，效率低下。近年来，人工智能技术在医学领域迅速发展，将人工智能技术与骨髓形态学诊断相结合，有望在血液系统疾病骨髓形态学AI辅助诊断系统的开发方面取得有益成果，提高诊断准确率与工作效率，减轻临床检验工作的压力。
当前应用于血液系统疾病骨髓形态学诊断的人工智能方法多关注骨髓有核细胞种类识别，其诊断方法在医学科学性与真实病例应用方面有所欠缺。申请号为CN202010126812.6的专利公开了一种骨髓细胞影像人工智能辅助分级诊断系统及方法，包括数据采集单元、自动识别与标注单元、手动标注单元、细胞数据统计单元、数据分析分级单元、影像辅助分级诊断单元、显示器、储存模块和处理器。该发明的人工智能辅助分析诊断系统在数据统计单元中仅统计了骨髓有核细胞数量，数据分析分级单元中仅将粒细胞与红细胞比值以及各类细胞在骨髓有核细胞中的比例作为分析数据，其忽略了对骨髓增生程度和各种细胞化学染色的阳性程度的分析。
发明内容
本发明所要解决的技术问题是提供一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，实现高准确率的骨髓形态学AI诊断。
本发明解决其技术问题所采用的技术方案是：提供一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，包括：图像采集模块，用于采集瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像；图像分析模块，用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中，融合医学诊断专业知识来学习骨髓形态学的有效特征，获得基于深度学习的病例骨髓形态学有效特征的相关参数；疾病类型判断模块，用于采用基于知识推理和临床经验融合的机器学习方法分析所述病例骨髓形态学参数并识别出待诊断病例的疾病类型。
所述瑞氏染色骨髓图像为针对待诊断病例的瑞氏染色骨髓涂片采用高倍镜和油镜采集的显微图像；所述细胞化学染色骨髓及外周血图像为针对待诊断病例的细胞化学染色骨髓及外周血涂片采用油镜采集的显微图像。
所述图像分析模块用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中以识别各类型骨髓细胞，融合医学诊断专业知识来学习骨髓形态学的三个有效特征：骨髓增生程度、骨髓各类有核细胞比例和细胞化学染色程度，计算基于深度学习的病例骨髓形态学各有效特征的相关参数。
所述图像分析模块包括：骨髓增生程度评估模块，用于通过所述训练好的深度网络模型分析高倍镜下瑞氏染色骨髓图像，并根据单个高倍镜视野下有核细胞数量判断病例骨髓增生程度；骨髓有核细胞分类模块，用于通过所述训练好的深度网络模型分析油镜下瑞氏染色骨髓图像，并对骨髓有核细胞进行自动分类和数量统计以获得骨髓中各类有核细胞比例；细胞化学染色评估模块，用于通过所述训练好的深度网络模型分析所述细胞化学染色骨髓及外周血图像，并根据细胞染色阳性程度建立病例细胞化学积分体系。
所述骨髓增生程度评估模块通过K张所述高倍镜下瑞氏染色骨髓图像合并的方式得到单个高倍镜视野面积，其中，
Figure BDA0003159560310000021
其中，S1为单个高倍镜视野面积，S2为所述单张高倍镜下瑞氏染色骨髓图像的实际面积，FN为目镜视场数，n为物镜放大倍率，D为相机芯片尺寸，通过所述训练好的深度网络模型对所述单个高倍镜视野面积的图像进行有核细胞识别得到单个高倍镜视野下有核细胞数量，根据有核细胞数量判断骨髓增生程度，其中，
Figure BDA0003159560310000022
N表示单个高倍镜视野下有核细胞数量。
所述骨髓有核细胞分类模块采用所述训练好的深度网络模型对所述油镜下瑞氏染色骨髓图像中的有核细胞进行自动分类，计数连续的预定个数的有核细胞，计算各类有核细胞的比例。
所述细胞化学染色评估模块采用所述训练好的深度网络模型对不同类型细胞化学染色骨髓及外周血图像中目标细胞根据不同染色程度进行自动分类，并按相应的计分规则计算预定个数的目标细胞染色程度的总积分，以表示病例对该种细胞化学染色的整体反应。
所述疾病类型判断模块包括：特征提取模块，用于依据疾病骨髓形态学诊断的特点提取病例特征；病例分类模块，用于根据所述病例特征采用基于知识推理和临床经验融合的机器学习方法对病例的疾病类型做出判断。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：
本发明将人工智能技术应用于骨髓形态学图像识别和疾病分析的一整套流程，对血液系统疾病自动生成诊断结果，能够提高工作效率，减轻临床检验工作的压力。
本发明中的图像采集模块的操作对象涵盖了不同染色类型的涂片，除采集瑞氏染色骨髓图像外，还对细胞化学染色的骨髓及外周血图像进行采集，所有类型图像都被输入图像分析模块来提升基于骨髓形态学的血液疾病诊断准确率。该系统AI图像分析模块的图像识别方法是深度学习算法，与现有技术不同的是，除了分析骨髓有核细胞分类及比例外，该系统融合医学诊断专业知识，增加了对骨髓增生程度以及细胞化学染色阳性程度的评估，计算基于深度学习的病例骨髓形态学各有效特征的相关参数，针对待诊断病例获得更全面的骨髓形态学参数，使AI辅助诊断结果更可靠。
本发明中的病例分类模块是基于机器学习算法，以提取的病例特征参数的原始数据作为分类特征，在病例分类过程中充分利用了基于知识融合获取的病例骨髓形态学有效特征，包括骨髓增生程度、疾病特征性的有核细胞比例、疾病特征性的细胞化学染色类型阳性程度，融合临床诊断专业标准和临床大数据，运用知识推理方法来学习这些骨髓形态学有效特征和血液疾病类型的关联，建立基于所获取关联的血液疾病类型分类器模型，然后把这些骨髓形态学特征输入已经学习好的基于机器学习算法的疾病类型分类器，输出待诊断病例的血液疾病类型。与其他骨髓形态学AI辅助诊断系统相比，本系统学习和采用了更多、更全面的基于医学诊断专业知识的骨髓形态学特征参数，所获得的血液系统疾病的骨髓形态学AI辅助诊断结果更具科学性与可解释性，而在此之前尚无全面利用上述参数进行骨髓形态学AI辅助诊断的先例。
附图说明
图1是本发明的结构示意图；
图2是本发明实施方式中深度网络模型的结构示意图；
图3是本发明实施方式中病例分类器模型的原理示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，如图1所示，包括：图像采集模块，用于采集瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像；图像分析模块，用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中，融合医学诊断专业知识来学习骨髓形态学的有效特征，获得基于深度学习的病例骨髓形态学有效特征的相关参数；疾病类型判断模块，用于采用基于知识推理和临床经验融合的机器学习方法分析所述病例骨髓形态学参数并识别出待诊断病例的疾病类型。
图像采集模块：用于针对待诊断病例的瑞氏染色骨髓涂片和细胞化学染色骨髓及外周血涂片按照不同放大倍率采集显微图像，包括高倍镜和油镜下瑞氏染色骨髓图像和油镜下细胞化学染色骨髓及外周血图像。图像的采集模拟人工镜检的方式，高倍镜下采集一个视野面积的瑞氏染色骨髓图像，油镜下在瑞氏染色骨髓涂片及细胞化学染色涂片中选择体尾交界处的合适区域，以“N”字形的方式移动载物台，同时连续采集图像。所采集的高倍镜下瑞氏染色骨髓图像能够反映一个高倍镜视野下的有核细胞分布；所采集的油镜下瑞氏染色骨髓图像包含合适区域内连续分布的至少500个有核细胞；所采集的油镜下细胞化学染色图像包含合适区域内连续分布的至少100个目标细胞。值得一提的是，本实施方式中的高倍镜具有40倍的放大倍数，油镜具有100倍的放大倍数。
其中，细胞化学染色通常包括中性粒细胞碱性磷酸酶(neutrophil alkalinephosphatase，NAP/AKP)染色、过氧化物酶(peroxidase，POX)染色、过碘酸-希夫(periodicacid-Schiff，PAS)染色、氯醋酸AS-D萘酚酯酶(naphthol AS-D chloroacetate esterase，NAS-DCE)染色、醋酸AS-D萘酚酯酶(naphthol AS-D acetate esterase，NAS-DAE)染色和铁(Iron)染色。
以慢性粒细胞白血病慢性期(Chronic myeloid leukemia in chronic phase,CML-CP)为例，外周血涂片AKP积分降低为其骨髓形态学特点之一，AKP积分通过对AKP染色的外周血涂片中100个连续的成熟中性粒细胞按染色程度分类、计数与赋分获得。因此，该系统需针对病例是否为CML-CP做出判断时，其前期采集的细胞化学染色图像应包含AKP染色外周血图像。
图像分析模块：该模块利用人工智能技术对采集到的不同类型的显微图像进行图像识别与数据处理，基于深度学习算法识别目标细胞以获得病例骨髓形态学相关参数，本实施方式所使用的深度学习算法为Faster-RCNN网络。Faster RCNN作为两阶段目标检测方法的代表，如图2所示，由四个模块组成。第一个模块是主干网络，常用VGG或者ResNet等常见的深度网络，去除最后面用于分类的全连接层，用于特征提取。第二个模块是候选框生成网络，用于生成目标候选框。第三个模块是ROI池化，将前两个模块结合，将不同大小的目标候选框提取同一尺寸的特征图，并送入最后一个模块。第四个模块是分类和回归网络。将输入的特征分别加入分类头和回归头，分类头将预测目标的类别，回归头将对候选框的位置做调整。该网络实施方式如下：图像输入尺寸224×224×224，训练时特征金字塔每层RPN生成候选框数＝2000，测试时候选框数＝1000，测试时候选框得分阈值＝0.15，非极大值抑制NMS阈值＝0.7，max_iter＝40000。网络损失函数如下所示：
Figure BDA0003159560310000051
其中，公式的前半部分用于分类，所以采用交叉熵损失函数，pi是第i个最初候选框预测为目标的概率。pi *的取值则根据第i个候选框所对应的真实框的情况的不同而不同。当第i个候选框与所对应的真实框的IOU大于0.7，则pi *＝1，符合这样的条件的候选框也被称为正样本。由于在RPN网络中产生的候选框数量有上万个，因此只需要取其中的一部分(如两千个)作为训练正样本，但是由于可能IOU大于0.7的候选框数量不足两千个，则在取得一部分IOU大于0.7的候选框作为正样本后，再在剩下的候选框中依次取IOU最大的候选框作为正样本，直到补足需要的两千个正样本数为止。在取出正样本之后，需要找到一些与真实框的IOU不足0.3的候选框作为负样本，负样本对应的pi *＝0，即有
Figure BDA0003159560310000052
既不是正样本也不是负样本的候选框不参与训练。
公式的后半部分即为边框回归中的损失函数。在得到两个部分的损失函数之和之后，即可用于参数训练。
骨髓增生程度评估模块通过训练好的深度网络模型分析所述高倍镜下瑞氏染色骨髓图像(40x)，识别单个高倍镜视野下的有核细胞，根据有核细胞数量判断病例骨髓增生程度。在显微镜视野转换为数字化图像过程中，单张数字化显微图像所代表的实际面积远小于显微镜下的视野面积。本实施方式使用的Zeiss Axio Scope.A1显微镜所配目镜的视场数为23，经过计算，其高倍镜下的视野面积大小为0.2595mm2，计算方式为
Figure BDA0003159560310000061
其中，S1为单个高倍镜视野面积，FN为目镜视场数，n为物镜放大倍率。采集显微图像使用的AxioCam HRc相机，其芯片尺寸为2/3英寸，中间镜倍率为1.0x，采集的每张图像所代表的实际面积为0.03412mm2，计算方式为
Figure BDA0003159560310000062
其中，S2为所述单张瑞氏染色骨髓图像(40x)的实际面积，n为物镜放大倍率，D为相机芯片尺寸。经换算，7张显微图像所表示的实际面积大小约等于一个高倍镜视野下面积。因此，对于每一个病例，需要布局连续采集7张图像，代表一个高倍镜视野，7张图像中的有核细胞总数代替一个高倍镜视野下的有核细胞数作为骨髓增生程度的判断依据。
在进行判断时，构建了基于Faster RCNN的骨髓有核细胞AI识别模型，识别一个高倍镜视野面积中的有核细胞并计数，判断病例的骨髓增生程度。通过Faster RCNN网络可以检测出7张图中有核细胞，并根据有核细胞数量判断骨髓增生程度。
其中，
Figure BDA0003159560310000063
N表示单个高倍镜视野下有核细胞数量。
骨髓有核细胞分类模块采用训练好的深度网络模型对油镜下瑞氏染色骨髓图像(100x)中各细胞系不同发育阶段的有核细胞进行分类并统计数量以获得骨髓中各类有核细胞比例。在对待测病例采集瑞氏染色骨髓图像(100x)时，通过模拟人工镜检的方式，在骨髓涂片中选择体尾交界处的合适区域，以“N”字形的方式移动载物台，同时连续采集油镜下图像，对每个病例采集至少包含500个有核细胞的显微图像，作为判断病例骨髓各类有核细胞比例的依据，并基于上述Faster-RCNN网络便可对骨髓有核细胞进行自动分类，从而统计出数量得到骨髓中各类有核细胞比例。
细胞化学染色评估模块采用训练好的深度网络模型对油镜下不同类型细胞化学染色骨髓及外周血图像中不同染色程度的目标细胞并进行分类，根据细胞染色阳性程度建立病例细胞化学积分体系。以AKP染色外周血涂片为例，对于待测病例AKP染色外周血涂片显微图像的采集，同样选择体尾交界的合适区域，按照“N”字形移动载物台，同时连续采集油镜下显微图像，对每个待测病例采集至少包含100个成熟中性粒细胞的显微图像，这组图像作为判断待测病例AKP积分的图像依据。
在进行判断时，构建了基于Faster RCNN的AKP积分AI计算模型，用于对AKP染色的外周血涂片显微图像中成熟中性粒细胞根据不同染色程度进行自动分类，细胞染色程度分级及相应的计分规则为
Figure BDA0003159560310000071
AKP积分是指AKP染色的外周血涂片置于显微镜油镜下连续观察100个成熟中性粒细胞的总积分。本实施方式中，针对CML-CP的细胞化学染色评估模块，利用深度学习算法Faster-RCNN对AKP染色外周血涂片中连续100个不同染色程度的成熟中性粒细胞进行分类与统计，不同染色程度赋以相应的积分值，以积分之和(AKP积分)反映染色的阳性程度。
疾病类型判断模块：该模块利用人工智能技术分析病例骨髓形态学参数，对待诊断病例的疾病类型做出判断。其中，特征提取模块依据医学诊断专业知识中血液系统疾病骨髓形态学诊断的特点从病例骨髓形态学参数中提取基于深度学习的病例骨髓形态学有效特征，一般包括骨髓增生程度、疾病特征性的有核细胞比例、疾病特征性的细胞化学染色类型阳性程度。CML-CP的骨髓形态学特点主要表现为，骨髓增生明显至极度活跃，原始细胞比例＜10％，中性粒细胞中间阶段细胞(中幼粒细胞，晚幼粒细胞、杆状核粒细胞)比例升高，嗜酸、嗜碱性粒细胞比例升高，粒红比升高、AKP积分降低，因此，针对CML-CP的基于医学诊断专业知识的AI辅助诊断，提取的病例特征为骨髓增生程度，原始细胞、中性粒细胞中间阶段细胞(中幼粒细胞、晚幼粒细胞、杆状核粒细胞之和)、嗜酸性粒细胞、嗜碱性粒细胞比例，粒红比以及AKP积分。
病例分类模块基于机器学习算法，融合医学诊断专业标准和临床大数据，运用知识推理方法来学习这些骨髓形态学有效特征和血液疾病类型的关联，建立基于所获取关联的血液疾病类型分类器模型，利用所提取的病例特征对病例的疾病类型做出判断。依据临床经验和病例数据，运用知识推理方法来学习上述骨髓形态学有效特征和CML-CP的关联，建立基于支持向量机的CML-CP识别分类器模型，CML-CP病例分类模块基于支持向量机(Support vector machine,SVM)已事先完成了训练与验证，支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，学习算法就是求解凸二次规划的最优化算法。核函数的导入使它成为实质上的非线性分类器。支持向量机的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如图3所示，w·x+b＝0即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个，但是几何间隔最大的分离超平面却是唯一的。支持向量机为带高斯核的非线性支持向量机。其训练集与验证集由既往骨髓形态学已确诊病例的相关参数组成，算法性能在参与待诊断病例的病例分类前已达到理想水平。非线性支持向量机即是求解凸二次规划问题
Figure BDA0003159560310000084
Figure BDA0003159560310000081
0≤αi≤C,i＝1,2,...,N
得到最优解
Figure BDA0003159560310000082
其中，
Figure BDA0003159560310000083
是核函数，K(x,z)＝φ(x)·φ(z),φ是一个从输入空间到特征空间的映射。
综上，本发明的血液系统疾病辅助诊断系统将人工智能技术应用于骨髓形态学图像识别和疾病分析的一整套流程，可实现对血液系统疾病高准确率的AI辅助诊断，并且能够提高工作效率，减轻临床检验工作的压力。该系统将医学知识与人工智能技术相结合，与既往文献和专利公开的方法不同的是，在分析骨髓有核细胞分类及比例的基础上，融合医学诊断专业标准和临床大数据，增加对骨髓增生程度和细胞化学染色程度这两个骨髓形态学有效特征的学习，评估基于深度学习的病例骨髓形态学各有效特征，更全面地覆盖了骨髓形态学诊断的指标和参数，依据疾病骨髓形态学特点，运用人工智能技术学习和提取更有效、更准确、更复杂的病例特征，使AI辅助诊断结果具有更强的科学性与可解释性。在实施例CML-CP的全流程骨髓形态学AI辅助诊断中，诊断准确率达98.75％。在正常与多种类型血液系统恶性疾病病例的鉴别诊断中，将各类有核细胞比例作为病例特征的基础上，增加骨髓增生程度与AKP积分两项新特征，可使诊断的准确率从90.38％提升至98.85％。

Claims (8)

1.一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，包括：图像采集模块，用于采集瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像；图像分析模块，用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中，融合医学诊断专业知识来学习骨髓形态学的有效特征，获得基于深度学习的病例骨髓形态学有效特征的相关参数；疾病类型判断模块，用于采用基于知识推理和临床经验融合的机器学习方法分析所述病例骨髓形态学参数并识别出待诊断病例的疾病类型。
2.根据权利要求1所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述瑞氏染色骨髓图像为针对待诊断病例的瑞氏染色骨髓涂片采用高倍镜和油镜采集的显微图像；所述细胞化学染色骨髓及外周血图像为针对待诊断病例的细胞化学染色骨髓及外周血涂片采用油镜采集的显微图像。
3.根据权利要求1所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述图像分析模块用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中以识别各类型骨髓细胞，融合医学诊断专业知识来学习骨髓形态学的三个有效特征：骨髓增生程度、骨髓各类有核细胞比例和细胞化学染色程度，计算基于深度学习的病例骨髓形态学各有效特征的相关参数。
4.根据权利要求3所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述图像分析模块包括：骨髓增生程度评估模块，用于通过所述训练好的深度网络模型分析高倍镜下的瑞氏染色骨髓图像，并根据单个高倍镜视野下有核细胞数量判断病例骨髓增生程度；骨髓有核细胞分类模块，用于通过所述训练好的深度网络模型分析油镜下瑞氏染色骨髓图像，并对骨髓有核细胞进行自动分类和数量统计以获得骨髓中各类有核细胞比例；细胞化学染色评估模块，用于通过所述训练好的深度网络模型分析所述细胞化学染色骨髓及外周血图像，并根据细胞染色阳性程度建立病例细胞化学染色积分体系。
5.根据权利要求4所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述骨髓增生程度评估模块通过K张所述高倍镜下瑞氏染色骨髓图像合并的方式得到单个高倍镜视野面积，其中，
Figure FDA0003159560300000011
其中，S1为单个高倍镜视野面积，S2为所述单张高倍镜下瑞氏染色骨髓图像的实际面积，FN为目镜视场数，n为物镜放大倍率，D为相机芯片尺寸，通过所述训练好的深度网络模型对所述单个高倍镜视野面积的图像进行有核细胞识别得到单个高倍镜视野下有核细胞数量，根据有核细胞数量判断骨髓增生程度，其中，
Figure FDA0003159560300000021
N表示单个高倍镜视野下有核细胞数量。
6.根据权利要求4所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述骨髓有核细胞分类模块采用所述训练好的深度网络模型对所述油镜下瑞氏染色骨髓图像中的有核细胞进行自动分类，计数连续的预定个数的有核细胞，计算各类有核细胞的比例。
7.根据权利要求4所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述细胞化学染色评估模块采用所述训练好的深度网络模型对不同类型细胞化学染色骨髓及外周血图像中目标细胞根据不同染色程度进行自动分类，并按相应的计分规则计算预定个数的目标细胞染色程度的总积分，以表示病例对该种细胞化学染色的整体反应。
8.根据权利要求1所述的基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，其特征在于，所述疾病类型判断模块包括：特征提取模块，用于依据疾病骨髓形态学诊断的特点提取病例特征；病例分类模块，用于根据所述病例特征采用基于知识推理和临床经验融合的机器学习方法对病例的疾病类型做出判断。
CN202110787406.9A 2021-07-13 2021-07-13 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统 Active CN113408480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110787406.9A CN113408480B (zh) 2021-07-13 2021-07-13 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110787406.9A CN113408480B (zh) 2021-07-13 2021-07-13 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统

Publications (2)

Publication Number Publication Date
CN113408480A true CN113408480A (zh) 2021-09-17
CN113408480B CN113408480B (zh) 2022-09-30

Family

ID=77685978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110787406.9A Active CN113408480B (zh) 2021-07-13 2021-07-13 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统

Country Status (1)

Country Link
CN (1) CN113408480B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018789A (zh) * 2021-10-08 2022-02-08 武汉大学 基于成像流式细胞检测和机器学习的急性白血病分型方法
CN116758068A (zh) * 2023-08-17 2023-09-15 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于人工智能的骨髓图片细胞形态分析方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226118A (zh) * 2007-01-19 2008-07-23 中国医学科学院肿瘤研究所 一种兼容免疫荧光分析的细胞化学染色方法及其用途
CN102046660A (zh) * 2008-03-26 2011-05-04 塞勒兰特治疗公司 骨髓性血液学增殖性病症相关的免疫球蛋白和/或toll样受体蛋白及其用途
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
CN111476754A (zh) * 2020-02-28 2020-07-31 中国人民解放军陆军军医大学第二附属医院 一种骨髓细胞影像人工智能辅助分级诊断系统及方法
CN111667472A (zh) * 2020-06-08 2020-09-15 江西卫生职业学院 骨髓细胞形态学人工智能分析方法
EP3731140A1 (en) * 2019-04-26 2020-10-28 Juntendo Educational Foundation Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm
CN112001315A (zh) * 2020-08-25 2020-11-27 中国人民解放军海军军医大学第一附属医院 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
WO2021104410A1 (zh) * 2019-11-28 2021-06-03 北京小蝇科技有限责任公司 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226118A (zh) * 2007-01-19 2008-07-23 中国医学科学院肿瘤研究所 一种兼容免疫荧光分析的细胞化学染色方法及其用途
CN102046660A (zh) * 2008-03-26 2011-05-04 塞勒兰特治疗公司 骨髓性血液学增殖性病症相关的免疫球蛋白和/或toll样受体蛋白及其用途
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
EP3731140A1 (en) * 2019-04-26 2020-10-28 Juntendo Educational Foundation Method, apparatus, and computer program for supporting disease analysis, and method, apparatus, and program for training computer algorithm
WO2021104410A1 (zh) * 2019-11-28 2021-06-03 北京小蝇科技有限责任公司 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法
CN111476754A (zh) * 2020-02-28 2020-07-31 中国人民解放军陆军军医大学第二附属医院 一种骨髓细胞影像人工智能辅助分级诊断系统及方法
CN111667472A (zh) * 2020-06-08 2020-09-15 江西卫生职业学院 骨髓细胞形态学人工智能分析方法
CN112001315A (zh) * 2020-08-25 2020-11-27 中国人民解放军海军军医大学第一附属医院 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DIANA SCHWARTZ 等: "Morphologic and quantitative evaluation of bone marrow aspirates from Hispaniolan Amazon parrots", 《VETERINARY CLINICAL PATHOLOGY》 *
师婷婷: "面向急性白血病诊断的骨髓细胞形态学自动检验关键技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
张华等: "骨髓细胞形态学检查在疑似白血病患者辅助诊断中的价值", 《贵州医药》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018789A (zh) * 2021-10-08 2022-02-08 武汉大学 基于成像流式细胞检测和机器学习的急性白血病分型方法
CN116758068A (zh) * 2023-08-17 2023-09-15 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于人工智能的骨髓图片细胞形态分析方法
CN116758068B (zh) * 2023-08-17 2023-11-07 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于人工智能的骨髓图片细胞形态分析方法

Also Published As

Publication number Publication date
CN113408480B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
Tomari et al. Computer aided system for red blood cell classification in blood smear image
Ramesh et al. Isolation and two-step classification of normal white blood cells in peripheral blood smears
Theera-Umpon White blood cell segmentation and classification in microscopic bone marrow images
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN113408480B (zh) 基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统
KR100303608B1 (ko) 혈구세포자동인식방법및장치
Rawat et al. Review of leukocyte classification techniques for microscopic blood images
Vyshnav et al. Deep learning based approach for multiple myeloma detection
CN114283407A (zh) 一种自适应的白细胞自动分割、亚类检测方法及系统
CN112784767A (zh) 基于白细胞显微图像的细胞实例分割算法
CN114332855A (zh) 一种基于明场显微成像的无标记白细胞三分类方法
CN110414317B (zh) 基于胶囊网络的全自动白细胞分类计数方法
CN115641345A (zh) 一种基于深度学习的多发性骨髓瘤细胞形态精细分割方法
Muhamad et al. A comparative evaluation of deep learning methods in automated classification of white blood cell images
Sapna et al. Techniques for segmentation and classification of leukocytes in blood smear images-a review
CN113313719A (zh) 基于视觉注意机制和模型拟合的白细胞分割方法
Chen et al. Transmixnet: an attention based double-branch model for white blood cell classification and its training with the fuzzified training data
CN112767349A (zh) 一种网织红细胞识别方法和系统
Kareem An evaluation algorithms for classifying leukocytes images
CN115937211A (zh) 基于人工智能的精子质量评估方法、系统及设备
Ridoy et al. A lightweight convolutional neural network for white blood cells classification
Shirazi et al. Efficient enhancement and segmentation of leukocytes from microscopic images
CN114782326A (zh) 一种用于对宫颈细胞图像进行分类的系统
Wang et al. Simultaneous depth estimation and localization for cell manipulation based on deep learning
Danyali et al. Robust leukocyte segmentation in blood microscopic images based on intuitionistic fuzzy divergence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant