CN116703843A - 一种急性髓系白血病亚型的ai辅助诊断系统 - Google Patents

一种急性髓系白血病亚型的ai辅助诊断系统 Download PDF

Info

Publication number
CN116703843A
CN116703843A CN202310619296.4A CN202310619296A CN116703843A CN 116703843 A CN116703843 A CN 116703843A CN 202310619296 A CN202310619296 A CN 202310619296A CN 116703843 A CN116703843 A CN 116703843A
Authority
CN
China
Prior art keywords
data set
nucleated cells
bone marrow
trained
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310619296.4A
Other languages
English (en)
Inventor
韩民
杨光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310619296.4A priority Critical patent/CN116703843A/zh
Publication of CN116703843A publication Critical patent/CN116703843A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开一种急性髓系白血病亚型的AI辅助诊断系统，包括：诊断模型训练模块，其被配置为：采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；细胞分类模块，其被配置为：结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类；结果诊断模块，其被配置为：对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。

Description

一种急性髓系白血病亚型的AI辅助诊断系统
技术领域
本发明涉及数据处理技术领域，特别是涉及一种急性髓系白血病亚型的AI辅助诊断系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
急性髓系白血病(Acute myeloid leukemia，AML)是髓系造血干/祖细胞恶性疾病，以外周血或骨髓中原始和幼稚髓系细胞异常增生为主要特征。AML属于白血病的一种类型，病因复杂，对人体生命健康危害较大。流行病学显示，AML可发生于各个年龄段，是成年人最常见的急性白血病，占小儿白血病的30％，其发病率随年龄增加而增长。根据医学上FAB形态学分型，AML可分为M0-M7八种亚型，每种亚型以不同类别细胞的异常增殖为特征。鉴于AML的威胁和复杂性，早期准确诊断对其治疗至关重要。
目前对包括AML在内的各种白血病的诊断建立在骨髓细胞形态学检验的基础之上。首先医生对患者进行骨髓穿刺获取抽吸液，然后用染色剂将其中细胞染色、在载玻片上涂片，之后通过电子显微镜进行观察。检验人员会先在低倍镜下选择多个合适的视野，然后分别调至高倍镜按照细胞种类、发育阶段进行计数，一般总共统计200个有核细胞，最后计算各类细胞占比，根据血液病分类标准做出诊断。由此可见，人工镜检的方式费时费力，十分考验检验人员的专业技术水平，而且细胞之间细微的差异容易导致识别错误，以及主观因素会导致不同人员识别的差异性。
随着数字成像技术的发展，高分辨率骨髓显微图像可以更加方便地数字化表示，同时促进了图像处理相关算法在智能化细胞形态学检验方面的应用。近年来一些研究先使用传统算法分割出单个细胞，然后提取颜色、纹理、几何等特征，输入分类器对其进行分类。然而，实际的骨髓涂片中细胞之间具有团聚、重叠等现象，传统分割方法获得单细胞比较困难，对传统特征工程带来噪声干扰，从而使得分类不够精准。随着深度学习的发展，一些更先进的自动特征学习的模型被应用于骨髓细胞的分类，例如各种卷积网络(CNN)。尽管如此，相关研究仍然存在一些问题。首先，用于网络训练的样本量较少；其次，不同分化阶段的细胞差异甚微，对网络的识别带来困难；然后，CNN网络泛化能力较弱，在未知数据集表现较差；最后，有些研究追求模型精度而忽视了运算效率。血液病的诊断除细胞分类外，还要考虑其数量比例。在兼具细胞分类计数的研究中，大都使用单阶段的YOLO检测网络，然而随着难度较大的细胞类别的增加，标注工作量将会增大，而且仅使用单一网络会出现漏检、误检等问题。正是由于以上存在的各种问题，许多相关研究只集中于AML的识别，而诊断更具体以及更多的AML亚型仍然比较困难。
综上所述，现有的AML诊断方法主要基于骨髓细胞形态学检验，存在着以下几点不足：1)人工镜检的方式费时费力，考验检验员专业水平，主观性较强，容易导致识别错误；2)基于传统图像算法的诊断，对于骨髓片中细胞成团现象，难以得到单细胞图像，而且手动提取特征比较麻烦，分类不够精准；3)基于深度学习的诊断方法，存在着训练数据量少和类别不均衡、网络泛化能力弱、单一网络检测多类别细胞难度大、缺乏具体多个亚型的诊断等问题。
发明内容
为了解决上述问题，本发明提出了一种急性髓系白血病亚型的AI辅助诊断系统，其首先，使用轻量化目标检测网络对骨髓显微图像中的有核细胞进行检测；之后，将得到的单个细胞输入到一种轻量的融合模型进行具体的类型识别；最后，结合患者高倍镜下多个视野，统计检测到的各类细胞数量，计算比例，根据疾病分类标准完成AML亚型的诊断。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种急性髓系白血病亚型的AI辅助诊断系统，包括：
数据集获取模块，其被配置为：获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集，对骨髓单细胞图像进行标注形成第二数据集；
诊断模型训练模块，其被配置为：采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；
细胞分类模块，其被配置为：结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类结果；
诊断模块，其被配置为：对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。
第二方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种急性髓系白血病亚型的AI辅助诊断方法，所述方法包括：
获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集，对骨髓单细胞图像进行标注形成第二数据集；
采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；
结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类结果；
对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。
第三方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种急性髓系白血病亚型的AI辅助诊断方法，所述方法包括：
获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集，对骨髓单细胞图像进行标注形成第二数据集；
采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；
结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类结果；
对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。
与现有技术相比，本发明的有益效果为：
(1)本发明通过用轻量化目标检测网络对骨髓显微图像中的有核细胞进行检测；将得到的单个细胞输入到一种轻量的融合模型进行具体的类型识别；结合患者高倍镜下多个视野，统计检测到的各类细胞数量，计算比例，根据疾病分类标准完成AML亚型的诊断。通过多阶段多模型融合的方法进行细胞分类计数，相比单一网络能够提高检测精度，而且更适用于多类细胞差异微小的情况；高效地实现了AML具体亚型的识别诊断，而不仅仅停留在AML大类的识别层面。
(2)本发明通过细胞分类使用轻量化CNN-ViT融合模型，充分综合了CNN和ViT各自的结构特点，以较少的参数和计算量便能够获得不错的性能表现；
(3)本发明的提出的方法更接近于常规的检验与诊断流程，为以后更多血液病及其亚型的诊断提供一定参考。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的进行AML亚型诊断的整体流程图；
图2是本发明实施例提供的YOLOv7网络的架构图；
图3是本发明实施例提供的CNN-ViT融合模型的架构图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，从骨髓细胞形态学检验的角度出发，并基于深度学习中多阶段多模型融合的算法，本实施例提供一种急性髓系白血病亚型的AI辅助诊断系统，包括：
数据获取模块，其被配置为：获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集D1，对骨髓单细胞图像进行标注形成第二数据集D1；
在本实施例中，第一数据集D1的获取过程为：从医院、网络等多种渠道收集了208张骨髓显微图像，涵盖了各种常见的血液病类型，每张图像含有10-100个有核细胞，并使用Labelme工具对所有有核细胞进行标注，得到其标签信息：类别(类别数为1)和矩形边界框(中心点坐标、宽和高)，以此形成第一数据集D1。
第二数据集D1的获取过程为：一部分从骨髓显微图像中分割得到，另一部分在公开数据库中获得。
由专业医生进行类别标定，一共6011张，归纳为11个类别，包括：原始/早幼红细胞(PEN，缩写，下同)、中/晚幼红细胞(PON)、原始粒细胞(MYB)、早/中/晚幼粒细胞(PMM)、异常早幼粒细胞(ABP)、杆状中性粒细胞(NGB)、分叶中性粒细胞(NGS)、嗜酸性粒细胞(EOS)、嗜碱性粒细胞(BAS)、淋巴细胞(LYT)、单核细胞(MON)。这些图像形成第二数据集D2。
数据预处理模块，其被配置为：分别对第一数据集D1和第二数据集进行划分以及数据增强；
在本实施例中，第一数据集D1的划分以及增强过程为：
将数据集D1按照8:2划分为训练集和测试集，训练集上使用在线的数据增强技术，即在训练迭代过程中按批量使用随机色彩空间变换、随机平移、随机水平翻转以及Mosaic等增强方式。
第二数据集D2的划分以及增强过程为：
首先，由于原始数据集D2存在类别不均衡问题，因此本实施例采用离线形式的数据增强扩充数据集，即各种增强后的图像保存至文件夹，使用的方法包括随机水平/垂直翻转、随机旋转90度、随机高斯模糊、随机色彩空间变换等。每种类别的细胞图像被扩增至2000+，扩增后共有22525张图像。
之后，将数据集D2按照7∶1∶2划分为训练集、验证集和测试集。训练过程中仍然使用在线的数据增强方式，包括随机缩放裁剪、随机水平/垂直翻转，随机色彩空间变换、随机减少颜色通道位数等。
有核细胞检测模块，其被配置为：采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合网络模型进行训练和测试，得到训练后的分类网络模型；
所述采用第一数据集对检测网络模型进行训练和测试具体包括：
本实施例中，所述检测网络模型采用YOLOv7-tiny网络，其整体网络结构如图2所示。
对检测网络模型进行训练和测试前，首先将第一数据集中的图像的大小进行缩放，例如可以缩放为640*640*3；
所述采用第一数据集对检测网络模型进行训练和测试的过程为：
通过backbone中的CBS、ELAN等模块进行特征提取，之后通过neck部分进行特征融合，最后3个head输出不同尺度下预测的矩形框信息(x，y，w，h)、前景置信度分数obj以及类别概率cls_score，形式为h′×w′×3×(x，y，w，h，obj，cls_score)，其中h′×w′表示特征图大小，3表示每个特征图像素点生成的初始锚框数。
此训练过程中，采用的优化损失函数包括：矩形框损失、置信度损失和分类损失；
其中，矩形框损失，使用GIOU loss(Lgiou)，计算如下：
式中，Bpred表示预测框面积，Btrue表示真实框面积，而Bc表示两框最大对角线所对应的框面积。
置信度损失和分类损失，均用BCE loss(Lbce)，计算如下：
式中，yi表示样本真实标签0或1，pi表示预测概率(0-1之间)。
在训练阶段，网络加载COCO数据集上的预训练参数，批量大小设为64，使用SGD优化器，初始学习率为0.01，L2衰减系数为0.0005，一共迭代500个epoch，使用预热(warm up，3个epoch)+余弦退火的学习策略。测试时，使用非极大值抑制(DIOU NMS)进行预测框筛选，置信度阈值为0.35，NMS阈值为0.45。最终的测试准确率(Accuracy)达到99％。
所述采用第二数据集对融合网络模型进行训练和测试，具体包括：
在本实施例中，所述融合网络模型采用一种轻量化的CNN-ViT融合模型；
由于本实施例中骨髓细胞类别较多且有些细胞间差异微小，使用单一CNN网络进行分类效果欠佳，因此引入了能够全局信息处理、泛化能力较强的ViT模型，构建一种轻量化的CNN-ViT融合模型，其中CNN使用MobileNetV3-large网络，而ViT使用ViT-r-s16-p8网络。单独的CNN和ViT网络分别在数据集D2上进行训练，之后将二者输出的类别概率进行两种方式的融合----最大值投票(Max Vote)和平均值投票(Avg Vote)。构建的融合模型仅有10.3M的参数量和0.67G的FLOPs(计算量)，并不会带来太大计算代价。
CNN-ViT融合模型的架构如图3所示。CNN分支主要由Depth-wise(3*3)卷积、Point-wise(1*1)卷积、SE模块等堆叠而成；ViT分支则主要由Patch Embedding、Multi-head Self-attention等部分构成。最后二者都通过全连接层和Sigmoid函数输出类别概率。
CNN和ViT各自训练时采用如下共同策略：加载ImageNet数据集上的预训练参数，类别标签转换成独热编码(one-hot)形式，损失函数采用BCE loss，输入图像的分辨率为224*224，使用SGD优化器，训练CNN时设置第一批量大小，训练ViT网络时设置第二批量大小，且训练CNN时的迭代次数和训练ViT网络时迭代次数不同，测试时，若预测概率低于设定阈值，则该细胞被认定为其他类别。
具体地，初始学习率为0.01，L2衰减系数为0.0005，使用余弦退火策略；不同之处在于：训练CNN设置批量大小64，迭代100个epoch，ViT则设置批量大小128，迭代80个epoch。测试时，若预测概率低于0.3，则该细胞被认定为“其他”类别；表1展示了测试集上单模型和两种融合方式的效果。
表1有核细胞分类的模型对比测试结果
采用的评估指标包括准确率(Accuracy)、精度(Precision)、召回率(Recall)、F1分数(F1 score)和测试时间(Test time)，计算公式如下：
式中，TP、FP、TN、FN分别表示被正确预测的正例、被错误预测的负例、被正确预测的负例以及被错误预测的正例。
细胞分类模块，其被配置为：结合待诊断患者的骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的检测定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出单个有核细胞，输入至训练后的融合模型，融合方式选择效果相对较好的平均值投票，得到有核细胞的分类结果；
待诊断患者的骨髓涂片的多视野图像的获取过程为：在高倍显微镜下(70-100倍均可)，选择骨髓涂片中多个视野(保证细胞总数大于200)，将其作为诊断模型的输入图像，选择的视野是细胞分布均匀的区域，多位于髓膜的体尾交界处。
诊断模块，其被配置为：对检测和分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对AML亚型的诊断。
检测多个视野中总共200个以上有核细胞，并对其中各类细胞进行计数，计算它们各自在细胞总数中所占的百分比。之后，依据医学上血液病分类标准，即相关细胞比例范围，诊断出患者所属AML的具体亚型。
本实施例中的诊断标准参考《2016版造血和淋巴组织肿瘤WHO分类》。
本发明获取了10例AML患者的数字全景骨髓涂片进行测试，包括M1-M5亚型，识别准确率达到100％。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，包括：
数据集获取模块，其被配置为：获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集，对骨髓单细胞图像进行标注形成第二数据集；
诊断模型训练模块，其被配置为：采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；
细胞分类模块，其被配置为：结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类结果；
诊断模块，其被配置为：对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。
2.如权利要求1所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述系统还包括数据预处理模块，其被配置为：分别对第一数据集和第二数据集进行划分以及数据增强。
3.如权利要求1所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述检测网络模型的构建过程为：
通过backbone中的CBS、ELAN等模块进行特征提取，之后通过neck部分进行特征融合，最后通过3个head输出不同尺度下预测的矩形框信息、前景置信度分数以及类别概率。
4.如权利要求1所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述检测网络模型训练时，采用的优化损失函数包括：矩形框损失、置信度损失和分类损失。
5.如权利要求1所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述融合模型的构建过程为：
在CNN网络的基础上，引入ViT模型，将单独的CNN和ViT网络分别在第二数据集上进行训练，之后将二者输出的类别概率进行两种方式的融合。
6.如权利要求5所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述CNN网络使用MobileNetV3-large网络，所述ViT采用ViT-r-s16-p8网络。
7.如权利要求5所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述单独的CNN和ViT网络分别在第二数据集上进行训练和测试的过程为：
训练时，加载第二数据集上的预训练参数，将类别标签转换成独热编码形式，损失函数采用BCE loss，使用SGD优化器，训练CNN时设置第一批量大小，训练ViT网络时设置第二批量大小，且训练CNN时的迭代次数和训练ViT网络时迭代次数不同，测试时，若预测概率低于设定阈值，则该细胞被认定为其他类别。
8.如权利要求1所述的一种急性髓系白血病亚型的AI辅助诊断系统，其特征在于，所述医学上血液病分类标准采用《2016版造血和淋巴组织肿瘤WHO分类》。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种急性髓系白血病亚型的AI辅助诊断方法，所述方法包括：
获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集，对骨髓单细胞图像进行标注形成第二数据集；
采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；
结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类结果；
对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种急性髓系白血病亚型的AI辅助诊断方法，所述方法包括：
获取骨髓显微图像和骨髓单细胞图像；对骨髓显微图像进行标注形成第一数据集，对骨髓单细胞图像进行标注形成第二数据集；
采用第一数据集对检测网络模型进行训练和测试，得到训练后的检测网络模型；采用第二数据集对融合模型进行训练和测试，得到训练后的分类网络模型；
结合待诊断骨髓涂片的多视野图像和训练后的检测网络模型，进行图像中有核细胞的定位，得到每张图像中所有有核细胞的矩形边界框结果；根据检测得到的矩形框结果自动分割出的单个有核细胞和训练后的融合模型，得到有核细胞的分类结果；
对分类后的有核细胞计数，计算各类细胞的比例，根据医学上血液病分类标准，完成对急性髓系白血病亚型的诊断。
CN202310619296.4A 2023-05-26 2023-05-26 一种急性髓系白血病亚型的ai辅助诊断系统 Pending CN116703843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310619296.4A CN116703843A (zh) 2023-05-26 2023-05-26 一种急性髓系白血病亚型的ai辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310619296.4A CN116703843A (zh) 2023-05-26 2023-05-26 一种急性髓系白血病亚型的ai辅助诊断系统

Publications (1)

Publication Number Publication Date
CN116703843A true CN116703843A (zh) 2023-09-05

Family

ID=87826993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310619296.4A Pending CN116703843A (zh) 2023-05-26 2023-05-26 一种急性髓系白血病亚型的ai辅助诊断系统

Country Status (1)

Country Link
CN (1) CN116703843A (zh)

Similar Documents

Publication Publication Date Title
CN109272492B (zh) 一种细胞病理涂片的处理方法及系统
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
CN110032985A (zh) 一种血细胞自动检测识别方法
CN110969204B (zh) 基于磁共振图像与数字病理图像融合的样本分类系统
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN110827242A (zh) 一种基于卷积神经网络的颅内动脉瘤检测方法及系统
JP2023544466A (ja) Ｐｅｔ／ｃｔに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置
CN108665483B (zh) 一种基于多特征融合的癌细胞跟踪方法
CN114945941A (zh) 用于支持肿瘤检测和分析的非肿瘤分割
CN112200793A (zh) 数字病理切片质量的实时监控方法及系统、计算机设备
CN110543912A (zh) 自动获取胎儿关键切面超声视频中心动周期视频的方法
CN109886346A (zh) 一种心肌mri图像分类系统
CN111401214B (zh) 一种基于深度学习的多分辨率集成her2判读方法
CN113343755A (zh) 红细胞图像中的红细胞分类系统及方法
CN113012129A (zh) 一种脑切片图像的区域定位及标记神经细胞计数系统及装置
CN117576103B (zh) 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统
CN112001315A (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
JP2007516428A (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
CN114235539A (zh) 基于深度学习的pd-l1病理切片自动判读方法及系统
CN115176289A (zh) 使用卷积神经网络的细胞系发育图像表征
Zhang et al. Microscope based her2 scoring system
Li et al. A recognition method of urine cast based on deep learning
CN116703843A (zh) 一种急性髓系白血病亚型的ai辅助诊断系统
JP2007504478A (ja) 分散プロット分布を用いてスライドを分類するシステム
CN113222928B (zh) 一种尿细胞学人工智能尿路上皮癌识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination