CN111681219A - 基于深度学习的新冠肺炎ct图像分类方法、系统及设备 - Google Patents

基于深度学习的新冠肺炎ct图像分类方法、系统及设备 Download PDF

Info

Publication number
CN111681219A
CN111681219A CN202010495750.6A CN202010495750A CN111681219A CN 111681219 A CN111681219 A CN 111681219A CN 202010495750 A CN202010495750 A CN 202010495750A CN 111681219 A CN111681219 A CN 111681219A
Authority
CN
China
Prior art keywords
pneumonia
new coronary
deep learning
coronary pneumonia
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010495750.6A
Other languages
English (en)
Other versions
CN111681219B (zh
Inventor
杜强
高泽宾
郭雨晨
聂方兴
张兴
唐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xbentury Network Technology Co ltd
Original Assignee
Beijing Xbentury Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xbentury Network Technology Co ltd filed Critical Beijing Xbentury Network Technology Co ltd
Priority to CN202010495750.6A priority Critical patent/CN111681219B/zh
Publication of CN111681219A publication Critical patent/CN111681219A/zh
Application granted granted Critical
Publication of CN111681219B publication Critical patent/CN111681219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的新冠肺炎CT图像分类方法、系统及设备，方法包括：从一个CT序列中选择n张图像输入到预先训练好的第一新冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；将患有肺炎的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠肺炎的分类结果。

Description

基于深度学习的新冠肺炎CT图像分类方法、系统及设备
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种基于深度学习的新冠 肺炎CT图像分类方法、系统及设备。
背景技术
及时的检测，诊断和治疗对于改善COVID-19患者的预后至关重要。在中 国，根据流行病学史、临床表现，外周血检查和影像学特征确定可疑的COVID-19 患者。然后，通过实时逆转录酶聚合酶链反应(RT-PCR)分析或基因测序测试 的阳性鼻咽或口咽拭子确认可疑的COVID-19患者。但是，诊断试剂盒的供应 量、质量差异、检测过程的人为因素影响限制了新冠患者的诊断率和准确性， 这些因素延迟了可疑病例的确诊，进而延误了治疗和预后的发展，同时将潜在 传染源留在了社区造成更多的传播。因此，正确快速诊断冠状病毒患者对于及 时隔离、治疗和切断传染途径至关重要。
在现有技术中，CT扫描可作为替代的筛查和诊断方法。但是，COVID-19的影像学特征很难与其他传染性或炎性疾病区分开，对于经验不 足的医生，解译这些扫描时也是一项巨大的挑战。近年来，人工智能在医 疗图像处理中(例如放射照相)取得了成功应用。因此，如何利用人工智 能进行CT扫描图像的识别新冠肺炎是亟须解决的问题。
发明内容
本发明的目的在于提供一种基于深度学习的新冠肺炎CT图像分类方 法、系统及设备，旨在解决现有技术中的上述问题。
本发明提供一种基于深度学习的新冠肺炎CT图像分类方法，包括：
从一个CT序列中选择n张图像输入到预先训练好的第一新冠肺炎深 度学习模型进行分类，得到是否患有肺炎的分类结果；
将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进 行分类，得到病人是否患有新冠肺炎的第一分类结果；
将患有肺炎的图像对应的临床诊断特征数据输入到预先训练好的SVM 模型进行分类，得到是否患有新冠肺炎的第二分类结果；
将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是 否患有新冠肺炎的分类结果。
本发明提供一种基于深度学习的新冠肺炎CT图像分类系统，包括：
第一新冠肺炎深度学习模型单元，用于从一个CT序列中选择n张图 像输入到预先训练好的第一新冠肺炎深度学习模型进行分类，得到是否患 有肺炎的分类结果；
第二新冠肺炎深度学习模型单元，用于将患有肺炎的图像输入到预先 训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺 炎的第一分类结果；
SVM模型单元，用于将患有肺炎的图像对应的临床诊断特征数据输入 到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结 果；
融合模块，用于将第一分类结果和第二分类结果进行融合，根据融合 结果输出病人是否患有新冠肺炎的结果。
本发明实施例还提供一种基于深度学习的新冠肺炎CT图像分类设备， 包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的 计算机程序，所述计算机程序被所述处理器执行时实现上述基于深度学习 的新冠肺炎CT图像分类方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储 介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基 于深度学习的新冠肺炎CT图像分类方法的步骤。
采用本发明实施例，能够准确识别出普通肺炎患者，并准确出从普通 肺炎患者中识别出新冠肺炎，可以有效辅助医生诊断新冠肺炎患者。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的 技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和 其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
图1是本发明实施例的基于深度学习的新冠肺炎CT图像分类方法的流 程图；
图2是本发明实施例的深度学习模型的示意图；
图3是本发明实施例的基于深度学习的新冠肺炎CT图像分类系统的示 意图；
图4是本发明实施例的基于深度学习的新冠肺炎CT图像分类设备的示 意图。
具体实施方式
本发明实施例提供了一种基于深度学习的新冠肺炎CT图像分类方法、 系统及设备，通过深度学习模型针对新冠肺炎进行分类，通过大量的 COVID-19肺炎病例、普通病毒性肺炎病例、其他类型肺部疾病病例(如肺 结节等)构建数据集，在该数据集的基础上通过算法识别新冠肺炎、普通 病毒肺炎和其他肺部疾病。该深度学习模型基于ResNeXt-50、Weight Standard、时序GRU模块构建，该深度学习模型可以称为CoviDet。肺炎 病变可能发生在CT影像的多个切片中。因此，手动筛选整个CT扫描序列 以识别包含病变的图像是耗时且耗费人力的。此外，一般算法较难通过选 择单个图像来准确分析一组CT图像中的病变特征，只使用CT序列的单 张图像容易导致分类错误。为了解决这些问题，本发明实施例应用了一种 基于循环神经网络(RNN)的和卷积神经网络(CNN)的分类方法，该 方法考虑了整个CT扫描序列多张影像的特征，以获得分类结果。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、 “长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚 直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的 方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本 发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或 暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第 一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。 在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体 的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可 以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接， 也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以 是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况 理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种基于深度学习的新冠肺炎CT图像分类方 法，在执行如图1所示的流程之前，需要进行深度学习模型的训练，首先对本 发明实施例进行训练时所使用的数据进行介绍。模型训练数据从四个队列中提 取：COVID-19(第1组和第2组)、对照组(第3组)和普通病毒性肺炎(第4 组)。COVID-19数据集由两部分组成。第一部分由1590例COVID-19病例组成， 第二部分由940例实验室确诊住院病例组成。来自第1组和第2组的所有 COVID-19确诊病例均为通过高通量测序或RT-PCR检测鼻腔和咽拭子样本检 测呈阳性的患者。对照组(第3组)由1085名患者组成，包括肺结核(n＝827)、 肺结核(n＝202)和普通肺(n＝56)扫描。肺结核CT扫描(n＝827)来自公开 数据集LIDC-IDRI[9]。LIDC-IDRI数据库是美国国家癌症研究所为研究高危人 群早期癌症检测而创建的开放式数据库。肺结核(n＝202)和普通肺(n＝56)CT 是内部数据集。第4组数据为经实验室诊断为病毒性肺炎的患者(n＝223)组成。
进行模型训练具体包括如下处理：
1、对第一新冠肺炎深度学习模型和第二新冠肺炎深度学习模型进行训 练；具体地：
首先，确定模型CT图像训练数据，其中，模型CT图像训练数据具体 包括四组数据：两组新冠肺炎COVID-19CT图像训练数据(即上述第1组、 第2组)、一组对照组CT图像训练数据(即上述第3组)、以及一组普通病 毒性肺炎CT图像训练数据(即上述第4组)；
其次，对模型CT图像训练数据进行预处理，得到符合规定格式的肺部 区域的CT图像数据；具体地，由于所有数据来自多个数据中心，因此数据 格式包含一般的图像格式(如JPG、PNG等)和医学影像的标准格式Dicom。 此外部分图像数据上含有病人或仪器相关的文字水印，因此需要统一对数 据进行预处理。预处理包括两部分，第一部分针对dicom数据，需要统一 窗宽窗位并转为PNG图像格式。第二部分为对一般图像格式数据的处理， 主要方法包括阈值分割、边缘检测、图像裁剪。通过预处理可以得到肺部 区域的图像数据，尽量避免水印等影响。对dicom数据也做同样裁剪处理 使整个数据集一致。
再次，使用两组新冠肺炎COVID-19CT图像训练数据和一组普通病毒 性肺炎CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作 为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集， 将第一训练集输入到第一新冠肺炎深度学习模型进行模型的训练，得到训 练好的第一新冠肺炎深度学习模型；
也就是说，使用第1组、第2组和第4组数据做为正样本，第3组做 为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数 据集划分为训练集、验证集两部分部分。由该数据集获取的模型可以称为 DL1。
此外，使用两组新冠肺炎COVID-19CT图像训练数据作为正样本，使 用一组普通病毒性肺炎CT图像训练数据作为负样本构建第二数据集，将第 二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠 肺炎深度学习模型进行模型的训练，得到训练好的第二新冠肺炎深度学习 模型；
也就是说，该部分中使用第1组和第2组数据做为正样本，第4组数 据做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时， 数据集划分为训练集、验证集两部分。由该数据集训练得到的模型称为 DL2。
最后，通过第一验证集对训练好的第一新冠肺炎深度学习模型进行验 证；通过第二验证集对训练好的第二新冠肺炎深度学习模型进行验证。
为了证明模型性能，本发明实施例使用一个100例的测试数据集，包 括来自第1和第2组的COVID-19(n＝50)扫描，以及来自第4组的其他病 毒性肺炎CT扫描(n＝50)。该数据集(即上述验证组)不出现在训练过程 中，模型将在该数据集上与来自中国15个医疗中心的45名具有不同经验 的专家放射科医师进行比较。每位专家被要求诊断100次随机扫描。然后， 深度学习模型被用来诊断与人类专家相同的扫描。从而对模型的性能进行 验证。
此外，本发明实施例使用95％置信区间的AUC(Area Under Curve)、 特异度和灵敏度等评价模型性能。
在诊断肺炎和非肺炎患者时，敏感度为0.88，特异度为0.95,AUC为 0.97(95％CI0.96-0.98；P<0.001).诊断单个病例的时间为5.74±5.01s。
在诊断普通病毒肺炎和新冠肺炎患者时，敏感度为0.85，特异度为0.89， AUC为0.93(95％CI 0.92-0.94；P<0.001)。诊断单个病例时间为6.75± 6.04s。
在联合血相信息诊断新冠肺炎时，敏感度为0.97,特异度0.83,AUC 为0.95(95％CI 0.93–0.98；P<0.001)诊断单个病例的时间为6.75± 6.04s。
在与影像专家对比时，影像专家的敏感度为0.68,特异度0.98,AUC为 0.86(95％CI 0.78–0.94；P<0.001).
因此，本发明实施例的模型可以快速有效的诊断新冠肺炎病例，达到 辅助医生诊断的目的。
2、对SVM模型进行训练。在本发明实施例中，使用Poly内核的SVM 模型对临床诊断特征数据进行分类建模。此处的临床诊断特征数据是指除 了CT扫描图像之外的临床诊断，例如，验血等。
图1是本发明实施例的基于深度学习的新冠肺炎CT图像分类方法的流 程图，如图1所示，根据本发明实施例的基于深度学习的新冠肺炎CT图像 分类方法具体包括：
步骤101，从一个CT序列中选择n张图像输入到预先训练好的第一新 冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；第一新冠 肺炎深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网 络；步骤101具体包括：从一个CT序列中选择n张图像输入到第一 ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学 习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有 肺炎的分类结果。
步骤102，将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学 习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；第二新冠 肺炎深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网 络；步骤102具体包括：将患有肺炎的图像输入到第二ResNext50网络进 行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第 二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依 赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠肺炎的第 一分类结果。
需要说明的是，第一ResNext50网络和第二ResNext50网络具体为：基 于重量标准Weight Standard技术和群组归一化Group Normalization技术的 第一ResNext50网络和第二ResNext50网络。具体地，本发明实施例使用 ResNext50提取单张图像的特征，由于同时处理多张图像，所需计算显存资 源较大，因此Batch Size较小。在Batch Size较小的情况下，传统的Batch Normalization难以起到作用。为解决该问题，本发明实施例使用了Weight Standard技术和Group Normalization技术以达到更好的分类精度。
图2是本发明实施例的深度学习模型的示意图，如图2所示，一个CT 序列包含多张图像。也就是说，在步骤101和步骤102中，需要首先从一 个CT序列中选择n张图像，送入ResNext50网络进行特征提取，可以的 得到n个1024维度的特征向量I，即得到一个序列的特征向量。然后将n 个特征向量I送入GRU时序神经网络，通过时序神经网络学习多张图片间 的依赖关系，从而达到使用一个CT序列的多张图像预测病例类别的目的。
步骤103，将患有肺炎的图像对应的临床诊断特征数据输入到预先训练 好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；
在本发明实施例中，为进一步提高COVID-19与其他类型的病毒性肺 炎之间的诊断能力，增加了包括症状和外周血实验室检测在内的临床特征， 本发明实施例使用临床特征数据训练得到一个SVM分类器，并将该分类器 的结果与CoviDet模型的结果融合诊断新冠肺炎患者。
步骤104，将第一分类结果和第二分类结果进行融合，根据融合结果得 到病人是否患有新冠肺炎的分类结果。
也就是说，从上述处理可以看出，在处理实际场景中的新到病例数据 时，首先使用DL1进行分类，确定病人是否患有肺炎，如果患有肺炎则进 一步使用DL2分类，结合SVM分类确认患者是否患有新冠肺炎。若均为 否定，则诊断病人无肺炎特征。
综上所述，本发明实施例提出了结合CNN和GRU的CoviDet模型， 该模型使用CT序列影像数据诊断患者是否患有新冠肺炎。为了提升计算效 率并使用CT序列数据而非单张数据，本发明实施例提出使用CNN提取多 张图像特征并输入GRU单元预测病人类别。同时为了解决模型较大，传统 Batch Normalization不适用的问题，本发明实施例利用WeightStandard+ Group Normalization的方法改进模型。最终实验结果表明，本发明实施例的技术方案可以有效辅助医生诊断新冠肺炎患者。
系统实施例
根据本发明实施例，提供了一种基于深度学习的新冠肺炎CT图像分类 系统，图3是本发明实施例的基于深度学习的新冠肺炎CT图像分类系统的 示意图，如图3所示，根据本发明实施例的基于深度学习的新冠肺炎CT图 像分类系统具体包括：
训练单元，用于对第一新冠肺炎深度学习模型和第二新冠肺炎深度学 习模型进行训练：训练单元具体进行下处理：
确定模型CT图像训练数据，其中，模型CT图像训练数据具体包括四 组数据：两组新冠肺炎COVID-19CT图像训练数据、一组对照组CT图像 训练数据、以及一组普通病毒性肺炎CT图像训练数据；
对模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的 CT图像数据；
使用两组新冠肺炎COVID-19CT图像训练数据和一组普通病毒性肺炎CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样 本构建第一数据集，将第一数据集划分为第一训练集和第一验证集，将第 一训练集输入到第一新冠肺炎深度学习模型进行模型的训练，得到训练好 的第一新冠肺炎深度学习模型；
使用两组新冠肺炎COVID-19CT图像训练数据作为正样本，使用一组 普通病毒性肺炎CT图像训练数据作为负样本构建第二数据集，将第二数据 集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠肺炎深 度学习模型进行模型的训练，得到训练好的第二新冠肺炎深度学习模型；
通过第一验证集对训练好的第一新冠肺炎深度学习模型进行验证；通 过第二验证集对训练好的第二新冠肺炎深度学习模型进行验证。
训练单元进一步用于：对SVM模型进行训练；
上述系统具体包括：
第一新冠肺炎深度学习模型单元30，用于从一个CT序列中选择n张 图像输入到预先训练好的第一新冠肺炎深度学习模型进行分类，得到是否 患有肺炎的分类结果；第一新冠肺炎深度学习模型具体包括：第一 ResNext50网络和第一GRU时序神经网络；
第一新冠肺炎深度学习模型单元30具体用于：从一个CT序列中选择 n张图像输入到第一ResNext50网络进行特征提取，得到n个1024维度 的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一 GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的 多张图像预测病人是否患有肺炎的分类结果；
第二新冠肺炎深度学习模型单元32，用于将患有肺炎的图像输入到预 先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠 肺炎的第一分类结果；第二新冠肺炎深度学习模型具体包括：第二 ResNext50网络和第二GRU时序神经网络；
第二新冠肺炎深度学习模型单元32具体用于：
将患有肺炎的图像输入到第二ResNext50网络进行特征提取，得到n 个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络， 通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个 CT序列的多张图像预测病人是否患有新冠肺炎的第一分类结果；
其中，第一ResNext50网络和第二ResNext50网络具体为：基于重量标 准WeightStandard技术和群组归一化Group Normalization技术的第一 ResNext50网络和第二ResNext50网络。
SVM模型单元34，用于将患有肺炎的图像对应的临床诊断特征数据输 入到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类 结果；
融合模块36，用于将第一分类结果和第二分类结果进行融合，根据融 合结果输出病人是否患有新冠肺炎的结果。
本发明实施例是与上述方法实施例所对应的系统实施例，各个模块的 具体处理可以参照上述方法实施例进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种基于深度学习的新冠肺炎CT图像分类设备，如 图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在 所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执 行时实现如下方法步骤：
在执行如图1所示的流程之前，需要进行深度学习模型的训练，首先对本 发明实施例进行训练时所使用的数据进行介绍。模型训练数据从四个队列中提 取：COVID-19(第1组和第2组)、对照组(第3组)和普通病毒性肺炎(第4 组)。COVID-19数据集由两部分组成。第一部分由1590例COVID-19病例组成， 第二部分由940例实验室确诊住院病例组成。来自第1组和第2组的所有 COVID-19确诊病例均为通过高通量测序或RT-PCR检测鼻腔和咽拭子样本检 测呈阳性的患者。对照组(第3组)由1085名患者组成，包括肺结核(n＝827)、 肺结核(n＝202)和普通肺(n＝56)扫描。肺结核CT扫描(n＝827)来自公开 数据集LIDC-IDRI[9]。LIDC-IDRI数据库是美国国家癌症研究所为研究高危人 群早期癌症检测而创建的开放式数据库。肺结核(n＝202)和普通肺(n＝56)CT 是内部数据集。第4组数据为经实验室诊断为病毒性肺炎的患者(n＝223)组成。
进行模型训练具体包括如下处理：
1、对第一新冠肺炎深度学习模型和第二新冠肺炎深度学习模型进行训 练；具体地：
首先，确定模型CT图像训练数据，其中，模型CT图像训练数据具体 包括四组数据：两组新冠肺炎COVID-19CT图像训练数据(即上述第1组、 第2组)、一组对照组CT图像训练数据(即上述第3组)、以及一组普通病 毒性肺炎CT图像训练数据(即上述第4组)；
其次，对模型CT图像训练数据进行预处理，得到符合规定格式的肺部 区域的CT图像数据；具体地，由于所有数据来自多个数据中心，因此数据 格式包含一般的图像格式(如JPG、PNG等)和医学影像的标准格式Dicom。 此外部分图像数据上含有病人或仪器相关的文字水印，因此需要统一对数 据进行预处理。预处理包括两部分，第一部分针对dicom数据，需要统一 窗宽窗位并转为PNG图像格式。第二部分为对一般图像格式数据的处理， 主要方法包括阈值分割、边缘检测、图像裁剪。通过预处理可以得到肺部 区域的图像数据，尽量避免水印等影响。对dicom数据也做同样裁剪处理 使整个数据集一致。
再次，使用两组新冠肺炎COVID-19CT图像训练数据和一组普通病毒 性肺炎CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作 为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集， 将第一训练集输入到第一新冠肺炎深度学习模型进行模型的训练，得到训 练好的第一新冠肺炎深度学习模型；
也就是说，使用第1组、第2组和第4组数据做为正样本，第3组做 为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数 据集划分为训练集、验证集两部分部分。由该数据集获取的模型可以称为 DL1。
此外，使用两组新冠肺炎COVID-19CT图像训练数据作为正样本，使 用一组普通病毒性肺炎CT图像训练数据作为负样本构建第二数据集，将第 二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠 肺炎深度学习模型进行模型的训练，得到训练好的第二新冠肺炎深度学习 模型；
也就是说，该部分中使用第1组和第2组数据做为正样本，第4组数 据做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时， 数据集划分为训练集、验证集两部分。由该数据集训练得到的模型称为 DL2。
最后，通过第一验证集对训练好的第一新冠肺炎深度学习模型进行验 证；通过第二验证集对训练好的第二新冠肺炎深度学习模型进行验证。
为了证明模型性能，本发明实施例使用一个100例的测试数据集，包 括来自第1和第2组的COVID-19(n＝50)扫描，以及来自第4组的其他病 毒性肺炎CT扫描(n＝50)。该数据集(即上述验证组)不出现在训练过程 中，模型将在该数据集上与来自中国15个医疗中心的45名具有不同经验 的专家放射科医师进行比较。每位专家被要求诊断100次随机扫描。然后， 深度学习模型被用来诊断与人类专家相同的扫描。从而对模型的性能进行 验证。
此外，本发明实施例使用95％置信区间的AUC(Area Under Curve)、 特异度和灵敏度等评价模型性能。
在诊断肺炎和非肺炎患者时，敏感度为0.88，特异度为0.95,AUC为 0.97(95％CI0.96-0.98；P<0.001).诊断单个病例的时间为5.74±5.01s。
在诊断普通病毒肺炎和新冠肺炎患者时，敏感度为0.85，特异度为0.89， AUC为0.93(95％CI 0.92-0.94；P<0.001)。诊断单个病例时间为6.75± 6.04s。
在联合血相信息诊断新冠肺炎时，敏感度为0.97,特异度0.83,AUC 为0.95(95％CI 0.93–0.98；P<0.001)诊断单个病例的时间为6.75± 6.04s。
在与影像专家对比时，影像专家的敏感度为0.68,特异度0.98,AUC为 0.86(95％CI 0.78–0.94；P<0.001).
因此，本发明实施例的模型可以快速有效的诊断新冠肺炎病例，达到 辅助医生诊断的目的。
2、对SVM模型进行训练。在本发明实施例中，使用Poly内核的SVM 模型对临床诊断特征数据进行分类建模。此处的临床诊断特征数据是指除 了CT扫描图像之外的临床诊断，例如，验血等。
图1是本发明实施例的基于深度学习的新冠肺炎CT图像分类方法的流 程图，如图1所示，根据本发明实施例的基于深度学习的新冠肺炎CT图像 分类方法具体包括：
步骤101，从一个CT序列中选择n张图像输入到预先训练好的第一新 冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；第一新冠 肺炎深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网 络；步骤101具体包括：从一个CT序列中选择n张图像输入到第一 ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学 习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有
步骤102，将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学 习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；第二新冠 肺炎深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网 络；步骤102具体包括：将患有肺炎的图像输入到第二ResNext50网络进 行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第 二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依 赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠肺炎的第 一分类结果。
需要说明的是，第一ResNext50网络和第二ResNext50网络具体为：基 于重量标准Weight Standard技术和群组归一化Group Normalization技术的 第一ResNext50网络和第二ResNext50网络。具体地，本发明实施例使用 ResNext50提取单张图像的特征，由于同时处理多张图像，所需计算显存资 源较大，因此Batch Size较小。在Batch Size较小的情况下，传统的Batch Normalization难以起到作用。为解决该问题，本发明实施例使用了Weight Standard技术和Group Normalization技术以达到更好的分类精度。
图2是本发明实施例的深度学习模型的示意图，如图2所示，一个CT 序列包含多张图像。也就是说，在步骤101和步骤102中，需要首先从一 个CT序列中选择n张图像，送入ResNext50网络进行特征提取，可以的 得到n个1024维度的特征向量I，即得到一个序列的特征向量。然后将n 个特征向量I送入GRU时序神经网络，通过时序神经网络学习多张图片间 的依赖关系，从而达到使用一个CT序列的多张图像预测病例类别的目的。
步骤103，将患有肺炎的图像对应的临床诊断特征数据输入到预先训练 好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；
在本发明实施例中，为进一步提高COVID-19与其他类型的病毒性肺 炎之间的诊断能力，增加了包括症状和外周血实验室检测在内的临床特征， 本发明实施例使用临床特征数据训练得到一个SVM分类器，并将该分类器 的结果与CoviDet模型的结果融合诊断新冠肺炎患者。
步骤104，将第一分类结果和第二分类结果进行融合，根据融合结果得 到病人是否患有新冠肺炎的分类结果。
也就是说，从上述处理可以看出，在处理实际场景中的新到病例数据 时，首先使用DL1进行分类，确定病人是否患有肺炎，如果患有肺炎则进 一步使用DL2分类，结合SVM分类确认患者是否患有新冠肺炎。若均为 否定，则诊断病人无肺炎特征。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介 质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如下方 法步骤：
在执行如图1所示的流程之前，需要进行深度学习模型的训练，首先对本 发明实施例进行训练时所使用的数据进行介绍。模型训练数据从四个队列中提 取：COVID-19(第1组和第2组)、对照组(第3组)和普通病毒性肺炎(第4 组)。COVID-19数据集由两部分组成。第一部分由1590例COVID-19病例组成， 第二部分由940例实验室确诊住院病例组成。来自第1组和第2组的所有 COVID-19确诊病例均为通过高通量测序或RT-PCR检测鼻腔和咽拭子样本检 测呈阳性的患者。对照组(第3组)由1085名患者组成，包括肺结核(n＝827)、 肺结核(n＝202)和普通肺(n＝56)扫描。肺结核CT扫描(n＝827)来自公开 数据集LIDC-IDRI[9]。LIDC-IDRI数据库是美国国家癌症研究所为研究高危人 群早期癌症检测而创建的开放式数据库。肺结核(n＝202)和普通肺(n＝56)CT 是内部数据集。第4组数据为经实验室诊断为病毒性肺炎的患者(n＝223)组成。
进行模型训练具体包括如下处理：
1、对第一新冠肺炎深度学习模型和第二新冠肺炎深度学习模型进行训 练；具体地：
首先，确定模型CT图像训练数据，其中，模型CT图像训练数据具体 包括四组数据：两组新冠肺炎COVID-19CT图像训练数据(即上述第1组、 第2组)、一组对照组CT图像训练数据(即上述第3组)、以及一组普通病 毒性肺炎CT图像训练数据(即上述第4组)；
其次，对模型CT图像训练数据进行预处理，得到符合规定格式的肺部 区域的CT图像数据；具体地，由于所有数据来自多个数据中心，因此数据 格式包含一般的图像格式(如JPG、PNG等)和医学影像的标准格式Dicom。 此外部分图像数据上含有病人或仪器相关的文字水印，因此需要统一对数 据进行预处理。预处理包括两部分，第一部分针对dicom数据，需要统一 窗宽窗位并转为PNG图像格式。第二部分为对一般图像格式数据的处理， 主要方法包括阈值分割、边缘检测、图像裁剪。通过预处理可以得到肺部 区域的图像数据，尽量避免水印等影响。对dicom数据也做同样裁剪处理 使整个数据集一致。
再次，使用两组新冠肺炎COVID-19CT图像训练数据和一组普通病毒 性肺炎CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作 为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集， 将第一训练集输入到第一新冠肺炎深度学习模型进行模型的训练，得到训 练好的第一新冠肺炎深度学习模型；
也就是说，使用第1组、第2组和第4组数据做为正样本，第3组做 为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数 据集划分为训练集、验证集两部分部分。由该数据集获取的模型可以称为 DL1。
此外，使用两组新冠肺炎COVID-19CT图像训练数据作为正样本，使 用一组普通病毒性肺炎CT图像训练数据作为负样本构建第二数据集，将第 二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠 肺炎深度学习模型进行模型的训练，得到训练好的第二新冠肺炎深度学习 模型；
也就是说，该部分中使用第1组和第2组数据做为正样本，第4组数 据做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时， 数据集划分为训练集、验证集两部分。由该数据集训练得到的模型称为 DL2。
最后，通过第一验证集对训练好的第一新冠肺炎深度学习模型进行验 证；通过第二验证集对训练好的第二新冠肺炎深度学习模型进行验证。
为了证明模型性能，本发明实施例使用一个100例的测试数据集，包 括来自第1和第2组的COVID-19(n＝50)扫描，以及来自第4组的其他病 毒性肺炎CT扫描(n＝50)。该数据集(即上述验证组)不出现在训练过程 中，模型将在该数据集上与来自中国15个医疗中心的45名具有不同经验 的专家放射科医师进行比较。每位专家被要求诊断100次随机扫描。然后， 深度学习模型被用来诊断与人类专家相同的扫描。从而对模型的性能进行 验证。
此外，本发明实施例使用95％置信区间的AUC(Area Under Curve)、 特异度和灵敏度等评价模型性能。
在诊断肺炎和非肺炎患者时，敏感度为0.88，特异度为0.95,AUC为 0.97(95％CI0.96-0.98；P<0.001).诊断单个病例的时间为5.74±5.01s。
在诊断普通病毒肺炎和新冠肺炎患者时，敏感度为0.85，特异度为0.89， AUC为0.93(95％CI 0.92-0.94；P<0.001)。诊断单个病例时间为6.75± 6.04s。
在联合血相信息诊断新冠肺炎时，敏感度为0.97,特异度0.83,AUC 为0.95(95％CI 0.93–0.98；P<0.001)诊断单个病例的时间为6.75±6.04s。
在与影像专家对比时，影像专家的敏感度为0.68,特异度0.98,AUC为 0.86(95％CI 0.78–0.94；P<0.001).
因此，本发明实施例的模型可以快速有效的诊断新冠肺炎病例，达到 辅助医生诊断的目的。
2、对SVM模型进行训练。在本发明实施例中，使用Poly内核的SVM 模型对临床诊断特征数据进行分类建模。此处的临床诊断特征数据是指除 了CT扫描图像之外的临床诊断，例如，验血等。
图1是本发明实施例的基于深度学习的新冠肺炎CT图像分类方法的流 程图，如图1所示，根据本发明实施例的基于深度学习的新冠肺炎CT图像 分类方法具体包括：
步骤101，从一个CT序列中选择n张图像输入到预先训练好的第一新 冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；第一新冠 肺炎深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网 络；步骤101具体包括：从一个CT序列中选择n张图像输入到第一 ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学 习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有 肺炎的分类结果。
步骤102，将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学 习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；第二新冠 肺炎深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网 络；步骤102具体包括：将患有肺炎的图像输入到第二ResNext50网络进 行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第 二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依 赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠肺炎的第 一分类结果。
需要说明的是，第一ResNext50网络和第二ResNext50网络具体为：基 于重量标准Weight Standard技术和群组归一化Group Normalization技术的 第一ResNext50网络和第二ResNext50网络。具体地，本发明实施例使用 ResNext50提取单张图像的特征，由于同时处理多张图像，所需计算显存资 源较大，因此Batch Size较小。在Batch Size较小的情况下，传统的Batch Normalization难以起到作用。为解决该问题，本发明实施例使用了Weight Standard技术和Group Normalization技术以达到更好的分类精度。
图2是本发明实施例的深度学习模型的示意图，如图2所示，一个CT 序列包含多张图像。也就是说，在步骤101和步骤102中，需要首先从一 个CT序列中选择n张图像，送入ResNext50网络进行特征提取，可以的 得到n个1024维度的特征向量I，即得到一个序列的特征向量。然后将n 个特征向量I送入GRU时序神经网络，通过时序神经网络学习多张图片间 的依赖关系，从而达到使用一个CT序列的多张图像预测病例类别的目的。
步骤103，将患有肺炎的图像对应的临床诊断特征数据输入到预先训练 好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；
在本发明实施例中，为进一步提高COVID-19与其他类型的病毒性肺 炎之间的诊断能力，增加了包括症状和外周血实验室检测在内的临床特征， 本发明实施例使用临床特征数据训练得到一个SVM分类器，并将该分类器 的结果与CoviDet模型的结果融合诊断新冠肺炎患者。
步骤104，将第一分类结果和第二分类结果进行融合，根据融合结果得 到病人是否患有新冠肺炎的分类结果。
也就是说，从上述处理可以看出，在处理实际场景中的新到病例数据 时，首先使用DL1进行分类，确定病人是否患有肺炎，如果患有肺炎则进 一步使用DL2分类，结合SVM分类确认患者是否患有新冠肺炎。若均为 否定，则诊断病人无肺炎特征。
综上所述，本发明实施例提出了结合CNN和GRU的CoviDet模型， 该模型使用CT序列影像数据诊断患者是否患有新冠肺炎。为了提升计算效 率并使用CT序列数据而非单张数据，本发明实施例提出使用CNN提取多 张图像特征并输入GRU单元预测病人类别。同时为了解决模型较大，传统 Batch Normalization不适用的问题，本发明实施例利用WeightStandard+ Group Normalization的方法改进模型。最终实验结果表明，本发明实施例的技术方案可以有效辅助医生诊断新冠肺炎患者。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁 盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者 分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执 行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来 执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的 步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模 块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非 对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的 普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进 行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或 者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于深度学习的新冠肺炎CT图像分类方法，其特征在于，包括：
从一个CT序列中选择n张图像输入到预先训练好的第一新冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；
将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；
将患有肺炎的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；
将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠肺炎的分类结果。
2.根据权利要求1所述方法，其特征在于，所述方法进一步包括：
对第一新冠肺炎深度学习模型和第二新冠肺炎深度学习模型进行训练；
对SVM模型进行训练。
3.根据权利要求2所述的方法，其特征在于，对第一新冠肺炎深度学习模型和第二新冠肺炎深度学习模型进行训练具体包括：
确定模型CT图像训练数据，其中，所述模型CT图像训练数据具体包括四组数据：两组新冠肺炎COVID-19CT图像训练数据、一组对照组CT图像训练数据、以及一组普通病毒性肺炎CT图像训练数据；
对所述模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；
使用两组新冠肺炎COVID-19CT图像训练数据和一组普通病毒性肺炎CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将所述第一数据集划分为第一训练集和第一验证集，将所述第一训练集输入到第一新冠肺炎深度学习模型进行模型的训练，得到训练好的第一新冠肺炎深度学习模型；
使用两组新冠肺炎COVID-19CT图像训练数据作为正样本，使用一组普通病毒性肺炎CT图像训练数据作为负样本构建第二数据集，将所述第二数据集划分为第二训练集和第二验证集，将所述第二训练集输入到第二新冠肺炎深度学习模型进行模型的训练，得到训练好的第二新冠肺炎深度学习模型；
通过所述第一验证集对训练好的第一新冠肺炎深度学习模型进行验证；通过所述第二验证集对训练好的第二新冠肺炎深度学习模型进行验证。
4.根据权利要求1所述的方法，其特征在于，所述第一新冠肺炎深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；
从一个CT序列中选择n张图像输入到预先训练好的第一新冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果具体包括：
从一个CT序列中选择n张图像输入到第一ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有肺炎的分类结果。
5.根据权利要求1所述的方法，其特征在于，所述第二新冠肺炎深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；
将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果具体包括：
将患有肺炎的图像输入到第二ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠肺炎的第一分类结果。
6.根据权利要求4或5所述的方法，其特征在于，所述第一ResNext50网络和所述第二ResNext50网络具体为：基于重量标准Weight Standard技术和群组归一化GroupNormalization技术的第一ResNext50网络和所述第二ResNext50网络。
7.一种基于深度学习的新冠肺炎CT图像分类系统，其特征在于，包括：
第一新冠肺炎深度学习模型单元，用于从一个CT序列中选择n张图像输入到预先训练好的第一新冠肺炎深度学习模型进行分类，得到是否患有肺炎的分类结果；
第二新冠肺炎深度学习模型单元，用于将患有肺炎的图像输入到预先训练好的第二新冠肺炎深度学习模型进行分类，得到病人是否患有新冠肺炎的第一分类结果；
SVM模型单元，用于将患有肺炎的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠肺炎的第二分类结果；
融合模块，用于将第一分类结果和第二分类结果进行融合，根据融合结果输出病人是否患有新冠肺炎的结果。
8.根据权利要求7所述的系统，其特征在于，所述系统进一步包括：
训练单元，用于对第一新冠肺炎深度学习模型和第二新冠肺炎深度学习模型进行训练：
确定模型CT图像训练数据，其中，所述模型CT图像训练数据具体包括四组数据：两组新冠肺炎COVID-19CT图像训练数据、一组对照组CT图像训练数据、以及一组普通病毒性肺炎CT图像训练数据；
对所述模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；
使用两组新冠肺炎COVID-19CT图像训练数据和一组普通病毒性肺炎CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将所述第一数据集划分为第一训练集和第一验证集，将所述第一训练集输入到第一新冠肺炎深度学习模型进行模型的训练，得到训练好的第一新冠肺炎深度学习模型；
使用两组新冠肺炎COVID-19CT图像训练数据作为正样本，使用一组普通病毒性肺炎CT图像训练数据作为负样本构建第二数据集，将所述第二数据集划分为第二训练集和第二验证集，将所述第二训练集输入到第二新冠肺炎深度学习模型进行模型的训练，得到训练好的第二新冠肺炎深度学习模型；
通过所述第一验证集对训练好的第一新冠肺炎深度学习模型进行验证；通过所述第二验证集对训练好的第二新冠肺炎深度学习模型进行验证。
所述训练单元进一步用于：对SVM模型进行训练；
所述第一新冠肺炎深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；
所述第一新冠肺炎深度学习模型单元具体用于：从一个CT序列中选择n张图像输入到第一ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有肺炎的分类结果；
所述第二新冠肺炎深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；
所述第二新冠肺炎深度学习模型单元具体用于：
将患有肺炎的图像输入到第二ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠肺炎的第一分类结果；
其中，所述第一ResNext50网络和所述第二ResNext50网络具体为：基于重量标准Weight Standard技术和群组归一化Group Normalization技术的第一ResNext50网络和所述第二ResNext50网络。
9.一种基于深度学习的新冠肺炎CT图像分类设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于深度学习的新冠肺炎CT图像分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的基于深度学习的新冠肺炎CT图像分类方法的步骤。
CN202010495750.6A 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、系统及设备 Active CN111681219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495750.6A CN111681219B (zh) 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495750.6A CN111681219B (zh) 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、系统及设备

Publications (2)

Publication Number Publication Date
CN111681219A true CN111681219A (zh) 2020-09-18
CN111681219B CN111681219B (zh) 2024-02-27

Family

ID=72453062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495750.6A Active CN111681219B (zh) 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111681219B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932541A (zh) * 2020-10-14 2020-11-13 北京信诺卫康科技有限公司 一种用于预测新冠肺炎预后的ct影像图像处理方法
CN112381766A (zh) * 2020-10-26 2021-02-19 华南理工大学 一种基于小样本学习的肺部ct影像特征检测系统
CN112786189A (zh) * 2021-01-05 2021-05-11 重庆邮电大学 一种基于深度学习的新冠肺炎智能诊断系统
CN113033650A (zh) * 2021-03-22 2021-06-25 Oppo广东移动通信有限公司 图像分类方法、分类模型的训练方法、装置及存储介质
CN113139627A (zh) * 2021-06-22 2021-07-20 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN113177955A (zh) * 2021-05-10 2021-07-27 电子科技大学成都学院 一种基于改进图像分割算法的肺癌影像病变区域划分方法
CN113180688A (zh) * 2020-12-14 2021-07-30 上海交通大学 基于残差神经网络的冠心病心电图筛查系统及方法
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
CN113269230A (zh) * 2021-04-23 2021-08-17 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113673566A (zh) * 2021-07-19 2021-11-19 华南理工大学 一种基于ct图像的新冠肺炎诊断系统、介质及设备
CN113935969A (zh) * 2021-10-18 2022-01-14 太原理工大学 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统
CN114242247A (zh) * 2021-12-30 2022-03-25 吉林大学第一医院 一种非肥胖性mafld的预测系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN110555479A (zh) * 2019-09-05 2019-12-10 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN110555479A (zh) * 2019-09-05 2019-12-10 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娅楠;赵涓涓;赵鑫;张小龙;王三虎;: "多模态融合下长时程肺部病灶良恶性预测方法", 计算机工程与应用, no. 10 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11357464B2 (en) 2020-08-07 2022-06-14 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
US11361440B2 (en) 2020-08-07 2022-06-14 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 disease progression using artificial intelligence
CN111932541B (zh) * 2020-10-14 2021-02-02 北京信诺卫康科技有限公司 一种用于预测新冠肺炎预后的ct影像图像处理方法
CN111932541A (zh) * 2020-10-14 2020-11-13 北京信诺卫康科技有限公司 一种用于预测新冠肺炎预后的ct影像图像处理方法
CN112381766A (zh) * 2020-10-26 2021-02-19 华南理工大学 一种基于小样本学习的肺部ct影像特征检测系统
CN112381766B (zh) * 2020-10-26 2023-08-22 华南理工大学 一种基于小样本学习的肺部ct影像特征检测系统
CN113180688A (zh) * 2020-12-14 2021-07-30 上海交通大学 基于残差神经网络的冠心病心电图筛查系统及方法
CN113180688B (zh) * 2020-12-14 2022-11-29 上海交通大学 基于残差神经网络的冠心病心电图筛查系统及方法
CN112786189B (zh) * 2021-01-05 2022-07-01 重庆邮电大学 一种基于深度学习的新冠肺炎智能诊断系统
CN112786189A (zh) * 2021-01-05 2021-05-11 重庆邮电大学 一种基于深度学习的新冠肺炎智能诊断系统
CN113033650A (zh) * 2021-03-22 2021-06-25 Oppo广东移动通信有限公司 图像分类方法、分类模型的训练方法、装置及存储介质
CN113269230A (zh) * 2021-04-23 2021-08-17 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113177955A (zh) * 2021-05-10 2021-07-27 电子科技大学成都学院 一种基于改进图像分割算法的肺癌影像病变区域划分方法
CN113139627A (zh) * 2021-06-22 2021-07-20 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN113673566A (zh) * 2021-07-19 2021-11-19 华南理工大学 一种基于ct图像的新冠肺炎诊断系统、介质及设备
CN113935969A (zh) * 2021-10-18 2022-01-14 太原理工大学 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统
CN113935969B (zh) * 2021-10-18 2024-04-12 太原理工大学 一种基于领域知识引导的新冠肺炎特异性病例的诊断系统
CN114242247A (zh) * 2021-12-30 2022-03-25 吉林大学第一医院 一种非肥胖性mafld的预测系统、设备及存储介质

Also Published As

Publication number Publication date
CN111681219B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111681219A (zh) 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
Arnaout et al. An ensemble of neural networks provides expert-level prenatal detection of complex congenital heart disease
Arias-Londono et al. Artificial intelligence applied to chest X-ray images for the automatic detection of COVID-19. A thoughtful evaluation approach
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
CN114945951A (zh) 用于图像分类的不确定性引导的半监督神经网络训练
CN112150442A (zh) 基于深度卷积神经网络及多实例学习的新冠诊断系统
US20230154006A1 (en) Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis
CN111553892A (zh) 基于深度学习的肺结节分割计算方法、装置及系统
Gao et al. Chest X-ray image analysis and classification for COVID-19 pneumonia detection using Deep CNN
Hennessey et al. Artificial intelligence in veterinary diagnostic imaging: A literature review
Kollias et al. Ai-enabled analysis of 3-d ct scans for diagnosis of covid-19 & its severity
Soundrapandiyan et al. AI-based wavelet and stacked deep learning architecture for detecting coronavirus (COVID-19) from chest X-ray images
Rondinella et al. Boosting multiple sclerosis lesion segmentation through attention mechanism
Mohammadi et al. Diagnosis/prognosis of covid-19 images: Challenges, opportunities, and applications
CN113408533B (zh) 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备
CN113450306B (zh) 提供骨折检测工具的方法
CN112396597A (zh) 不明原因肺炎影像快速筛查方法及装置
Nalla et al. Influence of Convolutional Neural Network Depth on the Efficacy of Automated Breast Cancer Screening Systems
Mellal et al. CNN Models Using Chest X-Ray Images for COVID-19 Detection: A Survey.
Hsu et al. A comprehensive study of age-related macular degeneration detection
Michelle et al. Covid-19 Detection from X-Rays with Aid of Convolutional Neural Network
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
Hasan et al. A computer vision algorithm to classify pneumatization of the mastoid process on temporal bone computed tomography scans
Chan et al. Identifying Pediatric Vascular Anomalies With Deep Learning
Kvak et al. Automatic detection of pneumonia in chest X-rays using Lobe deep residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant