CN113269230A - 一种基于时序高维特征提取的多肺炎ct分类方法及装置 - Google Patents

一种基于时序高维特征提取的多肺炎ct分类方法及装置 Download PDF

Info

Publication number
CN113269230A
CN113269230A CN202110440925.8A CN202110440925A CN113269230A CN 113269230 A CN113269230 A CN 113269230A CN 202110440925 A CN202110440925 A CN 202110440925A CN 113269230 A CN113269230 A CN 113269230A
Authority
CN
China
Prior art keywords
classification
feature extraction
image
pneumonia
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110440925.8A
Other languages
English (en)
Other versions
CN113269230B (zh
Inventor
曹加旺
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhuhai Fudan Innovation Research Institute
Original Assignee
Fudan University
Zhuhai Fudan Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhuhai Fudan Innovation Research Institute filed Critical Fudan University
Priority to CN202110440925.8A priority Critical patent/CN113269230B/zh
Publication of CN113269230A publication Critical patent/CN113269230A/zh
Application granted granted Critical
Publication of CN113269230B publication Critical patent/CN113269230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种基于时序高维特征提取的多肺炎CT分类方法及装置，用于针对疑似患者CT影像进行分类，从而得到分类结果，其特征在于，对疑似患者CT影像进行预处理得到预处理影像，并利用肺炎分类模型对进行推断得到分类结果。其中，肺炎分类模型包括一阶段单张切片特征提取网络以及二阶段跨切片特征提取网络，一阶段单张切片特征提取网络对预处理影像进行特征提取，得到预处理影像中每张切片对应的特征图作为单张切片特征图，二阶段跨切片特征提取网络先从所有单张切片特征图中提取得到时序上下文融合特征，然后进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到CAM激活图结果以及分类概率预测值。

Description

一种基于时序高维特征提取的多肺炎CT分类方法及装置
技术领域
本发明属于数据识别技术领域，具体涉及一种基于时序高维特征提取的多肺炎CT分类方法及装置。
背景技术
目前，COVID-19患者主要通过PCR(RT-PCR)检测SARS-CoV-2核酸进行诊断。但是，由于核酸(RT-PCR)试剂盒供应有限以及假阴性病例的出现，一些专家提出了使用更加快速的胸部计算机断层扫描(CT)来诊断疑似病例的方法。
典型的临床症状、流行病学史和积极的CT图像是用来识别疑似患者的重要指标。而如何快速、准确地从大量CT图像中识别出阳性CT图像(尤其是分辨出肺炎的具体类别)，进而快速并准确地确定治疗方案，是一个亟待解决的问题。
传统的解决方案，如一些基于算子的特征提取方法结合机器学习分类器进行分类，在图像领域表现不佳，其根本原因是传统方法只能提取图像中的一部分信息，不可避免地造成了图像特征的流失，从而使得训练得到的模型无法完全学习到图像中的有效特征，造成病灶的分类结果不理想。
近年来，深度学习(Deep Learning,DL)已被证明是一种有效的CT图像分类方法，可以对常见肺部疾病的影像学特征进行分类，在肺部影像数据库(Lung Image DatabaseConsortium，LIDC)的测试结果表明，改进后的卷积神经网络在分类问题上表现得更好。除此之外，DL已广泛应用于肺结节的自动检测与诊断任务等。
然而，基于计算机断层扫描图像识别问题的研究结果表明，普通的卷积神经网络难以提取医疗影像中的不同层次信息，由于断层扫描的图像特征既包括基本大小和灰度等浅层信息，也包括边缘、纹路等深层次信息，因此一部分CNN在医疗影像上表现不佳，难以形成落地应用。同时，由于计算机断层扫描影像拥有体积化的特征，而切片级别的网络难以挖掘3D上下文信息，造成一定的特征丢失，进而无法获得较为理想的分类结果。
发明内容
为解决上述问题，提供一种能够解决不同设备或研究机构的医学数据集间领域偏移问题的纠正方法，本发明采用了如下技术方案：
本发明提供了一种基于时序高维特征提取的多肺炎CT分类方法，用于针对疑似患者CT影像进行分类，从而得到分类结果，其特征在于，包括如下步骤：步骤S1，根据脱敏后的临床肺部CT影像的数据特点，构建数据调用模型，并将该数据调用模型接入医院PACS系统中；步骤S2，利用数据调用模型从医院PACS系统中提取出肺部CT影像以及病人的健康状况标签，并作为训练数据；步骤S3，对训练数据进行预处理得到预处理数据，并输入预先搭建好的时序高维特征提取神经网络进行训练，从而得到训练好的时序高维特征提取神经网络模型作为肺炎分类模型；步骤S4，对疑似患者CT影像进行预处理得到预处理影像，并利用肺炎分类模型对预处理影像进行推断得到CAM激活图结果以及分类概率预测值，作为分类结果从而辅助医生进行快速与准确地诊断，其中，肺炎分类模型包括一阶段单张切片特征提取网络以及二阶段跨切片特征提取网络，一阶段单张切片特征提取网络对预处理影像进行特征提取，从而得到预处理影像中每张切片对应的特征图，作为单张切片特征图，二阶段跨切片特征提取网络先从所有单张切片特征图中提取得到对应的时序上下文融合特征，然后基于时序上下文融合特征进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到CAM激活图结果以及分类概率预测值。
根据本发明提供的一种基于时序高维特征提取的多肺炎CT分类方法，还可以具有这样的技术特征，其中，一阶段单张切片特征提取网络为双任务学习卷积神经网络，该双任务学习卷积神经网络包括多分类任务网络以及二分类任务网络，多分类任务网络用于判别疑似患者CT影像对应的健康状况类别，二分类任务网络用于判断疑似患者CT影像有无病变。
根据本发明提供的一种基于时序高维特征提取的多肺炎CT分类方法，还可以具有这样的技术特征，其中，一阶段单张切片特征提取网络为双任务学习卷积神经网络，该双任务学习卷积神经网络包括多分类任务网络以及二分类任务网络，多分类任务网络用于判别疑似患者CT影像对应的健康状况类别，二分类任务网络用于判断疑似患者CT影像有无病变。
根据本发明提供的一种基于时序高维特征提取的多肺炎CT分类方法，还可以具有这样的技术特征，其中，步骤S3中的预处理包括如下步骤：步骤T1，从训练数据中提取出CT图像，调整CT图像的窗位列宽，并去除外围噪声，从而得到大小一致的去噪CT图像；步骤T2，从去噪CT图像中分割出肺部区域，并进行归一化得到肺部CT图像；步骤T3，利用预定的数据增强方法对肺部CT图像进行数据扩充，得到扩充后CT图像；步骤T4，将扩充后CT图像与健康状况标签相对应存储，作为预处理数据。
根据本发明提供的一种基于时序高维特征提取的多肺炎CT分类方法，还可以具有这样的技术特征，其中，数据增强方法为旋转、随机裁剪、平移以及加入高斯噪声中的任意一种或多种。
根据本发明提供的一种基于时序高维特征提取的多肺炎CT分类方法，还可以具有这样的技术特征，其中，步骤T2中的肺部区域通过阈值分割算法从去噪CT图像分割得到。
一种基于时序高维特征提取的多肺炎CT分类装置，用于针对疑似患者CT影像进行分类，从而得到分类结果，其特征在于，包括：数据调用模型构建模块，根据脱敏后的临床肺部CT影像的数据特点，构建数据调用模型，并将该数据调用模型接入医院PACS系统中；训练数据获取模块，利用数据调用模型从医院PACS系统中提取出肺部CT影像以及病人的健康状况标签，并作为训练数据；肺炎分类模型训练模块，对训练数据进行预处理得到预处理数据，并输入预先搭建好的时序高维特征提取神经网络进行训练，从而得到训练好的时序高维特征提取神经网络模型作为肺炎分类模型；以及分类结果预测模块，对疑似患者CT影像进行预处理得到预处理影像，并利用肺炎分类模型对预处理影像进行推断得到CAM激活图结果以及分类概率预测值，作为分类结果从而辅助医生进行快速与准确地诊断，其中，肺炎分类模型包括一阶段单张切片特征提取网络以及二阶段跨切片特征提取网络，一阶段单张切片特征提取网络对预处理影像进行特征提取，从而得到预处理影像中每张切片对应的特征图，作为单张切片特征图，二阶段跨切片特征提取网络先从所有单张切片特征图中提取得到对应的时序上下文融合特征，然后基于时序上下文融合特征进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到CAM激活图结果以及分类概率预测值。
发明作用与效果
根据本发明的一种基于时序高维特征提取的多肺炎CT分类方法及装置，由于肺炎分类模型中的一阶段单张切片特征提取网络预处理影像进行特征提取，从而得到预处理影像中每张切片对应的特征图作为单张切片特征图，然后，二阶段跨切片特征提取网络先从所有单张切片特征图中提取得到对应的时序上下文融合特征，然后基于时序上下文融合特征进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到CAM激活图结果以及分类概率预测值，因此，能够有效地挖掘图像信息，并在融合了图像中深层次信息与浅层信息的基础上，准确地诊断出疑似患者CT影像对应属于哪种肺炎，具有较高的准确率，在肺炎的“毛玻璃影”这一肺部主要特征上，具有较大的优势。
通过本发明的基于时序高维特征提取的多肺炎CT分类方法及装置，可以快速与准确地得到疑似患者CT影像对应的肺炎类别，适用于疫情地区进行早期筛查，能够极大改善核算检测假阴性过高的问题。
附图说明
图1为本发明实施例的一种基于时序高维特征提取的多肺炎CT分类方法的流程图；
图2为本发明实施例的预处理过程的流程示意图；
图3为本发明实施例的步骤S4的流程示意图；
图4为本发明实施例的二阶段跨切片特征提取网络的流程示意图；
图5为本发明实施例的分类结果的示意图；
图6为本发明实施例的基于时序高维特征提取的多肺炎CT分类装置的结构框图；
图7为本发明实施例的实验对比图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于时序高维特征提取的多肺炎CT分类方法及装置作具体阐述。
<实施例>
本实施例的实现平台具体为：操作系统为ubuntu16.04，使用Python 3.7语言实现，神经网络框架使用pytorch 1.1版本，CUDA版本为10.0，计算加速单元使用NVIDIA1080Ti GPU。
图1为本发明实施例的一种基于时序高维特征提取的多肺炎CT分类方法的流程图。
如图1所示，一种基于时序高维特征提取的多肺炎CT分类方法包括如下步骤：
步骤S1，根据脱敏后的临床肺部CT影像的数据特点，构建数据调用模型，并将该数据调用模型接入医院PACS系统中，具体地：
获取医院的PACS系统带有部分用户权限的账号和密码，通过通讯协议获得系统中的病人的计算机断层扫描结果(一般为DICOM文件)，并保存在数据存储单元中。
步骤S2，利用数据调用模型从医院PACS系统中提取出肺部CT影像以及病人的健康状况标签，并作为训练数据，具体为：
从DICOM文件中提取出病人的图像信息(Float浮点型数据)，计算机断层扫描图像根据扫描层厚的不同获取的切片数量会不同，存储过程中按病人为表头存储在数据库中，从而便于调用。
本实施例中，训练数据源自801例患者的胸部CT数据集，801例患者的胸部CT数据集包括238例新型冠状肺炎(COVID-19肺炎)、191例甲型流感、122例社区获得性肺炎以及250例非肺炎健康受试者。
上述COVID-19肺炎都是通过RT-PCR检测确诊的，社区获得性肺炎诊断则是通过细菌培养确诊的。CT影像正常但诊断为肺炎的患者被排除在外。
本实施例中，801例患者的胸部CT数据集中536名患者的胸部CT数据(167例健康、128例甲型流感、159例COVID-19、82例社区获得性肺炎)为训练集，265名患者的胸部CT数据(83例健康、63例甲型流感、79例COVID-19、40例社区获得性肺炎)为测试集。
步骤S3，对训练数据进行预处理得到预处理数据，并输入预先搭建好的时序高维特征提取神经网络进行训练，从而得到训练好的时序高维特征提取神经网络模型作为肺炎分类模型。
图2为本发明实施例的预处理过程的流程示意图。
如图2所示，预处理包括如下步骤：
步骤T1，从训练数据中提取出CT图像(如图2a部分所示)，调整CT图像的窗位列宽(如图2b部分所示)，并去除外围噪声，从而得到大小一致的去噪CT图像(如图2c部分所示)。
步骤T2，从去噪CT图像中分割出肺部区域，并进行归一化得到肺部CT图像(如图2d部分所示)。
其中，肺部区域通过阈值分割算法从去噪CT图像分割得到。
本实施例中，对分割出的肺部区域还进行了一定的腐蚀膨胀微调，最后保留长宽为256×256的断层扫描图像，再进行归一化处理，从而得到肺部CT图像。
步骤T3，利用预定的数据增强方法对肺部CT图像进行数据扩充，得到扩充后CT图像。
其中，数据增强方法为旋转、随机裁剪、平移以及加入高斯噪声中的任意一种或多种。
本实施例中，扩充后CT图像经过上述4种数据增强方法进行数据扩充后得到。
步骤T4，将扩充后CT图像与健康状况标签相对应存储，作为预处理数据。
时序高维特征提取神经网络模型训练过程中，各个参数设置具体为：批量大小为32，epoch为60，优化算法为随机梯度下降优化(SGD)。而学习速率采用StepLR策略，其初始值设为0.01，动量为0.9，步长为5。
图3为本发明实施例的步骤S4的流程示意图。
步骤S4，对疑似患者CT影像进行预处理(即Pre-processing)得到预处理影像，并利用肺炎分类模型对预处理影像进行推断得到CAM激活图结果以及分类概率预测值，作为分类结果从而辅助医生进行快速与准确地诊断。
本实施例中，先通过步骤S1中的数据调用模型直接导入病人的DICOM文件，该DICOM文件中包括图像、窗位列宽等信息作为疑似患者CT影像。
然后提取疑似患者CT影像中的图像信息，对该图像信息进行分割与窗位列宽调整从而得到预处理影像。
最后，将预处理影像输入到肺炎分类模型中，肺炎分类模型能够从预处理影像中提取出影像中的空间信息与时序上下文信息，并在一定程度上进行融合，随后输入池化层以及全连接神经网络，得到最终推断结果。
本实施例中，CAM激活图结果是由肺炎分类模型中的模型参数与输入图像结合的结果，具体为：密集连接层的神经网络参数与原始输入图像经过线性相乘后，再经过一个激活函数，此时整张图片上的所有像素点均有对应的神经网络参数，将这部分参数可视化、可以反映出神经网络模型进行判定的病灶位置。
其中，肺炎分类模型包括一阶段单张切片特征提取网络(即Stage1:Slice-leveldual-task feature extraction network)以及二阶段跨切片特征提取网络(即Stage2:Patient-level cross-slice feature extraction network)。
其中，一阶段单张切片特征提取网络将神经网络EfficientNet-B0作为模型的主干结构，一阶段单张切片特征提取网络最后提取到L×C大小的单张切片特征图，其中L表示扫描的切片数，C表示EfficientNet-B0最后一层卷积后的特征通道。
一阶段单张切片特征提取网络从切片级别的预处理影像中提取得到预处理影像中每张切片对应的特征图，作为单张切片特征图。
本实施例中，一阶段单张切片特征提取网络为双任务学习卷积神经网络，该双任务学习卷积神经网络包括多分类任务网络以及二分类任务网络。
多分类任务网络用于判别疑似患者CT影像对应的健康状况类别。
健康状况类别包括社区获得性肺炎类别(Healthy)、新型冠状肺炎类别(COVID-19)、甲型流感类别(H1N1)以及健康类别(CAP)。
二分类任务网络用于判断疑似患者CT影像有无病变，图3中w/lesions为有病变，w/o lesions为没有病变。
在一阶段单张切片特征提取网络在训练过程中，多分类任务与二分类任务为两个独立的线程，并通过一阶段单张切片特征提取网络中的线性层，将两个任务的损失进行联合训练。其中，使用交叉熵损失作为两个任务的损失函数，分别表示为L1和L2。
图4为本发明实施例的二阶段跨切片特征提取网络工作的流程示意图。
如图4所示，二阶段跨切片特征提取网络中包括Bi-LSTM模块、MCA模块以及全连接神经网络(即Pooling层+FC层)。
Bi-LSTM模块从所有单张切片特征图S(即s1,s2,...,sL)中提取得到对应的时序上下文融合特征B，MCA模块基于时序上下文融合特征进行感受野增强，从而得到跨切片特征图F，全连接网络基于该跨切片特征图进行推断得到CAM激活图结果以及分类概率预测值。
其中，Bi-LSTM模块按双向顺序处理时间序列信息，并存储隐藏状态作为其观测数据的记忆。这些隐藏表示用于处理切片级特征并计算输出，因此使其成为病人级分类的强大工具。
Bi-LSTM模块在双向长短时记忆循环神经网络(Long Short-Term Memory，LSTM)的基础上，采用一个多尺度上下文特征聚合模块来实现多尺度上下文特征的聚合。
MCA模块利用四种空洞化卷积操作(即f1-f4)对时序上下文融合特征B进行不同的感受野增强，并对卷积结果进行融合(即Concat)，从而得到跨切片特征图F。
其中，f1为全连接层，f2为r＝1的空洞卷积，f3为r＝2的空洞卷积，f4为r＝4的空洞卷积。
全连接神经网络基于跨切片特征图推断得到CAM激活图结果以及分类概率预测值。
其中，分类概率预测值为全连接神经网络对时序高维特征进行回归计算得到多类别肺炎的阳性概率。
图5为本发明实施例的分类结果的示意图。
如图5所示，对一例肺炎患者CT影像(如图5a部分所示)进行测试，利用本发明的肺炎分类模型得到如图5c部分的CAM激活图结果，图5b部分为一阶段单张切片特征提取网络中只包括多分类任务不包括二分类任务情况下，测试得到的CAM激活图结果。图5中黑色圆圈部分即为病种区域。
由图5可知，一阶段单张切片特征提取网络中包括多分类任务以及二分类任务的肺炎分类模型分割效果优于只包括多分类任务的分类模型。
图6为本发明实施例的基于时序高维特征提取的多肺炎CT分类装置的结构框图。
本实施例的基于时序高维特征提取的多肺炎CT分类装置1包括数据调用模型构建模块11、训练数据获取模块12、肺炎分类模型训练模块13以及分类结果预测模块(如图6所示)。本实施例中，基于时序高维特征提取的多肺炎CT分类装置是基于本发明的基于时序高维特征提取的多肺炎CT分类方法得到的，用于针对疑似患者CT影像进行分类从而得到分类结果，并可应用于嵌入式设备。
数据调用模型构建模块11根据脱敏后的临床肺部CT影像的数据特点，构建数据调用模型，并将该数据调用模型接入医院PACS系统中。
训练数据获取模块12利用数据调用模型从医院PACS系统中提取出肺部CT影像以及病人的健康状况标签，并作为训练数据。
肺炎分类模型训练模块13对训练数据进行预处理得到预处理数据，并输入预先搭建好的时序高维特征提取神经网络进行训练，从而得到训练好的时序高维特征提取神经网络模型作为肺炎分类模型。
分类结果预测模块14对疑似患者CT影像进行预处理得到预处理影像，并利用肺炎分类模型对预处理影像进行推断得到CAM激活图结果以及分类概率预测值，作为分类结果从而辅助医生进行快速与准确地诊断。
为了验证本发明的基于时序高维特征提取的多肺炎CT分类方法及装置，在上述265名患者的测试集(83例健康、63例甲型流感、79例新型冠状肺炎、40例社区获得性肺炎)上进行测试，具体测试结果为：
本发明在测试集的准确率为96.23％(置信度为95％CI:93.17％-98.18％)，AUC为0.995，F1值为95.94％，在对新冠肺炎的筛选任务中，相比而言，影像科医生诊断的敏感性为96.20％，特异性为97.85％，准确度为95.00％。
图7为本发明实施例的实验对比图。
另外，利用本发明的分类方法与其他最新分类方法在上述测试集上进行实验对比，通过ROC曲线来展现各个分类方法的性能情况，从图7中可以看出，本发明的分类方法CNN+LSTM+MCA的AUC为0.995，高于最新分类方法，从而证明本发明的分类方法具有较好的准确率。
除此之外，一批32张图像的测试过程总耗时约3秒，一名患者的所有计算机断层扫描图测试总耗时约30秒。
综上，本发明的分类方法及装置特别适用于疫情地区进行早期筛查，能够极大改善核算检测假阴性过高的问题。同时，在效率方面有了很大提升，特别是在一些缺乏核酸检测工具的地区，本发明的分类方法及装置能够有效地提高诊断的效率，遏制疫情的快速传播。
实施例作用与效果
根据本实施例提供的一种基于时序高维特征提取的多肺炎CT分类方法及装置，由于肺炎分类模型中的一阶段单张切片特征提取网络预处理影像进行特征提取，从而得到预处理影像中每张切片对应的特征图作为单张切片特征图，然后，二阶段跨切片特征提取网络先从所有单张切片特征图中提取得到对应的时序上下文融合特征，然后基于时序上下文融合特征进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到CAM激活图结果以及分类概率预测值，因此，能够有效地挖掘图像信息，并在融合了图像中深层次信息与浅层信息的基础上，准确地诊断出疑似患者CT影像对应属于哪种肺炎，具有较高的准确率，在肺炎的“毛玻璃影”这一肺部主要特征上，具有较大的优势。
另外，还由于一阶段单张切片特征提取网络为双任务学习卷积神经网络，该双任务学习卷积神经网络包括多分类任务网络以及二分类任务网络，多分类任务网络用于判别疑似患者CT影像对应的健康状况类别，二分类任务网络用于判断疑似患者CT影像有无病变，因此，在病灶信息的监督下，双任务学习卷积神经网络对病灶更加敏感。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

Claims (7)

1.一种基于时序高维特征提取的多肺炎CT分类方法，用于针对疑似患者CT影像进行分类，从而得到分类结果，其特征在于，包括如下步骤：
步骤S1，根据脱敏后的临床肺部CT影像的数据特点，构建数据调用模型，并将该数据调用模型接入医院PACS系统中；
步骤S2，利用所述数据调用模型从所述医院PACS系统中提取出肺部CT影像以及病人的健康状况标签，并作为训练数据；
步骤S3，对所述训练数据进行预处理得到预处理数据，并输入预先搭建好的时序高维特征提取神经网络进行训练，从而得到训练好的时序高维特征提取神经网络模型作为肺炎分类模型；
步骤S4，对所述疑似患者CT影像进行预处理得到预处理影像，并利用所述肺炎分类模型对所述预处理影像进行推断得到CAM激活图结果以及分类概率预测值，作为所述分类结果从而辅助医生进行快速与准确地诊断，
其中，所述肺炎分类模型包括一阶段单张切片特征提取网络以及二阶段跨切片特征提取网络，
所述一阶段单张切片特征提取网络对所述预处理影像进行特征提取，从而得到所述预处理影像中每张切片对应的特征图，作为单张切片特征图，
所述二阶段跨切片特征提取网络先从所有所述单张切片特征图中提取得到对应的时序上下文融合特征，然后基于所述时序上下文融合特征进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到所述CAM激活图结果以及所述分类概率预测值。
2.根据权利要求1所述的基于时序高维特征提取的多肺炎CT分类方法，其特征在于：
其中，所述一阶段单张切片特征提取网络为双任务学习卷积神经网络，该双任务学习卷积神经网络包括多分类任务网络以及二分类任务网络，
所述多分类任务网络用于判别所述疑似患者CT影像对应的健康状况类别，
所述二分类任务网络用于判断所述疑似患者CT影像有无病变。
3.根据权利要求1所述的基于时序高维特征提取的多肺炎CT分类方法，其特征在于：
其中，所述健康状况类别包括社区获得性肺炎类别、新型冠状肺炎类别、甲型流感类别以及健康类别。
4.根据权利要求1所述的基于时序高维特征提取的多肺炎CT分类方法，其特征在于：
其中，所述步骤S3中的预处理包括如下步骤：
步骤T1，从所述训练数据中提取出CT图像，调整所述CT图像的窗位列宽，并去除外围噪声，从而得到大小一致的去噪CT图像；
步骤T2，从所述去噪CT图像中分割出肺部区域，并进行归一化得到肺部CT图像；
步骤T3，利用预定的数据增强方法对所述肺部CT图像进行数据扩充，得到扩充后CT图像；
步骤T4，将所述扩充后CT图像与所述健康状况标签相对应存储，作为所述预处理数据。
5.根据权利要求4所述的基于时序高维特征提取的多肺炎CT分类方法，其特征在于：
其中，所述数据增强方法为旋转、随机裁剪、平移以及加入高斯噪声中的任意一种或多种。
6.根据权利要求4所述的基于时序高维特征提取的多肺炎CT分类方法，其特征在于：
其中，所述步骤T2中的所述肺部区域通过阈值分割算法从所述去噪CT图像分割得到。
7.一种基于时序高维特征提取的多肺炎CT分类装置，用于针对疑似患者CT影像进行分类，从而得到分类结果，其特征在于，包括：
数据调用模型构建模块，根据脱敏后的临床肺部CT影像的数据特点，构建数据调用模型，并将该数据调用模型接入医院PACS系统中；
训练数据获取模块，利用所述数据调用模型从所述医院PACS系统中提取出肺部CT影像以及病人的健康状况标签，并作为训练数据；
肺炎分类模型训练模块，对所述训练数据进行预处理得到预处理数据，并输入预先搭建好的时序高维特征提取神经网络进行训练，从而得到训练好的时序高维特征提取神经网络模型作为肺炎分类模型；以及
分类结果预测模块，对所述疑似患者CT影像进行预处理得到预处理影像，并利用所述肺炎分类模型对所述预处理影像进行推断得到CAM激活图结果以及分类概率预测值，作为所述分类结果从而辅助医生进行快速与准确地诊断，
其中，所述肺炎分类模型包括一阶段单张切片特征提取网络以及二阶段跨切片特征提取网络，
所述一阶段单张切片特征提取网络对所述预处理影像进行特征提取，从而得到所述预处理影像中每张切片对应的特征图，作为单张切片特征图，
所述二阶段跨切片特征提取网络先从所有所述单张切片特征图中提取得到对应的时序上下文融合特征，然后基于所述时序上下文融合特征进行感受野增强，从而得到跨切片特征图，最后基于该跨切片特征图进行推断得到所述CAM激活图结果以及所述分类概率预测值。
CN202110440925.8A 2021-04-23 2021-04-23 一种基于时序高维特征提取的多肺炎ct分类方法及装置 Active CN113269230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110440925.8A CN113269230B (zh) 2021-04-23 2021-04-23 一种基于时序高维特征提取的多肺炎ct分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110440925.8A CN113269230B (zh) 2021-04-23 2021-04-23 一种基于时序高维特征提取的多肺炎ct分类方法及装置

Publications (2)

Publication Number Publication Date
CN113269230A true CN113269230A (zh) 2021-08-17
CN113269230B CN113269230B (zh) 2022-09-06

Family

ID=77229209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110440925.8A Active CN113269230B (zh) 2021-04-23 2021-04-23 一种基于时序高维特征提取的多肺炎ct分类方法及装置

Country Status (1)

Country Link
CN (1) CN113269230B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821205A (zh) * 2022-06-30 2022-07-29 澄影科技(北京)有限公司 一种基于多维特征的图像处理方法、装置及设备
CN116664953A (zh) * 2023-06-28 2023-08-29 北京大学第三医院（北京大学第三临床医学院） 2.5d肺炎医学ct影像分类装置及设备
CN117219295A (zh) * 2023-11-03 2023-12-12 浙江省肿瘤医院 一种基于ct图像的胃癌新辅助化疗疗效预测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109961034A (zh) * 2019-03-18 2019-07-02 西安电子科技大学 基于卷积门控循环神经单元的视频目标检测方法
CN111681219A (zh) * 2020-06-03 2020-09-18 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN111986189A (zh) * 2020-08-27 2020-11-24 上海市公共卫生临床中心 一种基于ct影像的多类别肺炎筛查深度学习装置
US20210012201A1 (en) * 2019-07-10 2021-01-14 Adobe Inc. Center-biased machine learning techniques to determine saliency in digital images
CN112633404A (zh) * 2020-12-30 2021-04-09 复旦大学 基于DenseNet的COVID-19患者的CT影像分类方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109961034A (zh) * 2019-03-18 2019-07-02 西安电子科技大学 基于卷积门控循环神经单元的视频目标检测方法
US20210012201A1 (en) * 2019-07-10 2021-01-14 Adobe Inc. Center-biased machine learning techniques to determine saliency in digital images
CN111681219A (zh) * 2020-06-03 2020-09-18 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎ct图像分类方法、系统及设备
CN111986189A (zh) * 2020-08-27 2020-11-24 上海市公共卫生临床中心 一种基于ct影像的多类别肺炎筛查深度学习装置
CN112633404A (zh) * 2020-12-30 2021-04-09 复旦大学 基于DenseNet的COVID-19患者的CT影像分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李维等: "基于CNN多层面二阶特征融合的肺结节分类", 《计算机科学与探索》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821205A (zh) * 2022-06-30 2022-07-29 澄影科技(北京)有限公司 一种基于多维特征的图像处理方法、装置及设备
CN116664953A (zh) * 2023-06-28 2023-08-29 北京大学第三医院（北京大学第三临床医学院） 2.5d肺炎医学ct影像分类装置及设备
CN117219295A (zh) * 2023-11-03 2023-12-12 浙江省肿瘤医院 一种基于ct图像的胃癌新辅助化疗疗效预测系统

Also Published As

Publication number Publication date
CN113269230B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN113269230B (zh) 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN106780475A (zh) 一种基于病理组织切片图像组织区域的图像处理方法及装置
CN111986189B (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
CN117274270B (zh) 基于人工智能的消化内镜实时辅助系统及方法
CN112784856A (zh) 胸部x射线图像的通道注意力特征提取方法和识别方法
CN112633404A (zh) 基于DenseNet的COVID-19患者的CT影像分类方法及装置
CN115578783B (zh) 基于眼部图像进行眼部疾病识别的装置、方法及相关产品
CN113284136A (zh) 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
CN118397280B (zh) 基于人工智能的内镜下胃肠道图像分割识别系统及方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN117315379B (zh) 面向深度学习的医学影像分类模型公平性评估方法及装置
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
CN108230341A (zh) 一种基于分层抠图算法的眼底图像血管分割方法
Peng et al. Blood vessels segmentation by using cdnet
CN114418999B (zh) 基于病变关注金字塔卷积神经网络的视网膜病变检测系统
CN115661185A (zh) 一种眼底图像血管分割方法及系统
Sowmya et al. Vision transformer based ResNet model for pneumonia prediction
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
Bhardwaj et al. Two-tier grading system for npdr severities of diabetic retinopathy in retinal fundus images
CN110516611B (zh) 一种自闭症检测系统及自闭症检测装置
CN117636064B (zh) 一种基于儿童病理切片的神经母细胞瘤智能分类系统
Godbin et al. Leveraging Radiomics and Genetic Algorithms to Improve Lung Infection Diagnosis in X-Ray Images using Machine Learning
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant