CN112991269A - 一种肺部ct图像的识别分类方法 - Google Patents

一种肺部ct图像的识别分类方法 Download PDF

Info

Publication number
CN112991269A
CN112991269A CN202110177221.6A CN202110177221A CN112991269A CN 112991269 A CN112991269 A CN 112991269A CN 202110177221 A CN202110177221 A CN 202110177221A CN 112991269 A CN112991269 A CN 112991269A
Authority
CN
China
Prior art keywords
image
lung
training
false positive
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110177221.6A
Other languages
English (en)
Inventor
张文强
吴优
高述勇
张睿
张巍
李艺鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110177221.6A priority Critical patent/CN112991269A/zh
Publication of CN112991269A publication Critical patent/CN112991269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种肺部CT图像的识别分类方法，包括以下步骤：1)获取肺部CT图像数据集并进行预处理，得到训练样本；2)利用训练样本训练二维卷积神经网络，构建分割模型，用于识别肺部CT图像多类别的感兴趣区域；3)利用分割模型识别的多类别感兴趣区域，在原肺部CT图像中裁剪出多个不同大小的三维图像块并进行分类类别标注；4)利用三维图像块及其标注训练三维多尺度融合神经网络，构建假阳识别和分类模型，用于对肺部CT图像进行分类并筛除假阳感兴趣区域；5)利用训练完成的分割模型和假阳识别分类模型对待分类的肺部CT图像进行分类和假阳筛除，与现有技术相比，本发明具有速度快且准确率高等优点。

Description

一种肺部CT图像的识别分类方法
技术领域
本发明涉及医疗图像处理技术领域，尤其是涉及一种肺部CT图像的识别分类方法识别。
背景技术
肺部CT影像分层薄、高清、低噪声，众多研究者利用神经网络的学习能力，通过计算机辅助系统在CT图像的分类和识别领域进行了大量工作，并且取得了一定成果，目前，对肺部CT图像的识别已经取得了非常好的发展，但是对于肺部CT图像的识别和分类鲜有涉及。
肺部CT图像的分类通常分为三步：首先对肺部CT图像进行感兴趣区域的识别，然后对假阳感兴趣区域进行筛除，即对第一步中识别得到的感兴趣区域进行进一步识别，筛除其中的正常区域，最后对剩下的真阳性感兴趣区域进行分类。
然而基于传统机器学习的方法，在图像中只能提取预先定义的形态特征，导致识别出来的假阳感兴趣区域数量仍然很多。2015年Olaf Ronneberger等人提出U-Net网络，该网络结构在多种医学图像分割任务上均取得了不错的成果，而在假阳性识别任务上，QiDou等人于2017年提出的3D CNN网络不仅解决了样本不平衡的问题，也在判别假阳区域上取得了优异成果，该网络图以候选位置坐标为中心切割三个不同大小的立方体并送入网络，分别训练三个包含不同层次上下文信息的三维卷积网络，将这些网络的后验预测融合在一起，得到最终的分类结果，但该网络结构存在需要手动控制每个尺度权重的问题。Bum-ChaeKim等人于2019年提出了“Multi-scale gradual integration CNN for falsepositive reduction in Pulmonary nodule detection”则将三个网络融合到一起，在3DCNN网络的基础上增加了多级特征融合部分和渐变特征提取部分，也提高了假阳识别的准确率，但直接利用3D网络来识别和分类，即在肺部CT图像内以立方体大小采用滑窗机制扫过并将其送入网络进行识别和分类，整个过程的时间长，识别和分类操作被严重拖慢，并且GPU占比较高，可落地实用性和可拓展性不大。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种速度快、实用性高的肺部CT图像的识别分类方法。
本发明的目的可以通过以下技术方案来实现：
一种肺部CT图像的识别分类方法，包括以下步骤：
1)获取肺部CT图像数据集并进行预处理，得到训练样本；
2)利用训练样本训练二维卷积神经网络，构建分割模型，用于识别肺部CT图像多类别的感兴趣区域；
3)利用分割模型识别的多类别感兴趣区域，在原肺部CT图像中裁剪出多个不同大小的三维图像块并进行分类类别标注；
4)利用三维图像块及其标注训练三维多尺度融合神经网络，构建假阳识别分类模型，用于筛除假阳感兴趣区域并对真阳感兴趣区域进行分类；
5)利用训练完成的分割模型和假阳识别分类模型对待分类的肺部CT图像进行分类和假阳筛除。
优选地，所述的二维卷积神经网络采用U-Net网络，所述的三维多尺度融合神经网络采用MGI-CNN融合网络。
进一步地，步骤2)具体包括：
21)对训练样本数据进行数据增强；
22)对训练样本数据进行数据类型转换，将图片像素值转换成float类型并进行通道归一化；
23)构建U-Net网络结构及其损失函数；
24)将训练样本的标准分割图像作为标签，对U-Net网络进行训练，得到分割模型。
更进一步地，所述的U-Net网络模型包括收缩路径和扩展路径，所述的收缩路径用于捕捉肺部CT图像中的上下文信息，所述的扩展路径用于对肺部CT图像中的感兴趣区域进行定位。
更进一步地，所述的训练样本中包括肺部CT图像的真值mask图，所述的真值mask图通过CT数据集中的标注文件提取，所述的分割模型用于对原始肺部CT图像进行感兴趣区域分割，并输出预测mask图。
更进一步地，所述的U-Net网络的损失函数的表达式为：
Figure BDA0002941048070000031
其中，ytrue为真值mask图的展开图像矩阵，ypred为预测mask图的展开图像矩阵，K为平滑数。
进一步地，步骤1)具体包括：
11)根据肺部CT数据集中的标注文件，读取感兴趣区域的坐标以及半径；
12)进行世界坐标到体像素坐标之间的转换，得到2D图片；
13)根据转换后的坐标读取3D图片，并进行标准化操作；
14)根据步骤11)中得到的坐标及半径信息，确定感兴趣区域的中心点和长宽，并以此来生成mask图，其中，感兴趣兴趣区域内的像素值设为1，感兴趣区域外的像素值设为0。
进一步地，步骤4)具体包括：
41)获取预测mask图，并找到其中心坐标；
42)根据中心坐标在原肺部CT图像中裁剪出三个不同大小的三维图像块；
43)根据原肺部CT图像中人为标注的感兴趣区域类别，分别标注每个三维图像块的类别，并区分真阳感兴趣区域和假阳感兴趣区域；
44)构建MGI-CNN融合网络结构及其损失函数；
45)利用各类别对应的三维图像块及其标签作为训练集，对MGI-CNN融合网络进行训练，得到假阳识别分类模型。
更进一步地，所述的MGI-CNN融合网络首先获取三个不同大小的三维图像块，并将三个三维图像块调整为大小相同的尺寸后进行信息融合，得到Zoom-in特征和Zoom-out特征，然后将Zoom-in特征和Zoom-out特征通过卷积层调整到设定大小的特征并进行融合，最后得到分类信息和假阳识别信息。
更进一步地，所述的MGI-CNN融合网络的损失函数的表达式为：
Figure BDA0002941048070000032
其中，Loss1为假阳损失函数，Loss2为分类损失函数，N为样本数，yi为第i个样本的标签，pi为第i个样本的预测值，M为类别数。
与现有技术相比，本发明具有以下优点：
1)本发明采用2D神经网络来构建分割模型，对感兴趣区域进行初步识别，相比于现有技术中直接采用3D神经网络进行感兴趣区域的识别，2D神经网络来构建的分割模型参数少、速度快、耗费资源少且对感兴趣区域的查全率高，尤其对于医院来说，对设备的要求低，有效提高了应用范围和可拓展性，实用用性高。
2)本发明在2D神经网络对感兴趣区域进行初步识别后，再采用3D神经网络来用于假阳感兴趣区域筛除和类别分类的假阳识别分类模型，弥补由于2D神经网络来构建的分割模型识别的感兴趣区域中假阳性感兴趣区域数量多问题，提高识别和分类的准确率，且在该阶段需要识别的数量相比于直接采用3D的卷积神经网络来识别而言少近三个数量级，有效提高对肺部CT图像的识别和分类的效率和准确率。
附图说明
图1为本发明方法的流程图；
图2为本发明方法训练流程示意图；
图3为本发明实施例中对各类别肺部CT图像的感兴趣区域识别结果示意图，其中，图(3a)、(3c)、(3e)和(3g)分别为四种类别的肺部CT图像，图(3b)、(3d)、(3f)和(3h)分别对应的mask图；
图4为本发明分割模型的U-Net网络结构示意图；
图5为本发明U-Net网络查全率示意图；
图6为本发明步骤3)的示意图；
图7为MGI-CNN融合网络对三种不同尺度进行信息融合的示意图；
图8为假阳识别分类模型的MGI-CNN融合网络结构示意图；
图9为假阳识别分类模型的AUC曲线图；
图10为本发明实施例中对肺结节类别和索条类别的分类结果示意图，其中，图(10a)为原始肺部CT图像，图(10b)为对应的mask图，图(10c)为结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明公开了一种肺部CT图像的识别分类方法，为了适应肺部CT图像的识别和分类需求，解决现有技术的不足，本发明提供一种利用深度卷积神经网络来检测肺部CT中多类型区域的方法，它首先利用2D分割网络模型来定位感兴趣区域，达到高查全率且快速的目的，再利用3D检测网络来判别感兴趣区域，去除假阳性区域并对真阳性区域进行分类，克服了传统识别和分类算法在肺部CT图像中构建大量3D立方体检测的费时费资源的缺点。
如图1和图2所示，该方法包括以下步骤：
1)获取肺部CT图像数据集并进行预处理，得到训练样本；具体包括：
11)根据肺部CT数据集中的标注文件，读取感兴趣区域的坐标以及半径；
12)进行世界坐标到体像素坐标之间的转换，得到2D图片；
13)根据转换后的坐标读取3D图片，并进行标准化操作；
14)根据步骤11)中得到的坐标及半径信息，确定感兴趣区域的中心点和长宽，并以此来生成mask图，其中，感兴趣兴趣区域内的像素值设为1，感兴趣区域外的像素值设为0。
2)利用训练样本训练二维卷积神经网络，构建分割模型，用于识别肺部CT图像多类别的感兴趣区域，其中二维卷积神经网络采用U-Net网络；具体包括：
21)对训练样本数据进行数据增强；
22)对训练样本数据进行数据类型转换，将图片像素值转换成float类型并进行通道归一化；
23)构建U-Net网络结构及其损失函数；
24)将训练样本的标准分割图像作为标签，对U-Net网络进行训练，得到分割模型。
3)利用分割模型识别的多类别感兴趣区域，在原肺部CT图像中裁剪出多个不同大小的三维图像块并进行分类类别标注；
4)利用三维图像块及其标注训练三维多尺度融合神经网络，构建假阳识别分类模型，用于对肺部CT图像进行分类并筛除假阳感兴趣区域，其中三维多尺度融合神经网络采用MGI-CNN融合网络，具体包括：
41)获取预测mask图，并找到其中心坐标；
42)根据中心坐标在原肺部CT图像中裁剪出三个不同大小的三维图像块；
43)根据原肺部CT图像中人为标注的感兴趣区域类别，分别标注每个三维图像块的类别，并区分真阳感兴趣区域和假阳感兴趣区域；
44)构建MGI-CNN融合网络结构及其损失函数；
45)利用各类别对应的三维图像块及其标签作为训练集，对MGI-CNN融合网络进行训练，得到假阳识别分类模型。
5)利用训练完成的分割模型和假阳识别分类模型对待分类的肺部CT图像进行分类和假阳筛除。
训练样本中包括肺部CT图像的真值mask图，真值mask图通过CT数据集中的标注文件提取，分割模型用于对原始肺部CT图像进行感兴趣区域分割，并输出预测mask图，U-Net网络的损失函数的表达式为：
Figure BDA0002941048070000061
其中，ytrue为真值mask图的展开图像矩阵，ypred为预测mask图的展开图像矩阵，K为平滑数。
MGI-CNN融合网络的损失函数的表达式为：
Figure BDA0002941048070000062
其中，Loss1为假阳损失函数，Loss2为分类损失函数，N为样本数，yi为第i个样本的标签，pi为第i个样本的预测值，M为类别数。
本发明主要包括以下三个部分：
(1)肺部CT图像数据集的预处理得到训练样本，具体包括，对luna16数据集和天池数据集进行类别提取、坐标转换、大小放缩和真值mask图提取，包含如下步骤：
①首先根据luna16的数据集标注文件和天池数据集标注文件读取感兴趣区域坐标以及半径，并进行世界坐标到体像素坐标之间的转换：
Figure BDA0002941048070000063
上述公式中，voxelCoord是体像素坐标，origin表明图像中心点在肺部CT图像中的位置，spacing是两个像素之间的间隔。
②根据得到的转换坐标读取MHD文件中Z轴上的2D图片，进行标准化操作，将每个像素值标准化为0到1之间的数值并缩放到320*320大小：
Figure BDA0002941048070000071
其中，MIN和MAX分别为像素点最小值和最大值，Ixyz表明空间坐标(x,y,z)处的像素值。
③根据感兴趣区域的坐标及半径信息，就能确定一个感兴趣区域的中心点和长宽，我们以此来生成mask图，感兴趣区域内像素值为1，感兴趣区域外像素值为0。
(2)训练二维卷积神经网络U-Net形成分割模型，预测肺部多类别的分割图像，得到预测mask图，这一部分的目的是为了训练二维卷积神经网络U-Net分割模型，预测肺部多类别的分割图像，得到预测mask图，具体包含如下步骤：
①构建数据集
用训练样本的标准分割图像作为标签，对二维卷积神经网络U-Net进行训练，训练过程中要对训练样本进行数据增强，具体的数据增强方法包括：旋转、弹性变换以及改变图片明暗颜色和对比度等。
②数据类型转换
训练样本数据集在送入网络之前，要进行数据类型转换，即将图片像素值转换成float类型并进行通道归一化。
③网络模型的构建
U-Net网络由两个部分组成：一个是收缩路径，一个是扩展路径。收缩路径主要是用来捕捉医学影像中的上下文方面的信息的，而扩展路径的目的是为了对图片中所需要分割出来的部分进行精确的定位。为了达到精确定位的作用，收缩路径提取出来的高像素的特征会在上采样过程中与新的特征图进行结合，这样的操作可以最大程度保留前面模型在下采样过程中的一些重要信息。
④损失函数的构建
对于真值mask图和预测mask图，我们将两者得到的图像矩阵展开为ytrue和ypred，U-Net网络损失函数是一种集合相似度度量函数，通常用于计算两个样本的相似度，损失函数构建如下：
Figure BDA0002941048070000081
K为平滑数，在这里设置为1，防止Loss分母为0的情况。
(3)训练三维多尺度融合神经网络MGI-CNN，预测多类型感兴趣区域的真假阳性概率，去除假阳感兴趣区域并对感兴趣区域进行精确识别和分类，具体包含如下步骤：
①数据准备与预处理
通过第(2)部分，得到预测mask图，再根据预测mask图找到中心坐标，用中心坐标在原MHD文件中裁剪出三个不同大小三维图像块，得到大小分别为40*40*26,30*30*10，20*20*6的三个立方体。再根据人为在这些训练样本原始图像中标注的感兴趣位置，对每个三维图像块进行标注，区分真阳感兴趣区域及假阳感兴趣区域。
②MGI-CNN融合网络结构构建
对40*40*26,30*30*10，20*20*6三个不同大小的立方体，分别记为S1，S2，S3，首先将他们调整为大小相同的尺寸：20*20*6，将三个不同尺度的信息进行融合，具体为：按照S1+S2+S3的方法和S3+S2+S1的拼接方法得到9*9*192大小的Zoom-in信息和Zoom-out信息，作为Zoom-in特征和Zoom-out特征，并将Zoom-in特征和Zoom-out特征先通过卷积层调整到9*9*256大小的特征并融合，训练结束能得到两种信息：分类信息和假阳识别信息。
③MGI-CNN融合网络模型训练
我们将四个类别的立方体及对应标签作为训练集，根据构建的三维多尺度融合3D神经网络来得到分类信息及假阳识别信息。网络训练基于随机梯度下降算法，并采用五折交叉验证方式，假阳损失函数采用sigmoid交叉熵损失函数：
Figure BDA0002941048070000082
其中，N为样本数，yi表示第i个样本的标签，pi表示第i个样本的预测值。
分类损失函数为多分类交叉熵损失函数，并且使用Adam优化器：
Figure BDA0002941048070000083
其中，N为样本数，M为类别数，本发明中为5(分别为正常、肺结节类别、肺部索条类别、动脉硬化或钙化类别以及淋巴结钙化类别)，yi指示如果该类别与样本的类别相同就是1，否则就是0，pi即观测样本i属于类别j的概率。
最后假阳识别分类模型的损失函数为上述两类损失函数Loss1与Loss2之和，即：
Figure BDA0002941048070000091
下面给出具体实施例：
一、数据预处理
(1)本实施例具体实施中所用的数据来自LUNA16和TIANCHI数据集，其中LUNA数据集包含885个肺部CT图像，共计1186个肺结节类别，该数据是4位有经验的胸部放射科医师在对肺部CT图像进行两次图像感兴趣区域标注而得的，天池数据集包含1470个肺部CT图像，四种类别数量共计12218，其中肺结节类别、索条类别、动脉硬化或钙化类别和淋巴结钙化类别的数量分别为：3264，3613，4201，1140。
(2)读取LUNA16和天池数据集对应的csv文件，将文件中的世界坐标转换为体像素坐标，并结合文件中的感兴趣区域直径长度定位感兴趣区域位置和大小,mask图中感兴趣区域区域像素标为1，其他区域标为0，并将mask图和2D图片统一放缩到320*320大小作为网络训练集，四种类别的训练集图片和对应的mask图如图3所示。
二、分割网络模型构建
这一阶段采用U-Net分割网络模型，如图4，因为LUNA16数据集只包含肺结节类别，所以将LUNA16预处理得到的训练集用来预训练网络。再将天池数据集经过预处理得到的训练集送入U-Net网络训练，其中采用ReduceLROnPlateau回调函数在模型无法改善时降低学习率。得到的训练结果用查全率accuracy作为指标来衡量，如图5。
三、筛除假阳性病灶与分类。
这一阶段采用三维多尺度融合神经网络MGI-CNN，我们在U-Net分割网络中能得到大量候选感兴趣区域，通过得到的感兴趣区域中心点位置得到40*40*26，30*30*10，20*20*6三个不同大小的立方体并将他们调整为20*20*6的相同尺寸，分别记为S1，S2，S3，如图6所示。
将三个不同尺度的信息进行融合，即按照S1+S2+S3的方法和S3+S2+S1的拼接方法得到9*9*192大小的Zoom-in信息和Zoom-out信息，如图7所示。网络输出结果为假阳识别信息和分类信息如图8所示，衡量指标为AUC信息如图9所示。本发明采用AUC(Area UnderCurve)曲线，AUC曲线被定义为ROC曲线下与坐标轴围成的面积，显然这个面积数值不会大于1，又由于y＝x这条直线围成的AUC面积为0.5，等于随机概率，没有应用价值。所以常见的ROC曲线一般都处于y＝x直线上方，取值范围在0.5到1之间，AUC越接近1.0表明识别方法准确性越高。
四、肺部CT多病种自动识别与分类结果
本发明提供的基于2D网络分割和3D网络假阳性判别及分类的肺部CT图像多类别感兴趣区域识别和分类方法，能够在分割阶段具有较高查全率的同时又具有较高假阳性病灶检出率，其中查全率为91.1％,检出及分类率为95.5％，准确率为87％，如图10所示为本实施例中对肺结节类别和索条类别的识别分类结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种肺部CT图像的识别分类方法，其特征在于，包括以下步骤：
1)获取肺部CT图像数据集并进行预处理，得到训练样本；
2)利用训练样本训练二维卷积神经网络，构建分割模型，用于识别肺部CT图像的多类型感兴趣区域；
3)利用分割模型识别的多类型感兴趣区域，在原肺部CT图像中裁剪出多个不同大小的三维图像块并进行分类类别标注；
4)利用三维图像块及其标注训练三维多尺度融合神经网络，构建假阳识别分类模型，用于筛除假阳感兴趣区域并对真阳感兴趣区域进行分类；
5)利用训练完成的分割模型和假阳识别分类模型对待分类的肺部CT图像进行分类和假阳筛除。
2.根据权利要求1所述的一种肺部CT图像的识别分类方法，其特征在于，所述的二维卷积神经网络采用U-Net网络，所述的三维多尺度融合神经网络采用MGI-CNN融合网络。
3.根据权利要求2所述的一种肺部CT图像的识别分类方法，其特征在于，步骤2)具体包括：
21)对训练样本数据进行数据增强；
22)对训练样本数据进行数据类型转换，将图片像素值转换成float类型并进行通道归一化；
23)构建U-Net网络结构及其损失函数；
24)将训练样本的标准分割图像作为标签，对U-Net网络进行训练，得到分割模型。
4.根据权利要求3所述的一种肺部CT图像的识别分类方法，其特征在于，所述的U-Net网络模型包括收缩路径和扩展路径，所述的收缩路径用于捕捉肺部CT图像中的上下文信息，所述的扩展路径用于对肺部CT图像中的感兴趣区域进行定位。
5.根据权利要求2所述的一种肺部CT图像的识别分类方法，其特征在于，所述的训练样本中包括肺部CT图像的真值mask图，所述的真值mask图通过CT数据集中的标注文件提取，所述的分割模型用于对原始肺部CT图像进行感兴趣区域分割，并输出预测mask图。
6.根据权利要求5所述的一种肺部CT图像的识别分类方法，其特征在于，所述的U-Net网络的损失函数的表达式为：
Figure FDA0002941048060000021
其中，ytrue为真值mask图的展开图像矩阵，ypred为预测mask图的展开图像矩阵，K为平滑数。
7.根据权利要求5所述的一种肺部CT图像的识别分类方法，其特征在于，步骤1)具体包括：
11)根据肺部CT数据集中的标注文件，读取感兴趣区域的坐标以及半径；
12)进行世界坐标到体像素坐标之间的转换，得到2D图片；
13)根据转换后的坐标读取3D图片，并进行标准化操作；
14)根据步骤11)中得到的坐标及半径信息，确定感兴趣区域的中心点和长宽，并以此来生成mask图，其中，感兴趣兴趣区域内的像素值设为1，感兴趣区域外的像素值设为0。
8.根据权利要求5所述的一种肺部CT图像的识别分类方法，其特征在于，步骤4)具体包括：
41)获取预测mask图，并找到其中心坐标；
42)根据中心坐标在原肺部CT图像中裁剪出三个不同大小的三维图像块；
43)根据原肺部CT图像中人为标注的感兴趣区域类别，分别标注每个三维图像块的类别，并区分真阳感兴趣区域和假阳感兴趣区域；
44)构建MGI-CNN融合网络结构及其损失函数；
45)利用各类别对应的三维图像块及其标签作为训练集，对MGI-CNN融合网络进行训练，得到假阳识别分类模型。
9.根据权利要求2或8所述的一种肺部CT图像的识别分类方法，其特征在于，所述的MGI-CNN融合网络首先获取三个不同大小的三维图像块，并将三个三维图像块调整为大小相同的尺寸后进行信息融合，得到Zoom-in特征和Zoom-out特征，然后将Zoom-in特征和Zoom-out特征通过卷积层调整到设定大小的特征并进行融合，最后得到真阳感兴趣区域的分类信息和假阳识别信息。
10.根据权利要求2或8所述的一种肺部CT图像的识别分类方法，其特征在于，所述的MGI-CNN融合网络的损失函数的表达式为：
Figure FDA0002941048060000031
其中，Loss1为假阳损失函数，Loss2为分类损失函数，N为样本数，yi为第i个样本的标签，pi为第i个样本的预测值，M为类别数。
CN202110177221.6A 2021-02-07 2021-02-07 一种肺部ct图像的识别分类方法 Pending CN112991269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110177221.6A CN112991269A (zh) 2021-02-07 2021-02-07 一种肺部ct图像的识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110177221.6A CN112991269A (zh) 2021-02-07 2021-02-07 一种肺部ct图像的识别分类方法

Publications (1)

Publication Number Publication Date
CN112991269A true CN112991269A (zh) 2021-06-18

Family

ID=76392603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110177221.6A Pending CN112991269A (zh) 2021-02-07 2021-02-07 一种肺部ct图像的识别分类方法

Country Status (1)

Country Link
CN (1) CN112991269A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610785A (zh) * 2021-07-26 2021-11-05 安徽理工大学 基于智能影像的尘肺预警方法、装置及存储介质
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置
CN113762265A (zh) * 2021-08-27 2021-12-07 慧影医疗科技（北京）有限公司 肺炎的分类分割方法及系统
CN114155561A (zh) * 2022-02-08 2022-03-08 杭州迪英加科技有限公司 一种幽门螺杆菌定位方法及装置
CN114581459A (zh) * 2022-02-08 2022-06-03 浙江大学 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN114693671A (zh) * 2022-04-25 2022-07-01 香港中文大学（深圳） 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115239962A (zh) * 2022-09-22 2022-10-25 珠海横琴圣澳云智科技有限公司 基于深层大感受野空间注意力的目标分割方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIUZ_NOTES: ""基于深度学习的肺部CT影像识别-采用U-net、3d cnn、cgan实现肺结节的检测（零）"", 《HTTP://BLOG.CSDN.NET/LIUZ_NOTES/ARTICLE/DETAILS/106438215》 *
ZHITAO XIAO 等: ""Multi-Scale Heterogeneous 3D CNN for"", 《APPLIED SCIENCES》 *
代成: ""基于深度学习的医疗图像分割算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610785A (zh) * 2021-07-26 2021-11-05 安徽理工大学 基于智能影像的尘肺预警方法、装置及存储介质
CN113762265A (zh) * 2021-08-27 2021-12-07 慧影医疗科技（北京）有限公司 肺炎的分类分割方法及系统
CN113762265B (zh) * 2021-08-27 2024-05-07 慧影医疗科技(北京)股份有限公司 肺炎的分类分割方法及系统
CN113657558A (zh) * 2021-10-18 2021-11-16 广东航宇卫星科技有限公司 一种针对骶髂关节ct图像的分类评级方法及装置
CN114155561A (zh) * 2022-02-08 2022-03-08 杭州迪英加科技有限公司 一种幽门螺杆菌定位方法及装置
CN114581459A (zh) * 2022-02-08 2022-06-03 浙江大学 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
CN114693671A (zh) * 2022-04-25 2022-07-01 香港中文大学（深圳） 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114693671B (zh) * 2022-04-25 2022-11-29 香港中文大学（深圳） 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115239962A (zh) * 2022-09-22 2022-10-25 珠海横琴圣澳云智科技有限公司 基于深层大感受野空间注意力的目标分割方法和装置

Similar Documents

Publication Publication Date Title
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN110458095B (zh) 一种有效手势的识别方法、控制方法、装置和电子设备
CN111723786B (zh) 一种基于单模型预测的安全帽佩戴检测方法及装置
CN110942471B (zh) 一种基于时空约束的长时目标跟踪方法
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
CN104599275A (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN111582111B (zh) 一种基于语义分割的细胞各成分分割方法
CN112836713A (zh) 基于图像无锚框检测的中尺度对流系统识别与追踪方法
CN112232199A (zh) 基于深度学习的佩戴口罩检测方法
CN112949572A (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN110866896A (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN111401301B (zh) 人员着装监控方法、装置、设备及存储介质
CN108427919B (zh) 一种基于形状引导显著性模型的无监督油罐目标检测方法
CN116448019B (zh) 建筑节能工程质量平面度智能检测装置及方法
CN109886102B (zh) 一种基于深度图像的跌倒行为时空域检测方法
CN112464701A (zh) 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN108647703B (zh) 一种基于显著性的分类图像库的类型判断方法
CN115240119A (zh) 一种基于深度学习的视频监控中行人小目标检测方法
CN115147380A (zh) 一种基于YOLOv5的小型透明塑料制品缺陷检测方法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination