CN112132800A - 基于深度学习的肺纤维化检测与严重度评估方法及系统 - Google Patents
基于深度学习的肺纤维化检测与严重度评估方法及系统 Download PDFInfo
- Publication number
- CN112132800A CN112132800A CN202010985175.8A CN202010985175A CN112132800A CN 112132800 A CN112132800 A CN 112132800A CN 202010985175 A CN202010985175 A CN 202010985175A CN 112132800 A CN112132800 A CN 112132800A
- Authority
- CN
- China
- Prior art keywords
- pulmonary fibrosis
- image
- patient
- lung
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的肺纤维化检测与严重度评估方法,包含步骤:S1、预处理若干肺纤维化患者的胸部CT序列图像,得到若干第一CT图像;S2、抽取并标注若干第一CT图像生成训练集和验证集;S3、通过训练集和验证集预训练第一、第二深度卷积神经网络模型;S4、将待检测患者的CT图像序列输入训练好的第一、第二深度卷积神经网络模型,识别该患者CT图像序列中的每个CT图像所包含的肺部区域和肺纤维化病灶区域;计算得到该患者肺纤维化病灶在其肺中的占比;S5、基于所述占比标志肺部纤维化分期;S6、基于生理学参数的检测结果对患者肺纤维化严重度分级。本发明还包含一种基于深度学习的肺纤维化检测与严重度评估系统。
Description
技术领域
本发明涉及医学影像分析领域,具体涉及一种基于深度学习的肺纤维化检测与严重度评估方法及系统。
背景技术
肺纤维化(pulmonary fibrosis,PF)是各种肺部疾病的共同结局,以肺组织疤痕化为主要表现,如果受累范围广泛则导致肺容积缩小,肺功能明显下降,严重影响患者生存质量。尤其是特发性间质性肺炎(idiopathic pulmonary fibrosis,IPF)是最典型的代表,其病理和/或影像表现为寻常性间质性肺炎的慢性进展性肺部疾病。IPF病因不明,预后极差,确诊后平均生存期仅为3-5年。IPF目前认为患者个体生存期差异很大,有些长期稳定存活多年,有些病情缓慢进展,有些则发生急性加重导致肺功能急速恶化,短时间内死亡。如何根据患者的情况做出较为精准的病情严重度评估和预后判断,目前尚缺乏被广泛接受的评估方法。
当前主要采用的人工评估方法,是通过选择CT肺窗的4个代表层面:主动脉弓层面、气管分叉层面、下叶上基底段气管分叉层面和右侧肺隔顶下层面;每个层面有左右两个肺野,全肺共分为8个肺野,将8个肺野总共划分为100个小片;通过对每个小片上蜂窝状改变的面积是否大于该小片面积的二分之一为判断阳性还是因阴性的标准,将阳性的片相加后得到全肺蜂窝状改变的占比。
当前临床识别肺纤维化病灶及评估其严重程度主要依赖于临床医生对肺部CT图片进行肉眼判断并粗略评估,评估准确性完全依赖于医生个人的经验。而且肺部CT影像数据呈现爆炸式增长,极大地增强了医生的工作量,随之在疾病检测过程中容易造成误诊和漏诊。
随着大数据计算机视觉的发展,计算机辅助诊断技术也被用帮助完成基于医学影像的肺纤维化疾病诊断,以减轻医生的工作负担。但现有的方法对肺纤维化识别率较低,并且识别速度较慢。
因此,目前亟需一种自动化的肺纤维化检测与严重度评估方法及系统,以提高肺纤维化检测的精确度和效率。
发明内容
本发明的目的本发明提供一种基于深度学习的肺纤维化检测与严重度评估方法及系统,能够自动识别待检测患者CT序列图像中的肺部区域,并从识别的肺部区域中进一步识别出肺纤维化区域,并评估该肺纤维化区域的严重程度。
为了达到上述目的,本发明提供一种基于深度学习的肺纤维化检测与严重度评估方法,包含步骤:
S1、读取若干肺纤维化患者的胸部CT序列图像并进行预处理,获得若干预处理后的第一CT图像;
S2、抽取若干第一CT图像并标注肺部区域和肺纤维化病灶区域,基于标注的第一CT图像生成训练集和验证集;
S3、通过所述训练集和验证集预训练第一、第二深度卷积神经网络模型;所述第一深度神经网络模型用于从输入的CT图像中识别肺部区域;所述第二深度神经网络模型用于从已识别有肺部区域的CT图像中识别肺纤维化病灶区域;
S4、将待检测患者的CT图像序列输入训练好的第一、第二深度卷积神经网络模型,识别该患者CT图像序列中的每个CT图像所包含的肺部区域和肺纤维化病灶区域;计算得到该患者肺纤维化病灶在其肺中的占比γ;
S5、根据所述占比γ,为该患者肺部纤维化进行分期;
S6、选取若干生理学参数,基于所述生理学参数的检测结果对该患者肺纤维化严重度进行分级。
优选的,步骤S1所述进行预处理包含:
S11、依据预设肺窗窗宽和肺窗窗位,对肺纤维化患者的胸部CT序列图像进行肺窗处理;所述肺窗处理包含:
S111、对所述CT序列图像中每个CT图像的每个像素的CT值进行调整,使每个像素的CT值位于所述窗宽和所述窗位界定的CT值范围内;
S112、将像素的CT值归一化至[0,255]之间;
S12、对肺窗处理后的所述CT序列图像的每个CT图像进行重采样,将该CT图像裁剪为设定的分辨率大小,获得对应的第一CT图像。
优选的,步骤S2包含:
S21、为每个肺纤维化患者抽取相同数量的所述第一CT图像,且抽取的第一CT图像包含肺部图像和肺纤维化病灶;
S22、采用不同颜色填充的语义分割方式标注第一CT图像中的肺部区域和肺纤维化病灶区域;
S23、通过水平翻转第一CT图像生成对应的第二CT图像;通过缩放第一、第二CT图像得到对应的第三、第四CT图像;从第一至第四CT图像中选取部分CT图像建立训练集,其余CT图像归于验证集。
优选的,步骤S3中所述第一、第二深度卷积神经网络模型采用相同的AttentionSEResUNet神经网络模型;
所述AttentionSEResUnet神经网络模型包括依序连接的输入卷积层、第一至第四下采样层、残差模块、第一至第四上采样层、输出卷积层;第i层下采样层与第5-i层上采样层之间按通道拼接,1≤i≤4;第一至第四下采样层为注意力机制池化层;所述输入卷积层具有3×3的卷积核;所述输出卷积层具有1×1的卷积核;
所述AttentionSEResUNet神经网络模型的损失函数为dice函数,梯度下降器为Adam函数;输出卷积层的激活函数采用sigmoid函数;当损失函数的计算值小于设定的第一阈值或迭代次数达到预设的第二阈值,AttentionSEResUnet神经网络模型停止迭代更新。
优选的,所述注意力机制池化层包含挤压激发模块/残差模块,以及连接所述挤压激发模块/残差模块的最大池化层。
优选的,步骤S4包含:
S41、将待检测患者的CT图像序列输入训练好的第一深度卷积神经网络模型,识别得到该CT图像序列中包含肺部区域的若干第五CT图像;
S42、将所有第五CT图像中肺部区域的面积进行累加,得到面积值S;
S43、将所述第五CT图像输入训练好的第二深度卷积神经网络模型,识别该第五CT图像序列中包含的肺纤维化区域;将所有第五CT图像中肺纤维化区域的面积进行累加,得到面积值s;
优选的,步骤S5包含:
当0<γ<5%,将患者肺部纤维化分期为I期;
当5%≤γ≤25%,将患者肺部纤维化分期为II期;
当γ>25%,将患者肺部纤维化分期为III期。
优选的,步骤S6包含:
S61、选取若干生理学参数,基于生理学参数的检测结果生成对应的生理学评分;
S62、对患者的所有生理学评分求和,得到患者的肺纤维化严重度总分;
S63、根据所述肺纤维化严重度总分,按照预设的标准对患者肺纤维化严重度进行分级。
本发明还提供一种基于深度学习的肺纤维化检测与严重度评估系统,用于本发明所述的基于深度学习的肺纤维化检测与严重度评估方法,包含:
数据加载模块,用于获取待检测患者的CT序列图像、若干生理学参数的检测结果;
预处理模块,用于对获取的CT序列图像进行肺窗处理并裁切为设定的大小,得到若干预处理后的CT图像;
肺部区域识别模块,其包含有训练好的第一深度卷积神经网络模型,通过所述第一深度卷积神经网络模型识别所述预处理后的CT图像中包含肺部区域的CT图像;
肺纤维化区域识别模块,其包含有训练好的第二深度卷积神经网络模型,通过所述第二深度卷积神经网络模型识别所述包含肺部区域的CT图像中的肺纤维化区域;
肺纤维化评估模块,用于对待检测患者肺部纤维化进行分期并基于所述检测结果对患者肺纤维化严重度进行分级。
优选的,所述肺纤维化评估模块包含:
肺纤维化占比计算模块,用于计算得到待检测患者肺纤维化病灶在其肺中的占比;
肺部纤维化分期模块,用于根据所述占比对待检测患者肺部纤维化进行分期;
肺纤维化严重度分级模块,用于根据所述生理学参数的检测结果为待检测患者肺纤维化严重度进行评分,并根据所述评分对患者肺纤维化严重度进行分级。
与现有技术相比,本发明的有益效果在于:
本发明中采用基于AttentionSEResUNet架构的第一、第二深度卷积神经网络模型,来代替人工进行肺纤维化病灶的检测、提取与计算功能。相比人工评估方式,本发明在检测速度、检测范围和检测准确度上均有大幅提升和改进,同时也提高了疾病诊断的稳定性和效率。
1)检测速度:现有技术中,每个患者CT大致需要10-15分钟才能有诊断结果。通过本发明整个提取肺部区域、检测肺纤维化区域、计算肺纤维化占比的过程均实现了全自动化、数字化和智能化,每个患者约需要90至100秒即可获得检测结果,检测速度是人工评估方式的10倍;
2)检测范围:人工评估方式仅对4个代表层(有典型病灶特征的CT图像)进行检测,而本发明中将整个患者CT影像均纳入检测范围,在完成肺提取后,对患者CT序列图像中的全部数百个CT图像进行检测,检测范围大大提升;
3)检测精度:现有技术中,主要根据代表层的CT图像中的病灶面积占比是否超过二分之一来判断患者是否为阳性,该判断方式为粗略估计的方式,易产生偏差;本发明通过对训练集和测试集中每个CT图像进行精确的病灶面积的像素级分割,使得对肺纤维化病灶的计算和评估结果更为精确。
附图说明
为了更清楚地说明本发明技术方案,下面将对描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图:
图1为本发明基于深度学习的肺纤维化检测与严重度评估方法流程图;
图2为本发明中的AttentionSEResUnet神经网络模型架构示意图;
图2A为本发明中的ResBlock结构示意图;
图2B为本发明中的SE Block结构示意图;
图3为本发明实施例中的一个第一CT图像示例;
图4为从图3的第一CT图像中的肺部区域示意图;
图5为从图4中识别的肺部区域进一步识别出的肺纤维化病灶区域示意图;
图6为本发明的系统设置在本地示意图;
图6A为本发明的系统设置在云服务器示意图;
图7为本发明的系统为肺纤维化患者生成的报告单示意图;
图中:1、数据加载模块;2、预处理模块;3、肺部区域识别模块;4、肺纤维化区域识别模块;5、肺纤维化评估模块;51、肺纤维化占比计算模块;52、肺部纤维化分期模块;53、肺纤维化严重度分级模块;6、传输模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种肺纤维化基于深度学习的肺纤维化检测与严重度评估方法,如图1所示,包含步骤:
S1、读取若干肺纤维化患者的胸部CT序列图像并进行预处理,获得若干预处理后的第一CT图像;(对患者的CT扫描中包含了多个扫描层,一个扫描层对应一个CT图像,患者所有扫描层的CT扫描结果构成CT序列图像)图3为本发明实施例中的一个第一CT图像示例。
步骤S1所述进行预处理包含:
S11、依据预设肺窗窗宽和肺窗窗位,对肺纤维化患者的胸部CT序列图像进行肺窗处理;所述肺窗处理包含:
S111、对所述CT序列图像中每个CT图像的每个像素的CT值进行调整,使每个像素的CT值位于所述窗宽和所述窗位界定的CT值范围内;
S112、将像素的CT值归一化至[0,255]之间;
S12、对肺窗处理后的所述CT序列图像的每个CT图像进行重采样,将该CT图像裁剪为设定的分辨率大小,获得对应的第一CT图像。
S2、抽取若干第一CT图像并标注肺部区域和肺纤维化病灶区域,基于标注的第一CT图像生成训练集和验证集;
步骤S2包含:
S21、为每个肺纤维化患者抽取相同数量的所述第一CT图像,且抽取的第一CT图像包含肺部图像和肺纤维化病灶;
S22、采用不同颜色填充的语义分割方式标注第一CT图像中的肺部区域和肺纤维化病灶区域;
S23、通过水平翻转第一CT图像生成对应的第二CT图像;通过缩放第一、第二CT图像得到对应的第三、第四CT图像;从第一至第四CT图像中选取部分CT图像建立训练集,其余CT图像归于验证集。
S3、通过所述训练集和验证集预训练第一、第二深度卷积神经网络模型;所述第一深度神经网络模型用于从输入的CT图像中识别肺部区域;所述第二深度神经网络模型用于从已识别有肺部区域的CT图像中识别肺纤维化病灶区域;从图3的第一CT图像中识别的肺部区域如图4所示;从图4的肺部区域中识别的肺纤维化区域如图5所示,可见所述肺纤维化区域具有蜂窝状改变。
步骤S3中所述第一、第二深度卷积神经网络模型采用相同的AttentionSEResUNet神经网络模型;
如图2所示,所述AttentionSEResUnet神经网络模型包括依序连接的输入卷积层(具有3×3的卷积核)、第一至第四下采样层、残差模块、第一至第四上采样层、输出卷积层(具有1×1的卷积核)和分类器;第i层下采样层与第5-i层上采样层之间按通道拼接,1≤i≤4;第一至第四下采样层为注意力机制池化层;第一至第四上采样层可以是残差模块加反卷积层或者挤压激发模块加反卷积层。图2中的“ch”表示通道数。
所述AttentionSEResUNet神经网络模型的损失函数为dice函数,梯度下降器为Adam函数;分类器为softmax函数;当损失函数的计算值小于设定的第一阈值或迭代次数达到预设的第二阈值,AttentionSEResUnet神经网络模型停止迭代更新。
所述注意力机制池化层包含挤压激发模块/残差模块,以及连接所述挤压激发模块/残差模块的最大池化层。
如图2A所示,本发明的实施例中,所述残差模块(ResBlock)包含:互相连接的两个注意力残差单元,分别为第一、第二注意力残差单元;所述注意力残差单元包括依次连接的第一卷积层(具有3×3的卷积核)、激活层(采用relu函数)和批归一化处理层;第四上采样层的输出作为第一注意力残差单元第一卷积层的输入;第二注意力残差单元批归一化处理层的输出作为第一上采样层的输入;第四上采样层的输出与第二注意力残差单元归一化处理层的输出叠加作为所述残差模块的输出。
所述第一卷积层用于对其输入信息进行卷积处理,输出第一特征图;所述激活层用于将所述第一特征图映射为[0,1]区间中的对应概率值;所述批归一化处理层用于对所述第一特征图、所述输入信息以及所述输入信息和目标权重的乘积进行叠加,并将叠加得到的结果作为所述注意力残差单元的输出信息;其中,所述目标权重指示所述输入信息包含的特征与肺部区域或肺纤维化病灶区域识别结果的关联程度。所述目标权重为所述概率值与针对第一卷积层输入信息预设的空间特征响应权重的乘积。
挤压激发模块(SE Block)主要是考虑到了不同通道之间所占的重要性可能不一样,而以前的神经网络中并没有考虑到这一点,而是把所有通道的重要性当成一样来处理的。SE Block中不同的通道的重要性是通过学到的一组权值来分级的,相当于经过加入权值进来之后,对原来的特征的一个重新的标定。
如图2B所示,本发明的实施例中的SE Block包含:残差模块以及依序连接的GAP(全局平均池化GAP Global average pooling)层、FC(全连接层)、Relu层、FC、Sigmoid层。
从第四下采样层输出之后的特征维度是h×w×c,第四下采样层的输出作为GAP层和残差模块的输入,从GAP层出来的维度是1×1×c;经过一个FC层和一个Relu层后,出来的维度是r是设定的数值;然后再经过一个FC层和一个Sigmoid层,输出的维度是1×1×c。这一步做完之后出来了c个权值;得到的c个权值,将该c个权值加权到残差模块输出结果中每个通道的特征上。通过SE Block模块学习每个通道的重要程度,增强有用的特征抑制无用的特征。
S4、将待检测患者的CT图像序列输入训练好的第一、第二深度卷积神经网络模型,识别该患者CT图像序列中的每个CT图像所包含的肺部区域和肺纤维化病灶区域;计算得到该患者肺纤维化病灶在其肺中的占比。
步骤S4包含:
S41、将待检测患者的CT图像序列输入训练好的第一深度卷积神经网络模型,识别得到该CT图像序列中包含肺部区域的若干第五CT图像;
S42、将所有第五CT图像中肺部区域的面积进行累加,得到面积值S;
S43、将所述第五CT图像输入训练好的第二深度卷积神经网络模型,识别该第五CT图像序列中包含的肺纤维化区域;将所有第五CT图像中肺纤维化区域的面积进行累加,得到面积值s;
S5、根据所述占比γ,为该患者肺部纤维化进行分期;
步骤S5包含:
当0<γ<5%,将患者肺部纤维化分期为I期;
当5%≤γ≤25%,将患者肺部纤维化分期为II期;
当γ>25%,将患者肺部纤维化分期为III期。
S6、选取若干生理学参数,基于所述生理学参数的检测结果对该患者肺纤维化严重度进行分级。
步骤S6包含:
S61、选取若干生理学参数,基于生理学参数的检测结果生成对应的生理学评分;
在本发明的一个实施例中,所述生理学参数包含血氧饱和度、用力肺活量、一氧化碳肺弥散量、患者年龄、患者性别。
对于血氧饱和度:血氧饱和度≥95%时,记0分;90%<血氧饱和度<95%时,记1分;血氧饱和度≤90%时,记2分;
根据患者的年龄与性别,通常对患者的用力肺活量有个第一预计值,计算用力肺活量占第一预计值的百分比α:α≥75%时,记0分;50%<α<75%时,记1分;α≤50%时,记2分;
根据患者的年龄与性别,通常对患者的一氧化碳肺弥散量有个第二预计值,计算患者的一氧化碳肺弥散量占第二预计值的百分比β,β≥55%时,记0分;36%<β<55%时,记1分;β≤36%时,记2分;无法完成,记3分;
对于年龄:年龄≤60岁时,记0分;60岁<年龄<65岁时,记1分;年龄≥65岁时,记2分;
对于性别:男性记为1分;女性记为0分。
S62、对患者的所有生理学评分求和,得到患者的肺纤维化严重度总分sum;
S63、根据所述肺纤维化严重度总分,按照预设的标准对患者肺纤维化严重度进行分级。
在本发明的一个实施例中,0分≤sum≤3分时,严重度分级记为A级;4分≤sum≤6分时,严重度分级记为B级;7分≤sum≤10分时,严重度分级记为C级。
本发明还提供一种基于深度学习的肺纤维化检测与严重度评估系统,用于实现本发明所述的基于深度学习的肺纤维化检测与严重度评估方法,如图6、图6A所示,所述系统包含:
数据加载模块1,用于获取存储介质内的待检测患者的CT序列图像、该待检测患者若干生理学参数的检测结果;
预处理模块2,用于对获取的CT序列图像进行肺窗处理并裁切为设定的大小,得到若干预处理后的CT图像;
肺部区域识别模块3,其包含有训练好的第一深度卷积神经网络模型,通过所述第一深度卷积神经网络模型识别所述预处理后的CT图像中包含肺部区域的CT图像;
肺纤维化区域识别模块4,其包含有训练好的第二深度卷积神经网络模型,通过所述第二深度卷积神经网络模型识别所述包含肺部区域的CT图像中的肺纤维化区域;
肺纤维化评估模块5,用于对待检测患者肺部纤维化进行分期并对患者肺纤维化严重度进行分级。
所述肺纤维化评估模块5包含:
肺纤维化占比计算模块51,用于计算得到待检测患者肺纤维化病灶在其肺中的占比;
肺部纤维化分期模块52,用于根据所述占比对待检测患者肺部纤维化进行分期;
肺纤维化严重度分级模块53,用于根据所述生理学参数的检测结果为待检测患者肺纤维化严重度进行评分,并根据所述评分对患者肺纤维化严重度进行分级。
在本发明的一个实施例中,如图6所示,所述数据加载模块1、预处理模块2、肺部区域识别模块3、肺纤维化区域识别模块4、肺纤维化评估模块5均设置在本地主机。
在本发明的另一个实施例中,如图6A所示,所述数据加载模块1设置在本地主机,所述预处理模块2、肺部区域识别模块3、肺纤维化区域识别模块4、肺纤维化评估模块5设置在云服务器,同时本发明的系统还包含数据传输模块6,通过所述数据传输模块6将待检测患者的CT序列图像、生理学参数的检测结果上传至云服务器,并通过所述数据传输模块6将患者的肺纤维化病灶占比、肺部纤维化分期结果、肺部纤维化严重度分级结果从云服务器传输至本地。
实施例
(一)数据准备
通过对60个患者的CT影像数据进行了预处理,并在每个患者的CT序列图像中抽取12片有较为严重的肺纤维化的病灶进行了精确标注。标注方式包括了肺部区域标注和病灶区域标注,标注采用不同颜色填充的语义分割方式,精确到像素级。
(二)模型训练
经过上述操作生成带有标注信息的720例样本数据,通过对样本数据进行水平翻转与缩放(改变CT图像中局部结构在整体影像中的比例)实现数据增广至2880例。按训练集与验证集9∶1的比例进行对第一、第二深度卷积神经网络模型进行训练,采用早停机制监控验证集的损失值,每个模型经过24轮迭代后,训练完成。获得训练好的第一、第二深度卷积神经网络模型。
(三)模型性能评估
在12个患者所生成的测试集上进行肺纤维化检测功能评估,得到dice系数(即模型预测结果与标注区域的重合度)为0.85。
(四)智能诊断实施方式
部署方式。本发明的基于深度学习的肺纤维化病灶检测系统具有两种部署方式,分别为云端在线部署与本地的离线版本部署。云端在线可提供实时诊断与历史诊断结果浏览的功能,在诊断时需要上传原始CT影像,患者的各项生理学参数的检测结果。根据云端GPU配置情况得出检测结果。离线版本基于本地的GPU计算资源,同样需要加载患者的原始CT影像、各项生理学参数的检测结果。离线版本可以在不依赖网络的环境下,做到离线处理并获得检测结果。
环境要求:由于基于深度学习的神经网络模型需要GPU硬件运算支持,不管是云端环境还是离线环境都需要GPU支持,推荐配置为Nvidia GTX2080(显存8G),其他硬件环境要求为CPU 4核以上,内存16G以上,硬盘100G以上。软件环境要求为windows或linux环境,python 3.7以上,tensorflow 2.0以上,pytorch 1.5以上,与支持DICOM读取与图像处理的软件包等。
生成诊断结果:在智能诊断过程,首先读取相关介质(U盘或光盘)上基于DICOM格式的患者CT影像目录,将其上传到云端或拷贝到本地应用软件环境中。其次,通过存储在云端或本地的肺部区域识别模块3、肺纤维化区域识别模块4对患者肺纤维化病灶进行检测。最后,通过约90~100秒的检测时间后,即可完成对患者CT影像的检测。
(五)生成评估报告
根据系统对患者肺纤维化区域的检测结果,通过肺纤维化评估模块5计算得到患者肺纤维化病灶在其肺中的占比,根据占比的数值对待检测患者肺部纤维化进行分期;进一步根据患者多项生理学参数的检测结果为其肺纤维化严重度进行评分,基于所述评分对患者肺纤维化严重度进行分级。最后系统将根据分期结果和严重度分级结果生成如图7所示的评估报告。
在本发明中的实施例中,所述基于深度学习的肺纤维化检测与严重度评估系统还包含存储单元和检索单元,所述存储单元用于存储患者的CT序列图像及历史诊断结果;所述检索单元用于查询存储单元保存的患者CT序列图像及历史诊断结果。
在本发明中的实施例中,所述基于深度学习的肺纤维化检测与严重度评估系统还包含阅片单元,用于可视化的显示CT图像。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,包含步骤:
S1、读取若干肺纤维化患者的胸部CT序列图像并进行预处理,获得若干预处理后的第一CT图像;
S2、抽取若干第一CT图像并标注肺部区域和肺纤维化病灶区域,基于标注的第一CT图像生成训练集和验证集;
S3、通过所述训练集和验证集预训练第一、第二深度卷积神经网络模型;所述第一深度神经网络模型用于从输入的CT图像中识别肺部区域;所述第二深度神经网络模型用于从已识别有肺部区域的CT图像中识别肺纤维化病灶区域;
S4、将待检测患者的CT图像序列输入训练好的第一、第二深度卷积神经网络模型,识别该患者CT图像序列中的每个CT图像所包含的肺部区域和肺纤维化病灶区域;计算得到该患者肺纤维化病灶在其肺中的占比γ;
S5、根据所述占比γ,为该患者肺部纤维化进行分期;
S6、选取若干生理学参数,基于所述生理学参数的检测结果对该患者肺纤维化严重度进行分级。
2.如权利要求1所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,步骤S1所述进行预处理包含:
S11、依据预设肺窗窗宽和肺窗窗位,对肺纤维化患者的胸部CT序列图像进行肺窗处理;所述肺窗处理包含:
S111、对所述CT序列图像中每个CT图像的每个像素的CT值进行调整,使每个像素的CT值位于所述窗宽和所述窗位界定的CT值范围内;
S112、将像素的CT值归一化至[0,255]之间;
S12、对肺窗处理后的所述CT序列图像的每个CT图像进行重采样,将该CT图像裁剪为设定的分辨率大小,获得对应的第一CT图像。
3.如权利要求1所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,步骤S2包含:
S21、为每个肺纤维化患者抽取相同数量的所述第一CT图像,且抽取的第一CT图像包含肺部图像和肺纤维化病灶;
S22、采用不同颜色填充的语义分割方式标注第一CT图像中的肺部区域和肺纤维化病灶区域;
S23、通过水平翻转第一CT图像生成对应的第二CT图像;通过缩放第一、第二CT图像得到对应的第三、第四CT图像;从第一至第四CT图像中选取部分CT图像建立训练集,其余CT图像归于验证集。
4.如权利要求1所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,步骤S3中所述第一、第二深度卷积神经网络模型采用相同的AttentionSEResUNet神经网络模型;
所述AttentionSEResUnet神经网络模型包括依序连接的输入卷积层、第一至第四下采样层、残差模块、第一至第四上采样层、输出卷积层;第i层下采样层与第5-i层上采样层之间按通道拼接,1≤i≤4;第一至第四下采样层为注意力机制池化层;所述输入卷积层具有3×3的卷积核;所述输出卷积层具有1×1的卷积核;
所述AttentionSEResUNet神经网络模型的损失函数为dice函数,梯度下降器为Adam函数;输出卷积层的激活函数采用sigmoid函数;当损失函数的计算值小于设定的第一阈值或迭代次数达到预设的第二阈值,AttentionSEResUnet神经网络模型停止迭代更新。
5.如权利要求4所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,所述注意力机制池化层包含挤压激发模块/残差模块,以及连接所述挤压激发模块/残差模块的最大池化层。
7.如权利要求1所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,步骤S5包含:
当0<γ<5%,将患者肺部纤维化分期为I期;
当5%≤γ≤25%,将患者肺部纤维化分期为II期;
当γ>25%,将患者肺部纤维化分期为III期。
8.如权利要求1所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,步骤S6包含:
S61、选取若干生理学参数,基于生理学参数的检测结果生成对应的生理学评分;
S62、对患者的所有生理学评分求和,得到患者的肺纤维化严重度总分;
S63、根据所述肺纤维化严重度总分,按照预设的标准对患者肺纤维化严重度进行分级。
9.一种基于深度学习的肺纤维化检测与严重度评估系统,用于实现如权利要求1至8任一所述的基于深度学习的肺纤维化检测与严重度评估方法,其特征在于,包含:
数据加载模块,用于获取待检测患者的CT序列图像、若干生理学参数的检测结果;
预处理模块,用于对获取的CT序列图像进行肺窗处理并裁切为设定的大小,得到若干预处理后的CT图像;
肺部区域识别模块,其包含有训练好的第一深度卷积神经网络模型,通过所述第一深度卷积神经网络模型识别所述预处理后的CT图像中包含肺部区域的CT图像;
肺纤维化区域识别模块,其包含有训练好的第二深度卷积神经网络模型,通过所述第二深度卷积神经网络模型识别所述包含肺部区域的CT图像中的肺纤维化区域;
肺纤维化评估模块,用于对待检测患者肺部纤维化进行分期并基于所述检测结果对患者肺纤维化严重度进行分级。
10.如权利要求9所述的基于深度学习的肺纤维化检测与严重度评估系统,其特征在于,所述肺纤维化评估模块包含:
肺纤维化占比计算模块,用于计算得到待检测患者肺纤维化病灶在其肺中的占比;
肺部纤维化分期模块,用于根据所述占比对待检测患者肺部纤维化进行分期;
肺纤维化严重度分级模块,用于根据所述生理学参数的检测结果为待检测患者肺纤维化严重度进行评分,并根据所述评分对患者肺纤维化严重度进行分级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010985175.8A CN112132800B (zh) | 2020-09-18 | 2020-09-18 | 基于深度学习的肺纤维化检测与严重度评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010985175.8A CN112132800B (zh) | 2020-09-18 | 2020-09-18 | 基于深度学习的肺纤维化检测与严重度评估方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132800A true CN112132800A (zh) | 2020-12-25 |
CN112132800B CN112132800B (zh) | 2023-05-05 |
Family
ID=73842904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010985175.8A Active CN112132800B (zh) | 2020-09-18 | 2020-09-18 | 基于深度学习的肺纤维化检测与严重度评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132800B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344887A (zh) * | 2021-06-16 | 2021-09-03 | 南通大学 | 一种基于深度学习与模糊逻辑的间质性肺炎评估方法 |
CN114972296A (zh) * | 2022-06-14 | 2022-08-30 | 中日友好医院(中日友好临床医学研究所) | 一种基于肺图的高分辨ct图像分析方法、设备及系统 |
CN115272328A (zh) * | 2022-09-28 | 2022-11-01 | 北京核信锐视安全技术有限公司 | 一种面向新冠肺炎的肺部超声影像检测模型训练系统 |
CN117315378A (zh) * | 2023-11-29 | 2023-12-29 | 北京大学第三医院(北京大学第三临床医学院) | 一种尘肺病的分级判定方法及相关设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211695A (zh) * | 2019-06-14 | 2019-09-06 | 上海市肺科医院 | 一种肺纤维化严重度评估方法 |
CN110930378A (zh) * | 2019-11-18 | 2020-03-27 | 上海体素信息科技有限公司 | 基于低数据需求的肺气肿影像处理方法及系统 |
CN111415743A (zh) * | 2020-03-17 | 2020-07-14 | 北京推想科技有限公司 | 肺炎分类方法、装置、介质及电子设备 |
CN111539944A (zh) * | 2020-04-28 | 2020-08-14 | 安徽科大讯飞医疗信息技术有限公司 | 肺部病灶统计属性获取方法、装置、电子设备和存储介质 |
CN111598853A (zh) * | 2020-04-30 | 2020-08-28 | 科大讯飞股份有限公司 | 针对肺炎的ct影像评分方法、装置及设备 |
-
2020
- 2020-09-18 CN CN202010985175.8A patent/CN112132800B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110211695A (zh) * | 2019-06-14 | 2019-09-06 | 上海市肺科医院 | 一种肺纤维化严重度评估方法 |
CN110930378A (zh) * | 2019-11-18 | 2020-03-27 | 上海体素信息科技有限公司 | 基于低数据需求的肺气肿影像处理方法及系统 |
CN111415743A (zh) * | 2020-03-17 | 2020-07-14 | 北京推想科技有限公司 | 肺炎分类方法、装置、介质及电子设备 |
CN111539944A (zh) * | 2020-04-28 | 2020-08-14 | 安徽科大讯飞医疗信息技术有限公司 | 肺部病灶统计属性获取方法、装置、电子设备和存储介质 |
CN111598853A (zh) * | 2020-04-30 | 2020-08-28 | 科大讯飞股份有限公司 | 针对肺炎的ct影像评分方法、装置及设备 |
Non-Patent Citations (3)
Title |
---|
DEBESH JHA等: ""ResUNet++: An Advanced Architecture for Medical Image Segmentation"", 《ARXIV》 * |
KUAN SONG等: ""Deep Learning Prediction of Incoming Rainfalls: An Operational Service for the City of Beijing China"", 《2019 INTERNATIONAL CONFERENCE ON DATA MINING WORKSHOPS》 * |
刘浩等: ""基于特征压缩激活Unet网络的建筑物提取"", 《地球信息科学》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344887A (zh) * | 2021-06-16 | 2021-09-03 | 南通大学 | 一种基于深度学习与模糊逻辑的间质性肺炎评估方法 |
CN114972296A (zh) * | 2022-06-14 | 2022-08-30 | 中日友好医院(中日友好临床医学研究所) | 一种基于肺图的高分辨ct图像分析方法、设备及系统 |
CN114972296B (zh) * | 2022-06-14 | 2023-02-07 | 中日友好医院(中日友好临床医学研究所) | 一种基于肺图的高分辨ct图像分析方法、设备及系统 |
CN115272328A (zh) * | 2022-09-28 | 2022-11-01 | 北京核信锐视安全技术有限公司 | 一种面向新冠肺炎的肺部超声影像检测模型训练系统 |
CN115272328B (zh) * | 2022-09-28 | 2023-01-24 | 北京核信锐视安全技术有限公司 | 一种面向新冠肺炎的肺部超声影像检测模型训练系统 |
CN117315378A (zh) * | 2023-11-29 | 2023-12-29 | 北京大学第三医院(北京大学第三临床医学院) | 一种尘肺病的分级判定方法及相关设备 |
CN117315378B (zh) * | 2023-11-29 | 2024-03-12 | 北京大学第三医院(北京大学第三临床医学院) | 一种尘肺病的分级判定方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112132800B (zh) | 2023-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132800A (zh) | 基于深度学习的肺纤维化检测与严重度评估方法及系统 | |
CN111598867B (zh) | 用于检测特定面部综合征的方法、装置及计算机可读存储介质 | |
CN112132801B (zh) | 一种基于深度学习的肺大泡病灶检测方法及系统 | |
CN114999629A (zh) | 一种基于多特征融合的ad早期预测方法、系统、装置 | |
CN114220540A (zh) | 一种糖尿病肾病风险预测模型的构建方法及应用 | |
CN116864104A (zh) | 基于人工智能的慢性血栓栓塞性肺动脉高压风险分级系统 | |
EP3939003B1 (en) | Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof | |
CN112819765A (zh) | 一种肝脏图像处理方法 | |
CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN117612703A (zh) | 一种基于医学检验指标的糖尿病视网膜病变分类方法 | |
CN114098779A (zh) | 尘肺病等级智能判别方法 | |
Rathi et al. | Early Prediction of Diabetes Using Machine Learning Techniques | |
CN114005541A (zh) | 一种基于人工智能的动态干眼预警方法与系统 | |
CN117274185B (zh) | 检测方法、检测模型产品、电子设备及计算机存储介质 | |
CN113361482A (zh) | 核性白内障识别方法、装置、电子设备以及存储介质 | |
CN117557840A (zh) | 一种基于小样本学习的眼底病变分级方法 | |
CN117010971A (zh) | 一种基于人像识别的智能健康险提供方法及系统 | |
CN112200810A (zh) | 多模态的自动化脑室分割系统及其使用方法 | |
CN117064333A (zh) | 一种针对阻塞性睡眠呼吸暂停低通气综合症的初筛装置 | |
CN115526882A (zh) | 一种医学图像的分类方法、装置、设备及存储介质 | |
CN113273959A (zh) | 一种便携式糖尿病视网膜病变诊疗仪 | |
CN114792565A (zh) | 健康管理方法、装置、可穿戴设备、电子设备及介质 | |
CN117954098B (zh) | 一种糖尿病肾病鉴别诊断系统 | |
CN116721760B (zh) | 融合生物标志物的多任务糖尿病性视网膜病变检测算法 | |
CN117235487B (zh) | 一种用于预测哮喘患者住院事件的特征提取方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |