CN113781403A - 一种胸部ct影像处理方法与装置 - Google Patents

一种胸部ct影像处理方法与装置 Download PDF

Info

Publication number
CN113781403A
CN113781403A CN202110954324.9A CN202110954324A CN113781403A CN 113781403 A CN113781403 A CN 113781403A CN 202110954324 A CN202110954324 A CN 202110954324A CN 113781403 A CN113781403 A CN 113781403A
Authority
CN
China
Prior art keywords
layer
convolution
channels
fusion
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110954324.9A
Other languages
English (en)
Other versions
CN113781403B (zh
Inventor
徐士惠
张子明
邵慰
周庆华
王龙光
魏泽旭
韦祖懿
焦树斌
覃文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202110954324.9A priority Critical patent/CN113781403B/zh
Publication of CN113781403A publication Critical patent/CN113781403A/zh
Application granted granted Critical
Publication of CN113781403B publication Critical patent/CN113781403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种胸部CT影像处理方法与装置,其中,所述方法包括:S01、针对待处理的胸部影像图像,采用训练后的Unet++模型对所述待处理的胸部影像图像进行分割处理,获取肺实质区域的第一图像;S02、采用训练后的nnUnet模型对所述第一图像进行分割处理,获取肺血管区域的图像分割结果。相对于现有技术而言,其可以提供一个基于常规CT影像分析的准确客观的肺血管分离的全自动的方法,达到了精确提取肺血管,为医生在诊断肺部疾病时提供更精细的诊断信息。

Description

一种胸部CT影像处理方法与装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种胸部CT影像处理方法与装置。
背景技术
随着世界人口的快速增长和老龄化的到来,全世界的癌症形式也越来越严峻,癌症发病率和死亡率都在快速增长,其中肺癌的情况尤其严重。在治疗肺癌的过程中,医生需要先对患者的CT影像进行诊治判断,但是读取CT影像需要很强的专业性,对于非专业医生是非常复杂和难以读取的,因此医生的阅片压力会增大,从而导致医生得不到更精细的信息,继而无法制定更有效的手术方案,提高患者的生存率。
现有对胸部CT影像中肺实质的提取是将阈值迭代分割法和检测肺部凹陷边界的分形几何法相结合,来进行肺实质的初分割,之后通过凸包修复完成肺实质的精确分割。对肺血管的提取基于期望最大化分析和形态学知识的肺血管分割算法,首先通过三维多尺度过滤算法进行血管体素的增强,同时抑制其他结构,然后提取高响应体素,使用期望最大化来分割得到肺血管。
上述现有技术对肺血管分割是对整个胸部区域进行分割,将完整的胸部CT图像输入系统后再进行计算。由于完整的胸部结构除了目标结构外,还有很多其他器官和肺外血管,在这些区域的影响下,现有的肺血管分割方式难免会引入一些外部噪声,影响分割结果。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足,本发明提供一种胸部CT影像处理方法与装置,其解决了现有肺血管分割技术会引入外部噪声,影响分割结果继而导致得到的肺部疾病信息不够精细技术问题。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
第一方面,本发明实施例提供一种胸部CT影像处理方法包括:
S01、针对待处理的胸部影像图像,采用训练后的Unet++模型对所述待处理的胸部影像图像进行分割处理,获取肺实质区域的第一图像;
S02、采用训练后的nnUnet模型对所述第一图像进行分割处理,获取肺血管区域的图像分割结果。
优选的,S01之前,所述方法还包括:
S011、将具有肺实质区域标识的胸部影像图像输入Unet++模型中进行训练,获取训练后的Unet++模型;
其中,所述Unet++模型中的Batch为2;总循环轮数epoch为150;
优化器为第一优化器;
所述第一优化器为:
Figure BDA0003219847060000021
其中θt表示第t次循环时的参数向量;
η表示学习率;
ε表示保持数值计算稳定性的极小值;
Figure BDA0003219847060000022
表示梯度的一阶矩估计;
Figure BDA0003219847060000023
表示梯度的二阶矩估计;
初始学习率为0.0001;
损失函数为:
Figure BDA0003219847060000024
其中,N1是指输入Unet++模型中图像的总量;
n1表示第n1个输入Unet++模型的图像;
X1为具有肺实质区域标识的胸部影像图像;
Y1为Unet++模型预测的分割结果;
|X1∩Y1|表示X1和Y1的图像的交集中的像素个数;
|X1|+|Y1|表示X1和Y1中图像的像素个数之和。
优选的,
所述Unet++模型包括:
用于获取待处理的胸部影像图像的输入层;
第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层;
第一池化层、第二池化层、第三池化层、第四池化层;
第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层、第十反卷积层;
第一融合层、第二融合层、第三融合层、第四融合层、第五融合层、第六融合层、第七融合层、第八融合层、第九融合层、第十融合层;
第一输出层、第二输出层、第三输出层、第四输出层;
其中,Unet++模型中每一层的激活函数均为:ReLU=max(0,x1);
x1表示Unet++模型中任一层的输出变量。
优选的,
其中,所述输入层与所述第一卷积层连接;
所述第一卷积层通过第一池化层与所述第二卷积层连接,以及所述第一卷积层跳跃连接第三卷积层;
所述第二卷积层通过第一反卷积层与所述第一融合层连接,以及所述第二卷积层通过第二池化层与第四卷积层连接;
所述第一融合层与第三卷积层连接;
所述第四卷积层通过第三池化层与所述第七卷积层连接,以及所述第四卷积层通过第二反卷积层与第二融合层连接;
所述第二融合层与第五卷积层连接;
第五卷积层与第三融合层连接;所述第三融合层还与第三卷积层跳跃连接;
所述第三融合层还与第六卷积层连接;
所述第七卷积层通过第四池化层与第十一卷积层连接,以及所述第七卷积层通过第四反卷积层与第四融合层连接;
所述四层融合层与第八卷积层连接;
所述第八卷积层通过第五反卷积层与第五融合层连接;
所述第五融合层还与第九卷积层连接;
所述第九卷积层与第六融合层连接;所述第六融合层还与第六卷积层跳跃连接;
所述第六融合层还与第十卷积层连接;
所述第十一卷积层通过第七反卷积化层与第七融合层连接,所述第七融合层还与第十二卷积层连接;所述第七融合层还与第七卷积层跳跃连接;
所述第十二卷积层与第八融合层连接;
所述第八融合层与第十三卷积层连接;所述第八融合层与第八卷积层跳跃连接;
所述第十三卷积层还与第九融合层连接;
所述第九融合层与第十四卷积层连接;所述第九融合层与第九卷积层跳跃连接;
所述第十四卷积层还与第十融合层连接;
所述第十融合层还与第十五卷积层连接;所述第十融合层与第十卷积层跳跃连接;
所述第三卷积层还与第一输出层连接;
所述第六卷积层还与第二输出层连接;
所述第十卷积层还与第三输出层连接;
所述第十五卷积层还与第四输出层连接。
优选的,
所述输出层的卷积核为为3*3,通道数为1;
所述第一卷积层的卷积核为3*3,通道数为16;
所述第二卷积层的卷积核为3*3,通道数为32;
所述第三卷积层的卷积核为3*3,通道数为16;
所述第四卷积层的卷积核为3*3,通道数为64;
所述第五卷积层的卷积核为3*3,通道数为32;
所述第六卷积层的卷积核为3*3,通道数为16;
所述第七卷积层的卷积核为3*3,通道数为128;
所述第八卷积层的卷积核为3*3,通道数为64;
所述第九卷积层的卷积核为3*3,通道数为32;
所述第十卷积层的卷积核为3*3,通道数为16;
所述第十一卷积层的卷积核为3*3,通道数为256;
所述第十二卷积层的卷积核为3*3,通道数为128;
所述第十三卷积层的卷积核为3*3,通道数为64;
所述第十四卷积层的卷积核为3*3,通道数为32;
所述第十五卷积层的卷积核为3*3,通道数为16;
所述第一池化层的卷积核为2*2,通道数为16;
所述第二池化层的卷积核为2*2,通道数为32;
所述第三池化层的卷积核为2*2,通道数为64;
所述第四池化层的卷积核为2*2,通道数为128;
第一反卷积层的卷积核为3*3,通道数为16;
第二反卷积层的卷积核为3*3,通道数为32;
第三反卷积层的卷积核为3*3,通道数为16;
第四反卷积层的卷积核为3*3,通道数为64;
第五反卷积层的卷积核为3*3,通道数为32;
第六反卷积层的卷积核为3*3,通道数为16;
第七反卷积层的卷积核为3*3,通道数为128;
第八反卷积层的卷积核为3*3,通道数为64;
第九反卷积层的卷积核为3*3,通道数为32;
第十反卷积层的卷积核为3*3,通道数为16;
第一融合层的通道数为16;
第二融合层的通道数为32;
第三融合层的通道数为16;
第四融合层的通道数为64;
第五融合层的通道数为32;
第六融合层的通道数为16;
第七融合层的通道数为128;
第八融合层的通道数为64;
第九融合层的通道数为32;
第十融合层的通道数为16;
第一输出层的卷积核为3*3,通道数为1;
第二输出层的卷积核为3*3,通道数为1;
第三输出层的卷积核为3*3,通道数为1;
第四输出层的卷积核为3*3,通道数为1。
优选的,S02之前,所述方法还包括:
S012、将具有肺血管区域标识的第一图像输入nnUnet模型中进行训练,获取训练后的nnUnet模型;
其中,所述nnUnet模型中的Batch为2;
总循环轮数epoch为150;
nnUnet模型中激活函数为:f(x)=max(0.01x2,x2);
x2表示nnUnet模型中每一层的输出变量;
优化器为第一优化器;
初始学习率为0.0001;
损失函数为:
Figure BDA0003219847060000071
其中,N2是指输入nnUnet模型中图像的总量;
n2表示第n2个输入nnUnet模型的图像;
X2为具有肺血管区域标识的第一图像;
Y2为nnUnet模型预测的分割结果;
|X2∩Y2|表示X2和Y2的交集中的像素个数;
|X2|+|Y2|表示X2和Y2中的像素个数之和。
优选的,还包括:
S03、采用最大连通域算法对得到的肺血管区域的图像分割结果进行后处理,获得最终的去除噪声部分的肺血管区域图像。
优选的,所述S03具体包括:
S031、基于所述肺血管区域的图像分割结果,获取所述所述肺血管区域的图像分割结果中每一像素点的像素值;
S032、将相互连通的且像素值相同的像素点组成的区域作为连通域;
S303、判断连通域中的像素点是否小于100个,若小于,则删除所述连通域,获得最终的去除噪声部分的肺血管区域图像。
另一方面,本实施例还提供一种胸部CT影像处理装置,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中,所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如上述任一所述的一种对胸部影像图像中肺血管进行提取的方法。
(三)有益效果
本发明的有益效果是:本发明的一种胸部CT影像处理方法与装置,由于采用训练后的Unet++进行肺实质提取,再使用训练的nnUnet提取肺实质中的肺血管,相对于现有技术而言,其可以提供一个基于常规CT影像分析的准确客观的肺血管分离的全自动的方法,达到了精确提取肺血管,为医生在诊断肺部疾病时提供更精细的诊断信息。
附图说明
图1为本发明一种胸部CT影像处理方法流程图;
图2为本发明一种胸部CT影像处理方法与装置中的Unet++网络结构图;
图3为本发明一种胸部CT影像处理方法与装置中的nnUnet模型结构图;
图4为本发明一种胸部CT影像处理方法与装置中的肺血管分割二维结果图;
图5为本发明一种胸部CT影像处理方法与装置中的肺血管分割三维结果图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
本发明提出的一种胸部CT影像处理方法与装置,参见图2所示,在整体流程上,采取了先对待处理的胸部影像图像进行肺实质提取,再在准确提取了图像中的肺实质部分后,对肺实质图像中的肺血管进行了提取,减少了外部组织干扰,增加了提取的准确率。在肺实质提取上,实现了基于Unet++网络的肺实质分割算法,对网络进行训练,有效降低了过分割率。之后运用了基于nnUnet的肺血管分割算法在肺实质上提取肺血管,从三维上提取图像特征,兼顾了全局特征的提取和图像底层细节。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更清楚、透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
一种胸部CT影像肺血管提取的方法,参见图1,其具体实施方法如下:
S01、针对待处理的胸部影像图像,采用训练后的Unet++模型对所述待处理的胸部影像图像进行分割处理,获取肺实质区域的第一图像。
S02、采用训练后的nnUnet模型对所述第一图像进行分割处理,获取肺血管区域的图像分割结果。
在本实施例的实际应用中,S01之前,所述方法还包括:
S011、将具有肺实质区域标识的胸部影像图像输入Unet++模型中进行训练,获取训练后的Unet++模型。
在具体应用中,在训练Unet++模型的过程中,输入的具有肺实质区域标识的胸部影像图像是一张张图片,其中图像的尺寸都是512*512的。
其中,所述Unet++模型中的Batch为2;总循环轮数epoch为150。
优化器为第一优化器;所述第一优化器为:
Figure BDA0003219847060000101
其中θt表示第t次循环时的参数向量。η表示学习率;ε表示保持数值计算稳定性的极小值;
Figure BDA0003219847060000102
表示梯度的一阶矩估计;
Figure BDA0003219847060000103
表示梯度的二阶矩估计;初始学习率为0.0001。
损失函数为:
Figure BDA0003219847060000104
其中,N1是指输入Unet++模型中图像的总量;n1表示第n1个输入Unet++模型的图像;X1为具有肺实质区域标识的胸部影像图像;Y1为Unet++模型预测的分割结果;|X1∩Y1|表示X1和Y1的图像的交集中的像素个数;|X1|+|Y1|表示X1和Y1中图像的像素个数之和。
在本实施例的实际应用中,参见图3,所述Unet++模型包括:
用于获取待处理的胸部影像图像的输入层。
第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层。
第一池化层、第二池化层、第三池化层、第四池化层。
第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层、第十反卷积层。
第一融合层、第二融合层、第三融合层、第四融合层、第五融合层、第六融合层、第七融合层、第八融合层、第九融合层、第十融合层。
第一输出层、第二输出层、第三输出层、第四输出层。
其中,Unet++模型中每一层的激活函数均为:ReLU=max(0,x1)。
x1表示Unet++模型中任一层的输出变量。
参见图2,在本实施例的实际应用中,其中,所述输入层与所述第一卷积层连接。
所述第一卷积层通过第一池化层与所述第二卷积层连接,以及所述第一卷积层跳跃连接第三卷积层。
所述第二卷积层通过第一反卷积层与所述第一融合层连接,以及所述第二卷积层通过第二池化层与第四卷积层连接。
所述第一融合层与第三卷积层连接。
所述第四卷积层通过第三池化层与所述第七卷积层连接,以及所述第四卷积层通过第二反卷积层与第二融合层连接。
所述第二融合层与第五卷积层连接。
第五卷积层与第三融合层连接;所述第三融合层还与第三卷积层跳跃连接。
所述第三融合层还与第六卷积层连接。
所述第七卷积层通过第四池化层与第十一卷积层连接,以及所述第七卷积层通过第四反卷积层与第四融合层连接。
所述四层融合层与第八卷积层连接。
所述第八卷积层通过第五反卷积层与第五融合层连接。
所述第五融合层还与第九卷积层连接。
所述第九卷积层与第六融合层连接;所述第六融合层还与第六卷积层跳跃连接。
所述第六融合层还与第十卷积层连接。
所述第十一卷积层通过第七反卷积化层与第七融合层连接,所述第七融合层还与第十二卷积层连接;所述第七融合层还与第七卷积层跳跃连接。
所述第十二卷积层与第八融合层连接。
所述第八融合层与第十三卷积层连接;所述第八融合层与第八卷积层跳跃连接。
所述第十三卷积层还与第九融合层连接。
所述第九融合层与第十四卷积层连接;所述第九融合层与第九卷积层跳跃连接。
所述第十四卷积层还与第十融合层连接。
所述第十融合层还与第十五卷积层连接;所述第十融合层与第十卷积层跳跃连接。
所述第三卷积层还与第一输出层连接。
所述第六卷积层还与第二输出层连接。
所述第十卷积层还与第三输出层连接。
所述第十五卷积层还与第四输出层连接。
在本实施例的实际应用中,所述输出层的卷积核为为3*3,通道数为1;所述第一卷积层的卷积核为3*3,通道数为16;所述第二卷积层的卷积核为3*3,通道数为32;所述第三卷积层的卷积核为3*3,通道数为16;所述第四卷积层的卷积核为3*3,通道数为64;所述第五卷积层的卷积核为3*3,通道数为32;所述第六卷积层的卷积核为3*3,通道数为16;所述第七卷积层的卷积核为3*3,通道数为128;所述第八卷积层的卷积核为3*3,通道数为64;所述第九卷积层的卷积核为3*3,通道数为32;所述第十卷积层的卷积核为3*3,通道数为16;所述第十一卷积层的卷积核为3*3,通道数为256;所述第十二卷积层的卷积核为3*3,通道数为128;所述第十三卷积层的卷积核为3*3,通道数为64;所述第十四卷积层的卷积核为3*3,通道数为32;所述第十五卷积层的卷积核为3*3,通道数为16;所述第一池化层的卷积核为2*2,通道数为16;所述第二池化层的卷积核为2*2,通道数为32;所述第三池化层的卷积核为2*2,通道数为64;所述第四池化层的卷积核为2*2,通道数为128;第一反卷积层的卷积核为3*3,通道数为16;第二反卷积层的卷积核为3*3,通道数为32;第三反卷积层的卷积核为3*3,通道数为16;第四反卷积层的卷积核为3*3,通道数为64;第五反卷积层的卷积核为3*3,通道数为32;第六反卷积层的卷积核为3*3,通道数为16;第七反卷积层的卷积核为3*3,通道数为128;第八反卷积层的卷积核为3*3,通道数为64;第九反卷积层的卷积核为3*3,通道数为32;第十反卷积层的卷积核为3*3,通道数为16;第一融合层的通道数为16;第二融合层的通道数为32;第三融合层的通道数为16;第四融合层的通道数为64;第五融合层的通道数为32;第六融合层的通道数为16;第七融合层的通道数为128;第八融合层的通道数为64;第九融合层的通道数为32;第十融合层的通道数为16;第一输出层的卷积核为3*3,通道数为1;第二输出层的卷积核为3*3,通道数为1;第三输出层的卷积核为3*3,通道数为1;第四输出层的卷积核为3*3,通道数为1。
本实施例中Unet++模型中每一层的具体参数如表一所示:
表一
Figure BDA0003219847060000131
Figure BDA0003219847060000141
Figure BDA0003219847060000151
在本实施例的实际应用中,S02之前,所述方法还包括:
S012、将具有肺血管区域标识的第一图像输入nnUnet模型中进行训练,获取训练后的nnUnet模型。
参见图3,本实施例中的nnUnet模型网络结构如图3所示,本实施例中使用三维Unet级联结构的nnUnet模型进行肺血管的分割。
其中,所述nnUnet模型中的Batch为2;总循环轮数epoch为150;
nnUnet模型中激活函数为:f(x)=max(0.01x2,x2);x2表示nnUnet模型中每一层的输出变量;优化器为第一优化器;初始学习率为0.0001;
损失函数为:
Figure BDA0003219847060000152
其中,N2是指输入nnUnet模型中图像的总量;n2表示第n2个输入nnUnet模型的图像;X2为具有肺血管区域标识的第一图像;Y2为nnUnet模型预测的分割结果;|X2∩Y2|表示X2和Y2的交集中的像素个数;|X2|+|Y2|表示X2和Y2中的像素个数之和。
在本实施例的实际应用中,还包括:
S03、采用最大连通域算法对得到的肺血管区域的图像分割结果进行后处理,获得最终的去除噪声部分的肺血管区域图像。
在本实施例的实际应用中,所述S03具体包括:
S031、基于所述肺血管区域的图像分割结果,获取所述所述肺血管区域的图像分割结果中每一像素点的像素值。
S032、将相互连通的且像素值相同的像素点组成的区域作为连通域。
S303、判断连通域中的像素点是否小于100个,若小于,则删除所述连通域,获得最终的去除噪声部分的肺血管区域图像。
本实施例中,由于噪声部分往往是与肺血管是分离的,所以通过连通域分析将与目标区域不连通的部分去除。通过最大连通域算法将孤立点去除,保留较大的几个连通域,即最后的肺实质部分。在二值图像中,如果两个相邻像素点的值相同,就认为这两个像素点在一个相互连通的区域里。同一个连通区域的所有像素点,都使用同一个值来进行标记,本发明中选择的8邻域,将小于100个像素点的连通域的区域去除。获得最终的去除噪声部分的肺血管区域图像。
本实施例中的一种胸部CT影像处理方法与装置,由于采用训练后的Unet++进行肺实质提取,再使用训练的nnUnet提取肺实质中的肺血管,相对于现有技术而言,其可以提供一个基于常规CT影像分析的准确客观的肺血管分离的全自动的方法,达到了精确提取肺血管,为医生在诊断肺部疾病时提供更精细的诊断信息。
实验验证
将数据分为CT图像和CTA图像,实验数据共包含24组CT数据和43组CTA数据。将CT数据与CTA数据采用本实施例中的一种胸部CT影像肺血管提取的方法进行处理。其中CT组数据集中将6组数据作为测试集,18组数据作为训练集。CTA组数据集中将9组数据作为测试集,34组作为训练集。以其中部分数据为例,二维结果如图4所示,三维结果如图5所示。
同样使用准确率DICE、欠分割率UR和过分割率OR进行定量评价,CT和CTA图像的评价结果平均值如下表:
Figure BDA0003219847060000171
从上表中可以看出,不论是在CT图像还是CTA图像上,nnUnet都能够取得较好的结果,准确率分别可以达到84.2%和87.7%。在CTA图像上,nnUnet方法还有最低的过分割率和欠分割率。总体来说,无论是CT图像还是CTA图像,基于nnUnet模型都能够取得最好的结果。
本实施例中进行肺血管分割,在肺实质提取上,实现了基于Unet++模型的肺实质分割算法,对Unet++模型进行训练,有效降低了过分割率。之后运用了基于nnUnet模型在肺实质上提取肺血管。nnUnet模型从三维上提取图像特征,兼顾了全局特征的提取和图像底层细节。
由于本发明上述实施例所描述的系统/装置,为实施本发明上述实施例的方法所采用的系统/装置,故而基于本发明上述实施例所描述的方法,本领域所属技术人员能够了解该系统/装置的具体结构及变形,因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是,在权利要求中,不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中,这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用,仅是为了表述方便,而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外,需要说明的是,在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例,但本领域的技术人员在得知了基本创造性概念后,则可对这些实施例作出另外的变更和修改。所以,权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。

Claims (9)

1.一种胸部CT影像处理方法,其特征在于,包括:
S01、针对待处理的胸部影像图像,采用训练后的Unet++模型对所述待处理的胸部影像图像进行分割处理,获取肺实质区域的第一图像;
S02、采用训练后的nnUnet模型对所述第一图像进行分割处理,获取肺血管区域的图像分割结果。
2.根据权利要求1所述的方法,其特征在于,S01之前,所述方法还包括:
S011、将具有肺实质区域标识的胸部影像图像输入Unet++模型中进行训练,获取训练后的Unet++模型;
其中,所述Unet++模型中的Batch为2;总循环轮数epoch为150;
优化器为第一优化器;
所述第一优化器为:
Figure FDA0003219847050000011
其中θt表示第t次循环时的参数向量;
η表示学习率;
ε表示保持数值计算稳定性的极小值;
Figure FDA0003219847050000012
表示梯度的一阶矩估计;
Figure FDA0003219847050000013
表示梯度的二阶矩估计;
初始学习率为0.0001;
损失函数为:
Figure FDA0003219847050000014
其中,N1是指输入Unet++模型中图像的总量;
n1表示第n1个输入Unet++模型的图像;
X1为具有肺实质区域标识的胸部影像图像;
Y1为Unet++模型预测的分割结果;
|X1∩Y1|表示X1和Y1的图像的交集中的像素个数;
|X1|+|Y1|表示X1和Y1中图像的像素个数之和。
3.根据权利要求2所述的方法,其特征在于,
所述Unet++模型包括:
用于获取待处理的胸部影像图像的输入层;
第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层;
第一池化层、第二池化层、第三池化层、第四池化层;
第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层、第六反卷积层、第七反卷积层、第八反卷积层、第九反卷积层、第十反卷积层;
第一融合层、第二融合层、第三融合层、第四融合层、第五融合层、第六融合层、第七融合层、第八融合层、第九融合层、第十融合层;
第一输出层、第二输出层、第三输出层、第四输出层;
其中,Unet++模型中每一层的激活函数均为:ReLU=max(0,x1);
x1表示Unet++模型中任一层的输出变量。
4.根据权利要求3所述的方法,其特征在于,
其中,所述输入层与所述第一卷积层连接;
所述第一卷积层通过第一池化层与所述第二卷积层连接,以及所述第一卷积层跳跃连接第三卷积层;
所述第二卷积层通过第一反卷积层与所述第一融合层连接,以及所述第二卷积层通过第二池化层与第四卷积层连接;
所述第一融合层与第三卷积层连接;
所述第四卷积层通过第三池化层与所述第七卷积层连接,以及所述第四卷积层通过第二反卷积层与第二融合层连接;
所述第二融合层与第五卷积层连接;
第五卷积层与第三融合层连接;所述第三融合层还与第三卷积层跳跃连接;
所述第三融合层还与第六卷积层连接;
所述第七卷积层通过第四池化层与第十一卷积层连接,以及所述第七卷积层通过第四反卷积层与第四融合层连接;
所述四层融合层与第八卷积层连接;
所述第八卷积层通过第五反卷积层与第五融合层连接;
所述第五融合层还与第九卷积层连接;
所述第九卷积层与第六融合层连接;所述第六融合层还与第六卷积层跳跃连接;
所述第六融合层还与第十卷积层连接;
所述第十一卷积层通过第七反卷积化层与第七融合层连接,所述第七融合层还与第十二卷积层连接;所述第七融合层还与第七卷积层跳跃连接;
所述第十二卷积层与第八融合层连接;
所述第八融合层与第十三卷积层连接;所述第八融合层与第八卷积层跳跃连接;
所述第十三卷积层还与第九融合层连接;
所述第九融合层与第十四卷积层连接;所述第九融合层与第九卷积层跳跃连接;
所述第十四卷积层还与第十融合层连接;
所述第十融合层还与第十五卷积层连接;所述第十融合层与第十卷积层跳跃连接;
所述第三卷积层还与第一输出层连接;
所述第六卷积层还与第二输出层连接;
所述第十卷积层还与第三输出层连接;
所述第十五卷积层还与第四输出层连接。
5.根据权利要求4所述的方法,其特征在于,
所述输出层的卷积核为为3*3,通道数为1;
所述第一卷积层的卷积核为3*3,通道数为16;
所述第二卷积层的卷积核为3*3,通道数为32;
所述第三卷积层的卷积核为3*3,通道数为16;
所述第四卷积层的卷积核为3*3,通道数为64;
所述第五卷积层的卷积核为3*3,通道数为32;
所述第六卷积层的卷积核为3*3,通道数为16;
所述第七卷积层的卷积核为3*3,通道数为128;
所述第八卷积层的卷积核为3*3,通道数为64;
所述第九卷积层的卷积核为3*3,通道数为32;
所述第十卷积层的卷积核为3*3,通道数为16;
所述第十一卷积层的卷积核为3*3,通道数为256;
所述第十二卷积层的卷积核为3*3,通道数为128;
所述第十三卷积层的卷积核为3*3,通道数为64;
所述第十四卷积层的卷积核为3*3,通道数为32;
所述第十五卷积层的卷积核为3*3,通道数为16;
所述第一池化层的卷积核为2*2,通道数为16;
所述第二池化层的卷积核为2*2,通道数为32;
所述第三池化层的卷积核为2*2,通道数为64;
所述第四池化层的卷积核为2*2,通道数为128;
第一反卷积层的卷积核为3*3,通道数为16;
第二反卷积层的卷积核为3*3,通道数为32;
第三反卷积层的卷积核为3*3,通道数为16;
第四反卷积层的卷积核为3*3,通道数为64;
第五反卷积层的卷积核为3*3,通道数为32;
第六反卷积层的卷积核为3*3,通道数为16;
第七反卷积层的卷积核为3*3,通道数为128;
第八反卷积层的卷积核为3*3,通道数为64;
第九反卷积层的卷积核为3*3,通道数为32;
第十反卷积层的卷积核为3*3,通道数为16;
第一融合层的通道数为16;
第二融合层的通道数为32;
第三融合层的通道数为16;
第四融合层的通道数为64;
第五融合层的通道数为32;
第六融合层的通道数为16;
第七融合层的通道数为128;
第八融合层的通道数为64;
第九融合层的通道数为32;
第十融合层的通道数为16;
第一输出层的卷积核为3*3,通道数为1;
第二输出层的卷积核为3*3,通道数为1;
第三输出层的卷积核为3*3,通道数为1;
第四输出层的卷积核为3*3,通道数为1。
6.根据权利要求5所述的方法,其特征在于,S02之前,所述方法还包括:
S012、将具有肺血管区域标识的第一图像输入nnUnet模型中进行训练,获取训练后的nnUnet模型;
其中,所述nnUnet模型中的Batch为2;
总循环轮数epoch为150;
nnUnet模型中激活函数为:f(x)=max(0.01x2,x2);
x2表示nnUnet模型中每一层的输出变量;
优化器为第一优化器;
初始学习率为0.0001;
损失函数为:
Figure FDA0003219847050000061
其中,N2是指输入nnUnet模型中图像的总量;
n2表示第n2个输入nnUnet模型的图像;
X2为具有肺血管区域标识的第一图像;
Y2为nnUnet模型预测的分割结果;
|X2∩Y2|表示X2和Y2的交集中的像素个数;
|X2|+|Y2|表示X2和Y2中的像素个数之和。
7.根据权利要求1所述的方法,其特征在于,还包括:
S03、采用最大连通域算法对得到的肺血管区域的图像分割结果进行后处理,获得最终的去除噪声部分的肺血管区域图像。
8.根据权利要求7所述的方法,其特征在于,所述S03具体包括:
S031、基于所述肺血管区域的图像分割结果,获取所述所述肺血管区域的图像分割结果中每一像素点的像素值;
S032、将相互连通的且像素值相同的像素点组成的区域作为连通域;
S303、判断连通域中的像素点是否小于100个,若小于,则删除所述连通域,获得最终的去除噪声部分的肺血管区域图像。
9.一种胸部CT影像处理装置,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中,所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至8中任一所述的一种胸部CT影像处理方法。
CN202110954324.9A 2021-08-19 2021-08-19 一种胸部ct影像处理方法与装置 Active CN113781403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110954324.9A CN113781403B (zh) 2021-08-19 2021-08-19 一种胸部ct影像处理方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110954324.9A CN113781403B (zh) 2021-08-19 2021-08-19 一种胸部ct影像处理方法与装置

Publications (2)

Publication Number Publication Date
CN113781403A true CN113781403A (zh) 2021-12-10
CN113781403B CN113781403B (zh) 2023-10-13

Family

ID=78838396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110954324.9A Active CN113781403B (zh) 2021-08-19 2021-08-19 一种胸部ct影像处理方法与装置

Country Status (1)

Country Link
CN (1) CN113781403B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004836A (zh) * 2022-01-04 2022-02-01 中科曙光南京研究院有限公司 一种基于深度学习的自适应生物医学影像分割方法
CN117078686A (zh) * 2023-10-17 2023-11-17 万里云医疗信息科技(北京)有限公司 构建用于训练骨抑制模型的样本的方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN110458852A (zh) * 2019-08-13 2019-11-15 四川大学 基于胶囊网络的肺组织分割方法、装置、设备及存储介质
CN110969622A (zh) * 2020-02-28 2020-04-07 南京安科医疗科技有限公司 用于辅助肺炎诊断的图像处理方法和系统
CN112819807A (zh) * 2021-02-24 2021-05-18 成都理工大学 一种用于新冠肺炎的全自动分割方法
CN112862805A (zh) * 2021-03-04 2021-05-28 同济大学 听神经瘤图像自动化分割方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN110458852A (zh) * 2019-08-13 2019-11-15 四川大学 基于胶囊网络的肺组织分割方法、装置、设备及存储介质
CN110969622A (zh) * 2020-02-28 2020-04-07 南京安科医疗科技有限公司 用于辅助肺炎诊断的图像处理方法和系统
CN112819807A (zh) * 2021-02-24 2021-05-18 成都理工大学 一种用于新冠肺炎的全自动分割方法
CN112862805A (zh) * 2021-03-04 2021-05-28 同济大学 听神经瘤图像自动化分割方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LIU, ZHENHONG, AND HONGFANG YUAN.: ""An Res-Unet method for pulmonary artery segmentation of CT images"", 《JOURNAL OF PHYSICS: CONFERENCE SERIES. VOL. 1924. NO. 1. IOP PUBLISHING, 2021》 *
XU, SHIHUI, ET AL.: ""A pulmonary vascular extraction algorithm from chest CT/CTA images"", 《JOURNAL OF HEALTHCARE ENGINEERING 2021》, pages 1 - 7 *
温爱卿.: ""基于改进FCN的腹部图像分割方法研究"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
程立英, 高宣爽, 申海等.: ""基于U-Net网络的肺部组织分割"", 《沈阳师范大学学报(自然科学版)》, pages 278 - 282 *
覃文军, 李小硕, 周庆华等.: ""肺部影像解剖结构分割数据集及应用"", 《中国图象图形学报》, pages 2111 - 2120 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004836A (zh) * 2022-01-04 2022-02-01 中科曙光南京研究院有限公司 一种基于深度学习的自适应生物医学影像分割方法
CN117078686A (zh) * 2023-10-17 2023-11-17 万里云医疗信息科技(北京)有限公司 构建用于训练骨抑制模型的样本的方法、装置及存储介质
CN117078686B (zh) * 2023-10-17 2024-01-23 万里云医疗信息科技(北京)有限公司 构建用于训练骨抑制模型的样本的方法、装置及存储介质

Also Published As

Publication number Publication date
CN113781403B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
Dou et al. Pnp-adanet: Plug-and-play adversarial domain adaptation network at unpaired cross-modality cardiac segmentation
CN108198184B (zh) 造影图像中血管分割的方法和系统
Pan et al. Classification of malaria-infected cells using deep convolutional neural networks
Shamrat et al. High-precision multiclass classification of lung disease through customized MobileNetV2 from chest X-ray images
CN107977969B (zh) 一种内窥镜荧光图像的分割方法、装置及存储介质
CN113808146B (zh) 一种医学图像多器官分割方法及系统
Wang et al. Fully automatic intervertebral disc segmentation using multimodal 3D U-Net
CN113781403B (zh) 一种胸部ct影像处理方法与装置
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN113506310A (zh) 医学图像的处理方法、装置、电子设备和存储介质
CN109191468B (zh) 一种血管提取的方法、装置及存储介质
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
Abbasi-Sureshjani et al. Boosted exudate segmentation in retinal images using residual nets
Qayyum et al. Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging
Chen et al. Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation.
CN115147640A (zh) 一种基于改进胶囊网络的脑肿瘤图像分类方法
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
Imran et al. Malaria Blood Smear Classification Using Deep Learning and Best Features Selection.
Qiu et al. Deep bv: A fully automated system for brain ventricle localization and segmentation in 3d ultrasound images of embryonic mice
Karasulu Automatic extraction of retinal blood vessels: a software implementation
Salehi et al. Deep convolutional neural networks for automated diagnosis of disc herniation on axial MRI
Mahapatra Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation
Shao et al. A segmentation method of airway from chest CT image based on VGG-Unet neural network
Wen et al. A novel lesion segmentation algorithm based on U-Net network for Tuberculosis CT image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant