CN112734715A - 一种肺部ct图像的肺结节分割方法 - Google Patents
一种肺部ct图像的肺结节分割方法 Download PDFInfo
- Publication number
- CN112734715A CN112734715A CN202011638114.0A CN202011638114A CN112734715A CN 112734715 A CN112734715 A CN 112734715A CN 202011638114 A CN202011638114 A CN 202011638114A CN 112734715 A CN112734715 A CN 112734715A
- Authority
- CN
- China
- Prior art keywords
- lung
- convolution
- feature map
- image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 81
- 210000004072 lung Anatomy 0.000 title claims abstract description 63
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims description 33
- 230000007246 mechanism Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000002685 pulmonary effect Effects 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000002591 computed tomography Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 7
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 230000008602 contraction Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种肺部CT图像的肺结节分割方法,包括以下步骤:获取肺部CT图像数据集,并对肺部CT图像数据集进行数据增强操作;将数据增强操作后的肺部CT图像数据集划分为训练集和测试集;基于增强型U‑Net结构,构建语义分割模型,利用训练集和测试集对语义分割模型进行训练和测试,得到肺结节分割模型;将实际待测肺部CT图像输入肺结节分割模型,输出得到对应的肺结节分割图像。与现有技术相比,本发明将深度学习与语义分割技术相结合,提出一种端到端的语义分割模型,利用语义分割模型中的ResNet‑101骨干网络、上下文信息提取模块和空间信息提取模块,能够自动、快速、准确地从肺部CT图像中分割出肺和肺结节。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其是涉及一种肺部CT图像的肺结节分割方法。
背景技术
据统计,肺癌已经成为最致命的疾病之一,每年死于肺癌的人数已超过170万人,且其死亡率逐年迅速上升,肺癌可以通过检测肺部小结节进而做到早期发现,目前,卷积神经网络(CNNs)在肺CT的检测和分析过程中起到了极大地作用,在医学图像自动分割方面的研究,为了获得较高的分割结果,很多医学图像分割模型选用了经典的语义分割架构,包括U-Net、编解码器架构和全卷积网络。Shaziya等人提出了一种U-Net ConvNet模型用于对肺CT图像进行分割。Nadkarni等人图像经过中值滤波预处理后,对感兴趣的肺部区域进行数学形态学操作,并且利用支持向量机对提取的感兴趣区域进行几何特征计算,将肺分为正常和异常两类。Hassani等人设计了一种基于数学形态学和区域生长算法的二维肺部CT自动分割方法。
常用的U-Net和FCN模型在进行密集预测时,由于级联卷积操作的存在,低层特征图被反复提取,导致信息存在冗余,在医学图像检测分割时,会产生较大的误差。且在CNN网络模型的浅层,特征图集合具有丰富的空间信息,有助于空间细节的预测,但因为接受野太小导致语义信息不足。在网络深层阶段,语义信息充足,能够提供准确的语义预测,但缺乏空间细节。此外,肺结节的异质性以及结节与周围环境存在相似的视觉特征,使得对结节的分割困难。最重要的是,在一些CT图像中,肺结节太多,无法进行整体分割。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种肺部CT图像的肺结节分割方法,以对肺部CT图像进行准确、快速、可靠的肺结节分割处理。
本发明的目的可以通过以下技术方案来实现:一种肺部CT图像的肺结节分割方法,包括以下步骤:
S1、获取肺部CT图像数据集,并对肺部CT图像数据集进行数据增强操作;
S2、将数据增强操作后的肺部CT图像数据集划分为训练集和测试集;
S3、基于增强型U-Net结构,构建语义分割模型,利用训练集和测试集对语义分割模型进行训练和测试,得到肺结节分割模型;
S4、将实际待测肺部CT图像输入肺结节分割模型,输出得到对应的肺结节分割图像。
进一步地,所述步骤S1中数据增强操作具体是对肺部CT图像进行10°~-10°的随机水平翻转以及进行0.5~2倍的随机缩放。
进一步地,所述步骤S2具体包括以下步骤:
S21、将数据增强操作后的肺部CT图像数据集的70%作为训练集、30%作为测试集;
S22、对训练集中的肺部CT图像进行像素级标注。
进一步地,所述步骤S3具体包括以下步骤:
S31、构建语义分割模型:设置依次连接的ResNet-101骨干网络、上下文信息提取模块、第一拼接模块、第二拼接模块、第三拼接模块和输出模块,其中,ResNet-101骨干网络还分别连接至第一拼接模块和第二拼接模块,ResNet-101骨干网络通过空间信息提取模块与第三拼接模块连接;
S32、配置模型运行环境,选用随机梯度下降训练方式,并设置训练参数;
S33、将训练集输入构建的语义分割模型,按照设置的训练参数进行模型训练,得到训练好的语义分割模型;
S34、将测试集输入训练好的语义分割模型,若输出结果准确率大于或等于预设的准确度阈值,则该训练好的语义分割模型即为肺结节分割模型,否则返回步骤S33重新进行模型训练。
进一步地,所述Res-Net101骨干网络包括5组卷积:第一组卷积r1含有核尺寸为7×7且个数为64的卷积,卷积步长stride=2;
第二组卷积r2含有核尺寸为2×2且步长为stride=2的池化卷积和3个相同结构的卷积层,每个卷积层有如下结构:conv2_1卷积核尺寸为1×1,且个数为64;conv2_2卷积核尺寸为3×3且个数为64;conv2_3卷积核尺寸为1×1且个数为256;
第三组卷积r3中含有4个相同结构的卷积层,每个卷积层有如下结构:conv3_1卷积核尺寸为1×1且个数为128,conv3_2卷积核尺寸为3×3且个数为128,conv3_3卷积核尺寸为1×1且个数为512;
第四组卷积r4中含有23个相同结构的卷积层,每个卷积扩张率rate=2,卷积步长stride=1且每个卷积层有如下结构:conv4_1卷积核尺寸为1×1且个数为256,conv4_2卷积核尺寸为3×3且个数为256,conv4_3卷积核尺寸为1×1且个数为1024;
第五组卷积r5中含有3个相同结构的卷积层,每个卷积扩张率rate=4,卷积步长stride=1且每个卷积层有如下结构:conv5_1卷积核尺寸为1×1且个数为512,conv5_2卷积核尺寸为3×3且个数为512,conv5_3卷积核尺寸为1×1且个数为2048。
进一步地,所述步骤S32中模型运行环境包括开源的python 3.6、kera 2.0、tensorflow-GPU 1.2或windows 10;
所述随机梯度下降训练方式的训练参数具体为:批量大小为6,动量为0.99,权值衰减为0.0001,初始学习率为0.1,每50个epoch将学习率降低0.1倍,采用“poly”学习率策略,计算公式如下:
式中,Urbase表示基本学习率,power表示衰减指数,epoch表示总的训练次数。
进一步地,所述步骤S33中模型训练过程具体包括以下步骤:
S331、将训练集X∈{x1,x2,…xn}输入语义分割模型,在ResNet-101骨干网络中第五组卷积提取得到特征图集合E∈{e1,e2,…em};
S332、将特征图集合E∈{e1,e2,…em}送入上下文信息提取模块,以提取得到上下文信息特征图集合,所述上下文信息特征图集合用于识别区分肺结节;
S333、将ResNet-101骨干网络中第二组卷积提取出的含有空间信息丰富的特征图集合送入空间信息提取模块,运用空间注意力机制突显出更多的位置细节,进而提取出空间细节特征图集合,所述空间细节特征图集合用于辅助分割出尺寸不一、形状多样的肺结节;
S334、将上下文信息特征图集合与ResNet-101骨干网络中第四组卷积提取的特征图送入第一拼接模块进行拼接,得到第一拼接特征图集合;
S335、对第一拼接特征图集合进行上采样操作,之后与ResNet-101骨干网络中第三组卷积提取的特征图在第二拼接模块进行拼接,得到第二拼接特征图集合;
S336、对第二拼接特征图集合进行上采样操作,之后与空间细节特征图集合在第三拼接模块进行拼接,得到第三拼接特征图集合;
S337、将第三拼接特征图集合送入输出模块,以将各通道的特征图映射到最终的分割结果图中。
进一步地,所述上下文信息提取模块包括并联多核卷积单元和通道注意力筛选单元,所述并联多核卷积单元用于从特征图集合E∈{e1,e2,…em}提取出用于分割出肺部组织的多尺度特征图集合P∈{p1,p2,…pz};
所述通道注意力筛选单元结合通道注意力机制,用于对多尺度特征图集合P∈{p1,p2,…pz}进行筛选,以得到用于识别区分肺结节的上下文信息特征图集合R∈{r1,r2,…rg}。
进一步地,所述空间信息提取模块的具体工作过程为:
首先将ResNet-101骨干网络中第二组卷积提取出的含有空间信息丰富的特征图集合T∈Rγ×δ×τ送入到带有BN和ReLU卷积层中,生成三个新的特征图集合,分别为Ξ、Ψ和ξ,其中{Ξ,Ψ,ξ}∈Rγ×δ×τ;
进一步地,所述输出模块包括dropout层和一个1×1卷积。
与现有技术相比,本发明基于肺部CT图像,提出一种肺结节分割方法,主要通过设计一种端到端的增强型U-Net语义分割模型,并结合肺部CT图像数据集,通过对语义分割模型进行训练和测试,以得到肺结节分割模型,该肺结节分割模型能够在肺部CT图像上自动、快速、准确地分割出肺和肺结节,该肺结节分割模型首先将含有空洞卷积的ResNet-101网络作为骨干网络引入在U-Net的收缩路径中,用于对肺部CT提取特征图集合;然后,在扩展路径顶端嵌入上下文信息提取模块,运用并联多核卷积结构提取出多尺度上下文信息丰富的特征图,用以分割出肺部组织,结合通道注意力机制,将特征图中感兴趣的区域突显,进而提取区分力强的上下文信息提高肺结节分割的准确率;
并将骨干网络浅层提取出的特征图集合送入空间信息提取模块,运用空间注意力机制突显出更多的位置细节,进而提取出空间信息丰富的特征图集合,能够辅助网络模型分割出尺寸不一、形状多样的肺结节;
最后利用U-Net结构的跳层连接将扩展阶段提取出的含有区分力强且丰富上下文信息的特征图与扩展路径提取的富含空间信息的特征图拼接,以此保证分割结果的准确性。
附图说明
图1为本发明的方法流程示意图;
图2为本发明语义分割模型的结构示意图;
图3为上下文信息提取模块的结构示意图;
图4为空间信息提取模块的结构示意图;
图5为实施例中肺部CT图像样本一的分割结果示意图;
图6为实施例中肺部CT图像样本二的分割结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,一种肺部CT图形的肺结节分割方法,包括以下步骤:
S1、获取肺部CT图像数据集,并对肺部CT图像数据集进行数据增强操作;
S2、将数据增强操作后的肺部CT图像数据集划分为训练集和测试集;
S3、基于增强型U-Net结构,构建语义分割模型,利用训练集和测试集对语义分割模型进行训练和测试,得到肺结节分割模型;
S4、将实际待测肺部CT图像输入肺结节分割模型,输出得到对应的肺结节分割图像。
本实施例中,肺部CT图像数据集来自Cancer Image Archive数据库,共获取M张肺部CT图像,并将数据集进行数据增强操作:随机水平翻转10到-10度以及随机缩放0.5到2倍。
之后将含有M张肺CT的数据集分为两个子集:70%作为训练集和30%作为测试集,其中训练集被准确地进行像素级标注。
本发明提出的语义分割模型结构如图3所示,包括依次连接的ResNet-101骨干网络、上下文信息提取模块、第一拼接模块、第二拼接模块、第三拼接模块和输出模块,其中,ResNet-101骨干网络还分别连接至第一拼接模块和第二拼接模块,ResNet-101骨干网络通过空间信息提取模块与第三拼接模块连接,ResNet-101骨干网络作为语义分割模型中的收缩阶段,用于对肺部CT提取特征图集合,Res-Net101骨干网络包括5组卷积:第一组卷积r1含有核尺寸为7×7且个数为64的卷积,卷积步长stride=2;
第二组卷积r2含有核尺寸为2×2且步长为stride=2的池化卷积和3个相同结构的卷积层,每个卷积层有如下结构:conv2_1卷积核尺寸为1×1,且个数为64;conv2_2卷积核尺寸为3×3且个数为64;conv2_3卷积核尺寸为1×1且个数为256;
第三组卷积r3中含有4个相同结构的卷积层,每个卷积层有如下结构:conv3_1卷积核尺寸为1×1且个数为128,conv3_2卷积核尺寸为3×3且个数为128,conv3_3卷积核尺寸为1×1且个数为512;
第四组卷积r4中含有23个相同结构的卷积层,每个卷积扩张率rate=2,卷积步长stride=1且每个卷积层有如下结构:conv4_1卷积核尺寸为1×1且个数为256,conv4_2卷积核尺寸为3×3且个数为256,conv4_3卷积核尺寸为1×1且个数为1024;
第五组卷积r5中含有3个相同结构的卷积层,每个卷积扩张率rate=4,卷积步长stride=1且每个卷积层有如下结构:conv5_1卷积核尺寸为1×1且个数为512,conv5_2卷积核尺寸为3×3且个数为512,conv5_3卷积核尺寸为1×1且个数为2048。
上下文信息提取模块、第一拼接模块、第二拼接模块、第三拼接模块和空间信息提取模块共同构成语义分割模型的扩展阶段,在扩展路径顶端嵌入上下文信息提取模块:一方面运用并联多核卷积结构提取出多尺度上下文信息丰富的特征图,用以分割出肺部组织,另一方面结合通道注意力机制,将特征图中感兴趣的区域突显,进而提取区分力强的上下文信息提高肺结节分割的准确率。
将骨干网络浅层(即ResNet-101骨干网络中第二组卷积)提取出的特征图集合送入空间信息提取模块,运用空间注意力机制突显出更多的位置细节,进而提取出空间信息丰富的特征图集合,辅助网络模型分割出尺寸不一、形状多样的肺结节。
再利用U-Net结构的跳层连接将提取出的含有区分力强且丰富上下文信息的特征图与提取的富含空间信息的特征图拼接,运用DUpsample(上采样)操作得到最终肺部CT分割结果图。
在具体对语义分割模型进行训练时,可在开源的python3.6、kera2.0、tensorflow-GPU 1.2或windows 10上运行提出的模型,本实施例中GPU安装了CUDA 8.0和cuDNN 6.0。训练过程采用批量大小为6、动量为0.99、权值衰减为0.0001的小批量随机梯度下降(SGD)进行。将初始学习率设置为0.1,然后每50个epoch将学习率降低0.1倍。采用“poly”学习率策略,计算公式如下:
式中,Urbase表示基本学习率,power表示衰减指数,epoch表示总的epoch的数量。
首先训练数据集X∈{x1,x2,…xn}送入增强型U-Net结构的语义分割网络,在以ResNet-101作为骨干的网络收缩阶段中提取特征图集合E∈{e1,e2,…em};
将收缩路径中骨干网络提取的特征图E∈{e1,e2,…em}进一步送入上下文信息提取模块,如图3所示,一方面运用并联多核卷积结构提取出多尺度上下文信息丰富的特征图P∈{p1,p2,…pz},用以分割出肺部组织,另一方面结合通道注意力机制,将特征图中感兴趣的区域突显,进而提取区分力强的上下文信息特征图集合R∈{r1,r2,…rg},以期能够帮助模型分割出肺结节。本发明提出的上下文信息提取模块包含两条支路:支路1运用并联结构的多核卷积组合提取多尺度信息,支路2运用注意力机制对支路1捕获的多尺度信息进行筛选,以期得到信息丰富区分力强的特征图集合。具体过程如下:从骨干网络深层(即ResNet-101骨干网络中第五组卷积)提取的特征图集合E∈{e1,e2,…em}经过2倍上采样之后得到G∈{g1,g2,…gh},分为两个支路,支路1经过ReLu后得到的特征图集合U∈{u1,u2,…ur}送入到并行连接的三个多核卷积中,卷积核大小分别为1×1,3×3,5×5,用于提取多尺度上下文信息,进而提高分割肺组织的准确率。将得到的特征图集合V∈{v1,v2,…vg},S∈{s1,s2,…sd}和D∈{d1,d2,…da}拼接在一起得到P∈{p1,p2,…pz},运用卷积核为1×1的卷积对并联得到的特征图集合进行通道数量降低操作,以保持上下层特征图的比例,防止因为两个分支的特征图比例差异过大而影响最终分割结果。在支路2中,运用全局池化对特征图进行空间维度压缩,经过ReLu操作后,运用Sigmoid激活函数将压缩后的特征向量映射到(0,1)之间,即得到全局通道注意力向量α,进而对含有上下文信息的特征图集合进行加权,突出表征力强的特征图,全局通道注意力机制计算公式如下:
之后将提取出的含有区分力强且丰富上下文信息的特征图集合R∈{r1,r2,…rg}逐步通过上采样操作,然后运用2×2的卷积降低特征图的通道数。
将从骨干网络浅层(ResNet-101骨干网络中第二组卷积)提取出的含有空间信息丰富的特征图集合送入空间信息提取模块,运用空间注意力机制突显出更多的位置细节,进而提取出富含空间细节的特征图集合,辅助网络模型分割出尺寸不一、形状多样的肺结节,本发明考虑到在肺和肺结节的分割过程中,位置细节是非常重要的,因为一些类似肺结节的组织会被误检测为肺结节,但是在网络深层获取全局上下文信息的过程中,没有考虑空间信息的获取。为了建立局部特征表示之间的空间依赖关系,本发明在网络浅层将空间注意力机制引入到空间细节补充模块中。如图4所示,首先将ResNet-101骨干网络中第二组卷积提取出的含有空间信息丰富的特征图集合T∈Rγ×δ×τ(即浅层特征图集合)送入到带有BN和ReLU卷积层中,生成三个新的特征图集合,分别为Ξ、Ψ和ξ,其中{Ξ,Ψ,ξ}∈Rγ×δ×τ;
式中,为尺度参数,初始化为0。通过引入尺度参数,该模型可以逐步学会将局部区域的权值赋给全局位置,因此,在每个位置的结果特征Oj是所有位置特征的加权和,因此,空间信息提取模块具有全局上下文视野,并且能够在标签上建立较强的空间依赖关系,以此极大地提升了整个模型的表征能力。
在收缩路径中,第五组卷积r5操作后得到的特征图集合,经过上下文信息提取模块后,与第四组卷积r4操作处理后的特征图级联得到特征图集合O1;第三组卷积r3操作后得到的特征图集合,与特征图集合O1经过上采样操作后得到的特征图集合级联,得到特征图集合O2;第二组卷积r2操作得到的特征图送到空间信息提取模后,得到含有空间信息丰富发特征图集合,将其与特征图集合O2经过上采样操作的特征图集合进行拼接,得到一组含有丰富多尺度信息和空间信息的特征图集合O3,最后使用dropout层和1×1卷积将每个64通道的特征图映射到最终分割结果图中。
按照上述过程完成语义分割模型的训练之后,再将测试集输入训练好的语义分割模型,若输出结果准确率大于或等于预设的准确度阈值,则该训练好的语义分割模型即为肺结节分割模型,否则返回重新进行模型训练。
本实施例针对两个样本数据进行肺结节处理,其中样本一的分割结果如图5所示,该肺部CT图像能够分割出肺结节,样本二的分割结果如图6所示,该肺部图像中不能分割出肺结节,采用本发明提出的方法,结合深度学习以及计算机视觉的语义分割技术,能够自动、快速、准确地对CT图像中的肺和肺结节进行分割,从而可在实际中协助医生对肺部CT图像进行分析,极大地降低分析CT图像所耗费的人力和物力,以及降低由于医生的主观因素导致的分析错误率。
Claims (10)
1.一种肺部CT图像的肺结节分割方法,其特征在于,包括以下步骤:
S1、获取肺部CT图像数据集,并对肺部CT图像数据集进行数据增强操作;
S2、将数据增强操作后的肺部CT图像数据集划分为训练集和测试集;
S3、基于增强型U-Net结构,构建语义分割模型,利用训练集和测试集对语义分割模型进行训练和测试,得到肺结节分割模型;
S4、将实际待测肺部CT图像输入肺结节分割模型,输出得到对应的肺结节分割图像。
2.根据权利要求1所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述步骤S1中数据增强操作具体是对肺部CT图像进行10°~-10°的随机水平翻转以及进行0.5~2倍的随机缩放。
3.根据权利要求1所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、将数据增强操作后的肺部CT图像数据集的70%作为训练集、30%作为测试集;
S22、对训练集中的肺部CT图像进行像素级标注。
4.根据权利要求1所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述步骤S3具体包括以下步骤:
S31、构建语义分割模型:设置依次连接的ResNet-101骨干网络、上下文信息提取模块、第一拼接模块、第二拼接模块、第三拼接模块和输出模块,其中,ResNet-101骨干网络还分别连接至第一拼接模块和第二拼接模块,ResNet-101骨干网络通过空间信息提取模块与第三拼接模块连接;
S32、配置模型运行环境,选用随机梯度下降训练方式,并设置训练参数;
S33、将训练集输入构建的语义分割模型,按照设置的训练参数进行模型训练,得到训练好的语义分割模型;
S34、将测试集输入训练好的语义分割模型,若输出结果准确率大于或等于预设的准确度阈值,则该训练好的语义分割模型即为肺结节分割模型,否则返回步骤S33重新进行模型训练。
5.根据权利要求4所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述Res-Net101骨干网络包括5组卷积:第一组卷积r1含有核尺寸为7×7且个数为64的卷积,卷积步长stride=2;
第二组卷积r2含有核尺寸为2×2且步长为stride=2的池化卷积和3个相同结构的卷积层,每个卷积层有如下结构:conv2_1卷积核尺寸为1×1,且个数为64;conv2_2卷积核尺寸为3×3且个数为64;conv2_3卷积核尺寸为1×1且个数为256;
第三组卷积r3中含有4个相同结构的卷积层,每个卷积层有如下结构:conv3_1卷积核尺寸为1×1且个数为128,conv3_2卷积核尺寸为3×3且个数为128,conv3_3卷积核尺寸为1×1且个数为512;
第四组卷积r4中含有23个相同结构的卷积层,每个卷积扩张率rate=2,卷积步长stride=1且每个卷积层有如下结构:conv4_1卷积核尺寸为1×1且个数为256,conv4_2卷积核尺寸为3×3且个数为256,conv4_3卷积核尺寸为1×1且个数为1024;
第五组卷积r5中含有3个相同结构的卷积层,每个卷积扩张率rate=4,卷积步长stride=1且每个卷积层有如下结构:conv5_1卷积核尺寸为1×1且个数为512,conv5_2卷积核尺寸为3×3且个数为512,conv5_3卷积核尺寸为1×1且个数为2048。
7.根据权利要求5所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述步骤S33中模型训练过程具体包括以下步骤:
S331、将训练集X∈{x1,x2,…xn}输入语义分割模型,在ResNet-101骨干网络中第五组卷积提取得到特征图集合E∈{e1,e2,…em};
S332、将特征图集合E∈{e1,e2,…em}送入上下文信息提取模块,以提取得到上下文信息特征图集合,所述上下文信息特征图集合用于识别区分肺结节;
S333、将ResNet-101骨干网络中第二组卷积提取出的含有空间信息丰富的特征图集合送入空间信息提取模块,运用空间注意力机制突显出更多的位置细节,进而提取出空间细节特征图集合,所述空间细节特征图集合用于辅助分割出尺寸不一、形状多样的肺结节;
S334、将上下文信息特征图集合与ResNet-101骨干网络中第四组卷积提取的特征图送入第一拼接模块进行拼接,得到第一拼接特征图集合;
S335、对第一拼接特征图集合进行上采样操作,之后与ResNet-101骨干网络中第三组卷积提取的特征图在第二拼接模块进行拼接,得到第二拼接特征图集合;
S336、对第二拼接特征图集合进行上采样操作,之后与空间细节特征图集合在第三拼接模块进行拼接,得到第三拼接特征图集合;
S337、将第三拼接特征图集合送入输出模块,以将各通道的特征图映射到最终的分割结果图中。
8.根据权利要求7所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述上下文信息提取模块包括并联多核卷积单元和通道注意力筛选单元,所述并联多核卷积单元用于从特征图集合E∈{e1,e2,…em}提取出用于分割出肺部组织的多尺度特征图集合P∈{p1,p2,…pz};
所述通道注意力筛选单元结合通道注意力机制,用于对多尺度特征图集合P∈{p1,p2,…pz}进行筛选,以得到用于识别区分肺结节的上下文信息特征图集合R∈{r1,r2,…rg}。
9.根据权利要求7所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述空间信息提取模块的具体工作过程为:
首先将ResNet-101骨干网络中第二组卷积提取出的含有空间信息丰富的特征图集合T∈Rγ×δ×τ送入到带有BN和ReLU卷积层中,生成三个新的特征图集合,分别为Ξ、Ψ和ζ,其中{Ξ,Ψ,ξ}∈Rγ×δ×τ;
式中,θ为尺度参数,初始化为0。
10.根据权利要求7所述的一种肺部CT图像的肺结节分割方法,其特征在于,所述输出模块包括dropout层和一个1×1卷积。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011638114.0A CN112734715A (zh) | 2020-12-31 | 2020-12-31 | 一种肺部ct图像的肺结节分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011638114.0A CN112734715A (zh) | 2020-12-31 | 2020-12-31 | 一种肺部ct图像的肺结节分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112734715A true CN112734715A (zh) | 2021-04-30 |
Family
ID=75608968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011638114.0A Pending CN112734715A (zh) | 2020-12-31 | 2020-12-31 | 一种肺部ct图像的肺结节分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112734715A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205153A (zh) * | 2021-05-26 | 2021-08-03 | 华侨大学 | 一种儿科肺炎辅助诊断模型的训练方法及训练所得的模型 |
CN113838067A (zh) * | 2021-09-26 | 2021-12-24 | 中南民族大学 | 肺结节的分割方法和装置、计算设备、可存储介质 |
CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN115375712A (zh) * | 2022-10-25 | 2022-11-22 | 西南科技大学 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
CN110263833A (zh) * | 2019-06-03 | 2019-09-20 | 韩慧慧 | 基于编码-解码结构的图像语义分割方法 |
CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
-
2020
- 2020-12-31 CN CN202011638114.0A patent/CN112734715A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263833A (zh) * | 2019-06-03 | 2019-09-20 | 韩慧慧 | 基于编码-解码结构的图像语义分割方法 |
CN110197182A (zh) * | 2019-06-11 | 2019-09-03 | 中国电子科技集团公司第五十四研究所 | 基于上下文信息和注意力机制的遥感影像语义分割方法 |
CN111563508A (zh) * | 2020-04-20 | 2020-08-21 | 华南理工大学 | 一种基于空间信息融合的语义分割方法 |
Non-Patent Citations (2)
Title |
---|
HUIHUI HAN: "Excavating effective information in different stage of backbone to improve semantic segmentation results", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 * |
韩慧慧: "编码—解码结构的语义分割", 《中国图像图形学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205153A (zh) * | 2021-05-26 | 2021-08-03 | 华侨大学 | 一种儿科肺炎辅助诊断模型的训练方法及训练所得的模型 |
CN113205153B (zh) * | 2021-05-26 | 2023-05-30 | 华侨大学 | 一种儿科肺炎辅助诊断模型的训练方法及训练所得的模型 |
CN113838067A (zh) * | 2021-09-26 | 2021-12-24 | 中南民族大学 | 肺结节的分割方法和装置、计算设备、可存储介质 |
CN113838067B (zh) * | 2021-09-26 | 2023-10-20 | 中南民族大学 | 肺结节的分割方法和装置、计算设备、可存储介质 |
CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN114612408B (zh) * | 2022-03-04 | 2023-06-06 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN115375712A (zh) * | 2022-10-25 | 2022-11-22 | 西南科技大学 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
CN115375712B (zh) * | 2022-10-25 | 2023-03-17 | 西南科技大学 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734715A (zh) | 一种肺部ct图像的肺结节分割方法 | |
CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
US20200380695A1 (en) | Methods, systems, and media for segmenting images | |
CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
CN108603922A (zh) | 自动心脏体积分割 | |
CN112381164B (zh) | 一种基于多分支注意力机制的超声图像分类方法和装置 | |
US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
CN115409846A (zh) | 一种基于深度学习的结直肠癌病灶区域轻量级分割方法 | |
CN112132801A (zh) | 一种基于深度学习的肺大泡病灶检测方法及系统 | |
CN114821070A (zh) | 一种基于改进U-Net型网络的心脏MRI分割方法 | |
CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
CN115526829A (zh) | 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络 | |
CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 | |
CN115994900A (zh) | 基于迁移学习的无监督缺陷检测方法和系统、存储介质 | |
CN116935044B (zh) | 一种多尺度引导和多层次监督的内镜息肉分割方法 | |
CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN113096080A (zh) | 图像分析方法及系统 | |
CN112270370A (zh) | 一种车辆表观毁伤评估方法 | |
CN113298827B (zh) | 一种基于DP-Net网络的图像分割方法 | |
CN115527204A (zh) | 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法 | |
CN115457061A (zh) | 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |
|
RJ01 | Rejection of invention patent application after publication |