CN111882560B - 一种基于加权全卷积神经网络的肺实质ct图像分割方法 - Google Patents
一种基于加权全卷积神经网络的肺实质ct图像分割方法 Download PDFInfo
- Publication number
- CN111882560B CN111882560B CN202010550923.XA CN202010550923A CN111882560B CN 111882560 B CN111882560 B CN 111882560B CN 202010550923 A CN202010550923 A CN 202010550923A CN 111882560 B CN111882560 B CN 111882560B
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- lung parenchyma
- segmentation
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 238000003709 image segmentation Methods 0.000 title claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000010606 normalization Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005096 rolling process Methods 0.000 claims abstract description 4
- 230000002685 pulmonary effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000005728 strengthening Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000012656 cationic ring opening polymerization Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于加权全卷积神经网络的肺实质CT图像分割方法属于医学图像处理邻域。本发明包括以下步骤：选取公开肺部数据集进行预处理，提取标注图像中的肺实质边界作为一个语义类别；基于标准全卷积神经网络框架设计改进的网络结构，以编码‑解码的标准路径结构同时包含跳跃连接、膨胀卷积和批归一化的原理，建立肺实质分割卷积神经网络的整体结构框架；采用加权损失函数层；对数据集进行划分；离线模型训练，获得模型权重参数；输入测试图像并通过网络逐层前馈由输出层输出分割结果。现有的肺实质分割方法对肺实质内的病灶区域容易出现漏分割现象，本发明通过对重要像素的强化处理可以有效提高肺实质分割中对病灶区域的正确分割。
Description
技术领域
本发明涉及医学图像处理领域，特别涉及一种加权全卷积神经网络的肺实质CT图像分割方法。
背景技术
相关研究表明，对肺癌的早期发现并及时治疗能较大程度提高肺癌患者的治愈率，CT已经被证明是诊断肺部疾病的有效医学影像技术，被广泛用于肺癌检测和诊断。但是只依靠医师用眼睛分辨大量CT切片中的疑似病灶区域是困难的，计算机辅助诊断系统的研究应用将有利于提高诊断准确性和客观性、减轻诊断工作量。在针对肺部的计算机辅助诊断系统的设计中，对肺实质区域进行准确的提取是影响后续诊断准确性的重要前提步骤。但肺壁周边往往会存在一下病灶区域，在CT影像中的表现形式与肺内气管、非肺组织甚至影像噪声十分相似。这些具有重要的临床研究价值的病灶区域，往往会被分割在肺实质之外，影响肺部图像的定量分析结果。
申请号“CN201511023356.8”，名称为“基于胸部横断面CT图像的肺部分割提取方法及系统”介绍了基于阈值的肺实质分割方法，以图像中像素的灰度值为判断标准划分肺实质和背景。但此类方法容易受到噪声的干扰，算法鲁棒性及准确性不高。随着深度学习技术的发展，基于深度网络的肺实质分割方法也逐渐开始被研究应用，申请号“CN201710712015.4”，专利名“一种基于聚类算法和卷积神经网络的肺实质提取方法”，以数据为驱动、自动提取特征，建立算法模型对肺实质进行分割，较传统分割方法在分割准确性上有一定提高。但此类算法一般以像素分类的平均精度作为代价函数。对肺实质整体分类准确率高，但对肺壁周边存在的一些小结节，往往不能正确分割。因此，针对这些容易误分的区域进行网络优化，是肺实质分割方法的一个重要的改进方向。
基于以上的改进思路，本发明提出了一种以加强肺壁周边组织分割精度为手段，以提升肺部周边病灶区域分割准确率为目标的分割算法。通过提高肺壁周边像素分割敏感性，提升肺壁周边较难正确分割区域的分割准确性，改善分割模型的性能。
发明内容
本发明旨在提供一种基于全卷积神经网络，通过改变肺实质边界像素加权损失程度，提升肺壁周边较难正确分割区域分割准确率的一种肺实质全自动分割方法。
本发明的技术方案，包括下列步骤：
步骤1：选取目标图像数据进行预处理，添加待加权的语义标注类别；
步骤2：基于标准全卷积神经网络网络框架进行设计，以编码-解码的标准路径结构同时包含跳跃连接、膨胀卷积和批归一化的原理，建立语义分割卷积神经网络的整体结构框架；
步骤3：采用加权损失函数层；
步骤4：训练和测试数据集划分；
步骤5：离线模型训练，获得模型权重参数；
步骤6：将测试集图像输入网络模型，通过网络逐层前馈由输出层输出分割结果。
进一步的，所述步骤1包括：
A、对LUNA16数据集中肺部数据进行筛选，从888例数据中去除存在灰度、切片错位等问题的数据38例，保留剩余的850例数据；
B、将选取的肺CT图像数据转换为三通道二维图片格式，对应的标签数据转换为单通道灰度图片格式；
C、使用11×11的核对标签图像进行腐蚀操作；
D、将原标签图像减去腐蚀后的标签图像提取边界区域图像；
E、对原标签图像进行灰度变换；
F、将灰度变换后的原标签图像与提取的边界图像通过逻辑或运算的方式进行融合；
G、对融合后的标签图像进行索引图制作，将图中每类的像素值赋值为0、1、2、3、4并涂上相应的索引颜色。
进一步的，所述步骤2的全卷积网络以网络的层为单位，按照实现不同功能的顺序包括：
A、读入数据DATA层；
B、编码器结构包括CONV1-RELU1-POOL1层、CONV2-RELU2-POOL2层、CONV3-RELU3-POOL3层、CONV4-RELU4-POOL4层、CONV5-RELU5-POOL5层、FC6-RELU6-DROP6层、FC7-RELU7-DROP7层、SCORE_FR层；
C、批归一化层包括BN_POOL1层、BN_POOL2层、BN_POOL3层、BN_POOL4层；
D、跳跃连接结构包括SCORE_POOL4-SCORE_POOL4C-FUSE_POOL4层、SCORE_POOL3-SCORE_POOL3C-FUSE_POOL3层、SCORE_POOL2-SCORE_POOL2C-FUSE_POOL2层、SCORE_POOL1-SCORE_POOL1C-FUSE_POOL1层；
E、解码器结构包括UPSCORE2层、UPSCORE_POOL4层、UPSCORE_POOL3层、UPSCORE_POOL2层、UPSCORE_2层。
进一步的，所述步骤3包括：
A、在损失函数中添加权重因子和加权类别号两个参数；
B、在网络损失函数设置中对加权类别号为4的肺实质边界像素语义类乘以数值为10的加权因子。
进一步的，所述步骤4包括：随机从筛选出的数据中选择80％的数据作为训练集，剩余20％数据作为测试集。
进一步的，所述步骤5包括：
A、将训练集与测试集数据送入网络；
B、设置基础学习率为1e-10，使用固定学习率不变的模型学习策略；
C、设置模型迭代训练一个epoch后保存网络模型参数。
D、采用语义分割中常用的分类准确度和DICE系数来评价模型性能，模型在测试集中的像素准确度为98.33％，DICE系数为97.02％，具有较高的分割性能。
进一步的，所述步骤6包括：
A、使用网络模型对测试集数据进行语义分割，输出结果；
B、将模型输出的5分类掩膜图像用阈值法进行二值化处理，得到肺实质掩膜；
C、使用肺实质掩膜与原肺部图像进行逻辑与运算，提取肺实质区域。
本发明的有益效果是：
(1)本发明通过提取LUNA16数据集中标签图像的边界轮廓，将边界像素作为一类单独语义类别加入原标签图像，使具有重要意义的像素单独表示；
(2)本发明通过在基础全卷积神经网络中添加膨胀卷积核结构，减少模型参数量，降低模型冗余计算，避免软硬件资源的浪费。
(3)本发明通过在基础卷积神经网络中使用编码-解码语义分割结构，添加跳跃连接和批归一化层，增加网络宽度，更好的融合图像的局部特征信息和整体位置特征，提升模型语义分割性能。
(4)本发明通过改变基础全卷积神经网络结构，对具有重要意义的像素类进行加权损失函数计算，提高分割模型对重要的包含病理组织区域的分割准确性，提高计算机辅助诊断的可靠性；
附图说明
图1是本发明的基于加权全卷积神经网络的肺实质CT图像分割方法流程图；
图2是本发明的数据预处理流程图；
图3是本发明的网络结构示意图；
图4是本发明的分割结果与普通卷积神经网络分割结果对比示意图。
具体实施方式
本发明可自动处理肺部CT图像，提取肺实质区域；本发明利用新技术手段可提高肺实质中的病灶区域的分割准确性，为临床诊断提供更可靠的信息支持。
如流程图1所示，一种基于加权损失函数的深度卷积神经网络肺实质分割方法，共包括以下6个步骤：
1、选取LUNA16(Lung Nodule Analysis 16，https://luna16.grand-challenge.org/)肺部CT图像数据集进行预处理，制作模型训练和测试数据集；
2、基于标准FCN网络框架设计深度卷积神经网络，以编码-解码的标准路径结构同时包含跳跃连接、膨胀卷积和批归一化的原理，建立肺实质分割卷积神经网络的整体结构框架；
3、采用加权损失函数层对肺实质边界类像素进行加权；
4、数据集划分；
5、离线模型训练，获得模型权重参数；
6、将测试集图像输入网络模型，通过网络逐层前馈由输出层输出分割结果。
进一步的，所述步骤1包括：
1)从LUNA16数据集888例数据中筛选出850例数据，按4:1的比例划分为训练集和测试集；
2)对所选数据进行格式转换，将CT序列数据转换为二维切片三通道图像文件，共173694张肺部图像和标签图像组成训练集，40417张组成测试集。为了减小模型运算时的显存占用，将所有图像尺寸裁剪为256×256；
3)进一步对标签图像进行形态学腐蚀操作，将原标签图像与腐蚀后的标签图像相减提取边界；
4)进一步将提取的边界标注图像与原标签图像进行逻辑或运算，进行图像融合，得到添加了肺实质边界标注的标签图像；
5)进一步对融合后的标签图像进行索引图制作，划分为编号为0、1、2、3、4的五个语义类别，分别包括:左肺、右肺、肺气管、肺实质边界、背景(如图2所示)。
进一步的，所述步骤2中的网络结构以层为单位，按照输入到输出的顺序包括以下结构(如图3所示)：
1)数据层，输入图像数据为三通道256×256像素的图像矩阵，输入标签数据为添加边界标注的256×256单通道索引图；
2)CONV1_1-RELU1_1-CONV1_2-RELU1_2-POOL1层，由两层卷积层、ReLU激活层和一层池化层联合组成，其中卷积层的卷积核尺寸为3×3，池化层中每2×2的像素聚合为1个像素并取其中的最大值，输出特征图为64通道；
3)CONV2_1-RELU1_1-CONV2_2-RELU2_2-POOL2层，由两层卷积层、ReLU激活层和一层池化层联合组成，其中卷积层的卷积核尺寸为3×3，池化层中每2×2的像素聚合为1个像素并取其中的最大值，输出特征图为128通道；
4)CONV3_1-RELU3_1-CONV3_2-RELU3_2-CONV3_3-RELU3_3-POOL3层，由三层卷积层、ReLU激活层和一层池化层联合组成，其中卷积层的卷积核尺寸为3×3，池化层中每2×2的像素聚合为1个像素并取其中的最大值，输出特征图为256通道；
5)CONV4_1-RELU4_1-CONV4_2-RELU4_2-CONV4_3-RELU4_3-POOL4层，由三层卷积层、ReLU激活层和一层池化层联合组成，其中卷积层的卷积核尺寸为3×3，池化层中每2×2的像素聚合为1个像素并取其中的最大值，输出特征图为512通道；
6)CONV5_1-RELU5_1-CONV5_2-RELU5_2-CONV5_3-RELU5_3-POOL5层，由三层卷积层、ReLU激活层和一层池化层联合组成，其中卷积层的卷积核尺寸为3×3，池化层中每2×2的像素聚合为1个像素并取其中的最大值，输出特征图为512通道；
7)FC6-RELU6-DROP6层，由卷积层、ReLU激活层和Dropout层联合构成，其中Fc6卷积层卷积核尺寸为3×3，膨胀率为3，输出特征图为4096通道，Dropout层实现50％概念的部分参数置零；
8)膨胀卷积核尺寸与感受野关系公式:fk′＝(fk-1)d+1；
9)fk′代表相同感受野大小下原卷积核尺寸，fk代表加入膨胀率后的卷积核尺寸，d代表膨胀系数；
10)FC7-RELU7-DROP7层，由卷积层、ReLU激活层和Dropout层联合构成，其中Fc7卷积层实现卷积核尺寸为1×1的卷积，输出特征图为4096通道，Dropout层实现50％概念的部分参数置零；
11)SCORE_FR层，卷积层，实现卷积核尺寸为1×1的卷积，输出特征图为5通道；
12)UPSCORE2层，反卷积层，通过4×4的反卷积核，步长2的间隔，计算反卷积输出图像，输出特征图为5分类热图；
13)BN_POOL4-SCORE_POOL4-CROP-FUSE层，由批归一化层、卷积层、裁剪层和融合层联合构成，其中Bn_pool4层实现数据批归一化，Score_pool4是1×1卷积层，Crop层是裁剪层，将Score_pool4与Upscore2的特征图在像素长宽值上进行修改，使Score_pool4的特征图与Upscore2层特征图在尺寸上保持一致，Fuse层将Crop层输出结果与Upscore2的特征图进行融合；
14)UPSCORE_POOL4-BN_POOL3-SCORE_POOL3-CROP-FUSE层，由反卷积层、批归一化层、卷积层、裁剪层和融合层联合构成，其中Upscore_pool4是反卷积层，反卷积核尺寸为4×4，步长为2，Bn_pool3层是批归一化层，Score_pool3是卷积层，Crop层将Score_pool3的特征图按照Upscore_pool4的尺寸进行裁剪，Fuse层将Crop层的输出与Upscore_pool4层特征图进行融合；
15)UPSCORE_POOL3-BN_POOL2-SCORE_POOL2-CROP-FUSE层，由反卷积层、批归一化层、卷积层、裁剪层和融合层联合构成，其中Upscore_pool3是反卷积层，反卷积核尺寸为4×4，步长为2，Bn_pool2层是批归一化层，Score_pool2是卷积层，Crop层将Score_pool2的特征图按照Upscore_pool3的尺寸进行裁剪，Fuse层将Crop层的输出与Upscore_pool3层特征图进行融合；
16)UPSCORE_POOL2-BN_POOL1-SCORE_POOL1-CROP-FUSE层，由反卷积层、批归一化层、卷积层、裁剪层和融合层联合构成，其中Upscore_pool2是反卷积层，反卷积核尺寸为4×4，步长为2，Bn_pool1层是批归一化层，Score_pool1是卷积层，Crop层将Score_pool1的特征图按照Upscore_pool2的尺寸进行裁剪，Fuse层将Crop层的输出与Upscore_pool2层特征图进行融合；
17)UPSCORE_2-CROP层，由反卷积层和裁剪层联合构成，其中Upscore_2是反卷积层，反卷积核尺寸为4×4，步长为2，Crop层将Upscore_2层输出按照输入数据层的尺寸进行裁剪，得到最终输入大小的输出结果。
进一步的，所述步骤3包括：
1)将步骤2中网络的输出与数据层中的标签进行加权损失函数值计算:
2)yk表示第k类进行加权处理的像素实际的标签，fk(xi)为Softmax函数计算像素i为第k类像素的概率值，λ为加权乘积系数，yk-1表示不做加权处理的其余类别像素。
进一步的，所述步骤4包括对数据集的划分，将所用数据中的680例作为训练集数据，170例作为测试集数据，训练集与测试集数据量之比为4:1。
进一步的，所述步骤5包括：
1)将训练数据送进网络，离线训练模型；
2)设置基础学习率为1e-10并保持学习率不变；
3)设置批处理大小为1保证显存不溢出；
4)训练共进行10万次迭代完成一个epoch，最终在损失值稳定后，获取模型参数文件；
5)模型在测试集上的像素分类准确度和DICE系数分别为98.33％和97.02％。
进一步的，所述步骤6包括：
1)使用模型对测试数据进行分割，得到5分类掩膜图像，每类像素用不同颜色显示；
2)对5类掩膜图像设置阈值为10，进行掩膜二值化处理，得到黑白二值化的肺实质分割掩膜；
3)肺实质分割掩膜与肺部图像进行逻辑或运算，提取肺实质区域；
4)所得分割结果如附图4所示，本发明中的网络能更准确的分割肺实质内的病灶区域，并且在分割掩膜中完整的勾画出肺实质边缘轮廓，保证肺实质边缘的病灶被准确分割。
综上，一种应用于肺实质分割的基于深度学习技术的加权全卷积神经网络，本发明的实验结果表明，对输入数据进行定向预处理，并设计能利用数据定向改变特点的改进网络模型可以在肺实质分割任务中得到优于其它类型的分割方法。
Claims (5)
1.一种基于加权全卷积神经网络的肺实质CT图像分割方法，包括以下步骤：
步骤1：选取目标图像数据进行预处理，添加待加权的语义标注类别；
步骤2：基于标准全卷积神经网络网络框架进行设计，以编码-解码的标准路径结构同时包含跳跃连接、膨胀卷积和批归一化的原理，建立语义分割卷积神经网络的整体结构框架；
步骤3：采用加权损失函数层；
步骤4：训练和测试数据集划分；
步骤5：离线模型训练，获得模型权重参数；
步骤6：将测试集图像输入网络模型，通过网络逐层前馈由输出层输出分割结果；
所述步骤2中，基于基础结构的全卷积神经网络框架设计改进的网络结构，以编码-解码的标准路径结构同时包含跳跃连接、膨胀卷积和批归一化的原理，设计出卷积神经网络的整体结构框架，包括标准编码-解码结构、跳跃连接结构、批归一化结构和膨胀卷积结构；
所述步骤3中，在交叉熵损失函数中添加权重因子和加权类别号两个参数，损失函数表示为其中参数k为加权类别号，λ为权重因子，yk和yk-1是像素实际标签，fk(xi)和fk-1(xi)是Softmax函数计算出的像素分类概率；设置对k＝4的肺实质边界像素语义类乘以λ＝10的加权因子。
2.根据权利要求1所述的一种基于加权全卷积神经网络的肺实质CT图像分割方法，其特征在于，所述步骤1中，对目标数据中特定的具有重要意义的区域进行提取，将提取出的区域作为一类新语义类别与原标签图像进行融合，增加标签图像中的像素语义分类数。
3.根据权利要求1所述的一种基于加权全卷积神经网络的肺实质CT图像分割方法，其特征在于，所述步骤4中，对经过预处理的目标数据按照4:1的数量比例进行随机划分，其中80％数据作为训练集，20％数据作为测试集。
4.根据权利要求1所述的一种基于加权全卷积神经网络的肺实质CT图像分割方法，其特征在于，所述步骤5中，将训练集与测试集数据送入网络，设置基础学习率为1e-10，使用固定学习率不变的模型学习策略，设置模型迭代10万以上，完成一个epoch后保存网络模型参数。
5.根据权利要求1所述的一种基于加权全卷积神经网络的肺实质CT图像分割方法，其特征在于，所述步骤6中，使用网络模型对测试集数据进行语义分割，获取多分类分割掩膜图像，掩膜图像中的每一类像素用不同颜色表示，设置阈值为10将多分类掩膜图像进行二值化处理，得到黑白二值化的肺实质掩膜，使用肺实质掩膜与原肺部图像进行逻辑或运算，提取肺实质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010550923.XA CN111882560B (zh) | 2020-06-16 | 2020-06-16 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010550923.XA CN111882560B (zh) | 2020-06-16 | 2020-06-16 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882560A CN111882560A (zh) | 2020-11-03 |
| CN111882560B true CN111882560B (zh) | 2024-05-31 |
Family
ID=73158017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010550923.XA Active CN111882560B (zh) | 2020-06-16 | 2020-06-16 | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882560B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508900B (zh) * | 2020-11-30 | 2022-11-01 | 上海交通大学 | 细胞病理图像分割方法及装置 |
| CN112509046B (zh) * | 2020-12-10 | 2021-09-21 | 电子科技大学 | 一种弱监督的卷积神经网络图像目标定位方法 |
| CN112884792B (zh) * | 2021-02-02 | 2022-10-25 | 青岛海信医疗设备股份有限公司 | 肺部图像分割的方法、装置、电子设备及存储介质 |
| CN112950553A (zh) * | 2021-02-05 | 2021-06-11 | 慧影医疗科技（北京）有限公司 | 一种多尺度肺叶分割方法、系统、存储介质及电子设备 |
| CN113034518A (zh) * | 2021-04-16 | 2021-06-25 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于卷积神经网络的肝脏病灶分割方法 |
| CN113205523A (zh) * | 2021-04-29 | 2021-08-03 | 浙江大学 | 多尺度表征优化的医学影像分割识别系统、终端及存储介质 |
| CN113920109A (zh) * | 2021-10-29 | 2022-01-11 | 沈阳东软智能医疗科技研究院有限公司 | 医疗影像识别模型训练方法、识别方法、装置及设备 |
| CN114549552B (zh) * | 2022-02-15 | 2024-09-24 | 何玮 | 基于空间邻域分析的肺部ct图像分割装置 |
| CN115429284B (zh) * | 2022-09-16 | 2024-05-03 | 山东科技大学 | 心电信号分类方法、系统、计算机设备以及可读存储介质 |
| CN115375712B (zh) * | 2022-10-25 | 2023-03-17 | 西南科技大学 | 一种基于双边学习分支实现实用的肺部病变分割方法 |
| CN115880287B (zh) * | 2023-02-20 | 2023-07-21 | 广东工业大学 | 一种脑白质高信号病灶区域分割及评级装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507197A (zh) * | 2017-08-18 | 2017-12-22 | 东北大学 | 一种基于聚类算法和卷积神经网络的肺实质提取方法 |
| CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529555B (zh) * | 2016-11-04 | 2019-12-06 | 四川大学 | 一种基于全卷积网络的dr片肺轮廓提取方法 |
-
2020
- 2020-06-16 CN CN202010550923.XA patent/CN111882560B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507197A (zh) * | 2017-08-18 | 2017-12-22 | 东北大学 | 一种基于聚类算法和卷积神经网络的肺实质提取方法 |
| CN109598727A (zh) * | 2018-11-28 | 2019-04-09 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882560A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN111598875A (zh) | 甲状腺结节自动检测模型构建方法、系统及装置 | |
| CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
| Khan et al. | Classification and region analysis of COVID-19 infection using lung CT images and deep convolutional neural networks | |
| CN110766670A (zh) | 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法 | |
| Al-Huda et al. | Weakly supervised pavement crack semantic segmentation based on multi-scale object localization and incremental annotation refinement | |
| CN116884623B (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| CN114998362B (zh) | 基于双分割模型的医学图像分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| Tian et al. | Radiomics and its clinical application: artificial intelligence and medical big data | |
| CN115187566A (zh) | 基于mra影像的颅内动脉瘤检测方法及装置 | |
| CN113177554B (zh) | 甲状腺结节识别与分割方法、系统、存储介质及设备 | |
| CN110717916B (zh) | 一种基于卷积神经网络的肺栓塞检测系统 | |
| CN116778250A (zh) | 基于迁移学习和cbam的冠脉病变分类方法 | |
| CN113822252B (zh) | 显微镜下病理图像细胞鲁棒检测方法 | |
| CN113989269B (zh) | 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法 | |
| CN117197156A (zh) | 基于双解码器UNet和Transformer的病变分割方法及系统 | |
| CN115311491A (zh) | 一种基于课程学习及空间注意力的骨折假阳性筛除方法 | |
| CN118570202B (zh) | 一种基于视觉状态空间模型的强直性脊柱炎评级方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |