CN112419322A - 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法 - Google Patents
一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法 Download PDFInfo
- Publication number
- CN112419322A CN112419322A CN202011112867.8A CN202011112867A CN112419322A CN 112419322 A CN112419322 A CN 112419322A CN 202011112867 A CN202011112867 A CN 202011112867A CN 112419322 A CN112419322 A CN 112419322A
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature
- pooling
- output
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011176 pooling Methods 0.000 title claims abstract description 65
- 230000011218 segmentation Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 26
- 210000003582 temporal bone Anatomy 0.000 title claims abstract description 24
- 210000002480 semicircular canal Anatomy 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 title claims description 17
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 68
- 230000004913 activation Effects 0.000 claims description 16
- 230000017105 transposition Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000000047 product Substances 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 208000032625 disorder of ear Diseases 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 208000022949 middle ear disease Diseases 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种提高颞骨外半规管分割性能的方法。在本发明中，设计了一个三维的编码解码神经网络，编码阶段采用了两个密集连接块、一个空洞卷积模块，并且在密集连接块之后采用多尺度池化模块，通过上述三种结构提取三维颞骨CT中的特征信息。解码阶段采用转置卷积将特征图的分辨率逐步恢复到与输入数据相同的分辨率，并且在解码阶段对特定隐藏层进行监督，将网络主干损失和隐藏层的损失构成联合损失函数，共同指导网络的训练。本发明中的编码解码网络架构充分利用颞骨CT中的空间信息，适合外半规管等小目标分割，采用评价指标骰子系数DSC可达72.23％。
Description
技术领域
本发明属于医学影像处理领域，特别涉及一种基于3D多尺度多模式池化特征融合网络的颞骨外半规管分割方法。
背景技术
颞骨计算机断层扫描是检查中耳病以检测人类颞骨解剖结构异常的既定标准，是医生进行耳部疾病诊断的重要手段。在采集颞骨CT影像时，由于病人姿态的差异，原始颞骨CT影像存在双侧结构不对称等问题，放射科医师需要在图像处理服务器上基于外半规管进行CT影像的手工校准重建，然后供医生诊断。随着耳部疾病临床诊断需求的增加，颞骨CT影像数量快速增长，手工校准过程耗费时间精力，增加了放射科医师的工作负担，延缓诊断时间。从颞骨CT中自动分割出外半规管，利用外半规管的分割结果可以进行原始颞骨CT的自动校准，同时在临床诊断中可以减轻医生的工作量，降低漏诊和误诊。外半规管的准确分割不仅有助于医生自动校准原始颞骨CT数据，而且在外半规管疾病诊断和科研方面具有重要意义。
分割是图像处理中的一个重要步骤，在自然图像中用于场景理解，而在医学影像中，分割致力于从背景中识别病变或器官的像素，通常被视为病变评估和疾病诊断的重要步骤。目前，医学影像的分割方法主要包括传统分割方法和基于深度学习的分割方法，基于深度学习的分割方法已经广泛应用于皮肤、大脑、心脏和腹部等器官。
随着深度学习技术的迅速发展，基于深度学习的分割方法已经成为医学影像分割中最为流行的方法，针对具体的分割任务，对神经网络架构改进以提高分割精度一直是研究人员的关注焦点。例如，解决深层网络的梯度消失和爆炸，设计合理的网络结构提取更为丰富的语义信息，为高效而精确的模型进行模型压缩等。
全卷积网络是语义分割的开创性工作，其特点是使用卷积层代替卷积神经网络中的全连接层，获得与输入图像相同分辨率的输出结果，实现像素级分类。针对全卷积网络分割精度不高的问题，研究人员在全卷积网络的基础上提出了编解码的网络架构，其中编码阶段对图像进行下采样，解码阶段逐步对特征进行上采样，直到与输入图像分辨率一致，在编码阶段和解码阶段还使用跳跃连接，以此恢复细节信息提升分割的精度。
与自然图像不同的是，大部分的医学影像是三维数据，为使神经网络充分利用三维数据的特性，研究人员设计了3D网络架构进行三维医学影像分割工作。但现有医学影像分割方法往往针对的是肝脏、肺、心脏等较大的解剖结构，在小器官上的分割效果不佳。
本发明提出了一种基于3D编解码结构的外半规管分割方法。设计了一种新的3D网络结构，编码阶段采用密集连接块和空洞卷积模块进行特征提取，空洞卷积模块中采用不同膨胀率的空洞卷积，用于提取多尺度的特征信息，同时采用多尺度和多模式的池化特征融合策略，减少池化操作带来的信息损失。解码模块采用辅助损失和网络主干损失构成的联合损失函数来指导网络训练。
发明内容
本发明的目的在于克服现有分割方法的不足，针对外半规管体积微小、形状复杂的问题，提出一种基于3D多尺度池化特征融合网络的颞骨外半规管分割方法，实现对颞骨CT中外半规管的自动分割。
本发明是采用以下技术手段实现的：
一种基于编解码网络结构的外半规管3D分割方法。该方法的整体架构主要分为两个阶段：编码阶段和解码阶段，如附图1所示。
编码阶段包括密集连接块、空洞卷积块和多尺度-模式池化特征融合模块。
解码阶段包括转置卷积恢复特征图分辨率、跳跃连接补充细节信息和联合损失函数指导网络训练。
该方法包括以下步骤：
1)编码阶段：
第一步，密集连接块和空洞卷积模块提取特征。从分辨率为420×420×60的颞骨CT数据中抽取一个48×48×48的立方体送入网络，对该立方体进行体素归一化，再通过旋转进行数据增强。编码阶段中的2个密集连接块的层数分别为2和6，每层密集连接由2个卷积层组成，记Xl为lth层密集连接的输出，每层密集连接的输出特征图分别用x0…xh-1表示，密集连接块可以用公式(1)表示：
Xl-Fl([x0，x1，…，xl-1]) (1)
其中，Fl(.)是一个非线性组合函数，包含批正则化batch normalization、线性激活函数ReLU和3×3×3的卷积，卷积步长为1，卷积补边padding模式为SAME，膨胀率为1，并且在卷积操作后采用丢包操作dropout，丢包率drop rate为0.5。每层密集连接的输出特征图数，即增长率g为32，密集连接块输出的特征图数为密集连接块层数与增长率的乘积加密集连接块的输入特征图数。将第1个和第2个密集连接块输出的特征组分别记为F1和F2。
空洞卷积模块如附图2所示，由3个空洞卷积分支并联形成，每个分支中包含批正则化batch normalization、线性激活函数ReLU和3×3×3卷积操作，其中卷积操作步长为1，补边padding采用SAME模式，三个空洞卷积分支中卷积的膨胀率分别为1，2，3，除此之外网络中其余的卷积操作的膨胀率都为1，下面将不再说明；然后将3个空洞卷积分支得到的特征图在通道上进行拼接concat，最后再进行1×1×1卷积减少特征图通道数，1×1×1卷积步长为1，补边padding模式为SAME。将空洞卷积模块的输出记为F3。
第二步，多尺度-模式池化特征融合，其结构如附图3所示。首先采用批正则化batch normalization、线性激活函数ReLU和3×3×3卷积操作，卷积的步长为1，补边padding模式为SAME，卷积操作后采用丢包率drop rate为0.5的dropout层；然后同时进行池化尺寸为2×2×2的最大池化max pooling、3×3×3的最大池化max pooling、2×2×2的平均池化average pooling和3×3×3的平均池化average pooling，采用其他的池化尺寸会造成分割精度的下降，上述4个池化操作的步长都为2，池化操作中都采用补边padding，使得每个池化操作后的特征图分辨率相同，接下来在通道上拼接4个池化操作后的特征图；最后，再进行批正则化batch normalization、线性函数ReLU和3×3×3卷积操作，卷积操作步长为1，补边padding模式为SAME。
2)解码阶段：
第一步，采用转置卷积将特征图的分辨率逐步恢复到与输入数据相同的分辨率，同时采用跳跃连接，在本实验中为拼接操作concat，将编码阶段的信息传递到解码阶段以此来补充细节信息，其中解码阶段的转置卷积都采用4×4×4转置卷积，步长为2，补边padding模式为SAME。编码阶段中空洞卷积模块的输出F3为12×12×12分辨率的特征图，采用4×4×4转置卷积对其进行上采样，其输出记为T2，此时特征图分辨率恢复到24×24×24，T2与编码阶段第2个密集连接块的输出F2在通道上进行拼接；对拼接之后的特征图进行3×3×3卷积，得到特征组D2，将D2进行4×4×4转置卷积操作，输出记为T1，此时特征图上采样至48×48×48，与输入数据分辨率相同；同时将第2个密集连接块的输出进行4×4×4转置卷积，将特征图分辨率上采样至48×48×48，与第1个密集连接块的输出F1在通道上进行拼接，拼接后的特征图进行3×3×3卷积，输出记为M1，卷积步长为1，补边padding模式为SAME；然后将T1、M1和F1在通道上进行拼接，拼接后的特征图进行2次3×3×3卷积减少输出特征图的通道数，得到特征组D0，卷积步长为1，补边padding模式为SAME。
第二步，联合损失函数指导网络训练。对D2进行转置卷积得到特征组M2，将特征组M1和M2作为受监督的隐藏层，计算这2个隐藏层1×1×1卷积后特征图中的体素分类误差和DSC骰子损失作为辅助损失；再对特征组D0进行1×1×1卷积，计算卷积后特征图中的体素分类误差和DSC骰子损失，将其作为网络主干损失，网络主干损失和辅助损失构成联合目标损失函数指导网络训练。1×1×1卷积的步长为1，补边padding模式为SAME。
联合损失函数包括类型包括骰子损失函数和交叉熵损失函数，DSC骰子损失函数如公式(2)所示:
其中，G和P分别表示体素数据中的真实标注体素与预测标注，n表示体素总数，pi∈[0,1]和gi∈[0,1]分别表示第i个预测的体素和真实的体素类别。同时，为交叉熵损失函数引入权重W，如公式(3)所示：
N1是标注体素的数量，N0是立方体中的体素总数。交叉熵损失函数如公式(4)所示：
其中c表示待分割目标的类别数(包含背景)，qj表示第j个类别的真实分布，
表示第j个类别的预测分布。
基于上面定义的损失函数构建联合损失函数，如公式(5)所示：
其中L(G，P)和
分别为网络主干的DSC骰子损失函数和交叉熵损失函数，Lk和Hk分别为第k个受监督的隐藏层DSC骰子损失函数和交叉熵损失函数，m为受监督的隐藏层的个数，在本发明中为2，λk为第k个受监督的隐藏层损失函数的超参数，其取值范围为开区间0～1，这是因为联合损失函数中应以网络主干的损失函数为主，隐藏层的损失函数为辅，在本发明中超参数λk具体是λ1和λ2，取值分别为0.6和0.3，其中λ1为解码阶段特征组M1的超参数，λ2为解码阶段特征组M2的超参数。
为验证本发明方法的有效性，采用了骰子系数DSC评价分割精度。
本发明与现有技术相比，具有以下明显的优势：
本发明为充分利用CT数据的3D空间信息，在3D-Unet的基础上提出新的编码阶段特征提取模块，采用2个密集连接模块和1个空洞卷积模块进行特征的提取，其中密集连接模块用于特征的利用率和防止梯度消失的问题，空洞卷积模块用来提取多尺度的语义信息，此外，采用多尺度的池化特征融合策略，减少池化造成的信息损失；在解码阶段，利用转置卷积逐步恢复图像分辨率，跳跃连接补充细节信息，隐藏层的损失和网络主干的损失构成联合损失函数，共同监督网络的训练。所提出的方法通过改进编解码架构设计使分割网络更适用于外半规管等小目标的分割，提高分割精度，采用评价指标骰子系数DSC可达72.23％。
本发明的特点：
1.所述算法设计了一种新的3D编解码网络，用于外半规管等小器官的自动分割任务；
2.所述算法提出了在3D网络中同时采用密集连接模块和空洞卷积模块提取特征，增强特征的利用和提取多尺度的空间语义信息，并且采用多尺度-多模式的池化特征融合模块，减少因池化操作造成的信息损失，提升外半规管分割的准确性；
3.所述算法对部分隐藏层构造损失函数，和网络主干的损失函数构成联合损失函数，共同指导网络的训练；
附图说明：
图1、网络整体架构图；
图2、空洞卷积模块示意图；
图3、多尺度-模式池化模块示意图；
具体实施方式：
以下结合说明书附图，对本发明的实施加以说明：
本发明采用64例经手工标准化预处理的颞骨CT数据作为数据集。数据集中包含不同年龄、不同性别的正常人的颞骨CT数据，每例CT数据中包含60张分辨率为420×420图像，邀请了临床经验丰富的医生对颞骨CT数据中的外半规管进行了体素级标注，其中背景体素标注为0，外半规管体素标注为1。使用64例CT数据中的52例作为训练集，12例作为测试集，测试集中的12例数据同时作为验证集。
本发明提出方法整体架构图如附图1所示。算法主要分为两个阶段：编码阶段和解码阶段。
(1)编码阶段
编码阶段的具体实现步骤如下：
a)提取颞骨CT数据立方体和对应的标注数据立方体
颞骨CT数据分辨率为420×420×60，该分辨率过大不能直接作为网络输入，提取分辨率为48×48×48的立方体作为输入数据并提取其对应的标注数据立方体。检查提取的颞骨CT立方体对应的标注数据立方体中是否包含外半规管体素标注，若不包含外半规管体素标注说明抽取到的颞骨CT立方体不包含目标解剖结构，需要重新抽取直到标注立方体中包含外半规管体素标注。然后将颞骨CT立方体的体素值进行归一化处理。最后对提取到的数据和标注数据同时随机旋转一个角度进行数据增强，在实验中旋转角度的范围在-5°～5°。
b)卷积初步提取特征
对于提取到的颞骨CT数据立方体进行3×3×3卷积提取特征，卷积步长均为1，补边padding的模式采用SAME，膨胀率为1，在该网络架构中除空洞卷积分支中的卷积操作外，其余卷积操作中的膨胀率都为1，下面将不再说明，卷积后得到64个特征图。
c)密集连接块一
密集连接块一的层数为2，增长率g为32，每一层密集连接中包含批正则化batchnormalization、线性激活函数ReLU、3×3×3的卷积和丢包dropout这4个连续的操作，并且上述连续操作会进行2次，其中卷积的步长为1，补边padding的模式采用SAME。密集连接块一的输入为卷积初步提取特征输出的64个特征图，最后输出128个特征图，得到特征组F1。
d)多尺度-模式池化特征融合模块一
第一步：将密集连接块一输出的128个特征图输入到多尺度-模式池化特征融合模块一中。对输入的特征图依次进行批正则化batch normalization，线性激活函数ReLU和3×3×3卷积，其中卷积步长为1，补边padding模式为SAME，然后采用丢包dropout，丢包率为0.5，最后输出的特征图数为输入特征图数的0.5倍，即64个特征图。
第二步：对第一步中得到的特征图同时进行4次池化操作，2×2×2的最大池化maxpooling、3×3×3的最大池化max pooling、2×2×2的平均池化average pooling和3×3×3的平均池化average pooling，每次池化操作后输出64个特征图，然后将这4个池化操作输出的特征图在通道上进行拼接concat，得到256个特征图；
第三步：将256个特征图依次进行批正则化batch normalization，激活函数ReLU和1×1×1卷积，其中卷积步长为1，补边padding模式为SAME，最后输出128个特征图，为输入特征图数的0.5倍；
e)密集连接块二
密集连接块二的结构和密集连接块一的结构相似，不同的是密集连接块二的层数为6层，并且其输入为多尺度-模式池化特征融合模块一的输出，最后输出320个特征图，得到特征组F2。
f)多尺度池化特征融合模块二
多尺度-池化特征融合模块二的结构和多尺度池化特征融合模块一的结构相同，但其输入为密集连接块二的输出F2，最后输出的特征图个数为320。
g)空洞卷积模块
空洞卷积模块中的输入为多尺度-模式池化特征融合模块二输出的320个特征图，模块中先并联了3个空洞卷积分支，每个分支中包含3个连续的操作，分别为3×3×3卷积、批正则化batch normalization和线性激活函数ReLU，每个分支中卷积的步长为1，补边padding模式为SAME，最后每个分支输出320个特征图，不同的是3个空洞卷积分支中卷积操作的膨胀率分别为1、2、3。在并联结构之后，将这3个空洞卷积分支得到的特征图在通道上进行拼接concat，得到960个特征图，拼接后进行1×1×1的卷积、批正则化batchnormalization和线性函数ReLU，卷积操作的步长为1，补边padding模式为SAME，1×1×1卷积将特征图的数量从960减少到256个，得到特征组F3。
(2)解码阶段
解码阶段的具体实现步骤如下：
a)转置卷积恢复特征图分辨率、跳跃连接补充细节信息
第一步：编码阶段中的第1个、第2个密集连接块输出的特征组分别为F1,F2，空洞卷积块输出的特征组为F3，其中F1,F2，F3中的特征图分辨率分别为48×48×48，24×24×24，12×12×12。在解码阶段，对编码阶段得到的特征图进行转置卷积，恢复特征图分辨率，其中转置卷积都为4×4×4转置卷积，步长为2，补边padding模式为SAME。首先对F3特征进行转置卷积得到分辨率为24×24×24的特征图，之后再进行批正则化batch normalization和线性激活函数ReLU，得到包含128个特征图的特征组T2。同时，特征组T2和F2在通道上拼接concat，得到448个特征图，再对这448个特征图进行3×3×3卷积、正则化batchnormalization和线性激活函数ReLU，其中卷积步长为1，补边padding模式为SAME，最后得到包含256个特征图的特征组D2；
第二步：对特征组F2进行转置卷积、批正则化batch normalization和线性激活函数ReLU，最后输出64个分辨率为48×48×48的特征图，与特征组F1在通道上进行拼接，随后进行3×3×3卷积、批正则化batch normalization和线性激活函数ReLU，输出64个特征图，记为特征组M1，其中卷积步长为1，补边padding模式为SAME；对特征组D2进行转置卷积、批正则化batch normalization和线性激活函数ReLU，将特征图的分辨率恢复至48×48×48，得到64个特征图，记为特征组T1；将特征组F1，M1和T1在通道上进行拼接，得到特征图数为256的特征组D1。然后对D1进行3×3×3的卷积、正则化batch normalization、线性函数ReLU，输出64个特征图，其中卷积步长为1，补边padding模式为SAME；最后对64个特征图再进行3×3×3的卷积、正则化batch normalization和线性激活函数ReLU，输出32个特征图，得到特征组D0，其中卷积操作的步长为1，补边padding模式为SAME。
b)联合损失函数
第一步：对解码阶段输出的特征组D2采用转置卷积操作将特征图的分辨率恢复至48×48×48，记为特征组M2；然后用1×1×1的卷积输出2个特征图，卷积操作的步长为1，补边padding模式为SAME，最后采用softmax函数计算2个特征图中每个体素为目标解剖结构的概率值记为pred1；
第二步：对特征组M1同样采用1×1×1的卷积输出2个特征图，卷积操作的步长为1，补边padding模式为SAME，最后采用softmax函数计算2个特征图中每个体素的分类概率记为pred2；
第三步：对特征组D0采用1×1×1的卷积输出2个特征图，卷积操作的步长为1，补边padding模式为SAME，最后采用softmax函数计算每个体素的分类概率记为pred；
第四步：第一步和第二步得到的预测体素立方体为辅助预测结果，第三步得到的预测体素立方体为主干网络预测结果。将pred1、pred2和pred分别与真实标注groundtruth计算交叉熵损失函数和DSC骰子损失函数，辅助预测结果计算得到的损失函数与主干网络损失函数共同构成联合损失函数指导网络训练。
下面介绍网络训练和测试的过程：
网络输入数据的大小为48×48×48，标注数据中包含了2个标签，0表示背景，1表示目标解剖结构。网络的输出与输入的尺寸相同，输出2个立方体，其中分别表示对背景和前景的分割结果。
a)模型训练
网络训练时批大小设为1，初始的学习率为0.001，动量系数为0.5，每批训练完成后即随机在验证集中抽取一例数据进行验证。网络每隔5000次保存一次模型，一共迭代200000次，同时保存验证时DSC骰子系数最高的模型。
b)模型测试
因为每个人的CT数据的尺寸为420×420×60体素，而模型接收的输入数据尺寸为48×48×48，为此首先将待测试数据分解为若干个大小为48×48×48体素的立方体，按照重叠因子为4进行从左到右、从上到下的分解。然后将其分别送入训练好的模型中得到预测结果，最后将这些小立方体的预测结果重新组合起来得到最终的待测数据的分割结果。
所述分割算法与不同算法在外半规管分割上的DSC骰子系数结果如表1所示。
表1不同方法分割外半规管的结果
| DSC骰子系数 | |
| 3D-Unet | 57.99％ |
| 3D-DSD | 70.03％ |
| 2D FCN | 38.44％ |
| 3D-DenseSeg | 57.50％ |
| 3D-MFF | 72.23％ |
Claims (1)
1.一种基于编解码网络结构的外半规管3D分割方法，分为两个阶段：编码阶段和解码阶段
其特征在于：编码阶段包括密集连接块、空洞卷积块和多尺度-模式池化特征融合模块；
解码阶段包括转置卷积恢复特征图分辨率、跳跃连接补充细节信息和联合损失函数指导网络训练；
1)编码阶段：
第一步，密集连接块和空洞卷积模块提取特征；从分辨率为420×420×60的颞骨CT数据中抽取一个48×48×48的立方体送入网络，对该立方体进行体素归一化，再通过旋转进行数据增强；编码阶段中的2个密集连接块的层数分别为2和6，每层密集连接由2个卷积层组成，记Xl为lth层密集连接的输出，每层密集连接的输出特征图分别用xθ…xl-1表示，密集连接块用公式(1)表示：
Xl＝Fl([x0，x1，…，xi-1]) (1)
其中，Fl(.)是一个非线性组合函数，包含批正则化batch normalization、线性激活函数ReLU和3×3×3的卷积，卷积步长为1，卷积补边padding模式为SAME，膨胀率为1，并且在卷积操作后采用丢包操作dropout，丢包率drop rate为0.5；每层密集连接的输出特征图数，即增长率g为32，密集连接块输出的特征图数为密集连接块层数与增长率的乘积加密集连接块的输入特征图数；将第1个和第2个密集连接块输出的特征组分别记为F1和F2；
空洞卷积模块由3个空洞卷积分支并联形成，每个分支中包含批正则化batchnormalization、线性激活函数ReLU和3×3×3卷积操作，其中卷积操作步长为1，补边padding采用SAME模式，三个空洞卷积分支中卷积的膨胀率分别为1，2，3，除此之外网络中其余的卷积操作的膨胀率都为1；然后将3个空洞卷积分支得到的特征图在通道上进行拼接concat，最后再进行1×1×1卷积减少特征图通道数，1×1×1卷积步长为1，补边padding模式为SAME；将空洞卷积模块的输出记为F3；
第二步，多尺度-模式池化特征融合；首先采用批正则化batch normalization、线性激活函数ReLU和3×3×3卷积操作，卷积的步长为1，补边padding模式为SAME，卷积操作后采用丢包率drop rate为0.5的dropout层；然后同时进行池化尺寸为2×2×2的最大池化maxpooling、3×3×3的最大池化max pooling、2×2×2的平均池化average pooling和3×3×3的平均池化average pooling，上述4个池化操作的步长都为2，池化操作中都采用补边padding，使得每个池化操作后的特征图分辨率相同，接下来在通道上拼接4个池化操作后的特征图；最后，再进行批正则化batch normalization、线性函数ReLU和3×3×3卷积操作，卷积操作步长为1，补边padding模式为SAME；
2)解码阶段：
第一步，采用转置卷积将特征图的分辨率逐步恢复到与输入数据相同的分辨率，同时采用跳跃连接，在本实验中为拼接操作concat，将编码阶段的信息传递到解码阶段以此来补充细节信息，其中解码阶段的转置卷积都采用4×4×4转置卷积，步长为2，补边padding模式为SAME；编码阶段中空洞卷积模块的输出F3为12×12×12分辨率的特征图，采用4×4×4转置卷积对其进行上采样，其输出记为T2，此时特征图分辨率恢复到24×24×24，T2与编码阶段第2个密集连接块的输出F2在通道上进行拼接；对拼接之后的特征图进行3×3×3卷积，得到特征组D2，将D2进行4×4×4转置卷积操作，输出记为T1，此时特征图上采样至48×48×48，与输入数据分辨率相同；同时将第2个密集连接块的输出进行4×4×4转置卷积，将特征图分辨率上采样至48×48×48，与第1个密集连接块的输出F1在通道上进行拼接，拼接后的特征图进行3×3×3卷积，输出记为M1，卷积步长为1，补边padding模式为SAME；然后将T1、M1和F1在通道上进行拼接，拼接后的特征图进行2次3×3×3卷积减少输出特征图的通道数，得到特征组D0，卷积步长为1，补边padding模式为SAME；
第二步，联合损失函数指导网络训练；对D2进行转置卷积得到特征组M2，将特征组M1和M2作为受监督的隐藏层，计算这2个隐藏层1×1×1卷积后特征图中的体素分类误差和DSC骰子损失作为辅助损失；再对特征组D0进行1×1×1卷积，计算卷积后特征图中的体素分类误差和DSC骰子损失，将其作为网络主干损失，网络主干损失和辅助损失构成联合目标损失函数指导网络训练；1×1×1卷积的步长为1，补边padding模式为SAME；
联合损失函数包括类型包括骰子损失函数和交叉熵损失函数，DSC骰子损失函数如公式(2)所示:
其中，G和P分别表示体素数据中的真实标注体素与预测标注，n表示体素总数，pi∈[0,1]和gi∈[0,1]分别表示第i个预测的体素和真实的体素类别；同时，为交叉熵损失函数引入权重W，如公式(3)所示：
N1是标注体素的数量，N0是立方体中的体素总数；交叉熵损失函数如公式(4)所示：
其中c表示待分割目标的类别数，qj表示第j个类别的真实分布，
表示第j个类别的预测分布；
基于上面定义的损失函数构建联合损失函数，如公式(5)所示：
其中L(G，P)和
分别为网络主干的DSC骰子损失函数和交叉熵损失函数，Lk和Hk分别为第k个受监督的隐藏层DSC骰子损失函数和交叉熵损失函数，m为受监督的隐藏层的个数，为2，超参数λ1和λ2，取值分别为0.6和0.3，其中λ1为解码阶段特征组M1的超参数，λ2为解码阶段特征组M2的超参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011112867.8A CN112419322A (zh) | 2020-10-16 | 2020-10-16 | 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011112867.8A CN112419322A (zh) | 2020-10-16 | 2020-10-16 | 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112419322A true CN112419322A (zh) | 2021-02-26 |
Family
ID=74840157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011112867.8A Pending CN112419322A (zh) | 2020-10-16 | 2020-10-16 | 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419322A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950646A (zh) * | 2021-04-06 | 2021-06-11 | 高燕军 | 一种基于深度学习的hrct图像听小骨自动分割方法 |
| CN113298827A (zh) * | 2021-06-09 | 2021-08-24 | 东北大学 | 一种基于DP-Net网络的图像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059772A (zh) * | 2019-05-14 | 2019-07-26 | 温州大学 | 基于迁移vgg网络的遥感图像语义分割方法 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN110544264A (zh) * | 2019-08-28 | 2019-12-06 | 北京工业大学 | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
-
2020
- 2020-10-16 CN CN202011112867.8A patent/CN112419322A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN110059772A (zh) * | 2019-05-14 | 2019-07-26 | 温州大学 | 基于迁移vgg网络的遥感图像语义分割方法 |
| CN110544264A (zh) * | 2019-08-28 | 2019-12-06 | 北京工业大学 | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 姚发展;李智;王丽会;程欣宇;张健;: "深度迭代融合的脑部磁共振图像颅骨去除网络", 中国图象图形学报, no. 10, 16 October 2020 (2020-10-16) * |
| 尚群锋;沈炜;帅世渊;: "基于深度学习高分辨率遥感影像语义分割", 计算机系统应用, no. 07, 15 July 2020 (2020-07-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950646A (zh) * | 2021-04-06 | 2021-06-11 | 高燕军 | 一种基于深度学习的hrct图像听小骨自动分割方法 |
| CN113298827A (zh) * | 2021-06-09 | 2021-08-24 | 东北大学 | 一种基于DP-Net网络的图像分割方法 |
| CN113298827B (zh) * | 2021-06-09 | 2023-11-14 | 东北大学 | 一种基于DP-Net网络的图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544264B (zh) | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| Li et al. | A 3D deep supervised densely network for small organs of human temporal bone segmentation in CT images | |
| WO2023071531A1 (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| WO2022227407A1 (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
| CN112419322A (zh) | 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法 | |
| Lin et al. | Batformer: Towards boundary-aware lightweight transformer for efficient medical image segmentation | |
| CN111260639A (zh) | 多视角信息协作的乳腺良恶性肿瘤分类方法 | |
| CN115410046A (zh) | 基于深度学习的皮肤病舌象分类模型、建立方法及应用 | |
| CN116664588A (zh) | 基于掩码建模的3d医学图像分割模型建立方法及其应用 | |
| CN114612408B (zh) | 一种基于联邦深度学习的心脏图像处理方法 | |
| CN116779091A (zh) | 一种多模态网络互联融合的胸部影像诊断报告自动生成方法 | |
| CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割系统及方法 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| Du et al. | Segmentation and visualization of left atrium through a unified deep learning framework | |
| CN111862261A (zh) | 一种flair模态磁共振影像生成方法及系统 | |
| CN117611601A (zh) | 基于文字辅助的半监督3d医学图像分割方法 | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| CN117333497A (zh) | 一种基于掩码监督策略的高效建模的三维医学影像分割方法 | |
| CN116030078B (zh) | 多任务学习框架下结合注意力的肺叶分割方法及系统 | |
| CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |