CN116721253A - 一种基于深度学习的腹部ct图像多器官分割方法 - Google Patents
一种基于深度学习的腹部ct图像多器官分割方法 Download PDFInfo
- Publication number
- CN116721253A CN116721253A CN202310687349.6A CN202310687349A CN116721253A CN 116721253 A CN116721253 A CN 116721253A CN 202310687349 A CN202310687349 A CN 202310687349A CN 116721253 A CN116721253 A CN 116721253A
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature
- normalization
- layer
- relu activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 230000003187 abdominal effect Effects 0.000 title claims description 7
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 210000001015 abdomen Anatomy 0.000 claims abstract description 16
- 210000000056 organ Anatomy 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims description 48
- 238000010606 normalization Methods 0.000 claims description 45
- 238000011176 pooling Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 claims description 6
- 238000006731 degradation reaction Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 102100022117 Abnormal spindle-like microcephaly-associated protein Human genes 0.000 claims description 3
- 101000900939 Homo sapiens Abnormal spindle-like microcephaly-associated protein Proteins 0.000 claims description 3
- ZPCCSZFPOXBNDL-ZSTSFXQOSA-N [(4r,5s,6s,7r,9r,10r,11e,13e,16r)-6-[(2s,3r,4r,5s,6r)-5-[(2s,4r,5s,6s)-4,5-dihydroxy-4,6-dimethyloxan-2-yl]oxy-4-(dimethylamino)-3-hydroxy-6-methyloxan-2-yl]oxy-10-[(2r,5s,6r)-5-(dimethylamino)-6-methyloxan-2-yl]oxy-5-methoxy-9,16-dimethyl-2-oxo-7-(2-oxoe Chemical compound O([C@H]1/C=C/C=C/C[C@@H](C)OC(=O)C[C@H]([C@@H]([C@H]([C@@H](CC=O)C[C@H]1C)O[C@H]1[C@@H]([C@H]([C@H](O[C@@H]2O[C@@H](C)[C@H](O)[C@](C)(O)C2)[C@@H](C)O1)N(C)C)O)OC)OC(C)=O)[C@H]1CC[C@H](N(C)C)[C@@H](C)O1 ZPCCSZFPOXBNDL-ZSTSFXQOSA-N 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000000047 product Substances 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000007667 floating Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 210000000496 pancreas Anatomy 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 210000000952 spleen Anatomy 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的腹部CT图像多器官分割方法，具体实现为：(1)构建包含腹部CT图像和其对应的多器官分割结果的训练数据集；(2)设计一种基于双自注意力机制和多尺度特征融合的分割网络；(3)结合Dice损失与Focal损失构建网络损失函数；(4)利用训练数据集对网络进行训练；(5)运用训练好的网络分割腹部CT图像中的各器官区域。本发明通过采用双注意力和多尺度特征融合机制，可在引入非常少量的参数及浮点计算次数的情况下，更具针对性地建立长距离依赖，解决形状不规则的长条形器官分割精度低的问题。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于深度学习的腹部CT图像多器官分割方法。
背景技术
随着医学成像设备的更新迭代和智能医疗技术的不断发展，医学图像分割已经成为了计算机辅助诊断中不可或缺的步骤。腹部计算机断层扫描(Computed Tomography,CT)成像中的多器官分割有助于器官或组织的形态分析、疾病诊断、病灶定位、治疗方案制定等任务，提高计算机辅助诊疗的精度和效率。目前，临床上腹部多器官的分割主要依靠专家手动勾画，然而典型的CT扫描包含了数百个二维切片，逐个切片进行手动分割不仅耗时耗力，且分割精度可能会因为人长时间的工作而降低。不同切片中，各组织器官尤其是胰腺、食管等管腔类器官的大小、形态、位置等差别较大。器官间个体差异大，且不同器官之间相互毗邻、边界模糊，都给腹部CT序列的多器官分割带来了巨大困难。因此，开发精确、快速的腹部多器官自动分割方法成为了近年来的研究热点。
最近，随着人工智能与机器视觉技术的不断发展，基于神经网络与深度学习的医学图像分割方法逐渐成为了主流。卷积神经网络(Convolutional Neural Networks,CNNs)凭借其强大的非线性提取能力在计算机视觉领域取得了很好的效果。大部分基于CNN的分割方法仅通过加深网络或堆叠大量的局部卷积来提升性能，然而，该方式无法有效扩大网络感受野，不能很好地处理器官众多、情况复杂的腹部CT场景。
发明内容
针对现有技术的缺点与不足，本发明将双自注意力和多尺度特征融合机制融入U形深度卷积神经网络的构建，旨在提供一种基于深度学习的腹部CT图像多器官分割方法，在引入非常少量的参数及浮点计算次数的情况下，更具针对性地建立长距离依赖，解决形状不规则的长条形器官分割精度低的问题。
一种基于深度学习的腹部CT图像多器官分割方法，包括以下步骤：
(1)建立包含腹部CT图像和其对应的多器官分割结果的训练数据集A；
(2)构建一种基于双自注意力机制和多尺度特征融合的分割网络，称之为DAMF-Net，具体包括：
(2-a)采用带跳跃连接的U型结构作为网络基准框架，其中编码路径和解码路径分别由5个编码块和解码块级联组成，为了避免信息的冗余传递，同时增强小目标与边缘的识别能力，在相同层级的编码和解码块之间增加一条带残差块的跳跃连接，此外，为了补充感受野受限造成的信息损失、建立全局信息间的联系，同时轻量化网络，在网络最深层引入由多尺度信息融合模块和双自注意力模块并联构成的特征提取模块，其中多尺度信息融合模块简称为MSCF，双自注意力模块简称为DSA；
(2-b)步骤(2-a)所述的编码块，其特征在于，包括一个编码主路和残差支路，在编码主路中首先对输入特征图先后进行两次3×3卷积，前一个3×3卷积层后依次连接一个归一化层和ReLU激活层，后一个3×3卷积层后连接一个归一化层；为了防止出现网络退化，在编码块中增加了一个残差支路，将输入特征进行1×1卷积与归一化；然后，将残差支路与编码主路的结果相加，最后，通过ReLU激活层和2×2的最大池化层获取编码块的输出；
(2-c)步骤(2-a)所述的解码块，其特征在于，包括一个解码主路和残差支路，在解码主路中首先对输入特征图先后进行两次3×3卷积，前一个3×3卷积层后依次连接一个归一化层和ReLU激活层，后一个3×3卷积层后连接一个归一化层；为了防止出现网络退化，在编码块中增加了一个残差支路，将输入特征进行1×1卷积与归一化；然后，将残差支路与解码主路的结果相加，最后通过ReLU激活层和上采样获取编码块的输出，其中上采样采用2×2反卷积实现；
(2-d)步骤(2-a)所述的残差块，其特征在于，具体结构包括：将当前层级和下一层级编码块的输出均作为输入，其中当前层级编码块的输出记作Fi，下一层级编码块的输出记作Fi+1；残差块首先将Fi+1进行2×2的反卷积和ReLU激活操作，得到与Fi大小相同的特征图Fup，并将Fi与Fup进行相减，获取包含小目标和边缘细节的残差特征图Fsub＝Fi-Fup；为了进一步增强残差特征的表达，对Fsub进行连续两次3×3卷积操作，并在每次3×3卷积层后依次连接一个归一化层和ReLU激活层；
(2-e)步骤(2-a)所述的多尺度信息融合模块，即MSCF，其特征在于，具体结构包括：首先对输入特征Fin依次执行1×1卷积、归一化、ReLU激活操作得到特征Fconv1×1，该操作的目的是对通道数进行降维、减小参数数量、加快后续模块内的计算过程；然后，将Fconv1×1分别输入至金字塔池化模块中获取包含局部信息的特征FMS1，同时将Fconv1×1输入至各向异性条形池化模块中获取包含长距离上下文信息的特征FMS2；将FMS1和FMS2进行相加融合，再依次进行1×1的卷积和归一化操作得到融合多尺度特征信息的FMSCF；为了保证前后语义一致性，将输入特征Fin与FMSCF相加并通过ReLU激活层输出，然后依次执行3×3卷积、归一化、ReLU激活操作，最后通过1×1卷积将通道维度还原到输入特征的大小，得到输出特征Fout；
(2-f)步骤(2-e)所述的金字塔池化模块，记作PPM，其特征在于，具体结构包括：首先对输入特征Fconv1×1分别进行核为3×3、5×5、7×7的平均池化，得到不同尺度的特征图Fpool3×3、Fpool5×5和Fpool7×7，并分别对Fpool3×3、Fpool5×5和Fpool7×7依次进行3×3的卷积和归一化，得到特征图Fp1、Fp2、Fp3，然后，分别对Fp1、Fp2、Fp3进行核为3×3、5×5、7×7的反卷积，得到特征F1、F2、F3；最后，将F1、F2、F3进行相加融合，并依次执行ReLU激活、3×3卷积、归一化、ReLU激活得到特征FMS1：
(2-g)步骤(2-e)所述的各向异性条形池化模块，记作ASPM，其特征在于，具体结构包括：首先，使用大小为H×1和1×W的池化核分别从垂直和水平两个方向对Fconv1×1进行平均池化，生成特征图Fh和Fv，其中H和W分别表示输入特征图Fconv1×1的高和宽；然后，对Fh依次进行1×3卷积和归一化，得到特征F′h，对Fv依次进行3×1卷积和归一化得到特征F′v，并将获取的特征F′h和F′v分别沿着垂直和水平方向进行复制扩张，得到与输入特征Fconv1×1尺寸一致的特征图F1′、F2′；接着，对F1′和F2′进行相加融合，得到包含长距离上下文信息关系的特征Ffusion；最后，对Ffusion依次进行ReLU激活、3×3卷积、归一化、ReLU激活得到特征FMS2；
(2-h)步骤(2-a)所述的双自注意力模块，记作DSA，其特征在于，具体结构包括：由位置注意力模块和通道注意力模块并联构成，将输入特征Fdown分别输入位置注意力模块和通道注意力模块，获取特征FPAM和FCAM，然后将其相加融合，得到输出特征
(2-i)步骤(2-h)所述的位置注意力模块，记作PAM，其特征在于，具体结构包括：
(2-i-I)对于输入特征其中W′、H′为特征图的宽度和高度，C为特征图的通道数，在三个分支上分别对Fdown进行移位卷积，得到特征/>和/>
(2-i-Ⅱ)为了获取各像素间的相互依赖关系，采用reshape操作将Fp1和Fp2分别重构为和/>并将F′p1和F′p2进行矩阵相乘和Softmax激活，得到权重矩阵/>
(2-i-Ⅲ)将重构为/>并将F′p3与MPAM进行矩阵相乘，得到/>
(2-i-Ⅳ)将重构为/>并将F′pmap与输入特征Fdown进行相加融合，并通过移位卷积得到输出特征/>
(2-j)步骤(2-h)所述的通道注意力模块，记作CAM，其特征在于，整体结构与PAM类似，具体包括：
(2-j-Ⅰ)采用reshape操作在三个分支上分别将Fdown分别重构为
(2-j-Ⅱ)对Fc1进行转置，获取并将F′c1和Fc2进行矩阵相乘和Softmax激活，得到权重矩阵/>
(2-j-Ⅲ)将Fc3与MCAM进行矩阵相乘，得到
(2-j-Ⅳ)将重构为/>并将F′cmap与输入特征Fdown进行相加融合，并通过移位卷积得到输出特征/>
(3)结合Dice损失与Focal损失构建DAMF-Net网络的损失函数L：
L＝Lfocal+λLdice
其中，Lfocal和Ldice分别表示Focal损失和Dice损失，λ为权重系数，控制Focal损失和Dice损失的相对重要性，λ优选0.3～0.7之间的常数，表示由DAMF-Net网络将像素i预测为第t类的概率，/>表示像素i属于第t类的真实概率，NC表示待分割的类别总数，NP表示图像中像素数目，αt和γt为权重参数，用以减轻器官像素比例不平衡的影响；
(4)采用训练数据集A对DAMF-Net网络进行训练，直至损失函数L收敛；
(5)利用已训练好的网络对腹部CT图像进行测试，获取其中的多器官分割结果。
附图说明
图1本发明实施方式的DAMF-Net网络结构示意图
图2本发明实施方式的编码块结构示意图
图3本发明实施方式的解码块结构示意图
图4本发明实施方式的残差块结构示意图
图5本发明实施方式的多尺度信息融合模块结构示意图
图6本发明实施方式的各向异性条形池化模块结构示意图
图7本发明实施方式的双自注意力模块结构示意图
图8本发明实施方式得到的部分实验结果示例，其中，图8(a)～图8(d)为从FLARE数据集中随机挑选的四幅原始CT图像，图8(e)～图8(h)为采用本发明实施方式对图8(a)～图8(d)进行测试的结果
具体实施方式
实施例1
一种基于深度学习的腹部CT图像多器官分割方法，具体实施步骤如下：
(1)建立包含腹部CT图像和其对应的多器官分割结果的训练数据集A；
(2)构建一种基于双自注意力机制和多尺度特征融合的分割网络，称之为DAMF-Net，结构如图1所示，具体包括：
(2-a)采用带跳跃连接的U型结构作为网络基准框架，其中编码路径和解码路径分别由5个编码块和解码块级联组成，为了避免信息的冗余传递，同时增强小目标与边缘的识别能力，在相同层级的编码和解码块之间增加一条带残差块的跳跃连接，此外，为了补充感受野受限造成的信息损失、建立全局信息间的联系，同时轻量化网络，在网络最深层引入由多尺度信息融合模块和双自注意力模块并联构成的特征提取模块，其中多尺度信息融合模块简称为MSCF，双自注意力模块简称为DSA；
(2-b)步骤(2-a)所述的编码块，结构如图2所示，其特征在于，包括一个编码主路和残差支路，在编码主路中首先对输入特征图先后进行两次3×3卷积，前一个3×3卷积层后依次连接一个归一化层和ReLU激活层，后一个3×3卷积层后连接一个归一化层；为了防止出现网络退化，在编码块中增加了一个残差支路，将输入特征进行1×1卷积与归一化；然后，将残差支路与编码主路的结果相加，最后，通过ReLU激活层和2×2的最大池化层获取编码块的输出；
(2-c)步骤(2-a)所述的解码块，结构如图3所示，其特征在于，包括一个解码主路和残差支路，在解码主路中首先对输入特征图先后进行两次3×3卷积，前一个3×3卷积层后依次连接一个归一化层和ReLU激活层，后一个3×3卷积层后连接一个归一化层；为了防止出现网络退化，在编码块中增加了一个残差支路，将输入特征进行1×1卷积与归一化；然后，将残差支路与解码主路的结果相加，最后通过ReLU激活层和上采样获取编码块的输出，其中上采样采用2×2反卷积实现；
(2-d)步骤(2-a)所述的残差块，结构如图4所示，其特征在于，具体结构包括：将当前层级和下一层级编码块的输出均作为输入，其中当前层级编码块的输出记作Fi，下一层级编码块的输出记作Fi+1；残差块首先将Fi+1进行2×2的反卷积和ReLU激活操作，得到与Fi大小相同的特征图Fup，并将Fi与Fup进行相减，获取包含小目标和边缘细节的残差特征图Fsub＝Fi-Fup；为了进一步增强残差特征的表达，对Fsub进行连续两次3×3卷积操作，并在每次3×3卷积层后依次连接一个归一化层和ReLU激活层；
(2-e)步骤(2-a)所述的多尺度信息融合模块，即MSCF，结构如图5所示，其特征在于，具体结构包括：首先对输入特征Fin依次执行1×1卷积、归一化、ReLU激活操作得到特征Fconv1×1，该操作的目的是对通道数进行降维、减小参数数量、加快后续模块内的计算过程；然后，将Fconv1×1分别输入至金字塔池化模块中获取包含局部信息的特征FMS1，同时将Fconv1×1输入至各向异性条形池化模块中获取包含长距离上下文信息的特征FMS2；将FMS1和FMS2进行相加融合，再依次进行1×1的卷积和归一化操作得到融合多尺度特征信息的FMSCF；为了保证前后语义一致性，将输入特征Fin与FMSCF相加并通过ReLU激活层输出，然后依次执行3×3卷积、归一化、ReLU激活操作，最后通过1×1卷积将通道维度还原到输入特征的大小，得到输出特征Fout；
(2-f)步骤(2-e)所述的金字塔池化模块，记作PPM，其特征在于，具体结构包括：首先对输入特征Fconv1×1分别进行核为3×3、5×5、7×7的平均池化，得到不同尺度的特征图Fpool3×3、Fpool5×5和Fpool7×7，并分别对Fpool3×3、Fpool5×5和Fpool7×7依次进行3×3的卷积和归一化，得到特征图Fp1、Fp2、Fp3，然后，分别对Fp1、Fp2、Fp3进行核为3×3、5×5、7×7的反卷积，得到特征F1、F2、F3；最后，将F1、F2、F3进行相加融合，并依次执行ReLU激活、3×3卷积、归一化、ReLU激活得到特征FMS1：
(2-g)步骤(2-e)所述的各向异性条形池化模块，记作ASPM，结构如图6所示，其特征在于，具体结构包括：首先，使用大小为H×1和1×W的池化核分别从垂直和水平两个方向对Fconv1×1进行平均池化，生成特征图Fh和Fv，其中H和W分别表示输入特征图Fconv1×1的高和宽；然后，对Fh依次进行1×3卷积和归一化，得到特征F′h，对Fv依次进行3×1卷积和归一化得到特征F′v，并将获取的特征F′h和F′v分别沿着垂直和水平方向进行复制扩张，得到与输入特征Fconv1×1尺寸一致的特征图F1′、F2′；接着，对F1′和F2′进行相加融合，得到包含长距离上下文信息关系的特征Ffusion；最后，对Ffusion依次进行ReLU激活、3×3卷积、归一化、ReLU激活得到特征FMS2；
(2-h)步骤(2-a)所述的双自注意力模块，记作DSA，结构如图7所示，其特征在于，具体结构包括：由位置注意力模块和通道注意力模块并联构成，将输入特征Fdown分别输入位置注意力模块和通道注意力模块，获取特征FPAM和FCAM，然后将其相加融合，得到输出特征
(2-i)步骤(2-h)所述的位置注意力模块，记作PAM，其特征在于，具体结构包括：
(2-i-Ⅰ)对于输入特征其中W′、H′为特征图的宽度和高度，C为特征图的通道数，在三个分支上分别对Fdown进行移位卷积，得到特征/>和/>
(2-i-Ⅱ)为了获取各像素间的相互依赖关系，采用reshape操作将Fp1和Fp2分别重构为和/>并将F′p1和F′p2进行矩阵相乘和Softmax激活，得到权重矩阵/>
(2-i-Ⅲ)将重构为/>并将F′p3与MPAM进行矩阵相乘，得到/>
(2-i-Ⅳ)将重构为/>并将F′pmap与输入特征Fdown进行相加融合，并通过移位卷积得到输出特征/>
(2-j)步骤(2-h)所述的通道注意力模块，记作CAM，其特征在于，整体结构与PAM类似，具体包括：
(2-j-Ⅰ)采用reshape操作在三个分支上分别将Fdown分别重构为
(2-j-Ⅱ)对Fc1进行转置，获取并将F′c1和Fc2进行矩阵相乘和Softmax激活，得到权重矩阵/>
(2-j-Ⅲ)将Fc3与MCAM进行矩阵相乘，得到
(2-j-Ⅳ)将重构为/>并将F′cmap与输入特征Fdown进行相加融合，并通过移位卷积得到输出特征/>
(3)结合Dice损失与Focal损失构建DAMF-Net网络的损失函数L：
L＝Lfocal+λLdice
其中，Lfocal和Ldice分别表示Focal损失和Dice损失，λ为权重系数，控制Focal损失和Dice损失的相对重要性，本实施例优选λ＝0.4，表示由DAMF-Net网络将像素i预测为第t类的概率，/>表示像素i属于第t类的真实概率，NC表示待分割的类别总数，NP表示图像中像素数目，αt和γt为权重参数，用以减轻器官像素比例不平衡的影响，本实施例中优选αt＝1，γt＝2；
(4)采用训练数据集A对DAMF-Net网络进行训练，直至损失函数L收敛；
(5)利用已训练好的网络对腹部CT图像进行测试，获取其中的多器官分割结果。
实施例2
采用实施例1中的方法对FLARE公开数据集进行实验。FLARE是一个公布了361个腹部CT序列和其对应的分割金标准的数据集，分割目标主要为肝脏、脾脏、胰腺、肾脏。实验中将这361个CT序列按照2：8的比例划分成测试数据集和训练数据集。
本实施例实验环境基于Pytorch深度学习框架，所有训练均在Nvidia GeForceRTX3060-12GB GPU上完成，初始学习率为0.005，优化器设置为Adam，学习率按照ReduceLRPlateau策略更新。
本发明方法在FLARE数据集上获得的肝脏、脾脏、肾脏、胰腺的Dice值分别高达0.967、0.944、0.960、0.734。测试集上部分实验结果如图8所示，其中，图8(a)～图8(d)为从测试数据中随机挑选的四幅CT原始图像，图8(e)～图8(h)为采用实施例1中的方法对图8(a)～图8(d)进行测试的结果，可以看到，本发明方法可有效分割其中的肝脏、脾脏、肾脏、胰腺等器官。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (2)
1.一种基于深度学习的腹部CT图像多器官分割方法，其特征在于，包括以下步骤：
(1)建立包含腹部CT图像和其对应的多器官分割结果的训练数据集A；
(2)构建一种基于双自注意力机制和多尺度特征融合的分割网络，称之为DAMF-Net，具体包括：
(2-a)采用带跳跃连接的U型结构作为网络基准框架，其中编码路径和解码路径分别由5个编码块和解码块级联组成，为了避免信息的冗余传递，同时增强小目标与边缘的识别能力，在相同层级的编码和解码块之间增加一条带残差块的跳跃连接，此外，为了补充感受野受限造成的信息损失、建立全局信息间的联系，同时轻量化网络，在网络最深层引入由多尺度信息融合模块和双自注意力模块并联构成的特征提取模块，其中多尺度信息融合模块简称为MSCF，双自注意力模块简称为DSA；
(2-b)步骤(2-a)所述的编码块，其特征在于，包括一个编码主路和残差支路，在编码主路中首先对输入特征图先后进行两次3×3卷积，前一个3×3卷积层后依次连接一个归一化层和ReLU激活层，后一个3×3卷积层后连接一个归一化层；为了防止出现网络退化，在编码块中增加了一个残差支路，将输入特征进行1×1卷积与归一化；然后，将残差支路与编码主路的结果相加，最后，通过ReLU激活层和2×2的最大池化层获取编码块的输出；
(2-c)步骤(2-a)所述的解码块，其特征在于，包括一个解码主路和残差支路，在解码主路中首先对输入特征图先后进行两次3×3卷积，前一个3×3卷积层后依次连接一个归一化层和ReLU激活层，后一个3×3卷积层后连接一个归一化层；为了防止出现网络退化，在编码块中增加了一个残差支路，将输入特征进行1×1卷积与归一化；然后，将残差支路与解码主路的结果相加，最后通过ReLU激活层和上采样获取编码块的输出，其中上采样采用2×2反卷积实现；
(2-d)步骤(2-a)所述的残差块，其特征在于，具体结构包括：将当前层级和下一层级编码块的输出均作为输入，其中当前层级编码块的输出记作Fi，下一层级编码块的输出记作Fi+1；残差块首先将Fi+1进行2×2的反卷积和ReLU激活操作，得到与Fi大小相同的特征图Fup，并将Fi与Fup进行相减，获取包含小目标和边缘细节的残差特征图Fsub＝Fi-Fup；为了进一步增强残差特征的表达，对Fsub进行连续两次3×3卷积操作，并在每次3×3卷积层后依次连接一个归一化层和ReLU激活层；
(2-e)步骤(2-a)所述的多尺度信息融合模块，即MSCF，其特征在于，具体结构包括：首先对输入特征Fin依次执行1×1卷积、归一化、ReLU激活操作得到特征Fconv1×1，该操作的目的是对通道数进行降维、减小参数数量、加快后续模块内的计算过程；然后，将Fconv1×1分别输入至金字塔池化模块中获取包含局部信息的特征FMS1，同时将Fconv1×1输入至各向异性条形池化模块中获取包含长距离上下文信息的特征FMS2；将FMS1和FMS2进行相加融合，再依次进行1×1的卷积和归一化操作得到融合多尺度特征信息的FMSCF；为了保证前后语义一致性，将输入特征Fin与FMSCF相加并通过ReLU激活层输出，然后依次执行3×3卷积、归一化、ReLU激活操作，最后通过1×1卷积将通道维度还原到输入特征的大小，得到输出特征Fout；
(2-f)步骤(2-e)所述的金字塔池化模块，记作PPM，其特征在于，具体结构包括：首先对输入特征Fconv1×1分别进行核为3×3、5×5、7×7的平均池化，得到不同尺度的特征图Fpool3×3、Fpool5×5和Fpool7×7，并分别对Fpool3×3、Fpool5×5和Fpool7×7依次进行3×3的卷积和归一化，得到特征图Fp1、Fp2、Fp3，然后，分别对Fp1、Fp2、Fp3进行核为3×3、5×5、7×7的反卷积，得到特征F1、F2、F3；最后，将F1、F2、F3进行相加融合，并依次执行ReLU激活、3×3卷积、归一化、ReLU激活得到特征FMS1：
(2-g)步骤(2-e)所述的各向异性条形池化模块，记作ASPM，其特征在于，具体结构包括：首先，使用大小为H×1和1×W的池化核分别从垂直和水平两个方向对Fconv1×1进行平均池化，生成特征图Fh和Fv，其中H和W分别表示输入特征图Fconv1×1的高和宽；然后，对Fh依次进行1×3卷积和归一化，得到特征F′h，对Fv依次进行3×1卷积和归一化得到特征F′v，并将获取的特征F′h和F′v分别沿着垂直和水平方向进行复制扩张，得到与输入特征Fconv1×1尺寸一致的特征图F1′、F2′；接着，对F1′和F2′进行相加融合，得到包含长距离上下文信息关系的特征Ffusion；最后，对Ffusion依次进行ReLU激活、3×3卷积、归一化、ReLU激活得到特征FMS2；
(2-h)步骤(2-a)所述的双自注意力模块，记作DSA，其特征在于，具体结构包括：由位置注意力模块和通道注意力模块并联构成，将输入特征Fdown分别输入位置注意力模块和通道注意力模块，获取特征FPAM和FCAM，然后将其相加融合，得到输出特征
(2-i)步骤(2-h)所述的位置注意力模块，记作PAM，其特征在于，具体结构包括：
(2-i-Ⅰ)对于输入特征其中W′、H′为特征图的宽度和高度，C为特征图的通道数，在三个分支上分别对Fdown进行移位卷积，得到特征/>和
(2-i-Ⅱ)为了获取各像素间的相互依赖关系，采用reshape操作将Fp1和Fp2分别重构为和/>并将F′p1和F′p2进行矩阵相乘和Softmax激活，得到权重矩阵/>
(2-i-Ⅲ)将重构为/>并将Fp′3与MPAM进行矩阵相乘，得到
(2-i-Ⅳ)将重构为/>并将Fp′map与输入特征Fdown进行相加融合，并通过移位卷积得到输出特征/>(2-j)步骤(2-h)所述的通道注意力模块，记作CAM，其特征在于，整体结构与PAM类似，具体包括：
(2-j-Ⅰ)采用reshape操作在三个分支上分别将Fdown分别重构为
(2-j-Ⅱ)对Fc1进行转置，获取并将Fc′1和Fc2进行矩阵相乘和Softmax激活，得到权重矩阵/>
(2-j-Ⅲ)将Fc3与MCAM进行矩阵相乘，得到
(2-j-Ⅳ)将重构为/>并将Fc′map与输入特征Fdown进行相加融合，并通过移位卷积得到输出特征/>(3)结合Dice损失与Focal损失构建DAMF-Net网络的损失函数L：
L＝Lfocal+λLdice
其中，Lfocal和Ldice分别表示Focal损失和Dice损失，λ为权重系数，控制Focal损失和Dice损失的相对重要性，表示由DAMF-Net网络将像素i预测为第t类的概率，/>表示像素i属于第t类的真实概率，NC表示待分割的类别总数，NP表示图像中像素数目，αt和γt为权重参数，用以减轻器官像素比例不平衡的影响；
(4)采用训练数据集A对DAMF-Net网络进行训练，直至损失函数L收敛；
(5)利用已训练好的网络对腹部CT图像进行测试，获取其中的多器官分割结果。
2.如权利要求1所述的一种基于深度学习的腹部CT图像多器官分割方法，其特征在于：步骤(3)中所述的损失函数权重系数λ优选0.3～0.7之间的常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310687349.6A CN116721253A (zh) | 2023-06-12 | 2023-06-12 | 一种基于深度学习的腹部ct图像多器官分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310687349.6A CN116721253A (zh) | 2023-06-12 | 2023-06-12 | 一种基于深度学习的腹部ct图像多器官分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116721253A true CN116721253A (zh) | 2023-09-08 |
Family
ID=87867399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310687349.6A Pending CN116721253A (zh) | 2023-06-12 | 2023-06-12 | 一种基于深度学习的腹部ct图像多器官分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721253A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726633A (zh) * | 2024-02-07 | 2024-03-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
-
2023
- 2023-06-12 CN CN202310687349.6A patent/CN116721253A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117726633A (zh) * | 2024-02-07 | 2024-03-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
| CN117726633B (zh) * | 2024-02-07 | 2024-04-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192245B (zh) | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 | |
| CN110675406A (zh) | 基于残差双注意力深度网络的ct图像肾脏分割算法 | |
| CN108596884B (zh) | 一种胸部ct图像中的食管癌分割方法 | |
| CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
| CN109584254A (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN110310287A (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| CN110544264A (zh) | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN110706214B (zh) | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 | |
| CN115170582A (zh) | 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法 | |
| CN111179237A (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
| CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
| CN111179269A (zh) | 一种基于多视图和3维卷积融合策略的pet图像分割方法 | |
| CN110942464A (zh) | 一种融合2维和3维模型的pet图像分割方法 | |
| CN116721253A (zh) | 一种基于深度学习的腹部ct图像多器官分割方法 | |
| CN114972248A (zh) | 基于注意力机制改进的U-net肝肿瘤分割方法 | |
| CN111127487B (zh) | 一种实时多组织医学图像的分割方法 | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
| CN112767407A (zh) | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 | |
| CN114596317A (zh) | 一种基于深度学习的ct影像全心脏分割方法 | |
| CN115457057A (zh) | 一种采用深监督策略的多尺度特征融合腺体分割方法 | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| JP2004097535A (ja) | 医用３次元画像データの領域分割方法 | |
| CN112489062B (zh) | 基于边界及邻域引导的医学图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |