CN114037714A - 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 - Google Patents
一种面向前列腺系统穿刺的3d mr与trus图像分割方法 Download PDFInfo
- Publication number
- CN114037714A CN114037714A CN202111288047.9A CN202111288047A CN114037714A CN 114037714 A CN114037714 A CN 114037714A CN 202111288047 A CN202111288047 A CN 202111288047A CN 114037714 A CN114037714 A CN 114037714A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- prostate
- network
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000002307 prostate Anatomy 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 title claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000002474 experimental method Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000002679 ablation Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 206010060862 Prostate cancer Diseases 0.000 description 3
- 102000007066 Prostate-Specific Antigen Human genes 0.000 description 3
- 108010072866 Prostate-Specific Antigen Proteins 0.000 description 3
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000002725 brachytherapy Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，包括以下步骤：分别获取前列腺3D MR与TRUS图像数据集；分别对数据集进行预处理，数据增强后得到训练数据集；构建分割生成器网络模型，分割生成器网络包括编码器、解码器、跳跃连接和Bottleneck模块；构建鉴别器网络模型，鉴别器网络用于区分分割生成器网络输出结果和Ground truth，并将鉴别结果用于分割生成器网络的训练；训练数据集随机划分为训练集和验证集两部分，采用训练数据集对分割生成器网络进行训练；建立分割效果的评估指标，通过消融实验和对比实验评估模型效果。本发明提供一种基于深度学习方法的，面向前列腺系统穿刺的3D MR与TRUS图像分割方法，实现3D MR与TRUS图像的实时准确分割。
Description
技术领域
本发明属于深度学习图像处理技术领域，尤其涉及医学图像分割技术，具体是一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法。
背景技术
前列腺癌高居全世界男性癌症致死率榜第二位，重在前期的预防与诊断，目前，前列腺癌的主流诊断方法是前列腺特异性抗原(Prostate Specific Antigen，PSA)检测，并继以穿刺活检，由于PSA存在特异性较差，敏感性不高的特点，故临床上将穿刺活检作为确诊前列腺癌的金标准。前列腺介入诊疗领域，医学影像引导的诊疗方法占据着主流地位，前列腺解剖结构和病灶的可视化主要依靠磁共振(Magnetic Resonance，MR)成像或经直肠超声(Transrectal Ultrasound，TRUS)成像，TRUS由于良好的实时性及普适性已经成为应用最广泛的医学成像模式。超声成像在活检、近距离放射治疗等众多临床介入诊疗应用场景中都是主要的成像模式，TRUS图像的特点包括：(1)操作简单，实时性好；(2)只能进行局部扫查，不利于前列腺整体显示；(3)相对分辨率不高，信噪比较低，易受斑点噪声干扰，腺体边缘不清晰。另一方面，多参数磁共振成像(multi-parameter Magnetic Resonanceimaging，mpMRI)是PCA分期及表征的理想工具，MR成像的特点包括：(1)图像整体清晰度高，软组织成像效果好，噪声干扰较少，腺体边界明显，病灶清晰；(2)成像时间长，操作复杂，难以满足介入手术对实时成像的要求。
由于MR和TRUS成像都存在严重缺陷(MR成像实时性差，TRUS成像质量低)，急需一种能够同时满足前列腺介入诊疗对于精度和实时性两方面要求的成像方法，对此，提出一种采用手动或半自动的分割方法来分割MR和TRUS图像，以便满足精度和实时性两方面要求。
然而，采用手动或半自动的分割方法来分割MR和TRUS图像完全依赖于医师的专业素养与身心状态。传统的自动分割方法主要分为基于轮廓和形状的方法、基于区域的方法以及混合方法，应用较为广泛的有主动形状模型、主动外观模型、水平集和图割方法，这些方法的实时性和泛化性都比较差。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，可以提高MR和TRUS图像分割的实时性和泛化性。
为了达到上述目的，本发明所采用的具体技术方案如下：
一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，具体包括以下步骤：
S1、分别获取前列腺3D MR与TRUS图像数据集；
S2、分别对上述两个数据集进行预处理，数据增强后得到训练数据集；
S3、构建分割生成器网络模型，分割生成器网络包括编码器、解码器、跳跃连接和Bottleneck模块；所述编码器用于提取图像的切片内上下文信息和切片间关联信息的三维特征，所述解码器用于融合特征生成最终的分割掩模，所述跳跃连接分别与所述编码器和解码器连接，用于减少编码器的低级语义特征与解码器的高级语义特征融合时的语义差异，为具有最多语义信息的通道赋予更大的权重，所述Bottleneck模块为编码器与解码器的中间连接部分，通过自注意力机制将编码器提取的细节特征和边缘信息传递到解码器，在每个解码器层后添加一个深度监督层，所述深度监督层通过与Ground truth计算得到的损失函数对分割生成器网络进行训练；
S4、构建鉴别器网络模型，鉴别器网络用于区分分割生成器网络输出结果和Ground truth，并将鉴别结果用于分割生成器网络的训练；
S5、训练数据集随机划分为训练集和验证集两部分，采用训练数据集对分割生成器网络进行训练；
S6、将训练集输入分割生成器网络，分割生成器网络输出的分割掩模与Groundtruth分别与输入图像拼接后输入鉴别器，计算损失函数并训练网络模型；
S7、将验证集输入分割生成器网络，分割生成器网络输出的分割掩模与Groundtruth分别与输入图像拼接后输入鉴别器，计算损失函数；
S8、建立分割效果的评估指标，通过消融实验和对比实验评估模型效果。
优选的，步骤S2具体包括以下步骤：
S201，对前列腺3D MR图像数据集进行重采样，截取MR图像以前列腺为中心的区域，对截取所得图像的所有像素进行灰度归一化处理；若前列腺3DTRUS图像数据集为同一设备采集后三维重建，则直接截取TRUS图像以前列腺为中心的区域，对截取所得图像的所有像素进行灰度归一化处理；
S202，通过数据增强对上述图像数据集进行扩增，得到训练数据集。
优选的，所述跳跃连接包括残差卷积块RC-Block和通道注意力机制模块C-Block，根据编码器层与解码器层间语义差异的严重程度调整RC-Block中卷积层的数量，通道注意力机制模块C-Block根据每个通道语义信息的丰富程度赋予不同的权重。
优选的，所述通道注意力机制模块C-Block包括注意力掩模生成和特征重标定两个步骤，输入特征图和注意力掩模逐元素相乘作为重标定后的输出特征图。
优选的，所述编码器、解码器均包括三维残差卷积块R-Block和三维密集残差卷积块DR-Block，三维残差卷积块R-Block用于浅层特征的提取和融合。
优选的，三维密集残差卷积块DR-Block的内部结构为Conv-BN-PReLU-Conv-Conv-BN-PReLU。
优选的，所述Bottleneck模块采用通道注意力和空间注意力组成的双注意力机制，两个注意力模块的处理过程为，分别根据体素间相关性与通道间相关性生成空间注意力矩阵与通道注意力矩阵，对输入特征图进行特征重校正，通过残差连接与输入特征图逐元素求和，使两个模块的输出都是在输入特征图基础上的优化，将两个模块处理后生成的特征图融合作为Bottleneck-Block的最终输出。
优选的，步骤S4中鉴别器网络包含7个卷积层。
优选的，步骤S6中损失函数设计如下：
每一个深度监督层的损失函数表示为Ld i(i＝1，2，3，4)，所有深度监督层的损失函数表示为：
式中，αi为每一个深度监督层的权重，网络最后输出特征图的损失函数为Lf，最终损失函数为：Lfinal＝Ld+Lf。
优选的，步骤S8中分割效果的评估指标为Dice相似系数、Hausdorff距离、相对体积误差和平均边界距离，DSC用于计算模型分割结果与Ground truth间的重合度，HD用于评估模型分割结果的边缘与Ground truth的边缘间的匹配程度，aRVD代表模型分割结果与Ground truth在前景体素上差异的百分比，ABD代表模型分割结果与Ground truth表面所有体素点间最短距离的平均值。
本发明的有益效果在于：提供一种基于深度学习方法的，面向前列腺系统穿刺的3D MR与TRUS图像分割方法，实现3D MR与TRUS图像的实时准确分割。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法的流程图；
图2是分割生成器网络的整体网络架构；
图3是密集卷积块DR-Block的结构示意图；
图4是残差卷积块R-Block的结构示意图；
图5是跳跃连接部分的残差卷积块RC-Block的结构示意图；
图6是跳跃连接处的通道注意力机制的结构示意图；
图7是Bottleneck模块的自注意力机制示意图；
图8是网络训练策略示意图；
图9是Promise12数据集分割效果图；
图10是超声数据集分割效果图；
图11是影像引导前列腺穿刺实验流程图；
图12是影像引导穿刺实验的机械结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
如图1-图12所示，本发明提出了一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，具体包括以下步骤：
S1、分别获取前列腺3D MR与TRUS图像数据集；
S1中数据集如下：3D MR图像的训练与验证采用Prostate MR ImageSegmentation 2012(Promise12)挑战赛提供的前列腺公开数据集。
S2、分别对上述两个数据集进行预处理，数据增强后得到训练数据集；
步骤S2具体包括以下步骤：
S201，对前列腺3D MR图像数据集进行重采样，空间分辨率重采样为0.625×0.625×1.5mm，为了降低无效数据对内存的占用和对网络性能的影响，以256×256×32的尺寸截取MR图像以前列腺为中心的区域，对截取所得图像的所有像素进行灰度归一化处理，保证网络输入数据分布的均匀性，以便网络的快速收敛和性能提升；若前列腺3D TRUS图像数据集为同一设备采集后三维重建，则以256×256×32的尺寸直接截取TRUS图像以前列腺为中心的区域，对截取所得图像的所有像素进行灰度归一化处理；
S202，通过数据增强对上述图像数据集进行扩增，得到训练数据集。由于涉及患者隐私、采集过程复杂、标注过程费时费力导致包含精确标签的数据过少，而深度学习三要素之一就是大规模的数据，所以必须通过数据增强对数据集进行扩增。主要通过旋转、平移和缩放等几何变换和亮度变换、对比度变换、Gamma变换、直方图均衡化、均值滤波和随机噪声等像素变换进行数据增强。
S3、构建分割生成器网络模型，分割生成器网络包括编码器、解码器、跳跃连接和Bottleneck模块；所述编码器用于提取图像的切片内上下文信息和切片间关联信息的三维特征，所述解码器用于融合特征生成最终的分割掩模，所述跳跃连接分别与所述编码器和解码器连接，用于减少编码器的低级语义特征与解码器的高级语义特征融合时的语义差异，为具有最多语义信息的通道赋予更大的权重，所述Bottleneck模块为编码器与解码器的中间连接部分，通过自注意力机制将编码器提取的更多细节特征和边缘信息传递到解码器，在每个解码器层后添加一个深度监督层，目的是避免梯度消失和梯度爆炸问题，同时使网络在小数据集下也能够快速收敛；所述深度监督层通过与Ground truth计算得到的损失函数对分割生成器网络进行训练；
深度监督层紧跟在解码器的卷积块之后，目的是解决梯度消失和信息丢失问题，深度监督层由一个反卷积层和一个卷积层构成，作用是将解码器卷积块提取的特征图上采样后再生成输入图像大小的分割掩模，通过与Ground truth计算得到的损失函数对网络进行训练。
分割生成器网络输入和输出图像尺寸均为256X256X8，编码器通过两种卷积块和两种下采样操作将特征图尺寸处理为8X8X1，解码器再将特征图尺寸逐步恢复到256X256X8。
所述编码器、解码器均包括三维残差卷积块R-Block和三维密集残差卷积块DR-Block，在R-Block的基础上再集成密集连接的三维卷积块DR-Block有利于多尺度特征的提取和融合，并且在网络较深时有效减小参数量。三维残差卷积块R-Block用于浅层特征的提取和融合，不在浅层使用三维密集残差卷积块DR-Block是为了避免参数量过大，进而使网络难以训练。最终的目标是尽可能加深网络，扩大感受野，提取更高维的语义信息。DR-Block同时融合残差连接和密集连接思想，残差连接和密集连接能够有效避免梯度消失或梯度爆炸的问题，同时增强数据流动，提高信息的利用效率。三维密集残差卷积块DR-Block的内部结构为Conv(1×1×1)-BN-PReLU-Conv(3×3×1)-Conv(1×1×D)-BN-PReLU。
各向异性深度可分离卷积Conv(3×3×1)-Conv(1×1×D)中的D代表输入卷积层的特征图的深度。深度可分离卷积将三维卷积操作分解为轴向平面内的二维卷积和轴向平面间的一维卷积操作，可以显著降低训练时的参数量和训练所需时间，避免前景与背景的严重不均衡，同时各项异性卷积更适合三维医学图像各个方向分辨率不同的特点。
在卷积操作后加上BN层，而没有使用dropout层。密集卷积可以缓解梯度消失的问题，同时叠加的多个Conv(3×3×1)-Conv(1×1×D)卷积块可以获得更大的感受野。为了避免特征图通道数过多，在每个密集卷积块的最后添加过渡层，结构为Conv(1×1×1)-BN-PReLU。最后通过残差连接将DR-Block的输入与经过DR-Block处理后的特征图逐通道逐元素相加。
所述跳跃连接包括残差卷积块RC-Block和通道注意力机制模块C-Block，避免编码器的低级语义特征与解码器的高级语义特征融合时存在过大语义差异的同时，为具有最多语义信息的通道赋予更大的权重。根据编码器层与解码器层间语义差异的严重程度调整RC-Block中卷积层的数量，通道注意力机制模块C-Block根据每个通道语义信息的丰富程度赋予不同的权重。
由于经过跳跃连接传输的编码器低级语义特征与解码器对应层级的高级语义特征间存在语义差异，尤其是早期的编码层与晚期的解码层间的语义差异可能非常大。U-Net中采用的直接跳跃连接很可能会造成学习过程不稳定，所以在跳跃连接中加入残差卷积块RC-Block，根据编码器层与解码器层间语义差异的严重程度调整RC-Block中卷积层的数量，本文跳跃连接中的残差卷积层数依次设置为10，8，6，4，2个。
跳跃连接中添加的注意力模块采用通道注意力机制。而在Bottleneck处添加的注意力模块采用自注意力机制，不借助于外部查询向量Q，通过对输入图像本身的操作来计算注意力权重。考虑到本文输入为三维图像且图像尺寸较大，自注意力机制计算量较大，内存占用较多，所以只在特征图分辨率最小的Bottleneck采用自注意力机制。跳跃连接中采用计算复杂度低，参数量小的通道注意力机制。
跳跃连接采用的通道注意力模块C-Block主要目的是根据每个通道语义信息的丰富程度赋予不同的权重。包括注意力掩模生成和特征重标定两个步骤，输入特征图和注意力掩模逐元素相乘作为重标定后的输出特征图。SENet是最早通过全局信息来调整通道间特征权重的注意力网络，但是在计算通道权重参数时采用两个全卷积层引入了大量参数，并且实验表明SENet中的降维操作给注意力机制带来了副作用。所以本文通过一维卷积来对部分通道间的信息进行交互，进而生成注意力权重，不同分辨率跳跃连接中通道注意力机制的一维卷积核大小依次为3，3，3，5，5。
优选的，通道注意力模块的输入特征图
可表示为[F1，F2，…Fi，…，FC]，其中C为通道数，H、W和D为每个通道的大小。先对每个通道进行全局平均池化生成
然后通过一维卷积生成注意力权重，紧接着通过sigmoid函数来建模不同通道间的非线性关系：
最后将输入特征图与注意力掩模逐通道相乘作为通道注意力模块的输出：
Mt(x)＝f(x)F。
优选的，编码器模块与解码器模块的中间连接部分——Bottleneck是网络中语义信息最为丰富的部分，也是决定最终分割精度的核心单元。网络中的语义信息分为通道维度和空间维度，空间维度关注分割对象的位置信息，通道维度关注分割对象的语义类别。为了充分提取编码器模块的多尺度语义信息，并为解码器模块进行多尺度信息融合做好准备，采用通道注意力和空间注意力组成的双注意力机制。
优选的，两个注意力模块的处理过程类似，首先，分别根据体素间相关性与通道间相关性生成空间注意力矩阵与通道注意力矩阵，然后对输入特征图进行特征重校正，接着通过残差连接与输入特征图逐元素求和，使两个模块的输出都是在输入特征图基础上的优化，最后将两个模块处理后生成的特征图融合作为Bottleneck-Block的最终输出。
优选的，空间注意力的输入特征图
卷积操作后分别生成
重构后为
其中N＝H×W×D为每个通道中体素个数。F1转置后与F2矩阵相乘，然后通过Softmax层生成空间特征图
特征图中体素间关系可表示为：
式中，
为缩放因子，使softmax后的分布更加平滑，将F3与S的转置矩阵相乘，然后重构为
最后再与输入特征图FI逐元素求和得到输出特征图
其中：
优选的，通道注意力机制直接将输入特征图
与FI的转置进行矩阵相乘，然后通过Softmax层生成通道特征图
通道间的关系可表示为：
将C转置后再和C矩阵相乘，再将结果重构为
最后再与输入特征图FI逐元素求和得到输出特征图
其中：
S4、构建鉴别器网络模型，鉴别器网络用于区分分割生成器网络输出结果和Ground truth，并将鉴别结果用于分割生成器网络的训练；
鉴别器网络包含7个卷积层。生成器网络输出的分割掩模与Ground truth分别与输入图像拼接后输入鉴别器。鉴别器的任务是区分网络输出结果和Ground truth，并将鉴别结果用于生成器的训练，逐步提高生成器的性能；生成器的任务是学习样本数据的分布来生成分割掩模，并使网络输出结果和Ground truth具有近乎相同的特征，使鉴别器难以区分。
S5、训练数据集随机划分为训练集和验证集两部分，采用训练数据集对分割生成器网络进行训练；
S6、将训练集输入分割生成器网络，分割生成器网络输出的分割掩模与Groundtruth分别与输入图像拼接后输入鉴别器，计算损失函数并训练网络模型；
步骤S6中损失函数设计如下：
每一个深度监督层的损失函数表示为Ld i(i＝1，2，3，4)，所有深度监督层的损失函数表示为：
式中，αi为每一个深度监督层的权重，网络最后输出特征图的损失函数为Lf，最终损失函数为：Lfinal＝Ld+Lf。
优选的，生成对抗网络(CGAN)的损失函数LGAN一般可以表示为：
其中，x和y分别代表原始图像和Ground truth，G(x)为生成器输出的预测分割掩模。LGAN可分为生成器损失LG和鉴别器损失LD两部分。其中生成器损失函数LG采用Dice损失函数：
权重参数λ设置为0.6，鉴别器损失函数LD采用二元交叉熵：
其中N代表图像数量，S代表体素数量，拉普拉斯平滑项避免了分母为0的情况，且保证在网络分割结果与Ground truth均不存在前景区域时损失函数为0。
Lf＝LD+LG
Ld i＝LG i+LD i
式中LG i和LD i分别代表每一个深度监督层输出特征图的生成器损失和鉴别器损失。
S7、将验证集输入分割生成器网络，分割生成器网络输出的分割掩模与Groundtruth分别与输入图像拼接后输入鉴别器，计算损失函数；计算损失函数的过程参照步骤S6，在本步骤中计算损失函数能够帮助完善分割生成器网络。
S8、建立分割效果的评估指标，通过消融实验和对比实验评估模型效果。
步骤S8中分割效果的评估指标为Dice相似系数、Hausdorff距离、相对体积误差和平均边界距离，DSC用于计算模型分割结果与Ground truth间的重合度，HD用于评估模型分割结果的边缘与Ground truth的边缘间的匹配程度，aRVD代表模型分割结果与Groundtruth在前景体素上差异的百分比，ABD代表模型分割结果与Ground truth表面所有体素点间最短距离的平均值。
如图9所示，第1列为预处理后的三维前列腺MR图像切片，第2列为专业医师标注的Ground Truth切片，第3列为3D U-Net网络输出的分割掩模和Ground Truth叠加后的切片，第4列为V-Net网络输出的分割掩模和Ground Truth叠加后的切片，第5列为本文网络输出的分割掩模和Ground Truth叠加后的切片，第6列为网络分割后的三维前列腺(GroundTruth，3D U-Net分割结果，V-Net分割结果，本文网络分割结果)。
如图10所示，第1列为预处理后的三维前列腺TRUS图像切片，第2列为专业医师标注的Ground Truth切片，第3列为3D U-Net网络输出的分割掩模和Ground Truth叠加后的切片，第4列为V-Net网络输出的分割掩模和Ground Truth叠加后的切片，第5列为本文网络输出的分割掩模和Ground Truth叠加后的切片，第6列为网络分割后的三维前列腺(GroundTruth，3D U-Net分割结果，V-Net分割结果，本文网络分割结果)。
图12为影像引导穿刺实验的机械结构，包括穿刺平台架1、固定在穿刺平台架1上的UR机械臂2和前列腺体膜固定架3、固定在穿刺平台架1内部的探头移动机构4以及与探头移动机构4固定连接的无线超声探头5，UR机械臂2上固定有穿刺部件，探头移动机构4驱动无线超声探头5移动，无线超声探头5获取超声影像。
本发明的有益效果在于：提供一种基于深度学习方法的，面向前列腺系统穿刺的3D MR与TRUS图像分割方法，实现3D MR与TRUS图像的实时准确分割。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。
Claims (10)
1.一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，具体包括以下步骤：
S1、分别获取前列腺3D MR与TRUS图像数据集；
S2、分别对上述两个数据集进行预处理，数据增强后得到训练数据集；
S3、构建分割生成器网络模型，分割生成器网络包括编码器、解码器、跳跃连接和Bottleneck模块；所述编码器用于提取图像的切片内上下文信息和切片间关联信息的三维特征，所述解码器用于融合特征生成最终的分割掩模，所述跳跃连接分别与所述编码器和解码器连接，用于减少编码器的低级语义特征与解码器的高级语义特征融合时的语义差异，为具有最多语义信息的通道赋予更大的权重，所述Bottleneck模块为编码器与解码器的中间连接部分，通过自注意力机制将编码器提取的细节特征和边缘信息传递到解码器，在每个解码器层后添加一个深度监督层，所述深度监督层通过与Ground truth计算得到的损失函数对分割生成器网络进行训练；
S4、构建鉴别器网络模型，鉴别器网络用于区分分割生成器网络输出结果和Groundtruth，并将鉴别结果用于分割生成器网络的训练；
S5、训练数据集随机划分为训练集和验证集两部分，采用训练数据集对分割生成器网络进行训练；
S6、将训练集输入分割生成器网络，分割生成器网络输出的分割掩模与Ground truth分别与输入图像拼接后输入鉴别器，计算损失函数并训练网络模型；
S7、将验证集输入分割生成器网络，分割生成器网络输出的分割掩模与Ground truth分别与输入图像拼接后输入鉴别器，计算损失函数；
S8、建立分割效果的评估指标，通过消融实验和对比实验评估模型效果。
2.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，步骤S2具体包括以下步骤：
S201，对前列腺3D MR图像数据集进行重采样，截取MR图像以前列腺为中心的区域，对截取所得图像的所有像素进行灰度归一化处理；若前列腺3DTRUS图像数据集为同一设备采集后三维重建，则直接截取TRUS图像以前列腺为中心的区域，对截取所得图像的所有像素进行灰度归一化处理；
S202，通过数据增强对上述图像数据集进行扩增，得到训练数据集。
3.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，所述跳跃连接包括残差卷积块RC-Block和通道注意力机制模块C-Block，根据编码器层与解码器层间语义差异的严重程度调整RC-Block中卷积层的数量，通道注意力机制模块C-Block根据每个通道语义信息的丰富程度赋予不同的权重。
4.根据权利要求3所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，所述通道注意力机制模块C-Block包括注意力掩模生成和特征重标定两个步骤，输入特征图和注意力掩模逐元素相乘作为重标定后的输出特征图。
5.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，所述编码器、解码器均包括三维残差卷积块R-Block和三维密集残差卷积块DR-Block，三维残差卷积块R-Block用于浅层特征的提取和融合。
6.根据权利要求5所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，三维密集残差卷积块DR-Block的内部结构为Conv-BN-PReLU-Conv-Conv-BN-PReLU。
7.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，所述Bottleneck模块采用通道注意力和空间注意力组成的双注意力机制，两个注意力模块的处理过程为，分别根据体素间相关性与通道间相关性生成空间注意力矩阵与通道注意力矩阵，对输入特征图进行特征重校正，通过残差连接与输入特征图逐元素求和，使两个模块的输出都是在输入特征图基础上的优化，将两个模块处理后生成的特征图融合作为Bottleneck-Block的最终输出。
8.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，步骤S4中鉴别器网络包含7个卷积层。
9.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，步骤S6中损失函数设计如下：
每一个深度监督层的损失函数表示为
所有深度监督层的损失函数表示为：
式中，αi为每一个深度监督层的权重，网络最后输出特征图的损失函数为Lf，最终损失函数为：Lfinal＝Ld+Lf。
10.根据权利要求1所述的一种面向前列腺系统穿刺的3D MR与TRUS图像分割方法，其特征在于，步骤S8中分割效果的评估指标为Dice相似系数、Hausdorff距离、相对体积误差和平均边界距离，DSC用于计算模型分割结果与Ground truth间的重合度，HD用于评估模型分割结果的边缘与Ground truth的边缘间的匹配程度，aRVD代表模型分割结果与Groundtruth在前景体素上差异的百分比，ABD代表模型分割结果与Ground truth表面所有体素点间最短距离的平均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288047.9A CN114037714B (zh) | 2021-11-02 | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288047.9A CN114037714B (zh) | 2021-11-02 | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114037714A true CN114037714A (zh) | 2022-02-11 |
| CN114037714B CN114037714B (zh) | 2024-05-24 |
Family
ID=
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757938A (zh) * | 2022-05-16 | 2022-07-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和系统 |
| CN114937186A (zh) * | 2022-06-14 | 2022-08-23 | 厦门大学 | 基于异质生成数据的神经网络无数据量化方法 |
| CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| CN115619810A (zh) * | 2022-12-19 | 2023-01-17 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
| CN115953412A (zh) * | 2023-02-03 | 2023-04-11 | 南方医科大学南方医院 | 前列腺超声分割模型的训练方法、分割方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180240233A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Deep Convolutional Encoder-Decoder for Prostate Cancer Detection and Classification |
| US20190370965A1 (en) * | 2017-02-22 | 2019-12-05 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Servic | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
| CN111583204A (zh) * | 2020-04-27 | 2020-08-25 | 天津大学 | 基于网络模型的二维序列磁共振图像的器官定位方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112613385A (zh) * | 2020-12-18 | 2021-04-06 | 成都三零凯天通信实业有限公司 | 一种基于监控视频的人脸识别方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技（北京）有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
| CN113240691A (zh) * | 2021-06-10 | 2021-08-10 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180240233A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Deep Convolutional Encoder-Decoder for Prostate Cancer Detection and Classification |
| US20190370965A1 (en) * | 2017-02-22 | 2019-12-05 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Servic | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN111583204A (zh) * | 2020-04-27 | 2020-08-25 | 天津大学 | 基于网络模型的二维序列磁共振图像的器官定位方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112613385A (zh) * | 2020-12-18 | 2021-04-06 | 成都三零凯天通信实业有限公司 | 一种基于监控视频的人脸识别方法 |
| CN112967300A (zh) * | 2021-02-23 | 2021-06-15 | 艾瑞迈迪医疗科技（北京）有限公司 | 基于多尺度融合网络的三维超声甲状腺分割方法及装置 |
| CN113240691A (zh) * | 2021-06-10 | 2021-08-10 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757938A (zh) * | 2022-05-16 | 2022-07-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和系统 |
| CN114757938B (zh) * | 2022-05-16 | 2023-09-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和系统 |
| CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| CN114937186A (zh) * | 2022-06-14 | 2022-08-23 | 厦门大学 | 基于异质生成数据的神经网络无数据量化方法 |
| CN115619810A (zh) * | 2022-12-19 | 2023-01-17 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
| CN115619810B (zh) * | 2022-12-19 | 2023-10-03 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
| CN115953412A (zh) * | 2023-02-03 | 2023-04-11 | 南方医科大学南方医院 | 前列腺超声分割模型的训练方法、分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN111161273B (zh) | 一种基于深度学习的医学超声图像分割方法 | |
| CN111354002A (zh) | 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法 | |
| CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN112330724A (zh) | 一种基于集成注意力增强的无监督多模态图像配准方法 | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
| CN114972378A (zh) | 一种基于掩码注意力机制的脑肿瘤mri图像分割方法 | |
| Liu et al. | 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN114037714B (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
| CN115937158A (zh) | 一种基于分层注意力机制的胃癌病灶区域分割方法 | |
| Mani | Deep learning models for semantic multi-modal medical image segmentation | |
| CN114037714A (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
| CN114419015A (zh) | 一种基于多模态配准的脑功能融合分析方法 | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |