CN117876370A - 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 - Google Patents
基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 Download PDFInfo
- Publication number
- CN117876370A CN117876370A CN202410271154.8A CN202410271154A CN117876370A CN 117876370 A CN117876370 A CN 117876370A CN 202410271154 A CN202410271154 A CN 202410271154A CN 117876370 A CN117876370 A CN 117876370A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- representing
- tumor
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 80
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 31
- 210000003734 kidney Anatomy 0.000 claims abstract description 60
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000005520 cutting process Methods 0.000 claims abstract description 10
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000011282 treatment Methods 0.000 claims description 10
- 210000001015 abdomen Anatomy 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000002759 z-score normalization Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004880 explosion Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，数据集生成模块中对CT图像进行预处理生成图像数据集；第一阶段模型获得模块中构建ATrans Unet深度学习网络并进行训练，得到第一阶段模型；第二阶段模型获得模块中对图像数据集进行处理得到第二阶段图像数据集，训练ATrans Unet深度学习网络得到第二阶段模型；掩膜获取模块中将CT图像输入第一阶段模型，得到第一掩膜，根据第一掩膜裁剪CT图像后输入第二阶段模型，得到第二掩膜；分割结果获得模块中结合第一掩膜和第二掩膜得到第三掩膜，并对其进行后处理得到最终的分割图像。本发明实现了CT图像序列中肾脏及其肿瘤区域的准确分割。
Description
技术领域
本发明属于计算机视觉技术以及人工智能技术领域，特别涉及基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统。
背景技术
放疗、化疗是肾肿瘤疾病的有效治疗手段之一，而肾脏和肾脏肿瘤的CT（ComputerTomography, 电子计算机断层摄影）图像分割是放射治疗的关键步骤，需要医生在患者肾脏CT图像中手动分割，但是一个三维的CT图像可以包含数百个2D切片，所以手工分割耗时耗力，且存在主观差异，因此，在医学图像分析领域开发稳健准确的图像分割工具是一项基本需求。
由于CT图像中肾脏病变区域形状复杂，而且存在像素占比较少等问题，因此在CT图像中进行肾脏肿瘤的三维分割任务具有诸多挑战。近年来，由于深度学习的快速发展，基于深度网络的分割模型准确度日益接近有经验的医师手动分割，尤其是基于CNN（Convolutional Neural Network, 卷积神经网络）的分割算法，在肾脏和肾脏肿瘤分割问题上取得了较大的成功。U-Net（U形深度神经网络模型）已成为医学图像分割任务中最流行的卷积网络。但由于卷积神经网络总是依靠层数的叠加和降低分辨率来获取更大的感受野，且卷积操作无法建模长距离的依赖关系，因此基于卷积的深度学习网络仍然存在一定的局限性。而在NLP（Natural LanguageProcessing, 自然语言处理）领域，基于Transformer的方法在许多任务中取得了最先进的性能。受此设计启发，研究人员自然地考虑利用Transformer模型对图像领域基于纯CNN的模型进行改善，以增强网络建模长距离关系的能力。而由于Transformer会消耗大量的GPU内存，现有的基于Transformer的分割网络通常在单个切片局部窗口内进行特征学习，对切片内空间信息以及切片间轴向信息表示存在不足。
发明内容
本发明所要解决的技术问题是：提出基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，以三维轴向Transformer模块为基础，融合多尺度特征与残差学习方式，构建了两阶段的肾脏肿瘤分割编解码网络ATrans Unet（Axial Transformer Unet, 轴向转换器U形网络模型）深度学习网络，并根据肾脏肿瘤图像特点构建了两阶段分割方法，提高了肾脏与肿瘤的分割精度。
本发明为解决上述技术问题采用以下技术方案：
基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，包括：
数据集生成模块，用于采集腹部CT图像，并标注出肾脏和肿瘤区域，得到的掩膜作为真实值，挑选包含肾脏和肿瘤区域的切片并预处理后生成图像数据集D1。
第一阶段模型获得模块，用于构建ATrans Unet深度学习网络，得到第一预测值，将图像数据集划分为训练集和测试集对该网络进行训练，得到第一阶段模型。
第二阶段模型获得模块，用于对图像数据集D1进行统一切片得到第二阶段图像数据集D2，并将D2划分为训练集和测试集，对ATrans Unet深度学习网络进行训练，得到第二阶段模型。
掩膜获取模块，将肾脏肿瘤的CT图像输入到第一阶段模型中，进行背景、目标区域（肾脏和肿瘤）的二类分割，得到肾脏和肿瘤区域的分割掩膜，记为第一掩膜；根据第一掩膜裁剪该CT图像后输入到第二阶段模型中进行背景、肾脏、肿瘤的三类分割，得到肾脏、肿瘤的分割掩膜，记作第二掩膜。
分割结果获得模块，用于结合第一掩膜和第二掩膜得到第三掩膜，并对其进行后处理得到最终的分割图像。
进一步的，数据集生成模块被配置以执行以下动作：
将腹部平扫CT图像中肾脏和肿瘤区域进行人工标注，得到真实值，其中0像素点代表背景，1像素点代表肾脏，2像素点代表肿瘤；将平扫CT图像进行预处理，包括B样条插值重采样、强度裁剪和Z-Score归一化，得到图像数据集D1。
进一步的，第一阶段模型获得模块被配置以执行以下动作：
步骤1、构建ATrans Unet深度学习网络，该网络包括自动编码器、瓶颈层、反卷积上采样模块、自动解码器和分割头，自动编码器与自动解码器之间跳跃连接，自动编码器与瓶颈层之间加入下采样，瓶颈层与自动解码器之间加入上采样，其中自动编码器包括五个模块，前四个模块均为卷积模块，第五个模块为一个四层的三维轴向Transformer模块；瓶颈层包括两组卷积-ReLu激活函数对和一个六层的三维轴向Transformer模块；反卷积上采样模块，使图像分辨率提高一倍，通道数下降一倍；自动解码器包括四个模块，每个模块包括两组卷积-ReLu激活函数对，模块之间加入反卷积上采样；分割头由一个二维卷积构成，用来保证输出的预测值的维度符合任务要求。
步骤2、将图像数据集D1按照设定比例分为训练集和测试集，其中训练集用于训练网络，测试集用于评估网络的分割能力；将尺寸为N×H×W×C的训练集输入到ATrans Unet深度学习网络中，其中N表示输入图像的切片数量，H表示输入图像的高度，W表示输入图像的宽度，C表示输入图像的通道数，经过自动编码器的第一个卷积模块，图像的通道数扩展为32，在第二、三、四个卷积模块中，每经过一个卷积模块通道数提高一倍且分辨率下降一倍，经过四个卷积模块后，输出第一特征图，图像尺寸为N×H B ×W B ×C B ，其中H B 表示第一特征图的高度，；W B 表示第一特征图的宽度，/>；C B 表示第一特征图的通道数，C B =256，利用三维轴向Transformer模块对第一特征图进行特征提取，得到第二特征图，此时输出的图像尺寸保持不变。
对第二特征图进行最大池化操作实现下采样使得图像分辨率下降一倍，通道数提升一倍，尺寸变为；经过瓶颈层，尺寸变为/>；经过反卷积操作实现上采样将图像尺寸提升一倍，通道数下降一倍，变为/>；经过自动解码器后尺寸变为N×H×W×32，经过分割头后尺寸变为N×H×W×1，1代表此阶段为二分类任务，只需要输出一个通道；经过Sigmoid激活函数扩大前景与背景的像素的距离，输出第一预测值。
步骤3、利用Dice Loss（骰子损失）和BCE Loss（Binary Cross Entropy Loss，交叉熵损失），计算第一预测值与真实值的误差，具体计算公式为：
；
；
；
其中，表示最终的损失函数，/>表示BCE的损失函数，/>表示骰子的损失函数，y、/>分别表示真实值和第一预测值。
将最终的损失函数经过反向传导，更新ATrans Unet深度学习网络的各个层参数，得到第一阶段模型。
进一步的，自动编码器中，每个卷积模块包括残差连接的两组卷积-ReLu激活函数对，用于进行特征提取，卷积和激活函数之间加入批量BN（BathNorm Layer, 归一化层），残差连接可以使高层网络信息在底层中更好的保存以及避免梯度爆炸的问题；每个卷积模块之间添加最大池化下采样和残差连接用来降低图像分辨率。
进一步的，三维轴向Transformer模块中的每层包括一组高度轴特征提取器和宽度轴特征提取器，每层之间加入残差连接，避免出现梯度爆炸问题；得到第二特征图包括以下内容：
经过一个1×1的卷积使得通道数降低，为C ’ B =C B /2，C ’ B 表示经过一个1×1卷积后的通道数，较小通道数有利于建模特征图组的全局相关性；将三维图像按照高维度平铺为二维，计算按高度轴的轴向注意力，具体公式为：
；
；
；
；
其中，x、y分别表示图像中像素格点的横坐标、纵坐标；表示像素点（x,y）处的输出；a表示累加系数，代表所累加的轴的长度；softmax表示softmax激活函数；/>表示像素点（x,y）处的查询键值；/>表示/>的转置；/>表示像素点（x,a）处的钥匙键值；分别表示像素点（x,a）处查询键值q、钥匙键值k和值键值v的相对位置编码；表示/>的转置；/>表示像素点（x,a）处的值键值；W Q 、W K 、W V 分别表示查询键值q、钥匙键值k和值键值v的线性映射矩阵，三个矩阵均为可学习矩阵；X (B)表示经过四个卷积模块后的图像；/>表示X (B)在像素点（x,y）处的像素值；C h 表示/>的维度，C h =C B /head，其中head表示多头注意力的头数；/>表示像素点（x,y）的钥匙键；/>表示像素点（x,y）的值键；/>表示/>与/>的维度大小；/>表示/>的维度大小。
再次进行特征重排，将三维图像按照宽度轴平铺为二维，计算按照宽度轴的轴向注意力，计算方法与按高度轴的轴向注意力的计算方法相同，经过1×1卷积学习特征的同时恢复通道数为C B ，经过一次归一化后输出第二特征图。
进一步的，第二阶段模型获得模块被配置以执行以下动作：
步骤1、将图像数据集D1进一步裁剪，取肾脏肿瘤最小外接矩形，只保留包含肾脏和肿瘤的区域，并统一大小，目的是增大目标区域的占比，得到第二阶段图像数据集D2。
步骤2、将第二阶段图像数据集D2按照设定比例分为训练集和测试集，将第二阶段图像数据集D2输入到ATrans Unet深度学习网络中，输出第二预测值，其中，D2经过自动编码器、瓶颈层、反卷积上采样模块、自动解码器时的过程与第一阶段模型获得模块中的相应过程相同，经过分割头时输出通道数设为3，第一个通道中的像素值代表背景的概率，第二通道的像素值代表肾脏区域的概率，第三个通道像素值代表肿瘤区域的概率，经过Softmax激活函数使得三个通道相同位置像素值和为1。
步骤3、利用Dice Loss（骰子损失）和CE Loss（Cross Entropy Loss, 交叉熵损失），计算第二预测值与真实值的误差，具体计算公式为：
；
；
其中，表示最终的损失函数，/>表示交叉熵损失函数，y i 表示第i类的真实值，/>表示第i类的第二预测值。
将最终的损失函数经过反向传导，更新ATrans Unet深度学习网络的各个层参数，得到第二阶段模型。
进一步的，掩膜获取模块被配置以执行以下动作：
对未经标注的腹部平扫CT图像进行预处理，预处理包括B样条插值重采样、强度裁剪和Z-Score归一化，输入到第一阶段模型中，得到相应的预测值，将预测值中大于0.5的像素值设定为目标区域（肾脏和肿瘤），并将像素值统一为1；小于等于0.5的像素值设定为背景区域，并将像素值统一为0，将该二分类掩膜为第一掩膜。
根据第一掩膜裁剪CT图像，仅保留肾脏和肿瘤区域，将裁剪后的图像输入到第二阶段模型中，得到肾脏、肿瘤、背景的三类分割预测值，该预测值包含三个通道，表明每个像素点均对应三个通道，若第一通道的像素值最大，则该像素点为背景，像素值设置为0；若第二通道的像素值最大，则该像素点为肾脏，像素值设置为1；若第三通道的像素值最大，则该像素点为肿瘤，像素值设置为2，至此得到第二阶段分割掩膜；根据裁剪恢复第二阶段分割掩膜至原始CT图像大小，得到三分类掩膜为第二掩膜。
进一步的，分割结果获得模块中后处理包括形态学操作（腐蚀和膨胀）、连通性分析和先验知识（人最多有2个肾脏）。
进一步的，分割结果获得模块被配置以执行以下动作：
取第一掩膜和第二掩膜非零区域的交集，保留两个掩膜共有的分割区域并进行合并，得到第三掩膜，其中像素值0表示背景，像素值1表示肾脏，像素值2表示肿瘤；利用常见的人类知识，一个人最多拥有2个肾脏，以及肿瘤一定依附于肾脏，对第三掩膜进行形态学膨胀操作，取最大的两个联通区域，若第二大联通区域体积小于最大联通区域体积的20%则舍弃第二大联通区域，反之则保留第二大联通区域，通过形态学腐蚀操作使图像还原，消除明显错误的预测，得到最终的分割图像。
本发明采用以上技术方案，与现有技术相比，其显著技术效果如下：
本发明将三个维度的复杂耦合关联分解为交替的两个轴向注意力，不仅能够实现单切片内空间关系的有效建模，并且融合了切片之间的轴向体关联信息。以三维轴向Transformer模块为基础，融合多尺度特征与残差学习方式，构建了两阶段的肾脏肿瘤分割编解码网络ATrans UNet，实现CT图像序列中肾脏及其肿瘤区域的准确分割。在Kits19数据集上，采用两阶段分割策略，肾脏和肾脏肿瘤分割结果的DSC（Dicesimilaritycoefficient, 戴斯相似性系数）分别是96.43%，81.04%，平均Dice得分对比2D-Unet提升8.4%，对比3D-Unet提升了4.84%。
附图说明
图1是本发明系统的实施流程图。
图2是本发明的ATrans Unet模型框架图。
图3是本发明的ATrans Unet模型中三维轴向Transformer层的具体配置结构图。
图4是本发明实施例中与其他模型分割效果对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明提出了基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，如图1所示，包括：
数据集生成模块，用于采集Kits19比赛数据集中的腹部CT图像，并标注出肾脏和肿瘤区域，其中有标注肾脏和肿瘤的CT图像210例，得到的掩膜作为真实值，挑选包含肾脏和肿瘤区域的切片并预处理后生成图像数据集D1。具体内容为：
将腹部平扫CT图像中肾脏和肿瘤区域进行人工标注，得到真实值，其中0像素点代表背景，1像素点代表肾脏，2像素点代表肿瘤；将平扫CT图像经过预处理，利用B样条插值重采样对所有CT图像进行B样条插值，重新采样为体素间距3.22×1.62×1.62mm；利用强度裁剪，限制每个样例序列图像的CT值在[-79, 304]范围内，排除异常强度值的影响；根据Z-Score归一化，将所有CT图像的像素值减去101后除以76.9，防止数据规范化时的压缩可能出现金属伪影的情况，保持较好的数据区分度。预处理后去除不包含肾脏和肿瘤的切片，剩余的8372张图片作为图像数据集D1。图像和掩膜均为PNG格式图片。
第一阶段模型获得模块，用于构建ATrans Unet深度学习网络，得到第一预测值，将图像数据集划分为训练集和测试集对该网络进行训练，得到第一阶段模型。具体内容为：
步骤1、如图2所示，构建ATrans Unet深度学习网络，该网络包括自动编码器、瓶颈层、反卷积上采样模块、自动解码器和分割头，自动编码器与自动解码器之间跳跃连接，自动编码器与瓶颈层之间加入下采样，瓶颈层与自动解码器之间加入上采样，其中自动编码器包括五个模块，前四个模块均为卷积模块，第五个模块为一个四层的三维轴向Transformer模块；每个卷积模块包括残差连接的两组卷积-ReLu激活函数对，用于进行特征提取，卷积和激活函数之间加入批量BN，残差连接可以使高层网络信息在底层中更好的保存以及避免梯度爆炸的问题；每个卷积模块之间添加最大池化下采样和残差连接用来降低图像分辨率。三维轴向Transformer模块中的每层包括一组高度轴特征提取器和宽度轴特征提取器，每层之间加入残差连接，避免出现梯度爆炸问题。
瓶颈层包括两组卷积-ReLu激活函数对和一个六层的三维轴向Transformer模块；反卷积上采样模块，使图像分辨率提高一倍，通道数下降一倍；自动解码器包括四个模块，每个模块包括两组卷积-ReLu激活函数对，模块之间加入反卷积上采样；分割头由一个二维卷积构成，用来保证输出的预测值的维度符合任务要求。
步骤2、按照病例归属，对于图像数据集D1，随机选取归属于168个病例的6680张图片作为训练集，剩余归属42个病例的1692张图片作为测试集。
以间隔为1取连续的20张切片，即尺寸为20×H×W×C的数据集输入到ATransUnet深度学习网络中，其中N表示输入图像的切片数量，H表示输入图像的高度，W表示输入图像的宽度，C表示输入图像的通道数，经过自动编码器的第一个卷积模块，图像的通道数扩展为32，在第二、三、四个卷积模块中，每经过一个卷积模块通道数提高一倍且分辨率下降一倍，经过四个卷积模块后，输出第一特征图，图像尺寸为，利用三维轴向Transformer模块对第一特征图进行特征提取，得到第二特征图，此模块不改变输入尺寸，此时尺寸仍然是/>。如图3所示，卷积1×1代表卷积核为1的一维卷积操作，“⊕”代表求和计算，具体内容为：
经过一个1×1的卷积使得通道数降低，为C ’ B =C B /2，C ’ B 表示经过一个1×1卷积后的通道数；将三维图像按照高维度平铺为二维，计算按高度轴的轴向注意力，具体公式为：
；
；
；
；
其中，x、y分别表示图像中像素格点的横坐标、纵坐标；表示像素点（x,y）处的输出；a表示累加系数，代表所累加的轴的长度；softmax表示softmax激活函数；/>表示像素点（x,y）处的查询键值；/>表示/>的转置；/>表示像素点（x,a）处的钥匙键值；分别表示像素点（x,a）处查询键值q、钥匙键值k和值键值v的相对位置编码；表示/>的转置；/>表示像素点（x,a）处的值键值；W Q 、W K 、W V 分别表示查询键值q、钥匙键值k和值键值v的线性映射矩阵，三个矩阵均为可学习矩阵；X (B)表示经过四个卷积模块后的图像；/>表示X (B)在像素点（x,y）处的像素值；C h 表示/>的维度，C h =C B /head，其中head表示多头注意力的头数；/>表示像素点（x,y）的钥匙键；/>表示像素点（x,y）的值键；表示/>与/>的维度大小；/>表示/>的维度大小；
再次进行特征重排，将三维图像按照宽度轴平铺为二维，计算按照宽度轴的轴向注意力，计算方法与按高度轴的轴向注意力的计算方法相同，经过1×1卷积学习特征的同时恢复通道数为C B ，经过一次归一化后输出第二特征图。
对第二特征图进行最大池化操作实现下采样使得图像分辨率下降一倍，通道数提升一倍，尺寸变为；经过瓶颈层，尺寸变为/>；经过反卷积操作实现上采样将图像尺寸提升一倍，通道数下降一倍，变为/>；经过自动解码器后尺寸变为N×H×W×32，经过分割头后尺寸变为N×H×W×1，1代表此阶段为二分类任务，只需要输出一个通道；经过Sigmoid激活函数扩大前景与背景的像素的距离，输出第一预测值。
步骤3、利用Dice Loss和BCE Loss，计算第一预测值与真实值的误差，具体计算公式为：
；
；
；
其中，表示最终的损失函数，/>表示BCE的损失函数，/>表示骰子的损失函数，y、/>分别表示真实值和第一预测值。
将最终的损失函数经过反向传导，更新ATrans Unet深度学习网络的各个层参数，得到第一阶段模型。
第二阶段模型获得模块，用于对图像数据集D1进行统一切片得到第二阶段图像数据集D2，并将D2划分为训练集和测试集，对ATrans Unet深度学习网络进行训练，得到第二阶段模型。具体内容为：
步骤1、将图像数据集D1进一步裁剪，取肾脏肿瘤最小外接矩形，只保留包含肾脏和肿瘤的区域，并统一大小，目的是增大目标区域的占比，得到第二阶段图像数据集D2。
步骤2、将第二阶段图像数据集D2按照设定比例分为训练集和测试集，将第二阶段图像数据集D2输入到ATrans Unet深度学习网络中，输出第二预测值，其中，D2经过自动编码器、瓶颈层、反卷积上采样模块、自动解码器时的过程与第一阶段模型获得模块中的相应过程相同，经过分割头时输出通道数设为3，第一个通道中的像素值代表背景的概率，第二通道的像素值代表肾脏区域的概率，第三个通道像素值代表肿瘤区域的概率，经过Softmax激活函数使得三个通道相同位置像素值和为1。
步骤3、利用Dice Loss和CE Loss，计算第二预测值与真实值的误差，具体计算公式为：
；
；
其中，表示最终的损失函数，/>表示交叉熵损失函数，y i 表示第i类的真实值，/>表示第i类的第二预测值。
将最终的损失函数经过反向传导，更新ATrans Unet深度学习网络的各个层参数，得到第二阶段模型。
本实施例中，训练网络的过程均是在NVIDIA RTX4090-24GB显卡上完成，初始学习率选择3e-4，动量设定为0.9，权重衰减系数恒定为10-4，在第100和180个Epoch是自动缩小0.1倍，总共训练250个Epoch；使用Adam优化器进行损失优化。
掩膜获取模块，将肾脏肿瘤的CT图像输入到第一阶段模型中，进行背景、目标区域（肾脏和肿瘤）的二类分割，得到肾脏和肿瘤区域的分割掩膜，记为第一掩膜；根据第一掩膜裁剪该CT图像后输入到第二阶段模型中进行背景、肾脏、肿瘤的三类分割，得到肾脏、肿瘤的分割掩膜，记作第二掩膜。具体内容为：
对未经标注的腹部平扫CT图像进行预处理，预处理包括B样条插值重采样、强度裁剪和Z-Score归一化，输入到第一阶段模型中，得到相应的预测值，将预测值中大于0.5的像素值设定为目标区域（肾脏和肿瘤），并将像素值统一为1；小于等于0.5的像素值设定为背景区域，并将像素值统一为0，将该二分类掩膜为第一掩膜。
根据第一掩膜裁剪CT图像，仅保留肾脏和肿瘤区域（肾脏和肿瘤最小外接矩形），将裁剪后的图像输入到第二阶段模型中，得到肾脏、肿瘤、背景的三类分割预测值，该预测值包含三个通道，表明每个像素点均对应三个通道，若第一通道的像素值最大，则该像素点为背景，像素值设置为0；若第二通道的像素值最大，则该像素点为肾脏，像素值设置为1；若第三通道的像素值最大，则该像素点为肿瘤，像素值设置为2，至此得到第二阶段分割掩膜；根据裁剪恢复第二阶段分割掩膜至原始CT图像大小，得到三分类掩膜为第二掩膜。
分割结果获得模块，用于结合第一掩膜和第二掩膜得到第三掩膜，并对其进行后处理得到最终的分割图像。其中后处理包括形态学操作、连通性分析和先验知识。具体内容为：
取第一掩膜和第二掩膜非零区域的交集，保留两个掩膜共有的分割区域并进行合并，得到第三掩膜，其中像素值0表示背景，像素值1表示肾脏，像素值2表示肿瘤；利用常见的人类知识，一个人最多拥有2个肾脏，以及肿瘤一定依附于肾脏，对第三掩膜进行形态学膨胀操作，取最大的两个联通区域，若第二大联通区域体积小于最大联通区域体积的20%则舍弃第二大联通区域，反之则保留第二大联通区域，通过形态学腐蚀操作使图像还原，消除明显错误的预测，得到最终的分割图像。
如图4、表1所示，利用DSC（Dice Similarity Coefficient, 戴斯系数）进行评估，通过对比本发明提出的方法与2D-Unet网络、3DUnet网络分割结果，对于不同大小的肾脏肿瘤区域，本发明提出的方法都有着更为优秀的分割效果，且对于肾脏区域边缘细节有着更为优秀的分割效果。
表1不同深度学习网络的分割精度
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (9)
1.基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，包括：
数据集生成模块，用于采集腹部CT图像，并标注出肾脏和肿瘤区域，得到的掩膜作为真实值，挑选包含肾脏和肿瘤区域的切片并预处理后生成图像数据集D1；
第一阶段模型获得模块，用于构建ATrans Unet深度学习网络，得到第一预测值，将图像数据集划分为训练集和测试集对该网络进行训练，得到第一阶段模型；
第二阶段模型获得模块，用于对图像数据集D1进行统一切片得到第二阶段图像数据集D2，并将D2划分为训练集和测试集，对ATrans Unet深度学习网络进行训练，得到第二阶段模型；
掩膜获取模块，将肾脏肿瘤的CT图像输入到第一阶段模型中，进行背景、目标区域的二类分割，得到肾脏和肿瘤区域的分割掩膜，记为第一掩膜；根据第一掩膜裁剪该CT图像后输入到第二阶段模型中进行背景、肾脏、肿瘤的三类分割，得到肾脏、肿瘤的分割掩膜，记作第二掩膜；
分割结果获得模块，用于结合第一掩膜和第二掩膜得到第三掩膜，并对其进行后处理得到最终的分割图像。
2.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，数据集生成模块被配置以执行以下动作：
将腹部平扫CT图像中肾脏和肿瘤区域进行人工标注，得到真实值，其中0像素点代表背景，1像素点代表肾脏，2像素点代表肿瘤；将平扫CT图像进行预处理，包括B样条插值重采样、强度裁剪和Z-Score归一化，得到图像数据集D1。
3.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，第一阶段模型获得模块被配置以执行以下动作：
步骤1、构建ATrans Unet深度学习网络，该网络包括自动编码器、瓶颈层、反卷积上采样模块、自动解码器和分割头，自动编码器与自动解码器之间跳跃连接，自动编码器与瓶颈层之间加入下采样，瓶颈层与自动解码器之间加入上采样，其中自动编码器包括五个模块，前四个模块均为卷积模块，第五个模块为一个四层的三维轴向Transformer模块；瓶颈层包括两组卷积-ReLu激活函数对和一个六层的三维轴向Transformer模块；自动解码器包括四个模块，每个模块包括两组卷积-ReLu激活函数对，模块之间加入反卷积上采样；分割头由一个二维卷积构成；
步骤2、将图像数据集D1按照设定比例分为训练集和测试集，其中训练集用于训练网络，测试集用于评估网络的分割能力；将尺寸为N×H×W×C的训练集输入到ATrans Unet深度学习网络中，其中N表示输入图像的切片数量，H表示输入图像的高度，W表示输入图像的宽度，C表示输入图像的通道数，经过自动编码器的第一个卷积模块，图像的通道数扩展为32，在第二、三、四个卷积模块中，每经过一个卷积模块通道数提高一倍且分辨率下降一倍，经过四个卷积模块后，输出第一特征图，图像尺寸为N×H B ×W B ×C B ，其中H B 表示第一特征图的高度，；W B 表示第一特征图的宽度，/>；C B 表示第一特征图的通道数，C B =256；利用三维轴向Transformer模块对第一特征图进行特征提取，得到第二特征图，此时输出的图像尺寸保持不变；
对第二特征图进行最大池化操作实现下采样使得图像分辨率下降一倍，通道数提升一倍，尺寸变为；经过瓶颈层，尺寸变为/>；经过反卷积操作实现上采样将图像尺寸提升一倍，通道数下降一倍，变为/>；经过自动解码器后尺寸变为N×H×W×32，经过分割头后尺寸变为N×H×W×1，1代表此阶段为二分类任务，只需要输出一个通道；经过Sigmoid激活函数扩大前景与背景的像素的距离，输出第一预测值；
步骤3、利用骰子损失和交叉熵损失，计算第一预测值与真实值的误差，具体计算公式为：
；
；
；
其中，表示最终的损失函数，/>表示BCE的损失函数，/>表示骰子的损失函数，y、/>分别表示真实值和第一预测值；
将最终的损失函数经过反向传导，更新ATrans Unet深度学习网络的各个层参数，得到第一阶段模型。
4.根据权利要求3所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，自动编码器中，每个卷积模块包括残差连接的两组卷积-ReLu激活函数对，卷积和激活函数之间加入批量归一化层；每个卷积模块之间添加最大池化下采样和残差连接。
5.根据权利要求3所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，三维轴向Transformer模块中的每层包括一组高度轴特征提取器和宽度轴特征提取器，每层之间加入残差连接；得到第二特征图包括以下内容：
经过一个1×1的卷积使得通道数降低，为C ’ B =C B /2，C ’ B 表示经过一个1×1卷积后的通道数，将三维图像按照高维度平铺为二维，计算按高度轴的轴向注意力，具体公式为：
；
；
；
；
其中，x、y分别表示图像中像素格点的横坐标、纵坐标；表示像素点（x,y）处的输出；a表示累加系数，代表所累加的轴的长度；softmax表示softmax激活函数；/>表示像素点（x,y）处的查询键值；/>表示/>的转置；/>表示像素点（x,a）处的钥匙键值；/>分别表示像素点（x,a）处查询键值q、钥匙键值k和值键值v的相对位置编码；/>表示/>的转置；/>表示像素点（x,a）处的值键值；W Q 、W K 、W V 分别表示查询键值q、钥匙键值k和值键值v的线性映射矩阵，三个矩阵均为可学习矩阵；X (B)表示经过四个卷积模块后的图像；/>表示X (B)在像素点（x,y）处的像素值；C h 表示/>的维度，C h =C B /head，其中head表示多头注意力的头数；/>表示像素点（x,y）的钥匙键；/>表示像素点（x,y）的值键；/>表示/>与的维度大小；/>表示/>的维度大小；
再次进行特征重排，将三维图像按照宽度轴平铺为二维，计算按照宽度轴的轴向注意力，计算方法与按高度轴的轴向注意力的计算方法相同，经过1×1卷积学习特征的同时恢复通道数为C B ，经过一次归一化后输出第二特征图。
6.根据权利要求5所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，第二阶段模型获得模块被配置以执行以下动作：
步骤1、将图像数据集D1进一步裁剪，取肾脏肿瘤最小外接矩形，只保留包含肾脏和肿瘤的区域，并统一大小，得到第二阶段图像数据集D2；
步骤2、将第二阶段图像数据集D2按照设定比例分为训练集和测试集，将第二阶段图像数据集D2输入到ATrans Unet深度学习网络中，输出第二预测值，其中，D2经过自动编码器、瓶颈层、反卷积上采样模块、自动解码器时的过程与第一阶段模型获得模块中的相应过程相同，经过分割头时输出通道数设为3，第一个通道中的像素值代表背景的概率，第二通道的像素值代表肾脏区域的概率，第三个通道像素值代表肿瘤区域的概率，经过Softmax激活函数使得三个通道相同位置像素值和为1；
步骤3、利用骰子损失和交叉熵损失，计算第二预测值与真实值的误差，具体计算公式为：
；
；
其中，表示最终的损失函数，/>表示交叉熵损失函数，y i 表示第i类的真实值，表示第i类的第二预测值；
将最终的损失函数经过反向传导，更新ATrans Unet深度学习网络的各个层参数，得到第二阶段模型。
7.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，掩膜获取模块被配置以执行以下动作：
对未经标注的腹部平扫CT图像进行预处理，预处理包括B样条插值重采样、强度裁剪和Z-Score归一化，输入到第一阶段模型中，得到相应的预测值，将预测值中大于0.5的像素值设定为目标区域，并将像素值统一为1；小于等于0.5的像素值设定为背景区域，并将像素值统一为0，将该二分类掩膜为第一掩膜；
根据第一掩膜裁剪CT图像，仅保留肾脏和肿瘤区域，将裁剪后的图像输入到第二阶段模型中，得到肾脏、肿瘤、背景的三类分割预测值，该预测值包含三个通道，表明每个像素点均对应三个通道，若第一通道的像素值最大，则该像素点为背景，像素值设置为0；若第二通道的像素值最大，则该像素点为肾脏，像素值设置为1；若第三通道的像素值最大，则该像素点为肿瘤，像素值设置为2，至此得到第二阶段分割掩膜；根据裁剪恢复第二阶段分割掩膜至原始CT图像大小，得到三分类掩膜为第二掩膜。
8.根据权利要求1所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，分割结果获得模块中后处理包括形态学操作、连通性分析和先验知识。
9.根据权利要求8所述的基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统，其特征在于，分割结果获得模块被配置以执行以下动作：
取第一掩膜和第二掩膜非零区域的交集，保留两个掩膜共有的分割区域并进行合并，得到第三掩膜，其中像素值0表示背景，像素值1表示肾脏，像素值2表示肿瘤；对第三掩膜进行形态学膨胀操作，取最大的两个联通区域，若第二大联通区域体积小于最大联通区域体积的20%则舍弃第二大联通区域，反之则保留第二大联通区域，通过形态学腐蚀操作使图像还原，得到最终的分割图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271154.8A CN117876370B (zh) | 2024-03-11 | 2024-03-11 | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410271154.8A CN117876370B (zh) | 2024-03-11 | 2024-03-11 | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876370A true CN117876370A (zh) | 2024-04-12 |
| CN117876370B CN117876370B (zh) | 2024-06-07 |
Family
ID=90594945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410271154.8A Active CN117876370B (zh) | 2024-03-11 | 2024-03-11 | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876370B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767407A (zh) * | 2021-02-02 | 2021-05-07 | 南京信息工程大学 | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 |
| WO2022132966A1 (en) * | 2020-12-15 | 2022-06-23 | Mars, Incorporated | Systems and methods for identifying cancer in pets |
| CN115880312A (zh) * | 2022-11-18 | 2023-03-31 | 重庆邮电大学 | 一种三维图像自动分割方法、系统、设备和介质 |
| CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| WO2023098289A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
| CN116596846A (zh) * | 2023-04-07 | 2023-08-15 | 北京航空航天大学 | 图像分割方法、图像分割模型构建方法、装置及介质 |
| US20230289984A1 (en) * | 2022-03-10 | 2023-09-14 | Siemens Healthcare Gmbh | Automatic mr-us prostate image fusion through semi-supervised constrained learning |
| CN116823850A (zh) * | 2023-06-01 | 2023-09-29 | 武汉大学 | 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统 |
| CN117274147A (zh) * | 2022-11-11 | 2023-12-22 | 杭州师范大学 | 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法 |
-
2024
- 2024-03-11 CN CN202410271154.8A patent/CN117876370B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022132966A1 (en) * | 2020-12-15 | 2022-06-23 | Mars, Incorporated | Systems and methods for identifying cancer in pets |
| CN112767407A (zh) * | 2021-02-02 | 2021-05-07 | 南京信息工程大学 | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 |
| WO2023098289A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
| US20230289984A1 (en) * | 2022-03-10 | 2023-09-14 | Siemens Healthcare Gmbh | Automatic mr-us prostate image fusion through semi-supervised constrained learning |
| CN117274147A (zh) * | 2022-11-11 | 2023-12-22 | 杭州师范大学 | 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法 |
| CN115880312A (zh) * | 2022-11-18 | 2023-03-31 | 重庆邮电大学 | 一种三维图像自动分割方法、系统、设备和介质 |
| CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| CN116596846A (zh) * | 2023-04-07 | 2023-08-15 | 北京航空航天大学 | 图像分割方法、图像分割模型构建方法、装置及介质 |
| CN116823850A (zh) * | 2023-06-01 | 2023-09-29 | 武汉大学 | 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| YAQI HU等: ""A New Approach for Liver Plus Its Tumor Segmentation in CT Image by TransNUNet"", 《2022 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND COMPUTER APPLICATIONS (ICAICA)》, 5 August 2022 (2022-08-05), pages 603 - 608 * |
| 徐宏伟等: ""基于残差双注意力U-Net 模型的 CT 图像囊肿肾脏自动分割"", 《计算机应用研究》, vol. 37, no. 7, 31 July 2020 (2020-07-31), pages 2237 - 2240 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876370B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111192245B (zh) | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 | |
| CN112418329B (zh) | 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统 | |
| CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
| CN113077471A (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
| CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
| CN111340828A (zh) | 基于级联卷积神经网络的脑部胶质瘤分割 | |
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| US20230043026A1 (en) | Learning-based active surface model for medical image segmentation | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN111373439B (zh) | 使用cnn进行图像分割的方法 | |
| Skeika et al. | Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging | |
| CN113838067B (zh) | 肺结节的分割方法和装置、计算设备、可存储介质 | |
| CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 | |
| Peng et al. | H-ProSeg: Hybrid ultrasound prostate segmentation based on explainability-guided mathematical model | |
| CN117058307A (zh) | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 | |
| CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN116958705A (zh) | 基于图神经网络的医学影像归类系统 | |
| CN116452619A (zh) | 一种基于高分辨率网络与边界增强的mri图像分割方法 | |
| CN117876370B (zh) | 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统 | |
| CN114612478B (zh) | 一种基于深度学习的女性盆腔mri自动勾画系统 | |
| CN115359140A (zh) | 一种基于神经网络的多特征感兴趣区域的自动勾画系统与方法 | |
| CN115115656A (zh) | 基于多中心tof-mra影像的脑血管分割方法及神经网络分割模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |