CN118229712B - 基于增强多维特征感知的肝脏肿瘤图像分割系统 - Google Patents

Abstract

基于增强多维特征感知的肝脏肿瘤图像分割系统属于医学图像分割技术领域。本发明利用核心融合网络结构进行深入的特征提取，确保肿瘤及其周围组织的关键信息被有效捕捉，从而减少了细节信息的丢失；关注度优化模块通过聚焦于图像中重要特征的学习，增强了模型在捕获边界模糊区域和小目标的能力，能够更准确地捕捉肿瘤边界和小肿瘤；自适应动态调整模块使网络结构能够根据训练进度动态调整，有效应对各种尺寸和形态的肿瘤，增强了模型的适应性和泛化能力；高级特征集成与优化模块提升了对肿瘤边界和细微结构的识别能力，确保了分割结果的高质量。本发明能够高准确度、高鲁棒性和高效率的肝脏肿瘤图像分割，避免了过拟合的情况发生。

Description

基于增强多维特征感知的肝脏肿瘤图像分割系统

技术领域

本发明属于医学图像分割技术领域，特别是涉及到一种基于增强多维特征感知的肝脏肿瘤图像分割系统。

背景技术

肝脏肿瘤的早期诊断与治疗依赖于高精度的医学影像分割技术。然而，肝脏肿瘤的形态多样性和与周围组织的低对比度对影像分割技术提出了更高的挑战。这些挑战包括但不限于肿瘤与正常肝组织间边界的模糊不清、肿瘤大小的极端变异以及影像质量的不一致性。

随着人工智能的快速发展，深度学习技术已广泛应用在医学领域。已有的深度学习模型包括U-Net、ResUnet、AttentionU-Net、DoubleU-Net等。U-Net是一种经典的深度学习模型，它采用编码器-解码器结构，通过卷积和池化操作进行特征提取和降维，然后通过上采样和反卷积操作进行重建和分割。这种结构能够有效地捕获图像中的局部和全局信息，提高了分割的准确性。然而，U-Net存在的主要问题是在处理边界模糊或小目标时，可能会丢失细节信息，导致分割结果不够精细。

ResUNet是基于ResNet和U-Net的结合，通过残差连接和跳跃连接有效地传递信息，提高了模型对于深层特征的利用和学习能力。这种结构可以更好地解决梯度消失和梯度爆炸问题，但是在处理较大图像时，模型可能出现过拟合的情况，导致泛化性能下降。

Attention U-Net引入了注意力机制，通过动态调整特征图的权重，使模型能够更加集中地关注重要的区域，从而提高了分割精度。然而，Attention U-Net在处理大规模数据时可能出现计算量大、训练速度慢的问题，且对于不同尺度的目标可能不够灵活。

DoubleU-Net通过双重解码器结构，同时从浅层和深层特征中提取信息，进一步增强了模型的表达能力和分割性能。但是，这种结构增加了模型的复杂度和参数量，可能导致过拟合和训练时间延长。

这些模型的局限性在于它们对于复杂场景或数据较少的情况下，泛化能力和性能仍有待提高。特别是在处理分割肝脏肿瘤图像这类边界模糊、低对比度或小目标等情况时，这些模型在细节捕捉、模型适应性、特征表示丰富性等方面存在明显不足。因此，需要进一步优化模型结构和训练策略，以提高模型的鲁棒性和泛化能力。

发明内容

本发明所要解决的技术问题是：提供一种基于增强多维特征感知的肝脏肿瘤图像分割系统用于解决现有的深度学习模型具有局限性，在处理分割肝脏肿瘤图像这类边界模糊、低对比度或小目标等情况时，在细节捕捉、模型适应性、特征表示丰富性等方面存在明显不足的技术问题。

基于增强多维特征感知的肝脏肿瘤图像分割系统，包括图像预处理模块、核心融合网络结构和自适应动态调整模块；所述图像预处理模块用于将三维CT图像数据按设定比例随机抽取区分为测试集、训练集和验证集，然后将测试集、训练集和验证集中的三维CT图像数据切片处理转换成二维切片图像数据、删除无效数据、对剩余数据进行窗口化处理与对比度调节、Min-Max规范化以及数据增强形成各自的数据集；所述核心融合网络结构包括高级特征集成与优化模块、编码器-解码器模块以及关注度优化模块，核心融合网络结构还与自适应动态调整模块连接，核心融合网络结构用于将自适应动态调整模块输出的调整后的输入特征图与图像预处理模块输出的原始输入特征图的特征依次通过高级特征集成与优化模块、编码器-解码器模块和卷积层进行编码、拼接、多维特征增强和图像分割后在核心融合网络结构的输出端输出分割后的肝脏肿瘤图像，核心融合网络结构利用增强后的测试集、训练集和验证集分别进行测试、训练和验证；

所述编码器-解码器模块中的编码器通过四个编码层进行连续四次下采样操作，分别得到1/2、1/4、1/8、1/16大小的特征图，编码器-解码器模块中的解码器通过四个解码层进行连续四次上采样操作将特征图大小还原，解码器的每个上采样过程中，编码器和对应的解码器之间均引入关注度优化模块对编码器得到的特征图进行特征优化，再通过跳跃连接方式将优化后的特征图传递给对应的解码器，解码器的第一个解码层与编码器的第四个编码层之间通过桥接层连接；

所述自适应动态调整模块包括顺次信号传输连接的两个编码层、一个桥接层、两个解码层和一个卷积层，自适应动态调整模块的输入为编码器-解码器模块中的第四个解码层的输出，自适应动态调整模块的输出信号传输给高级特征集成与优化模块，自适应动态调整模块在核心融合网络结构运行达到一次设定的训练轮数后均自动激活一次，自适应动态调整模块通过两次下采样、一次桥接和两次上采样操作，得到调整后的输入特征图，对核心融合网络结构的特征图进行动态调整；

所述高级特征集成与优化模块包括concat拼接模块、卷积块Ⅳ、平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块；所述concat拼接模块分别接收自适应动态调整模块输出的调整后的输入特征图以及图像预处理模块输出的原始输入特征图的特征信息，并进行拼接；所述卷积块Ⅳ将拼接后的特征图利用平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块进行特征融合，得到融合特征图并输出给编码器的第一个编码层；

所述关注度优化模块包括通道维度关注度优化子模块、空间维度关注度优化子模块和自适应权重调节模块；所述通道维度关注度优化子模块包括顺次信号传输连接的平均池化模块、双卷积模块、Sigmoid激活模块和特征加权模块，通道维度关注度优化子模块获得原始输入特征图的通道加权特征图；所述空间维度关注度优化子模块包括顺次信号传输连接的全局池化模块、特征拼接模块、卷积激活模块和特征加权模块，空间维度关注度优化子模块获得原始输入特征图的空间加权特征图；所述自适应权重调节模块将通道加权特征图和空间加权特征图与原始输入特征图进行逐元素相乘融合，再根据融合结果生成最终的优化特征图；所述优化特征图的尺寸与原始输入特征图的尺寸相同。

所述编码层由混合空洞卷积块HDC_Block和最大池化层组成；所述HDC_Block由三个扩张率不同空洞卷积块组成；所述空洞卷积块由依次信号传输连接的空洞卷积层、BN归一化层、ReLU激活层组成。

所述桥接层由依次信号传输连接的卷积层、BN归一化层、ReLU激活层、卷积层、BN归一化层、ReLU激活层组成。

所述解码层由一个转置卷积块和一个残差卷积块组成；所述转置卷积块由依次信号传输连接的转置卷积层，BN归一化层和ReLU激活层组成；所述残差卷积块由依次信号传输连接的卷积块Ⅱ、3Conv卷积块和残差连接、卷积块Ⅱ组成，其中第一个卷积块Ⅱ的输出和3Conv卷积块的输出在通道维度上相加，形成残差，残差连接的结果再通过卷积块Ⅱ形成最终的输出；所述3Conv卷积块由依次信号传输连接的卷积块Ⅱ、卷积块Ⅱ、卷积块Ⅲ组成；所述卷积块Ⅲ由卷积层，BN归一化层组成。

所述卷积块Ⅳ将拼接后的特征图利用平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块进行特征融合的具体顺序如下：

（1）首先卷积块Ⅳ的输出特征图X1执行路径一，依次经过平均池化层、卷积块Ⅱ、sigmoid函数激活层得到特征图X2；

（2）再执行路径二，将特征图X2与特征图X1输入至相乘处理模块，相乘得到特征图X3；

（3）再执行路径三，将特征图X1输入至卷积层得到特征图X4，再将特征图X4与特征图X3输入至相加处理模块相加，得到融合特征图。

所述卷积块Ⅳ由依次信号传输连接的卷积层，BN归一化层、ReLU激活层和droupout正则化层组成。

所述卷积块Ⅱ由依次信号传输连接的卷积层，BN归一化层和ReLU激活层组成。

所述最终的优化特征图通过通道加权特征图和空间加权特征图的融合公式获得，所述融合公式表示为：；

其中，是自适应权重，是模块的最终输出特征图；是原始输入特征图；是通道加权特征图；表示空间加权特征图。

所述通道维度关注度优化子模块获得通道加权特征图的步骤如下：

（1）通过平均池化模块，将尺寸为 H×W×C的原始输入特征图F通过平均池化压缩空间维度至 1×1，得到每个通道的全局特征1×1×C ，其中H表示高度，W表示宽度，C表示通道数；

（2）通过双卷积模块进行两层1x1卷积操作，对通道数降维得到1×1×C/r和恢复到1×1×C，双卷积模块的第一卷积层和第二卷积层中间加入了ReLU激活函数，C/r表示经过降维后的通道数，其中 r是降维比例；

（3）Sigmoid激活模块应用Sigmoid激活函数，生成每个通道的重要性权重，并形成通道关注度图；

（4）特征加权模块将通道关注度图与原始输入特征图进行逐元素相乘操作，得到各通道加权特征图；

通道关注度图以及通道加权特征图的公式表示为：

；

其中，是平均池化；是1×1卷积操作；是激活函数；是Sigmoid激活函数,用于生成每个通道的关注度权重。

所述空间维度关注度优化子模块获得空间加权特征图的步骤如下：

（1）通过全局池化模块，将尺寸为 H×W×C的原始输入特征图F进行通道维度的全局最大池化和全局平均池化，得到两个 H×W×1 的特征图，H表示高度，W表示宽度，C表示通道数；

（2）利用特征拼接模块，将全局最大池化和全局平均池化的结果，按照通道拼接，得到特征图尺寸为H×W×2；

（3）利用卷积激活模块，对拼接的结果进行7×7的卷积操作，得到特征图尺寸为 H×W×1，接着通过Sigmoid激活函数，获得空间位置的重要性权重，并形成空间关注度图；

（4）通过特征加权模块，将空间关注度图与原始输入特征图进行逐元素相乘操作，得到空间加权特征图，空间加权特征图的维度与原始输入特征图的维度相同；

空间关注度图以及空间加权特征图的公式表示为：；

其中，是全局最大池化； 在通道维度上的拼接操作，用于处理拼接后的特征图并捕捉空间信息；表示使用卷积核大小为7×7的卷积操作；是sigmoid函数，用于输出空间位置的关注度权重。

通过上述设计方案，本发明可以带来如下有益效果：

本发明能够减少信息丢失，提高细节捕捉与信息保留能力：核心融合网络结构通过深入的特征提取，确保肿瘤及其周围组织的关键信息被有效捕捉，从而减少了细节信息的丢失。关注度优化模块通过聚焦于图像中重要特征的学习，增强了系统模型在捕获边界模糊区域和小目标的能力，能够更准确地捕捉肿瘤边界和小肿瘤，改善分割细节的表现，直接对应解决U-Net在处理细节信息不足的问题。

本发明能够优化系统模型结构的灵活性与适应性：自适应动态调整模块使系统模型能够根据训练进度动态调整，使得系统模型在不同训练阶段能够关注于不同层次的特征学习，有效应对各种尺寸和形态的肿瘤，增强了系统的适应性和泛化能力。

本发明能够加强特征表示的丰富性与准确性：高级特征集成与优化模块通过融合来自原始输入特征图的特征与深层网络学习到的高级特征，实现了更为丰富和准确的特征表示。这不仅提升了模型对肿瘤边界和细微结构的识别能力，还确保了最终分割结果的高质量。

综上所述，本发明通过这些模块的综合设计和相互作用，智能地集中计算资源于关键特征，减少冗余计算，提升了训练和推理速度，同时保持了高分割精度，旨在提供一种在肝脏肿瘤分割中具有高准确度、高鲁棒性和高效率的解决方案，避免了过拟合，同时确保了优异的分割性能。它解决了现有技术在细节捕捉、模型适应性、特征表示丰富性方面的不足，展示了对复杂医学图像分析任务的明显优势。

附图说明

以下结合附图和具体实施方式对本发明作进一步的说明：

图1为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的结构框图；

图2为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的编码层结构框图；

图3为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的混合空洞卷积块HDC_Block结构框图；

图4为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的空洞卷积块内部结构框图；

图5为本发明中基于增强多维特征感知的肝脏肿瘤图像分割系统的编码器-解码器模块的工作流程图；

图6为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的桥接层结构框图；

图7为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的解码层结构框图；

图8为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的转置卷积块结构框图；

图9为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的残差卷积块结构框图；

图10为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的卷积块Ⅱ结构框图；

图11为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的3Conv卷积块结构框图；

图12为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的卷积块Ⅲ结构框图；

图13为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的高级特征集成与优化模块结构框图；

图14为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的关注度优化模块结构框图；

图15为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的通道维度关注度优化子模块工作原理图；

图16为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的空间维度关注度优化子模块工作原理图；

图17为本发明基于增强多维特征感知的肝脏肿瘤图像分割系统的卷积块Ⅳ结构框图。

具体实施方式

如图1所示，基于增强多维特征感知的肝脏肿瘤图像分割系统，包括图像预处理模块、核心融合网络结构和自适应动态调整模块；所述图像预处理模块用于将三维CT图像数据按设定比例随机抽取区分为测试集、训练集和验证集，然后将测试集、训练集和验证集中的三维CT图像数据切片处理转换成二维切片数据、删除无效数据、对剩余数据进行窗口化处理与对比度调节、Min-Max规范化以及数据增强形成各自的数据集；所述核心融合网络结构包括高级特征集成与优化模块、编码器-解码器模块以及关注度优化模块，核心融合网络结构还与自适应动态调整模块连接，核心融合网络结构用于将自适应动态调整模块输出的调整后的输入特征图与图像预处理模块输出的原始输入特征图的特征依次通过高级特征集成与优化模块、编码器-解码器模块和卷积层进行编码、拼接、多维特征增强和图像分割后在核心融合网络结构的输出端输出分割后的肝脏肿瘤图像，核心融合网络结构利用增强后的测试集、训练集和验证集分别进行测试、训练和验证。

所述编码器-解码器模块中的编码器通过四个编码层进行连续四次下采样操作，分别得到1/2、1/4、1/8、1/16大小的特征图，编码器-解码器模块中的解码器通过四个解码层进行连续四次上采样操作将特征图大小还原，解码器的每个上采样中编码器和对应的解码器之间利用关注度优化模块通过特征图的跳跃连接方式进行连接，解码器的第一个解码层与编码器的第四个编码层之间通过桥接层连接；

所述编码层由混合空洞卷积块HDC_Block和最大池化层组成，如图2所示；所述混合空洞卷积块HDC_Block由三个扩张率不同空洞卷积块组成，如图3所示。所述空洞卷积块由依次信号传输连接的空洞卷积层、BN归一化层、ReLU激活层组成，如图4所示。

所述自适应动态调整模块包括顺次信号传输连接的两个编码层、一个桥接层、两个解码层和一个卷积层，自适应动态调整模块的输入为编码器-解码器模块中的第四个解码层的输出，自适应动态调整模块的输出信号传输给高级特征集成与优化模块，自适应动态调整模块在核心融合网络结构运行达到一次设定的训练轮数后均自动激活一次，自适应动态调整模块通过两次下采样、一次桥接和两次上采样操作，得到调整后的输入特征图，对核心融合网络结构的特征图进行动态调整。

所述高级特征集成与优化模块用于将适应动态调整模块输出的调整后的输入特征图与图像预处理模块输出的原始输入特征图的特征信息进行编码和拼接并输入至卷积块Ⅳ后进行特征融合，得到融合特征图。

如图14所示，所述关注度优化模块包括通道维度关注度优化子模块、空间维度关注度优化子模块和自适应权重调节模块；如图15所示，所述通道维度关注度优化子模块包括顺次信号传输连接的平均池化模块、双卷积模块、Sigmoid激活模块和特征加权模块，通道维度关注度优化子模块获得原始输入特征图的通道加权特征图；如图16所示，所述空间维度关注度优化子模块包括顺次信号传输连接的全局池化模块、特征拼接模块、卷积激活模块和特征加权模块，空间维度关注度优化子模块获得原始输入特征图的空间加权特征图。

所述自适应权重调节模块利用通道加权特征图和空间加权特征图的融合公式，将通道加权特征图和空间加权特征图与原始输入特征图进行逐元素相乘并通过自适应权重调整通道加权特征图和空间加权特征图的融合结果，生成最终的优化特征图；所述优化特征图的尺寸与原始输入特征图的尺寸相同。

如图6所示，所述桥接层由依次信号传输连接的卷积层、BN归一化层、ReLU激活层、卷积层、BN归一化层、ReLU激活层组成。

如图7所示，所述解码层由一个转置卷积块和一个残差卷积块组成；如图8所示，所述转置卷积块由依次信号传输连接的转置卷积层，BN归一化层和ReLU激活层组成；如图9所示，所述残差卷积块由依次信号传输连接的卷积块Ⅱ、3Conv卷积块和残差连接、卷积块Ⅱ组成，其中第一个卷积块Ⅱ的输出和3Conv卷积块的输出在通道维度上相加，形成残差，残差连接的结果再通过卷积块Ⅱ形成最终的输出；如图11所示，所述3Conv卷积块由依次信号传输连接的卷积块Ⅱ、卷积块Ⅱ、卷积块Ⅲ组成；如图12所示，所述卷积块Ⅲ由卷积层，BN归一化层组成。

编码器中的编码层通过设定不同的扩张率来捕获图像特征的多尺度信息，同时通过适当的填充保持特征图大小不变。这种方法使得编码器能够在保持计算效率的同时，增强对图像细节的捕获能力。空洞卷积块能够逐步提取并细化图像特征。在编码器的不同阶段，通过调整扩张率，能够灵活地调整感受野，更好地适应肿瘤及其周围组织的特征变化。解码器通过上采样逐渐提升图像分辨率，并利用残差卷积块加强特征融合，通过跳跃连接策略与编码器对应层的特征进行融合，以优化分割精度。

如图13所示，所述高级特征集成与优化模块包括concat拼接模块、卷积块Ⅳ、平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块；所述concat拼接模块分别接收自适应动态调整模块输出的调整后的输入特征图以及图像预处理模块输出的原始输入特征图的特征信息，并进行拼接；所述卷积块Ⅳ将拼接后的特征图利用平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块进行特征融合，得到融合特征图并输出给编码器的第一个编码层。

所述特征融合的具体顺序如下：

（1）先卷积块Ⅳ的输出X1执行路径一，依次经过平均池化层、卷积块Ⅱ、sigmoid函数激活层得到X2；

（2）再执行路径二，将X2与X1输入至相乘处理模块，相乘得到X3；

（3）再执行路径三，将X1输入至卷积层得到X4，再将X4与X3输入至相加处理模块相加，得到融合特征图。

如图17所示，所述卷积块Ⅳ由依次信号传输连接的卷积层，BN归一化层、ReLU激活层和droupout正则化层组成。

如图10所示，所述卷积块Ⅱ由依次信号传输连接的卷积层，BN归一化层和ReLU激活层组成。

实施例

利用基于增强多维特征感知的肝脏肿瘤图像分割系统对肝脏肿瘤图像进行分割的方法，包括以下步骤，并且以下步骤顺次进行：

步骤一、数据集的获取与划分

选用的数据集为MICCAI2017LiTS挑战数据集。所述MICCAI2017LiTS挑战数据集中共有131名患者增强腹部CT图像，将图像对应标签后，为了过滤图像中的干扰信息，提高图像的整体质量，降低分割难度，对数据集进行预处理。

（1）划分数据集：将3维CT图像划分成训练集、验证集、测试集，去除13个不含肿瘤的3维CT图像和2个损坏的3维CT图像，随机挑选86名患者的3维CT图像作为训练集，6名患者的3维CT图像作为验证集，30名患者的3维CT图像作为测试集。

（2）切片处理：将训练集、验证集以及测试集的3维CT图像均做切片处理，转换成二维切片图像。二维切片图像数据更适合传统的卷积神经网络处理，且减少了计算资源需求。

（3）剔除无关二维切片图像数据：从训练集、验证集以及测试集中剔除不包含肝脏部位的二维切片图像数据以及对应标签，提高系统对肝脏识别的准确性，减少学习无关信息导致的干扰。处理完后训练集仅含肝脏部位的二维切片数据共12049个样本。

（4）窗口化处理与对比度调节：对二维切片图像数据进行窗口化处理，窗宽设为200 Hu，窗位设为40 Hu。

然后，进行对比度受限自适应直方图均衡化。增强肝脏与邻近器官的对比度，使肝脏区域更加明显，同时抑制图像噪声，为系统识别和学习提供清晰的视觉基础。

（5）Min-Max规范化：将窗口化后的图像灰度值进行Min-Max规范化，映射到[0, 1]区间内。统一图像数据尺度，减少系统进行模型训练时的计算冗余，加快收敛速度，提高模型训练效率。

（6）数据增强：将预处理完后的二维切片图像进行上下翻转、 左右翻转和随机角度旋转来扩充数据集获得增强后的测试集、训练集和验证集。在进行数据增强时，二维切片图像和对应的标签一同进行变换处理。

步骤二、通过核心融合网络结构与自适应动态调整模块结合，通过编码器-解码器模块的逐层加深方式，捕捉肿瘤及其周围组织的特征信息进行肝脏二维切片图像的特征提取，并利用测试集、训练集和验证集对所述的基于增强多维特征感知的肝脏肿瘤图像分割系统进行测试、训练和验证，最终获得能够实际应用的基于增强多维特征感知的肝脏肿瘤图像分割系统。

所述自适应动态调整模块的输入为编码器-解码器模块中的第四个解码层的输出，自适应动态调整模块输出至高级特征集成与优化模块，自适应动态调整模块在核心融合网络结构运行达到一次设定的训练轮数后均自动激活一次，自适应动态调整模块通过两次下采样、一次桥接和两次上采样操作，得到调整后的输入特征图，对核心融合网络结构的特征图进行动态调整。

核心融合网络结构中，高级特征集成与优化模块将自适应动态调整模块输出的调整后的输入特征图与图像预处理模块输出的原始输入特征图的特征进行拼接并输入至卷积块Ⅳ后，利用平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块进行特征融合，得到融合特征图。

其中，高级特征集成与优化模块特征融合的具体顺序如下：

（1）首先卷积块Ⅳ的输出X1执行路径一，依次经过平均池化层、卷积块Ⅱ、sigmoid函数激活层得到X2；

（2）再执行路径二，将X2与X1输入至相乘处理模块，相乘得到X3；

（3）再执行路径三，将X1输入至卷积层得到X4，再将X4与X3输入至相加处理模块相加，得到融合特征图。

将融合特征图输入至编码器-解码器模块的第一个编码层，编码器-解码器模块中编码器进行连续四次下采样操作，分别得到1/2、1/4、1/8、1/16大小的特征图，编码器-解码器模块中的解码器通过四个解码层进行连续四次上采样操作将特征图大小还原，解码器的每个上采样过程中，编码器和对应的解码器之间均引入关注度优化模块对编码器得到的特征图进行特征优化，再通过跳跃连接方式将优化后的特征图传递给对应的解码器，解码器的第一个解码层与编码器的第四个编码层之间通过桥接层连接。

经过大小还原后的特征图在第四个解码层输出至卷积层，该卷积层输出的图像即为基于增强多维特征感知的肝脏肿瘤分割图像。

以448*448图像经过编码器-解码器模块为例，如图5所示，编码器-解码器模块的具体流程如下：

（1）经过编码器

在编码器中设置空洞卷积的卷积核大小均为3*3，步长均为1，填充与扩张率相匹配（例如，扩张率为1时填充为1，扩张率为2时填充为2），特别设置了不同的扩张率，允许网络捕捉从细节到全局的特征，以在不增加额外计算负担的前提下扩大感受野。

编码器中的每个HDC_Block之间插入了最大池化层（卷积核大小为2*2，步长为2，无填充），用于实现下采样并减少特征图的空间维度。这不仅有助于减少计算负担，而且通过增加特征的抽象级别，为网络提供了更丰富的特征表示能力。

①图像经过数据预处理后进入编码器，首先经过第一个编码层，经过第一个HDC_Block（扩张率为[1,1,1]，输入通道为3，输出通道为32，卷积核大小为3*3，步长为1，填充为1）得到特征F1的尺寸为(1，32， 448，448)，特征F1经过最大池化层(卷积核大小为2*2，步长为2，无填充)得到特征图feature1的尺寸为 (1，32，224，224)。

②feature1经过第二个编码层，经过第二个HDC_Block(扩张率为[1,2,3]，输入通道为32，输出通道为64，卷积核大小为3*3，步长为1，填充分别为1，2，3)得到特征F2的尺寸为(1，64，224，224)，F2经过最大池化层(卷积核大小为2*2，步长为2，无填充)得到特征图feature2的尺寸为(1，64，112，112)。

③feature2经过第三个编码层，经过第三个HDC_Block(扩张率为[1, 3, 5]，输入通道为64，输出通道为128，卷积核大小为3*3，步长为1，填充分别为1，3，5)得到特征F3的尺寸为(1，128， 112，112)，特征F3经过最大池化层(卷积核大小为2*2，步长为2，无填充)得到特征图feature3的尺寸为 (1，128，56，56)。

④feature3经过第四个编码层，经过第四个HDC_Block(扩张率为[2, 5, 7]，输入通道为128，输出通道为256，卷积核大小为3*3，步长为1，填充分别为2，5，7)得到特征F4的尺寸为(1，256， 56，56)，特征F1经过最大池化层(卷积核大小为2*2，步长为2，无填充)得到特征图feature4的尺寸为 (1，256，28，28)。

（2）经过桥接层

在448*448的图像经过编码器后经过桥接层。桥接层包含两次3x3的卷积操作，第一次卷积（输入通道数为256，输出通道数为512，步长均为1，填充为1），第二次卷积（输入通道数为512，输出通道数为512，步长为1填充为1），然后经过BN归一化和ReLU激活函数得到特征图F5的尺寸为（1，512，28，28）。

（3）经过解码器

设置转置卷积层中卷积核大小为3*3，步长为2，填充为1，BN归一化层使用BatchNorm2d，激活层使用ReLU激活函数。

①经过桥接层后经过解码器，首先经过第四个解码层上采样，经过第四个转置卷积块（输入通道为512，输出通道为256，卷积核大小为3*3，步长为2，填充为1）得到特征图的尺寸为（1，256，56，56），经过残差块（输入通道为512，输出通道为256，卷积核大小为3*3，步长为1，填充为1）得到特征图的尺寸为(1，256，56，56)。

②经过第三个解码层，经过第三个转置卷积块（输入通道为256，输出通道为128，卷积核大小为3*3，步长为2，填充为1）得到特征图的尺寸为(1，128，112，112)，经过残差块（输入通道为256，输出通道为128，卷积核大小为3*3，步长为1，填充为1）得到特征图的尺寸为(1，128，112，112)。

③经过第二个解码层，经过第二个转置卷积块（输入通道为128，输出通道为64，卷积核大小为3*3，步长为2，填充为1）得到特征图的尺寸为(1，64，224，224)，经过残差块（输入通道为128，输出通道为64，卷积核大小为3*3，步长为1，填充为1）得到特征图的尺寸为(1，64，224，224)。

④经过第一个解码层1，经过第一个转置卷积块（输入通道为64，输出通道为32，卷积核大小为3*3，步长为2，填充为1）得到特征图的尺寸为(1，32，448，448)，经过残差块（输入通道为64，输出通道为32，卷积核大小为3*3，步长为1，填充为1）得到特征图的尺寸为(1，32，448，448)。

⑤特征图最后经过卷积层（输入通道为32，输出通道为2，卷积核大小为3*3，步长为1，填充为1）得到输出特征图的尺寸为（1，2，448，448）。

所述关注度优化模块包括通道维度关注度优化子模块、空间维度关注度优化子模块和自适应权重调节模块；所述通道维度关注度优化子模块获得原始输入特征图的通道加权特征图；所述空间维度关注度优化子模块获得原始输入特征图的空间加权特征图；自适应权重调节模块利用通道加权特征图和空间加权特征图的融合公式，将通道加权特征图和空间加权特征图与原始输入特征图进行逐元素相乘并通过自适应权重调整通道加权特征图和空间加权特征图的融合结果，生成最终的优化特征图，所述优化特征图的尺寸与原始输入特征图的尺寸相同；

其中，通道加权特征图和空间加权特征图的融合公式表示为：；

其中，是自适应权重，是模块的最终输出特征图；是原始输入特征图；是通道加权特征图；表示空间加权特征图。

所述步骤二中通道维度关注度优化子模块获得通道加权特征图的步骤如下：

（1）通过平均池化模块，将尺寸为 H×W×C的原始输入特征图F通过平均池化压缩空间维度至 1×1，得到每个通道的全局特征1×1×C ，其中H表示高度，W表示宽度，C表示通道数；

（2）通过双卷积模块进行两层1x1卷积操作，对通道数降维得到1×1×C/r和恢复到1×1×C，双卷积模块的第一卷积层和第二卷积层中间加入了ReLU激活函数，C/r表示经过降维后的通道数，其中 r是降维比例；

（3）Sigmoid激活模块应用Sigmoid激活函数，生成每个通道的重要性权重，并形成通道关注度图；

（4）特征加权模块将通道关注度图与原始输入特征图进行逐元素相乘操作，得到各通道加权特征图；

通道关注度图以及通道加权特征图的公式表示为：

；

其中，通道关注度图用于表征通道关注度优化的结果；是原始输入特征图；是平均池化；是1×1卷积操作；是激活函数；是Sigmoid激活函数,用于生成每个通道的关注度权重。

所述空间维度关注度优化子模块获得空间加权特征图的步骤如下：

（1）通过全局池化模块，将尺寸为 H×W×C的原始输入特征图F进行通道维度的全局最大池化和全局平均池化，得到两个 H×W×1 的特征图，H表示高度，W表示宽度，C表示通道数；

（2）利用特征拼接模块，将全局最大池化和全局平均池化的结果，按照通道拼接，得到特征图尺寸为H×W×2；

（3）利用卷积激活模块，对拼接的结果进行7×7的卷积操作，得到特征图尺寸为 H×W×1，接着通过Sigmoid激活函数，获得空间位置的重要性权重，并形成空间关注度图；

（4）通过特征加权模块，将空间关注度图与原始输入特征图进行逐元素相乘操作，得到空间加权特征图，空间加权特征图的维度与原始输入特征图的维度相同；

空间关注度图以及空间加权特征图的公式表示为：

；

其中，空间关注度图用于表征空间关注度优化的结果；是全局最大池化； 在通道维度上的拼接操作，用于处理拼接后的特征图并捕捉空间信息；表示使用卷积核大小为7×7的卷积操作；是sigmoid函数，用于输出空间位置的关注度权重 。

以尺寸为（1，32，448，448）的特征图为原始输入特征图输入至通道关注度优化模块为例，其处理流程如下：

（1）使用 AdaptiveAvgPool2d，原始输入特征图的空间维度从 (448, 448) 缩小到 (1, 1)，而通道数32保持不变，得到尺寸为 (1, 32, 1, 1) 的输出。

（2）经过第一个 Conv2d，通道数从 32 降低到 32/16=2，尺寸变为 (1, 2, 1,1)，应用 ReLU 激活函数，尺寸保持不变，经过第二个 Conv2d，通道数从 2 增加回 32，尺寸变回 (1, 32, 1, 1)。

（3）通过 Sigmoid 得到通道关注度权重，形成通道关注度图，尺寸仍然是 (1,32, 1, 1)。

（4）应用通道关注度优化模块：通道关注度图与原始输入特征图进行元素级乘法操作，逐通道调整特征图中每个通道的重要性。操作后，获得的空间加权特征图的尺寸不变，仍为1×32×448×448。

高级特征集成与优化模块能够赋予不同特征以不同的重要性，而这种差异化的重视则直接关系到模型在肿瘤边缘识别和细节表现上的精准度。

仍以448*448的图像作为原始输入特征图，经过高级特征集成与优化模块为例，其计算流程如下：

（1）特征拼接：首先将原始输入特征图以及自适应动态调整模块的输出图像分别输入至高级特征集成与优化模块的concat拼接模块进行拼接，将不同来源的特征图合并，这个合并过程增加了网络的宽度，为后续的卷积块提供了丰富的特征信息。原始输入特征图的尺寸为（1，3，448，448），输入通道数为3，输出通道数为6，得到特征图尺寸为（1，6，448，448）。

（2）卷积块Ⅳ：接着，特征图进入卷积块Ⅳ。卷积块Ⅳ由一个卷积层、BN归一化层和ReLU激活层组成。卷积层配置为输入通道数为6，输出通道数为3，卷积核大小为3*3，步长为1，填充为1。BN归一化层使用BatchNorm2d，激活层使用ReLU激活函数。处理后，得到的特征图FF的尺寸为（1，3，448，448）。

（3）经过卷积块Ⅳ后，卷积块Ⅳ的输出特征图X1首先执行路径一。

路径一：首先经过平均池化：通过平均池化层，其配置为池化核大小为3*3，步长为1，填充为1，从而得到特征图尺寸为（1，3，448，448）。然后，特征图进入卷积块Ⅱ（卷积核大小为3*3，步长为1，填充为1）。BN归一化层使用BatchNorm2d，激活层使用ReLU激活函数。经过处理后，得到特征图的尺寸不变，仍为（1，3，448，448）。接着，通过Sigmoid激活函数处理特征，将特征图的值映射到[0，1]区间。这样可以将输出作为权重来调制原始输入特征图，得到特征图X2。

再执行路径二：通过相乘处理模块的逐元素乘法将路径一中Sigmoid激活后的特征图X2与卷积块Ⅳ的输出特征图X1相乘，得到调制后的特征图X3，其尺寸为（1，3，448，448）。

再执行路径三：卷积块Ⅳ的输出特征图X1经过卷积层（卷积核大小为3*3，步长为1，填充为1），得到特征图X4，其尺寸不变，仍为（1，3，448，448），再通过相加处理模块的逐元素加法将经过路径二调制后的特征图X3与特征图X4进行融合，最终得到融合的特征图，其尺寸为（1，3，448，448）。

在对基于增强多维特征感知的肝脏肿瘤图像分割系统的训练与优化中还采用了损失函数、优化器、批大小和训练周期、早停策略、性能评估以及后处理技术。

（1） 损失函数

在训练过程中使用二元交叉熵（BCE）和Dice系数损失的组合：复合损失函数BCEDiceLoss。该复合损失函数既考虑了像素级的分类准确性，分类准确性通过BCE损失进行衡量，也考虑了预测区域与真实区域的重合度，重合度通过Dice损失进行衡量，这有助于平衡分割任务中的精确度与召回率。

BCEDiceLoss可以定义为BCE损失和Dice损失的加权和：

；

其中，是权重参数，用于平衡和在总损失中的贡献。根据具体任务的需求，的值可以调整，但通常设置为0.5，即等权重地考虑两种损失。

二元交叉熵损失（BCE）的计算公式为：

；

Dice损失的计算公式为：

；

其中，是样本中的像素总数，表示第i个像素的真实标签值，表示第i个像素的预测概率，由模型输出表示该像素属于前景的概率。

（2）优化器

选用Adam优化器进行网络参数的更新，其初始学习率设定为1e-3。Adam优化器因其自适应学习率调整机制而被广泛用于深度学习任务中，有助于加快收敛速度并提高训练稳定性。

（3）批大小和训练周期

模型以20的批大小进行训练，总计120个训练轮次epoch。这样的设置旨在平衡训练的计算效率与内存使用，同时确保足够的迭代次数以达到收敛。

（4）早停策略

为防止过拟合并缩短无效训练时间，采用了50个epoch的早停策略。如果在连续50个epoch内验证损失没有明显下降，则提前终止训练过程。

（5）性能评估

在每个训练周期结束时，模型将在验证集上进行评估，以监控损失和关键性能指标（如交并比IOU和Dice系数）。这些指标不仅能反映模型的分割能力，也是调整训练策略和判断模型是否达到最佳状态的重要依据。

根据验证损失的变化决定是否将当前模型状态保存为“最佳模型”。这确保了只有当模型性能得到实质提升时，才更新保存的模型状态，从而避免了因训练波动导致的性能退化。

（6）后处理技术

为提升模型在复杂医学影像背景下的分割精度和可靠性，本框架实施了细致的后处理步骤：

①首先进行连通区域分析，利用标记算法标识出所有连通区域，并基于区域大小过滤掉非目标区域，只保留最大的连通区域，旨在识别分割结果中所有连通区域，去除由预测误差产生的小区域。

②其次进行形态学操作，应用开运算去除小噪点，闭运算填补分割中的小洞，优化分割结果的整体质量，旨在进一步细化分割边界，去除噪点，填补小缺口。最后进行边缘平滑处理。

③对分割边缘施加轻微的高斯模糊，平滑边界，同时注意保持重要边界特征不被过度模糊，旨在减少分割结果中的“锯齿”现象，提升分割边界的平滑度。

Claims (10)

1.基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：包括图像预处理模块、核心融合网络结构和自适应动态调整模块；所述图像预处理模块用于将三维CT图像数据按设定比例随机抽取区分为测试集、训练集和验证集，然后将测试集、训练集和验证集中的三维CT图像数据切片处理转换成二维切片图像数据、删除无效数据、对剩余数据进行窗口化处理与对比度调节、Min-Max规范化以及数据增强形成各自的数据集；所述核心融合网络结构包括高级特征集成与优化模块、编码器-解码器模块以及关注度优化模块，核心融合网络结构还与自适应动态调整模块连接，核心融合网络结构用于将自适应动态调整模块输出的调整后的输入特征图与图像预处理模块输出的原始输入特征图的特征依次通过高级特征集成与优化模块、编码器-解码器模块和卷积层进行编码、拼接、多维特征增强和图像分割后在核心融合网络结构的输出端输出分割后的肝脏肿瘤图像，核心融合网络结构利用增强后的测试集、训练集和验证集分别进行测试、训练和验证；

所述编码器-解码器模块中的编码器通过四个编码层进行连续四次下采样操作，分别得到1/2、1/4、1/8、1/16大小的特征图，编码器-解码器模块中的解码器通过四个解码层进行连续四次上采样操作将特征图大小还原，解码器的每个上采样过程中，编码器和对应的解码器之间均引入关注度优化模块对编码器得到的特征图进行特征优化，再通过跳跃连接方式将优化后的特征图传递给对应的解码器，解码器的第一个解码层与编码器的第四个编码层之间通过桥接层连接；

所述自适应动态调整模块包括顺次信号传输连接的两个编码层、一个桥接层、两个解码层和一个卷积层，自适应动态调整模块的输入为编码器-解码器模块中的第四个解码层的输出，自适应动态调整模块的输出信号传输给高级特征集成与优化模块，自适应动态调整模块在核心融合网络结构运行达到一次设定的训练轮数后均自动激活一次，自适应动态调整模块通过两次下采样、一次桥接和两次上采样操作，得到调整后的输入特征图，对核心融合网络结构的特征图进行动态调整；

所述高级特征集成与优化模块包括concat拼接模块、卷积块Ⅳ、平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块；所述concat拼接模块分别接收自适应动态调整模块输出的调整后的输入特征图以及图像预处理模块输出的原始输入特征图的特征信息，并进行拼接；所述卷积块Ⅳ将拼接后的特征图利用平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块进行特征融合，得到融合特征图并输出给编码器的第一个编码层；

所述关注度优化模块包括通道维度关注度优化子模块、空间维度关注度优化子模块和自适应权重调节模块；所述通道维度关注度优化子模块包括顺次信号传输连接的平均池化模块、双卷积模块、Sigmoid激活模块和特征加权模块，通道维度关注度优化子模块获得原始输入特征图的通道加权特征图；所述空间维度关注度优化子模块包括顺次信号传输连接的全局池化模块、特征拼接模块、卷积激活模块和特征加权模块，空间维度关注度优化子模块获得原始输入特征图的空间加权特征图；所述自适应权重调节模块将通道加权特征图和空间加权特征图与原始输入特征图进行逐元素相乘融合，再根据融合结果生成最终的优化特征图；所述优化特征图的尺寸与原始输入特征图的尺寸相同。

2.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述编码层由混合空洞卷积块HDC_Block和最大池化层组成；所述HDC_Block由三个扩张率不同空洞卷积块组成；所述空洞卷积块由依次信号传输连接的空洞卷积层、BN归一化层、ReLU激活层组成。

3.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述桥接层由依次信号传输连接的卷积层、BN归一化层、ReLU激活层、卷积层、BN归一化层、ReLU激活层组成。

4.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述解码层由一个转置卷积块和一个残差卷积块组成；所述转置卷积块由依次信号传输连接的转置卷积层，BN归一化层和ReLU激活层组成；所述残差卷积块由依次信号传输连接的卷积块Ⅱ、3Conv卷积块和残差连接、卷积块Ⅱ组成，其中第一个卷积块Ⅱ的输出和3Conv卷积块的输出在通道维度上相加，形成残差，残差连接的结果再通过卷积块Ⅱ形成最终的输出；所述3Conv卷积块由依次信号传输连接的卷积块Ⅱ、卷积块Ⅱ、卷积块Ⅲ组成；所述卷积块Ⅲ由卷积层，BN归一化层组成。

5.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述卷积块Ⅳ将拼接后的特征图利用平均池化层、卷积块Ⅱ、sigmoid函数激活层、相乘处理模块、卷积层以及相加处理模块进行特征融合的具体顺序如下：

（1）首先卷积块Ⅳ的输出特征图X1执行路径一，依次经过平均池化层、卷积块Ⅱ、sigmoid函数激活层得到特征图X2；

（2）再执行路径二，将特征图X2与特征图X1输入至相乘处理模块，相乘得到特征图X3；

（3）再执行路径三，将特征图X1输入至卷积层得到特征图X4，再将特征图X4与特征图X3输入至相加处理模块相加，得到融合特征图。

6.根据权利要求5所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述卷积块Ⅳ由依次信号传输连接的卷积层，BN归一化层、ReLU激活层和droupout正则化层组成。

7.根据权利要求4或5所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述卷积块Ⅱ由依次信号传输连接的卷积层，BN归一化层和ReLU激活层组成。

8.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述最终的优化特征图通过通道加权特征图和空间加权特征图的融合公式获得，所述融合公式表示为：；

其中，是自适应权重，是模块的最终输出特征图；是原始输入特征图；是通道加权特征图；表示空间加权特征图。

9.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述通道维度关注度优化子模块获得通道加权特征图的步骤如下：

（1）通过平均池化模块，将尺寸为 H×W×C的原始输入特征图F通过平均池化压缩空间维度至 1×1，得到每个通道的全局特征1×1×C ，其中H表示高度，W表示宽度，C表示通道数；

（2）通过双卷积模块进行两层1x1卷积操作，对通道数降维得到1×1×C/r和恢复到1×1×C，双卷积模块的第一卷积层和第二卷积层中间加入了ReLU激活函数，C/r表示经过降维后的通道数，其中 r是降维比例；

（3）Sigmoid激活模块应用Sigmoid激活函数，生成每个通道的重要性权重，并形成通道关注度图；

（4）特征加权模块将通道关注度图与原始输入特征图进行逐元素相乘操作，得到各通道加权特征图；

通道关注度图以及通道加权特征图的公式表示为：

；

其中，是平均池化；是1×1卷积操作；是激活函数；是Sigmoid激活函数,用于生成每个通道的关注度权重。

10.根据权利要求1所述的基于增强多维特征感知的肝脏肿瘤图像分割系统，其特征是：所述空间维度关注度优化子模块获得空间加权特征图的步骤如下：

（1）通过全局池化模块，将尺寸为 H×W×C的原始输入特征图F进行通道维度的全局最大池化和全局平均池化，得到两个 H×W×1 的特征图，H表示高度，W表示宽度，C表示通道数；

（2）利用特征拼接模块，将全局最大池化和全局平均池化的结果，按照通道拼接，得到特征图尺寸为H×W×2；

（3）利用卷积激活模块，对拼接的结果进行7×7的卷积操作，得到特征图尺寸为 H×W×1，接着通过Sigmoid激活函数，获得空间位置的重要性权重，并形成空间关注度图；

（4）通过特征加权模块，将空间关注度图与原始输入特征图进行逐元素相乘操作，得到空间加权特征图，空间加权特征图的维度与原始输入特征图的维度相同；

空间关注度图以及空间加权特征图的公式表示为：；

其中，是全局最大池化； 在通道维度上的拼接操作，用于处理拼接后的特征图并捕捉空间信息；表示使用卷积核大小为7×7的卷积操作；是sigmoid函数，用于输出空间位置的关注度权重。