CN115937083A - 一种融合先验信息的前列腺磁共振图像区域分割方法 - Google Patents

Abstract

本发明涉及一种融合先验信息的前列腺磁共振图像区域分割方法，包括：数据集准备，图像预处理，数据扩充处理；构建形状重构网络；构建初步的融合先验信息的前列腺区域分割网络；通过预处理后的验证集图像对初步的分割网络进行调整优化，获得前列腺区域分割网络；使用预处理后的测试集图像进行前列腺区域分割，得到前列腺区域分割结果图。本发明所述方法通过融合先验信息的方式能够实现前列腺区域的精细分割，具备良好的分割效果和泛化能力。

Description

一种融合先验信息的前列腺磁共振图像区域分割方法

技术领域

本发明属于医学图像分割技术领域，涉及一种融合先验信息的前列腺磁共振图像区域分割方法。

背景技术

前列腺癌是发生在前列腺的上皮性恶性肿瘤，是最常见的危害中老年男性生命和健康的恶性肿瘤疾病之一。研究表明，肿瘤在前列腺不同区域存在不同的形态，且发病概率和严重程度也有所差异。通常从放射科的角度来看，整个前列腺可以分为中央区和外周带两部分，约70％-80％的发病区出现在外周带。

然而目前前列腺疾病的检查需要依赖放射科医生按照前列腺解剖结构手动勾画出区域轮廓。手动勾画的过程不仅耗时费力，而且不同医生之间也会存在主观性差异。随着医学图像处理技术的发展，利用计算机技术实现前列腺区域的全自动分割能够避免医生主观因素的影响，大大提升疾病诊断效率，对后续前列腺疾病的临床治疗以及前列腺癌的分级评估具有十分重要的研究意义。

医学图像分割方法主要分为传统分割方法和基于深度学习的分割方法两类，传统分割方法普遍存在鲁棒性较差的问题，尤其是在边界信息模糊的情况下分割精度很低。近年来，基于深度学习的医学图像分割方法因其优异的特征表示能力已被广泛提出，克服了传统方法依赖人工提取和选择特征的局限性。然而考虑到磁共振图像中前列腺区域所占面积比例较小、边界信息模糊、灰度分布不均匀以及腺体与周围组织对比度低等问题，仅靠图像的底层特征很难实现对前列腺区域的精准分割。基于此，本发明结合前列腺解剖结构特点，将先验信息充分整合到深度学习模型中，提出了一种融合先验信息的前列腺磁共振图像区域分割方法。

发明内容

为了解决现有技术中存在的缺点和不足，本发明提出了一种融合先验信息的前列腺磁共振图像区域分割方法，将先验信息与深度学习模型充分融合，实现对前列腺区域的精细分割。

本发明是通过以下技术方案来实现的，本发明具体为：

1、一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于，所述方法包括：

步骤1：获取前列腺磁共振数据集，将其划分为训练集、验证集和测试集三部分，并将前列腺三维磁共振图像转化为二维轴向序列切片图像；

步骤2：图像预处理：对所有序列切片图像依次进行灰度归一化处理、中央裁剪处理、尺寸归一化处理以及对比度限制自适应直方图均衡化处理；

步骤3：对步骤2所得的训练集图像及相应的标签图像进行数据扩充处理，具体包括：水平翻转、小幅度随机平移、小角度随机旋转和弹性形变；

步骤4：构建形状重构网络，包括以下步骤：

1)使用卷积自动编码器为基本架构，构建形状重构网络；

2)将步骤3所得的训练集标签图像作为步骤1)中形状重构网络的输入，对形状重构网络进行预训练；

步骤5：构建融合先验信息的分割网络，包括以下步骤：

1)使用U-Net作为分割网络的基本架构，将形状重构网络作为一个扩展网络连接到U-Net，同时将空间约束模块嵌入到U-Net底部，构建融合先验信息的分割网络；

2)将步骤3所得的训练集图像及其对应的标签图像作为步骤1)中分割网络的输入，开始融合先验信息的前列腺区域分割网络的训练；

3)通过前向传播对网络进行训练，然后通过softmax分类器输出预测的概率图；根据损失函数进行损失计算，通过反向传播更新网络中的参数值，重复此过程直到训练损失值收敛，完成一次网络训练，生成初步的融合先验信息的前列腺区域分割网络；

步骤6：将步骤3所得的验证集图像及其对应的标签图像作为步骤5中步骤3)中网络的输入，根据输出结果对分割网络的超参数进行调整优化，获得融合先验的前列腺区域分割网络；

步骤7：利用步骤6所得的分割网络对步骤2中预处理后的测试集图像进行前列腺区域分割，得到前列腺外周带和中央区分割结果图。

2、针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤2中对图像进行灰度归一化处理时，归一化后的像素值x^*为：

其中，x表示图像像素值，μ表示图像像素的平均值，σ表示图像像素的标准差。

3、针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤2中以原图像中心作为裁剪中心，按照图像长和宽保留2/3的比例进行中央裁剪。

4、针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤2中将图像尺寸统一归一化为240×240。

5、针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤3中对图像进行数据扩充处理，包括以下步骤：

1)水平翻转：沿图像的水平方向对图像进行翻转；

2)小幅度随机平移：分别沿上下左右四个方向对图像进行随机平移，设置平移范围为4～8个像素点；

3)小角度随机旋转：以图像中心为原点对图像进行随机旋转，设置旋转角度范围为-10°～10°；

4)弹性形变：对图像中每个像素点随机生成一个位移向量，使用一个均值为0、标准差为σ的高斯函数对随机生成的位移向量进行高斯卷积操作，并将结果施加到原图像，得到弹性形变后的图像，其中σ范围为2～10。

6、针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤5中步骤3)的损失函数来自三部分：分割网络、形状重构网络和空间约束模块，其公式描述如下：

L＝L_Seg+ω_SRL_SR+ω_SCL_SC

其中，L_Seg、L_SR和L_SC分别表示分割损失、形状重构损失和空间约束损失，ω_SR和ω_SC分别表示形状重构损失和空间约束损失的权重系数，具体如下：

i)分割损失：采用指数对数损失，该损失函数结合了加权交叉熵损失和DSC损失，其公式描述如下：

L_Seg＝λ_WCEL_WCE+λ_DSCL_DSC

其中，λ_WCE和λ_DSC分别表示加权交叉熵损失函数和DSC损失函数的平衡系数，L_WCE和L_DSC分别表示经过指数和对数转换后的加权交叉熵损失和DSC损失，其公式描述如下：

其中，

N表示图像中总的像素点数，C表示分割类别总数，

表示像素点i被预测为c类的概率，

表示属于c类的像素点i的真实值，γ_WCE和γ_DSC表示用于控制两部分损失函数非线性的两个超参数。

ii)形状重构损失：

形状重构损失利用卷积自动编码器来正则化分割结果，其公式描述如下：

其中，R_i表示真实标签中像素点i重构后的值，

表示经分割网络后预测图像中像素点i重构后的值，||·||_F表示矩阵的Frobenius范数，定义为矩阵元素绝对值平方和的平方根。

iii)空间约束损失：

空间约束损失利用切片的空间位置信息来正则化分割结果，其公式描述如下：

其中，P_i表示切片i对应真实标签的空间位置，

表示切片i预测得到的空间位置。

与现有技术相比，本发明的有益效果是：

本发明提出了一种融合先验信息的前列腺磁共振图像区域分割方法，以U-Net为网络架构进行改进，将形状重构网络和空间约束模块融合到网络模型中，对；对损失函数进行了设计，网络总损失包含分割损失、形状重构损失和空间约束损失三部分，将先验信息集成到损失函数中能够使预测结果约束到解剖学上更为准确的输出。与现有流行分割方法相比，本发明所述的方法提高了前列腺区域分割的准确率，增强了分割结果的标签一致性，能够实现更为精确的前列腺区域分割，且具备良好的泛化能力。

附图说明

图1为本发明所述的方法流程图；

图2为本发明中使用的来自不同医学中心的前列腺轴向磁共振图像及其对应的真实标签示例：(a)1.5T带有直肠线圈的切片图像及其对应的真实标签；(b)3.0T带有直肠线圈的切片图像及其对应的真实标签；

图3为本发明所述的形状重构网络与分割网络之间的信息流；

图4为本发明所述的融合先验信息的前列腺区域分割网络具体架构；

图5为本发明所述的前列腺区域分割结果示例：(a)原始切片图像；(b)真实标签图像；(c)分割结果图像。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图和实施例对本发明的技术方案作进一步地描述。

图1为本发明所述的方法流程图，具体包括以下步骤：

步骤1：数据集准备：

本实施例使用的前列腺磁共振图像来自于2013年NCI-ISBI发布的前列腺结构自动分割挑战赛数据集。该数据集共包含来自两个医学中心的60例T2加权轴向磁共振图像及其对应的真实标签图像，其中一半病例是在1.5T磁场强度下使用直肠线圈获得的，另一半是在3T磁场强度下使用表面线圈获得的。图2为本发明中使用的前列腺磁共振图像及其对应的真实标签示例，灰色区域表示前列腺外周带，白色区域表示前列腺中央区，黑色区域表示背景。

本实施例按照4：1：1的比例将上述磁共振数据集划分为训练集、验证集和测试集两部分，并将其转化为二维轴向序列切片图像。

步骤2：图像预处理：

对步骤1所得的所有序列切片图像依次进行以下预处理操作：

1)灰度归一化处理：由于来自不同医疗中心的磁共振图像灰度差异较大，本发明采用Z-score标准化方法对每张切片图像进行灰度归一化处理。归一化后的像素值x^*为：

其中，x表示图像像素值，μ表示图像像素的平均值，σ表示图像像素的标准差。

2)中央裁剪处理：由于前列腺器官在图像中所占面积较小，同时考虑到器官通常位于图像中心位置这一先验信息，本发明将原图像中心作为裁剪中心，按照图像长和宽保留2/3的比例对每张切片图像进行中央裁剪。

3)尺寸归一化处理：本实施例将所有切片图像的尺寸归一化为240×240。

4)对比度限制自适应直方图均衡化处理：针对前列腺区域内边界模糊、腺体与周围组织对比度低等问题，采用对比度限制自适应直方图均衡化处理，通过计算图像像素邻域的直方图来均衡化每一个像素来改善图像的局部对比度，同时对直方图中超过阈值的灰度级进行裁剪，将超出阈值的部分平均分配到各个灰度级。

步骤3：数据扩充处理：

由于深度学习网络需要通过大量的训练数据来学习图像中深层的语义特征，而本实施例所用数据集规模很小，直接使用深度学习网络会造成严重的过拟合问题。因此本发明对步骤2所得的训练集图像及相应的标签图像进行数据扩充处理，具体包括以下步骤：

1)水平翻转：沿图像的水平方向对图像进行翻转；水平翻转、小幅度随机平移、小角度随机旋转和弹性形变；

2)小幅度随机平移：分别沿上下左右四个方向对图像进行随机平移，设置平移范围为4～8个像素点；

3)小角度随机旋转：以图像中心为原点对图像进行随机旋转，设置旋转角度范围为-15°～15°；

4)弹性形变：对图像中每个像素点随机生成一个位移向量，使用一个均值为0、标准差为σ的高斯函数对随机生成的位移向量进行高斯卷积操作，并将结果施加到原图像，得到弹性形变后的图像，其中σ范围为2～10。

通过以上四种方式扩充后的训练数据为原始训练数据的30倍。

步骤4：构建形状重构网络：

1)形状重构网络通过学习中间表征来重建原始输入，其目标在于迫使错误预测的分割图像符合训练标签的形状。本发明使用卷积自动编码器的架构来构建形状重构网络。形状重构模块包括形状编码器和解码器两部分。形状编码器利用卷积操作和非线性映射的组合将分割结果投影到潜在表示中，之后形状解码器对来自潜在空间表示的输入进行重构，从而将预测结果约束到解剖学上更为准确的输出。相比于U-Net，该形状编码器和解码器之间没有跳跃连接。图3为形状重建网络与分割网络之间的信息流。

2)将步骤3所得的训练集标签图像作为步骤1)中形状重构网络的输入，对形状重构网络进行预先训练。

步骤5：构建融合先验信息的分割网络：

1)网络结构搭建：

本发明结合前列腺解剖学特点，将形状先验信息和空间先验信息融合到深度学习网络中，对基础框架U-Net进行改进，将步骤5所得的形状重构网络作为一个扩展网络与U-Net相连，同时将空间约束模块嵌入到U-Net底部。图4为本发明所述的融合先验信息的前列腺区域分割网络具体架构。

2)损失函数设置：

融合先验信息的前列腺区域分割网络的总损失函数来自三部分：分割网络、形状重构网络和空间约束模块，其公式描述如下：

L＝L_Seg+ω_SRL_SR+ω_SCL_SC

其中，L_Seg、L_SR和L_SC分别表示分割损失、形状重构损失和空间约束损失，λ_SR和λ_SC分别表示形状重构损失和空间约束损失的权重系数，具体如下：

i)分割损失：采用指数对数损失，该损失函数结合了加权交叉熵损失和DSC损失，其公式描述如下：

L_Seg＝λ_WCEL_WCE+λ_DSCL_DSC

其中，λ_WCE和λ_DSC分别表示加权交叉熵损失函数和DSC损失函数的平衡系数，L_WCE和L_DSC分别表示经过指数和对数转换后的加权交叉熵损失和DSC损失，其公式描述如下：

其中，

N表示图像中总的像素点数，C表示分割类别总数，

表示像素点i被预测为c类的概率，

表示属于c类的像素点i的真实值，γ_WCE和γ_DSC表示用于控制两部分损失函数非线性的两个超参数。

ii)形状重构损失：

形状重构损失利用卷积自动编码器来正则化分割结果，其公式描述如下：

其中，R_i表示真实标签中像素点i重构后的值，

表示经分割网络后预测图像中像素点i重构后的值，||·||_F表示矩阵的Frobenius范数，定义为矩阵元素绝对值平方和的平方根。

iii)空间约束损失：

空间约束损失利用切片的空间位置信息来正则化分割结果，其公式描述如下：

其中，P_i表示切片i对应真实标签的空间位置，

表示切片i预测得到的空间位置。

3)网络训练策略及关键参数设置：

本发明在网络训练过程中图像采用随机小批量导入方式，批量大小设置为32。优化器选用参数值为β₁＝0.9，β₂＝0.999，epsilon＝10^-8的Adam优化器。本发明所述网络的分割类别总数为C＝3，损失权重系数设置为ω_SR＝5×10^-4ω_SC＝1×10^-6，λ_WCE＝0.2，λ_DSC＝0.8，初始学习率设置为1×10^-3，迭代次数为50。

4)网络训练：

将步骤3所得的训练集图像及其对应的标签图像作以240×240的尺寸输入到该网络中，输入图像在编码阶段每经过一次编码层，通道数变为原来的两倍，图像尺寸降为原来的一半。随着卷积次数的增加，特征图的感受野成倍增大，网络倾向于更关注深层次的语义特征。随后在解码阶段，图像每经过一次解码层，通道数变为原来的两倍，图像尺寸降为原来的一半。最终分割网络的输出为与输入图像尺寸相同的分割图像。根据损失函数对训练损失值进行计算，通过反向传播更新网络中的参数值，重复此过程直到训练损失值收敛，完成一次网络训练，生成初步的融合先验信息的前列腺区域分割网络。

步骤6：将步骤3所得的验证集图像及其对应的标签图像作为步骤3)中分割网络的输入，根据输出结果对分割网络的超参数进行调整优化，获得融合先验的前列腺区域分割网络。

步骤7：利用步骤6所得的网络对步骤2中预处理后的测试集图像进行前列腺区域分割，得到前列腺外周带和中央区分割结果图。图5为测试集的前列腺区域分割结果示例。

由上述步骤7中得到的分割结果可以看出，本发明所述方法的分割结果与真实标签基本拟合，克服了边界信息模糊、区域内灰度不均匀等带来的欠分割或过分割问题，能够实现对前列腺区域较为精细的分割。测试集中前列腺中央区和外周带的平均DSC值达到89.6％和83.2％，与其他方法相比，本发明所述的一种融合先验信息的前列腺磁共振图像区域分割方法取得了较优的分割性能。

Claims (6)

1.一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于，所述方法包括：

步骤1：获取前列腺磁共振数据集，将其划分为训练集、验证集和测试集三部分，并将前列腺三维磁共振图像转化为二维轴向序列切片图像；

步骤2：图像预处理：对所有序列切片图像依次进行灰度归一化处理、中央裁剪处理、尺寸归一化处理以及对比度限制自适应直方图均衡化处理；

步骤3：数据扩充处理：对步骤2所得的训练集图像及相应的标签图像进行数据扩充处理，具体包括：水平翻转、小幅度随机平移、小角度随机旋转和弹性形变；

步骤4：构建形状重构网络，包括以下步骤：

1)使用卷积自动编码器为基本架构，构建形状重构网络；

2)将步骤3所得的训练集标签图像作为步骤1)中形状重构网络的输入，对形状重构网络进行预训练；

步骤5：构建融合先验信息的分割网络，包括以下步骤：

1)使用U-Net作为分割网络的基本架构，将形状重构网络作为一个扩展网络连接到U-Net，同时将空间约束模块嵌入到U-Net底部，构建融合先验信息的分割网络；

2)将步骤3所得的训练集图像及其对应的标签图像作为步骤1)中分割网络的输入，开始融合先验信息的前列腺区域分割网络的训练；

3)通过前向传播对网络进行训练，然后通过softmax分类器输出预测的概率图；根据损失函数进行损失计算，通过反向传播更新网络中的参数值，重复此过程直到训练损失值收敛，完成一次网络训练，生成初步的融合先验信息的前列腺区域分割网络；

步骤6：将步骤3所得的验证集图像及其对应的标签图像作为步骤5中步骤3)网络的输入，根据输出结果对网络超参数进行调整优化，获得融合先验的前列腺区域分割网络；

步骤7：利用步骤6所得的分割网络对步骤2中预处理后的测试集图像进行前列腺区域分割，得到前列腺外周带和中央区分割结果图。

2.针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤2中对图像进行灰度归一化处理时，归一化后的像素值x^*为：

其中，x表示图像像素值，μ表示图像像素的平均值，σ表示图像像素的标准差。

3.针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤2中以原图像中心作为裁剪中心，按照图像长和宽保留2/3的比例进行中央裁剪。

4.针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤2中将图像尺寸统一归一化为240×240。

5.针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤3中对图像进行数据扩充处理，包括以下步骤：

1)水平翻转：沿图像的水平方向对图像进行翻转；

2)小幅度随机平移：分别沿上下左右四个方向对图像进行随机平移，设置平移范围为4～8个像素点；

3)小角度随机旋转：以图像中心为原点对图像进行随机旋转，设置旋转角度范围为-15°～15°；

4)弹性形变：对图像中每个像素点随机生成一个位移向量，使用一个均值为0、标准差为σ的高斯函数对随机生成的位移向量进行高斯卷积操作，并将结果施加到原图像，得到弹性形变后的图像，其中σ范围为2～10。

6.针对权利要求1所述一种融合先验信息的前列腺磁共振图像区域分割方法，其特征在于：步骤5中步骤3)的损失函数来自三部分：分割网络、形状重构网络和空间约束模块，其公式描述如下：

L＝L_Seg+ω_SRL_SR+ω_SCL_SC

其中，L_Seg、L_SR和L_SC分别表示分割损失、形状重构损失和空间约束损失，ω_SR和ω_SC分别表示形状重构损失和空间约束损失的权重系数，具体如下：

i)分割损失：采用指数对数损失，该损失函数结合了加权交叉熵损失和DSC损失，其公式描述如下：

L_Seg＝λ_WCEL_WCE+λ_DSCL_DSC

其中，λ_WCE和λ_DSC分别表示加权交叉熵损失函数和DSC损失函数的平衡系数，L_WCE和L_DSC分别表示经过指数和对数转换后的加权交叉熵损失和DSC损失，其公式描述如下：

其中，

N表示图像中总的像素点数，C表示分割类别总数，

表示像素点i被预测为c类的概率，

表示属于c类的像素点i的真实值，γ_WCE和γ_DSC表示用于控制两部分损失函数非线性的两个超参数。

ii)形状重构损失：

形状重构损失利用卷积自动编码器来正则化分割结果，其公式描述如下：

其中，R_i表示真实标签中像素点i重构后的值，

表示经分割网络后预测图像中像素点i重构后的值，||·||_F表示矩阵的Frobenius范数，定义为矩阵元素绝对值平方和的平方根。

iii)空间约束损失：

空间约束损失利用切片的空间位置信息来正则化分割结果，其公式描述如下：

其中，P_i表示切片i对应真实标签的空间位置，

表示切片i预测得到的空间位置。

Images