CN112750131B - 基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法 - Google Patents

Abstract

本发明是基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，首先搜集数字化的核磁共振图像三维序列，并进行手动标记多类肌肉骨骼结构；针对核磁共振图像三维序列进行采样，以连续的三张切面为一组，得到伪RGB三通道的图像数据；基于序列关系和不同肌肉骨骼的图像内容的尺度差异构建肌肉骨骼对象自动分割模型；采用自适应权重的交叉熵损失函数和DICE损失函数进行模型优化；最后对于新采集核磁共振图像三维序列，采样得到伪RGB三通道的图像数据后送入到肌肉骨骼对象自动分割模型中，得到对应于核磁共振图像三维序列的预测结果。该方法能够对核磁共振图像序列中的密集肌肉骨骼的自动分割，得到核磁共振图像序列对应的骨骼肌肉内容的三维重建结果。

Description

基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法

技术领域

本发明涉及人工智能和医学影像识别技术领域，具体的说是基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法。

背景技术

随着计算机视觉技术的发展，越来越多的先进图像处理算法被应用到医学图像领域。在核磁共振影像(MRI)领域，深度学习因其在疾病分类、目标分割和三维重建等方面的优异性能而发挥着越来越重要的作用。已有的深度学习方法大多是对诸如前列腺、胰腺、肝脏等稀疏器官进行分割，虽然它达到甚至超过了人类水平的表现，但实际临床上却需要更复杂的多器官甚至更密集的多目标分割定位。因此，这需要考虑不同目标的尺度关系来指导分割模型的偏好。

人体解剖结构和器官复杂。我们的身体里有206块骨头和639块肌肉。肌肉和骨骼在整个人体结构中的作用相当于“框架”。骨盆在人体中占有重要的地位。它连接脊柱和下肢。它不仅将体重转移到下肢，而且作为下肢运动的基础，支持腹部和骨盆内脏的保护。尤其对女性来说，骨盆结构的解剖对盆底功能障碍的诊断至关重要。然而，在临床实践中，由于解剖结构复杂，这些结构通常是手工分割的。如果这些结构能够被自动识别和分割，就可以快速进行个性化的三维重建；在放射治疗的定位参考、手术计划或术中导航、手术重建或肌肉骨骼疾病的动态监测等个性化诊断和治疗中具有重要作用。

发明内容

本发明要解决的技术问题是提供基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，该方法考虑了不同肌肉骨骼对象的不同尺度内容并利用核磁共振图像序列中的连续序列关系进行骨盆图像中密集肌肉骨骼的自动分割。

为解决上述技术问题，本发明采用的技术方案为：

基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：利用核磁共振图像序列中的连续序列关系和不同肌肉、骨骼对象的不同尺度内容进行骨盆图像中密集肌肉、骨骼的自动分割，具体步骤如下：

步骤1，人工在数字化的核磁共振图像三维序列中手动标记多类肌肉骨骼结构区域；

步骤2，针对核磁共振图像三维数据进行采样，以连续的三张切面为一组，得到伪RGB三通道的二维图像数据，然后对二维图像数据进行标准化的图像预处理；

步骤3，基于序列关系和不同肌肉骨骼的图像内容的尺度差异构建肌肉骨骼对象自动分割模型；

步骤4，模型优化，采用自适应权重的交叉熵损失函数和DICE损失进行优化，其中，交叉熵损失的权重值由每一类的dice指标值的线性给定；

步骤5，对于新采集的数字化的核磁共振图像三维序列，进行采样得到伪RGB三通道的图像数据后送入到肌肉骨骼对象自动分割模型中，得到对应于三通道中心切面的骨骼肌肉位置预测结果，并按照采样顺序进行三维的融合，得到对应于核磁共振图像三维序列的预测结果。

步骤3中所述的自动分割模型包含编码器、解码器、尺度感知模块SCaM和序列感知模块SLiM；

所述的编码器用以提取核磁共振图像单一切面的高维特征；所述的解码器用于从深层语义特征中恢复空间信息所述的尺度感知模块SCaM通过不同大小感受野融合深层特征图中的不同尺度信息；所述的序列感知模块SLiM用于融合单一序列以及其上一序列和下一序列的深层特征。

步骤2中采样得到的核磁共振图像三维数据为X∈R^H×W×S，得到的伪RGB三通道的二维图像数据为x∈R^H×W×3。

所述的编码器共执行三次下采样操作用以提取核磁共振图像单一切面的高维特征，每次下采样操作包含两个步长为1、边缘填充为1、3×3卷积核的连续卷积，以及一个2×2卷积核的最大池化操作；每次卷积运算之后均有批标准化和ReLU激活函数；编码器执行的三次下采样操作的特征通道数分别被设置为c，2c和4c。

所述的解码器共执行三次上采样操作，每次上采样操作包含一个2×2卷积核的反卷积操作和两个步长为1、边缘填充为1、3×3卷积核的连续卷积操作；其中，每个卷积后面是批标准化和ReLU激活函数；解码器三次上采样操作的特征通道数分别是4c，2c和c；在每次反卷积后，将编码器中与解码器对应位置的特征进行特征拼接。

所述的序列感知模块SLiM用于融合某一序列x_i∈R^H×W×1及其上一序列x_i-1和下一序列x_i+1的深层特征张量，具体步骤为：

步骤S1.1，将步骤2得到的每个三通道二维图像x∈R^H×W×3分别送入编码器部分进行特征提取：采用2.5D的策略，即三通道二维图像x的每个通道单独进行特征提取，编码成一列三组特征张量V_ei，使用特征拼接来融合三组特征张量，获得融合后的特征张量V_en；

步骤S1.2，执行两个连续的卷积，步长为1，填充为1、卷积核为3*3，每个卷积都跟着批标准化和ReLU函数操作，通过该非线性映射方式得到的新的融合特征张量V_e被送入到尺度感知模块SCaM中，用于不同尺度类别的语义信息学习。

所述的尺度感知模块SCaM通过膨胀卷积以获得不同大小感受野的同时保持空间分辨率来融合深层特征图中的不同尺度信息，具体步骤为：

步骤S2.1，采用不同膨胀率r∈N^m的多重卷积并行提取特征V_a以保持多组特征空间分辨率不变；

步骤S2.2，特征拼接后的特征继续执行1*1卷积以及批标准化和ReLU函数以进行非线性映射；

步骤S2.3，得到了同时包含结构空间信息和语义信息的鲁棒的特征张量V_SCaM。

所述的步骤4中的模型优化阶段采用自适应权重优化方法，利用V-Net中提出的Dice损失和加权的交叉熵损失作为网络训练的优化函数；为使得交叉熵损失的权重自适应，具体方法如下：在每个梯度更新时动态调整权值w^c∈W^N×1，W≡{1-Z|0≤Z≤1}；优化策略为使每个训练batch的总体目标函数L_CD最小化，其中L_CD定义为：

其中，j表示所有类别数N中的某一类别；y表示对应于数据x的手工标记；表示经过Softmax函数后的预测值；在训练期间的每次迭代中计算Z^(j)，并且在每个epoch中对w^c动态更新。

该种基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法能够达到的有益效果为：第一，该方法考虑了不同肌肉骨骼对象的不同尺度并利用核磁共振图像序列中的连续序列关系进行密集肌肉骨骼结构的自动分割，得到核磁共振图像序列对应的骨骼肌肉内容的三维重建结果，提高个性化三维重建效率。第二，该方法可以减少医生人工分割勾画骨盆结构骨骼肌肉内容的体力、精力和时间成本投入，能够为基于骨骼肌肉结构内容进行自动诊断提供了更多可能性。第三，该方法通过对多类密集骨骼肌肉内容进行自动分割，推动解剖结构后个性化三维重建的进步。第四，该方法构建的基于神经网络的自动分割模型可重复性高、鲁棒性强，极大降低了不同医生对同一案例手动分割的差异性。

附图说明

图1为本发明基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼结构自动分割流程图。

图2为本发明中骨盆核磁共振图像肌肉骨骼结构分割网络模型。

图3为本发明中肌肉骨骼结构分割网络模型中的序列感知模块和尺度感知模块。

图4为本发明对核磁共振图像三维序列的肌肉骨骼内容预测结果。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述。

基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，如图1所示，利用核磁共振图像序列中的连续序列关系和不同肌肉、骨骼对象的不同尺度内容进行骨盆图像中密集肌肉、骨骼的自动分割，具体步骤如下：

步骤1，如图4中左列视图所示，人工在数字化的核磁共振图像三维序列中手动标记多类肌肉骨骼结构区域；

步骤2，针对核磁共振图像三维数据X∈R^H×W×S进行采样，以连续的三张切面为一组，得到伪RGB三通道的二维图像x∈R^H×W×3，然后进行标准化的图像预处理；

步骤3，基于序列关系和不同肌肉骨骼的图像内容的尺度差异构建肌肉骨骼对象自动分割模型；

步骤4，模型优化，采用自适应权重的交叉熵损失函数和DICE损失进行优化，其中，交叉熵损失的权重值由每一类的dice指标值的线性给定；

步骤5，对于新采集的数字化的核磁共振图像三维序列，进行采样得到伪RGB三通道的图像数据后送入到肌肉骨骼对象自动分割模型中，得到对应于三通道中心切面的骨骼肌肉位置预测结果，并按照采样顺序进行三维的融合，得到对应于核磁共振图像三维序列的预测结果，预测结果如图4中右列视图所示。

本实施例中，步骤3中所述的自动分割模型包含编码器、解码器、尺度感知模块SCaM和序列感知模块SLiM；其中，编码器用以提取核磁共振图像单一切面的高维特征；所述的解码器用于从深层语义特征中恢复空间信息所述的尺度感知模块SCaM通过不同大小感受野融合深层特征图中的不同尺度信息；所述的序列感知模块SLiM用于融合单一序列以及其上一序列和下一序列的深层特征。

进一步的，编码器共执行三次下采样操作用以提取核磁共振图像单一切面的高维特征，每次下采样操作包含两个步长为1、边缘填充为1、3×3卷积核的连续卷积，以及一个2×2卷积核的最大池化操作；每次卷积运算之后均有批标准化和ReLU激活函数；编码器执行的三次下采样操作的特征通道数分别被设置为c，2c和4c。

进一步的，解码器共执行三次上采样操作，每次上采样操作包含一个2×2卷积核的反卷积操作和两个步长为1、边缘填充为1、3×3卷积核的连续卷积操作；其中，每个卷积后面是批标准化和ReLU激活函数；解码器三次上采样操作的特征通道数分别是4c，2c和c；在每次反卷积后，将编码器中与解码器对应位置的特征进行特征拼接。

进一步的，如图3中的a图所示，序列感知模块SLiM用于融合某一序列x_i∈R^H×W×1及其上一序列x_i-1和下一序列x_i+1的深层特征张量，具体步骤为：

步骤S1.1，将步骤2得到的每个三通道二维图像x∈R^H×W×3分别送入编码器部分进行特征提取：采用2.5D的策略，即三通道二维图像x的每个通道单独进行特征提取，编码成一列三组特征张量V_ei，使用特征拼接来融合三组特征张量，获得融合后的特征张量V_en；

步骤S1.2，执行两个连续的卷积，步长为1，填充为1、卷积核为3*3，每个卷积都跟着批标准化和ReLU函数操作，通过该非线性映射方式得到的新的融合特征张量V_e被送入到尺度感知模块SCaM中，用于不同尺度类别的语义信息学习。

进一步的，如图3中的b图所示，尺度感知模块SCaM通过膨胀卷积以获得不同大小感受野的同时保持空间分辨率来融合深层特征图中的不同尺度信息，具体步骤为：

步骤S2.1，采用不同膨胀率r∈N^m的多重卷积并行提取特征V_a以保持多组特征空间分辨率不变；

步骤S2.2，特征拼接后的特征继续执行1*1卷积以及批标准化和ReLU函数以进行非线性映射；

步骤S2.3，得到了同时包含结构空间信息和语义信息的鲁棒的特征张量V_SCaM。

本实施例中，步骤4中的模型优化阶段采用自适应权重优化方法，利用V-Net中提出的Dice损失和加权的交叉熵损失作为网络训练的优化函数；为使得交叉熵损失的权重自适应，具体方法如下：在每个梯度更新时动态调整权值w^c∈W^N×1，W≡{1-Z|0≤Z≤1}；优化策略为使每个训练batch的总体目标函数L_CD最小化，其中L_CD定义为：

其中，j表示所有类别数N中的某一类别；y表示对应于数据x的手工标记；表示经过Softmax函数后的预测值；在训练期间的每次迭代中计算Z^(j)，并且在每个epoch中对w^c动态更新。

该种基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法针对核磁共振图像三维序列进行骨盆组织图像中54类密集肌肉骨骼结构的自动分割，不仅考虑了不同肌肉骨骼对象的不同尺度内容，还融合了核磁共振图像序列中的连续序列关系。采用该模型进行骨骼肌肉结构的自动分割，不仅减少了医生人工分割识别的体力、精力和时间成本投入，而且为基于骨骼肌肉结构内容进行自动诊断提供了更多可能性；此外，多类密集骨骼肌肉的自动分割，推动解剖结构后个性化三维重建的进步。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：利用核磁共振图像序列中的连续序列关系和不同肌肉、骨骼对象的不同尺度内容进行骨盆图像中密集肌肉、骨骼的自动分割，具体步骤如下：

步骤1，人工在数字化的核磁共振图像三维序列中手动标记多类肌肉骨骼结构区域；

步骤2，针对核磁共振图像三维数据进行采样，以连续的三张切面为一组，得到伪RGB三通道的二维图像数据，然后对二维图像数据进行标准化的图像预处理；

步骤3，基于序列关系和不同肌肉骨骼的图像内容的尺度差异构建肌肉骨骼对象自动分割模型；

步骤4，模型优化，采用自适应权重的交叉熵损失函数和DICE损失进行优化，其中，交叉熵损失的权重值由每一类的dice指标值的线性给定；

步骤5，对于新采集的数字化的核磁共振图像三维序列，进行采样得到伪RGB三通道的图像数据后送入到肌肉骨骼对象自动分割模型中，得到对应于三通道中心切面的骨骼肌肉位置预测结果，并按照采样顺序进行三维的融合，得到对应于核磁共振图像三维序列的预测结果；

步骤3中所述的自动分割模型包含编码器、解码器、尺度感知模块SCaM和序列感知模块SLiM；

所述的编码器用以提取核磁共振图像单一切面的高维特征；所述的解码器用于从深层语义特征中恢复空间信息所述的尺度感知模块SCaM通过不同大小感受野融合深层特征图中的不同尺度信息；所述的序列感知模块SLiM用于融合单一序列以及其上一序列和下一序列的深层特征。

2.如权利要求1所述的基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：步骤2中采样得到的核磁共振图像三维数据为X∈R^H×W×S，得到的伪RGB三通道的二维图像数据为x∈R^H×W×3。

3.如权利要求2所述的基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：所述的编码器共执行三次下采样操作用以提取核磁共振图像单一切面的高维特征，每次下采样操作包含两个步长为1、边缘填充为1、3×3卷积核的连续卷积，以及一个2×2卷积核的最大池化操作；每次卷积运算之后均有批标准化和ReLU激活函数；编码器执行的三次下采样操作的特征通道数分别被设置为c，2c和4c。

4.如权利要求3所述的基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：所述的解码器共执行三次上采样操作，每次上采样操作包含一个2×2卷积核的反卷积操作和两个步长为1、边缘填充为1、3×3卷积核的连续卷积操作；其中，每个卷积后面是批标准化和ReLU激活函数；解码器三次上采样操作的特征通道数分别是4c，2c和c；在每次反卷积后，将编码器中与解码器对应位置的特征进行特征拼接。

5.如权利要求4所述的基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：所述的序列感知模块SLiM用于融合某一序列x_i∈R^H×W×1及其上一序列x_i-1和下一序列x_i+1的深层特征张量，具体步骤为：

步骤S1.1，将步骤2得到的每个三通道二维图像x∈R^H×W×3分别送入编码器部分进行特征提取：采用2.5D的策略，即三通道二维图像x的每个通道单独进行特征提取，编码成一列三组特征张量V_ei，使用特征拼接来融合三组特征张量，获得融合后的特征张量V_en；

步骤S1.2，通过非线性映射方式得到的新的融合特征张量V_e，即执行两个连续的卷积，步长为1，填充为1、卷积核为3*3，每个卷积都跟着批标准化和ReLU函数操作，再将得到的新的融合特征张量V_e送入到尺度感知模块SCaM中，用于不同尺度类别的语义信息学习。

6.如权利要求5所述的基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：所述的尺度感知模块SCaM通过膨胀卷积以获得不同大小感受野的同时保持空间分辨率来融合深层特征图中的不同尺度信息，具体步骤为：

步骤S2.1，采用不同膨胀率r∈N^m的多重卷积并行提取特征V_a以保持多组特征空间分辨率不变；

步骤S2.2，特征拼接后的特征继续执行1*1卷积以及批标准化和ReLU函数以进行非线性映射；

步骤S2.3，得到了同时包含结构空间信息和语义信息的鲁棒的特征张量V_SCaM。

7.如权利要求1所述的基于尺度和序列关系的骨盆核磁共振图像肌肉骨骼分割方法，其特征在于：所述的步骤4中的模型优化阶段采用自适应权重优化方法，利用V-Net中提出的Dice损失和加权的交叉熵损失作为网络训练的优化函数；为使得交叉熵损失的权重自适应，具体方法如下：在每个梯度更新时动态调整权值w^c∈W^N×1,W≡{1-Z|0≤Z≤1}；优化策略为使每个训练batch的总体目标函数L_CD最小化，其中L_CD定义为：

其中，j表示所有类别数N中的某一类别；y表示对应于数据x的手工标记；表示经过Softmax函数后的预测值；在训练期间的每次迭代中计算Z^(j)，并且在每个epoch中对w^c动态更新。