CN115966302A - 基于深度对比学习的半监督膝关节炎辅助分析方法 - Google Patents

Abstract

本发明公开了一种基于深度对比学习的半监督膝关节炎辅助分析方法，首先搭建用于膝关节磁共振图像分割的分割模型MoV‑Net，在原本的V‑Net网络基础上增加了辅助输出头；再利用弱数据增强方式和强数据增强方式对训练集中的数据进行处理；再利用基于余弦相似度的相似度计算方法，计算隐藏层特征编码向量内部的各个特征编码向量之间的相似度系数，以及隐藏层特征编码向量各自对应的相似度系数矩阵；再利用步骤3中得到的隐藏层特征编码向量各自对应的相似度系数矩阵，计算无监督对比损失；最后利用有监督损失和无监督对比损失更新分割模型MoV‑Net的网络参数；待分割模型训练完毕后，向分割模型MoV‑Net中输入测试集中的膝关节磁共振图像，从而得到最终分割结果。

Description

基于深度对比学习的半监督膝关节炎辅助分析方法

技术领域

本发明涉及医学图像分割领域，具体是一种基于深度对比学习的半监督膝关节炎辅助分析方法。

背景技术

骨关节炎是一种严重影响患者生活质量的关节退行性疾病，是全球疼痛和残疾的主要原因。在医学诊断中，骨关节炎最为常见的致病因素主要有肥胖、事故、竞技以及老龄化，其主要表现为膝关节疼痛和活动受限。此外，骨关节炎会导致关节软骨和软骨下骨发生形态学变化，且这一过程是不可逆的，也尚无可逆转骨性关节炎损伤的治疗方法，需要依据医生体格检查、影像学报告进行综合判断。

临床研究中，膝骨关节炎的诊断和严重程度评估主要基于放射学检查结果。在MR图像中可以生成关节内软组织结构的2D和3D图像，通常用于发现膝关节内，特别是关节软骨的结构变化。因此，MR图像通常作为一种展示病变发展进程的主要方式，也用于评估治疗方法的有效性。由于膝骨关节的结构和形态以及MR成像的性质，从MR扫描中获得准确且可重复的定量测量是一项繁重的工作。其次，无论专业人员能力如何，人工标注的过程都是相当复杂和耗时的，单个膝关节MR的人工标注可能动辄数小时以上，且标注结果还会带有个人主观意识的影响。

传统分割策略通常是基于一些图像标准来执行的，例如区域的强度变化、纹理的同质性等，并且通常将数据和关于被分割对象的先验知识结合起来进行图像分割。传统分割丰富主要有区域生长、基于边缘和活动轮廓模型等，它们提取连接区域，并将像素分组为基于预定义相似性准则的更大区域，最终得到分割结果。所谓的相似性准则也就是图像强度、图像纹理等同质性条件。这些传统分割方法需要继承形状和外观变化等高级知识，需要一定程度的用户交互，因此是一种半自动的图像分割方案。

在提供大量标注数据的情况下，使用深度学习方法，特别是以卷积网络(CNNs)为主的神经网络模型，在核磁共振图像自动分割任务上已经取得了令人满意的精确度。卷积网络能够利用卷积核对图像特征进行提取，并使用先编码，再解码的方式完成端到端的目标区域自动分割。卷积神经网络利用空间归纳偏置学习视觉特征，能够更好学习图像特征表示。在医学图像分割领域广泛应用的卷积网络模型有U-Net、V-Net等，它们使用编码器-解码器结构以最大化利用卷积网络的语义特征提取能力，并使用跳跃连接(SkipConnection)将纹理、边缘等低级语义信息保留下来，从而得到卓越的图像分割性能。然而，MR图像会受到成像方式、扫描仪器、空间分辨率的影响，而表现出不同的特征分布。通常在实际临床诊治过程中使用的MR图像与公开数据集中的MR图像存在较大的分布差异，因此不能将在公开数据集上预先训练好的模型直接用于辅助诊断，而重新训练网络模型又缺乏充足的，相似特征分布的标注数据。所以这类全监督的深度学习方法难以应用到实际临床治疗中。

目前，医学图像处理领域普遍面临着带标注医学图像匮乏的问题，而无标注数据相对来说更容易获得，因此利用无标注数据帮助少量的有标注数据进行模型训练成为了更合适的选择。常见的半监督学习方法通常有生成伪标注、引入扰动等方法。Self-Training、Co-Training等方法通过生成伪标注的方式扩充标注数据，这类方法将初步得到的预测结果根据事先设定的置信度阈值进行伪标注选举，然后将高置信度的预测结果作为有标注数据来帮助后续的模型训练，但这类方法会引入过多的人为因素，可能会导致模型不能更好地捕获无标注信息，影响模型的分割精度，不能很好地满足膝关节诊断所需的要求。引入扰动的方法通过一致性损失来对模型进行辅助优化，例如CPS、Cross Teaching同时训练多个分割模型，并将不同分割模型的预测结果作为其余分割模型的分割目标以计算一致性损失。这类方法认为，虽然不同的分割模型得到的预测结果各不相同，但这些分割模型的目标都是得到更精确的图像分割结果，因此可以使用交叉学习的方式促使分割模型进行相互学习，进而得到更高的模型精度。但这类方法通常只对模型进行整体上的优化，没有注意模型隐藏层正则化的重要性，不能很好将损失传递到模型的隐藏层，导致了模型学习能力的下降，得到的分割结果远远达不到辅助临床诊断所期望的标准。

总之，目前存在的基于深度学习的全监督膝关节自动分割方法尽管在公开数据集上表现尚佳，但忽略了临床诊断过程中有标注图像缺少的问题，在实际应用过程中存在极大阻力。而半监督膝关节自动分割方法虽然考虑到了上述问题，但没有充分利用无标注图像中的无监督信息来进行网络隐藏层的优化，降低了膝关节磁共振图像分割精度，不能很好地满足辅助膝关节炎诊断的所要求的准确性。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于深度对比学习的半监督膝关节炎辅助分析方法。

本发明解决所述技术问题的技术方案是，提供一种基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，该方法包括以下步骤：

步骤1、搭建用于膝关节磁共振图像分割的分割模型MoV-Net，分割模型MoV-Net在原本的V-Net网络基础上增加了辅助输出头，用于输出隐藏层特征图地编码向量；

分割模型MoV-Net由一个编码器Encoder和一个解码器Decoder以及辅助输出头H₁、H₂、H₃、H₄组成，其中编码器Encoder用于提取膝关节磁共振图像特征图并压缩特征图尺寸，解码器用于上采样膝关节磁共振图像特征图并还原特征图尺寸，辅助输出头用于重编码隐藏层特征图；

步骤2、利用至多五个的带有标注的膝关节磁共振图像D_L＝{(d_L,s_L)}^M和不少于二十个的不带有标注的膝关节磁共振图像D_U＝{(d_U)}^N组成数据集D，再将数据集D分为训练集D_tr、验证集D_va和测试集D_te；利用弱数据增强方式ξ_W和强数据增强方式ξ_S对训练集D_tr中的数据进行处理；然后从训练集D_tr中取出带标注的样本d_L对应的数据增强结果ξ_W(d_L)和ξ_S(d_L)以及无标注的样本d_U对应的数据增强结果ξ_W(d_U)和ξ_S(d_U)送入分割模型MoV-Net，获得有标注数据的预测分割图

和隐藏层特征编码向量组

以及无标注数据的预测分割图

和隐藏层特征编码向量组

步骤3、利用基于余弦相似度的相似度计算方法，计算隐藏层特征编码向量v₁、v₂、v₃、v₄内部的各个特征编码向量之间的相似度系数C_sim，以及隐藏层特征编码向量v₁、v₂、v₃、v₄各自对应的相似度系数矩阵Mat₁、Mat₂、Mat₃、Mat₄；

步骤4、计算有标注数据d_L经过弱数据增强方式ξ_W得到的ξ_W(d_L)对应的预测分割图

与其对应的标注

之间的有监督损失L_sup；再利用步骤3中得到的隐藏层特征编码向量v₁、v₂、v₃、v₄各自对应的相似度系数矩阵Mat₁、Mat₂、Mat₃、Mat₄，计算无监督对比损失L_ctr；

步骤5、利用有监督损失L_sup和无监督对比损失L_ctr更新分割模型MoV-Net的网络参数；待分割模型训练完毕后，向分割模型MoV-Net中输入测试集D_te中的膝关节磁共振图像，从而得到最终分割结果。

与现有技术相比，本发明的有益效果在于：

(1)本发明将有标注图像和无标注图像作为输入，通过简单而有效的CNN正则化方案提取膝骨关节部位的股骨、股骨软骨、胫骨和胫骨软骨分割预测图，计算相似性系数并生成3D分割结果可视化视图，辅助医生观察膝关节组织形态，测量软骨组织厚度，并用于评估软骨损伤程度，为临床诊断、手术规划和预后评估提供重要支撑。

(2)本发明通过辅助输出头将分割模型的隐藏层透明化，将分割模型在解码过程中产生的隐藏层特征图重新编码提取高级语义特征，并映射到编码向量空间，进而利用损失函数进行监督。解决了传统深度学习中深层网络面临的梯度爆炸和梯度丢失问题，同时加快了模型的训练速度，从而更加充分地训练分割模型。

(3)本发明设计了两种不同的数据增强方式，弱数据增强只应用随机翻转；强数据增强应用随机翻转、随机旋转、对比度调整、随机擦除和高斯噪声，使用两种不同的数据增强方式能够让分割模型提前适应实际应用场景下可能遇到的扰动，增强分割模型网络模型对各种病例样本的泛化学习能力。

(4)本发明将对比学习引入到半监督语义分割，所述方案主要利用两种不同的数据增强方式构建的正、负样本对以及基于距离的对比损失函数来实现。通过计算正、负样本对在分割模型中的隐藏层特征编码向量之间的相似性系数，得到相似性矩阵并计算无监督对比损失，从而捕获特征之间的相似性，更好地利用无标注数据中丰富的语义信息来优化分割模型。

(5)本发明方法属于半监督学习，可以有效地利用专家标注的金标准数据和丰富的无标注数据，解决临床实践中的数据标注时间长、带有主观意识等人工标注的难题。在实际应用过程中，本发明方法取得的性能接近于全监督学习分割性能并且优于其他本监督学习方法所取得的性能，可实现端到端自动分割功能，具有结果可重复、再优化的特点。

附图说明

图1为本发明的分割模型的总体框架图；

图2为本发明的编码块的具体结构图；

图3为本发明的解码块的具体结构图；

图4为本发明的辅助输出头的具体结构图；

图5为本发明的图像数据增强流程图；

图6为本发明的正负样本对的示意图；

图7为本发明的分割模型的二维预测结果示意图；

图8为本发明的分割模型的三维预测结果示意图。

具体实施方式

下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本发明权利要求的保护范围。

本发明提供了一种基于深度对比学习的半监督膝关节炎辅助分析方法(简称方法)，其特征在于，该方法包括以下步骤：

步骤1、搭建用于膝关节磁共振图像分割的分割模型MoV-Net，分割模型MoV-Net在原本的V-Net网络基础上增加了辅助输出头，用于输出隐藏层特征图地编码向量；

步骤1中，分割模型MoV-Net由一个编码器Encoder和一个解码器Decoder以及辅助输出头H₁、H₂、H₃、H₄组成，其中编码器Encoder用于提取膝关节磁共振图像特征图并压缩特征图尺寸，解码器用于上采样膝关节磁共振图像特征图并还原特征图尺寸，辅助输出头用于重编码隐藏层特征图；

优选地，步骤1中，编码器Encoder由编码块E₁、E₂、E₃、E₄与一个bottleneck块组成；每个编码块由两个卷积块和一个下采样块组成，每个bottleneck块由两个卷积块组成；每个卷积块包含一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层、一个BatchNorm层以及一个Relu激活函数层；每个下采样块包含一个卷积核大小为2×2×2，步长为2，填充为0的跨步卷积层、一个BatchNorm层以及一个Relu激活函数层。

优选地，步骤1中，解码器Decoder由解码块D₁、D₂、D₃、D₄与一个输出层pred组成；每个解码块由两个卷积块和一个上采样块组成，输出层包含一个单独的普通卷积层；每个卷积块包含一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层、一个BatchNorm层以及一个Relu激活函数层；每个上采样块包含一个卷积核大小为2×2×2，步长为2，填充为0的转置卷积层、一个BatchNorm层以及一个Relu激活函数层；输出层为一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层。

优选地，步骤1中，辅助输出头H₁由四个重编码块和一个全局最大值池化层组成；辅助输出头H₂由三个重编码块和一个全局最大值池化层组成；辅助输出头H₃由两个重编码块和一个全局最大值池化层组成；辅助输出头H₄由一个重编码块和一个全局最大值池化层组成；

重编码块由两个Relu激活函数层、两个BatchNorm层、一个卷积核大小为3×3×3，步长为2，填充为1的下采样卷积层、一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层以及两个线性层组成。

步骤2、利用至多五个的带有标注的膝关节磁共振图像D_L＝{(d_L,s_L)}^M和不少于二十个的不带有标注的膝关节磁共振图像D_U＝{(d_U)}^N组成数据集D，再将数据集D分为训练集D_tr、验证集D_va和测试集D_te；利用弱数据增强方式ξ_W和强数据增强方式ξ_S对训练集D_tr中的数据进行处理；然后从训练集D_tr中取出带标注的样本d_L对应的数据增强结果ξ_W(d_L)和ξ_S(d_L)以及无标注的样本d_U对应的数据增强结果ξ_W(d_U)和ξ_S(d_U)送入分割模型MoV-Net，获得有标注数据的预测分割图

和隐藏层特征编码向量组

以及无标注数据的预测分割图

和隐藏层特征编码向量组

优选地，步骤2中，数据增强方式具体细节如下：

对于弱数据增强方式ξ_W，如果膝关节磁共振图像具有标注，则将膝关节磁共振图像及其标注同时沿着膝关节磁共振图像的x、y、z坐标方向以P_x、P_y、P_z的可能性进行翻转；如果膝关节磁共振图像没有标注，则只对膝关节磁共振图像进行上述翻转操作；在弱数据增强中，进行翻转处理的可能性P_x＝P_y＝P_z＝0.1；

对于强数据增强方式ξ_S，先对膝关节磁共振图像以P_scale的可能性进行系数为0.5～1.5的对比度变换，然后再以P_gray的可能性进行系数为0.8～1.2的灰度值增强，之后，如果膝关节磁共振图像具有标注，则同时将膝关节磁共振图像及其标注沿着膝关节磁共振图像的x、y、z坐标方向以P′_x，P′_y，P′_z的可能性进行角度为σ的旋转，之后，再沿着膝关节磁共振图像的x、y、z坐标方向以P_x、P_y、P_z的可能性进行翻转；如果膝关节磁共振图像没有标注，则只对磁共振图像进行上述翻转、旋转操作；在强数据增强中，进行翻转处理的可能性P_x＝P_y＝P_z＝0.1，进行旋转处理的可能性P′_x＝P′_y＝P′_z＝0.5，旋转角度σ的范围为-15°～15°，对比度变化的可能性为P_scale＝0.8，灰度增强的可能性P_gray＝0.2；数据增强流程图如图5所示；

优选地，步骤2中，隐藏层特征编码向量组和预测分割图的获取过程具体为：

(2.1)从训练集D_tr中取出无标注数据d_U和有标注数据d_L，并使用两种不同的数据增强方式ξ_W和ξ_S对无标注数据d_U和有标注数据d_L分别进行数据增强得到x^w＝{ξ_W(d_U),ξ_W(d_L)}和x^s＝{ξ_S(d_U),ξ_S(d_L)}；将无标注数据增强结果x^w与有标注数据增强结果x^s堆叠，并作为分割模型的输入图像x，其中，x的高度、宽度、切片数、通道数分别为H、W、D、C；

(2.2)将尺寸为H×W×D×C的输入图像x送入编码器的编码块E₁，经由编码块E₁中的两个卷积块处理后，得到尺寸为H×W×D×16的编码特征图F₁，然后，复制编码特征图F₁得到编码特征图F′₁，编码特征图F′₁经由编码块E₁中的下采样块处理后，得到尺寸为H/2×W/2×D/2×16的编码特征图F′₁′；

(2.3)将尺寸为H/2×W/2×D/2×16的编码特征图F″₁送入编码器的编码块E₂，经由编码块E₂中的两个卷积块处理后，得到尺寸为H/2×W/2×D/2×32的编码特征图F₂，然后，复制编码特征图F₂得到编码特征图F′₂，编码特征图F′₂经由编码块E₂中的下采样块处理后，得到尺寸为H/4×W/4×D/4×32的编码特征图F″₂；

(2.4)将尺寸为H/4×W/4×D/4×32的编码特征图F″₂送入编码器的编码块E₃，经由编码块E₃中的两个卷积块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F₃，然后，复制编码特征图F₃得到编码特征图F′₃，编码特征图F′₃经由编码块E₃中的下采样块处理后，得到尺寸为H/8×W/8×D/8×64的编码特征图F″₃；

(2.5)将尺寸为H/8×W/8×D/8×64的编码特征图F″₃送入编码器的编码块E₄，经由编码块E₄中的两个卷积块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F₄，然后，复制编码特征图F₄得到编码特征图F′₄，编码特征图F′₄经由编码块E₄中的下采样块处理后，得到尺寸为H/16×W/16×D/16×128的编码特征图F″₄；

(2.6)将尺寸为H/16×W/16×D/16×128的编码特征图F″₃送入编码器的bottleneck块，经由第bottleneck块中的两个卷积块处理后，得到尺寸为H/16×W/16×D/16×256的编码特征图F₅，然后，复制编码特征图F₅得到编码特征图F′₅，至此编码器部分结束；

(2.7)将尺寸为H/16×W/16×D/16×256的编码特征图F′₅送入解码器的解码块D₁，经由解码块D₁中的上采样块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F₆；此时将编码特征图F₆与编码块E₄的编码特征图F₄进行矩阵相加得到尺寸为H/8×W/8×D/8×128的编码特征图F′₆，编码特征图F′₆经过解码块D₁中的两个卷积块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F″₆，然后，复制编码特征图F″₆得到编码特征图F″′₆；

(2.8)将尺寸为H/8×W/8×D/8×128的编码特征图F″′₆送入解码器的解码块D₂，经由解码块D₂中的上采样块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F₇；此时将编码特征图F₇与编码块E₃的编码特征图F₃进行矩阵相加得到尺寸为H/4×W/4×D/4×64的编码特征图F′₇，编码特征图F′₇经过解码块D₂中的两个卷积块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F″₇，然后，复制编码特征图F″₇得到编码特征图F″′₇；

(2.9)将尺寸为H/4×W/4×D/4×64的编码特征图F″′₇送入解码器的解码块D₃，经由解码块D₃中的上采样块处理后，得到尺寸为H/2×W/2×D/2×32的编码特征图F₈；此时将编码特征图F₈与编码块E₂的编码特征图F₂进行矩阵相加得到尺寸为H/2×W/2×D/2×32的编码特征图F′₈，编码特征图F′₈经过解码块D₃中的两个卷积块处理后，得到尺寸为H/2×W/2×D/2×32的编码特征图F″₈，然后，复制编码特征图F″₈得到编码特征图F″′₈；

(2.10)将尺寸为H/2×W/2×D/2×32的编码特征图F″′₈送入解码器的解码块D₄，经由解码块D₄中的上采样块处理后，得到尺寸为H×W×D×16的编码特征图F₉；此时将编码特征图F₉与编码块E₁的编码特征图F₁进行矩阵相加得到尺寸为H×W×D×16的编码特征图F′₉，编码特征图F′₉经过解码块D₄中的两个卷积块处理后，得到尺寸为H×W×D×16的编码特征图F″₉；

(2.11)将尺寸为H×W×D×16的编码特征图F″₉送入解码器的输出层pred，经由输出层处理后，得到尺寸为H×W×D×5的预测分割图m，其中m由无标注数据d_U的预测分割图

和

以及有标注数据d_L的预测分割图

和

组成；此时解码器部分结束；

(2.12)将尺寸为H/2×W/2×D/2×32的编码特征图F′₈′送入辅助输出头H₁，经由辅助输出头H₁中的第一个重编码块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F₁₀；将编码特征图F₁₀继续送入辅助输出头H₁中的第二个重编码块，得到尺寸为H/8×W/8×D/8×128的编码特征图F′₁₀；继续将编码特征图F′₁₀送入辅助输出头H₁中的第三个重编码块得到尺寸为H/16×W/16×D/16×256的编码特征图F″₁₀；再将编码特征图F″₁₀送入辅助输出头H₁中的第四个重编码块得到尺寸为H/32×W/32×D/32×512的编码特征图F″′₁₀；最后，利用辅助输出头H₁中的全局最大值池化层对F″′₁₀进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₁，其中v₁由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成；

(2.13)将尺寸为H/4×W/4×D/4×64的编码特征图F′₇′送入辅助输出头H₂，经由辅助输出头H₂中的第一个重编码块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F₁₁；将编码特征图F₁₁继续送入辅助输出头H₂中的第二个重编码块，得到尺寸为H/16×W/16×D/16×256的编码特征图F′₁₁；继续将编码特征图F′₁₁送入辅助输出头H₂中的第三个重编码块得到尺寸为H/32×W/32×D/32×512的编码特征图F″₁₁；最后，利用辅助输出头H₂中的全局最大值池化层对F″₁₁进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₂，其中v₂由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成；

(2.14)将尺寸为H/8×W/8×D/8×128的编码特征图F′₆′送入辅助输出头H₃，经由辅助输出头H₃中的第一个重编码块处理后，得到尺寸为H/16×W/16×D/16×256的编码特征图F₁₂；将编码特征图F₁₂继续送入辅助输出头H₃中的第二个重编码块，得到尺寸为H/32×W/32×D/32×512的编码特征图F′₁₂；最后，利用辅助输出头H₃中的全局最大值池化层对F′₁₂进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₃，其中v₃由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成；

(2.15)将尺寸为H/16×W/16×D/16×256的编码特征图F₅送入辅助输出头H₄，经由辅助输出头H₄中的第一个重编码块处理后，得到尺寸为H/32×W/32×D/32×512的编码特征图F₁₃；最后，利用辅助输出头H₄中的全局最大值池化层对F₁₃进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₄，其中v₄由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成。

步骤3、利用基于余弦相似度的相似度计算方法，计算隐藏层特征编码向量v₁、v₂、v₃、v₄内部的各个特征编码向量之间的相似度系数C_sim，以及隐藏层特征编码向量v₁、v₂、v₃、v₄各自对应的相似度系数矩阵Mat₁、Mat₂、Mat₃、Mat₄；

优选地，步骤3中，相似度系数C_sim的计算细节具体为：

以隐藏层特征编码向量v₁为例，从无标注数据d_U的隐藏层特征编码向量

与有标注数据d_L的隐藏层特征编码向量

组成的v₁中，同时取出两个隐藏层特征编码向量v_1xv_1y，则余弦相似度C_sim的计算式如式(1)所示；

式(1)中，v_1xi、v_1yi分别代表隐藏层特征编码向量v_1x、v_1y的各个分量；余弦相似度C_sim的取值范围为[-1,1]，-1表示两个隐藏层特征编码向量指向的方向正好截然相反，1表示这两个隐藏层特征编码向量的指向完全相同，0表示这两个隐藏层特征编码向量是相互独立的。

优选地，步骤3中，相似度系数C_sim的设计细节具体为：

以隐藏层特征编码向量v₁为例，对于有标注数据d_L经过ξ_W和ξ_S处理后的图像ξ_W(d_L)和ξ_S(d_L)，其隐藏层特征编码向量

的余弦相似度计算结果应当显示较高的相似性，为正样本对；同理，对于无标注数据d_U经过ξ_W和ξ_S处理后的图像ξ_W(d_U)和ξ_S(d_U)，其隐藏层特征编码向量

的余弦相似度计算结果也应当显示较高的相似性，因此也作为为正样本对；而有标注数据d_L与无标注数据d_U，它们对应的隐藏层特征编码向量

与

与

与

与

的余弦相似度的计算结果应当显示较低的相似性，为负样本对；正负样本对的示意图如图6所示。

优选地，步骤3中，相似度系数矩阵Mat_i的计算细节具体为：

以隐藏层特征编码向量v₁为例，利用余弦相似度计算式计算隐藏层特征编码向量v₁、v₂、v₃、v₄内部的各个特征编码向量之间的相似度系数，并将这些相似度系数以横轴为

纵轴为

的方式放入相似度系数矩阵Mat₁，由于余弦相似度计算只对不同的隐藏层特征编码向量进行，因此相似度系数矩阵Mat₁对角线上的值全部为0。

步骤4、计算有标注数据d_L经过弱数据增强方式ξ_W得到的ξ_W(d_L)对应的预测分割图

与其对应的标注

之间的有监督损失L_sup；再利用步骤3中得到的隐藏层特征编码向量v₁、v₂、v₃、v₄各自对应的相似度系数矩阵Mat₁、Mat₂、Mat₃、Mat₄，计算无监督对比损失L_ctr，利用该无监督对比损失，增大正样本对之间的余弦相似度，减小负样本对之间的余弦相似度；

优选地，步骤4中，总损失函数L包含监督损失L_sup和无监督对比损失L_ctr，如式(2)所示：

L＝L_sup+λL_ctr        (2)

式(2)中，L_sup表示监督损失，L_ctr表示无监督对比损失，λ表示控制监督损失和无监督对比损失之间平衡的系数；λ的数学式如式(3)所示：

式(3)中，k表示预设的权重值，也就是最终期望达到的权重；t表示一个0到1之间的小数，且随着迭代逐渐变大；使用λ能够让分割模型在训练初期学习更加重要的有监督损失；

L_sup的表达式具体如式(4)所示：

式(4)中

表示有标签数据的标签s_L经过弱数据增强后的结果，

表示有标注数据d_L经过弱数据增强方式ξ_W得到的ξ_W(d_L)对应的预测分割图，L_CE表示交叉熵损失函数，L_dice表示dice损失函数，L_CE和L_dice的计算式如式(5)和式(6)所示：

式(5)和式(6)中，

代表弱数据增强后的有标签数据d_L对应的预测分割图，

代表弱数据增强后的有标签数据对应的标签；

L_ctr的表达式具体如式(7)所示：

式(7)中，

表示的当其满足条件时，其取值为1，否则其值为0；τ是用于控制样本关注度的温度超参数，是一个常数，τ越大，对高相似的负样本对的关注程度越低，τ越小，对高相似的负样本对的关注程度越高；Mat_t是第t个辅助输出头所得到相似度矩阵。

步骤5、利用有监督损失L_sup和无监督对比损失L_ctr更新分割模型MoV-Net的网络参数；待分割模型训练完毕后，向分割模型MoV-Net中输入测试集D_te中的膝关节磁共振图像，从而得到最终分割结果。

优选地，步骤5的具体细节如下：利用损失函数L进行分割模型权重更新，并且随着网络的迭代，损失函数L的值会进一步缩小，同时，每经过两次网络的迭代，将验证集D_va中的膝关节磁共振图像输入分割模型，并计算评价指标，同时保留评价指标最高时网络的权重；随着迭代的进行，最终分割模型在验证集D_va的评价指标趋于平稳，表明分割模型已经学习完成；此时，将测试集D_te中的膝关节磁共振图像送入分割模型，得到精细化的自动语义分割结果。

实施例1

本发明在OAI-ZIB数据集上，使用本发明方法与现有的部分全监督、半监督方法分别训练得到分割模型，并在测试集上进行分割精度评估，各方法的模型分割精度参见表1。

表1各方法性能比较

从表1可知，本发明使用辅助输出头将分割模型隐藏层透明化，并利用对比学习提取输入数据中的无监督语义信息，能够提高模型地特征分辨能力。相比于全监督方法，本发明在股骨、胫骨分割上取得了相近的分割精度，而仅仅需要极为少量的标注数据。相比于半监督方法，本发明在各分割目标上均有卓越的表现，特别是股骨、股骨软骨的分割精度超越了所对比的所有半监督方法。

在实际诊疗过程中，医生只需标注极少量的膝关节磁共振图像，利用本发明所述方法训练分割模型，从而得到较高准确率的预测结果。除此之外，医生能够通过预测结果生成3D建模，从而准确高效地辅助膝关节炎的研判，并制定针对性的治疗方案。

本发明未述及之处适用于现有技术。

Claims (10)

1.一种基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，该方法包括以下步骤：

步骤1、搭建用于膝关节磁共振图像分割的分割模型MoV-Net，分割模型MoV-Net在原本的V-Net网络基础上增加了辅助输出头，用于输出隐藏层特征图地编码向量；

分割模型MoV-Net由一个编码器Encoder和一个解码器Decoder以及辅助输出头H₁、H₂、H₃、H₄组成，其中编码器Encoder用于提取膝关节磁共振图像特征图并压缩特征图尺寸，解码器用于上采样膝关节磁共振图像特征图并还原特征图尺寸，辅助输出头用于重编码隐藏层特征图；

步骤2、利用至多五个的带有标注的膝关节磁共振图像D_L＝{(d_L,s_L)}^M和不少于二十个的不带有标注的膝关节磁共振图像D_U＝{(d_U)}^N组成数据集D，再将数据集D分为训练集D_tr、验证集D_va和测试集D_te；利用弱数据增强方式ξ_W和强数据增强方式ξ_S对训练集D_tr中的数据进行处理；然后从训练集D_tr中取出带标注的样本d_L对应的数据增强结果ξ_W(d_L)和ξ_S(d_L)以及无标注的样本d_U对应的数据增强结果ξ_W(d_U)和ξ_S(d_U)送入分割模型MoV-Net，获得有标注数据的预测分割图

和隐藏层特征编码向量组

以及无标注数据的预测分割图

和隐藏层特征编码向量组

步骤3、利用基于余弦相似度的相似度计算方法，计算隐藏层特征编码向量v₁、v₂、v₃、v₄内部的各个特征编码向量之间的相似度系数C_sim，以及隐藏层特征编码向量v₁、v₂、v₃、v₄各自对应的相似度系数矩阵Mat₁、Mat₂、Mat₃、Mat₄；

步骤4、计算有标注数据d_L经过弱数据增强方式ξ_W得到的ξ_W(d_L)对应的预测分割图

与其对应的标注

之间的有监督损失L_sup；再利用步骤3中得到的隐藏层特征编码向量v₁、v₂、v₃、v₄各自对应的相似度系数矩阵Mat₁、Mat₂、Mat₃、Mat₄，计算无监督对比损失L_ctr；

步骤5、利用有监督损失L_sup和无监督对比损失L_ctr更新分割模型MoV-Net的网络参数；待分割模型训练完毕后，向分割模型MoV-Net中输入测试集D_te中的膝关节磁共振图像，从而得到最终分割结果。

2.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，优选地，步骤1中，编码器Encoder由编码块E₁、E₂、E₃、E₄与一个bottleneck块组成；每个编码块由两个卷积块和一个下采样块组成，每个bottleneck块由两个卷积块组成；每个卷积块包含一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层、一个BatchNorm层以及一个Relu激活函数层；每个下采样块包含一个卷积核大小为2×2×2，步长为2，填充为0的跨步卷积层、一个BatchNorm层以及一个Relu激活函数层。

3.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤1中，解码器Decoder由解码块D₁、D₂、D₃、D₄与一个输出层pred组成；每个解码块由两个卷积块和一个上采样块组成，输出层包含一个单独的普通卷积层；每个卷积块包含一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层、一个BatchNorm层以及一个Relu激活函数层；每个上采样块包含一个卷积核大小为2×2×2，步长为2，填充为0的转置卷积层、一个BatchNorm层以及一个Relu激活函数层；输出层为一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层。

4.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤1中，辅助输出头H₁由四个重编码块和一个全局最大值池化层组成；辅助输出头H₂由三个重编码块和一个全局最大值池化层组成；辅助输出头H₃由两个重编码块和一个全局最大值池化层组成；辅助输出头H₄由一个重编码块和一个全局最大值池化层组成；

重编码块由两个Relu激活函数层、两个BatchNorm层、一个卷积核大小为3×3×3，步长为2，填充为1的下采样卷积层、一个卷积核大小为3×3×3，步长为1，填充为1的普通卷积层以及两个线性层组成。

5.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤2中，数据增强方式具体细节如下：

对于弱数据增强方式ξ_W，如果膝关节磁共振图像具有标注，则将膝关节磁共振图像及其标注同时沿着膝关节磁共振图像的x、y、z坐标方向以P_x、P_y、P_z的可能性进行翻转；如果膝关节磁共振图像没有标注，则只对膝关节磁共振图像进行上述翻转操作；

对于强数据增强方式ξ_S，先对膝关节磁共振图像以P_scale的可能性进行系数为0.5～1.5的对比度变换，然后再以P_gray的可能性进行系数为0.8～1.2的灰度值增强，之后，如果膝关节磁共振图像具有标注，则同时将膝关节磁共振图像及其标注沿着膝关节磁共振图像的x、y、z坐标方向以P′_x，P′_y，P′_z的可能性进行角度为σ的旋转，之后，再沿着膝关节磁共振图像的x、y、z坐标方向以P_x、P_y、P_z的可能性进行翻转；如果膝关节磁共振图像没有标注，则只对磁共振图像进行上述翻转、旋转操作。

6.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤2中，隐藏层特征编码向量组和预测分割图的获取过程具体为：

(2.1)从训练集D_tr中取出无标注数据d_U和有标注数据d_L，并使用两种不同的数据增强方式ξ_W和ξ_S对无标注数据d_U和有标注数据d_L分别进行数据增强得到x^w＝{ξ_W(d_U),ξ_W(d_L)}和x^s＝{ξ_S(d_U),ξ_S(d_L)}；将无标注数据增强结果x^w与有标注数据增强结果x^s堆叠，并作为分割模型的输入图像x，其中，x的高度、宽度、切片数、通道数分别为H、W、D、C；

(2.2)将尺寸为H×W×D×C的输入图像x送入编码器的编码块E₁，经由编码块E₁中的两个卷积块处理后，得到尺寸为H×W×D×16的编码特征图F₁，然后，复制编码特征图F₁得到编码特征图F′₁，编码特征图F′₁经由编码块E₁中的下采样块处理后，得到尺寸为H/2×W/2×D/2×16的编码特征图F″₁；

(2.3)将尺寸为H/2×W/2×D/2×16的编码特征图F″₁送入编码器的编码块E₂，经由编码块E₂中的两个卷积块处理后，得到尺寸为H/2×W/2×D/2×32的编码特征图F₂，然后，复制编码特征图F₂得到编码特征图F′₂，编码特征图F′₂经由编码块E₂中的下采样块处理后，得到尺寸为H/4×W/4×D/4×32的编码特征图F″₂；

(2.4)将尺寸为H/4×W/4×D/4×32的编码特征图F″₂送入编码器的编码块E₃，经由编码块E₃中的两个卷积块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F₃，然后，复制编码特征图F₃得到编码特征图F′₃，编码特征图F′₃经由编码块E₃中的下采样块处理后，得到尺寸为H/8×W/8×D/8×64的编码特征图F″₃；

(2.5)将尺寸为H/8×W/8×D/8×64的编码特征图F″₃送入编码器的编码块E₄，经由编码块E₄中的两个卷积块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F₄，然后，复制编码特征图F₄得到编码特征图F′₄，编码特征图F′₄经由编码块E₄中的下采样块处理后，得到尺寸为H/16×W/16×D/16×128的编码特征图F″₄；

(2.6)将尺寸为H/16×W/16×D/16×128的编码特征图F″₃送入编码器的bottleneck块，经由第bottleneck块中的两个卷积块处理后，得到尺寸为H/16×W/16×D/16×256的编码特征图F₅，然后，复制编码特征图F₅得到编码特征图F′₅，至此编码器部分结束；

(2.7)将尺寸为H/16×W/16×D/16×256的编码特征图F′₅送入解码器的解码块D₁，经由解码块D₁中的上采样块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F₆；此时将编码特征图F₆与编码块E₄的编码特征图F₄进行矩阵相加得到尺寸为H/8×W/8×D/8×128的编码特征图F′₆，编码特征图F′₆经过解码块D₁中的两个卷积块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F″₆，然后，复制编码特征图F″₆得到编码特征图F″′₆；

(2.8)将尺寸为H/8×W/8×D/8×128的编码特征图F″′₆送入解码器的解码块D₂，经由解码块D₂中的上采样块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F₇；此时将编码特征图F₇与编码块E₃的编码特征图F₃进行矩阵相加得到尺寸为H/4×W/4×D/4×64的编码特征图F′₇，编码特征图F′₇经过解码块D₂中的两个卷积块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F″₇，然后，复制编码特征图F″₇得到编码特征图F″′₇；

(2.9)将尺寸为H/4×W/4×D/4×64的编码特征图F″′₇送入解码器的解码块D₃，经由解码块D₃中的上采样块处理后，得到尺寸为H/2×W/2×D/2×32的编码特征图F₈；此时将编码特征图F₈与编码块E₂的编码特征图F₂进行矩阵相加得到尺寸为H/2×W/2×D/2×32的编码特征图F′₈，编码特征图F′₈经过解码块D₃中的两个卷积块处理后，得到尺寸为H/2×W/2×D/2×32的编码特征图F″₈，然后，复制编码特征图F″₈得到编码特征图F″′₈；

(2.10)将尺寸为H/2×W/2×D/2×32的编码特征图F″′₈送入解码器的解码块D₄，经由解码块D₄中的上采样块处理后，得到尺寸为H×W×D×16的编码特征图F₉；此时将编码特征图F₉与编码块E₁的编码特征图F₁进行矩阵相加得到尺寸为H×W×D×16的编码特征图F′₉，编码特征图F′₉经过解码块D₄中的两个卷积块处理后，得到尺寸为H×W×D×16的编码特征图F″₉；

(2.11)将尺寸为H×W×D×16的编码特征图F″₉送入解码器的输出层pred，经由输出层处理后，得到尺寸为H×W×D×5的预测分割图m，其中m由无标注数据d_U的预测分割图

和

以及有标注数据d_L的预测分割图

和

组成；此时解码器部分结束；

(2.12)将尺寸为H/2×W/2×D/2×32的编码特征图F″₈送入辅助输出头H₁，经由辅助输出头H₁中的第一个重编码块处理后，得到尺寸为H/4×W/4×D/4×64的编码特征图F₁₀；将编码特征图F₁₀继续送入辅助输出头H₁中的第二个重编码块，得到尺寸为H/8×W/8×D/8×128的编码特征图F′₁₀；继续将编码特征图F′₁₀送入辅助输出头H₁中的第三个重编码块得到尺寸为H/16×W/16×D/16×256的编码特征图F″₁₀；再将编码特征图F″₁₀送入辅助输出头H₁中的第四个重编码块得到尺寸为H/32×W/32×D/32×512的编码特征图F″′₁₀；最后，利用辅助输出头H₁中的全局最大值池化层对F″′₁₀进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₁，其中v₁由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成；

(2.13)将尺寸为H/4×W/4×D/4×64的编码特征图F″₇送入辅助输出头H₂，经由辅助输出头H₂中的第一个重编码块处理后，得到尺寸为H/8×W/8×D/8×128的编码特征图F₁₁；将编码特征图F₁₁继续送入辅助输出头H₂中的第二个重编码块，得到尺寸为H/16×W/16×D/16×256的编码特征图F′₁₁；继续将编码特征图F′₁₁送入辅助输出头H₂中的第三个重编码块得到尺寸为H/32×W/32×D/32×512的编码特征图F″₁₁；最后，利用辅助输出头H₂中的全局最大值池化层对F″₁₁进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₂，其中v₂由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成；

(2.14)将尺寸为H/8×W/8×D/8×128的编码特征图F″₆送入辅助输出头H₃，经由辅助输出头H₃中的第一个重编码块处理后，得到尺寸为H/16×W/16×D/16×256的编码特征图F₁₂；将编码特征图F₁₂继续送入辅助输出头H₃中的第二个重编码块，得到尺寸为H/32×W/32×D/32×512的编码特征图F′₁₂；最后，利用辅助输出头H₃中的全局最大值池化层对F′₁₂进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₃，其中v₃由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成；

(2.15)将尺寸为H/16×W/16×D/16×256的编码特征图F₅送入辅助输出头H₄，经由辅助输出头H₄中的第一个重编码块处理后，得到尺寸为H/32×W/32×D/32×512的编码特征图F₁₃；最后，利用辅助输出头H₄中的全局最大值池化层对F₁₃进行处理，得到尺寸为1×1×1×512的隐藏层的特征编码向量v₄，其中v₄由无标注数据d_U的隐藏层特征编码向量

以及有标注数据d_L的隐藏层特征编码向量

组成。

7.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤3中，相似度系数C_sim的计算细节具体为：

以隐藏层特征编码向量v₁为例，从无标注数据d_U的隐藏层特征编码向量

与有标注数据d_L的隐藏层特征编码向量

组成的v₁中，同时取出两个隐藏层特征编码向量v_1x和v_1y，则余弦相似度C_sim的计算式如式(1)所示；

式(1)中，v_1xi、v_1yi分别代表隐藏层特征编码向量v_1x、v_1y的各个分量；余弦相似度C_sim的取值范围为[-1,1]，-1表示两个隐藏层特征编码向量指向的方向正好截然相反，1表示这两个隐藏层特征编码向量的指向完全相同，0表示这两个隐藏层特征编码向量是相互独立的；

相似度系数C_sim的设计细节具体为：

以隐藏层特征编码向量v₁为例，对于有标注数据d_L经过ξ_W和ξ_S处理后的图像ξ_W(d_L)和ξ_S(d_L)，其隐藏层特征编码向量

的余弦相似度计算结果应当显示较高的相似性，为正样本对；同理，对于无标注数据d_U经过ξ_W和ξ_S处理后的图像ξ_W(d_U)和ξ_S(d_U)，其隐藏层特征编码向量

的余弦相似度计算结果也应当显示较高的相似性，因此也作为为正样本对；而有标注数据d_L与无标注数据d_U，它们对应的隐藏层特征编码向量

与

与

与

与

的余弦相似度的计算结果应当显示较低的相似性，为负样本对。

8.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤3中，相似度系数矩阵的计算细节具体为：

以隐藏层特征编码向量v₁为例，利用余弦相似度计算式计算隐藏层特征编码向量v₁、v₂、v₃、v₄内部的各个特征编码向量之间的相似度系数，并将这些相似度系数以横轴为

纵轴为

的方式放入相似度系数矩阵Mat₁，由于余弦相似度计算只对不同的隐藏层特征编码向量进行，因此相似度系数矩阵Mat₁对角线上的值全部为0。

9.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤4中，总损失函数L包含监督损失L_sup和无监督对比损失L_ctr，如式(2)所示：

L＝L_sup+λL_ctr        (2)

式(2)中，L_sup表示监督损失，L_ctr表示无监督对比损失，λ表示控制监督损失和无监督对比损失之间平衡的系数；λ的数学式如式(3)所示：

式(3)中，k表示预设的权重值，也就是最终期望达到的权重；t表示一个0到1之间的小数，且随着迭代逐渐变大；使用λ能够让分割模型在训练初期学习更加重要的有监督损失；

L_sup的表达式具体如式(4)所示：

式(4)中

表示有标签数据的标签s_L经过弱数据增强后的结果，

表示有标注数据d_L经过弱数据增强方式ξ_W得到的ξ_W(d_L)对应的预测分割图，L_CE表示交叉熵损失函数，L_dice表示dice损失函数，L_CE和L_dice的计算式如式(5)和式(6)所示：

式(5)和式(6)中，

代表弱数据增强后的有标签数据d_L对应的预测分割图，

代表弱数据增强后的有标签数据对应的标签；

L_ctr的表达式具体如式(7)所示：

式(7)中，

表示的当其满足条件时，其取值为1，否则其值为0；τ是用于控制样本关注度的温度超参数，是一个常数，τ越大，对高相似的负样本对的关注程度越低，τ越小，对高相似的负样本对的关注程度越高；Mat_t是第t个辅助输出头所得到相似度矩阵。

10.根据权利要求1所述的基于深度对比学习的半监督膝关节炎辅助分析方法，其特征在于，步骤5的具体细节如下：利用损失函数L进行分割模型权重更新，并且随着网络的迭代，损失函数L的值会进一步缩小，同时，每经过两次网络的迭代，将验证集D_va中的膝关节磁共振图像输入分割模型，并计算评价指标，同时保留评价指标最高时网络的权重；随着迭代的进行，最终分割模型在验证集D_va的评价指标趋于平稳，表明分割模型已经学习完成；此时，将测试集D_te中的膝关节磁共振图像送入分割模型，得到精细化的自动语义分割结果。

Images