CN115861196A - 针对多模态医学影像的主动学习方法 - Google Patents

Abstract

本发明公开了针对多模态医学影像的主动学习方法，包括：获取初始无标注数据集，初始无标注数据集包括若干个模态集合，其中模态集合为若干个样本的集合；构建编码器，通过多模态对比学习方法对编码器进行预训练，得到预训练的特征编码器；通过预训练的特征编码器计算初始无标注数据集中每个样本模态间的逐点互信息，基于逐点互信息，得到价值样本子集；对价值样本子集进行标注，得到标注数据；根据标注数据及价值样本子集对预训练的特征编码器进行调整训练，得到任务模型，通过任务模型对多模态医学影像进行识别，得到多模态医学影像识别结果。

Description

针对多模态医学影像的主动学习方法

技术领域

本发明涉及医学影像处理技术领域，特别涉及针对多模态医学影像的主动学习方法。

背景技术

多模态医学影像能够显示同一解剖结构或病变的不同特性，能够提供丰富的互补信息，因此在临床中有着非常广泛的用途。深度学习在医学影像计算中已经取得了广泛的成功，原因之一在于其能够有效利用大量的有标注数据。医学影像的标注需要医学知识和专家经验，并且非常耗费时间，而多模态医学影像中不同模态之间的差异与变化使其标注难度更大，例如医生在标注某些病变时需要多次比较不同模态上的成像结果才能确定其确切区域，从而进一步增加了标注成本。如何减小标注成本并且保持尽可能好的性能对于医学影像计算有着重要意义，尤其是涉及多模态的医学影像计算任务。

主动学习(AL)是一种减小标注成本方法，在医学影像分割和分类上已有广泛的研究。通过挑选最有标注价值的无标样本并给专家标注，AL旨在利用少量有标注样本得到尽可能好的性能。由于多模态数据的普遍性，无论是计算机视觉还是医学影像计算中都有使用多模态数据的主动学习工作。

根据与专家的交互次数，AL可以分为迭代式AL和一次性AL。在迭代式AL中，整个系统在每一次迭代中选取少量样本与专家交互获得标注，并在所有数据上进行计算。迭代式AL有着较高的时间和计算成本，并假定随时可以获得专家标注，这是不现实的。在整个AL过程中，一次性AL只需要专家对选中的样本进行一次标注，因此在DL模型的训练过程中无需与专家交互，从而大幅减少了标注的时间与计算成本，但是一次性AL无法利用标注信息学习特征以及选择有价值样本，从而需要选择合适的特征学习方法，并且设计与迭代式AL完全不同的采样策略。

如何选择有价值样本是AL的核心问题。绝大部分方法基于不确定性的选择有价值样本，这些方法需要少量有标注样本训练初始模型，而且由于神经网络存在置信度过高的问题，不确定性最高的样本不一定是最有价值的样本。研究者们提出了各种新采样策略以克服不确定采样的缺点，例如代表性采样、核心集采样和基于梯度的采样等。然而，对于多模态医学影像，如何在采样过程中利用数据的多模态特性需要进一步研究，从而能够更进一步地降低标注成本。

发明内容

为解决上述现有技术中所存在的问题，本发明提供一种针对多模态医学影像的主动学习方法，使其能够在构建基于深度学习的医学影像分析的过程中减少人工标注，从而降低标注成本。

为了实现上述技术目的，本发明提供了如下技术方案：针对多模态医学影像的主动学习方法，包括：

获取初始无标注数据集，初始无标注数据集包括若干个模态集合，其中模态集合为若干个样本的集合；

构建编码器，通过多模态对比学习方法对编码器进行预训练，得到预训练的特征编码器；

通过预训练的特征编码器计算初始无标注数据集中每个样本模态间的逐点互信息，基于逐点互信息，得到价值样本子集；

对价值样本子集进行标注，得到标注数据；

根据标注数据及价值样本子集对预训练的特征编码器进行调整训练，得到任务模型，通过任务模型对多模态医学影像进行识别，得到多模态医学影像识别结果。

可选的，获取多模态医学影像的初始无标注数据集的过程包括：

采集未标注的多模态医学影像，并对未标注的多模态医学影像进行预处理，得到初始无标注数据集。

可选的，对深度神经网络进行预训练的过程包括：

对不同模态下的同一样本进行相同的随机裁剪及数据增强，得到模态数据；通过编码器对模态数据进行独立编码，得到独立编码数据；对独立编码数据进行降维，得到样本特征；

将样本特征进行提取，生成有序样本特征组合，其中有序样本组合包括正样本特征对及负样本特征对；

通过记忆银行对样本特征进行存储，并通过动量更新方法对有序样本组合特征中的样本特征进行迭代更新，直到遍历所有有序样本特征组合，根据迭代更新过程中的所有有序样本特征组合计算全部两个模态间的对比学习损失，根据两个模态间的模态对比学习损失计算得到多模态对比学习损失，根据多模态对比学习损失优化深度神经网络。

可选的，根据迭代更新过程中的所有有序样本特征组合计算全部两个模态间的对比学习损失

包括：

其中

为第1个模态中的第i个样本与第2个模态中的第i个样本构成的正样本特征对，

为第1个模态中的第i个样本与第2个模态对应的第j个负样本构成的负样本特征对，h(·，·)为相似度函数,S为负样本的索引集合,N为每个模态下的样本个数，E_i为对所有样本的损失期望。

可选的，计算得到多模态对比学习损失

的过程包括：

其中

为第m个模态对第n个模态间的对比学习损失。

为第n个模态对第m个模态间的对比学习损失，M为模态数量。

可选的，计算初始无标注数据集中每个样本模态间的逐点互信息的过程包括：

基于预训练的特征编码器预训练过程中的全部两个模态的对比学习损失计算每个样本模态间的逐点互信息：

为样本模态间的逐点互信息，k为负样本的索引集合的中负样本的数量；

根据逐点互信息整合得到最终逐点互信息嵌入，其中最终逐点互信息嵌入为包含全部逐点互信息的集合。

可选的，得到价值样本子集的过程包括：

通过k-Center-Greedy算法对最终逐点互信息嵌入进行采样处理，得到价值样本子集，其中最终逐点互信息嵌入中的逐点互信息之间的距离使用L2距离度量。

可选的，根据标注数据及价值样本子集对预训练的特征编码器进行调整训练，得到优化网络。

对预训练的特征编码器进行调整，得到初始网络，其中初始网络包括分割网络及分类网络，其中分割网络为由预训练的特征编码器构成的U型分割网络，分类网络为所有预训练的特征编码器顺序拼接后连接全连接层的分类网络；

通过标注数据及价值样本子集对初始网络进行训练，得到任务模型，训练过程中，分类网络使用交叉熵损失进行训练。

本发明具有如下技术效果：

本申请提出的一种针对多模态医学影像的主动学习方法能够利用模态间差异选择有价值样本进行标注，引入逐点互信息量化每个样本不同模态间的差异，使用两种基于逐点互信息的采样策略以选择互补信息更多的样本，使用多模态对比学习学习特征表示，并且使用对比学习的损失估计逐点互信息。本申请提供的主动学习方法，流程明确，能够在保证目标任务性能的情况下显著降低标注成本，具有理论创新性和实践优越性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的方法流程示意图；

图2为本发明实施例提供的无标注数据集示意图；

图3为本发明实施例提供的多模态对比学习预训练特征编辑器示意图；

图4为本发明实施例提供的PMI分析示意图；

图5为本发明实施例提供的专家标注示意图；

图6为本发明实施例提供的训练任务模型示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种主动学习方法，使其能够在构建基于深度学习的医学影像分析的过程中减少人工标注，从而降低标注成本。

如图1所示，为达到上述目的，本申请提供了一种针对多模态医学影像的主动学习方法，具体包括以下步骤：

1)收集大量未标注的多模态医学影像，进行适当的预处理以形成初始无标注数据集，例如多参数核磁共振影像(mpMRI)或者正电子发射断层扫描/X射线计算机断层成像(PET/CT)，进行适当的预处理以形成初始无标注数据集；

2)使用多模态对比学习的方式预训练深度神经网络作为特征编码器，利用从初始无标注数据集中同一模态下样本的原图中裁剪出的图像块作为特征编码器的输入即模态数据；

3)利用预训练的特征编码器，对初始无标注数据集中每个样本估计计算其模态间逐点互信息，根据标注预算，通过基于逐点互信息的采样策略选择一定数量的有价值样本，构成有价值样本子集；

4)让医生标注有价值样本子集中每个样本，得到有价值样本的标注；

5)在预训练特征编码器的基础上训练调整生成任务模型，如果目标任务为分割任务，则训练多编码器分割网络，如果目标任务为分类任务，则训练多模态分类网络。

由于有价值样本的个数远小于整个数据集的个数，从而本申请能够在保证目标任务性能的同时大幅减少需要标注的样本个数，从而减少人工标注的工作量，降低标注成本。

1.构建无标注数据集，如图2所示，在收集足够量的无标注影像后，进行必要的预处理以构成初始无标注数据集。

一个初始未标记的多模态医学影像数据集可以表示为M个模态的集合X＝{V¹，V²，...，V^M}，每一个模态为N个样本的集合

2.使用多模态对比学习预训练深度神经网络特征编码器，如图3所示。

利用从原图中裁剪出的图像块作为特征编码器的输入，通过特征编码器提取输入图像块的语义特征，使得同一样本不同模态之间的特征距离更近，而不同样本之间特征距离更远。对同一样本的所有模态进行相同的随机剪裁和数据增强，表示为T_i(·)即同一样本的模态数据，之后使用M个编码器f_m对每个模态独立编码，并在每个编码器之后叠加独立的投影头g_m以进一步降低维度，最终得到

的样本特征

为第m个模态中第i个样本。

多模态对比学习的核心思想是拉近正样本特征对

之间的距离并推远k个负样本特征对

之间的距离，其中S为负样本的索引集合，|S|＝k。使用未标注数据集中所有样本特征进行对比学习，即k＝N-1。两个模态之间多模态对比学习损失为：

其中h(·，·)为相似度函数，使用带温度τ的余弦相似度衡量两个特征是否相似，定义为

使用记忆银行(Memory Bank)

按照不同模态存储所有样本的特征。记忆银行中的特征通过动量的方式更新，更新法则为

其中η为动量，设置η＝0.9以保证收敛。当M＞2时，便可将两个模态的对比学习推广至多模态的对比学习，遍历所有

种有序模态组合，即可得最终的损失即多模态对比学习损失：

通过上述最终损失训练特征编码器。

3.使用逐点互信息估计每个无标注样本模态之间的差异。

首先利用多模态对比学习的损失估计出任意两个模态整体之间的互信息下界，然后在互信息下界的基础上，通过有序遍历得到每个样本任意两个模态的影像之间的逐点互信息，构成逐点互信息嵌入。逐点互信息(PMI)能够在样本层面量化模态差异，因此可以通过PMI选择有价值的样本，但是高维数据的PMI计算是十分困难的，本发明通过多模态对比学习和互信息(MI)的紧密联系估计MI，最终得到PMI的估计。最小化两模态多模态对比学习的损失等价于最大化两模态特征之间MI的下界，所以MI的下界能够作为互信息MI的估计量，即为

其中k越大，MI的估计就越准确。将互信息MI的估计量MI_NCE(z^m；zⁿ)替代互信息的真值可得下式：

最终，MI的逐点互信息

如下式所示，为：

由于样本在输入特征编码器之前已被剪裁，所以特征

只包含了样本的部分信息，本发明使用记忆银行中每个样本的特征作为

的表示

即

实际上是

在训练过程中的滑动平均，而由于剪裁的随机性，我们可以认为

包含了样本的全部信息。每个样本可以得到总共

个模态间PMI估计，将

简写为

从而最终构成逐点互信息嵌入I_i，即

4.使用两种基于逐点互信息的采样策略选择有标注价值的无标注样本。

能够反映

和

共享的信息量，

小则代表共享信息少，反映着每个模态的独有信息多，每个模态的独有信息相互补充，互补信息多的样本对于各类下游任务来说是更有价值的，因此使用以下两种采样策略：

如图4所示，(1)平均互信息最小(AvgPMI-min)。该策略的核心思想是模态差异大代表着互补信息多，互补信息多对下游任务更有帮助，该策略首先通过多模态对比学习的损失得到所有样本的逐点互信息嵌入I_i，然后计算逐点互信息嵌入中的每个样本互信息嵌入的平均，最后选择平均逐点互信息最小的q个样本送给专家标注。

(2)互信息多样性采样(PMI-diversity)。该方法能够在平均互信息最小的基础上增加采样过程中的多样性。该方法首先计算逐点互信息嵌入中所有样本的互信息嵌入，最后在样本的互信息嵌入之间使用k-Center-Greedy算法采样q个样本，两个互信息嵌入之间的距离使用L2距离度量。

5.专家标注有价值样本

如图5所示，将有价值样本子集送给专家进行标注，如果目标任务为分割，则标注为逐像素分割标注，如果目标任务为分类，则标注为类别标注。

6.训练任务模型

如图6所示，在预训练特征编码器的基础上训练任务模型。在获得有价值样本的专家标注后构建任务模型，首先通过预训练的编码器以一定结构构建初始网络，通过有价值样本子集对初始网络进行训练优化生成任务模型，如果目标任务为分割任务，则构建初始网络为多编码器分割网络，编码器使用预训练的编码器，在编码器后增加结构对称的解码器以构成多编码器U型分割网络，编码器载入多模态对比学习预训练的权重后，通过有价值样本子集对整个分割网络使用Dice与交叉熵损失的联合进行训练；如果目标任务为分类任务，则构建初始网络为多编码器分类网络，将所有编码器的输出进行拼接后输入全连接层以产生分类预测结果，使用交叉熵损失训练分类网络，通过最终的任务模型对多模态影像进行识别，完成针对多模态影像的识别任务。

本申请具有以下有益效果：

本申请提出的一种基于多模态医学影像的主动学习方法能够利用模态间差异选择有价值样本进行标注，引入逐点互信息量化每个样本不同模态间的差异，使用两种基于逐点互信息的采样策略以选择互补信息更多的样本，使用多模态对比学习学习特征表示，并且使用对比学习的损失估计逐点互信息。本申请提供的主动学习方法，流程明确，能够在保证目标任务性能的情况下显著降低标注成本，具有理论创新性和实践优越性。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.针对多模态医学影像的主动学习方法，其特征在于，包括：

获取初始无标注数据集，所述初始无标注数据集包括若干个模态集合，其中所述模态集合为若干个样本的集合；

构建编码器，通过多模态对比学习方法对编码器进行预训练，得到预训练的特征编码器；

通过预训练的特征编码器计算所述初始无标注数据集中每个样本模态间的逐点互信息，基于逐点互信息，得到价值样本子集；

对价值样本子集进行标注，得到标注数据；

根据标注数据及价值样本子集对预训练的特征编码器进行调整训练，得到任务模型，通过任务模型对多模态医学影像进行识别，得到多模态医学影像识别结果。

2.根据权利要求1所述的针对多模态医学影像的主动学习方法，其特征在于：

获取多模态医学影像的初始无标注数据集的过程包括：

采集未标注的多模态医学影像，并对未标注的多模态医学影像进行预处理，得到初始无标注数据集。

3.根据权利要求2所述的针对多模态医学影像的主动学习方法，其特征在于：

对所述深度神经网络进行预训练的过程包括：

对不同模态下的同一样本进行相同的随机裁剪及数据增强，得到模态数据；通过编码器对模态数据进行独立编码，得到独立编码数据；对独立编码数据进行降维，得到样本特征；

将样本特征进行提取，生成有序样本特征组合，其中有序样本组合包括正样本特征对及负样本特征对；

通过记忆银行对所述样本特征进行存储，并通过动量更新方法对有序样本组合中的样本特征进行迭代更新提取，直到遍历所有有序样本特征组合，根据迭代更新提取过程中的所有有序样本特征组合计算全部两个模态间的对比学习损失，根据两个模态间的模态对比学习损失计算得到多模态对比学习损失，根据多模态对比学习损失优化深度神经网络。

4.根据权利要求3所述的针对多模态医学影像的主动学习方法，其特征在于：

根据迭代更新过程中的所有有序样本特征组合计算全部两个模态间的对比学习损失

包括：

其中

为第1个模态中的第i个样本与第2个模态中的第i个样本构成的正样本特征对，

为第1个模态中的第i个样本与第2个模态对应的第j个负样本构成的负样本特征对，h(·，·)为相似度函数,S为负样本的索引集合,N为每个模态下的样本个数，E_i为对所有样本的损失期望。

5.根据权利要求3所述的针对多模态医学影像的主动学习方法，其特征在于：

所述计算得到多模态对比学习损失

的过程包括：

其中

为第m个模态对第n个模态间的对比学习损失；

为第n个模态对第m个模态间的对比学习损失，M为模态数量。

6.根据权利要求1所述的针对多模态医学影像的主动学习方法，其特征在于：

计算所述初始无标注数据集中每个样本模态间的逐点互信息的过程包括：

基于预训练的特征编码器预训练过程中的全部两个模态的对比学习损失计算所述每个样本模态间的逐点互信息：

为样本模态间的逐点互信息，k为负样本的索引集合中的负样本数量；

根据所述逐点互信息整合得到最终逐点互信息嵌入，其中所述最终逐点互信息嵌入为包含全部逐点互信息的集合。

7.根据权利要求1所述的针对多模态医学影像的主动学习方法，其特征在于：

得到价值样本子集的过程包括：

通过k-Center-Greedy算法对最终逐点互信息嵌入进行采样处理，得到价值样本子集，其中所述最终逐点互信息嵌入中的逐点互信息之间的距离使用L2距离度量。

8.根据权利要求1所述的针对多模态医学影像的主动学习方法，其特征在于：

根据标注数据及价值样本子集对预训练的特征编码器进行调整训练，得到优化网络。

对所述预训练的特征编码器进行调整，得到初始网络，其中初始网络包括分割网络及分类网络，其中分割网络为由预训练的特征编码器构成的U型分割网络，所述分类网络为所有预训练的特征编码器顺序拼接后连接全连接层的分类网络；

通过标注数据及价值样本子集对初始网络进行训练，得到任务模型，训练过程中，所述分类网络使用交叉熵损失进行训练。

Images