CN113269734A - 一种基于元学习特征融合策略的肿瘤图像检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于元学习特征融合策略的肿瘤图像检测方法及装置，包括将多个网络模型在开源数据集上进行预训练，并将肿瘤图像输入到网络模型中，提取出多层次源域特征向量；利用元学习卷积核将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；基于元学习卷积核将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。本发明可以应用在肿瘤图像诊断技术的辅助检测应用，其检测效率能优于医疗专家肉眼诊断检测。

Description

一种基于元学习特征融合策略的肿瘤图像检测方法及装置

技术领域

本发明涉及肿瘤图像检测技术领域，尤其涉及一种基于元学习特征融合策略的肿瘤图像检测方法。

背景技术

随着医学成像技术的快速发展，数字化医疗图像数量急剧增加，逐渐超过了人工可处理数量的限制，面临着人工检测肿瘤图像的费时、主观、效率低等棘手问题。近年来，计算机技术在医疗诊断中扮演的角色越来越重要，其中医疗图像检测方法研究已经成为基于图像的计算机辅助诊断系统中重要的研究内容。

利用计算机图像处理技术对二维医学影像进行分析和处理，实现对切片区域内肿瘤目标的定位及分类，能够辅助医疗专家对病变体区域进行定性和定量的判断，从而推动基于图像的计算机辅助诊断系统朝着更高准确性和可靠性的方向发展。但是，如何利用有限的数据集能够更加充分、快速、准确的对病变区域进行检测和识别，已经成为辅助诊断领域的充满挑战性的工作。

对于计算机辅助诊断系统的应用，肿瘤图像检测方法主要可以总结为两种方法：

(1)基于手工特征的方法

该方法已经较为成熟，且广泛应用于计算机辅助诊断系统，但是需要较多人工参与工作，且精度也有待提高，不具备泛化性以及适应性。主要标准方法是通过图形学过滤来检测候选病变位置，该方法过度依赖手工制作的特征向量，选择特征的依据会严重影响判别器的效果。

(2)基于深度学习的方法

通过深度神经网络直接对医学图像进行卷积操作，提取有效特征，可以显著减少人工参与工作，且能保持较高精度。采用基于深度学习的多目标检测方法能够实现端到端的肿瘤区域检测和分类，选择不同的神经网络构建方式以及组合方式能不同程度提高检测的效果。但现有的深度学习方法不能拓展肿瘤图像的各层语义，且数据集训练出的源域信息不能迁移到数据量较小的目标域上，多目标检测网络学习效率不高。

发明内容

本发明的目的在于克服现有技术的不足，针对源域特征迁移和多目标检测的技术基础，提供一种基于元学习特征融合策略的肿瘤图像检测方法，利用元学习能够自适应学习的特点，使之在样本数量较少的情况下仍然能够保持较高的识别精确度，实现辅助检测肿瘤图像的智能诊断技术应用，其检测效率能优于医疗专家肉眼诊断检测。

本发明的目的是通过以下技术方案来实现的：

一种基于元学习特征融合策略的肿瘤图像检测方法，包括以下步骤：

步骤一：源域特征向量获取，将多个网络模型在开源数据集上进行预训练，并将肿瘤图像分别输入到多个预训练的网络模型中，提取出肿瘤图像的多层次源域特征向量；

步骤二：源域特征向量自适应对齐融合，利用元学习卷积核将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；

步骤三：目标域特征向量迁移，基于元学习卷积核将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；

步骤四：级联多目标检测，将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。

具体的，步骤一中的源域特征向量获取过程具体包括以下子步骤：

S101，选择多个深度与目标网络相匹配的深度神经网络模型作为源域特征提取器，并将源域特征提取器在开源数据集上进行预训练；

S102，将目标图片输入到多个源域特征提取器中，去除特征提取器末端的分类网络，按照特征提取器卷积部分的特征图尺度输出各层级特征图，即经过全连接网络后得到的多层次源域特征向量。

具体的，步骤二中的源域特征向量自适应对齐融合具体包括以下子步骤：

S201，对于每一层级特征图进行转换，将源特征提取器中的每一个卷积特征图按照尺度大小分成不同的组，对每一组大小相同的卷积特征图进行一次卷积操作，将各个组卷积特征图的通道数统一到相同的维度，之后进行批量归一化操作；批量归一化操作为：设这些卷积特征图的数量为N，每个卷积图用f_i表示，构成集合F＝{f_i,i＝1,2,...,N}，计算过程如下式所示：

f'_i＝BN(Conv1×1(f_i))for i＝1,2,...,N；

S202，对归一化后的卷积特征图进行集成，将源特征生成器的高层特征图通过尺度变换，使之与底层特征图在通道维度上结合；

S203，将集成后的卷积特征图进行融合，先利用源特征提取器从尺度较大的特征图中提取出特征信息，并通过特征自适应融合机制将提取出的特征信息迁移到目标网络中尺度更小的特征图中。

具体的，步骤三中的目标域特征向量迁移过程具体包括以下子步骤：

S301，定制目标网络各层卷积核，在各个卷积核上扩展出用于迁移源域特征的额外通道，同时保留原有训练通道；

S302，使用元学习训练方式对各层卷积核进行训练，并利用卷积层在目标网络与当前任务之间形成注意力机制，同时积累当前任务的训练损失；

S303，在训练过程中对目标网络上所有定制的卷积核的额外通道的权值进行更新，同时对步骤S203中融合过程进行梯度更新。

具体的，所述步骤四中的级联多目标检测过程包括以下子步骤：

S401，将生成的源特征提取器、融合结构、自适应迁移结构以及目标网络组成骨架网络，将骨架网络的各层级输出到区域选取网络RPN中；

S402，区域选取网络RPN将一个特征图经过滑动窗口处理，生成一系列候选框；

S403，选取各类感兴趣区域头部ROI Head网络，对候选框进行随机筛选和固定尺寸的裁剪，将裁剪后的特征图通过全连接层进行分类和回归，并采取非极大抑制NMS处理回归结果。

一种基于元学习特征融合策略的肿瘤图像检测装置，包括源域特征向量获取模块、源域特征向量对齐融合模块、目标域特征向量迁移模块、级联多目标检测模块；其中，源域特征向量获取模块用于将多个网络模型在开源数据集上进行预训练，并将肿瘤图像分别输入到多个预训练的网络模型中，提取出肿瘤图像的多层次源域特征向量；

源域特征向量对齐融合模块用于将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；

目标域特征向量迁移模块用于将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；

级联多目标检测模块用于将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。

本发明的有益效果：

1.本发明解决了源特征融合过程中的尺度不匹配问题，并输入到目标网络对应层次，拓展了肿瘤图像的各层语义，为辅助诊断提供更多的参考信息；

2.本发明采用元学习策略指导源特征的融合与目标网络的训练，使得在海量数据集上训练得到的源域信息能够迁移到数据量较小的目标域上，解决了数据集较小容易过拟合的问题；

3.本发明改进了级联多目标检测算法，综合特征融合方法与元学习策略得到的图像特征拓展了区域选取网络RPN的通道数量，同时修改感兴趣区域头部ROI Head网络的通道数量，改进多目标检测网络学习率，通过三处改进提升了检测性能，并满足实际应用场景要求。

附图说明

图1是本发明的方法流程图。

图2是本发明的目标域特征向量训练示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，如图1所示，一种基于元学习特征融合策略的肿瘤图像检测方法，包括以下步骤：

步骤一：源域特征向量获取，将多个网络模型在开源数据集上进行预训练，并将肿瘤图像分别输入到多个预训练的网络模型中，提取出肿瘤图像的多层次源域特征向量；

步骤二：源域特征向量自适应对齐融合，利用元学习卷积核将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；

步骤三：目标域特征向量迁移，基于元学习卷积核将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；

步骤四：级联多目标检测，将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。

其中，源域特征向量获取过程包括以下主要步骤：

1.选择多个深度与目标网络相匹配的深度神经网络模型作为特征提取器，其预训练过程有助于保留源域数据集的特征信息；

2.将目标图片输入到多个源域特征提取器中，去除特征提取器末端的分类网络，按照特征提取器卷积部分的特征图尺度输出各层级特征图，即经过全连接网络后得到的多层次源域特征向量。

特征向量自适应对齐融合过程包括以下主要步骤：

1.对于每一层级特征图进行转换，将源特征提取器中的每一个卷积特征图按照尺度大小分成不同的组，对每一组大小相同的卷积特征图进行一次卷积操作，目的是将各个组卷积特征图的通道数统一到相同的维度，之后进行批归一化操作；设这些卷积特征图的数量为N，每个卷积图用f_i表示，构成集合F＝{f_i,i＝1,2,...,N}，计算细节如下所示：

f'_i＝BN(Conv1×1(f_i))for i＝1,2,...,N

S2.归一化后进行集成，由于源特征提取器产生的每一层卷积特征图表达了输入图像从底层到高层的语义信息，因此越是高层的语义对底层语义的表达会更加突出，集成就是把源特征生成器的高层特征图通过尺度变换，使之与底层特征图在通道维度上结合。不同尺度大小的特征图需要对应不同的卷积操作和上采样或者反池化操作。这种结合后的特征与对应层的原始特征，最大的区别就是通道数更多了，多出来的通道用来保留的是其他高层语义的信息，其影响在于会削弱对应层原始特征的重要性。所以需要利用现有的通道压缩技术对结合后的特征做一次通道压缩的操作，再用对应层原始特征做一次加法增强，这样处理后的特征图更加能够保留该尺度下的全局输入信息。对每一组大小的特征图进行集成操作，我们可以得到不同尺度大小的全局输入信息，称之为特征集合；设第一步的输出为F'＝{f'_i,i＝1,2,...,N},很明显f_i+1比f_i具有更高层次的语义，这一步融合就是让f_i+1,f_i+2,...,f_N的信息融合到f_i这个层次，上面的描述可以用形式化表示：

m_j＝RELU(BN(Conv3×3(f_i))),j＝i,i+1,...,N，

n_j＝if(j＞i)ReScale(m_j)else m_j，

o_i＝BN(Conv1×1(Concat(n_j,n_j+1,...,n_N)))，

fs_i＝RELU(f'_i+o_i)，

此时可以用fs_i构成上文所说的特征集合的概念，即FS＝{fs_i,i＝1,2,...,N}；

3.集成完成之后进行融合，它的思想与第二步集成正好相反，既然尺度较大的特征是来自于源特征提取器的对应层的特征图和更高层的特征图，在第三步就需要让尺度较大的特征融合到目标网络尺度更小的网络层去，目的就是让源特征提取器针对输入图片的特征提取能力融合到目标网络里面去，要将尺度较大的特征图采样变换到高层网络对应的尺度上，加强了目标网络各个网络层的特征传递。在FS中，fs_i拥有不同的大小尺度，设目标网络按照卷积特征图的尺寸分为各个网络组，其输入为T＝{t_j,j＝1,2,...,M},则fs_i的目标是加入到那些尺度小于fs_i的t_j，同时保持额外加入信息的通道数要一样，具体操作如下所示：

t'_j＝Concat(t_j,fs_i for all fs_i not smaller than t_j),

这样一来，在目标网络中尺度越小的特征图就会得到特征集合越多的辅助，可以看成是将源特征提取器的信息通过特征自适应融合机制迁移到目标网络上。

目标域特征向量迁移，主要是使用迁移学习的训练方式训练元学习器，训练方式如图2所示，该过程包括以下主要步骤：

1.定制目标网络各层卷积核，在各个卷积核上扩展出用于迁移源域特征的通道，用以训练目标网络的迁移能力，保留原有通道用以训练目标网络的拟合能力；

2.使用元学习训练方式对各层卷积核进行训练，此时的卷积层充当了目标网络与当前任务之间的注意力机制，训练的损失即关于任务的经验就会在这一轮训练的网络各层之间逐渐积累，以致于目标网络能够渐渐朝着任务相关的梯度方向偏移；

3.训练过程中对目标网络上所有定制卷积核的额外通道的权值进行更新，保证目标网络在既有拟合能力上最大化其迁移自适应能力，并对前面的融合过程也进行梯度更新；

级联多目标检测过程包括以下主要步骤：

1.将以上源特征提取器、融合结构、自适应迁移结构以及目标网络组成骨架网络，将骨架网络的各层级输出到区域选取网络RPN中；

2.区域选取网络RPN将一个特征图经过滑动窗口处理，类似于经过卷积操作获取到新的特征，之后通过全连接得到表征分数的特征图和表征坐标的特征图，即生成了一系列候选框；

3.选取各类感兴趣区域头部ROI Head网络，对候选框进行随机筛选和固定尺寸的裁剪，保证正负样本比例一定和总数一定，将裁剪后的特征图通过全连接层进行分类和回归，并可以采取非极大抑制NMS处理回归结果。

本发明提出将源特征提取器的不同尺度的特征向量融合在一起，采用一种自适应的方式解决了尺度不匹配的问题，使得目标网络可以从多个层次和维度对输入的肿瘤图像进行检测，实现从同一病变图像的不同角度获取到病变表层信息和病变高层语义。这在实践应用中为医学专家提供了更加丰富的图像释义，综合多方位图像信息与病变信息，以此提高肿瘤诊断的准确度和可信度。

本发明的实施例中，还提供一种基于元学习特征融合策略的肿瘤图像检测装置，用于实现本发明的基于元学习特征融合策略的肿瘤图像检测方法，肿瘤图像检测装置包括源域特征向量获取模块、源域特征向量对齐融合模块、目标域特征向量迁移模块、级联多目标检测模块；其中，源域特征向量获取模块用于将多个网络模型在开源数据集上进行预训练，并将肿瘤图像分别输入到多个预训练的网络模型中，提取出肿瘤图像的多层次源域特征向量；

源域特征向量对齐融合模块用于将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；

目标域特征向量迁移模块用于将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；

级联多目标检测模块用于将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于元学习特征融合策略的肿瘤图像检测方法，其特征在于，包括以下步骤：

步骤一：源域特征向量获取，将多个网络模型在开源数据集上进行预训练，并将肿瘤图像分别输入到多个预训练的网络模型中，提取出肿瘤图像的多层次源域特征向量；

步骤二：源域特征向量自适应对齐融合，利用元学习卷积核将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；

步骤三：目标域特征向量迁移，基于元学习卷积核将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；

步骤四：级联多目标检测，将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。

2.根据权利要求1所述的一种基于元学习特征融合策略的肿瘤图像检测方法，其特征在于，所述步骤一中的源域特征向量获取过程具体包括以下子步骤：

S101，选择多个深度与目标网络相匹配的深度神经网络模型作为源域特征提取器，并将源域特征提取器在开源数据集上进行预训练；

S102，将目标图片输入到多个源域特征提取器中，去除特征提取器末端的分类网络，按照特征提取器卷积部分的特征图尺度输出各层级特征图，即经过全连接网络后得到的多层次源域特征向量。

3.根据权利要求1所述的一种基于元学习特征融合策略的肿瘤图像检测方法，其特征在于，所述步骤二中的源域特征向量自适应对齐融合具体包括以下子步骤：

S201，对于每一层级特征图进行转换，将源特征提取器中的每一个卷积特征图按照尺度大小分成不同的组，对每一组大小相同的卷积特征图进行一次卷积操作，将各个组卷积特征图的通道数统一到相同的维度，之后进行批量归一化操作；批量归一化操作为：设这些卷积特征图的数量为N，每个卷积图用f_i表示，构成集合F＝{f_i,i＝1,2,...,N}，计算过程如下式所示：

f_i'＝BN(Conv1×1(f_i))for i＝1,2,...,N；

S202，对归一化后的卷积特征图进行集成，将源特征生成器的高层特征图通过尺度变换，使之与底层特征图在通道维度上结合；

S203，将集成后的卷积特征图进行融合，先利用源特征提取器从尺度较大的特征图中提取出特征信息，并通过特征自适应融合机制将提取出的特征信息迁移到目标网络中尺度更小的特征图中。

4.根据权利要求1所述的一种基于元学习特征融合策略的肿瘤图像检测方法，其特征在于，所述步骤三中的目标域特征向量迁移过程具体包括以下子步骤：

S301，定制目标网络各层卷积核，在各个卷积核上扩展出用于迁移源域特征的额外通道，同时保留原有训练通道；

S302，使用元学习训练方式对各层卷积核进行训练，并利用卷积层在目标网络与当前任务之间形成注意力机制，同时积累当前任务的训练损失；

S303，在训练过程中对目标网络上所有定制的卷积核的额外通道的权值进行更新，同时对步骤S203中融合过程进行梯度更新。

5.根据权利要求1所述的一种基于元学习特征融合策略的肿瘤图像检测方法，其特征在于，所述步骤四中的级联多目标检测过程包括以下子步骤：

S401，将生成的源特征提取器、融合结构、自适应迁移结构以及目标网络组成骨架网络，将骨架网络的各层级输出到区域选取网络RPN中；

S402，区域选取网络RPN将一个特征图经过滑动窗口处理，生成一系列候选框；

S403，选取各类感兴趣区域头部ROI Head网络，对候选框进行随机筛选和固定尺寸的裁剪，将裁剪后的特征图通过全连接层进行分类和回归，并采取非极大抑制NMS处理回归结果。

6.一种基于权利要求1～5任意一项所述肿瘤图像检测方法的检测装置，其特征在于，包括源域特征向量获取模块、源域特征向量对齐融合模块、目标域特征向量迁移模块、级联多目标检测模块；其中，

源域特征向量获取模块用于将多个网络模型在开源数据集上进行预训练，并将肿瘤图像分别输入到多个预训练的网络模型中，提取出肿瘤图像的多层次源域特征向量；

源域特征向量对齐融合模块用于将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；

目标域特征向量迁移模块用于将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；

级联多目标检测模块用于将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。

Images