CN115049603B - 一种基于小样本学习的肠息肉分割方法及系统 - Google Patents

Abstract

本发明提供一种基于小样本学习的肠息肉分割方法及系统，系统包括：收集训练样本，获取测试样本，将训练样本和测试样本分别再次划分为支持集和查询集；构建特征提取模块来提取支持图像和查询图像的特征信息；构建多级原型学习模块来学习支持图像中的多级目标原型并使其引导查询图像来寻找疑似目标区域；构建全局信息交互模块使得支持图像和查询图像进行充分的信息交互，使查询图像与支持图像的特征层次和对比度相似；构建神经网络，利用训练样本训练该神经网络，优化网络参数，得到神经网络模型；将测试样本输入至上述模型中，经计算输出肠息肉分割图像。解决了分割精度低、依赖充分训练及过度依赖用户交互的问题。

Description

一种基于小样本学习的肠息肉分割方法及系统

技术领域

本发明涉及医学图像、机器学习和计算机视觉领域，具体涉及一种基于小样本学习的肠息肉分割方法及系统。

背景技术

肠癌是一种常见的消化道恶性肿瘤疾病，是全球第三大癌症，而大多数肠癌是由肠息肉严重后演变而来，因此对肠息肉的准确分割是对肠癌病人进行早期诊断和治疗的关键前提。内窥镜图像是肠息肉的主要呈现方式，但是肠息肉的外观和位置会因症状轻重，个体差异性以及所处环境而产生明显不同，因此肠息肉图像的高度复杂性给它的分割任务带来了极大挑战。

肠息肉分割一开始是由专业医生依据临床实践经验来进行手动分割，但是手动分割方法效率低下且容易受到人为主观和个体差异的影响，从而导致分割准确度不高。现有技术中存在基于机器学习的分割方法，例如申请号为CN202110264294.9的现有发明专利《用于食管癌模型训练的图片的筛选方法、系统及存储介质》输入待筛选的静态图片；根据所述静态图片的特征，采用聚类算法对静态图片进行聚类，得到若干类静态图片；采用距离函数对各聚类中的静态图片进行筛选，得到相似程度低的静态图片作为用于建立食管癌识别模型的训练样本。由该现有专利的说明书内容可知，该现有专利主要通过在输入静态图片时能够允许采用更大的样本量，同时通过距离函数筛选各聚类中相似程度低的静态图片，以实现从大样本到小样本的转变，其解决的技术问题是模型泛化能力差及训练集病变图片的获取，可知该现有专利未披露本申请的技术方案，其应用场景及解决的技术问题也与本申请不同，无法达到本申请的技术效果，故该现有专利与本申请的技术方案迥异。申请号为CN201810458519.2的现有发明专利申请《群智能寻优的结肠癌癌细胞检测仪》由基因微阵列读入模块、数据预处理及特征排序模块、参数寻优模块、模型输出模块组成。系统首先将输入的基因微阵列数据预处理，然后对剩余的各个基因进行重要性排序，通过统计分数计算相关性，再利用分类器准则函数计算贡献度，将所有基因重要性进行排序。该现有专利通过加入了寻优算法种群适应度方差监测，防止种群多样性散失以及优化过程陷入局部最优，同时获取最优参数并构造分类器模型，可知该申请的主要技术特征和具体技术方案均未披露本申请的技术方案，该现有专利申请也与本申请存在显著区别。

现有基于机器学习的分割方法虽然在一定程度上提高了分割精度且大量释放了劳动力，但是严重依赖于初始学习因子和频繁的用户交互。尽管现有的深度学习模型能够实现端到端的全自动分割，然而它的成功很大程度上依赖于大量标签数据的充分训练，这在医学图像领域是难以得到满足的。

综上，现有技术存在分割精度低、依赖充分训练及过度依赖用户交互的问题。

发明内容

本发明在于如何解决分割精度低、依赖充分训练及过度依赖用户交互的问题。

本发明是采用以下技术方案解决上述问题的：一种基于小样本学习的肠息肉分割方法包括：

S1、收集不少于2种模态的腹部器官图像，以组成训练样本，获取内窥镜下肠息肉图像，以组成测试样本，将所述训练样本及所述测试样本分别再划分为支持集和查询集；

S2、构建特征提取模块以提取所述支持集中的支持图像特征，提取所述查询集中的查询图像特征；

S3、构建并使用多级原型学习模块学习所述支持图像中的多级目标原型，以引导处理所述查询图像，据以寻找疑似目标区域，所述步骤S3包括：

S31、利用双线性插值法降维处理所述支持图像的标签，并将降维后的支持标签与支持图像特征进行点乘，以提取目标特征；

S32、利用K均值聚类法将所述目标特征分为正常目标区域、异常目标区域和边缘区域，将预置全局平均池化作用于所述正常目标区域、所述异常目标区域及所述边缘区域，据以得到主原型、次原型和边缘原型；

S33、计算所述主原型、所述次原型和所述边缘原型与所述查询图像特征的余弦相似度并得到各原型相似度概率图；

S34、根据所述各原型相似度概率图对每一空间位置(x,y)取概率最大值所属的原型，将所述原型插入当前所述空间位置，据以形成具有丰富目标信息的原型分布图Map_proto；

S4、构建全局信息交互模块，通过全局平均池化处理所述支持图像特征和所述查询图像特征，以得到支持向量和查询向量，点乘所述支持图像特征和所述查询向量以得到新支持特征，点乘所述查询图像特征和所述支持向量以得到新查询特征，拉平并转置所述新支持特征及所述新查询特征，以通过预设矩阵乘逻辑处理获取全局信息交互图，根据所述全局信息交互图使得所述查询图像及所述支持图像具有相似特征层次及对比度；

S5、以所述特征提取模块、所述多级原型学习模块、所述全局信息交互模块与预置解码模块组成肠息肉分割神经网络，利用所述训练样本训练所述肠息肉分割神经网络并优化网络参数，以得到适用神经网络模型；

S6、利用所述适用神经网络模型计算所述测试样本得到肠息肉分割图像。

本发明通过构建特征提取模块来提取支持图像和查询图像的特征信息，构建多级原型学习模块来学习支持图像中的多级目标原型并使其引导查询图像来寻找疑似目标区域，构建全局信息交互模块使得支持图像和查询图像进行充分的信息交互，引导查询图像与支持图像具有相似的特征层次和对比度，将各模块共同组成神经网络，并利用训练样本训练该神经网络得到最优的神经网络模型来分割肠息肉图像，解决基于深度学习模型的肠息肉分割缺乏大量标签数据的问题，并且能够实现良好的分割精度。

在更具体的技术方案中，所述步骤S1包括：

S11、采集获取核磁共振图像和计算机断层扫描图像中的腹部器官图像数据集并将其划分为所述支持集和所述查询集，将该数据集作为所述训练集S_train；

S12、采集获取内窥镜下肠息肉图像数据集并将其划分为所述支持集和所述查询集，将该数据集作为所述测试集S_test；

S13、利用线性插值法将所有图像的分辨率调整至预设分辨率值；

S14、将所述支持图像、支持标签、查询图像作为神经网络的输入N_input，将查询标签作为所述神经网络输出N_output的监督信息。

在更具体的技术方案中，所述步骤S2包括：

S21、由不少于4个的编码模块依次连接组成所述特征提取模块；

S22、所述支持图像和所述查询图像共享所述特征提取模块，得到所述支持图像特征F_sup和所述查询图像特征F_que。

本发明利用特征提取模块将支持图像和查询图像的特征信息提取出来，使其特征信息具备同质性以便于后期相似性度量的准确性。

在更具体的技术方案中，所述步骤S21中的每个所述编码模块包括2个卷积核为3×3的卷积层：其中，/>和/>分别为(l+1)层的第n个特征图和l层的第m个特征图，M为l层特征图的数量，/>为从l层的第m个特征图映射到(l+1)层的第n个特征图的权重矩阵，*表示2D卷积操作，/>为相应的偏置量，每个所述卷积层后添加批归一化函数BatchNormalization和线性整流函数ReLU、1个池化窗口为2×2的最大池化层：/>其中m和n代表被池化窗口覆盖的区域。

在更具体的技术方案中，所述步骤S32包括：

S321、利用所述K均值聚类算法将目标内部区域分为正常目标特征向量簇及异常目标特征向量簇；

S322、全局平均池化处理所述正常目标特征向量簇及所述异常目标特征向量簇，以生成概括目标区域原型v，这里，v的第ith个元素可表示为：

其中，为支持标签，/>为支持特征，w和h为特征图的宽度和高度，(x,y)为像素点的坐标，i为第ith个特征通道；

S323、由正常目标特征向量簇生成的原型为所述主原型Proto_main，由异常目标特征向量簇生成的原型为所述次原型Proto_sub；

S324、GAP处理目标的边界特征向量，以得到所述边缘原型Proto_margin。

在更具体的技术方案中，所述步骤S33包括：

S331、将所述多级原型与所述查询图像特征做余弦相似度计算得到多个相似度概率图；

S332、以下述逻辑对每一空间位置(x,y)取概率最大值所属的原型并将其插入该位置以形成所述具有丰富目标信息的原型分布图Map_proto：

其中，P∈R^c×1代表原型，是查询图像在坐标(x,y)处的特征向量。

本发明利用多级原型学习模块通过支持标签和支持特征来学习目标的多级原型，包括主原型、次原型和边缘原型，它们分别是对肠息肉目标正常区域、异常区域和边缘区域的高度概括，与原始全局原型相比具有更强的目标区域特异性，多级原型能够更加准确地定位出查询图像的疑似目标区域且能够提供丰富的多级目标信息。

在更具体的技术方案中，所述步骤S4包括：

S41、将所述支持图像特征和所述查询图像特征通过全局平均池化得到所述支持向量和所述查询向量；

S42、点乘所述支持图像特征及查询向量，以得到所述新支持特征；

S43、点乘所述查询图像特征及支持向量，以得到所述新查询特征；

S44、拉平并转置所述新支持特征及所述新查询特征，以得到拉平矩阵和转置矩阵；

S45、将所述支持图像的拉平矩阵与所述查询图像的转置矩阵做矩阵乘，将所述支持图像的转置矩阵与所述查询图像的拉平矩阵做矩阵乘，以得到两个交互矩阵；

S46、将所述交互矩阵与所述查询图像特征进行矩阵乘，以得到全局信息交互图Map_inter。

本发明利用全局信息交互模块使支持向量和查询向量分别对查询图像和支持图像进行特征层次和对比度的引导来提高它们的特征相似性，以此为查询图像创造有利于目标分割的先验信息和上下文信息，进一步提高图像分割精度。

在更具体的技术方案中，所述步骤S5包括：

S51、将所述查询图像特征F_que、所述原型分布图Map_proto和全局信息交互图Map_inter连接起来作为所述解码模块的输入特征：

F_de＝concate(F_que,Map_proto,Map_inter)；

S52、构建解码模块，以将高级特征图恢复至原始分辨率语义特征图；

S53、利用分类函数Sigmoid处理所述原始分辨率语义特征图，以对图像进行像素级分类：

S(x)＝1/1+e^-x；

S54、利用二分类法，采用下述逻辑将概率图Map_prob转换成二值图Map_bina：

S55、以所述特征提取模块、所述多级原型学习模块、所述全局信息交互模块与预置解码模块组成肠息肉分割神经网络，在训练阶段，将N_input输入所述肠息肉分割神经网络，并使用模型监督数据N_output来监督模型的输出；

S56、设置损失函数L为：

L_total＝L_Dice+L_BCE，

其中，P_q(i)是查询图像在位置i处的预测结果，Y_q(i)是真实结果，H和W是图像的高度和宽度；

S57、利用所述训练样本S_train对所述肠息肉分割神经网络进行训练并优化网络参数，以得到所述适用神经网络模型。

在更具体的技术方案中，所述步骤S6包括：

S61、将所述测试样本S_test输入所述适用神经网络模型；

S62、经所述适用神经网络模型运算得到肠息肉图像分割图，对比所述肠息肉图像分割图与所述测试样本的标签，据以评价模型的分割效果。

在更具体的技术方案中，一种基于小样本学习的肠息肉分割系统包括：

样本模块，用以收集不少于2种模态的腹部器官图像，以组成训练样本，获取内窥镜下肠息肉图像，以组成测试样本，将所述训练样本及所述测试样本分别再划分为支持集和查询集；

特征提取模块，用以提取所述支持集中的支持图像特征，提取所述查询集中的查询图像特征，所述特征提取模块与所述样本模块连接；

多级原型学习模块，用以学习所述支持图像中的多级目标原型，以引导处理所述查询图像，据以寻找疑似目标区域，所述多级原型学习模块与所述特征提取模块连接，所述多级原型学习模块还包括：

目标特征模块，用以利用双线性插值法降维处理所述支持图像的标签，并将降维后的支持标签与支持图像特征进行点乘，以提取目标特征；

原型模块，用以利用K均值聚类法将所述目标特征分为正常目标区域、异常目标区域和边缘区域，将预置全局平均池化作用于所述正常目标区域、所述异常目标区域及所述边缘区域，据以得到主原型、次原型和边缘原型，所述原型模块与所述目标特征模块连接；

原型相似概率图模块，用以计算所述主原型、所述次原型和所述边缘原型与所述查询图像特征的余弦相似度并得到各原型相似度概率图，所述原型相似概率图模块与所述原型模块连接；

分布图构建模块，用以根据所述各原型相似度概率图对每一空间位置(x,y)取概率最大值所属的原型，将所述原型插入当前所述空间位置，据以形成具有丰富目标信息的原型分布图Map_proto，所述分布图构建模块与所述原型相似概率图模块连接；

全局信息交互模块，用以通过全局平均池化处理所述支持图像特征和所述查询图像特征，以得到支持向量和查询向量，点乘所述支持图像特征和所述查询向量以得到新支持特征，点乘所述查询图像特征和所述支持向量以得到新查询特征，拉平并转置所述新支持特征及所述新查询特征，以通过预设矩阵乘逻辑处理获取全局信息交互图，根据所述全局信息交互图使得所述查询图像及所述支持图像具有相似特征层次及对比度，所述全局信息交互模块与所述特征提取模块连接；

模型训练模块，用以所述特征提取模块、所述多级原型学习模块、所述全局信息交互模块与预置解码模块组成肠息肉分割神经网络，利用所述训练样本训练所述肠息肉分割神经网络并优化网络参数，以得到适用神经网络模型，所述模型训练模块与所述特征提取模块、所述多级原型学习模块及所述全局信息交互模块连接；

图像分割处理模块，用以利用所述适用神经网络模型计算所述测试样本得到肠息肉分割图像，所述图像分割处理模块与所述模型训练模块连接。

本发明相比现有技术具有以下优点：本发明通过构建特征提取模块来提取支持图像和查询图像的特征信息，构建多级原型学习模块来学习支持图像中的多级目标原型并使其引导查询图像来寻找疑似目标区域，构建全局信息交互模块使得支持图像和查询图像进行充分的信息交互，引导查询图像与支持图像具有相似的特征层次和对比度，将各模块共同组成神经网络，并利用训练样本训练该神经网络得到最优神经网络模型来分割肠息肉图像，解决基于深度学习模型的肠息肉分割缺乏大量标签数据的问题，并且能够实现良好的分割精度。

本发明利用特征提取模块将支持图像和查询图像的特征信息通过共享特征提取模块提取出来，使其特征信息具备同质性以便于后期相似性度量的准确性。

本发明利用多级原型学习模块通过支持标签和支持特征来学习目标的多级原型，包括主原型、次原型和边缘原型，它们分别是对肠息肉目标正常区域、异常区域和边缘区域的高度概括，与原始全局原型相比具有更强的目标区域特异性，多级原型能够更加准确地定位出查询图像的疑似目标区域且能够提供丰富的多级目标信息。

本发明利用全局信息交互模块通过使用支持向量和查询向量分别对查询图像和支持图像进行特征层次和对比度的引导来提高它们的特征相似性，以此为查询图像创造有利于目标分割的先验信息和上下文信息，进一步提高图像分割精度。本发明解决了现有技术中存在的分割精度低、依赖充分训练及过度依赖用户交互的问题。

附图说明

图1为本发明实施例1的基于小样本学习的肠息肉分割方法步骤示意图；

图2为本发明实施例1的肠息肉分割神经网络模型结构示意图；

图3为本发明实施例1的多级原型学习示意图；

图4为本发明实施例1的全局信息交互示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明实施例提供了一种基于小样本学习的肠息肉分割方法，具体步骤如下：

步骤S1：收集多种模态的腹部器官图像组成训练样本，获取内窥镜下肠息肉图像组成测试样本，将训练样本和测试样本分别再次划分为支持集和查询集。

具体过程为：步骤1.1：收集多种模态(核磁共振图像和计算机断层扫描图像)的腹部器官图像数据集并将其划分为支持集和查询集，该数据集作为训练集S_train＝{(I_S,M_S),(I_Q,M_Q)}；步骤1.2：获取内窥镜下肠息肉图像数据集并将其划分为支持集和查询集，该数据集作为测试集S_test＝{(I_S,M_S),(I_Q,M_Q)}；步骤1.3：通过线性插值法将所有图像的分辨率调整为128×128；步骤1.4：将支持图像和标签以及查询图像作为神经网络的输入N_input＝{(I_S,I_Q,M_S)}，查询标签N_output＝{M_Q}作为输出的监督信息。

步骤S2：构建特征提取模块来提取支持图像和查询图像的特征信息。

具体过程为：

步骤2.1：构建特征提取模块：由4个编码模块依次连接组成特征提取模块，每个编码模块包括2个卷积核为2×2的卷积层、1个池化窗口为2×2的最大池化层，卷积层可表示为：其中/>和/>分别代表(l+1)层的第n个特征图和l层的第m个特征图，M代表l层特征图的数量，/>代表从l层的第m个特征图映射到(l+1)层的第n个特征图的权重矩阵，*表示2D卷积操作，/>表示相应的偏置量，每个卷积层后面都加上批归一化函数BatchNormalization和线性整流函数ReLU来协助复杂特征信息的表达，最大池化层可表示为：/> 其中m和n代表被池化窗口覆盖的区域；

步骤2.2：支持图像和查询图像共享特征提取模块并得到支持特征F_sup和查询特征F_que。

步骤S3：构建多级原型学习模块来学习支持图像中的多级目标原型并使其引导查询图像来寻找疑似目标区域。

如图3所示，首先利用双线性插值法将支持标签降维以提取目标特征，然后使用K均值聚类法将目标分为正常区域和异常区域2类，将全局平均池化作用在正常目标区域、异常目标区域和边界区域上分别得到主原型、次原型和边缘原型，接着计算三种原型与查询特征的余弦相似度并得到三个相似度概率图，最后对每个像素位置插入概率最大值所属的原型得到原型分布图以此为查询图像提供丰富的多级目标特征信息。

具体过程为：

步骤3.1：将支持标签M_S通过双线性插值法降维至与支持特征具有相同尺度；

步骤3.2：将降维后的支持标签M_S与支持特征F_sup点乘提取出目标特征F_{sup_targ}；

步骤3.3：目标的多级原型包括：主原型Proto_main、次原型Proto_sub和边缘原型Proto_margin，其中主原型学习到的是目标的正常区域、次原型学习到的是目标的异常区域、边缘原型学习到的是目标的边界区域，首先使用K均值聚类算法将目标内部区域分成两个特征向量簇，一个是主目标簇，一个是次目标簇，然后对这两个簇分别使用全局平均池化(Global Average Pooling,GAP)来生成一个高度概括目标区域信息的特征向量v(即原型)，得到主原型Proto_main和次原型Proto_sub，最后将目标的边界特征向量进行GAP得到边缘原型Proto_margin，原型v的第ith个元素可表示为：

这里代表支持标签，/>代表支持特征，w和h代表特征图的宽度和高度，(x,y)代表像素点的坐标，i代表第ith个特征通道；

步骤3.4：将上述多级原型与查询特征做余弦相似度计算得到多个相似度概率图，对每一个空间位置(x,y)取概率最大值所属的原型并将其插入该位置以形成具有丰富目标信息的原型分布图Map_proto，余弦相似度计算公式为：

这里P∈R^c×1代表的是原型，代表的是查询图像在坐标(x,y)处的特征向量。

步骤S4：构建全局信息交互模块使得支持图像和查询图像进行充分的信息交互，引导查询图像与支持图像具有相似的特征层次和对比度。

如图4所示，首先将支持特征和查询特征通过全局平均池化得到支持向量和查询向量，并将支持特征和查询向量、查询特征和支持向量分别进行点乘得到新的支持特征和查询特征，然后将它们拉平并转置形成拉平矩阵和转置矩阵，再分别将支持图像的拉平矩阵和转置矩阵分别与查询图像的转置矩阵和拉平矩阵进行矩阵乘得到两个交互矩阵，最后将其与查询特征进行矩阵乘得到全局信息交互图，该交互图作为查询分支的特征图为其提供了支持图像包含的先验信息和目标有关的上下文信息。

具体过程为：

步骤4.1：使用全局平均池化将支持特征F_sup和查询特征F_que精炼成支持向量V_sup和查询向量V_que；

步骤4.2：将支持特征F_sup与查询向量V_que进行点乘得到新的支持特征F_sup′，将查询特征F_que与支持向量V_sup进行点乘得到新的查询特征F_que′；

步骤4.3：将新的支持特征F_sup′和新的查询特征F_que′进行拉平和转置操作，得到支持特征的拉平矩阵F_{sup_flatt}′和转置矩阵F_{sup_trans}′以及查询特征的拉平矩阵F_{que_flatt}′和转置矩阵F_{que_trans}′，接着对F_{sup_flatt}′和F_{que_trans}′、F_{que_flatt}′和F_{sup_trans}′分别做矩阵乘得到交互矩阵F_{sup_inter}′和F_{que_inter}′；

步骤4.4：将F_{sup_inter}′和F_{que_inter}′进行像素加然后与查询矩阵进行矩阵乘得到全局信息交互图Map_inter。

步骤S5：将上述特征提取模块、多级原型学习模块、全局信息交互模块与解码模块共同组成神经网络，利用训练样本训练该神经网络，优化网络参数，得到神经网络模型。

如图2所示，神经网络模型的输入是支持-查询图像对和支持标签，通过共享参数的特征提取模块对支持图像和查询图像进行特征提取得到支持特征和查询特征，将其与支持标签共同输入多级原型学习模块得到原型分布图，同时将其输入全局信息交互模块得到全局信息交互图，对得到的原型分布图、全局信息交互图和查询特征进行连接并使用解码模块对其进行解码恢复至原始分辨率，之后使用分类函数Sigmoid对每个像素进行分类。在训练阶段，使用损失函数计算神经网路的输出与查询标签的损失以此对模型进行监督训练。在测试阶段，模型的输出即为测试集中查询图像的分割结果。

具体过程为：

步骤5.1：将上述查询特征F_que、原型分布图Map_proto和全局信息交互图Map_inter连接起来作为解码模块的输入特征F_de，F_de＝concate(F_que,Map_proto,Map_inter)；

步骤5.2：构建解码模块，由4个解码器依次连接，每个解码器包含一个2×2的上采样层和两个卷积核为2×2的卷积层，该模块用来将高级特征图恢复至原始分辨率的语义特征图；

步骤5.3：对上述语义特征图使用分类函数Sigmoid实现对图像的像素级分类，Sigmoid函数可定义为：S(x)＝1/1+e^-x，输出值映射在(0，1)之间，代表某一个像素点属于目标的概率，采用二分类法将这个概率图Map_prob转换成二值图Map_bina，即最终分割图，二分类法可表示为：

步骤5.4：述特征提取模块、多级原型学习模块、全局信息交互模块与解码模块共同组成神经网络，在训练阶段，将N_input输入神经网络并使用N_oitput监督网络的训练，采用Adam优化器并将初始学习率设置为0.001，以及采用权重衰减因子与学习率衰减策略来缓解过拟合现象，损失函数L设置为：

L_total＝L_Dice+L_BCE，

其中P_q(i)代表的是查询图像在位置i处的预测结果，Y_q(i)代表的是真实结果，H和W代表的是图像的高度和宽度，通过训练样本S_train对网络进行训练并优化网络参数得到神经网络模型。

步骤S6：将测试样本输入至上述模型中，经计算输出肠息肉分割图像。

具体过程为：

将测试样本S_test输入上述模型，经模型运算得到肠息肉图像的分割图，将该分割图与其标签进行对比来评价模型的分割效果。

综上，本发明通过构建特征提取模块来提取支持图像和查询图像的特征信息，构建多级原型学习模块来学习支持图像中的多级目标原型并使其引导查询图像来寻找疑似目标区域，构建全局信息交互模块使得支持图像和查询图像进行充分的信息交互，引导查询图像与支持图像具有相似的特征层次和对比度，将各模块共同组成神经网络，并利用训练样本训练该神经网络得到最优神经网络模型来分割肠息肉图像，解决基于深度学习模型的肠息肉分割缺乏大量标签数据的问题，并且能够实现良好的分割精度。

本发明利用特征提取模块将支持图像和查询图像的特征信息通过共享特征提取模块提取出来，使其特征信息具备同质性以便于后期相似性度量的准确性。

本发明利用多级原型学习模块通过支持标签和支持特征来学习目标的多级原型，包括主原型、次原型和边缘原型，它们分别是对肠息肉目标正常区域、异常区域和边缘区域的高度概括，与原始全局原型相比具有更强的目标区域特异性，多级原型能够更加准确地定位出查询图像的疑似目标区域且能够提供丰富的多级目标信息。

本发明利用全局信息交互模块通过使用支持向量和查询向量分别对查询图像和支持图像进行特征层次和对比度的引导来提高它们的特征相似性，以此为查询图像创造有利于目标分割的先验信息和上下文信息，进一步提高图像分割精度。本发明解决了现有技术中存在的分割精度低、依赖充分训练及过度依赖用户交互的问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于小样本学习的肠息肉分割方法，其特征在于，所述方法包括：

S1、收集不少于2种模态的腹部器官图像，以组成训练样本，获取内窥镜下肠息肉图像，以组成测试样本，将所述训练样本及所述测试样本分别再划分为支持集和查询集；

S2、构建特征提取模块以提取所述支持集中的支持图像特征，提取所述查询集中的查询图像特征；

S3、构建并使用多级原型学习模块学习所述支持图像中的多级目标原型，以引导处理所述查询图像，据以寻找疑似目标区域，所述步骤S3包括：

S31、利用双线性插值法降维处理所述支持图像的标签，并将降维后的支持标签与支持图像特征进行点乘，以提取目标特征；

S32、利用K均值聚类法将所述目标特征分为正常目标区域、异常目标区域和边缘区域，将预置全局平均池化作用于所述正常目标区域、所述异常目标区域及所述边缘区域，据以得到主原型、次原型和边缘原型；

S33、计算所述主原型、所述次原型和所述边缘原型与所述查询图像特征的余弦相似度并得到各原型相似度概率图；

S34、根据所述各原型相似度概率图对每一空间位置(x,y)取概率最大值所属的原型，将所述原型插入当前的所述空间位置，据以形成具有丰富目标信息的原型分布图Map_proto；

S4、构建全局信息交互模块，通过全局平均池化处理所述支持图像特征和所述查询图像特征，以得到支持向量和查询向量，点乘所述支持图像特征和所述查询向量以得到新支持特征，点乘所述查询图像特征和所述支持向量以得到新查询特征，拉平并转置所述新支持特征及所述新查询特征，以通过预设矩阵乘逻辑处理获取全局信息交互图，根据所述全局信息交互图使得所述查询图像及所述支持图像具有相似特征层次及对比度；

S5、以所述特征提取模块、所述多级原型学习模块、所述全局信息交互模块与预置解码模块组成肠息肉分割神经网络，利用所述训练样本训练所述肠息肉分割神经网络并优化网络参数，以得到适用神经网络模型；

S6、利用所述适用神经网络模型计算所述测试样本得到肠息肉分割图像。

2.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S1包括：

S11、采集获取核磁共振图像和计算机断层扫描图像中的腹部器官图像数据集并将其划分为所述支持集和所述查询集，将该数据集作为训练集S_train；

S12、采集获取内窥镜下肠息肉图像数据集并将其划分为所述支持集和所述查询集，将该数据集作为测试集S_test；

S13、利用线性插值法将所有图像的分辨率调整至预设分辨率值；

S14、将所述支持图像、支持标签、查询图像作为神经网络的输入N_input，将查询标签作为所述神经网络输出N_output的监督信息。

3.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S2包括：

S21、由不少于4个的编码模块依次连接组成所述特征提取模块；

S22、所述支持图像和所述查询图像共享所述特征提取模块，得到所述支持图像特征F_sup和所述查询图像特征F_que。

4.根据权利要求3所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S21中的每个所述编码模块包括2个卷积核为3×3的卷积层： 其中，/>和/>分别为(l+1)层的第n个特征图和l层的第m个特征图，M为l层特征图的数量，为从l层的第m个特征图映射到(l+1)层的第n个特征图的权重矩阵，*表示2D卷积操作，为相应的偏置量，每个所述卷积层后添加批归一化函数BatchNormalization和线性整流函数ReLU、1个池化窗口为2×2的最大池化层：/>其中m和n代表被池化窗口覆盖的区域。

5.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S32包括：

S321、利用所述K均值聚类算法将目标内部区域分为正常目标特征向量簇及异常目标特征向量簇；

S322、全局平均池化处理所述正常目标特征向量簇及所述异常目标特征向量簇，以生成概括目标区域原型v，这里，v的第ith个元素可表示为：

其中，为支持标签，/>为支持特征，w和h为特征图的宽度和高度，(x,y)为像素点的坐标，i为第ith个特征通道；

S323、由正常目标特征向量簇生成的原型为所述主原型Proto_main，由异常目标特征向量簇生成的原型为所述次原型Proto_sub；

S324、GAP处理目标的边界特征向量，以得到所述边缘原型Proto_margin。

6.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S33包括：

S331、将所述多级原型与所述查询图像特征做余弦相似度计算得到多个相似度概率图；

S332、以下述逻辑对每一空间位置(x,y)取概率最大值所属的原型并将其插入该位置以形成所述具有丰富目标信息的原型分布图Map_proto：

其中，P∈R^c×1代表原型，是查询图像在坐标(x,y)处的特征向量。

7.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S4包括：

S41、将所述支持图像特征和所述查询图像特征通过全局平均池化得到所述支持向量和所述查询向量；

S42、点乘所述支持图像特征及查询向量，以得到所述新支持特征；

S43、点乘所述查询图像特征及支持向量，以得到所述新查询特征；

S44、拉平并转置所述新支持特征及所述新查询特征，以得到拉平矩阵和转置矩阵；

S45、将所述支持图像的拉平矩阵与所述查询图像的转置矩阵做矩阵乘，将所述支持图像的转置矩阵与所述查询图像的拉平矩阵做矩阵乘，以得到两个交互矩阵；

S46、将所述交互矩阵与所述查询图像特征进行矩阵乘，以得到全局信息交互图Map_inter。

8.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S5包括：

S51、将所述查询图像特征F_que、所述原型分布图Map_proto和全局信息交互图Map_inter连接起来作为所述解码模块的输入特征：

F_de＝concate(F_que,Map_proto,Map_inter)；

S52、构建解码模块，以将高级特征图恢复至原始分辨率语义特征图；

S53、利用分类函数Sigmoid处理所述原始分辨率语义特征图，以对图像进行像素级分类：

S(x)＝1/1+e^-x；

S54、利用二分类法，采用下述逻辑将概率图Map_prob转换成二值图Map_bina：

S55、以所述特征提取模块、所述多级原型学习模块、所述全局信息交互模块与预置的解码模块组成肠息肉分割神经网络，在训练阶段，将N_input输入所述肠息肉分割神经网络，并使用模型监督数据N_output来监督模型的输出；

S56、设置损失函数L为：

L_total＝L_Dice+L_BCE，

其中，P_q(i)是查询图像在位置i处的预测结果，Y_q(i)是真实结果，H和W是图像的高度和宽度；

S57、利用所述训练样本S_train对所述肠息肉分割神经网络进行训练并优化网络参数，以得到所述适用神经网络模型。

9.根据权利要求1所述的一种基于小样本学习的肠息肉分割方法，其特征在于，所述步骤S6包括：

S61、将所述测试样本S_test输入所述适用神经网络模型；

S62、经所述适用神经网络模型运算得到肠息肉图像分割图，对比所述肠息肉图像分割图与所述测试样本的标签，据以评价模型的分割效果。

10.一种基于小样本学习的肠息肉分割系统，其特征在于，所述系统包括：

样本模块，用以收集不少于2种模态的腹部器官图像，以组成训练样本，获取内窥镜下肠息肉图像，以组成测试样本，将所述训练样本及所述测试样本分别再划分为支持集和查询集；

特征提取模块，用以提取所述支持集中的支持图像特征，提取所述查询集中的查询图像特征，所述特征提取模块与所述样本模块连接；

多级原型学习模块，用以学习所述支持图像中的多级目标原型，以引导处理所述查询图像，据以寻找疑似目标区域，所述多级原型学习模块与所述特征提取模块连接，所述多级原型学习模块还包括：

目标特征模块，用以利用双线性插值法降维处理所述支持图像的标签，并将降维后的支持标签与支持图像特征进行点乘，以提取目标特征；

原型模块，用以利用K均值聚类法将所述目标特征分为正常目标区域、异常目标区域和边缘区域，将预置全局平均池化作用于所述正常目标区域、所述异常目标区域及所述边缘区域，据以得到主原型、次原型和边缘原型，所述原型模块与所述目标特征模块连接；

原型相似概率图模块，用以计算所述主原型、所述次原型和所述边缘原型与所述查询图像特征的余弦相似度并得到各原型相似度概率图，所述原型相似概率图模块与所述原型模块连接；

分布图构建模块，用以根据所述各原型相似度概率图对每一空间位置(x,y)取概率最大值所属的原型，将所述原型插入当前所述空间位置，据以形成具有丰富目标信息的原型分布图Map_proto，所述分布图构建模块与所述原型相似概率图模块连接；

全局信息交互模块，用以通过全局平均池化处理所述支持图像特征和所述查询图像特征，以得到支持向量和查询向量，点乘所述支持图像特征和所述查询向量以得到新支持特征，点乘所述查询图像特征和所述支持向量以得到新查询特征，拉平并转置所述新支持特征及所述新查询特征，以通过预设矩阵乘逻辑处理获取全局信息交互图，根据所述全局信息交互图使得所述查询图像及所述支持图像具有相似特征层次及对比度，所述全局信息交互模块与所述特征提取模块连接；

模型训练模块，用以所述特征提取模块、所述多级原型学习模块、所述全局信息交互模块与预置解码模块组成肠息肉分割神经网络，利用所述训练样本训练所述肠息肉分割神经网络并优化网络参数，以得到适用神经网络模型，所述模型训练模块与所述特征提取模块、所述多级原型学习模块及所述全局信息交互模块连接；

图像分割处理模块，用以利用所述适用神经网络模型计算所述测试样本得到肠息肉分割图像，所述图像分割处理模块与所述模型训练模块连接。