CN115937232A - 一种基于转导推理的医学影像小样本分割方法 - Google Patents

Abstract

本发明公开了一种基于转导推理的医学影像小样本分割方法，包括以下步骤；(1)使用神经网络作为特征提取网络，提取二维医学影像或者三维影像切片的特征图；(2)基于转导推理对支撑集数据与查询集数据进行融合分析，并从中分别提取出用于对查询集进行分割的前景类别对应的原型特征向量与背景类别对应原型特征向量；(3)对查询集的特征图中的每一个特征，分别计算其与各个类别的原型特征相似度，然后通过比较各个类别相似度的大小，确定查询集中各个特征对应的类别，即其类别为相似度最大的原型特征所对应的类别。本发明能够提升分割效果，实现分割结果的精度最大化。

Description

一种基于转导推理的医学影像小样本分割方法

技术领域

本发明属于人工智能、计算机视觉与医学影像分析技术领域，具体涉及一种基于转导推理的医学影像小样本分割方法。

背景技术

随着医学影像成像技术的发展，尤其是CT、MRI等成像手段的出现，极大的促进了医疗诊断与治疗手段的进步，同时也极大地促进了医学影像自动化分析算法的发展，其中，基于深度学习的计算机视觉算法在医学影像相关的分类、检测、分割等任务中，表现亮眼，可以为医生提供辅助甚至于实现自动化诊断算法，大幅提成现代医疗水平。但常见的基于深度学习的医学影像分割方法《U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation》，通常需要大量的数据进行学习，才能针对有限范围内的病灶或者器官进行分割，这导致了U-Net难以在实际场景中被运用。同时，影像数据本身受到隐私、伦理等方面的限制，且标注则需要专业的医师花费大量时间进行标注，这两个限制都使得传统的医学影像分割算法的研发与推广面领着较大的困难。

据发明人了解，针对目前医学影像分割算法通常需要使用大量数据进行训练的问题，尽管Ouyang等研究人员提出了诸如《Self-supervisionwithSuperpixels:TrainingFew-ShotMedicalImageSegmentationWithoutAnnotation》等基于采用小样本的医学影像分割方法作为解决方案，但是现有的方法仅从支撑集提取任务关键信息用于分割任务，而无法有效的利用查询集自身的信息，同时忽略了支撑集与查询集之间的分布差异，导致分割效果受限，且需要较多的支撑数据。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于转导推理的医学影像小样本分割方法，通过转导推理分析支撑集与查询集数据特征，提取更加有效的原型特征，对没有学习过的分割任务所涉及的区域进行分割，能够提升分割效果，实现分割结果的精度最大化。

为了实现上述目的，本发明采用的技术方案是：

一种基于转导推理的医学影像小样本分割方法，其中支撑集数据与查询集数据作为输入，支撑集为带有分割标注的影像数据，查询集为带分割的影像数据，分割方法包括以下步骤；

(1)使用神经网络作为特征提取网络，提取二维医学影像或者三维影像切片x的特征图z；

(2)基于转导推理对支撑集数据与查询集数据进行融合分析，并从中分别提取出用于对查询集进行分割的前景类别对应的原型特征向量与背景类别对应原型特征向量；

(2a)采用标注信息嵌入网络，将影像对应的分割标注y作为输入构建影像的标注信息v；

(2b)使用信息融合网络，将影像对应的特征图z与通过影像标注构建的标注信息v作为输入，对这两种信息进行融合，形成融合信息u；

(2c)通过转导推理模块，将支撑集与查询集的融合信息u^S与u^Q作为输入，并通过转导推理模块进行融合、学习，然后对输入的查询集融合信息u^Q进行补全，并生成新的查询集融合信息

(2d)采用解算网络，对转导推理模块的输出的融合信息

进行处理，来解码其中的潜在的查询集标注信息v^Q；

(2e)使用原型选择网络，对支撑集与查询集的特征图z与标注信息v进行融合、分析，从中选择用于对查询集分割的各个类别的原型特征z^P；

(3)对查询集的特征图z^Q中的每一个特征，分别计算其与各个类别的原型特征

的相似度，然后通过比较各个类别相似度s_i的大小，确定查询集中各个特征对应的类别，即其类别为相似度最大的原型特征所对应的类别。

上述步骤中，所述的各类符号定义中，上标S表示支撑集对应的数据信息，上表Q表示查询集对应的数据信息，例如z表示特征图，则z^Q表示查询集特征图，z^Sb表示支撑集特征图。

所述步骤(1)中所述的特征提取网络F_feat为由多层神经或者多层卷积神经网络组成，输入为单通道二维图片x，输出为高维特征

所述步骤(2a)中所述的标注信息嵌入网络T_anno具体公式如下，

其中，y为网络输入，表示影像对应的分割标注；v为网络输出，表示由标注信息嵌入网络构建的标注信息；

reshape表示将输入的数据中长与宽两个维度合并为一个维度，reshape′表示将输入的数据中由长与宽合并的维度拆分为长和宽两个维度；

E_anno(·)表示短语嵌入网络，通过滑动窗口的方式，将影像的标注y中每一个像素及其相邻区域所表示的标注信息转化为基于特征向量的表示形式；

F_anno(·)为多层卷积神经网络，用于进一步提取向量化表示的标注中隐含的特征并挖掘更多潜在的信息；

G_anno(·)表示多层全连接神经网络，用于从全局层面对标注信息进行融合；

支撑集影像的标注信息由支撑集影像对应的标注产生，对于不包含标注信息的查询集数据，则以空白作为输入产生标注信息，这里空白为既不表示前景也不表示背景的伪标注。

所述步骤(2b)信息融合网络T_fuse的计算公式如下，

u＝T_fuse(z,v)＝Trans(encode＝v,decode＝z)

其中，Trans为包含编码器与解码器的Transformer神经网络，编码器的输入为标注信息v，解码器的输入为影像对应的特征图z，网络的输出为影像的特征图与标注信息所融合的结果，即融合信息u。

所述步骤(2c)转导推理模块的表达式与计算步骤如下；

首先，使用沿着长宽维度进行拼接的操作

将支撑集融合特征u^S与查询集融合特征u^Q进行拼接，得到

同时以相同的方式将支撑集的标注信息v^S与查询集的空白标注信息

进行拼接，得到

然后，使用包含编码器与解码器的Transformer神经网络(Trans)，对拼接的融合信息u与标注信息v进行转导推理，以补全查询集中标注信息v^Q，其中，编码器输入为

解码器输入为

输出为更新的支撑集与查询集融合信息；

最后，并通过掩膜的方式，将更新的融合信息中，查询集对应的部分

提取出来。

所述步骤(2d)解算网络的计算过程如下：

首先，使用解算网络对更新的查询集融合标息

进行解算，其中解算网络T_resolve(·)为多层卷积神经网络；

然后，可选择性的将结果v^Q再次带入转导推理模块的计算公式中，并替代

进行计算，获得新的

并重复上述过程直至达成停机条件，即循环次数达到上限或者查询集融合信息不再更新；

在一次或者多次转导推理和解算之后，将解算网络解算出来的查询集标注信息v^Q，作为解算网络的最终输出结果。

所述步骤(2e)原型选择网络表达式为z^P＝T_proto(z^S,v^S,z^Q,v^Q)，其计算过程如下，

首先，计算所有查询集与支撑集特征对应的评分i′：

其中，Trans为包含编码器与解码器的Transformer神经网络，其中编码器的输入为特征图z，解码器的输入为标注信息v，F_i为多层全连接神经网络，输出结果i是各个特征的评分；

然后，将所有特征的评分通过归一化指数函数进行归一化，使得全部评分之和为1

i＝softmax(i′)

最后，根据评分，排序并挑选评分最大的N个特征作为原型特征

其中，top(i,N)表示将i中评分最大N个向量对应的索引值。

所述步骤(3)中当某一类别中用于分割的原型特征有多个时，采用归一化的方式进行融合，或者对于该类型分割评分s：

s＝sum(s^Q·softmax(s^Q))

同时，比较相似度判断像素类别时，采用偏执-归一化指数函数进行归一化，确定像素对应的类别c：

c＝argmax(bias_softmax(s^Q；b))

＝argmax(softmax([s₀,s₁+b₁,…,s_n+b_n]))

其中b＝[b₁,b₂,…,b_n]为偏执，用于作为分割过程中，可人为调节的超参数，以获得更加优化的结果；s^Q＝[s₀,s₁,s₂,…,s_n]表示对于查询集特征图中的特征，与n个类别对应的原型特征的相似度。

本发明的有益效果：

第一，本发明基于小样本分割方法，对医学影像进行分割，可以实现在神经网络没有针对特定任务学习时，根据少量据有标注的样本(即支撑集)，对未标注的样本(即查询集)进行准确分割，充分利用医学影像中，不同个体的同一分割区域差异较小的特点。避免了传统的基于深度学习的医学影像分割算法，需要先通过海量数据对相关分割任务进行学习，才能完成相关任务的缺点。海量医学影像数据的获取，通常需要花费大量人力物力进行影像采集、数据标注等工作，并且会受到隐私限制与道德约束，导致相关产品研发成本高、周期长等问题。因此，本发明可以极大的降低基于深度学习医学影像分割算法研发的成本与门槛。

第二，本发明的小样本分割算法中，采用了转导推理对支撑集与查询集进行分析，并提取原型特征，用于对查询集的分割。相较于传统的小样本方法，有效的融合了支撑集与查询集的信息，并对查询集数据进行深度挖掘，有效的利用了未标注的查询集数据，并避免了支撑集与查询集中存在的分布差异导致的分割错误，提升分割效果。

第三，本发明在小样本分割算法中，使用多个由转导推理产生的原型特征对查询集进行分割，通过差异化的方式，对前景与背景中不同的区域选择合适的原型特征，并根据相似度对像素进行分类，从而提高了整体的分割精度。同时采用了偏执—归一化指数方法，来调和像素与不同类别原型特征的相似度的大小关系，在实际应用中，使用者可以根据具体情况设置偏执，实现分割结果的精度最大化。

附图说明

图1是基于转导推理的医学影像小样本分割算法的整体框架。

图2是DenseNet、U-Net网络的示意图。

图3是基于转导推理提取原型特征的流程示意图。

图4是标注信息嵌入网络的示意图。

图5是信息融合网络的示意图。

图6是转导推理模块的示意图。

图7是原型选择网络的示意图。

图8是原型分割的示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

参考附图1，本发明所涉及的一种基于转导推理的医学影像小样本分割方法，大致包含：①特征图提取，②基于转导推理的原型特征提取，③原型分割算法。

步骤1：使用包括附图2所示的Dense-Net与U-Net在内的多种神经网络作为特征提取网络，提取二维医学影像或者三维影像切片x的特征图z，这些神经网络采用卷积神经网络或者全连接神经网络或者Transformer网路等神经网络，并将二维医学影像或者三维切片x作为输入。网络中通常包含多个基于平均池化或者最大池化的下采样模块，在这些网络的后面添加上采样模块，保持特征图的尺寸，所以当输入的影像为x∈R^H×W时，输出的特征图就为z∈R^{C×H′×W′}，其中C为通道数。在本实施例中，采用附图2所示U-Net作为特征提取网络，其输出通道数为128，H′和W′通常为H/4和W/4。

通常来说，当网络输出的特征图尺寸小于转导推理模块所需的尺寸时，会通过插值算法，对特征图进行上采用，或者采用反卷积模块扩大尺寸特征图，或者将特征提取网络中的下采样模块删除。

在本实施例中为方便说明，将特征图的通道数定为128，同时长和宽定为256与原始输入的影像相同，使用上采样模块对网络输出的尺寸进行转化。

一般来说，支撑集与查询集中包含的影像数量没有限制，在本实施例中，只包含一张二维医学影像作为支撑集，与一张二维医学影像作为查询集。

步骤2：基于转导推理，对支撑集与查询集数据进行分析与融合，并从中提取出来用于查询集分割的原型特征的流程如附图3所示。在本实施例中以二分类任务对本发明所述方法进行说明。原型特征包括前景原型特征

和背景原型特征

原型特征可以包含单个向量，也可以包含多个向量，因此，原型特征的向量形状尺寸为z^P∈R^N×C，这里N表述向量的个数。转导推理模块的具体计算流程如包括：

步骤2a：如附图3所示，第一个步骤是通过标注信息嵌入网络T_anno，将影像相对应标注信息y作为输入，构建标注信息v。标注信息的形状尺寸通常为y∈R^(C-1)×H×W这里C标注分割的类别数量，此实施例中，分割的类别包括前景与背景，因此C＝2。然后输出的标注信息的形状尺寸为v∈R^C′×H×W，其中C′为生成的标注信息对应的特征通道数，在此实施例中C′＝128。其计算公式如下：

具体的，如附图4所示，首先通过短语嵌入网络E_anno(·)，将影像的标注y∈R^{1 ×256×256}，以窗口化的方式，提取每个像素对应标注的周边7×7的区域提取出来，并通过嵌入编码的方式，将1×7×7的矩阵编码为128维度的向量。对于256×256的标注，则会得到128×256×256的高维矩阵。

然后，采用多层卷积网络F_anno(·)对提取特征进行进一步特征提取，在本实施例中，F_anno为两个串联的ResNet基础模块，并采用ReLU函数作为激活函数。输入数据的尺寸为128×256×256，输出数据的尺寸依然为128×256×256。

最后通过reshape操作，将输入数据从128×256×256转化为128×65536，使用两层全连接神经网络G_anno对进一步地提取特征，其中全连接网络中隐含层的神经元个数为2048。并将输出的数据由reshape’操作从128×65536尺寸转化为128×256×256并作为标注信息v。

对与具有标注的支撑集来说，标注信息v^S由上述步骤生成，但是对于没有标注的查询集来说，其对应的空表标注信息

则是先由E_anno生成不属于任何类别的空白嵌入信息，然后通过F_anno和G_anno对空白嵌入信息进行处理，得到空表标注信息

步骤2b：如附图3所示，在将影像标注y转化为标注信息v之后，就需要将标注信息v与影像的特征图z作为的输入，并通过信息融合网络T_fuse进行融合，，以进一步通过转导推理进行处理。信息融合网络T_fuse的计算公式如下：

u＝T_fuse(z,v)＝Trans(encode＝v,decode＝z)

其中如图5所示，Trans为包括编码器与解码器的Transformer网络，并且编码器的输入为标注信息v，解码器的输入为特征图z。这里标注信息与特征图均为三维矩阵，为作为Transformer网络的输入，首先将标注信息v与特征图z中长与宽两个维度进行融合，在本实施例中，将形状为128×256×256的标注信息与特征图，融合长宽维度得到128×65536形状的矩阵作为输入。然后为了保留维度融合前标注信息v与特征图z所具有的位置信息，通过位置信息编码器，为其增加位置信息。

接着，标注信息通过编码器进行编码，并于通过解码器的特征图进行融合。编码其中包括多头部注意力机制模块、前馈神经网络、加法算子与正则化算子；解码器包括相同的组件，不同的时，解码器中包括两个多头部注意力机制模块，第一个模块与编码器的注意力机制模块一致，将标注信息v或者特征图z作为其“查询”、“键”、“值”三个输入，第二个模块则是将编码器的出书作为“键”与“值”两个输入，并且“查询”输入为上一层注意力模块的输出。

最后，解码器的输出，通过多层感知机(MLP)进行特征处理，得到融合信息u。

步骤2c：如附图3所示，在得到融合信息u之后，使用转导推理模块T_trans将支撑集信息与查询集的标注与进行融合，其计算公式如下：

其中，如图6所示，Trans为包括多层编码器与解码器的Transformer网络。对于编码器，首先分别将支撑集融合信息u^S与查询集融合信息u^Q中长和宽两个维度进行融合，在本实施例中，将尺寸为128×256×256的融合信息转化为尺寸为128×65536的矩阵；然后将支撑集与查询集的融合信息在长宽维度上进行拼接，得到尺寸为128×131072的矩阵，作为编码器的输入。

对于解码器，采用与编码器相同的方式，将支撑集的标注信息v^S与空白标注

信息进行融合，在本实施例中，将尺寸为128×256×256的标注信息转化为尺寸为128×65536的矩阵；然后将两个标注信息在长宽维度上进行拼接，得到尺寸为128×131072的矩阵，作为解码器的输入。

转导推理模块的Transformers网络中，编码器和解码器的结构与附图5中融合网络T_fuse中使用的Transformers结构相同。并且类似的，在本实施例中，最后一个编码器(3)的输出，将作为其他三个解码器的输入中的“键”与“值”的输入。

最后，解码器(3)输出的结果，通过多层感知机进行再次的特征融合，作为输出更新过的融合信息。这里的更新过的融合信息包含了支撑集与查询集的信息，需要通过掩膜的方式，将其中更新的查询集融合信息

进行更新。

步骤2d：如附图3所示，在得到更新的查询集融合信息

之后，使用解算网络T_resolve将更新的融合信息中隐藏的查询集标注信息v^Q提取出来，其计算公式如下：

首先使用解算网络解算更新过的查询集融合信息v^Q，其中解算网络T_resolve(·)为多层卷积神经网络。在本实施例中，使用ResNetBlock作为多层卷积网络进行解算操作。

可选择性的，将解算得到的查询集标注信息v^Q再次带回步骤2c中的转导推理模块，替代

再次进行转导推理，并获得新的

上述步骤可以反复重复，直至达成停机条件。在本实施例中，停机条件包含两个：

①当前解算的查询集标注信息

与上一次迭代解算的查询集标注信息

之间的相似度大于阈值t_resolve＝0.9：

②当迭代次数多余10次时，停止迭代。

最后单次或者多次进行转导推理与解算之后，通过解算网络计算出来的最终的查询集标注信息v^Q，作为结算网络的最终输出结果。

步骤2e：如附图3所示，在得到更新的查询集标注信息v^Q之后，使用原型选择网络T_proto从支撑集与查询集特征图中选择合适的原型特征z^P，用于对查询集的分割任务。原型选择网络

的计算过程如下：

如附图7所示，首先，计算所有支撑集与查询集特征图中特征对应的评分：

其中，Trans为包含编码器与解码器的Transformer神经网络，其中编码器的输入为支撑集与查询集的特征图，特征图首先将长与宽两个通道进行合并，由形状尺寸为C×H×W的矩阵转换为C×HW，并将查询集与支撑集进行拼接；解码器的输入为标注信息v，相似的，将标注信息长与宽两个维度进行合并，然后将查询集与支撑集标注信息进行拼接。在本实施例中，特征图与标注信息，均为由尺寸为128×256×256的标矩阵为尺寸为128×65536的矩阵，然后查询集与支撑集进行拼接得到了尺寸为128×131072的矩阵，作为输入。Transformer网络的输出，尺寸依然是128×131072。

然后，F_i为多层全连接神经网络，用于将Transformer网络输出的信息进行降为回归为对每一个特征的原始评分i′。在本实施例中，F_i为双层全连接网络，第一层的神经元数量为512,第二层的神经元数量为1，并且不附加激活函数。此外，原始评分的形状尺寸为i′∈R¹³¹⁰⁷²，这里对应131072个特征。

接着，使用归一化指数函数，对原始评分进行处理，使得所有特征对应的评分的总和为1：

i＝softmax(i′)

最后，将归一化的评分由高到低进行排序，并挑选出来其中评分最高的N个原型特征：

在本实施例中，对于前景与背景，分别提取10个原型特征用于分割任务。对于前景与背景，分别实例化两个独立全连接网络F_i+与F_i-用于对前景与背景对应的特征进行评分，这两个网络采用的输入，为同一个Transformer网络输出的。此外，对于二分类分割任务，可以分别选择评分最高与最低的N个向量作为原型特征。

步骤3，如附图1所示，在通过转导推理的方式挑选出来原型特征之后，通过原型分割对查询集进行分割。如附图8所示，分割过程如下：首先对于查询集特征图z^Q中每一个特征

和每一个原型特征

计算相似度s_ij，如附图8所示，在本实施例中，采用余弦三角函数，作为两个向量相似度的衡量方式：

然后，对于查询集特征图z^Q中，每个像素具有的与多个同类别原型特征z^P的相似度，采用归一化权重的方式，进行融合，获得当前像素对于单个类别整体的相似度：

s＝sum(s^Q·softmax(s^Q))

例如对于特定类别，有原型特征1与2，与查询集特征图z^Q通过余弦三角函数计算相似度，并得到两个相似度图。然后将每个相似度图中，每个像素与对应的两个原型特征的相似度通归一化-指数函数计算进行归一化作为权重，再与相似度本身相乘，然后将两个原型特征对应的结果相加，作为该像素的相似度；

最后，采用偏执归一化指数函数进行归一化，并比较特征对应的不同类别的相似度之间的大小关系，并将相似度最大的类别作为该特征对应的类别，也就是影像中对应的类别。在本实施例中，分各类别包括前景与背景，因此，对于前景与背景进行归一化：

c＝argmax(bias_softmax(s^Q；b))＝argmax(softmax([s₀,s₁+

b₁,…,s_n+b_n]))其中b＝[b₁,b₂,…,b_n]为偏执，用于作为分割过程中，可人为调节的超参数，以获得更加优化的结果；s^Q＝[s₀,s₁,s₂,…,s_n]表示对于查询集特征图中的特征，与n个类别对应的原型特征的相似度。

Claims (8)

1.一种基于转导推理的医学影像小样本分割方法，其特征在于，其中支撑集数据与查询集数据作为输入，支撑集为带有分割标注的影像数据，查询集为带分割的影像数据，分割方法包括以下步骤；

(1)使用神经网络作为特征提取网络，提取二维医学影像或者三维影像切片x的特征图z；

(2)基于转导推理对支撑集数据与查询集数据进行融合分析，并从中分别提取出用于对查询集进行分割的前景类别对应的原型特征向量与背景类别对应原型特征向量；

(2a)采用标注信息嵌入网络，将影像对应的分割标注y作为输入构建影像的标注信息v；

(2b)使用信息融合网络，将影像对应的特征图z与通过影像标注构建的标注信息v作为输入，对这两种信息进行融合，形成融合信息u；

(2c)通过转导推理模块，将支撑集与查询集的融合信息u^S与u^Q作为输入，并通过转导推理模块进行融合、学习，然后对输入的查询集融合信息u^Q进行补全，并生成新的查询集融合信息

(2d)采用解算网络，对转导推理模块的输出的融合信息

进行处理，来解码其中的潜在的查询集标注信息v^Q；

(2e)使用原型选择网络，对支撑集与查询集的特征图z与标注信息v进行融合、分析，从中选择用于对查询集分割的各个类别的原型特征z^P；

(3)对查询集的特征图z^Q中的每一个特征，分别计算其与各个类别的原型特征

的相似度，然后通过比较各个类别相似度s_i的大小，确定查询集中各个特征对应的类别，即其类别为相似度最大的原型特征所对应的类别。

2.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(1)中所述的特征提取网络F_feat为由多层神经或者多层卷积神经网络组成，输入为单通道二维图片x，输出为高维特征

3.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2a)中所述的标注信息嵌入网络T_anno具体公式如下，

v＝T_anno(y)＝reshape’(G_anno(reshape(F_anno(E_anno(y)))))

其中，y为网络输入，表示影像对应的分割标注；v为网络输出，表示由标注信息嵌入网络构建的标注信息；

reshape表示将输入的数据中长与宽两个维度合并为一个维度，reshape′表示将输入的数据中由长与宽合并的维度拆分为长和宽两个维度；

E_anno(·)表示短语嵌入网络，通过滑动窗口的方式，将影像的标注y中每一个像素及其相邻区域所表示的标注信息转化为基于特征向量的表示形式；

F_anno(·)为多层卷积神经网络，用于进一步提取向量化表示的标注中隐含的特征并挖掘更多潜在的信息；

G_anno(·)表示多层全连接神经网络，用于从全局层面对标注信息进行融合；

支撑集影像的标注信息由支撑集影像对应的标注产生，对于不包含标注信息的查询集数据，则以空白作为输入产生标注信息，这里空白为既不表示前景也不表示背景的伪标注。

4.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2b)信息融合网络T_fuse的计算公式如下，

u＝T_fuse(z,v)＝Trans(encode＝v,decode＝z)

其中，Trans为包含编码器与解码器的Transformer神经网络，编码器的输入为标注信息v，解码器的输入为影像对应的特征图z，网络的输出为影像的特征图与标注信息所融合的结果，即融合信息u。

5.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2c)转导推理模块的表达式与计算步骤如下；

首先，使用沿着长宽维度进行拼接的操作

将支撑集融合特征u^S与查询集融合特征u^Q进行拼接，得到

同时以相同的方式将支撑集的标注信息v^S与查询集的空白标注信息

进行拼接，得到

然后，使用包含编码器与解码器的Transformer神经网络(Trans)，对拼接的融合信息u与标注信息v进行转导推理，以补全查询集中标注信息v^Q，其中，编码器输入为

解码器输入为

输出为更新的支撑集与查询集融合信息；

最后，并通过掩膜的方式，将更新的融合信息中，查询集对应的部分

提取出来。

6.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2d)解算网络的计算过程如下：

首先，使用解算网络对更新的查询集融合标息

进行解算，其中解算网络T_resolve(·)为多层卷积神经网络；

然后，可选择性的将结果v^Q再次带入转导推理模块的计算公式中，并替代

进行计算，获得新的

并重复上述过程直至达成停机条件，即循环次数达到上限或者查询集融合信息不再更新；

在一次或者多次转导推理和解算之后，将解算网络解算出来的查询集标注信息v^Q，作为解算网络的最终输出结果。

7.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(2e)原型选择网络表达式为z^P＝T_proto(z^S,v^S,z^Q,v^Q)，其计算过程如下，

首先，计算所有查询集与支撑集特征对应的评分i′：

其中，Trans为包含编码器与解码器的Transformer神经网络，其中编码器的输入为特征图z，解码器的输入为标注信息v，F_i为多层全连接神经网络，输出结果i是各个特征的评分；

然后，将所有特征的评分通过归一化指数函数进行归一化，使得全部评分之和为1

i＝softmax(i′)

最后，根据评分，排序并挑选评分最大的N个特征作为原型特征

其中，top(i,N)表示将i中评分最大N个向量对应的索引值。

8.根据权利要求1所述的一种基于转导推理的医学影像小样本分割方法，其特征在于，所述步骤(3)中当某一类别中用于分割的原型特征有多个时，采用归一化的方式进行融合，或者对于该类型分割评分s：

s＝sum(s^Q·softmax(s^Q))

同时，比较相似度判断像素类别时，采用偏执-归一化指数函数进行归一化，确定像素对应的类别c：

c＝argmax(bias_softmax(s^Q；b))

＝argmax(softmax([s₀,s₁+b₁,…,s_n+b_n]))其中b＝[b₁,b₂,…,b_n]为偏执，用于作为分割过程中，可人为调节的超参数，以获得更加优化的结果；s^Q＝[s₀,s₁,s₂,…,s_n]表示对于查询集特征图中的特征，与n个类别对应的原型特征的相似度。

Images