CN118015287A - 一种基于域纠正适应器的跨域小样本分割方法 - Google Patents

Abstract

本发明提供一种基于域纠正适应器的跨域小样本分割方法，涉及图像处理技术领域。方法包括：获取待分割图像，将待分割图像输入至已训练的特征提取层，得到待处理特征图；将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，域纠正器用于纠正待处理特征图的域与基准域的域差异；将纠正特征图输入至已训练的分割模块，获取分割模块输出的图像分割结果；其中，域纠正器与域扰乱器共同基于多组训练数据训练得到，每组训练数据包括样本待分割图像以及样本待分割图像对应的分割结果标签，样本待分割图像的域为基准域，域扰乱器用于对图像添加域扰动以实现对不同域的模拟。本发明可以提高对跨域的图像的分割准确度。

Description

一种基于域纠正适应器的跨域小样本分割方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于域纠正适应器的跨域小样本分割方法。

背景技术

小样本分割任务旨在给定一张或几张带有标签的参考图片，模型能够尽可能正确地分割出待分割图像中相同类别的目标。在传统小样本分割设定中，通常假定训练集与模型应用的数据都来自同样的数据域，然而在很多场景中，这种设定不一定能得到满足。当训练时只能访问自然图像的数据集却希望将模型应用于其他域的图像分割任务（例如医学图像、遥感图像）时，数据间的分布差距会使得模型没法很好地在跨域场景中工作，也就是说，通过特定域的训练集进行训练得到的模型在执行跨域的图像分割任务时的准确度差。

发明内容

本发明提供一种基于域纠正适应器的跨域小样本分割方法，用以解决现有技术中通过特定域的训练集进行训练得到的模型在执行其他域的图像分割任务时效果差的缺陷，实现提高对跨域的图像的分割准确度的技术效果。

本发明提供一种基于域纠正适应器的跨域小样本分割方法，包括：

获取待分割图像，将所述待分割图像输入至已训练的特征提取层，得到待处理特征图；

将所述待处理特征图输入至已训练的域纠正器，获取所述域纠正器输出的纠正特征图，所述域纠正器用于纠正所述待处理特征图的域与基准域的域差异；

将所述纠正特征图输入至已训练的分割模块，获取所述分割模块输出的图像分割结果；

其中，所述域纠正器与域扰乱器共同基于多组训练数据训练得到，每组所述训练数据包括样本待分割图像以及所述样本待分割图像对应的分割结果标签，所述样本待分割图像的域为所述基准域，所述域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

根据本发明提供的一种基于域纠正适应器的跨域小样本分割方法，所述域纠正器包括特征卷积模块；所述将所述待处理特征图输入至已训练的域纠正器，获取所述域纠正器输出的纠正特征图，包括：

通过所述特征卷积模块对所述待处理特征图进行处理，得到临时特征图；

获取所述临时特征图在通道维度上的统计值，得到纠正因子；

计算所述待处理特征图在通道维度上的统计值，得到所述待处理特征图的统计值向量，将所述待处理特征图的统计值向量与所述纠正因子相加，得到纠正统计值向量；

基于所述纠正统计值向量生成所述纠正特征图，所述纠正特征图的统计值向量为所述纠正统计值向量。

根据本发明提供的一种基于域纠正适应器的跨域小样本分割方法，所述域纠正器以及所述域扰乱器的训练过程包括：

将所述样本待分割图像输入至所述特征提取层，获取所述特征提取层输出的样本待处理特征图；

将所述样本待处理特征图输入至所述域扰乱器，获取所述域扰乱器输出的模拟域特征图；

将所述模拟域特征图输入至所述域纠正器中，获取所述域纠正器输出的样本纠正特征图；

将所述样本纠正特征图输入至所述分割模块，获取所述分割模块输出的样本分割结果；

基于所述样本分割结果和所述样本待分割图像对应的所述分割结果标签确定目标训练损失，基于所述目标训练损失更新所述域扰乱器以及所述域纠正器。

根据本发明提供的一种基于域纠正适应器的跨域小样本分割方法，所述基于所述样本分割结果和所述样本待分割图像对应的所述分割结果标签确定目标训练损失，包括：

基于所述样本分割结果和所述样本待分割图像对应的所述分割结果标签之间的差异确定第一训练损失；

将所述样本纠正特征图输入至所述域扰乱器，获取所述域扰乱器输出的二次模拟域特征图，将所述二次模拟域特征图输入至所述域纠正器，获取所述域纠正器输出的二次纠正特征图；

基于所述待处理特征图和所述二次纠正特征图之间的差异确定第二训练损失；

基于所述待处理特征图和所述样本纠正特征图之间的差异确定第三训练损失；

基于所述第一训练损失、所述第二训练损失和所述第三训练损失确定所述目标训练损失。

根据本发明提供的一种基于域纠正适应器的跨域小样本分割方法，所述域扰乱器包括第一扰乱器和第二扰乱器；所述将所述样本待处理特征图输入至所述域扰乱器，获取所述域扰乱器输出的模拟域特征图，包括：

基于第一扰乱噪声和/或第二扰乱噪声生成扰乱后的统计值，基于所述扰乱后的统计值得到所述模拟域特征图；

其中，所述第一扰乱噪声是所述第一扰乱器生成的方差为第一方差的高斯噪声，所述第二扰乱噪声是所述第二扰乱器生成的方差为第二方差的高斯噪声，所述第二方差大于所述第一方差；

基于所述第一扰乱噪声生成扰乱后的统计值，包括：

在所述样本待处理特征图的统计值上叠加所述第一扰乱噪声，得到所述扰乱后的统计值；

基于所述第二扰乱噪声生成扰乱后的统计值，包括：

基于所述样本待处理特征图的统计值更新目标数据集的统计值，在所述目标数据集的统计值上叠加所述第二扰乱噪声，得到所述扰乱后的统计值，所述目标数据集包括多张所述样本待处理特征图；

基于所述第一扰乱噪声和所述第二扰乱噪声生成扰乱后的统计值，包括：

在所述样本待处理特征图的统计值上叠加所述第一扰乱噪声，得到中间统计值，基于所述中间统计值更新所述目标数据集的统计值，在所述目标数据集的统计值上叠加所述第二扰乱噪声，得到所述扰乱后的统计值。

根据本发明提供的一种基于域纠正适应器的跨域小样本分割方法，所述统计值包括均值和方差。

本发明还提供一种基于域纠正适应器的跨域小样本分割装置，包括：

特征提取单元，用于获取待分割图像，将所述待分割图像输入至已训练的特征提取层，得到待处理特征图；

域纠正单元，用于将所述待处理特征图输入至已训练的域纠正器，获取所述域纠正器输出的纠正特征图，所述域纠正器用于纠正所述待处理特征图的域与基准域的域差异；

图像分割单元，用于将所述纠正特征图输入至已训练的分割模块，获取所述分割模块输出的图像分割结果；

其中，所述域纠正器与域扰乱器共同基于多组训练数据训练得到，每组所述训练数据包括样本待分割图像以及所述样本待分割图像对应的分割结果标签，所述样本待分割图像的域为所述基准域，所述域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于域纠正适应器的跨域小样本分割方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于域纠正适应器的跨域小样本分割方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于域纠正适应器的跨域小样本分割方法。

本发明提供的一种基于域纠正适应器的跨域小样本分割方法，通过在模型训练时增加域扰动器对图像添加域扰动，可以实现利用基准域的图像进行多域数据模拟，并使用域纠正器纠正模拟数据与基准域的差异，即将模拟的域数据与基准域进行对齐，经过训练后，域纠正器可以实现将不同域的数据与基准域进行对齐，对齐后采用利用基准域训练得到的后续分割模块进行分割，可以有效提升跨域图像分割的准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于域纠正适应器的跨域小样本分割方法的流程示意图；

图2是本发明提供的一种基于域纠正适应器的跨域小样本分割方法的数据流向图；

图3是本发明提供的一种基于域纠正适应器的跨域小样本分割方法中的模型示意图；

图4是单个图像与整个数据集的统计值向量区别示意图；

图5是本发明提供的一种基于域纠正适应器的跨域小样本分割方法中训练损失确定示意图；

图6是本发明提供的一种基于域纠正适应器的跨域小样本分割方法在跨域场景下的分割效果示意图；

图7是本发明提供的一种基于域纠正适应器的跨域小样本分割装置的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图6描述本发明的一种基于域纠正适应器的跨域小样本分割方法，本发明提供的该方法，可以是应用于具备计算能力的电子设备中，所述电子设备可以但不限于是各种计算机、移动终端、穿戴式智能设备等。

模型训练需要大量的数据集去支撑，由于不是所有域的图像的训练数据都容易获取，在现有技术中，小样本图像分割往往是基于一个域的数据集进行训练，训练得到的模型在其他域的图像上进行图像分割的准确度较差。

针对现有技术中小样本分割模型在执行训练集的域以外的其他域的图像分割任务时效果差的缺陷，本发明提供一种基于域纠正适应器的跨域小样本分割方法，旨在提高对跨域的图像的分割准确度。

如图1所示，本发明提供的方法，包括步骤：

S110、获取待分割图像，将待分割图像输入至已训练的特征提取层，得到待处理特征图；

S120、将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，域纠正器用于纠正待处理特征图的域与基准域的域差异；

S130、将纠正特征图输入至已训练的分割模块，获取分割模块输出的图像分割结果；

其中，域纠正器以及域扰乱器共同基于多组训练数据训练得到，每组训练数据包括样本待分割图像以及样本待分割图像对应的分割结果标签，样本待分割图像的域为基准域，域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

本发明提供的方法，通过在模型训练时增加域扰动器对图像添加域扰动，可以实现利用基准域的图像进行多域数据模拟，并使用域纠正器纠正模拟数据与基准域的差异，即将模拟的域数据与基准域进行对齐，经过训练后，域纠正器可以实现将不同域的数据与基准域进行对齐，对齐后采用利用基准域训练得到的后续分割模块进行分割，可以有效提升跨域图像分割的准确性。

如图2所示，本发明提供的方法，先需要利用训练数据进行训练，训练时域扰动器和域纠正器共同参与训练而在训练完成后，只有域纠正器参与推理，即执行图像分割任务时只有域纠正器参与，域扰动器不参与。

在跨域小样本分割任务的模型训练阶段，由于推理时的图像域无法确定，确定推理时的图像域的样本量不足（例如医学图像、遥感图像等），无法采用推理时的目标域图像作为训练数据进行训练，只能够采用可用于训练的基准域的图像（例如自然域的图像），为了弥补只采用基准域的图像进行训练得到的模型在跨域时分割准确性不高的缺陷，本发明提供的方法，在训练过程中，使用域扰动器实现多种域图像的模拟，之后利用域纠正器将多种模拟域图像特征转换成更利于模型实现分割的基准域特征分布中，在训练完成后执行推理时，将需要进行分割的待分割图像视为模拟图像的一种，直接使用域纠正器对其进行纠正，从而保持训练和推理的一致性。

特征提取层可以采用已有模型中的中低层次的卷积层，例如卷积网络ResNet50的前三个卷积层，一个待分割图像可以对应多个待处理特征图，例如待处理特征图可以为卷积网络ResNet50的前三层特征图。分割模块可以采用已有的图像分割模型的结构，在一种可能的实现方式中，特征提取层和分割模块也可以和域纠正器以及域扰乱器一同被训练，也可以采用已经训练好的模型中的特征提取模块和分割模型的参数，也就是说，特征提取层和分割模块也可以不和域纠正器和域扰乱器一同被训练。

域纠正器以及域扰乱器的训练过程包括：

将样本待分割图像输入至特征提取层，获取特征提取层输出的样本待处理特征图；

将样本待处理特征图输入至域扰乱器，获取域扰乱器输出的模拟域特征图；

将模拟域特征图输入至域纠正器中，获取域纠正器输出的样本纠正特征图；

将样本纠正特征图输入至分割模块，获取分割模块输出的样本分割结果；

基于样本分割结果和样本待分割图像对应的分割结果标签确定目标训练损失，基于目标训练损失更新域扰乱器和域纠正器。

具体地，域扰乱器包括第一扰乱器和第二扰乱器，将样本待处理特征图输入至域扰乱器，获取域扰乱器输出的模拟域特征图，包括：

基于第一扰乱噪声和/或第二扰乱噪声生成扰乱后的统计值，基于扰乱后的统计值得到模拟域特征图；

其中，第一扰乱噪声是第一扰乱器生成的方差为第一方差的高斯噪声，第二扰乱噪声是第二扰乱器生成的方差为第二方差的高斯噪声，第二方差大于第一方差。

以往的工作证明，在中低层次的卷积输出特征图中，通道维度上的统计均值和方差能够表征这个图像的潜在风格，而让模型处理过尽可能多的风格图像，能够有效减少不同域之间的域差（domain gap），因此，本发明提供的方法中，对样本待处理特征图的统计值进行扰动，统计值包括均值和方差，具体地，使用高斯噪声对其进行一定范围内的加噪，从而模拟出不同域的图像。

扰动器用于对输入特征图的统计量进行高斯加噪，从而生成不同风格的图像，来增加对于不同域图像的泛化性，在这个过程中，由于模型需要保持对基准域的原始图像的分割性能，因此在本发明提供的方法，使用概率p来控制是否调用扰动器。如图3所示，具体来说，在0-1的范围内随机生成第一概率和第二概率/>，当只有第一概率小于0.5时，基于第一扰乱噪声生成扰乱后的统计值，当只有第二概率/>小于0.5时，基于第二扰乱噪声生成扰乱后的统计值，当第一概率/>和第二概率/>均小于0.5时，基于第一扰乱噪声和第二扰乱噪声生成扰乱后的统计值。

基于第一扰乱噪声生成扰乱后的统计值，包括：

在样本待处理特征图的统计值上叠加第一扰乱噪声，得到扰乱后的统计值。

具体地，获取样本待处理特征图在通道维度上的均值和方差，并以相同的维度对应生成均值为0，方差为0.75的两个高斯噪声向量，将噪声分别与均值和方差相加，得到扰乱后的均值和方差。

基于第一扰乱噪声生成扰乱后的统计值，属于局部扰动，这种简单的扰动方法十分有效，显然，扰动的范围越大越好，这样就能够模拟到尽可能多的不同域分布，但是，无法通过直接增加噪声的幅度或方差来增大扰动范围，原因是整个图像的风格由统计向量决定，当统计向量不够平滑时，如图4所示，即使叠加较大的噪声也无法使那些幅值较低的统计值变化范围增大，反而会使幅值较高的统计值发生剧烈变化，从而影响到原始图像的重要特征。基于此，本发明提供的方法中，还设置第二扰乱器，第二扰乱器为全局扰乱，是基于数据集的全局统计值进行图像风格的扰动。具体地，基于第二扰乱噪声生成扰乱后的统计值，包括：

基于样本待处理特征图的统计值更新目标数据集的统计值，在目标数据集的统计值上叠加第二扰乱噪声，得到扰乱后的统计值，目标数据集包括多张样本待处理特征图。

在本发明提供的方法中，采用动量更新（momentum update）的方式来不断聚合图像的统计值来得到目标数据集的均值和方差，目标数据集是被用于训练的样本待分割图像的集合，目标数据集不断被更新，即每次输入一张或多张样本待分割图像用于训练时，则将这一张或多张样本待分割图像加入至目标数据集，并更新目标数据集的统计值，采用动量更新的方式更新目标数据集的统计值，动量更新的过程可以用公式表示为：，其中/>表示统计值，/>表示本次训练中的样本待处理特征图的统计值，/>为超参数，可以取0.99。

全局扰动可以实现比较平滑的统计向量，因此允许使用较大的高斯噪声，本发明提供的方法中，第二扰乱器产生的第二扰乱噪声的方差大于第一扰乱器产生的第一扰乱噪声的方差，例如第一扰乱噪声的方差为0.75，而对于第二扰乱噪声，方差可以上调至1，以此来增加扰乱的范围。

基于第一扰乱噪声和第二扰乱噪声生成扰乱后的统计值，包括：

在样本待处理特征图的统计值上叠加第一扰乱噪声，得到中间统计值，基于中间统计值更新目标数据集的统计值，在目标数据集的统计值上叠加第二扰乱噪声，得到扰乱后的统计值。

正如前文所说明的，基于随机概率，第一扰乱器和第二扰乱器可以分别工作，也可以同时工作，同时工作时，二者是串联的关系。

基于扰乱后的统计值生成模拟域特征图，是指基于扰乱后的统计值以及样本待处理特征图生成一张统计值为扰乱后的统计值的特征图，将该特征图作为模拟域特征图，生成模拟域特征图可以采用风格迁移中的自适应实例归一化（AdaIn）方法，即以扰乱后的统计值为风格迁移目标对样本待处理特征图进行风格迁移，得到模拟域特征图。

通过域扰乱器，可以得到模拟不同域的模拟域特征图，将其输入到后续的域纠正器中来训练域纠正器。

域纠正器的目的用于将其他域的特征图纠正到基准域图像的分布，以便让训练良好的分割模型进行处理。本发明提供的方法中，域纠正器以扰动特征图为输入，生成两个纠正因子，这两个因子分别用于将干扰后的统计值纠正在基准域中，域纠正器具有参数量小，易于训练的特点，在小样本的设置下，能有效减小出现过拟合的风险。

具体地，域纠正器包括特征卷积模块，特征卷积模块包括若干个卷积层，每个卷积层采用77的卷积核，卷积层后面包括一个标准化层和一个非线性激活层，此外，为了增加感受野大小，特征卷积模块还包括膨胀因子等于2的膨胀卷积。在训练完成后，应用域纠正器时，将待处理特征图输入至域纠正器，在训练时，是将模拟域特征图输入至域纠正器。

将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，包括：

通过特征卷积模块对待处理特征图进行处理，得到临时特征图；

获取临时特征图在通道维度上的统计值，得到待处理特征图的统计值向量，将待处理特征图的统计值向量与纠正因子相加，得到纠正统计值向量；

基于纠正统计值向量生成纠正特征图，纠正特征图的统计值向量为纠正统计值向量。

首先通过特征卷积模块对输入至域纠正器的待处理特征图进行处理，得到一个尺寸不变，通道维度也不变的临时特征图，分别计算这个临时特征图在通道维度上的统计值向量（包括均值向量和方差向量），作为纠正因子，将待处理特征图统计值向量与对应的纠正因子相加，可以得到纠正统计值向量（包括纠正后的均值向量和纠正后的方差向量），接着将纠正统计值向量作为目标风格，对模拟域特征图进行一次新的AdaIn操作，得到纠正特征图，纠正特征图的均值向量为前文所述的纠正后的均值向量，方差向量为前文所述的纠正后的方差向量。

在训练时，域纠正器基于上述对待处理特征图的处理过程对模拟与特征图进行处理，得到样本纠正特征图，基于样本纠正特征图得到样本分割结果。

域纠正器的目的是将任何可能的域图像都纠正到模型容易处理的基准域中，因此如果缺少监督限制，纠正后的风格可能产生大范围的偏差而无法恢复到基准域分布中。实际上仅靠模型自己学习很难将模拟分割变换到想要的基准域分布上，因此，在本发明提供的方法，加入监督强行让纠正后的图像与原始输入图像保持对齐，除了常规的交叉熵分割损失函数，还使用循环域对齐损失函数来进行监督。具体来说，基于样本分割结果和样本待分割图像对应的分割结果标签确定目标训练损失，包括：

基于样本分割结果和样本待分割图像对应的分割结果标签之间的差异确定第一训练损失；

将样本纠正特征图输入至域扰乱器，获取域扰乱器输出的二次模拟域特征图，将二次模拟域特征图输入至域纠正器，获取域纠正器输出的二次纠正特征图；

基于待处理特征图和二次纠正特征图之间的差异确定第二训练损失；

基于待处理特征图和样本纠正特征图之间的差异确定第三训练损失；

基于第一训练损失、第二训练损失和第三训练损失确定目标训练损失。

如图5所示，在对原始图像经过一次扰动与纠正得到纠正图像/>之后，使用相同的高斯噪声对纠正图像再进行同样的扰动和纠正操作得到/>，在/>和/>之间计算他们的风格损失，具体来说，分别计算/>和/>的均值和方差，分别使用L1损失函数来计算他们之间的差距，作为循环监督，此外，同样也使用L1损失函数计算/>和/>之间的风格差距，作为对齐监督。如果域纠正模块能够有效的进行纠正，那么纠正后的图像与原始图像的风格应当尽可能的相似，类似的，纠正图像经过二次扰动与纠正之后，得到的二次纠正图像与原始图像/>的风格也应该保持一致，以此为监督即能保证域纠正器的可靠性。

本发明提供的方法，可以实现跨域小样本分割，解决了传统小样本分割技术中，对于训练数据和测试数据要求分布一致的缺陷，大大降低了分割其他域数据所需要的训练数据，并且由于本发明提供的方法中的域纠正器是一个即插即用的模块，可以直接用于以往的分割模型中，实现可靠且有效的跨域分割。

使用本发明提供的方法实现跨域小样本分割，大大降低了深度模型训练需要的标注成本，特别是对于跨域场景，如医学图像及遥感图像的需求量降低，只需几张带有标注的参考图片即可实现效果优异的图像语义分割、定位与识别。实验结果表明本发明提供的方法的性能分数在多个数据集上均领先于现有的小样本分割同类方法，如表1所示。

表1

在表1的数据集上，本发明提供的方法的分割识别结果的可视化如图6所示。

将本发明提供的方法与域泛化方法进行对比，域泛化方法通常训练一个大型网络实现知识转移，而本发明提供的方法仅通过一个小的域纠正器进行域知识转移，这将减少训练时间以及过拟合风险，有效提高跨域场景分割任务的泛化性，使得小样本分割技术不再仅对同域数据有效，本发明提供的方法与其他域泛化方法的性能分数比较结果如表2所示。

表2

下面对本发明提供的一种基于域纠正适应器的跨域小样本分割装置进行描述，下文描述的一种基于域纠正适应器的跨域小样本分割装置与上文描述的一种基于域纠正适应器的跨域小样本分割方法可相互对应参照。如图7所示，本发明提供的一种基于域纠正适应器的跨域小样本分割装置包括：

特征提取单元710，用于获取待分割图像，将待分割图像输入至已训练的特征提取层，得到待处理特征图；

域纠正单元720，用于将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，域纠正器用于纠正待处理特征图的域与基准域的域差异；

图像分割单元730，用于将纠正特征图输入至已训练的分割模块，获取分割模块输出的图像分割结果；

其中，域纠正器与域扰乱器共同基于多组训练数据训练得到，每组训练数据包括样本待分割图像以及样本待分割图像对应的分割结果标签，样本待分割图像的域为基准域，域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种基于域纠正适应器的跨域小样本分割方法，该方法包括：获取待分割图像，将待分割图像输入至已训练的特征提取层，得到待处理特征图；将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，域纠正器用于纠正待处理特征图的域与基准域的域差异；将纠正特征图输入至已训练的分割模块，获取分割模块输出的图像分割结果；其中，域纠正器与域扰乱器共同基于多组训练数据训练得到，每组训练数据包括样本待分割图像以及样本待分割图像对应的分割结果标签，样本待分割图像的域为基准域，域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于域纠正适应器的跨域小样本分割方法，该方法包括：获取待分割图像，将待分割图像输入至已训练的特征提取层，得到待处理特征图；将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，域纠正器用于纠正待处理特征图的域与基准域的域差异；将纠正特征图输入至已训练的分割模块，获取分割模块输出的图像分割结果；其中，域纠正器与域扰乱器共同基于多组训练数据训练得到，每组训练数据包括样本待分割图像以及样本待分割图像对应的分割结果标签，样本待分割图像的域为基准域，域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于域纠正适应器的跨域小样本分割方法，该方法包括：获取待分割图像，将待分割图像输入至已训练的特征提取层，得到待处理特征图；将待处理特征图输入至已训练的域纠正器，获取域纠正器输出的纠正特征图，域纠正器用于纠正待处理特征图的域与基准域的域差异；将纠正特征图输入至已训练的分割模块，获取分割模块输出的图像分割结果；其中，域纠正器与域扰乱器共同基于多组训练数据训练得到，每组训练数据包括样本待分割图像以及样本待分割图像对应的分割结果标签，样本待分割图像的域为基准域，域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于域纠正适应器的跨域小样本分割方法，其特征在于，包括：

获取待分割图像，将所述待分割图像输入至已训练的特征提取层，得到待处理特征图；

将所述待处理特征图输入至已训练的域纠正器，获取所述域纠正器输出的纠正特征图，所述域纠正器用于纠正所述待处理特征图的域与基准域的域差异；

将所述纠正特征图输入至已训练的分割模块，获取所述分割模块输出的图像分割结果；

其中，所述域纠正器与域扰乱器共同基于多组训练数据训练得到，每组所述训练数据包括样本待分割图像以及所述样本待分割图像对应的分割结果标签，所述样本待分割图像的域为所述基准域，所述域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

2.根据权利要求1所述的基于域纠正适应器的跨域小样本分割方法，其特征在于，所述域纠正器包括特征卷积模块；所述将所述待处理特征图输入至已训练的域纠正器，获取所述域纠正器输出的纠正特征图，包括：

通过所述特征卷积模块对所述待处理特征图进行处理，得到临时特征图；

获取所述临时特征图在通道维度上的统计值，得到纠正因子；

计算所述待处理特征图在通道维度上的统计值，得到所述待处理特征图的统计值向量，将所述待处理特征图的统计值向量与所述纠正因子相加，得到纠正统计值向量；

基于所述纠正统计值向量生成所述纠正特征图，所述纠正特征图的统计值向量为所述纠正统计值向量。

3.根据权利要求1所述的基于域纠正适应器的跨域小样本分割方法，其特征在于，所述域纠正器以及所述域扰乱器的训练过程包括：

将所述样本待分割图像输入至所述特征提取层，获取所述特征提取层输出的样本待处理特征图；

将所述样本待处理特征图输入至所述域扰乱器，获取所述域扰乱器输出的模拟域特征图；

将所述模拟域特征图输入至所述域纠正器中，获取所述域纠正器输出的样本纠正特征图；

将所述样本纠正特征图输入至所述分割模块，获取所述分割模块输出的样本分割结果；

基于所述样本分割结果和所述样本待分割图像对应的所述分割结果标签确定目标训练损失，基于所述目标训练损失更新所述域扰乱器以及所述域纠正器。

4.根据权利要求3所述的基于域纠正适应器的跨域小样本分割方法，其特征在于，所述基于所述样本分割结果和所述样本待分割图像对应的所述分割结果标签确定目标训练损失，包括：

基于所述样本分割结果和所述样本待分割图像对应的所述分割结果标签之间的差异确定第一训练损失；

将所述样本纠正特征图输入至所述域扰乱器，获取所述域扰乱器输出的二次模拟域特征图，将所述二次模拟域特征图输入至所述域纠正器，获取所述域纠正器输出的二次纠正特征图；

基于所述待处理特征图和所述二次纠正特征图之间的差异确定第二训练损失；

基于所述待处理特征图和所述样本纠正特征图之间的差异确定第三训练损失；

基于所述第一训练损失、所述第二训练损失和所述第三训练损失确定所述目标训练损失。

5.根据权利要求3所述的基于域纠正适应器的跨域小样本分割方法，其特征在于，所述域扰乱器包括第一扰乱器和第二扰乱器；所述将所述样本待处理特征图输入至所述域扰乱器，获取所述域扰乱器输出的模拟域特征图，包括：

基于第一扰乱噪声和/或第二扰乱噪声生成扰乱后的统计值，基于所述扰乱后的统计值得到所述模拟域特征图；

其中，所述第一扰乱噪声是所述第一扰乱器生成的方差为第一方差的高斯噪声，所述第二扰乱噪声是所述第二扰乱器生成的方差为第二方差的高斯噪声，所述第二方差大于所述第一方差；

基于所述第一扰乱噪声生成扰乱后的统计值，包括：

在所述样本待处理特征图的统计值上叠加所述第一扰乱噪声，得到所述扰乱后的统计值；

基于所述第二扰乱噪声生成扰乱后的统计值，包括：

基于所述样本待处理特征图的统计值更新目标数据集的统计值，在所述目标数据集的统计值上叠加所述第二扰乱噪声，得到所述扰乱后的统计值，所述目标数据集包括多张所述样本待处理特征图；

基于所述第一扰乱噪声和所述第二扰乱噪声生成扰乱后的统计值，包括：

在所述样本待处理特征图的统计值上叠加所述第一扰乱噪声，得到中间统计值，基于所述中间统计值更新所述目标数据集的统计值，在所述目标数据集的统计值上叠加所述第二扰乱噪声，得到所述扰乱后的统计值。

6.根据权利要求2或5所述的基于域纠正适应器的跨域小样本分割方法，其特征在于，所述统计值包括均值和方差。

7.一种基于域纠正适应器的跨域小样本分割装置，其特征在于，包括：

特征提取单元，用于获取待分割图像，将所述待分割图像输入至已训练的特征提取层，得到待处理特征图；

域纠正单元，用于将所述待处理特征图输入至已训练的域纠正器，获取所述域纠正器输出的纠正特征图，所述域纠正器用于纠正所述待处理特征图的域与基准域的域差异；

图像分割单元，用于将所述纠正特征图输入至已训练的分割模块，获取所述分割模块输出的图像分割结果；

其中，所述域纠正器与域扰乱器共同基于多组训练数据训练得到，每组所述训练数据包括样本待分割图像以及所述样本待分割图像对应的分割结果标签，所述样本待分割图像的域为所述基准域，所述域扰乱器用于对图像添加域扰动以实现对不同域的模拟。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于域纠正适应器的跨域小样本分割方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于域纠正适应器的跨域小样本分割方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于域纠正适应器的跨域小样本分割方法。