CN117036790A - 一种小样本条件下的实例分割多分类方法 - Google Patents

Abstract

本发明提供一种小样本条件下的实例分割多分类方法，首先利用大规模图像分割模型结构，如openAI的segmentAnything，在庞大的无标注数据集上进行预测，对对应的实验场景进行知识蒸馏；随后，迁移到指定的分割数据集中进行微调，实现不含语义的分割结构；最后，利用少量多类型的样本进行度量匹配，以实现最终的矢量斑块语义赋予。本发明从大模型背景出发，利用知识蒸馏、模型迁移、度量学习等思路，构建了一种少样本多任务实例分割任务方法。

Description

一种小样本条件下的实例分割多分类方法

技术领域

本发明属于计算机视觉领域，具体涉及一种小样本条件下的实例分割多分类方法。

背景技术

近几年来，随着深度学习快速发展，不同的任务模式被发展出来应用到了各行各业，其中实例分割模型便是一种典型的深度学习任务模式，其用于将图像中的每个对象分割成不同的实例。但就目前的发展来看，为了训练一个有效的实例分割网络，能够准确地识别和分割不同的对象，通常需要数千到数万个样本来训练一个有效的实例分割网络。其次，在面对多类别的实例分割任务时，样本还应具有涵盖多种场景，以便模型能适应各种情况，避免产生过拟合的现象，最后，为实现对于不同类型的有效识别，训练的数据应平衡地包含不同的样本类别，以便实例分割网络能够识别和分割不同的对象。综合来看，实例分割任务通常需要有大量、高质量、多样性、平衡性和准确标注的样本来训练。在满足这些条件的情况下，实例分割网络才能够有效地识别和分割不同的对象。

可以预见，随着技术的不断发展，实例分割网络的性能和应用范围将会不断扩展和提高，但目前来看，实例分割网络的发展依然受制于大量高质量的样本标注。在目前的深度学习条件下看来，越详细的样本标注需要的工序就越多，成本也就越高。因此，大多研究人员都面临着不平衡的数据组成，其通常由庞大的无标注数据、少量地标注矢量和极少量的语义标注矢量构成。因此，一种小样本条件下的实例分割方法成为了研究者们必要的选择，如何在当前数据条件下实现更好的模型预测效果是当今需要关注的核心问题。

发明内容

为解决上述技术问题，本发明提供一种小样本条件下的实例分割多分类方法，从大模型背景出发，利用知识蒸馏、模型迁移、度量学习等思路，构建了一种少样本多任务实例分割任务方法。

为达到上述目的，本发明采用如下技术方案：

一种小样本条件下的实例分割多分类方法，包括如下步骤：

步骤1、利用大规模图像分割模型结构，在庞大的无标注数据集上进行预测，对对应的实验场景进行知识蒸馏，得到蒸馏后的目标网络结构；

步骤2、大模型蒸馏后的网络模型迁移到指定的分割数据集中进行微调，实现不含语义的分割结构；

步骤3、利用少量多类型的样本在蒸馏的网络模型上进行度量匹配，以实现最终的矢量斑块语义赋予。

进一步地，所述步骤1包括：将原始影像经过数据变换增强得到一幅新的图片，随后，将变换后影像同步输入到大模型教师网络以及独立定制设计的学生网络，将生成的结果对比构建损失，以此训练学生网络，其中，整个过程的教师网络参数保持不变，学生网络按设计的学习率迭代训练；所述独立定制设计的学生网络指根据目标任务的特点设计的与目标任务所适应的网络架构。

进一步地，所述步骤2包括：

第一步：根据目标任务的类型，设计相应的辅助代理任务，在步骤1中的从大模型教师网络中学习得到的学生网络的基础上进一步对特征网络进行引导，对特征网络进行进一步训练，使特征网络参数更适合在目标任务中应用；

第二步：基于少量实例分割标注样本，进行预训练网络迁移学习，将第一步得到的特征网络参数固定，在少量样本训练下拟合网络；

第三步：将拟合完成的网络进行测试，保留多次训练中效果最好的网络。

进一步地，所述步骤3包括：

第一步：构建支撑数据集，利用实例网络将样本投影到一个空间，形成特征向量；

第二步：根据语义实例样本计算每个类别的中心，以聚集度以及与其他类别中心的聚类来判断目标是否为样本中心，其中样本中心的的特征是比它们的邻居密度更高，并且与密度更高的点相距相对较大，计算方法如下列公式所示，其中d_c为根据场景设计选择的距离，d_ij为考察点与其他点的空间距离，δ_i是通过计算点i与具有更高密度的任何其它点之间的最小距离来测量的，最终选择ρ_i与δ_i均较大的点作为类别中心，其中，ρ_i统计了目标点与周边点距离小于某一定值的数目，用以反映点的密度；δ_i表示目标点距离比其密度更大的点的空间距离，并取这部分的最小值；类别中心的密度较高，并且与其他类别中心的距离较远：

其中，n表示某一类别中样本的个数，d_ij表示第i个样本与第j个样本的空间距离，表示第i个点与空间中密度大于其的样本的最小距离，/>是一个截断函数，在公式(1)中用来计算点的密度；

第三步：在分类的时候，通过对比其中实例目标到样本中心的距离，从而分析出目标的类别。

有益效果：

本发明可有效利用庞大的无标注样本提供背景信息，从大模型中通过蒸馏获取对于目标任务有益的背景信息，并在仅有少量标注样本的条件下实现了对于目标语义信息的获取。

附图说明

图1为知识蒸馏示意图；

图2为原型网络匹配原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的一种小样本条件下的实例分割多分类方法，首先利用大规模图像分割模型结构，如openAI的segment Anything，在庞大的无标注数据集上进行预测，对对应的实验场景进行知识蒸馏；随后，将大模型蒸馏后的网络模型迁移到指定的分割数据集中进行微调，实现不含语义的分割结构；最后，利用少量多类型的样本进行度量匹配，以实现最终的矢量斑块语义赋予。具体包括如下步骤：

步骤1、进行无标注数据场景知识蒸馏：

在训练的时候，通常会花费一切的资源和算力去训练模型，得到的结果也是非常好的，但是在应用落地的时候，模型会存在体量过大，不适用于原有场景的问题，为了解决这样的现象，提出知识蒸馏的算法理论，将庞大的教师模型的重要的内容让学生模型来逼近和训练，让参数量少的学生模型能够和教师模型的效果差不多，或者比老师模型效果更好。目前大模型分割模型通常面向通用任务，在此基础上，本发明设计了一个知识蒸馏模块将该部分的内容迁移到遥感数据中，以无标注数据为基础，训练得到需要的预训练模型。中间可采用引导模块使得蒸馏结果符合预期的背景内容，具体如图1所示，首先，原始影像经过数据变换增强得到一幅新的图片，随后，将变换后影像同步输入到大模型教师网络以及独立定制设计的学生网络，将生成的结果对比构建损失，以此训练学生网络，其中，整个过程的教师网络参数保持不变，学生网络按设计的学习率迭代训练。由于整个过程使用的图片均与最终的目标任务息息相关，因此，经过这样蒸馏得到的网络模型将在目标任务中有较好的泛化性能。所述独立定制设计指根据目标任务的特点，设计与目标任务所适应的网络架构，如在建筑物提取中表现出色的U-Net结构，在道路任务提取中表现出色的DANet任务等。

步骤2、进行小样本下的模型迁移学习：

面对多样化的数据条件，样本常常难以覆盖所有的类型，在合适的预训练模型基础上，如何采用简单的样本得到预期的目标分割结果，采用迁移过来的背景结构，在少量目标中进行微调，使得最终得到的分割结构能符合预期的要求，具体包括如下步骤：

第一步：根据目标任务的类型，设计相应的辅助代理任务(如伪标签学习)，在以上大模型蒸馏结果基础上进一步对特征网络进行引导。

第二步：基于少量实例分割标注样本，进行预训练网络迁移学习，将上一步得到的特征网络参数固定，在少量样本训练下拟合网络。

第三步：将拟合完成的网络进行测试，保留多次训练中效果最好的网络。

步骤3、进行多任务原型匹配：

在样本有限的情形下提出原型网络，先把样本投影到一个空间，计算每个样本类别的中心，在分类的时候，通过对比目标到每个中心的距离，从而分析出目标的类别。具体如图2所示。图2中，C1、C2、C3表示不同的类别，x为待确定类别的目标。

实际应用过程，图像中的实例大小不一，如何克服尺度不一致性，得到可一致性评价的向量是第一个问题，此外，如何得到类别中心和类别距离也是需要考量的一个问题，本发明采用网络采样得到的向量作为分类依据，根据少量支撑集获取样本类型中心，最后评估所有类别的向量与类型中心的距离来对分割块赋予语义信息。本发明是在实例分割的基础上进一步鉴别实例类型，具体包括如下步骤：

第一步：构建支撑数据集，利用实例网络将样本投影到一个空间，形成特征向量；

第二步：根据语义实例样本计算每个类别的中心。以聚集度以及与其他类别中心的聚类来判断目标是否为样本中心，其中样本中心的的特征是比它们的邻居密度更高，并且与密度更高的点相距相对较大，计算方法如下列公式所示，其中d_c为根据场景设计选择的距离，d_ij为考察点与其他点的空间距离，δ_i是通过计算点i与具有更高密度的任何其它点之间的最小距离来测量的，最终选择ρ_i与δ_i都比较大的点作为类别中心，其中，ρ_i统计了目标点与周边点距离小于某一定值的数目，在本发明的公式中用以反映点的密度。δ_i表示目标点距离比其密度更大的点的空间距离，并取这部分的最小值。设计的核心含义在于通常类别中心的密度会较高，并且与其他类别中心的距离会较远：

其中，n表示某一类别中样本的个数，d_ij表示第i个样本与第j个样本的空间距离，表示第i个点与空间中密度大于其的样本的最小距离，/>是一个截断函数，在公式(1)中用来计算点的密度；

第三步：在分类的时候，通过对比其中实例目标到样本中心的距离，从而分析出目标的类别。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种小样本条件下的实例分割多分类方法，其特征在于，包括如下步骤：

步骤1、利用大规模图像分割模型结构，在庞大的无标注数据集上进行预测，对对应的实验场景进行知识蒸馏，得到蒸馏后的目标网络结构；

步骤2、大模型蒸馏后的网络模型迁移到指定的分割数据集中进行微调，实现不含语义的分割结构；

步骤3、利用少量多类型的样本在蒸馏的网络模型上进行度量匹配，以实现最终的矢量斑块语义赋予。

2.根据权利要求1所述的一种小样本条件下的实例分割多分类方法，其特征在于，所述步骤1包括：将原始影像经过数据变换增强得到一幅新的图片，随后，将变换后影像同步输入到大模型教师网络以及独立定制设计的学生网络，将生成的结果对比构建损失，以此训练学生网络，其中，整个过程的教师网络参数保持不变，学生网络按设计的学习率迭代训练；所述独立定制设计的学生网络指根据目标任务的特点设计的与目标任务所适应的网络架构。

3.根据权利要求2所述的一种小样本条件下的实例分割多分类方法，其特征在于，所述步骤2包括：

第一步：根据目标任务的类型，设计相应的辅助代理任务，在步骤1中的从大模型教师网络中学习得到的学生网络的基础上进一步对特征网络进行引导，对特征网络进行进一步训练，使特征网络参数更适合在目标任务中应用；

第二步：基于少量实例分割标注样本，进行预训练网络迁移学习，将第一步得到的特征网络参数固定，在少量样本训练下拟合网络；

第三步：将拟合完成的网络进行测试，保留多次训练中效果最好的网络。

4.根据权利要求3所述的一种小样本条件下的实例分割多分类方法，其特征在于，所述步骤3包括：

第一步：构建支撑数据集，利用实例网络将样本投影到一个空间，形成特征向量；

第二步：根据语义实例样本计算每个类别的中心，以聚集度以及与其他类别中心的聚类来判断目标是否为样本中心，其中样本中心的的特征是比它们的邻居密度更高，并且与密度更高的点相距相对较大，计算方法如下列公式所示，其中d_c为根据场景设计选择的距离，d_ij为考察点与其他点的空间距离，δ_i是通过计算点i与具有更高密度的任何其它点之间的最小距离来测量的，最终选择ρ_i与δ_i均较大的点作为类别中心，其中，ρ_i统计了目标点与周边点距离小于某一定值的数目，用以反映点的密度；δ_i表示目标点距离比其密度更大的点的空间距离，并取这部分的最小值；类别中心的密度较高，并且与其他类别中心的距离较远：

其中，n表示某一类别中样本的个数，d_ij表示第i个样本与第j个样本的空间距离，表示第i个点与空间中密度大于其的样本的最小距离，/>是一个截断函数，在公式(1)中用来计算点的密度；

第三步：在分类的时候，通过对比其中实例目标到样本中心的距离，从而分析出目标的类别。