CN111860236B - 一种基于迁移学习的小样本遥感目标检测方法及系统 - Google Patents

一种基于迁移学习的小样本遥感目标检测方法及系统 Download PDF

Info

Publication number
CN111860236B
CN111860236B CN202010643231.XA CN202010643231A CN111860236B CN 111860236 B CN111860236 B CN 111860236B CN 202010643231 A CN202010643231 A CN 202010643231A CN 111860236 B CN111860236 B CN 111860236B
Authority
CN
China
Prior art keywords
target
stage
detection model
data set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010643231.XA
Other languages
English (en)
Other versions
CN111860236A (zh
Inventor
孙显
许光銮
张跃
周瑞雪
张腾飞
魏浩然
吴成龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010643231.XA priority Critical patent/CN111860236B/zh
Publication of CN111860236A publication Critical patent/CN111860236A/zh
Application granted granted Critical
Publication of CN111860236B publication Critical patent/CN111860236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于迁移学习的小样本遥感目标检测方法及系统，包括：获取待测遥感影像；将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框回归；其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成。本发明提供的技术方案极大地减少了迁移学习微调阶段的可学习参数量，使得模型既能完成对少量有监督数据的拟合，又具备相应的泛化能力，实现小样本条件下的遥感目标检测。

Description

一种基于迁移学习的小样本遥感目标检测方法及系统
技术领域
本发明涉及图像处理领域，具体涉及一种基于迁移学习的小样本遥感目标检测方法及系统。
背景技术
深度学习在目标检测领域中的成果不胜枚举，相较于传统方法，深度学习下的卷积神经网络有着更高的识别率和一定的泛化性。主流的目标检测框架分为单阶段与双阶段两种。其中，双阶段检测方法准确率高，训练上也更简单，但总体的检测速度略慢，因此在不过分追求检测速度的场景下，双阶段检测框架更具优势。
但是，当前遥感图像的目标检测领域中，训练一个卷积神经网络需要大量的有监督的图像样本集，但获取一个大规模的遥感图像数据集往往很困难，成本很高，且测试集和训练集来自于同一个域，因此在遇到新类别的目标时，模型的检测性能就被大大削弱。面对稀缺数据集时，更容易遇到过拟合问题，导致模型性能的提升十分困难。
发明内容
为了解决现有技术中所存在的数据集不足，容易过拟合且对新类别目标识别性能不足等问题，本发明提供一种基于迁移学习的小样本遥感目标检测方法。
一种基于迁移学习的小样本遥感目标检测方法，包括：
获取待测遥感影像；
将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框；
其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成。
优选的，所述双阶段目标检测模型的训练包括：
获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选；
将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分；
基于所述源数据集对所述双阶段目标检测模型进行第一阶段训练，确定所述双阶段目标检测模型的参数；
将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数。
优选的，所述基于所述源数据集对所述双阶段目标检测模型进行训练，确定所述双阶段目标检测模型的参数，包括：
判断所述源数据集的样本数量是否达到源设定阈值，当达到所述源设定阈值时，将所述源数据集按照设定比例划分为训练集和测试集；
基于所述训练集对所述双阶段目标检测模型进行初级训练，并基于所述测试集对所述双阶段目标检测模型进行检测，确定所述双阶段目标检测模型的参数；
否则，基于所述源数据集对所述双阶段目标检测模型进行初级训练，确定所述双阶段目标检测模型的参数。
优选的，所述将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数，包括：
判断所述目标数据集样本数量是否大于目标设定阈值，当大于所述目标设定阈值时，将所述目标数据集划分为目标训练集和目标测试集；
基于所述目标训练集对确定参数后的双阶段目标检测模型进行训练；并基于所述目标测试集对确定参数后的双阶段目标检测模型进行检测，微调所述双阶段目标检测模型；
否则，基于所述目标数据集对确定参数后的双阶段目标检测模型进行训练，微调所述双阶段目标检测模型。
优选的，将获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选，包括：
利用分水岭变换将历史遥感影像做一个初始分割，并根据影像中地物的信息进行区域合并，得到最终的影像区域块；
在所述最终的影像区域块中根据目标数量的多少将目标类别划分为源类与目标类，并去掉不同时包含源类和目标类的遥感图像影像块，得到筛选出的影像区域块。
优选的，所述将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分，包括：
在筛选出的影像区域块中的遥感影像，根据目标数量的多少划分源类和目标类，将含目标数量达到设定数目的类别的归为源类，含目标数量低于设定数目的类别归为目标类；
所述源类和目标类的目标类别无交集时，将源类每一个类别的目标数据划分到源数据集，将目标类每一个类别的目标数据划分到目标数据集；
并将源类每一个类别的目标数据均进行尺度变换，使得源数据集的尺寸与目标数据集尺寸相匹配。
优选的，所述将处理后的待测遥感影像输入到训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框，包括：
将处理后的待测遥感影像输入到预先训练好的双阶段目标检测模型中，提取出多个所述待测遥感影像的候选区域，然后再对提取的所述候选区域进行目标类别判断和位置定位，并将所述候选区域的目标类别和位置定位作为所述待测遥感影像图像的类别和目标框。
一种基于迁移学习的小样本遥感目标检测系统，包括：
获取模块，用于获取待测遥感影像；
检测模块，用于将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框；
其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成。
优选的，所述检测模块包括：
训练模块：用于训练所述双阶段目标检测模型；
输入模块：用于将待测遥感影像输入到训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框。
优选的，所述训练模块包括：
影像区域块处理子模块，用于获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选；
划分子模块，用于将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分；
第一阶段训练子模块，基于所述源数据集对所述双阶段目标检测模型进行第一阶段训练，确定所述双阶段目标检测模型的参数；
第二阶段训练子模块，用于将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数。
与现有技术相比，本发明的有益效果如下：
(1)本发明提供了一种基于迁移学习的小样本遥感目标检测方法，包括获取待测遥感影像；将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框回归；其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成。本发明从目标框回归与目标分类是两个相对独立的区域，实质上分解了小样本学习的难度。
(2)本发明从源类与目标类能够共享一些特征，每个卷积核都能够共享相同的权重矩阵和偏置项，利用卷积核只对每个局部区域进行感知来减少参数数目，并综合局部信息进行判别，最后将源域上生成的分类器模型所学到的知识迁移到目标域上，帮助目标域更好地生成相关的目标候选区域，对小样本检测性能的提升起到了十分重要的作用。
附图说明
图1为本发明的小样本遥感目标检测方法流程图；
图2为本发明的小样本遥感目标检测方法具体应用流程图；
图3为本发明的检测方法的数据集划分流程示意图；
图4为本发明的检测方法的迁移参数示意图。
具体实施方式
为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。
迁移学习作为一种运用已存在的知识对不同但相关领域问题进行求解的新方法被广泛采用，迁移学习主要分为两个阶段：1)先利用源域和目标域的公共特征训练出一个分类器；2)再从目标域的无标签样本中选出特殊特征，对上一阶段训练出的分类器进行微调，生成最优分类器。通过迁移学习可以赋予卷积神经网络模型一定的复用性，使得小样本数据集能够充分利用训练大规模数据集所得的特征，这些特征具有更好的区分度及鲁棒性，很好地解决了由于样本数量不足导致的过拟合问题及全连接层参数过多的问题。
实施例1：
本发明提供了一种基于迁移学习的小样本遥感目标检测方法及系统，如图1所示，包括：
步骤1：获取待测遥感影像；
步骤2：将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框回归；
其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成。
步骤2：将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框回归，具体如下所示：
遥感数据集的分割，所述对庞大的遥感影像按目标类别进行分割，在一定程度上抑制了背景的影响，保障了数据集的有效性。
源类与目标类数据集的划分，所述在分割得到的影像块中，按目标类别中目标数量的多少划分为源类与目标类，选取含有目标数量多的类别归为源类，含有目标数量少的归为目标类。
数据集的筛选，在保证源类和目标类的目标类别无交集的情况下，将源类每一个类别的目标数据划分到源数据集，将目标类每一个类别的目标数据划分到目标数据集，以评估本发明的检测方法是否可以从目标域中的少量训练数据中检测到未知的目标类别。
对源数据集的尺度变换及划分，在已经保证筛选出的源类与目标类数据集具备一定局部相似性的情况下，将源类每一个类别的目标数据均进行尺度变换，使得源数据集的尺寸与目标数据集尺寸相匹配。对源数据集的尺度变换及划分，同时为了要保证训练集有充足的样本，因此训练集与测试集的比例设为8:2。若训练集数量少于10000，则将源域内的数据集全部归为训练集，以保证训练集充足的样本数量。由于网络的架构一旦确定，其泛化能力就取决于网络是否有充足的训练样本，只有足够的训练样本才能训练出一组满意的参数，保证模型的泛化性能。
对目标类数据集的划分，所述目标类训练集的数量要少，且是新的不同于源数据集的类别，因此训练集与测试集的比例设为2:8，若训练集的数量大于100，则取训练集样本数量为100，以保证小样本的检测环境和要求。
对源数据集的训练，所述采用大规模图像的检测器，先对输入的数据集生成很多候选区域，然后再对这些候选区域做进一步的识别。具体的有：
在目标分类阶段，遵循了一种从粗略到精细的设计理念，在Faster RCNN网络的基础上，设计了使用多卷积层来交替构建提取图像特征，分别用多种交替情况构建的特征训练多个分类模型，避免了单一分类模型容易过拟合的情况，增强了分类模型的泛化性和鲁棒性；同时将原网络最后的两层全连接层替换为两层卷积层，放置在ROI池化层的输出端，要求对每一个目标候选区域做一次二分类，以有效缓解迁移学习训练数据的难度。
在目标框回归阶段，专门设计了一种膨胀卷积结构以代替传统卷积，能够实现不同尺寸的感受野，最终选择一个具有最佳感受野的卷积核，可以大幅提升检测性能，由于不同尺寸的目标所需要的感受野不同，因此该设计通过选取到最佳感受野的卷积核从而实现多尺度目标框的准确定位，这种定位是基于所有目标类别的一次性定位，尤其是在训练集匮乏的时候，避免了目标框回归的随机初始化，进一步减弱了微调的负担。此外，由于目标框回归与目标分类是两个相对独立的区域，实质上分解了小样本学习的难度。
设置迁移参数，所述对已经在大量的源数据集上训练后得到的模型，迁移到目标数据集上，随机设定一组迁移参数，固定住模型的其他参数，对一个含有K个通道的卷积，每个3*3卷积核设置一个对应的迁移参数，具体设置迁移参数的示意图，如图3所示。
在目标数据集上的微调，所述对目标数据集上设定好了迁移参数后，在目标域仅有少量样本的情况下去微调迁移参数，从而减少了网络微调的负担。本发明中设计了一个端到端的正规化的迁移学习框架，该框架的有四个设计点：
1)背景抑制。该设计主要为抑制特征图谱中的背景干扰，让网络专注于前景物体，强化对噪声的抑制能力，帮助提高检测性能。
2)构建批规范化层实现迁移。该设计主要为让源域上通过训练学到的知识能够更好地运用到目标域当中，经过设计一个批规范化层对源域和目标域之间的迁移实现规范化，将源域的参数能够最大化地被目标域网络所应用，并要求对每一个目标候选区域做一次迁移学习的规范化，从而在目标域网络在微调时参数能够尽可能实现最佳状态。
3)分析目标的分类不确定性以找到最不可信的目标。该设计主要为选择具有较高分类不确定性的图像来参与训练，以解决类不平衡问题，同时控制了目标域的训练数量，这意味着越不可信的目标，训练时对检测器的贡献越大，实现以最少的训练样本来覆盖全监督的效果。
4)回归不确定性来声明异常值。该设计主要为查找到具有更多有用信息的样本，同时能够声明异常值。这意味着具有较高回归不确定性的图像应具有更多的反向传播权重或更多的训练时间，以解决目标数量差异带来的异群值问题，从而保证回归质量。
本发明提出的一种基于迁移学习的小样本遥感目标检测方法中对双阶段目标检测模型的训练过程如图2所示，具体数据集划分如图3所示，迁移参数如图4所示，具体如下：
首先(步骤S1)将遥感影像分割成若干个互不重叠的子区域，(步骤S2)再得到的影像子区域按目标类别划分为源类与目标类，(步骤S3)将仅包含源类目标的图像划分为源数据集，仅包含目标类目标的图像划分为目标数据集，(步骤S4)将生成的源数据集进行尺度变换，使得源数据集的尺度与目标数据集的尺度相匹配后按8:2划分为训练集和测试集，若训练集数量少于10000，则将源域内的数据集全部归为训练集，以保证训练集充足的样本数量，(步骤S5)将目标数据集按2:8划分为训练集和测试集，若训练集的数量大于100，则取训练集样本数量为100，确保训练集仅包含少量的训练样本，(步骤S6)使用充足的训练样本训练双阶段目标检测模型，(步骤S7)将已训练的模型参数固定，并对目标检测器部分的参数设置一组迁移参数。最后(步骤S8)在目标数据集上，仅使用训练集中的少量训练样本微调模型中的迁移参数，实现对新类别目标的小样本检测。
实施例2：
1.遥感数据集的分割(步骤S1)
遥感影像的分割是整个检测过程的准备阶段，首先利用分水岭变换得到初始分割结果,并针对高分辨遥感图像所体现出来的地物的多种信息特征进行区域合并，迭代这两个过程，直到所有区域的平均面积大于设定的尺度面积则停止合并，完成分割，将原始遥感影像划分为若干个子区域，且每个子区域互不重叠，同一区域的特征相似，不同区域的特征不同，在一定程度上抑制了背景的影响，保障了数据集的有效性。一般选取尺寸较大且数量充足的遥感数据集作为源类数据集，选取尺寸小且数量稀缺的数据集作为目标类数据集。
2.源类与目标类数据集的划分(步骤S2)
这一步在分割得到的影像块中，按目标类别中目标数量的多少划分为源类与目标类，选取含目标数量多的类别归为源类，含目标数量少的归为目标类。
3.数据集的筛选(步骤S3)
在已经保证源类与目标类数据集无交集的情况下，将源类每一个类别的目标数据划分到源数据集，将目标类每一个类别的目标数据划分到目标数据集。以评估本发明的检测方法是否可以从目标域中的少量训练数据中检测到未知的目标类别。数据集的筛选与划分具体的流程如图2所示。
4.源数据集的尺度变换与划分(步骤S3)
在保证源数据集与目标类数据集具备一定局部相似性的情况下，要保证源域有充足的训练样本，训练集与测试集的比例设为8:2，若训练集数量少于10000，则将源域内的数据集全部归为训练集，保证训练集充足的样本数量，以生成更具备判别性的模型，同时将源类每一个类别的目标数据均进行尺度变换，使得源数据集的尺寸与目标数据集的尺寸相匹配，可以进一步缩小源域和目标域之间的差异，降低迁移学习的难度。
5.对目标类数据集的划分(步骤S5)
目标类训练集的数量要少，且是新的不同于源数据集的类别，训练集与测试集的比例设为2:8，若训练集的数量大于100，则取训练集样本数量为100，以保证小样本的检测环境和要求。
6.对源数据集的训练(步骤S6)
先对输入的数据集生成很多候选区域，然后再对这些候选区域做进一步的识别，由于在生成候选区域的同时就已经起到了筛选作用，因此双阶段检测方法准确率高，训练上也更简单，但总体的检测速度略慢。本发明采用双阶段的检测方法，并在目标分类阶段设计了一种从粗略到精细的分类法，在Faster RCNN网络的基础上，设计使用多卷积层来交替构建提取图像特征，构建多个分类模型，同时将原网络最后的两层全连接层替换为两层卷积层，放置在ROI池化层的输出端，要求对每一个目标候选区域做一次二分类，有效缓解了迁移学习训练数据的难度，降低了出现过拟合的概率。
7.设置迁移参数(步骤S7)
实际上源类与目标类能够共享一些特征，将源域上利用二分类的分类器学到的知识迁移到目标域上，能指导目标域更好地生成相关的目标候选区域，对最终小样本检测性能的提升起到了十分重要的作用。先随机设定一组迁移参数，将已经在大量的源数据集上训练后得到的模型，迁移到目标数据集上，再固定住模型的其他参数，对一个含有K个通道的卷积，每个3*3卷积核设置一个对应的迁移参数，具体设置迁移参数的示意图，如图3所示。
在目标框回归阶段，采用膨胀卷积结构代替传统卷积，以实现不同大小的感受野，最终选择一个具有最佳感受野的卷积核，该设计能够给不同尺寸的目标对应不同大小的感受野，实现多尺度目标框的定位，这种定位是基于所有目标类别的一次性定位，不同的层具有相应的尺度特性，尤其是在训练集匮乏的时候，避免了目标框回归的随机初始化，进一步减弱了微调的负担。此外，由于目标框回归与目标分类是两个相对独立的区域，由于分解了小样本学习的难度，实现起来就更容易。
8.在目标数据集上微调参数(S8)
对目标数据集上设定好了迁移参数后，在目标域仅有少量样本的情况下去微调迁移参数，从而减少了网络微调的负担。具体的微调过程主要在该发明设计的一种端到端的正规化的迁移学习框架中实现，主要有四个改进：
1)背景抑制
此处通过引进一个滤波器过滤掉一部分特征图谱中的背景及噪声，强化了对噪声的抑制能力，便于识别出目标前景的特征，也进一步增强了网络的鲁棒性。
2)构建批规范化层实现迁移
普通的迁移学习并不能充分利用源域上通过训练学到的知识，因此需要设计一个批规范化层来实现源域向目标域的迁移，该结构主要由激活层和全连接层等几层网络组成一个自适应层，通过计算源域和目标域在不同层的向量表征之间的最大平均差异方法对距离进行衡量，选择MMD数值最小的位置置入，通过源域网络的预测结果为小样本检测的目标域网络进行一定的引导与规范化处理，在规范化源数据集的训练过程的同时能有效避免过拟合，保证在目标域网络微调时参数能够尽可能达到最佳状态。
3)分析目标的分类不确定性
通过选择具有较高分类不确定性的样本参与训练来解决数据集中经常出现的类不平衡问题，找到最不可信的目标，在训练时给予其较大的权重，尽可能地发挥出对检测器的贡献，实现以最少的训练样本来覆盖全监督的效果。具体实现如下，设定两个参数来共同评估类别的不确定数，分别是每个类别的比率，设为
Figure BDA0002570496160000101
和单个图像中每个类别的分布
Figure BDA0002570496160000102
其中ci为每一类的目标数目，mi为单张图片中每一类的目标数量，因此分类不确定性可以表示为：
Figure BDA0002570496160000103
其中，pi为每一类的置信度。
4)回归不确定性来声明异常值
通过回归，查找到具有更多有用信息的样本，选择具有较高不确定性的样本声明异常值，在训练时给予更多的反向传播权重或更多的训练时间，以解决目标数量差异带来的异群值问题，从而保证回归质量。具体以预测框与标注框的IOU为衡量指标：
Figure BDA0002570496160000111
其中，ignore部分不参与训练，attention为回归不确性部分，该部分样本需要加大训练权重和训练时间，需要重点关注，该部分为一个迭代过程，迭代截至条件为attention部分数量少于设定阈值时，迭代停止。
结合分类不确定性和回归不确性来强化模型的判别性并对回归的预测目标框进行迭代纠正，增强模型的鲁棒性。
实施例2
基于同一发明构思的本发明还提供了一种基于迁移学习的小样本遥感目标检测系统，包括：
获取模块，用于获取待测遥感影像；
检测模块，用于将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框；
其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成。
优选的，所述检测模块包括：
训练模块：用于训练所述双阶段目标检测模型；
输入模块：用于将待测遥感影像输入到训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框。
优选的，所述训练模块包括：
影像区域块处理子模块，用于获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选；
划分子模块，用于将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分；
第一阶段训练子模块，基于所述源数据集对所述双阶段目标检测模型进行第一阶段训练，确定所述双阶段目标检测模型的参数；
第二阶段训练子模块，用于将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (5)

1.一种基于迁移学习的小样本遥感目标检测方法，其特征在于，包括：
获取待测遥感影像；
将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框；
其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成；
所述双阶段目标检测模型的训练包括：
获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选；
将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分；
基于所述源数据集对所述双阶段目标检测模型进行第一阶段训练，确定所述双阶段目标检测模型的参数；
将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数；
所述基于所述源数据集对所述双阶段目标检测模型进行训练，确定所述双阶段目标检测模型的参数，包括：
判断所述源数据集的样本数量是否达到源设定阈值，当达到所述源设定阈值时，将所述源数据集按照设定比例划分为训练集和测试集；
基于所述训练集对所述双阶段目标检测模型进行初级训练，并基于所述测试集对所述双阶段目标检测模型进行检测，确定所述双阶段目标检测模型的参数；
否则，基于所述源数据集对所述双阶段目标检测模型进行初级训练，确定所述双阶段目标检测模型的参数；
将处理后的待测遥感影像输入到训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框，包括：
将处理后的待测遥感影像输入到预先训练好的双阶段目标检测模型中，提取出多个所述待测遥感影像的候选区域，然后再对提取的所述候选区域进行目标类别判断和位置定位，并将所述候选区域的目标类别和位置定位作为所述待测遥感影像图像的类别和目标框；
在目标分类阶段，在Faster RCNN网络的基础上，设计了使用多卷积层来交替构建提取不同的图像特征，分别用多种交替情况构建的特征训练多个分类模型；同时将Faster RCNN网络最后的两层全连接层替换为两层卷积层，放置在ROI池化层的输出端，对每一个目标候选区域采用二分类进行目标分类；
在目标框回归阶段，设计一种具有最佳感受野的卷积核的膨胀卷积结构代替传统卷积；
基于所述最佳感受野的卷积核进行多尺度目标框的定位，对所述双阶段目标检测模型进行初级训练，得到双阶段目标检测模型的参数；
所述基于第二阶段训练微调双阶段目标检测模型中的迁移参数，包括：
构建一个批规范化层，在源域和目标域最大平均差异MMD数值最小的位置来规范源数据集与目标数据集之间的参数调整方向，对所述源数据集训练得到的所述双阶段目标检测模型的参数通过批规范化层迁移到所述目标数据集上进行规范化处理，得到更加适用于目标数据集的模型参数；
同时，加大分类不可信目标的分类权重，让网络能够动态地在对各个目标自适应地分配相应的权重，并基于回归不确定性来声明异常值，加大不确定性目标框的权重，对回归的预测目标框进行迭代纠正。
2.如权利要求1所述的小样本遥感目标检测方法，其特征在于，所述将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数，包括：
判断所述目标数据集样本数量是否大于目标设定阈值，当大于所述目标设定阈值时，将所述目标数据集划分为目标训练集和目标测试集；
基于所述目标训练集对确定参数后的双阶段目标检测模型进行训练；并基于所述目标测试集对确定参数后的双阶段目标检测模型进行检测，微调所述双阶段目标检测模型；
否则，基于所述目标数据集对确定参数后的双阶段目标检测模型进行训练，微调所述双阶段目标检测模型。
3.如权利要求1所述的小样本遥感目标检测方法，其特征在于，将获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选，包括：
利用分水岭变换将历史遥感影像做一个初始分割，并根据影像中地物的信息进行区域合并，得到最终的影像区域块；
在所述最终的影像区域块中根据目标数量的多少将目标类别划分为源类与目标类，并去掉不同时包含源类和目标类的遥感图像影像块，得到筛选出的影像区域块。
4.如权利要求1所述的小样本遥感目标检测方法，其特征在于，所述将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分，包括：
在筛选出的影像区域块中的遥感影像，根据目标数量的多少划分源类和目标类，将含目标数量达到设定数目的类别的归为源类，含目标数量低于设定数目的类别归为目标类；
所述源类和目标类的目标类别无交集时，将源类每一个类别的目标数据划分到源数据集，将目标类每一个类别的目标数据划分到目标数据集；
并将源类每一个类别的目标数据均进行尺度变换，使得源数据集的尺寸与目标数据集尺寸相匹配。
5.一种基于迁移学习的小样本遥感目标检测系统，其特征在于，包括：
获取模块，用于获取待测遥感影像；
检测模块，用于将所述待测遥感影像输入到预先训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框；
其中，所述双阶段目标检测模型由源数据集训练得到所述双阶段目标检测模型的参数，在参数固定后由目标数据集微调双阶段目标检测模型中的迁移参数构建而成；
训练模块包括：
影像区域块处理子模块，用于获取历史遥感影像并对所述遥感影像进行影像区域块的划分和筛选；
划分子模块，用于将筛选出的影像区域块中的遥感影像进行源数据集和目标数据集的划分；
第一阶段训练子模块，基于所述源数据集对所述双阶段目标检测模型进行第一阶段训练，确定所述双阶段目标检测模型的参数；
第二阶段训练子模块，用于将确定了参数的双阶段目标检测模型设定一组迁移参数，迁移到所述目标数据集上进行第二阶段训练，并基于第二阶段训练微调双阶段目标检测模型中的迁移参数；
所述检测模块包括：
训练模块：用于训练所述双阶段目标检测模型；
输入模块：用于将待测遥感影像输入到训练好的双阶段目标检测模型中，得到待测遥感图像的类别和目标框；
所述训练模块的训练过程包括：在目标分类阶段，在Faster RCNN网络的基础上，设计了使用多卷积层来交替构建提取不同的图像特征，分别用多种交替情况构建的特征训练多个分类模型；同时将Faster RCNN网络最后的两层全连接层替换为两层卷积层，放置在ROI池化层的输出端，对每一个目标候选区域采用二分类进行目标分类；
在目标框回归阶段，设计一种具有最佳感受野的卷积核的膨胀卷积结构代替传统卷积；
基于所述最佳感受野的卷积核进行多尺度目标框的定位，对所述双阶段目标检测模型进行初级训练，得到双阶段目标检测模型的参数；
构建一个批规范化层，在源域和目标域最大平均差异MMD数值最小的位置来规范源数据集与目标数据集之间的参数调整方向，对所述源数据集训练得到的所述双阶段目标检测模型的参数通过批规范化层迁移到所述目标数据集上进行规范化处理，得到更加适用于目标数据集的模型参数；
同时，加大分类不可信目标的分类权重，让网络能够动态地在对各个目标自适应地分配相应的权重，并基于回归不确定性来声明异常值，加大不确定性目标框的权重，对回归的预测目标框进行迭代纠正。
CN202010643231.XA 2020-07-06 2020-07-06 一种基于迁移学习的小样本遥感目标检测方法及系统 Active CN111860236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010643231.XA CN111860236B (zh) 2020-07-06 2020-07-06 一种基于迁移学习的小样本遥感目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010643231.XA CN111860236B (zh) 2020-07-06 2020-07-06 一种基于迁移学习的小样本遥感目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN111860236A CN111860236A (zh) 2020-10-30
CN111860236B true CN111860236B (zh) 2021-12-03

Family

ID=73153048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010643231.XA Active CN111860236B (zh) 2020-07-06 2020-07-06 一种基于迁移学习的小样本遥感目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN111860236B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633351A (zh) * 2020-12-17 2021-04-09 博彦多彩数据科技有限公司 检测方法、装置、存储介质及处理器
CN112633406A (zh) * 2020-12-31 2021-04-09 天津大学 一种基于知识蒸馏的少样本目标检测方法
CN113066053B (zh) * 2021-03-11 2023-10-10 紫东信息科技(苏州)有限公司 一种基于模型迁移的十二指肠自训练分类方法及系统
CN113191451B (zh) * 2021-05-21 2024-04-09 北京文安智能技术股份有限公司 图像数据集处理方法和目标检测模型训练方法
CN113435286A (zh) * 2021-06-21 2021-09-24 电子科技大学 用于无人机小目标监测的迁移学习方法
CN113724172B (zh) * 2021-08-04 2023-09-26 北京大学 基于景观功能数据的城镇边界提取方法及系统
CN113836996B (zh) * 2021-08-10 2024-02-02 中国地质大学（武汉） 高光谱遥感图像部分迁移方法及系统
CN114266983B (zh) * 2021-11-12 2024-09-24 西安电子科技大学 基于多源特征迁移与虚警剔除的sar图像目标检测方法
CN115037641B (zh) * 2022-06-01 2024-05-03 网络通信与安全紫金山实验室 基于小样本的网络流量检测方法、装置、电子设备及介质
CN114913405B (zh) * 2022-06-13 2024-08-09 国网智能电网研究院有限公司 一种深度神经网络模型的训练方法及装置
CN117557909B (zh) * 2023-11-27 2024-07-12 中国科学院空天信息创新研究院 面向小样本弱小目标的遥感基础模型持续学习方法及装置
CN118484684B (zh) * 2024-07-16 2024-10-18 南方科技大学 一种基于大模型与迁移学习的制造业价值链管理优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280396A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度多特征主动迁移网络的高光谱图像分类方法
CN110008854A (zh) * 2019-03-18 2019-07-12 中交第二公路勘察设计研究院有限公司 基于预训练dcnn的无人机影像公路地质灾害识别方法
CN111259758A (zh) * 2020-01-13 2020-06-09 中国矿业大学 一种针对密集区域的两阶段遥感图像目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
CN107657279B (zh) * 2017-09-26 2020-10-09 中国科学院大学 一种基于少量样本的遥感目标检测方法
CN111339882B (zh) * 2020-02-19 2022-05-31 山东大学 基于实例分割的输电线路隐患检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280396A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度多特征主动迁移网络的高光谱图像分类方法
CN110008854A (zh) * 2019-03-18 2019-07-12 中交第二公路勘察设计研究院有限公司 基于预训练dcnn的无人机影像公路地质灾害识别方法
CN111259758A (zh) * 2020-01-13 2020-06-09 中国矿业大学 一种针对密集区域的两阶段遥感图像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
End-to-end airplane detection using transfer learning in remote sensing images;Chen Zhong等;《Remote Sensing》;20180118;第10卷(第1期);1-15 *
基于迁移学习的SAR图像目标检测;张椰等;《雷达科学与技术》;20181015;第16卷(第5期);533-546 *

Also Published As

Publication number Publication date
CN111860236A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860236B (zh) 一种基于迁移学习的小样本遥感目标检测方法及系统
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN111027493A (zh) 一种基于深度学习多网络软融合的行人检测方法
CN106373146B (zh) 一种基于模糊学习的目标跟踪方法
CN114648665B (zh) 一种弱监督目标检测方法及系统
Spirkovska A summary of image segmentation techniques
KR19990082557A (ko) 불확실한 트레이닝 데이터를 사용하여 대상을검출 및 분류하기위한 뉴럴 네트워크의 트레이닝 방법 및 장치
CN109801305B (zh) 基于深度胶囊网络的sar图像变化检测方法
CN110826379A (zh) 一种基于特征复用与YOLOv3的目标检测方法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN112270285B (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
CN112037221A (zh) 宫颈癌tct切片阳性细胞检测模型多域共适应训练方法
CN117542067B (zh) 一种基于视觉识别的区域标注表单识别方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN105205807A (zh) 基于稀疏自动编码机的遥感图像变化检测方法
CN113989256A (zh) 遥感图像建筑物的检测模型优化方法及检测方法、装置
CN112348750B (zh) 基于阈值融合和邻域投票的sar图像变化检测方法
Zhao et al. Three-class change detection in synthetic aperture radar images based on deep belief network
Günen et al. A novel edge detection approach based on backtracking search optimization algorithm (BSA) clustering
CN115953584A (zh) 一种具有可学习稀疏性的端到端目标检测方法及系统
CN107230201B (zh) 基于样本自标定elm的在轨sar图像变化检测方法
CN115170838A (zh) 一种数据筛选方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant