CN112884752B - 用于不平衡高分辨率遥感影像的在线持续目标检测方法 - Google Patents

Abstract

用于不平衡高分辨率遥感影像的在线持续目标检测方法，属于基于深度学习的目标检测技术领域。本发明针对在线目标检测存在灾难性遗忘以及高分辨率遥感影像中的类别不平衡导致对数量较少的小类别目标识别能力差的问题。包括建立缓冲区用以存储目标检测过程中已完成的部分检测数据，包括已有类别的历史样本图像，在缓冲区未满时，顺序添加样本图像；缓冲区已满时，基于平衡原则添加样本图像；建立重播机制，通过概率随机选择函数按图像权重对样本图像进行随机选择，使图像权重越大的样本图像被选择的可能性越大，获得选定样本图像作为重播图像；使用重播图像与当前批次图像共同训练检测器，获得训练后的检测器用于目标检测。本发明用于在线目标检测。

Description

用于不平衡高分辨率遥感影像的在线持续目标检测方法

技术领域

本发明涉及用于不平衡高分辨率遥感影像的在线持续目标检测方法，属于基于深度学习的目标检测技术领域。

背景技术

深度卷积神经网络(DCNNs)在遥感领域的目标检测方面具有出色的成绩，包括道路检测，建筑物检测以及飞机检测等。

大多数目标检测器倾向于遵循离线学习的方式：检测器每次从静态数据集中提取出小批量的样本进行训练，并且在整个训练集上学习多个轮次。随着遥感成像技术的发展，每天都会产生大量的高分辨率遥感影像。高分辨率遥感影像的不断增加给离线学习带来了巨大的挑战。当新的任务出现时，离线学习的方式无法在不遗忘旧任务的情况下持续更新检测器。相反，人类和哺乳动物在一生中可以学习大量任务，而且不会忘记以前学习的知识。为了达到相同的效果，在线连续学习成为近年来的热门话题。它可以即时有效地学习不断输入的新训练数据，而且无需重新学习先前的所有数据。与离线学习相比，在线持续学习具有更高的效率，更好的可伸缩性以及对不断变化的环境的更强适应性。如图27和图28所示，具体地说，在线持续学习仅训练一个轮次，并且在输入新数据时避免重新训练所有数据。而离线学习则需要在混合了新数据和旧数据的数据集上训练多个轮次。因此，与离线学习方式相比，在线持续学习对计算资源和存储资源的要求更低。

在线持续学习可以使检测器有效地学习并记住越来越多的高分辨率遥感影像。其中，关键的挑战之一是避免灾难性的遗忘问题。具体来说，当从新数据中学习信息时，使用在线持续学习方式的检测器更新模型的参数，如果参数更新太多，检测器可能会忘记与过去数据相关的知识。为了解决灾难性的遗忘问题，现有的解决方法可以分为三类：基于正则化的方法、基于参数隔离的方法和基于重播的方法。基于正则化的方法通过对目标进行正则化来减轻灾难性的遗忘，这既可以减弱已学习过的任务的特征漂移，也可以防止与过去任务相关的权重发生变化。基于参数隔离的方法针对不同任务调整各种参数，以避免新任务对旧任务的干扰。基于重播的方法可以将过去任务的数据子集直接存储在缓冲区中，也可以使用生成模型(例如GAN)进行压缩。在学习新数据时，旧样本将从缓冲区中重播或由生成模型生成，这些样本用于重新训练或者作为当前任务的约束。其中前两种方法将神经元与各种任务联系在一起，因此在训练和测试阶段必须划分数据的任务边界。为了避免对任务边界的依赖，更加关注于基于重播的方法。特别地，经验重播(Experience Replay)是一种可用于在线流的基于重播的特殊方法，它使用较小的内存来存储先前数据的一些示例，然后当输入小批次的新数据时，重播相同数量的旧数据一起训练模型。现有的绝大多数基于重播的在线持续学习方法都用于图像分类。由于以下原因，使得这些方法不能直接用于目标检测：

1)在分类中，每个图像都被视为一个实例；而在目标检测中，一张图像中可能包含多个类和多个实例；2)分类尝试回答图像中的物体是什么，而目标检测还需要位置信息来确定目标在哪里。

类别不平衡问题广泛存在于各个领域，因此获得越来越多的关注。在目标检测领域，当某些类的目标数量相比于数据集中的其他类的目标过多时，会发生类不平衡。该问题现可以分为两种情况：1)前景-背景不平衡，其中背景的目标实例明显多于前景的实例；2)前景-前景不平衡，通常某一小部分类别主导整个数据集。由于数据集中缺少对背景的注释，因此前景-背景的不平衡与每个类中的目标数量无关。而且，在训练过程中，将大多数边界框标记为背景是不可避免的。一种解决方案是创建标记框的子集来训练模型。例如，Single-Shot检测(SSD)仅选择损失值最高的前景目标的标记框。Online Hard ExampleMining仿照SSD，但同时考虑了背景和前景的目标。除了创建子集外，还有许多其他方法，例如Focal Loss动态地为目标分配权重。前景与前景之间的不平衡取决于数据集中类的分布。为了解决前景与前景之间的不平衡，通过数据增强或生成器向数据集添加新示例是一种可行的方法。与场景图像相比，遥感图像中的前景-前景不平衡更加严重，因为其中的不同类的目标数量差异更大。当前的方法通常关注于在训练之前平衡数据集。但是，由于流式数据中的类的分布是未知的，因此不适用。

此外，在高分辨率遥感领域中，训练数据中不同类别的目标之间的数量分布存在明显的不平衡。现有的大多数模型都会偏向更好的识别数量较多的大类别目标，而对数量较少的小类别的目标的识别性能较差。

发明内容

针对在线目标检测存在灾难性遗忘问题，以及高分辨率遥感影像中的类别不平衡导致对数量较少的小类别目标识别能力差的问题，本发明提供一种用于不平衡高分辨率遥感影像的在线持续目标检测方法。

本发明的一种用于不平衡高分辨率遥感影像的在线持续目标检测方法，包括，

建立缓冲区，存储目标检测过程中已完成的部分检测数据，包括已有类别的历史样本图像，不同类别下的历史样本图像中的目标数量平衡；在缓冲区未满时，将由新任务数据流中顺序获取的任务图像作为新增样本图像，按类别添加至缓冲区直至缓冲区内样本数量达到上限；在缓冲区已满时，基于使缓冲区内样本图像具备所有检测类别，以及使每个类别下目标样本数量趋向平衡的原则，向缓冲区添加新任务数据流中任务图像作为样本图像；

建立重播机制，按照使样本数量越多的检测类别权重越小的规则对缓冲区内所有检测类别分别赋予类别权重，再结合每个检测类别下每张图像中包含的同一类别的目标出现的次数，按出现次数越多对应的权重越小的原则对类别权重进行修正，获得图像权重；通过概率随机选择函数按图像权重对缓冲区内样本图像进行随机选择，使图像权重越大的样本图像被选择的可能性越大，获得选定样本图像作为重播图像；

在新任务数据流每个批次图像的目标检测中，使用重播图像与当前批次图像共同训练检测器，获得训练后的检测器用于目标检测。

根据本发明的用于不平衡高分辨率遥感影像的在线持续目标检测方法，对于新增样本图像，若与缓冲区内已有样本图像相同，新增样本图像放弃添加；并对已有样本图像在已有任务标注的基础上增加当前任务的目标标注。

根据本发明的用于不平衡高分辨率遥感影像的在线持续目标检测方法，在缓冲区已满时，向缓冲区添加任务图像作为样本图像的原则包括：

判断任务图像中是否包含缓冲区内样本数量最多的类别，若是，随机决定是否添加任务图像作为样本图像；否则，直接添加任务图像作为样本图像。

根据本发明的用于不平衡高分辨率遥感影像的在线持续目标检测方法，在缓冲区已满时，新添加一张任务图像作为样本图像后，需要对应删除一张已有样本图像，删除一张已有样本图像的方法包括：

计算检测类别平衡度：

式中

为图片平衡分数，是当前样本图像中类别为j和LCB的目标数量的比例；其中LCB为缓冲区中目标数量最多的类别；

为当前样本图像中类别为j的目标数量，

为当前样本图像中类别为LCB的目标数量；c₁,...,c_n表示第1种目标类别，……，第n种目标类别；

为缓冲区内的类别分布，

表示缓冲区中类别为j的目标数量，

表示缓冲区中类别为LCB的目标数量；

若存在目标样本图像的

则优先删除目标样本图像；

否则，随机选择包含LCB的样本图像，若选定样本图像中属于类别LCB的目标数量超过缓冲区中该类别目标数量的一半，则删除选定样本图像中属于LCB的一半的目标标记，并保留该选定样本图像；并在属于类别LCB的目标数量不超过缓冲区中该类别目标数量一半的选定样本图像中随机删除一张。

根据本发明的用于不平衡高分辨率遥感影像的在线持续目标检测方法，获得重播图像的过程包括：

对缓冲区中每个检测类别赋予类别权重σ_j：

对每个检测类别下的每张样本图像，遍历样本图像中所有目标的类别标签；对于第i张样本图像，在第一次遇到类别标签j时，对应的图像权重为σ_j；在第k次遇到类别标签j时，对应的图像权重为(σ_j)^k；

第i张样本图像中类别j对应目标的权重和的上限为：

式中

为第i张样本图像中属于类别j的目标数量；

则第i张样本图像的权重为W_i,m：

式中n_i,m是第m个批次图像任务的第i张样本图像包含的类别数量，c_r表示第r个类别，

表示第i张样本图像中属于类别c_r的目标数量；

表示样本图像中存在k次c_r类别目标时，对应的图像权重。

本发明的有益效果：本发明方法通过创建类平衡的缓冲区并以较高的概率重播目标数据较少类别图片的方式，来解决类别之间类不平衡的问题。

本发明方法可实现在线连续目标检测(OCOD)。在学习新的类别或任务时，OCOD可以在不重新学习与先前类别或任务相关的所有数据的情况下，依旧很好地检测出过去的类别或任务。也就是说，在OCOD中，通过基于重播的方法，在缓冲区中存储一部分过去的数据，并且缓冲区中存储的样本的数量是固定的。此外，对于高分辨率遥感领域中，训练数据中不同类别的目标之间的数量分布存在的明显不平衡，本发明通过平衡缓冲区中不同类别目标的数量来纠正该问题，并且以较高的概率对少目标类别的样本进行重播。通过重播少目标类别的样本来减弱训练数据中的类别不平衡，并在学习新任务时不忘记过去的信息。

本发明方法有效解决了灾难性遗忘问题，并针对普遍存在于高分辨率遥感影像中的类别不平衡问题，进行了优化。

附图说明

图1是本发明所述用于不平衡高分辨率遥感影像的在线持续目标检测方法的流程示意图；

图2是验证实验的NWPUVHR-10数据集中，不同类别目标分布的示意图；

图3是验证实验的RSOD数据集中，不同类别目标分布的示意图；

图4是验证实验的DOTA数据集中，不同类别目标分布的示意图；

图5是验证实验中，对于NWPUVHR-10数据集，采用OCOD和离线学习进行目标检测的时间成本示意图；

图6是验证实验中，对于DOTA数据集，采用OCOD和离线学习进行目标检测的时间成本示意图；

图7是验证实验中，对于RSOD数据集，采用OCOD和离线学习进行目标检测的时间成本示意图；

图8是OCOD在NWPU VHR-10数据集上对飞机的检测结果示意图；

图9是OCOD在NWPU VHR-10数据集上对桥梁的检测结果示意图；

图10是OCOD在NWPU VHR-10数据集上对网球场和篮球场的检测结果示意图；

图11是OCOD在NWPU VHR-10数据集上对田径场和棒球场的检测结果示意图；

图12是OCOD在NWPU VHR-10数据集上对港口的检测结果示意图；

图13是OCOD在NWPU VHR-10数据集上对船和储存罐的检测结果示意图；

图14是OCOD在NWPU VHR-10数据集上对车辆的检测结果示意图；

图15是OCOD在RSOD测试集上对飞机的检测结果示意图；

图16是OCOD在RSOD测试集上对油箱的检测结果示意图；

图17是OCOD在RSOD测试集上对立交桥的检测结果示意图；

图18是OCOD在RSOD测试集上对运动场的检测结果示意图；

图19是OCOD在DOTA数据集上对港口和游泳池的检测结果示意图；

图20是OCOD在DOTA数据集上对桥梁和田径场的检测结果示意图；

图21是OCOD在DOTA数据集上对船的检测结果示意图；

图22是OCOD在DOTA数据集上对飞机和直升机的检测结果示意图；

图23是OCOD在DOTA数据集上对大型车辆的检测结果示意图；

图24是OCOD在DOTA数据集上对小型车辆和篮球的检测结果示意图；

图25是OCOD在DOTA数据集上对棒球场和网球场的检测结果示意图；

图26是OCOD在DOTA数据集上对储存罐的检测结果示意图；

图27是现有目标检测方法中离线学习的流程图；

图28是现有目标检测方法中在线持续学习的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一、结合图1所示，本发明提供了一种用于不平衡高分辨率遥感影像的在线持续目标检测方法，包括，

建立缓冲区，存储目标检测过程中已完成的部分检测数据，包括已有类别的历史样本图像，不同类别下的历史样本图像中的目标数量平衡；在缓冲区未满时，将由新任务数据流中顺序获取的任务图像作为新增样本图像，按类别添加至缓冲区直至缓冲区内样本数量达到上限；在缓冲区已满时，基于使缓冲区内样本图像具备所有检测类别，以及使每个类别下目标样本数量趋向平衡的原则，向缓冲区添加新任务数据流中任务图像作为样本图像；

建立重播机制，按照使样本数量越多的检测类别权重越小的规则对缓冲区内所有检测类别分别赋予类别权重，再结合每个检测类别下每张图像中包含的同一类别的目标出现的次数，按出现次数越多对应的权重越小的原则对类别权重进行修正，获得图像权重；通过概率随机选择函数按图像权重对缓冲区内样本图像进行随机选择，使图像权重越大的样本图像被选择的可能性越大，获得选定样本图像作为重播图像；

在新任务数据流每个批次图像的目标检测中，使用重播图像与当前批次图像共同训练检测器，获得训练后的检测器用于目标检测。

本实施方式中，输入数据是按照时间序列依次到来的用于目标检测的数据，这些数据有明显的任务边界和类别边界。数据集是

其中x_t是t时刻的图像，y_t是x_t的类别标签。在目标检测中，一张图片通常包含不同类别的多个目标，所以y_t表示的是标签的集合。在评估阶段，需要使用t时刻训练的模型，标记出给定图像中的所有目标的边界框。

如图1所示，OCOD由缓冲区操作，检测器和重播机制组成。缓冲区操作负责创建一个缓冲区来存储类别平衡分布的数据集。检测器是一种目标检测检测模型，例如FasterRCNN或Cascade RCNN。重播机制负责在训练期间从缓冲区中选择合适的图像进行重播。

进一步，对于新增样本图像，若与缓冲区内已有样本图像相同，新增样本图像放弃添加；并对已有样本图像在已有任务标注的基础上增加当前任务的目标标注。

缓冲区操作：本实施方式中创建了一个缓冲区，并使其中的数据尽可能独立且平均的分布。缓冲区的建立过程包括：1)从数据流中选取合格的图像放入缓冲区；2)使缓冲区中不同类别的目标数量尽可能保持平衡。值得一提的是，在用于目标检测的在线持续学习中，根据包含的目标的类别，同一张图片可能出现在不同的任务中。在整个训练过程中，对于即将到来的样本(x_t,y_t)，如果图像x_t已经在缓冲区中，那么恢复缓冲区中x_t的当前任务的目标标注，并和过去任务中的标注一起用于训练。这是为了防止缓冲区中存在两张相同的图片，但是它们的标注不同。

再进一步，在缓冲区已满时，向缓冲区添加任务图像作为样本图像的原则包括：

判断任务图像中是否包含缓冲区内样本数量最多的类别，若是，随机决定是否添加任务图像作为样本图像；否则，直接添加任务图像作为样本图像。

再进一步，在缓冲区已满时，新添加一张任务图像作为样本图像后，需要对应删除一张已有样本图像，删除一张已有样本图像的方法包括：

计算检测类别平衡度：

式中

为图片平衡分数，是当前样本图像中类别为j和LCB的目标数量的比例；其中LCB为缓冲区中目标数量最多的类别；

为当前样本图像中类别为j的目标数量，

为当前样本图像中类别为LCB的目标数量；c₁,...,c_n表示第1种目标类别，……，第n种目标类别；

为缓冲区内的类别分布，

表示缓冲区中类别为j的目标数量，

表示缓冲区中类别为LCB的目标数量；

的计算方法和

类似；

若存在目标样本图像的

则优先删除目标样本图像；

否则，随机选择包含LCB的样本图像，若选定样本图像中属于类别LCB的目标数量超过缓冲区中该类别目标数量的一半，则删除选定样本图像中属于LCB的一半的目标标记，并保留该选定样本图像；并在属于类别LCB的目标数量不超过缓冲区中该类别目标数量一半的选定样本图像中随机删除一张。

本实施方式中，当缓冲区没有满时，直接添加新图像作为样本图像。当缓冲区已经填满时，根据以下规则决定是否添加新的图像：1)如果新的图像不包含缓冲区中目标数量最多的类别(后面简称LCB)，该图像直接添加到缓冲区中。2)否则，随机决定是否添加新图像。LCB会随着缓冲区中数据分布的变化而变化。如果添加新图像到已满的缓冲区，因为缓冲区中图像的数量是固定的，所以需要删除一张图像。该图像中包含目标最多的类别为LCB，且相比于缓冲区，该图片中的类别分布更加不平衡。

若某张图像的

那么首先考虑删除该图像。否则，从缓冲区中随机删除一张图像，而且该图像中包含目标最多的类别是LCB。当缓冲区被填满后，有可能会出现一种极端情况。缓冲区中某些类别的目标集中在几张甚至一张图像中。删除这些图像会对类别平衡产生极端的影响，例如，缓冲区中属于某个类别的目标消失。为了避免这种情况，设置了保护机制。具体地，如果即将被删除的图像中属于类别LCB的目标数量超过缓冲区中该类别目标数量的一半，只删除该图像中属于LCB的一半的目标标记，并且依旧保存该图像。

缓冲区操作的实现程序可以为：

再进一步，获得重播图像的过程包括：

为了从缓冲区中重播合适的图像用以训练检测器，根据每张图像中包含的目标来确定它们的优先级。对缓冲区中每个检测类别赋予类别权重σ_j：

在缓冲区中，属于某个类别的目标越多，则该类别对应的权重越小。

对每个检测类别下的每张样本图像，遍历样本图像中所有目标的类别标签；对于第i张样本图像，遍历该图像中所有目标的类别标签，在第一次遇到类别标签j时，对应的图像权重为σ_j；在第k次遇到类别标签j时，对应的图像权重为(σ_j)^k；

第i张样本图像中类别j对应目标的权重和的上限为：

式中

为第i张样本图像中属于类别j的目标数量；当该数量不断增加时，属于类别j的目标权重之和不断接近

则第m个任务中，缓冲区中第i张样本图像的权重为W_i,m：

式中n_i,m是第m个批次图像任务的第i张样本图像包含的类别数量，c_r表示第r个类别，

表示第i张样本图像中属于类别c_r的目标数量；

表示样本图像中存在k次c_r类别目标时，对应的图像权重。W_i,m越大，则图像被重播的可能性越高。

基于重播的在线持续学习程序可以为：

在基于重播的在线持续学习程序中，展示了详细的训练步骤。流式数据通常每次只输入一个批次的大小。根据缓冲区中图像的优先级，每次重播一些图像，然后使用重播的旧图像和输入的新图像一起训练检测器。之后，输出预测结果，计算损失，并更新模型。最后，根据样本增加原则来更新缓冲区中的样本。重复上述步骤，直到流式数据全部被读取。

本发明中尽管不能重复学习过去的所有数据，但是可以重复学习包含重播数据的当前批次的数据，该方法普遍应用于在线持续学习。多次更新模型能够有效地提升检测器对流式数据的拟合速度。

实验验证：

为了评估OCOD的效果，在NWPU VHR-10，RSOD和DOTA数据集上进行了实验。由于首次尝试在遥感影像目标检测上使用基于重播的在线持续学习方法进行目标检测，为了展示OCOD的效果，对比了以下3种方法，并在Faster RCNN和Cascade RCNN进行了测试。

1)单一的在线学习(Single-online)：在流式数据上在线的训练模型，只训练一个轮次且不采取任何措施避免灾难性遗忘。

2)微调(Finetune)：一种持续训练的方式，使用前一任务模型的参数来初始化当前任务模型的参数。同样不采取任何措施避免灾难性遗忘。

3)离线学习(Offline)：正常的模型训练方式，在批处理学习中对所有数据进行多次遍历。

由于采用相同的检测器和批次大小，三种方法在单次更新中的时间成本相同。因此，不同方法的时间成本差异在于训练数据的大小。如图5至7所示，single-online、finetune和OCOD的训练集大小相同，在不同的任务中训练集大小会发生波动。然而，随着任务依次进行，offline的训练集大小不断增加。这是因为OCOD只需要考虑当前任务的训练集，而offline需要重复训练至今碰到的所有任务的训练集。随着任务数量的增加，OCOD的时间成本将远远小于offline。

表1.不同方法在NWPUVHR-10测试集上的结果对比

表2.不同方法在RSOD测试集上的结果对比

表3.不同方法在DOTA验证集上的结果对比

表4.离线学习和OCOD在DOTA测试集上的结果对比

四个表格中，Faster RCNN和Cascade RCNN为两个目标检测模型，Offline为离线学习方式，Finetune为微调的学习方式，Single-Online为单一的在线学习方式，mAP为平均精度均值，Ω_mAP为当前为当前学习方式的结果与离线学习方式结果的比值。在表三和表四，FR为Faster RCNN，CR为Cascade RCNN，FT为微调的学习方式，SO为单一的在线学习方式。

表1中是OCOD和其他方法在NWPU VHR-10数据集上的对比结果。缓冲区中可容纳图像的数量设置为200，接近训练集大小的一半。Finetune和single-online明显在这两个目标检测模型(Faster RCNN和Cascade RCNN)上效果很差，完全忘记了前四个任务的相关信息(mAP都是0)，只能识别出最后任务中的桥梁和车辆的类别。OCOD在Faster RCNN上的mAP是79.5％，在Cascade RCNN上是83.4％，都远远超过了finetune和single-online在这两个检测器模型上结果。和offline的结果相比，OCOD在两个检测器上分别达到了offline的89.9％和93.3％。图8至图14中展示了OCOD在NWPU VHR-10数据集上不同类别目标的检测结果。无论是大的目标(例如田径场)，还是小目标(例如车辆)，OCOD都能很好的检测出来。

与表1类似，表2展示了在RSOD数据集上的实验结果，缓冲区中可容纳图像的数量设置为100。由于RSOD数据集中的每张图像只包含一种类的目标标注，而且任务2中的目标数量远远小于任务一中的目标数量，所以finetune方法尚未完全忘记之前任务的信息。在两个检测器上，finetune分别获得了75.1％和71.3％的mAP值。OCOD的检测效果比fintune更好，就mAP而言，在Faster RCNN上，OCOD超出fintune8.5％；在Cascade RCNN上，OCOD超出finetune 12.5％。在RSOD数据集上，OCOD和offline的检测结果非常接近，OCOD能达到offline的96.3％和93.7％。这些实验结果说明OCOD可以很好的用于只包含一个类的遥感影像。RSOD数据集的检测结果展示在图15至图18中。

DOTA数据集中的图像尺寸很大，且包含的内容复杂，所以使用从原图像中分割出的子图像用作训练。缓冲区中可容纳图像的数量设置为4000，只有整个数据集的大约1/7。由于官方的评估系统不能接受某个类的检测结果为0的情况，fintune和single-online方法在验证集上进行评估。表3是在验证集上的结果，fintune和single-online仍是有严重的灾难性遗忘问题。OCOD能更好的检测目标，在Faster RCNN的mAP为41.4％，在Cascade RCNN上的mAP为42.6％，分别达到offline结果的65.3％和67.5％。比较single-online和OCOD在最后一个任务上的结果，OCOD的效果优于single-online。尤其是在Cascade RCNN上，直升机类的检测结果高了17.1％。这说明OCOD不仅能够缓解灾难性遗忘，而且能提高在流式数据上的检测效果。

表4是offline和OCOD在DOTA测试集上的结果。和上面在验证集上的结果不同，需要将同一张图像分割出的子图像检测后，合并为原图像，再放入官方的检测系统中得到结果。OCOD在Faster RCNN上的结果是43.1％，在Cascade RCNN上的结果是44.2％。相比于验证集，OCOD在测试集上的结果更加接近offline。达到了71.2％和70％，检测结果展示在图19至图26中。

消融实验：

表5.在三个数据集上关于缓冲区大小的研究

1)缓冲区大小：缓冲区大小对OCOD影响很大，因为它与缓冲区的类别分布有关。在表5中，我们比较了不同缓冲区大小下的结果。在NWPU VHR-10和RSOD数据集中，设置缓冲区大小为100和200。相比于缓冲区大小为100的情况，在NWPU VHR-10数据集上，当缓冲区大小为200时，mAP在Faster RCNN和Cascade RCNN上分别提升了9.8％和9.9％；在RSOD数据集上，mAP降低了6.3％和2.9％。出现这截然不同的情况，是他们在缓冲区中不同的类别平衡程度造成的。具体来说，RSOD数据集的缓冲区的类不平衡很严重。由于RSOD中属于立交桥和运动场的目标数量很少，甚至无法达到缓冲区大小的平均值。当缓冲区大小为100时，RSOD数据集的缓冲区中的类别分布为119：113：44：36；而当缓冲区大小为200时，类别分布为920：375：44：36。显然，缓冲区大小为200时比缓冲区为100时更加平衡。对于NWPU VHR-10数据集，当缓冲区大小为100和200时，都处于类别平衡状态。总的来说，当缓冲区中类平衡时，缓冲区大小越大，效果越好。这在DOTA数据集中得到了证明，随着缓冲区大小从2000提高到4000，Faster RCNN上的mAP提高了8.5％，Cascade RCNN上的mAP提高了6.9％。

2)平衡的缓冲区和加权重播：

表6.FasterRCNN在NWPUVHR-10数据集上的关于平衡的缓冲区和加权重播的研究

如表6所示，通过实验研究缓冲区操作模块和加权重播模块的效果。选择FasterRCNN作为检测器并且在NWPU VHR-10测试集上进行实验。首先不采用缓冲区操作模块和加权重播模块。当新图像输入时，随机地替换缓冲区中的旧图像并随机地重播图像。在这种情况下，mAP值只有42.6％，因为缓冲区的类之间不平衡，而且随机重播的方法没有考虑小类别。然后，按本发明方法对缓冲区操作并随机重播，mAP为71.2％，相比于之前的方法提高了28.6％，这证明平衡的缓冲区对在线持续学习影响很大。之后，只采用加权重播，mAP达到70.6％。尽管遭受数据流分配不平衡的困扰，但加权重播机制通过对代表性不足的类进行过采样可以改善结果。最后，OCOD达到79.5％的mAP，比单独使用平衡的缓冲区高8.3％，比单独使用加权重播高8.9％。缓冲区操作模块和加权重播模块对于联机CL均有效，并且它们的组合可以更好地改善结果。

具体实施例：

在本发明的实验中，采用平均精度均值(mAP)作为评估指标。在NWPU VHR-10和RSOD数据集上，遵循PASCAL VOC 2012目标检测挑战中的标准评估指标。在DOTA的测试集上，将检测结果提交到官方评估服务器。除此以外，还设置了评估指标Ω_mAP。该指标的计算公式为：

Ω_mAP＝α/α_offline，

其中，α表示single-online、finetune和OCOD三种方法的mAP值，α_offline表示offline方法的mAP值。通常来说，Ω_mAP值在0到1之间，通过该指标能更加方便地比较不同方法效果之间的差距。

为了满足流式数据中类别增量的要求，根据每个数据集中包含的目标类别来分割三个数据集。

不相交的DOTA数据集(Disjoint DOTA，后简称DOTA)：DOTA是一个最近发布的公开数据集，用于大尺度的遥感影像目标检测。DOTA数据集中图像共计2806张，大小从800×800到4000×4000像素不等，而且图像中的目标有不同的形状、方向和尺寸。经过专家标注，DOTA数据集中的188282个目标被划分为15个类别：飞机、棒球场(BD)、桥梁、田径场(GTF)、小型车辆(SV)、大型车辆(LV)、船只、网球场(TC)、篮球场(BC)、储物箱(ST)、足球场(SBF)、环岛(RA)、游泳池(SP)、港口和直升机(HC)。一半的数据被选做训练，1/6被选做验证，1/3被选做测试。在不相交的DOTA数据集中，根据图像中的目标类别，DOTA数据集被划分为5个任务，每个任务中只包含3和类别的样本，而且不同任务的类别之间不会重复。

不相交的NWPU VHR-10数据集(Disjoint NWPU VHR-10，后简称NWPU VHR-10)：在NWPU VHR-10上，采取和不相交的DOTA数据集类似的设置。具体地说，将NWPU VHR-10划分为5个任务，每个任务包含2个类别。NWPU VHR-10是可公开获得的地理空间目标检测数据集。数据集包含800张(650张包含标记的正图像和150张不包含任何标记的负图像)遥感图像以及总共10个类别的3775个目标实例。图片来自Google Earth和Vaihingen数据集，并由专家进行标注。本实施例中随机选择20％的正图像作为训练集，20％作为验证集和60％作为测试集。

不相交的RSOD(Disjoint RSOD，后简称RSOD)：RSOD是Long等人建立的开放的远程遥感影像数据集。它仅包含4类：飞机、油箱、立交桥和运动场。RSOD数据集中共有2326张图像，这些图像来自Google Earth和Tianditu。这些遥感图像的空间分辨率在0.3到3.0之间。与DOTA数据集和NWPU VHR-10数据集不同，RSOD数据集中的每个图像仅包含一个类的目标实例。在不相交的RSOD中，仅划分两个任务：飞机和油箱构成任务1，立交桥和运动场构成任务2。随机选择每个类别中25％的图像进行训练，25％的图像进行验证和50％的图像进行测试。

现有的遥感图像数据集存在一个普遍的问题：类不平衡。在流数据中，此问题更为严重，因为它不能像离线学习反复训练所有数据。如图2至图4所示，这些数据集中不同类别的目标数量分布不均。在NWPU VHR-10数据集中，飞机数量最多，达到757架。桥梁数量最少，为124架，仅占飞机数量的16.4％。在其他类别中也存在这种情况：302艘船，655个储存罐，390个棒球场，524网球场，150篮球场，163个田径场，224个港口和477辆车。在原始的DOTA训练集中，田径场的数量是325，而船舶的数量是8068。在裁剪后的DOTA训练数据集中，棒球场的数量是1404，船舶的数量是107706。在RSOD数据集中，有4993架飞机，1586个油箱，191个立交桥和180个运动场。

本实施例中通过修改MMDetection架构实现了OCOD，这样OCOD可以快速应用于许多经典模型。对于Faster RCNN和Cascade RCNN，选择ResNet-101作为骨干网。在本实施例的实验中，仅考虑了水平边界框(HBB)任务。

对于DOTA数据集，其中的遥感图像尺寸太大，无法一次性将图像读取到GPU中进行训练。将这些图像裁剪为1024×1024像素的子图像，每隔512像素裁剪一次。对于NWPU VHR-10和RSOD数据集，其中的每个图像大约为1000×1000像素，将它们的大小调整为1024×1024像素，然后随机翻转。

本实施例中所有实验均在Nvidia GeForce RTX 2080Ti设备上进行。每个GPU上一次处理两个图像，并且初始学习率设置为0.02，动量设置为0.9，权重衰减设置为0.0001。对于离线学习，在RSOD数据集上使用单张GPU训练24个轮次，并在第16和22个时期之后降低学习率；在NWPU VHR-10上使用单张GPU训练120个轮次，并在第80和第100个时期之后，学习率除以10；在DOTA数据集上使用4个GPU并行训练12个轮次，并在第8和第11个时期之后，学习率除以10。对于这三个数据集，将OCOD每个batch的训练次数step_b设置为离线学习中训练轮次数量的一半。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (2)

1.一种用于不平衡高分辨率遥感影像的在线持续目标检测方法，其特征在于包括，

建立缓冲区，存储目标检测过程中已完成的部分检测数据，包括已有类别的历史样本图像，不同类别下的历史样本图像中的目标数量平衡；在缓冲区未满时，将由新任务数据流中顺序获取的任务图像作为新增样本图像，按类别添加至缓冲区直至缓冲区内样本数量达到上限；在缓冲区已满时，基于使缓冲区内样本图像具备所有检测类别，以及使每个类别下目标样本数量趋向平衡的原则，向缓冲区添加新任务数据流中任务图像作为样本图像；

建立重播机制，按照使样本数量越多的检测类别权重越小的规则对缓冲区内所有检测类别分别赋予类别权重，再结合每个检测类别下每张图像中包含的同一类别的目标出现的次数，按出现次数越多对应的权重越小的原则对类别权重进行修正，获得图像权重；通过概率随机选择函数按图像权重对缓冲区内样本图像进行随机选择，使图像权重越大的样本图像被选择的可能性越大，获得选定样本图像作为重播图像；

在新任务数据流每个批次图像的目标检测中，使用重播图像与当前批次图像共同训练检测器，获得训练后的检测器用于目标检测；

对于新增样本图像，若与缓冲区内已有样本图像相同，新增样本图像放弃添加；并对已有样本图像在已有任务标注的基础上增加当前任务的目标标注；

在缓冲区已满时，向缓冲区添加任务图像作为样本图像的原则包括：

判断任务图像中是否包含缓冲区内样本数量最多的类别，若是，随机决定是否添加任务图像作为样本图像；否则，直接添加任务图像作为样本图像；

在缓冲区已满时，新添加一张任务图像作为样本图像后，需要对应删除一张已有样本图像，删除一张已有样本图像的方法包括：

计算检测类别平衡度：

式中

为图片平衡分数，是当前样本图像中类别为j和LCB的目标数量的比例；其中LCB为缓冲区中目标数量最多的类别；

为当前样本图像中类别为j的目标数量，

为当前样本图像中类别为LCB的目标数量；c₁,...,c_n表示第1种目标类别，……，第n种目标类别；

为缓冲区内的类别分布，

表示缓冲区中类别为j的目标数量，

表示缓冲区中类别为LCB的目标数量；

若存在目标样本图像的

则优先删除目标样本图像；

否则，随机选择包含LCB的样本图像，若选定样本图像中属于类别LCB的目标数量超过缓冲区中该类别目标数量的一半，则删除选定样本图像中属于LCB的一半的目标标记，并保留该选定样本图像；并在属于类别LCB的目标数量不超过缓冲区中该类别目标数量一半的选定样本图像中随机删除一张。

2.根据权利要求1所述的用于不平衡高分辨率遥感影像的在线持续目标检测方法，其特征在于，

获得重播图像的过程包括：

对缓冲区中每个检测类别赋予类别权重σ_j：

对每个检测类别下的每张样本图像，遍历样本图像中所有目标的类别标签；对于第i张样本图像，在第一次遇到类别标签j时，对应的图像权重为σ_j；在第k次遇到类别标签j时，对应的图像权重为(σ_j)^k；

第i张样本图像中类别j对应目标的权重和的上限为：

式中N_i ^j为第i张样本图像中属于类别j的目标数量；

则第i张样本图像的权重为W_i,m：

式中n_i,m是第m个批次图像任务的第i张样本图像包含的类别数量，c_r表示第r个类别，

表示第i张样本图像中属于类别c_r的目标数量；

表示样本图像中存在k次c_r类别目标时，对应的图像权重。

Images