CN115527118A - 一种融合注意力机制的遥感图像目标检测方法 - Google Patents

Abstract

本发明公开了一种融合注意力机制的遥感图像目标检测方法，其方法步骤包括：数据集获取，根据业务需求确定所需数据集并进行获取；数据预处理，根据业务需求进行数据预处理与训练集、测试集的划分；模型构建，构建融合注意力机制的YOLOX遥感图像目标检测模型；模型训练，基于构建的模型，利用训练集结合训练策略进行模型训练；模型验证，将验证数据输入模型进行验证，得到验证结果。本发明基于目标检测框架YOLOX，融合注意力机制，使模型高效利用目标及上下文信息，提高模型性能；调整训练策略，通过数据增强等方法防止模型过拟合，具有更好性能优势，在保证实时检测的基础上提高检测精度，有效提高遥感图像目标检测精度与效率。

Description

一种融合注意力机制的遥感图像目标检测方法

技术领域

本发明涉及遥感图像处理领域，尤其涉及一种融合注意力机制的遥感图像目标检测方法。

背景技术

随着科技的发展与遥感技术的日益成熟，近年来，全球发射卫星的数量显著增加，产生大量高分辨率且优质的遥感图像，可以提供直观、清晰的地球表面信息，为人们分析地面信息提供了一个崭新的视角，对地表信息的观测具有重大意义。遥感图像目标检测作为遥感图像解译分析领域中的重要任务，从广阔的视野范围中定位并标记目标的位置和类别，是城市规划、土地利用、灾害预防、环境管理、交通疏导、军事监测等应用的重要基础，具有广泛的应用前景与很高的实用价值，是国内外专家学者广泛关注的研究课题。

不同于自然图像的目标检测物体，遥感图像的目标检测物体比自然图像中的目标更小，目标的尺寸与方向具有多样性，小目标物体间往往十分紧凑；另外，不同于地面自然图像的获取方式，遥感图像需要从自上而下的角度进行拍摄获取，这种获取方式导致目标物体的视觉外观易受天气、照明、观察角度变化等因素的影响，使得遥感图像目标检测的难度相对较大。除此之外，多类地理空间目标的小尺度和多变尺度的特性以及缺少手动标注的训练样本使得检测任务变得更具挑战性。传统的遥感图像目标检测方法多数集中在灰度统计、阈值分割和边缘检测等方法，其应用场景单一，不具备通用性。大多数方法通过滑动窗口对待检测图片进行遍历后获得感兴趣区域，并对感兴趣区域进行特征统计，利用特征信息训练分类器，进而判断区域中是否包含目标。这类方法设计难度高，计算复杂，且识别率低，难以在小而密集的目标区域中准确识别目标，且对于多样性的背景变化不具备鲁棒性，难以避免复杂的地面环境干扰信息，泛化能力差。

近年来，随着深度学习的快速发展，深度学习在目标检测领域取得了显著的成就，基于深度学习的目标检测方法在自然图像目标检测中已达到了很好的效果。基于深度学习的目标检测方法通过深度神经网络的引入，使其可以从图像数据中学习到具有良好鲁棒性与更强语义表征能力的特征表示，使得目标检测性能得到了进一步的提高。目前，基于深度学习的目标检测方法主要分为两类，一类是以Fast R-CNN、Faster R-CNN等为代表的双阶段目标检测方法，一类是以YOLO系列，SSD等为代表的单阶段目标检测方法。双阶段目标检测方法在第一阶段对输入的图像提取候选区域，在第二阶段根据候选区域的映射特征图得到检测结果；单阶段的目标检测方法则直接通过人工设定的锚框得到最终的预测框与预测结果，在一个阶段完成整个检测过程。相比之下，双阶段的目标检测方法由粗到细逐步完成检测任务，具有较高的检测精度但检测速度较慢，无法应用于实时性要求较高的系统；单阶段的目标检测方法直接边界框与类别的预测，具有较快的检测速度但检测精度一般，基本满足实时系统的要求。

随着深度学习的发展，将深度学习应用于遥感图像的目标检测是大势所趋。然而，多数基于深度学习的目标检测方法在遥感图像中的应用普遍采用与自然图像相同的方法进行处理，没有针对遥感图像中存在的如背景复杂导致网络难以准确注意到关键的图像区域等一系列问题提出相应的解决方法，特征信息冗杂且极易引入背景噪声，检测精度较低，表现效果有待提升，实际检测效果仍不理想，易出现错检与漏检的情况。

发明内容

针对现有技术中存在的不足，本发明公开了一种基于YOLOX融合注意力机制的遥感图像目标检测方法，包含以下步骤：

步骤1：数据集获取。根据业务要求，确定模型所需的数据集，进行数据集的获取。

步骤2：数据预处理。对数据集进行数据处理，并进行训练集与测试集的划分。

步骤3：模型构建。构建融合注意力机制的YOLOX遥感图像目标检测模型。

步骤4：模型训练。基于构建的融合注意力机制的YOLOX遥感图像目标检测模型，利用数据处理后的遥感图像训练数据集结合训练策略进行模型训练。

步骤5：模型验证。将遥感图像验证数据输入至训练完成的遥感图像目标检测模型中，进行模型验证，得到模型验证结果。

进一步的，所述步骤1中，数据集获取的具体方法包括：

步骤1.1、根据业务的需求，从已知且公开的遥感图像目标检测数据集中选取一个或多个数据集，或通过无人机拍摄、互联网收集等方法收集并标注，形成自定数据集。

步骤1.2、将所选取或收集的数据集组成模型所需的数据集。

进一步的，所述步骤2中，数据预处理的具体方法包括：

步骤2.1、根据业务需求，对步骤1中所获取的数据集进行数据处理；数据处理方法包括：图像分辨率统一化、数据归一化、随机旋转变换、随机尺度变换、随机色调变换、Mosaic等方法。

步骤2.2、根据业务需求，将步骤2.1中数据处理后的数据集按预设比例进行划分，分为训练集与测试集；其中训练集将用于训练所述的遥感图像目标检测模型，测试集将用于验证模型的性能。

进一步的，所述步骤3中，模型构建的具体方法为：

构建融合注意力机制的YOLOX遥感图像目标检测模型，包括输入层、特征提取网络、多尺度特征融合网络、解耦输出网络、输出层。具体来说，输入层用于接受所输入模型的遥感图像；特征提取网络用于分层提取遥感图像的不同尺度的特征；多尺度特征融合网络采用特征金字塔结构，在多尺度融合网络的末端引入即插即用的轻量级注意力模块CBAM，对特征提取网络提取的特征进行融合，从而获得更加丰富的特征信息，弱化背景、噪声与错误信息的干扰，抑制无用信息，增强目标的特征信息，提高目标检测的识别精度与定位准确度；解耦输出网络对多尺度特征融合网络的输出，即预测目标的类别、位置和置信度进行解耦计算；输出层将目标类别信息、位置信息与输入的遥感图像进行合并，作为模型的输出。

进一步的，所述步骤4中，模型训练的具体方法包括：

步骤4.1、基于步骤3构建的融合注意力机制的YOLOX遥感图像目标检测模型，利用步骤2所得的遥感图像训练数据集结合训练策略进行模型训练。

步骤4.2、调整模型过程中的参数及方法，直至模型的整体检测性能到达相应的停止条件，得到训练完成的遥感图像目标检测模型。

进一步的，所述步骤5中，模型验证的具体方法包括：

步骤5.1、将遥感图像验证数据输入至训练完成的遥感图像目标检测模型中，进行模型验证。

步骤5.2、完成相应的模型验证任务，即目标检测任务，得到目标检测结果，则为模型验证结果。

本发明的有益效果为：

本发明提供一种融合注意力机制的遥感图像目标检测方法，基于成熟的目标检测框架YOLOX，该框架对自然图像的检测精度与速度都达到了较高的水平，对YOLOX进行网络结构的改进，融合注意力机制，使模型可以更好地利用目标及上下文信息，提高识别精度与定位准确度；同时在训练策略上进行调整，通过数据增强等方法有效防止模型过拟合，使模型更加适用于遥感图像的目标检测任务。与现有的流行的通用遥感图像目标检测算法相比，本发明所提出的算法通过在YOLOX目标检测模型中进行注意力机制的融合，在遥感图像目标检测中具有更好的性能优势，在保证实时检测的基础上提高检测精度，可以有效地提高遥感图像目标检测精度与检测效率。

附图说明

图1是一种融合注意力机制的遥感图像目标检测方法流程图；

图2是一种融合注意力机制的遥感图像目标检测方法详细流程图；

图3是一种融合注意力机制的遥感图像目标检测模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图2，图3，本发明提供一种融合注意力机制的遥感图像目标检测方法，该方法包含以下步骤：

步骤1：数据集获取。根据业务要求，确定模型所需的数据集，进行数据集的获取。

数据集获取，包括以下步骤：

第一步，根据业务的需求，从已知且公开的遥感图像目标检测数据集中选取一个或多个数据集，或通过无人机拍摄、互联网收集等方法收集并标注，形成自定数据集。已知且公开的遥感图像目标检测数据集包括NWPU VHR-10、LEVIR、DOTA等数据集，所包含的目标包括：飞机、轮船、操场、车辆等，多数遥感图像存在复杂背景且目标物体个数较多。

第二步，将所选取或收集的数据集组成模型所需的数据集。具体来说，若仅选取单独一个数据集，则将其作为模型所需的数据集；若选取多个数据集(包括自定数据集)，则可将其组成模型所需的数据集或按一定的比例进行数据的抽取，共同组成模型所需的数据集。

步骤2：数据预处理。对数据集进行数据处理，并进行训练集与测试集的划分。

数据预处理，包括以下步骤：

第一步，根据业务需求，对步骤1中所获取的数据集进行数据处理；数据处理方法包括：图像分辨率统一化、数据归一化、随机旋转变换、随机尺度变换、随机色调变换、Mosaic等方法。具体来说，图像分辨率统一化对数据集中图像进行分辨率统一化处理，避免因图像获取设备种类不同所带来的分辨率不固定的问题；数据归一化指将原始的数据进行线性变换，将其映射至[0,1]区间中，进而加速模型收敛速度，提高模型效率；随机旋转变换指对数据集中的遥感图像进行90°、180°、270°旋转变换、上下翻转变换或左右翻转变换，并对经过变换后的目标图像的真实边界框坐标进行变换；随机尺度变换指按一定的比例将遥感图像目标放大或缩小，并按其原大小进行图像截取，形成新的遥感图像；随机色调变换指对遥感图像进行色调变换，包括亮度、对比度、饱和度等图像相关参数；Mosaic指将四张遥感图像进行随机裁剪，再拼接到一张图上作为训练数据。在数据预处理阶段，利用数据增强等数据处理方法，以减少模型对图像中某些特征的依赖，提升模型对图像特征的提取效果，提高模型的泛化性和鲁棒性，能够有效地防止模型过拟合，提高模型尤其是对具有较多旋转角度目标的识别精度，特别是对于数据集中数量较少的目标，其检测精度将得到更大的提升。

第二步，根据业务需求，将步骤2.1中数据处理后的数据集按预设比例进行划分，分为训练集与测试集；其中训练集将用于训练所述的遥感图像目标检测模型，测试集将用于验证模型的性能。具体来说，通常采用7:3或8:2的比例进行数据集的划分，即70％为训练集，30％为测试集；或者80％为训练集，20％为测试集。

步骤3：模型构建。构建融合注意力机制的YOLOX遥感图像目标检测模型。

模型构建，包括：

构建融合注意力机制的YOLOX遥感图像目标检测模型，包括输入层、特征提取网络、多尺度特征融合网络、解耦输出网络、输出层。具体来说，输入层用于接受所输入模型的遥感图像；特征提取网络用于分层提取遥感图像的不同尺度的特征，采用轻量级的特征提取网络EfficientNetV2替代YOLOX中较为耗时且可能出现特征提取不充分的特征提取网络Darknet53，通过多个特征提取模块进行特征提取，在降低模型参数的同时，提升模型检测的准确度，可以很好地满足实际部署等以工程落地为导向的需求；多尺度特征融合网络采用特征金字塔结构，融合注意力机制，对特征提取网络提取的特征进行聚合；在多尺度融合网络的末端引入即插即用的轻量级注意力模块CBAM，充分利用特征提取网络所提取的多尺度特征，在空间维度与通道维度上进行注意力机制的应用，通道维度的注意力使网络更加侧重于有效通道的特征图，空间维度的注意力使模型更加关注对任务有帮助的位置，两者相结合可实现对有效信息的高效利用。低层特征中物体位置信息丰富，而语义信息较少，高层特征中物体语义信息丰富，而位置信息较少，为了互补二者的特征信息，通过特征提取网络和多尺度特征融合网络进行特征提取以获得更加丰富的特征信息；利用注意力机制对模型特征进行融合，弱化背景、噪声与错误信息的干扰，抑制无用信息，增强目标的特征信息，同时辅助模型更加有效地利用遥感图像的上下文信息，更准确地识别遥感图像中的目标，提高目标检测的识别精度与定位准确度，改善模型的误检、漏检率，提高模型的泛化能力；解耦输出网络对多尺度特征融合网络的输出，即预测目标的类别、位置和置信度进行解耦计算，不仅能提高模型检测精度，而且能加快模型训练的收敛速度；输出层将目标类别信息、位置信息与输入的遥感图像进行合并，作为模型的输出。

步骤4：模型训练。基于构建的融合注意力机制的YOLOX遥感图像目标检测模型，利用数据处理后的遥感图像训练数据集结合训练策略进行模型训练。

模型训练，包括以下步骤：

第一步，基于步骤3构建的融合注意力机制的YOLOX遥感图像目标检测模型，利用步骤2所得的遥感图像训练数据集结合训练策略进行模型训练。在模型训练中，首先采用高斯分布初始化网络权重；根据业务需求，设定总的训练迭代次数，即Epochs数值，如100个Epochs；设定初始学习率，如0.01，采用随机梯度下降算法进行梯度更新，相比于梯度下降算法，其不容易陷入局部最优解中导致模型训练失败；引入学习率预热策略并设定相应的warmup系数，如0.000001，其使得模型的收敛速度更快，模型效果更佳；在达到预设的迭代次数后，如30个Epochs之后，采用余弦退火策略进行模型学习率的调整，即随着迭代次数的增加，学习率会经历急速下降再陡然提升的变化过程，能使得模型跳过局部最优解得到全局最优解，从而带来更好的训练效果。

第二步，调整模型过程中的参数及方法，直至模型的整体检测性能到达相应的停止条件，得到训练完成的遥感图像目标检测模型。为直观地说明模型的有效性，评价标准采用目标检测中广泛使用的指标，如精确率、召回率、平均精度等指标对模型的效果进行评估；将训练完成的模型在所述的遥感图像测试数据集上进行测试，若其检测速度与检测精度达不到预设的要求则重新设计训练策略或增加更多迭代次数，直至检测速度与检测精度达到预设要求，并将符合预设要求的模型作为最终的遥感图像目标检测模型。

步骤5：模型验证。将遥感图像验证数据输入至训练完成的遥感图像目标检测模型中，进行模型验证，得到模型验证结果。

模型验证，包括以下步骤：

第一步，基于步骤4中训练完成的遥感图像目标检测模型，将相应的遥感图像验证数据输入至模型中，进行模型验证。

第二步，完成相应的模型验证任务，即目标检测任务，得到目标检测结果，则为模型验证结果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种融合注意力机制的遥感图像目标检测方法，其特征在于包括以下步骤：

步骤1：数据集获取；根据业务要求，确定模型所需的数据集，进行数据集的获取；

步骤2：数据预处理；对数据集进行数据处理，并进行训练集与测试集的划分；

步骤3：模型构建；构建融合注意力机制的YOLOX遥感图像目标检测模型；

步骤4：模型训练；基于构建的融合注意力机制的YOLOX遥感图像目标检测模型，利用数据处理后的遥感图像训练数据集结合训练策略进行模型训练；

步骤5：模型验证；将遥感图像验证数据输入至训练完成的遥感图像目标检测模型中，进行模型验证，得到模型验证结果。

2.根据权利要求1所述的一种融合注意力机制的遥感图像目标检测方法，其特征在于步骤1中，所述数据集获取的具体步骤为：

根据业务的需求，从已知且公开的遥感图像目标检测数据集中选取一个或多个数据集，或通过无人机拍摄、互联网收集等方法收集并标注，形成自定数据集；将所选取或收集的数据集组成模型所需的数据集，具体来说，若仅选取单独一个数据集，则将其作为模型所需的数据集；若选取多个数据集(包括自定数据集)，则可将其组成模型所需的数据集或按一定的比例进行数据的抽取，共同组成模型所需的数据集。

3.根据权利要求1所述的一种融合注意力机制的遥感图像目标检测方法，其特征在于步骤2中，所述数据预处理的具体步骤为：

根据业务需求，对步骤1中所获取的数据集进行数据处理；数据处理方法包括：图像分辨率统一化、数据归一化、随机旋转变换、随机尺度变换、随机色调变换、Mosaic等方法；在数据预处理阶段，利用数据增强等数据处理方法，以减少模型对图像中某些特征的依赖，提升模型对图像特征的提取效果，提高模型的泛化性和鲁棒性，能够有效地防止模型过拟合，提高模型尤其是对具有较多旋转角度目标的识别精度，特别是对于数据集中数量较少的目标，其检测精度将得到更大的提升；其次，根据业务需求，将数据处理后的数据集按预设比例进行划分，分为训练集与测试集；其中训练集将用于训练所述的遥感图像目标检测模型，测试集将用于验证模型的性能。

4.根据权利要求1所述的一种融合注意力机制的遥感图像目标检测方法，其特征在于步骤3中，所述模型构建的具体步骤为：

构建融合注意力机制的YOLOX遥感图像目标检测模型，包括输入层、特征提取网络、多尺度特征融合网络、解耦输出网络、输出层；具体来说，输入层用于接受所输入模型的遥感图像；特征提取网络用于分层提取遥感图像的不同尺度的特征，采用轻量级的特征提取网络EfficientNetV2替代YOLOX中较为耗时且可能出现特征提取不充分的特征提取网络Darknet53，降低模型参数的同时，提升模型检测的准确度，以满足实际部署等以工程落地为导向的需求；多尺度特征融合网络采用特征金字塔结构，在多尺度融合网络的末端引入即插即用的轻量级注意力模块CBAM，对模型特征进行融合，弱化背景、噪声与错误信息的干扰，抑制无用信息，增强目标的特征信息，提高目标检测的识别精度与定位准确度；解耦输出网络对多尺度特征融合网络的输出，即预测目标的类别、位置和置信度进行解耦计算；输出层将目标类别信息、位置信息与输入的遥感图像进行合并，作为模型的输出。

5.根据权利要求1所述的一种融合注意力机制的遥感图像目标检测方法，其特征在于步骤4中，所述模型训练的具体步骤为：

基于步骤3构建的融合注意力机制的YOLOX遥感图像目标检测模型，利用步骤2所得的遥感图像训练数据集结合训练策略进行模型训练；在模型训练中，采用高斯分布初始化网络权重；根据业务需求，设定总的训练迭代次数，与初始学习率，采用随机梯度下降算法进行梯度更新；引入学习率预热策略并设定相应的warmup系数；在达到预设的迭代次数后，采用余弦退火策略进行模型学习率的调整；将训练完成的模型在所述的遥感图像测试数据集上进行测试，若其检测速度与检测精度达不到预设的要求则重新设计训练策略或增加更多迭代次数，直至检测速度与检测精度达到预设要求，并将符合预设要求的模型作为最终的遥感图像目标检测模型。

6.根据权利要求1所述的一种融合注意力机制的遥感图像目标检测方法，其特征在于步骤5中，所述模型验证的具体步骤为：

基于步骤4中训练完成的遥感图像目标检测模型，将相应的遥感图像验证数据输入至模型中，进行模型验证，即完成相应的遥感图像目标检测任务，得到目标检测结果，则为模型验证结果。

Images