CN110097129B - 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 - Google Patents

Abstract

本发明公开了一种基于轮廓波分组特征金字塔卷积的遥感目标检测方法，解决了光学遥感图像飞机与舰船在边缘模糊时召回率低、虚警率高的问题。实现步骤：构建测试数据集；构建训练数据集；对数据集进行非轮廓下采样变换；构建基于分组特征金字塔卷积目标检测网络；利用数据集训练基于分组特征金字塔卷积的目标检测网络；用训练好的基于分组特征金字塔卷积的目标检测网络对测试数据集进行目标检测；输出测试结果。本发明用非下采样轮廓边缘加强图像边缘特征，并构建分组卷积和特征金字塔网络，更适于光学遥感图像目标检测，针对边缘模糊的小目标检测准确率明显提高。用于光学遥感图像的地物目标检测。

Description

基于轮廓波分组特征金字塔卷积的遥感目标检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及光学遥感图像目标检测技术，具体是一种基于轮廓波分组卷积的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的飞机与舰船的地物目标检测。

背景技术

目标检测任务是计算机视觉领域的一个重要的分支，遥感图像目标检测是指使用遥感图像作为数据获取源，采用图像处理算法对图像中感兴趣的目标进行定位并分类。遥感目标检测作为遥感图像应用中的关键技术，可以应用在军事监测，城市规划，农林建设等领域，能提供精确的位置与类别信息，具备重要的工业应用价值和研究价值。

Jifeng Dai在其发表的论文“R-FCN:Object Detection via Region-basedFully Convolutional Networks”(神经信息处理系统进展大会NIPS(Neural InformationProcessing Systems蒙特利尔国际会议论文2015年)中提出了一种基于位置得分映射的目标检测方法。该方法首先利用骨架网络ResNet50卷积特征来生成候选区域RPN(RegionProposal Networks)，然后根据预测的高质量的候选框，在卷积的高级语义特征上进行位置敏感卷积和位置得分池化，池化后的结果分别使用卷积，分别预测候选框的类别和位置偏移，最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non MaximumSuppression)，得到最后的检测结果。该方法能够准确丰富的表示目标的特征，并且使用位置敏感映射学习目标的不同位置，通过设计的全卷积网络减轻了网络头部计算量等优点，但是，该方法由于大尺寸分辨率低的光学遥感图像存在的目标尺寸小且边缘模糊，导致在进行光学遥感图像目标检测时常常会漏检船只等小目标。

专利文献“基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法”(专利申请号：CN201710675694.2，公开号：CN107527352A)中提出了一种深度学习的FCN全卷积网络的遥感图像舰船目标检测方法。首先构建遥感舰船目标数据库，对其中遥感舰船目标进行逐像素标注，随后设计一种更深的6层全卷积网络6-FCN结构通过卷积与反卷积进行参数训练，最终对宽幅遥感检测图像进行重叠切分，检测后合并得到最终遥感影像舰船检测结果。但是，该方法仍然存在的不足之处是，无法有效的处理由于图像分辨率低所造成的舰船目标边缘模糊的问题。

目前目标检测算法在分辨率低的光学遥感图像进行目标检测时，存在的目标尺寸小且边缘模糊的问题，以及因此导致的光学遥感图像目标检测时常常会出现漏检小目标的问题。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种提高小目标检测准确率的基于轮廓波分组卷积的光学遥感图像飞机和舰船目标检测方法。

本发明是一种基于轮廓波分组卷积的深度卷积网络光学遥感图像目标检测方法，其特征在于，包括如下步骤：

(1)构造测试数据集：

(1a)用窗口大小为512×512×3像素，且步长为300×300×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为512×512×3像素的切割数据块，保存每一个切割数据块对应划窗步数。

(1b)按照测试数据集命名规则，对每个切割数据块进行命名。

(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理，得到测试数据集。

(2)构造训练数据集：

(2a)选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割得到大小为512×512×3像素的训练数据。

(2b)对得到的训练数据块进行数据增强处理，形成完整的训练数据集。

(3)对训练数据集及测试数据集分别进行非轮廓下采样变换数据增强。

(3a)分别对切割好的训练数据及测试数据，依次进行非轮廓下采样变换，使用NSCT变换得到低频子带及高频子带。

(3b)对(3a)中得到的低频子带进行线性变换。

(3c)对(3a)中的高频子带使用自适应阈值函数，使其有效抑制噪声并减轻高频子带对图像细节信息的影响。

(3d)对(3b)和(3c)中得到的线性变化后的低频子带和经自适应阈值函数过滤的高频子带结果进行NSCT反变换，得到数据增强后的训练数据集和测试数据集。

(4)构建基于分组卷积金字塔特征的目标检测网络：

(4a)构建用于分别以增强前图像和增强后图像作为输入的分组卷积模块。

(4b)构建残差连接卷积模块。

(4c)构建用于增强小目标表达能力并融合各层特征的特征金字塔卷积模块。

(4d)使用(4b)中的残差连接卷积模块和(4c)的特征金字塔卷积模块构建残差金字塔网络。

(4e)使用(4a)的分组卷积模块、(4d)的残差金字塔网络建基于分组特征金字塔卷积的目标检测网络。

(5)用增强前的训练数据集及增强后的训练数据集作为输入对基于分组特征金字塔卷积的深度卷积神经网络进行训练，得到训练好的基于分组特征金字塔卷积的深度卷积神经网络。

(6)对测试数据集进行检测：

(6a)将增强前的测试数据集及增强后的测试数据集中的数据块，依次输入到训练好的基于分组特征金字塔卷积的目标检测网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。

(6b)保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框。

(6c)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。

本发明与现有其他光学遥感图像目标检测方法相比，能够利用非轮廓波下采样方法进行边缘增强，将分组卷积模块加入到深度特征金字塔卷积目标检测网络中增加边缘模糊的小目标的特征表达能力以提高检测准确率，并通过融合多层网络特征以提高小目标检测准确率。

本发明与现有的技术相比具有以下优点：

第一，由于基于分组特征金字塔卷积的深度卷积神经网络目标检测方法使用非下采样轮廓变换边缘增强方法，并结合分组卷积，并同时使用增强前的图像和增强后的图像作为输入，增强后的图像能强化目标的边缘信息，增强前的图像能保留目标更丰富的纹理信息，使用分组卷积的方法使网络在学习时自动学习特征组合，克服了现有技术的使用中无法有效利用非下采样轮廓变换的边缘信息与原始图像更丰富的纹理信息的缺点，使得网络特征的输入更为丰富，使得本发明更适用于目标检测网络，提高了飞机和舰船目标检测的准确率。

第二，由于基于分组特征金字塔卷积的深度卷积神经网络目标检测方法，网络中的特征金字塔卷积模块，能有效的以分组卷积作为输入并逐阶段提取特征，并通过上采样的方法结合来自更高层的语义特征，使得网络可以将深层特征与浅层特征有效结合并克服不同阶段特征图的语义鸿沟，使得深层特征及浅层特征能更有效地同时应用于分类和回归，从而整体的提高光学遥感图像所以小目标(小型飞机与舰船)的目标检测与分类的准确率。

附图说明

图1是本发明的流程图；

图2是本发明中的分组卷积模块和使用分组卷积和特征金字塔网络的模块图。

图3是本发明中的特征金字塔单层结构示意图。

图4是本发明中基于分组特征金字塔卷积的目标检测网络图。

具体实施方式

下面结合附图对本发明的作详细描述。

实施例1

现有技术中由于光学遥感图像尺寸大、分辨率低，目标尺寸小，且目标的边缘模糊，导致现有的方法在进行光学遥感图像目标检测时常常无法较好的学习到小目标的特征，进而导致小目标的准确率低。

本发明针对这种现状展开了研究，提出一种轮廓波分组特征金字塔卷积的遥感目标检测方法，参见图1，本发明是首先使用非轮廓波下采样变换进行边缘增强，并使用分组卷积及通道打散技术使网络可同时输入增强前的图像和增强后的图像并自动学习特征组合，以此作为深度特征金字塔卷积网络的输入，所提取特征更适用于目标检测任务，能够提高光学遥感图像目标检测的准确率，包括如下步骤：

(1)构造测试数据集：

(1a)用窗口大小为512×512×3像素，且步长为300×300×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为512×512×3像素的切割数据块，保存每一个切割数据块对应划窗步数；

(1b)按照测试数据集命名规则，对每个切割数据块进行命名。

(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理，得到测试数据集。

(2)构造训练数据集：

(2a)选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割得到大小为512×512×3像素的训练数据。

(2b)对得到的训练数据块进行数据增强处理，形成完整的训练数据集。

(3)对训练数据集及测试数据集分别进行非轮廓下采样变换数据增强：

(3a)分别对切割好的训练数据及测试数据，依次进行非轮廓下采样变换，使用NSCT变换得到低频子带及高频子带。

(3b)对(3a)中得到的低频子带进行线性变换。

(3c)对(3a)中的高频子带使用自适应阈值函数，使其有效抑制噪声并减轻高频子带对图像细节信息的影响。

(3d)对(3b)和(3c)中得到的线性变化后的低频子带和经自适应阈值函数过滤的高频子带结果进行NSCT反变换，得到数据增强后的训练数据集和测试数据集。

(4)构建基于分组卷积金字塔特征的目标检测网络：

(4a)构建用于分别以增强前图像和增强后图像作为输入的分组卷积模块。

(4b)构建残差连接卷积模块。

(4c)构建用于增强小目标表达能力并融合各层特征的特征金字塔卷积模块。

(4d)使用(4b)中的残差链接卷积模块和(4c)的特征金字塔卷积模块构建残差金字塔网络。

(4e)使用(4a)的分组卷积模块、(4d)的残差金字塔网络建基于分组特征金字塔卷积的目标检测网络。

(5)用增强前的训练数据集及增强后的训练数据集作为输入对基于分组特征金字塔卷积的深度卷积神经网络进行训练，得到训练好的基于分组特征金字塔卷积的深度卷积神经网络。

(6)对测试数据集进行检测：

(6a)将增强前的测试数据集及增强后的测试数据集中的数据块，依次输入到训练好的基于分组特征金字塔卷积的目标检测网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。

(6b)保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框。

(6c)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。

本发明的思路是通过利用非负采样轮廓波对图像中的目标边缘进行增强，并使用分组卷积和多特征融合，提取出更适合于目标检测任务的特征，，能够提高光学遥感图像目标检测的准确率。

本发明与现有其他光学遥感图像目标检测方法相比，能够利用非轮廓波下采样方法进行边缘增强，将分组卷积模块加入到深度特征金字塔卷积目标检测网络中增加边缘模糊的小目标的特征表达能力以提高检测准确率，并通过融合多层网络特征以提高小目标检测准确率。

实施例2

基于轮廓波分组特征金字塔卷积的光学遥感图像目标检测方法同实施例1，图2(a)展示了本发明分组卷积实施卷积的详细过程，图2(b)展示了本发明的分组卷积模块的示意图，该分组卷积模块使用1×1的分组卷积和3×3可分卷积的卷积核构建分组卷积模块，分组卷积模块为三层，其模块结构为：输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→输出层。

本例中，该分组卷积模块的具体参数设置如下：

分组卷积模块中第一个1x1分组卷积，组个数为2，不同的组分别以边缘增强前图像与边缘增强后图像作为输入，每组的通道数均为32，并连接批量归一化层及relu激活函数。

分组卷积模块中的通道打散层，使用CUDA随机稀疏卷积模块实现。

分组卷积模块中第二个3x3可分卷积，通道数为128，并连接批量归一化层。

分组卷积模块中第二个1x1分组卷积，组个数为64，每组的通道数均为2，并连接批量归一化层及relu激活函数。

本发明基于轮廓波分组特征金字塔卷积的遥感目标检测方法，分组卷积模块使用分组的1×1、3×3卷积核，在执行分组卷积的同时减少了网络的参数，缩短了网络检测的时间，同时通道打散操作有助于网络自动选择特征。

由于本发明提出的基于分组特征金字塔卷积的深度卷积神经网络目标检测方法使用非下采样轮廓变换边缘增强方法对图像进行增强，使用增强前的图像和增强后的图像作为输入，使用分组卷积的方法使网络在学习时自动学习特征组合，克服了现有技术的使用中无法有效利用非下采样轮廓变换的边缘信息与原始图像更丰富的纹理信息的缺点，使得网络特征的输入更为丰富，本发明更适用于目标检测网络，提高了飞机和舰船目标检测的准确率。

实施例3

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-2，步骤(4b)中所述的残差连接卷积模块是指：上一阶段特征图输入层→第一个卷积层→第二个卷积层→第三个卷积层→与来自特征图输入层的输出进行逐点相加→当前阶段特征图输出层。

实施例4

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-3，参见图3，步骤(4c)中所述特征金字塔卷积模块是指：选取网络某阶段的特征图作为输入→第一个3x3卷积层→第一个1x1卷积层→输出特征图1，选取相对此阶段更高阶段的输出作为输入→上采样→输出特征图2，输出特征图1与输出特征图2进行逐点相加→第一个池化层→当前阶段特征金字塔子网络输出。

实施例5

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-4，步骤(4d)中所述的残差金字塔网络是指：使用步骤(4a)的输出作为(4d)网络结构的输入，其块结构为，输入层→第一个卷积层→第一个最大值池化层→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→第一个特征金字塔卷积层→第三个残差连接卷积阶段S3→第二个特征金字塔卷积层→第四个残差连接卷积阶段S4→第三个特征金字塔卷积层→第五残差连接卷积阶段S5→第四个特征金字塔卷积层→最大池化阶段S6→第五个特征金字塔卷积层。

由于本发明基于分组特征金字塔卷积的深度卷积神经网络目标检测方法，目标检测网络中使用特征金字塔卷积模块，能通过上采样的方法结合来自更高层的语义特征，使得网络可以将深层特征与浅层特征有效结合并克服不同阶段特征图的语义鸿沟，使得深层特征及浅层特征能更有效地融合并应用于分类和回归，从整体上提高了光学遥感图像重小目标的检测与分类的准确率。

实施例6

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-5，参见图4，步骤(4e)中所述用于图像目标检测的基于轮廓波分组特征金字塔卷积网络结构是指：原始图像层及NSCT变换后图像层→分组卷积模块→基于残差连接卷积模块的基础网络→RPN提取候选框层→ROI池化层→两个全连接层→分类回归层。本例中，其参数设置如下：

将第一个池化层的特征映射图的尺寸设置为3×3个节点，划窗步长为2。

将ROI池化层的特征映射图的输出尺寸设置为6×6个节点。

将每一个全连接层的特征映射图的总数设置为4096。

将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点，总数为18个，回归特征映射图的尺寸设置为24×24个节点，总数设置为36。

由于本发明基于分组特征金字塔卷积的深度卷积神经网络目标检测方法使用非下采样轮廓变换边缘增强方法，并结合分组卷积和特征金字塔卷积模块，对图像目标进行增强使用分组卷积的方法和金字塔网络，在自动学习特征组合的同时将深层特征与浅层特征有效融合，使得本发明更适用于目标检测网络，提高了飞机和舰船目标检测的准确率。

实施例7

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-6，步骤(5c)中所述非极大值抑制NMS处理是指：对所有检测框，按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。使得网路的检测结果准确率更高、虚警率更低。

下面给出一个更加完整详尽的例子，对本发明作进一步描述。

实施例8

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-7，参照图1，

步骤1，构造测试数据集。

用窗口大小为512×512×3像素，且步长为400×400×3像素的划窗，对待检测多幅光学遥感图像进行逐一切割，每一幅光学遥感图像切割后得到多个大小为512×512×3像素的切割数据块，保存每一个切割数据块对应划窗步数。

步骤2，构造训练数据集。

从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割出大小为512×512×3像素的切割数据块,得到多个切割数据块。对切割数据块依次进行图像尺度变换、图像平移、图像旋转、图像镜像、图像对比度与亮度调整以及图像加入噪声等数据增强处理操作，形成训练数据集。

步骤3，针对训练数据集及测试数据集进行非轮廓下采样变换数据增强：

对切割好的训练数据及测试数据，依次进行非轮廓下采样变换，非轮廓下采样变换将得到低频子带及若干的高频子带；(1)所得到的低频子带，进行线性变换；(2)所得到的若干高频子带，使用自适应阈值函数，使其有效抑制噪声并同时能减轻对图像细节信息的影响；对(1)(2)所得到的结果进行非轮廓下采样反变换，反变换后的图像在不同目录下保存为与训练数据或测试数据同名的副本，得到增强后的训练集和验证集。

步骤4，构建用于结合非下采样变换图像特征及原图特征的基于分组卷积金字塔特征的目标检测网络：

构建用于提取结合非下采样变换图像特征及原图特征的分组卷积模块，基础卷积模块为三层，其块结构为：输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→输出层。

该分组卷积模块的具体参数设置如下：

分组卷积模块中第一个1x1分组卷积，组个数为2，不同的组分别以边缘增强前图像与边缘增强后图像作为输入，每组的通道数均为32，并连接批量归一化层及relu激活函数。

分组卷积模块中的通道打散层，使用CUDA随机稀疏卷积模块实现。

分组卷积模块中第二个3x3可分卷积，通道数为128，并连接批量归一化层。

分组卷积模块中第二个1x1分组卷积，组个数为64，每组的通道数均为2，并连接批量归一化层及relu激活函数。

构建用于结合多层特征改善小目标检测的特征金字塔网络结构，其块结构为，输入→第一个卷积层→第一个最大值池化→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→→第一个特征金字塔子网络→第三残差连接卷积阶段S3→第二个特征金字塔子网络→第四个残差连接卷积阶段S4→第三个特征金字塔子网络→第五残差连接卷积阶段S5→第四个特征金字塔子网络→最大池化阶段S6→第五个特征金字塔子网络，其中特征金字塔子网络的结构为残差连接阶段→可变形卷积→第一个1x1卷积→来自更高阶段的特征图上采样→逐点相加，每个特征金字塔的输出均连接RPN子网络及分类回归网络，分类回归网络由第二章所介绍的基于可变形池化的位置得分映射所组成。

使用构建的分组卷积模块与特征金字塔卷积模块搭建用于结合非下采样变换图像特征及原图特征的基于分组卷积金字塔特征的目标检测网络；

本发明目标检测网络由1个分组卷积模块，5个残差连接卷积模块、5个特征金子塔子网络模块以及1个共享的RPN网络以及1个共享的分类回归网络所组成，参见图4，本例中，该目标检测网络由于使用特征融合，其具有两个单独的分类回归层输出，其结构是从输入到第一个分类回归层输出依次为：输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→第一个卷积层→第一个最大值池化→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→第一个特征金字塔子网络→第三残差连接卷积阶段S3→第二个特征金字塔子网络→第四个残差连接卷积阶段S4→第三个特征金字塔子网络→第五残差连接卷积阶段S5→第四个特征金字塔子网络→最大池化阶段S6→第五个特征金字塔子网络→共享的RPN提取候选框层(输入来自五个特征金字塔子网络)→共享的第一个ROI池化层→共享的第一个全连接层→共享的第二个全连接层→共享的第一个分类回归层(输入来自五个特征金字塔子网络)实现特征融合，提高检测精度。

步骤5，用训练数据集对基于轮廓波分组残差卷积的深度卷积神经网络进行训练，得到训练好的基于轮廓波分组特征金字塔深度卷积神经网络。

步骤6，对测试数据集进行检测。将测试数据集中的数据块，依次输入到训练好的轮廓波分组特征金字塔卷积的遥感目标检测中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框。对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。非极大值抑制NMS处理是指：对所有检测框按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。

下面通过仿真及实验结果对本发明的技术效果再做说明。

实施例9

基于轮廓波分组特征金字塔卷积的遥感目标检测方法同实施例1-8，

仿真条件：

本发明仿真实验的硬件平台为：Intel(R)Xeon(R)GPU Z840，2.40GHz，内存为64G,Nvidia GTX 1080。

本发明仿真实验的软件平台为：Caffe。

仿真内容与结果：

本发明的仿真实验是分别采用本发明的方法与现有技术的FPN的方法，对QuickBird卫星中接收的珠江三角洲地区光学遥感图像进行目标检测。

表1是仿真实验中本发明方法与现有技术的FPN的学习率、迭代次数等实验网络参数设置：

表1实验网络参数设置一览表

网络参数	FPN	本发明方法
			学习率	0.001	0.001
迭代次数	30000 20000 30000 20000	30000 20000 30000 20000

下面采用准确率和平均精度mAP(mean average precision)两个指标，分别对本发明与现有技术FPN的两种光学遥感图像目标检测结果进行评价，利用下式，分别计算本发明与现有技术FPN的光学遥感图像目标检结果的准确率和平均精度mAP：

召回率＝总检测正确目标数/总实际目标数

准确率＝总检测正确目标数/总检测目标数

绘制准确率-召回率曲线，根据曲线的面积得到目标检测的检测精度AP，将多个类别的AP求均值得到平均精度mAP。

表2仿真实验测试结果一览表

	FPN	本发明方法
			飞机	0.9672	0.9763
舰船	0.6653	0.6962
			mAP	0.8163	0.8363

表2中分别列出了本发明与现有技术FPN的飞机测试准确率、舰船测试准确率、mAP指标。

从表2可见现有技术FPN的检测飞机的精度为96.72％，检测舰船的精度为66.53％，平均精度为81.63％。本发明方法的检测飞机的精度为97.63％，检测舰船的精度为69.62％，平均精度为83.63％。由表2可见本发明的方法在检测飞机与舰船检测结果以及整体性能上均优于现有技术FPN的检测结果。

本发明通过在深度卷积神经网络目标检测与分类的基础上添加了用于融合非下采样轮廓变换的边缘特征的分组卷积模块并使用特征金子塔结构的网络进行融合，有效的提高了光学遥感图像飞机舰船检测与分类的精度。

综上所述，本发明公开的基于轮廓波分组特征金字塔卷积的遥感图像目标检测方法，主要解决现有技术中光学遥感图像中飞机与舰船检测由于目标尺寸小且边缘模糊而引起的召回率低虚警率高的技术问题。具体步骤如下：(1)构造测试数据集；(2)构造训练数据集；(3)搭建用于改善小目标边缘特征提取的基于轮廓波分组特征金字塔卷积的目标检测网络；(4)利用训练数据集训练基于轮廓波分组特征金字塔卷积的目标检测网络；(5)利用训练好的基于轮廓波分组特征金字塔卷积的目标检测网络对测试数据集进行目标检测；(6)输出测试结果。本发明构建的网络，使用非轮廓下采样变换改善图像的边缘特征，使用分组卷积模块分别提取原图的纹理特征和变换后的与特征融合，更适用于光学遥感图像目标检测，不仅提高了普通目标准确率，而且针对光学遥感图像小目标检测准确率有明显提高。用于光学遥感图像的地物目标检测。

Claims (7)

1.一种基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，包括如下步骤：

(1)构造测试数据集：

(1a)用窗口大小为512×512×3像素，且步长为300×300×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为512×512×3像素的切割数据块，保存每一个切割数据块对应划窗步数；

(1b)按照测试数据集命名规则，对每个切割数据块进行命名；

(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理，得到测试数据集；

(2)选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割得到大小为512×512×3像素的训练数据，并对训练数据块进行数据增强处理，形成训练数据集；

(3)对训练数据集及测试数据集分别进行非轮廓下采样变换：

(3a)分别对切割好的训练数据及测试数据，依次进行非轮廓下采样变换，使用NSCT变换得到低频子带及高频子带；

(3b)对得到的低频子带进行线性变换；

(3c)对高频子带使用自适应阈值函数，使其有效抑制噪声并减轻高频子带对图像细节信息的影响；

(3d)对线性变化后的低频子带和经自适应阈值函数过滤的高频子带结果进行NSCT反变换，得到数据增强后的训练数据集和测试数据集；

(4)构建基于分组卷积金字塔特征的目标检测网络：

(4a)构建用于分别以增强前图像和增强后图像作为输入的分组卷积模块；

(4b)构建残差连接卷积模块；

(4c)构建用于增强小目标表达能力并融合各层特征的特征金字塔卷积模块；

(4d)使用残差连接卷积模块和特征金字塔卷积模块构建残差金字塔网络；

(4e)使用分组卷积模块、残差金字塔网络构建基于分组特征金字塔卷积的目标检测网络；

(5)用增强前的训练数据集及增强后的训练数据集作为输入对基于分组特征金字塔卷积的深度卷积神经网络进行训练，得到训练好的基于分组特征金字塔卷积的深度卷积神经网络；

(6)对测试数据集进行检测：

(6a)将增强前的测试数据集及增强后的测试数据集中的数据块，依次输入到训练好的基于分组特征金字塔卷积的目标检测网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别；

(6b)保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框；

(6c)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。

2.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，步骤(4a)中所述分组卷积模块是指：使用1×1的分组卷积和3×3可分卷积的卷积核构建分组卷积模块，分组卷积模块为三层，其块结构为：输入层→第一个1x1分组卷积→第一个3x3可分卷积层→第二个1x1分组卷积→输出层；

该分组卷积模块的具体参数设置如下：

分组卷积模块中第一个1x1分组卷积，组个数为2，不同的组分别以边缘增强前图像与边缘增强后图像作为输入，每组的通道数均为32，并连接批量归一化层及relu激活函数；

分组卷积模块中的通道打散层，使用CUDA随机稀疏卷积模块实现；

分组卷积模块中第二个3x3可分卷积，通道数为128，并连接批量归一化层；

分组卷积模块中第二个1x1分组卷积，组个数为64，每组的通道数均为2，并连接批量归一化层及relu激活函数。

3.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，步骤(4b)中所述的残差连接卷积模块是指：上一阶段特征图输入层→第一个卷积层→第二个卷积层→第三个卷积层→与来自特征图输入层的输出进行逐点相加→当前阶段特征图输出层。

4.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，步骤(4c)中所述特征金字塔卷积模块是指：选取网络某阶段的特征图作为输入→第一个3x3卷积层→第一个1x1卷积层→输出特征图1，选取相对此阶段更高阶段的输出作为输入→上采样→输出特征图2，输出特征图1与输出特征图2进行逐点相加→第一个池化层→当前阶段特征金字塔子网络输出。

5.据权利要求1所述的基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，步骤(4d)中所述的残差金字塔网络是指：其块结构为，输入层→第一个卷积层→第一个最大值池化层→第一残差连接卷积阶段S1→第二残差连接卷积阶段S2→第一个特征金字塔卷积层→第三个残差连接卷积阶段S3→第二个特征金字塔卷积层→第四个残差连接卷积阶段S4→第三个特征金字塔卷积层→第五残差连接卷积阶段S5→第四个特征金字塔卷积层→最大池化阶段S6→第五个特征金字塔卷积层。

6.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，步骤(4e)中所述用于图像目标检测的基于轮廓波分组特征金字塔卷积网络结构是指：原始图像层及NSCT变换后图像层→分组卷积模块→基于残差连接卷积模块的基础网络→RPN提取候选框层→ROI池化层→两个全连接层→分类回归层，其参数设置如下：

将第一个池化层的特征映射图的尺寸设置为3×3个节点，划窗步长为2；

将ROI池化层的特征映射图的输出尺寸设置为6×6个节点；

将每一个全连接层的特征映射图的总数设置为4096；

将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点，总数为18个，回归特征映射图的尺寸设置为24×24个节点，总数设置为36。

7.根据权利要求1所述的基于轮廓波分组特征金字塔卷积的遥感目标检测方法，其特征在于，非极大值抑制NMS处理是指：对所有检测框，按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。

Images