CN109271856B - 基于扩张残差卷积的光学遥感图像目标检测方法 - Google Patents
基于扩张残差卷积的光学遥感图像目标检测方法 Download PDFInfo
- Publication number
- CN109271856B CN109271856B CN201810907184.8A CN201810907184A CN109271856B CN 109271856 B CN109271856 B CN 109271856B CN 201810907184 A CN201810907184 A CN 201810907184A CN 109271856 B CN109271856 B CN 109271856B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- setting
- multiplied
- total number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，解决了现有技术中光学遥感图像飞机与舰船检测正确率低、虚警率高的问题。实现步骤如下：构造测试数据集；构造训练数据集；搭建用于扩展特征感受野的基于扩张残差卷积的目标检测网络；利用训练数据集训练基于扩张残差卷积的目标检测网络；利用训练好的基于扩张残差卷积的目标检测网络对测试数据集进行目标检测；输出测试结果。本发明构建的网络，使用扩张残差卷积模块与特征融合，更适用于光学遥感图像目标检测，不仅提高了普通目标准确率，而且针对光学遥感图像小目标检测准确率有明显提高。用于光学遥感图像的地物目标检测。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及光学遥感图像目标检测技术，具体是一种基于扩张残差卷积的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的飞机与舰船的地物目标检测。
背景技术
目标检测技术是计算机视觉领域的核心问题之一，遥感目标检测是以遥感卫星捕捉到的影像为数据源，采用图像处理技术对影像中感兴趣目标进行定位和分类。遥感目标检测是遥感应用技术中重要的一环，可以在高科技军事对抗中，捕捉攻击目标，提供精确的位置信息等，在军事领域有至关重要的意义。
Shaoqing Ren在其发表的论文“Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks”(神经信息处理系统进展大会NIPS(NeuralInformation Processing Systems蒙特利尔国际会议论文2015年)中提出了一种基于区域生成网络RPN(Region Proposal Networks)的目标检测方法。该方法首先利用基础网络VGG-16卷积特征层来生成候选区域，即训练区域生成网络RPN，快速的生成高质量的候选框，取代了原来的选择性搜索SS(Selective Search)；然后根据预测的高质量的候选框，在卷积的高级语义特征上进行感兴趣区域ROI(Region of Interest)池化，将池化后的特征接全连接层，分别预测候选框的类别和位置偏移；最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non Maximum Suppression)，得到最后的检测结果。该方法能够准确丰富的表示目标的特征，并且能够很好地提取目标候选框，通过共享卷积参数减少候选框提取时间等优点，但是，该方法仍然存在不足之处是，由于光学遥感图像尺寸大、分辨率低，尤其是在舰船的检测中，舰船目标小并且舰船的特征经常会与一些长条形的建筑或者大型车辆集装箱的特征相似，导致该方法在进行光学遥感图像目标检测时常常会将陆地上的物体误检测为舰船。
专利文献“一种基于深度学习的鲁棒性舰船目标检测方法”(专利申请号：CN201710677418.X，公开号：CN107563303A)中提出了一种深度学习的遥感图像目标检测方法。该方法首先对训练样本进行处理并训练，得到训练分类器；之后对待检测的遥感图像进行预处理并使用随机森林进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；然后训练特征提取网络，并利用海陆分割区域的旋转不变深度特征，通过多层卷积得到特征图并用深层卷积预测目标；最后利用分类激活特征图的方法得到舰船这一类别的响应图，对得到的响应图求连通域，得到初步检测框，对舰船的参数进行估计，得到带有检测框的结果图。该方法通过训练分类器进行海陆分离来辅助遥感图像的特征进行检测，能够预测鲁棒性的目标检测的结果，减少由并排摆放引发的舰船漏检。但是，该方法仍然存在的不足之处是，第一，在目标检测中将检测过程分成了多个部分，检测与分割使用不同网络，导致该方法实施复杂度高。第二，由于网络提取特征时多次进行下采样，使得网络特征的感受野过大，不利于回归任务。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种提高小目标检测准确率的基于扩张残差卷积的光学遥感图像飞机和舰船目标检测方法。
本发明是一种基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，其特征在于，该方法是在深度卷积网络中使用扩张残差卷积与特征融合，提取特征更适用于目标检测任务，能够提高光学遥感图像目标检测的准确率，包括如下步骤：
(1)构造测试数据集：
(1a)用窗口大小为768×768×3像素，且步长为300×300×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为768×768×3像素的切割数据块，保存每一个切割数据块对应划窗步数；
(1b)按照测试数据集命名规则，对每个切割数据块进行命名；
(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理，形成测试数据集；
(2)构造训练数据集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割出大小为768×768×3像素的切割数据块,得到多个切割数据块；
(2c)对得到的切割数据块进行数据增强处理，形成训练数据集；
(3)构建用于扩展特征感受野的基于扩张残差卷积的目标检测网络：
(3a)构建用于提取图像特征的基础卷积模块；
(3b)构建用于不增加参数量的情况下，扩展特征感受野的扩张残差卷积模块；
(3c)使用构建的基础卷积模块与扩张残差卷积模块搭建特征融合的基于扩张残差卷积的目标检测网络；
(4)用训练数据集对基于扩张残差卷积的深度卷积神经网络进行训练，得到训练好的基于扩张残差卷积的深度卷积神经网络；
(5)对测试数据集进行检测：
(5a)将测试数据集中的数据块，依次输入到训练好的基于扩张残差卷积的深度卷积神经网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别；
(5b)保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框；
(5c)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。
本发明与现有其他光学遥感图像目标检测方法相比，能够将扩张卷积模块加入到深度卷积目标检测网络中增加网络模型的感受野以提高检测准确率，并通过特征融合提高小目标检测准确。
本发明与现有的技术相比具有以下优点：
第一，由于基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，网络中的扩张残差卷积模块，使用空洞卷积核与普通卷积核结合，在增加特征感受野的同时没有对图像进行下采样，克服了现有技术在目标检测中使用的网络更适用于分类任务的问题，使得网络得到的特征既有全局信息又有局部信息，使得本发明更适用于目标检测网络，提高了飞机与舰船目标检测的准确率；
第二，由于基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，网络中使用了不同特征层进行特征融合，克服了现有技术中对光学遥感图像中的小目标目标检测与分类准确率低的问题，使得网络可以将深层特征与浅层特征相结合，深层特征用于分类，浅层特征用于回归，从而整体的提高光学遥感图像所以小目标(小型飞机与舰船)的目标检测与分类的准确率。
附图说明
图1是本发明的流程图；
图2是本发明中的基础卷积模块和扩张残差卷积模块图。
图3是本发明中基于扩张残差卷积的目标检测网络图。
具体实施方式
下面结合附图对本发明的作详细描述。
实施例1
现有技术中由于光学遥感图像尺寸大、分辨率低，尤其是在舰船的检测中，舰船目标小并且舰船的特征经常会与一些长条形的建筑或者大型车辆集装箱的特征相似，导致该方法在进行光学遥感图像目标检测时常常会将陆地上的物体误检测为舰船。本发明针对这种现象提一种基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，参见图1，本发明是在深度卷积网络中使用扩张残差卷积与特征融合，提取特征更适用于目标检测任务，能够提高光学遥感图像目标检测的准确率，包括如下步骤：
(1)构造测试数据集：
(1a)用窗口大小为768×768×3像素，且步长为300×300×3像素的划窗，对待检测多幅光学遥感图像进行逐一切割，每一幅光学遥感图像切割后为多个大小为768×768×3像素的切割数据块，保存每一个切割数据块对应的划窗步数；
(1b)按照测试数据集命名规则，对每个切割数据块进行命名；
(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理，形成测试数据集。
(2)构造训练数据集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅标注飞机和舰船坐标的光学遥感图像，以每个飞机或舰船目标为切割中心点，切割出大小为768×768×3像素的切割数据块,得到多个切割数据块；
(2c)对得到的切割数据块进行数据增强处理，形成训练数据集。
(3)构建用于扩展特征感受野的基于扩张残差卷积的目标检测网络：
(3a)构建用于提取图像特征的基础卷积模块；
(3b)构建用于不增加参数量的情况下，扩展特征感受野的扩张残差卷积模块；
(3c)使用构建的基础卷积模块与扩张残差卷积模块搭建特征融合的基于扩张残差卷积的目标检测网络。
本发明用于扩展特征感受野的基于扩张残差卷积的目标检测网络，由于使用了扩张残差卷积模块与特征融合，网络在提取深层特征时，不用进行下采样就可以将扩大特征的感受野，使得网络具有全局与局部结合的感受野，并且特征融合可以将网络的浅层特征与深层特征进行融合，浅层特征用于回归，深层特征用于分类，从而提高目标检测的精度。
(4)用训练数据集对基于扩张残差卷积的目标检测网络进行训练，得到训练好的基于扩张残差卷积的目标检测网络。该基于扩张残差卷积的目标检测网络为深度卷积神经网络。
(5)对测试数据集进行检测：
(5a)将测试数据集中的数据块，依次输入到训练好的基于扩张残差卷积的目标检测网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别；
(5b)保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框；
(5c)对所有保留候选框的坐标进行映射，映射到待检测的每一幅光学遥感图像上面并进行非极大值抑制NMS处理，得到待检测的每一幅光学遥感图像的检测结果。
由于本发明基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，网络中的扩张残差卷积模块，构建用于扩展特征感受野的基于扩张残差卷积的目标检测网络，使得本发明更适用于目标检测网络，提高了飞机与舰船目标检测的准确率。
实施例2
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-1，步骤(1b)中所述测试数据集命名规则是指，待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接，构成.jpg的文件格式。
实施例3
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-2，步骤(3a)中所述基础卷积模块是指：使用1×1和3×3的卷积核构建基础卷积模块，参见图2(a)，基础卷积模块为三层，其块结构为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→输出层，输入层与输出层级联→最终输出层。
该基础卷积模块又可以根据基础卷积模块内部每个卷积层参数不同分为四种：基础卷积模块一、基础卷积模块二、基础卷积模块三、基础卷积模块四。
四种基础卷积模块参数如下：
基础卷积模块一中将第一和第二个共两个卷积层的特征映射图的总数分别设置为64个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点。
基础卷积模块二中将第一和第二个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为1×1个节点。
基础卷积模块三中将第一和第二个共两个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为1×1个节点。
基础卷积模块四中将第一和第二个共两个卷积层的特征映射图的总数设置为512个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为2048个，卷积核的尺度设置为1×1个节点。
本发明基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，基础卷积模块使用1×1、3×3卷积核减少了网络结构的参数，缩短了网络检测的时间，基础卷积模块中的跳跃结构使得网络可以提取更深的特征。
实施例4
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-3，步骤(3b)中所述扩张残差卷积模块是指：使用1×1、3×3卷积核与3×3的扩张卷积层构建扩张残差卷积模块，参见图2(b)，本发明中扩张残差卷积模块为六层，其块结构为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→卷积输出层，输入层→第四个卷积层→第一个扩张卷积层→第五个卷积层→扩张卷积输出层，输入层、卷积输出层和扩张卷积输出层级联→最终输出层。
扩张残差卷积模块各层参数如下：
将第一至第三个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3、1×1个节点。
将第四与第五共二个卷积层的特征映射图的总数设置为256个，卷积核的尺度均设置为1×1个节点。
将第一个扩张卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
本发明基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，使用扩张卷积与普通卷积结合，在增加特征感受野的同时没有对图像进行下采样，克服了现有技术在目标检测中使用的网络更适用于分类任务的问题，使得网络得到的特征既有全局信息又有局部信息。
实施例5
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-4，步骤(3c)中所述搭建基于扩张残差卷积的目标检测网络是指：使用基本卷积模块以及扩张残差卷积模块搭建目标检测网络；本发明目标检测网络由16个基础卷积模块、4个扩张残差卷积模块以及6个卷积层组成，参见图3，本例中，该目标检测网络由于使用特征融合，其具有两个单独的分类回归层输出，其结构是从输入到第一个分类回归层输出依次为：输入层→第一个卷积层→第一个池化层→3个首尾相连的基础卷积模块一(3个依次连接)→第二个卷积层→4个首尾相连的基础卷积模块二(4个依次连接)→第三个卷积层→6个首尾相连的基础卷积模块三(6个依次连接)→第四个卷积层→3个首尾相连的基础卷积模块四(3个依次连接)→2个首尾相连的扩张残差卷积模块(2个依次连接)→第一个特征映射图→2个首尾相连的扩张残差卷积模块(2个依次连接)→第五个卷积层→第二个特征映射图→第一个RPN提取候选框层→第一个ROI池化层→第一个全连接层→第二个全连接层→第一个分类回归层。第二个分类回归层输出由第一特征映射图处导出，其结构依次为：第一个特征映射图→第六个卷积层→与第二个特征层进行级联→第二个RPN提取候选框层→第二个ROI池化层→第三个全连接层→第四个全连接层→第二个分类回归层。实现特征融合，提高检测精度。
目标检测网络各层参数如下：
基础卷积模块与扩张残差卷积模块参数在实施例3与实施例4已经定义完成，比如基础卷积模块一参数设置为：将基础卷积模块一中的第一和第二个共两个卷积层的特征映射图的总数分别设置为64个，卷积核的尺度分别设置为1×1、3×3个节点，将基础卷积模块一中的第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点。又如扩张残差卷积模块各层参数为：将扩张残差卷积模块的第一至第三个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3、1×1个节点。将扩张残差卷积模块的第四与第五共二个卷积层的特征映射图的总数设置为256个，卷积核的尺度均设置为1×1个节点。将扩张残差卷积模块的第一个扩张卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
将第一个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为7×7个节点，划窗步长为2。
将第二个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点，划窗步长为2。
将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点，划窗步长为2。
将第四个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点，划窗步长为2。
将第五个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点，划窗步长为1。
将第六个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点，划窗步长为1。
将第一个池化层的特征映射图的尺寸设置为3×3个节点，划窗步长为2。
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点。
将每一个全连接层的特征映射图的总数设置为4096。
将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点，总数为18个，回归特征映射图的尺寸设置为24×24个节点，总数设置为36。
本发明基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，网络中仅仅使用1×1、3×3大小的卷积，网络参数量小、网络运行速度快。并且网络在使用扩张残差卷积模块的同时将不同特征层进行特征融合，使得网络得到的特征既有全局信息又有局部信息并将深层特征与浅层特征相结合，深层特征用于分类，浅层特征用于回归，整体提高光学遥感图像目标检测性能，尤其针对小目标(小型飞机与舰船)的目标检测与分类的精度有明显提升。
实施例6
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-5，步骤(5c)中所述非极大值抑制NMS处理是指：对所有检测框，按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。使得网路的检测结果准确率更高、虚警率更低。
下面给出一个更加完整详尽的例子，对本发明作进一步描述。
实施例7
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-6，参照图1，
步骤1，构造测试数据集。
用窗口大小为768×768×3像素，且步长为300×300×3像素的划窗，对待检测多幅光学遥感图像进行逐一切割，每一幅光学遥感图像切割后得到多个大小为768×768×3像素的切割数据块，保存每一个切割数据块对应划窗步数。
按照测试数据集命名规则，对每个切割数据块进行命名，测试数据集命名规则是指，待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接，构成.jpg的文件格式。
利用归一化公式，对命名后的每一个切割数据块进行归一化处理，得到测试数据集。归一化公式如下：
其中，yi表示切割数据块归一化后的第i个像素点的值，xi表示切割数据块的第i个像素点的值，xmin表示切割数据块所有像素点中的最小值，xmin表示切割数据块所有像素点中的最小值。
步骤2，构造训练数据集。
从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割出大小为768×768×3像素的切割数据块,得到多个切割数据块。对切割数据块依次进行图像尺度变换、图像平移、图像旋转、图像镜像、图像对比度与亮度调整以及图像加入噪声等数据增强处理操作，形成训练数据集。
步骤3，构建用于扩展特征感受野的基于扩张残差卷积的目标检测网络。
构建用于提取图像特征的基础卷积模块。使用1×1和3×3的卷积核构建基础卷积模块，该基础卷积模为三层，其块结构为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→输出层，输入层与输出层级联→最终输出层。
该基础卷积模块又可以根据基础卷积模块内部每个卷积层参数不同分为四种：基础卷积模块一、基础卷积模块二、基础卷积模块三、基础卷积模块四。
四种基础卷积模块参数如下：
基础卷积模块一中将第一和第二个共两个卷积层的特征映射图的总数分别设置为64个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点。
基础卷积模块二中将第一和第二个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为1×1个节点。
基础卷积模块三中将第一和第二个共两个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为1×1个节点。
基础卷积模块四中将第一和第二个共两个卷积层的特征映射图的总数设置为512个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为2048个，卷积核的尺度设置为1×1个节点。
构建用于不增加参数量的情况下，扩展特征感受野的扩张残差卷积模块。使用1×1、3×3卷积核与3×3的扩张卷积层构建扩张残差卷积模块，该扩张残差卷积模块为六层，其块结构为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→卷积输出层，输入层→第四个卷积层→第一个扩张卷积层→第五个卷积层→扩张卷积输出层，输入层、卷积输出层和扩张卷积输出层级联→最终输出层。
扩张残差卷积模块各层参数如下：
将第一至第三个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3、1×1个节点。
将第四与第五共二个卷积层的特征映射图的总数设置为256个，卷积核的尺度均设置为1×1个节点。
将第一个扩张卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
使用构建的基础卷积模块与扩张残差卷积模块搭建特征融合的基于扩张残差卷积的目标检测网络。使用基本卷积模块以及扩张残差卷积模块搭建目标检测网络；本发明目标检测网络由16个基础卷积模块、4个扩张残差卷积模块以及6个卷积层组成，参见图3，本例中，目标检测网络由于使用特征融合，其具有两个单独的分类回归层输出，其结构是从输入到第一个分类回归层输出依次为：输入层→第一个卷积层→第一个池化层→3个首尾相连的基础卷积模块一(3个依次连接)→第二个卷积层→4个首尾相连的基础卷积模块二(4个依次连接)→第三个卷积层→6个首尾相连的基础卷积模块三(6个依次连接)→第四个卷积层→3个首尾相连的基础卷积模块四(3个依次连接)→2个首尾相连的扩张残差卷积模块(2个依次连接)→第一个特征映射图→2个首尾相连的扩张残差卷积模块(2个依次连接)→第五个卷积层→第二个特征映射图→第一个RPN提取候选框层→第一个ROI池化层→第一个全连接层→第二个全连接层→第一个分类回归层。第二个分类回归层输出由第一特征映射图处导出，其结构依次为：第一个特征映射图→第六个卷积层→与第二个特征层进行级联→第二个RPN提取候选框层→第二个ROI池化层→第三个全连接层→第四个全连接层→第二个分类回归层。
目标检测网络各层参数如下：
将第一个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为7×7个节点，划窗步长为2。
将第二个卷积层的特征映射图的总数设置为123个，卷积核的尺度设置为3×3个节点，划窗步长为2。
将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点，划窗步长为2。
将第四个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点，划窗步长为2。
将第五个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点，划窗步长为1。
将第六个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点，划窗步长为1。
将第一个池化层的特征映射图的尺寸设置为3×3个节点，划窗步长为2。
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点。
将每一个全连接层的特征映射图的总数设置为4096。
将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点，总数为18个，回归特征映射图的尺寸设置为24×24个节点，总数设置为36。
步骤4，用训练数据集对基于扩张残差卷积的深度卷积神经网络进行训练，得到训练好的基于扩张残差卷积的深度卷积神经网络。
步骤5，对测试数据集进行检测。将测试数据集中的数据块，依次输入到训练好的基于扩张残差卷积的深度卷积神经网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别。保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框。对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。非极大值抑制NMS处理是指：对所有检测框按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
实施例8
基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法同实施例1-7，
仿真条件：
本发明仿真实验的硬件平台为：Intel(R)Xeon(R)GPU Z480，2.40GHz*16，内存为64G。
本发明仿真实验的软件平台为：tensorflow1.6。
仿真内容与结果：
本发明的仿真实验是分别采用本发明的方法与现有技术的MASK R-CNN的方法，对QuickBird卫星中接收的珠江三角洲地区光学遥感图像进行目标检测。
表1中是本发明的仿真实验中本发明方法与现有技术的MASK R-CNN的学习率、迭代次数等实验网络参数设置：
表1实验网络参数设置一览表
| 网络参数 | MASK R-CNN | 本发明方法 |
| 学习率 | 0.001 | 0.001 |
| 迭代次数 | 30000 20000 30000 20000 | 30000 20000 30000 20000 |
下面采用准确率和平均精度mAP(mean average precision)两个指标，分别对本发明与现有技术MASK R-CNN的两种光学遥感图像目标检测结果进行评价，利用下式，分别计算本发明与现有技术MASK R-CNN的光学遥感图像目标检结果的准确率和平均精度mAP：
召回率＝总检测正确目标数/总实际目标数
准确率＝总检测正确目标数/总检测目标数
绘制准确率-召回率曲线，根据曲线的面积得到目标检测的检测精度AP，将多个类别的AP求均值得到平均精度mAP。
表2仿真实验测试结果一览表
| MASK R-CNN | 本发明方法 | |
| 飞机 | 0.9533 | 0.9648 |
| 舰船 | 0.6046 | 0.6112 |
| mAP | 0.7789 | 0.7880 |
表2中分别列出了本发明与现有技术MASK R-CNN的飞机测试准确率、舰船测试准确率、mAP指标。从表2可见现有技术MASK R-CNN的检测飞机的精度为95.33％，检测舰船的精度为60.46％，平均精度为77.89％。本发明方法的检测飞机的精度为96.48％，检测舰船的精度为61.12％，平均精度为78.80％。由表2可见本发明的方法在检测飞机与舰船检测结果以及整体性能上均优于现有技术MASK R-CNN的检测结果。
本发明通过在深度卷积神经网络目标检测与分类的基础上添加了扩张残差卷积模块并对特征进行融合，有效的提高了光学遥感图像飞机舰船检测与分类的精度。
综上所述，本发明公开的基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，主要解决现有技术中光学遥感图像中飞机与舰船检测正确率低虚警率高的技术问题。具体步骤如下：(1)构造测试数据集；(2)构造训练数据集；(3)搭建用于扩展特征感受野的基于扩张残差卷积的目标检测网络；(4)利用训练数据集训练基于扩张残差卷积的目标检测网络；(5)利用训练好的基于扩张残差卷积的目标检测网络对测试数据集进行目标检测；(6)输出测试结果。本发明构建的网络，使用扩张残差卷积模块与特征融合，更适用于光学遥感图像目标检测，不仅提高了普通目标准确率，而且针对光学遥感图像小目标检测准确率有明显提高。用于光学遥感图像的地物目标检测。
Claims (3)
1.一种基于扩张残差卷积的深度卷积网络光学遥感图像目标检测方法，其特征在于，该方法是在深度卷积网络中使用扩张残差卷积与特征融合，提取特征更适用于目标检测任务，能够提高光学遥感图像目标检测的准确率，包括如下步骤：
(1)构造测试数据集：
(1a)用窗口大小为768×768×3像素，且步长为300×300×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为768×768×3像素的切割数据块，保存每一个切割数据块对应划窗步数；
(1b)按照测试数据集命名规则，对每个切割数据块进行命名；
(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理，得到测试数据集；
(2)构造训练数据集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，以每个飞机和舰船目标为切割中心点，切割出大小为768×768×3像素的切割数据块,得到多个切割数据块；
(2c)对得到的切割数据块进行数据增强处理，得到训练数据集；
(3)构建用于扩展特征感受野的基于扩张残差卷积的目标检测网络：
(3a)构建用于提取图像特征的基础卷积模块；基础卷积模块是指：使用1×1和3×3的卷积核构建基础卷积模块，该基础卷积模块为三层，其块结构为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→输出层，输入层与输出层级联→最终输出层；
该基础卷积模块又可以根据基础卷积模块内部每个卷积层参数不同分为四种：基础卷积模块一、基础卷积模块二、基础卷积模块三、基础卷积模块四；
四种基础卷积模块参数如下：
基础卷积模块一中将第一和第二个共两个卷积层的特征映射图的总数分别设置为64个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点；
基础卷积模块二中将第一和第二个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为1×1个节点；
基础卷积模块三中将第一和第二个共两个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为1×1个节点；
基础卷积模块四中将第一和第二个共两个卷积层的特征映射图的总数设置为512个，卷积核的尺度分别设置为1×1、3×3个节点；将第三个卷积层的特征映射图的总数设置为2048个，卷积核的尺度设置为1×1个节点；
(3b)构建用于不增加参数量的情况下，扩展特征感受野的扩张残差卷积模块；扩张残差卷积模块是指：使用1×1、3×3卷积核与3×3的扩张卷积层构建扩张残差卷积模块，该扩张残差卷积模块为六层，其块结构为：输入层→第一个卷积层→第二个卷积层→第三个卷积层→卷积输出层，输入层→第四个卷积层→第一个扩张卷积层→第五个卷积层→扩张卷积输出层，输入层、卷积输出层和扩张卷积输出层级联→最终输出层；
扩张残差卷积模块各层参数如下：
将第一至第三个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度分别设置为1×1、3×3、1×1个节点；
将第四与第五共二个卷积层的特征映射图的总数设置为256个，卷积核的尺度均设置为1×1个节点；
将第一个扩张卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
(3c)使用构建的基础卷积模块与扩张残差卷积模块搭建特征融合的基于扩张残差卷积的目标检测网络；搭建基于扩张残差卷积的目标检测网络是指：使用基础卷积模块以及扩张残差卷积模块搭建目标检测网络；该网络由16个基础卷积模块、4个扩张残差卷积模块以及6个卷积层组成，其具有两个单独的分类回归层输出，其结构是从输入到第一个分类回归层输出依次为：输入层→第一个卷积层→第一个池化层→3个首尾相连的基础卷积模块一→第二个卷积层→4个首尾相连的基础卷积模块二→第三个卷积层→6个首尾相连的基础卷积模块三→第四个卷积层→3个首尾相连的基础卷积模块四→2个首尾相连的扩张残差卷积模块→第一个特征映射图→2个首尾相连的扩张残差卷积模块→第五个卷积层→第二个特征映射图→第一个RPN提取候选框层→第一个ROI池化层→第一个全连接层→第二个全连接层→第一个分类回归层；第二个分类回归层输出由第一特征映射图处导出，其结构依次为：第一个特征映射图→第六个卷积层→与第二个特征层进行级联→第二个RPN提取候选框层→第二个ROI池化层→第三个全连接层→第四个全连接层→第二个分类回归层；
目标检测网络各层参数如下：
将第一个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为7×7个节点，划窗步长为2；
将第二个卷积层的特征映射图的总数设置为123个，卷积核的尺度设置为3×3个节点，划窗步长为2；
将第三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点，划窗步长为2；
将第四个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点，划窗步长为2；
将第五个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点，划窗步长为1；
将第六个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点，划窗步长为1；
将第一个池化层的特征映射图的尺寸设置为3×3个节点，划窗步长为2；
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点；
将每一个全连接层的特征映射图的总数设置为4096；
将每一个分类回归层中的分类特征映射图的尺寸设置为24×24个节点，总数为18个，回归特征映射图的尺寸设置为24×24个节点，总数设置为36；
(4)用训练数据集对基于扩张残差卷积的深度卷积神经网络进行训练，得到训练好的基于扩张残差卷积的深度卷积神经网络；
(5)对测试数据集进行检测：
(5a)将测试数据集中的数据块，依次输入到训练好的基于扩张残差卷积的深度卷积神经网络中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别；
(5b)保留所有得分高于0.5的目标类别的候选框，丢弃其余候选框；
(5c)对所有保留候选框的坐标进行映射，映射到完整的光学遥感图像上面并进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。
2.根据权利要求1所述的基于扩张残差卷积的深度卷积网络的光学遥感图像目标检测方法，其特征在于，步骤(1b)中所述测试数据集命名规则是指，待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接，构成.jpg的文件格式。
3.根据权利要求1所述的基于扩张残差卷积的深度卷积网络的光学遥感图像目标检测方法，其特征在于，步骤(5c)中所述非极大值抑制NMS处理是指：对所有检测框，按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810907184.8A CN109271856B (zh) | 2018-08-03 | 2018-08-03 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810907184.8A CN109271856B (zh) | 2018-08-03 | 2018-08-03 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271856A CN109271856A (zh) | 2019-01-25 |
| CN109271856B true CN109271856B (zh) | 2021-09-03 |
Family
ID=65153574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810907184.8A Active CN109271856B (zh) | 2018-08-03 | 2018-08-03 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271856B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902732B (zh) * | 2019-02-22 | 2021-08-27 | 哈尔滨工业大学（深圳） | 车辆自动分类方法及相关装置 |
| CN110147812A (zh) * | 2019-04-04 | 2019-08-20 | 中国人民解放军战略支援部队信息工程大学 | 基于扩张残差网络的雷达辐射源识别方法及装置 |
| CN110111313B (zh) * | 2019-04-22 | 2022-12-30 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| CN110189304B (zh) * | 2019-05-07 | 2022-08-12 | 南京理工大学 | 基于人工智能的光学遥感图像目标在线快速检测方法 |
| CN110365639A (zh) * | 2019-05-29 | 2019-10-22 | 中国科学院信息工程研究所 | 一种基于深度残差网络的恶意流量检测方法及系统 |
| CN110210621B (zh) * | 2019-06-06 | 2022-09-20 | 大连理工大学 | 一种基于残差网络改进的目标检测方法 |
| CN110288613B (zh) * | 2019-06-12 | 2022-09-02 | 中国科学院重庆绿色智能技术研究院 | 一种超高像素的组织病理图像分割方法 |
| CN110490205B (zh) * | 2019-07-23 | 2021-10-12 | 浙江科技学院 | 基于全残差空洞卷积神经网络的道路场景语义分割方法 |
| CN110533051B (zh) * | 2019-08-02 | 2023-01-17 | 中国民航大学 | 基于卷积神经网络的x光安检图像中违禁品自动检测方法 |
| CN110782430A (zh) * | 2019-09-29 | 2020-02-11 | 郑州金惠计算机系统工程有限公司 | 一种小目标的检测方法、装置、电子设备及存储介质 |
| CN110796037B (zh) * | 2019-10-15 | 2022-03-15 | 武汉大学 | 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 |
| CN111160336A (zh) * | 2019-12-09 | 2020-05-15 | 平安科技（深圳）有限公司 | 目标检测方法、装置及计算机可读存储介质 |
| CN111160407B (zh) * | 2019-12-10 | 2023-02-07 | 重庆特斯联智慧科技股份有限公司 | 一种深度学习目标检测方法及系统 |
| CN111582218A (zh) * | 2020-05-18 | 2020-08-25 | 长光卫星技术有限公司 | 一种基于深度学习的遥感影像岛礁提取方法 |
| CN111898699A (zh) * | 2020-08-11 | 2020-11-06 | 海之韵(苏州)科技有限公司 | 一种船体目标自动检测识别方法 |
| CN112257569B (zh) * | 2020-10-21 | 2021-11-19 | 青海城市云大数据技术有限公司 | 一种基于实时视频流的目标检测和识别方法 |
| CN112733848B (zh) * | 2021-01-08 | 2022-11-04 | 中国电子科技集团公司第二十八研究所 | 基于多尺度特征和扩张型逆残差全连接的目标检测方法 |
| CN112926692B (zh) * | 2021-04-09 | 2023-05-09 | 四川翼飞视科技有限公司 | 基于非均匀混合卷积的目标检测装置、方法和存储介质 |
| CN113139470B (zh) * | 2021-04-25 | 2023-05-23 | 安徽工业大学 | 一种基于Transformer的玻璃识别方法 |
| CN113188984B (zh) * | 2021-04-29 | 2022-06-24 | 青岛理工大学 | 一种用于混凝土中钢筋腐蚀状态的智能监测系统及方法 |
| CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
| CN113837275B (zh) * | 2021-09-24 | 2023-10-17 | 南京邮电大学 | 基于扩张坐标注意力的改进YOLOv3目标检测方法 |
| CN116363526B (zh) * | 2023-04-07 | 2024-04-19 | 河海大学 | MROCNet模型构建与多源遥感影像变化检测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527029A (zh) * | 2017-08-18 | 2017-12-29 | 卫晨 | 一种改进的Faster R‑CNN人脸检测方法 |
| CN107766794A (zh) * | 2017-09-22 | 2018-03-06 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
| CN108021923A (zh) * | 2017-12-07 | 2018-05-11 | 维森软件技术（上海）有限公司 | 一种用于深度神经网络的图像特征提取方法 |
| CN108229319A (zh) * | 2017-11-29 | 2018-06-29 | 南京大学 | 基于帧间差异与卷积神经网络融合的船舶视频检测方法 |
| CN108280412A (zh) * | 2018-01-12 | 2018-07-13 | 西安电子科技大学 | 基于变结构cnn的高分辨sar图像目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
-
2018
- 2018-08-03 CN CN201810907184.8A patent/CN109271856B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527029A (zh) * | 2017-08-18 | 2017-12-29 | 卫晨 | 一种改进的Faster R‑CNN人脸检测方法 |
| CN107766794A (zh) * | 2017-09-22 | 2018-03-06 | 天津大学 | 一种特征融合系数可学习的图像语义分割方法 |
| CN108229319A (zh) * | 2017-11-29 | 2018-06-29 | 南京大学 | 基于帧间差异与卷积神经网络融合的船舶视频检测方法 |
| CN108021923A (zh) * | 2017-12-07 | 2018-05-11 | 维森软件技术（上海）有限公司 | 一种用于深度神经网络的图像特征提取方法 |
| CN108280412A (zh) * | 2018-01-12 | 2018-07-13 | 西安电子科技大学 | 基于变结构cnn的高分辨sar图像目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Deep Residual Learning for Image Recognition;Kaiming He等;《https://arxiv.org/pdf/1512.03385.pdf》;20151213;第1-12页 * |
| 场景语义SAR图像桥梁检测算法;黄勇等;《西安电子科技大学学报》;20171215;第45卷(第4期);第40-44页 * |
| 特征融合的卷积神经网络多波段舰船目标识别;刘峰等;《光学学报》;20171031;第37卷(第10期);第240-248页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271856A (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271856B (zh) | 基于扩张残差卷积的光学遥感图像目标检测方法 | |
| CN108491854B (zh) | 基于sf-rcnn的光学遥感图像目标检测方法 | |
| CN108427912B (zh) | 基于稠密目标特征学习的光学遥感图像目标检测方法 | |
| CN110097129B (zh) | 基于轮廓波分组特征金字塔卷积的遥感目标检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108460341B (zh) | 基于集成深度卷积网络的光学遥感图像目标检测方法 | |
| CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
| CN108510467B (zh) | 基于深度可变形卷积神经网络的sar图像目标识别方法 | |
| CN109740665B (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及系统 | |
| CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
| Li et al. | Object detection using convolutional neural networks in a coarse-to-fine manner | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN110245678B (zh) | 一种基于异构孪生区域选取网络的图像匹配方法 | |
| CN110084234B (zh) | 一种基于实例分割的声呐图像目标识别方法 | |
| CN112434745B (zh) | 基于多源认知融合的遮挡目标检测识别方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及系统 | |
| CN112395987A (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
| CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
| CN112348758B (zh) | 一种光学遥感图像数据增强方法及目标识别方法 | |
| CN111027497A (zh) | 基于高分辨率光学遥感影像的弱小目标快速检测方法 | |
| CN115240089A (zh) | 一种航空遥感图像的车辆检测方法 | |
| Yaohua et al. | A SAR oil spill image recognition method based on densenet convolutional neural network | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |