CN108491757A - 基于多尺度特征学习的光学遥感图像目标检测方法 - Google Patents
基于多尺度特征学习的光学遥感图像目标检测方法 Download PDFInfo
- Publication number
- CN108491757A CN108491757A CN201810111594.1A CN201810111594A CN108491757A CN 108491757 A CN108491757 A CN 108491757A CN 201810111594 A CN201810111594 A CN 201810111594A CN 108491757 A CN108491757 A CN 108491757A
- Authority
- CN
- China
- Prior art keywords
- convolutional layer
- layer
- scale
- feature
- sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度特征学习的光学遥感图像目标检测方法，主要解决现有技术中浅层特征提取不充分，不同尺度目标特征分布不均匀以及无法整体训练参数，大量的中间结果需要转存导致网络训练耗时久的问题。本发明的具体步骤如下：(1)构建多尺度特征网络；(2)构造训练样本集和训练类标集；(3)获取多尺度特征网络的深浅特征；(4)对多尺度特征网络的深浅特征进行融合；(5)构造测试样本集；(6)对测试样本集进行检测。本发明具有对光学遥感图像中小目标的浅层细节特征信息提取更丰富，目标检测的准确率高，训练网络目标检测速度快的优点。
Description
技术领域
本发明属于图像处理技术领域，更进一步涉及光学遥感图像目标检测技术领域中的一种基于多尺度特征学习的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的目标进行识别和检测。
背景技术
随着图像空间分辨率不断提高，基于高分辨率光学遥感图像的目标检测技术越来越得到青睐和关注。高分辨率光学遥感图像具有空间分辨率高、覆盖范围广、获取方式便捷的特点，图像中的目标保留了丰富的颜色和纹理特征，因此可以广泛应用于诸多领域，如军事领域、道路规划与交通监管、智慧城市建设、环境监测、农业生产监管、抗震救灾等。在多数应用领域中，目标检测是一个重要的任务。
Wei Liu在其发表的论文“SSD:Single Shot MultiBox Detect”(欧洲计算机视觉国际会议ECCV(European Conference on Computer Vision)阿姆斯特丹国际会议论文2016年) 中提出了一种多尺度特征的目标检测方法。该方法首先使用基础网络VGG-16提取两个卷积特征层；然后在基础网络VGG-16上增加四个卷积特征提取层，一共六个特征提取层，并在六个特征提取层分别产生一系列固定大小的候选框，分别预测候选框的类别和位置偏移；最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non MaximumSuppression)，得到最后的检测结果。该方法能够准确丰富的表示目标的特征，并且能够充分地提取目标候选框等优点，但是，该方法仍然存在的不足之处是，由于小目标的信息需要经过六个卷积特征提取层提取特征，浅层特征被过滤掉了，不同尺度目标特征分布不均匀，所以对于小目标的检测准确率偏低。
国家新闻出版广电总局广播科学研究院在其申请的专利文献“基于深度学习框架对图像进行特征提取的目标检测方法”(专利申请号：CN201610542676.2，公开号：CN106203450A)中提出了一种基于深度学习框架对图像进行特征提取的目标检测方法。该方法首先利用基于分组合并的似物性采样算法对图像进行预处理，提取出可能存在的目标位置的图像块；之后基于多阈值横跨扩张算法MTSE(Multi-Thresholding StraddlingExpansion)优化已提取出来的图像块，将得到的图像块利用超像素优化的方法迭代调整到网络输入要求的大小；然后利用区域卷积神经网络R-CNN(Region Convolutional NeuralNetworks)对图像块进行特征提取；最后对得到的深层卷积特征上利用支持向量机SVM算法(Support Vector Machine)进行分类，得到最终结果。该方法通过对图像进行预处理减少了特征的计算量，然后利用区域卷积神经网络提取图像的深度特征，能更好地表示物体，并用支持向量机分类算法对特征进行分类，获得了良好的检测结果，但是，该方法仍然存在的不足之处是，由于网络训练过程是分开的，提取候选框、提取图像特征、利用支持向量机分类独立训练，大量的中间结果需要转存，无法整体训练参数，所以网络训练耗时久。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于多尺度特征学习的光学遥感图像目标检测方法。本发明与现有其他光学遥感图像目标检测方法相比，能够提取出光学遥感图像丰富的浅层细节特征，通过使用深层语义特征和浅层细节特征融合处理后的融合特征，可得到较高的光学遥感图像小目标检测精度。
实现本发明目的的思路是：先构建一个共31层的多尺度特征网络并设置每层参数，构造训练样本集和训练类标集，再获取多尺度特征网络的深浅特征并进行融合，将融合后的特征进行分类与回归，训练好网络之后构造测试样本集，最后将测试样本集送入训练好的多尺度特征网络，得到光学遥感图像中的目标检测结果，整个训练过程共享参数。
本发明实现的具体步骤包括如下：
(1)构建多尺度特征网络：
构建一个31层的多尺度特征网络，网络中使用了23层卷积层、5层池化层、1层连接层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个连接层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层→第十六个卷积层→第十七个卷积层→第十八个卷积层→第十九个卷积层→第二十个卷积层→第二十一个卷积层→第二十二个卷积层→第二十三个卷积层→分类回归层；
各层的参数设置如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为300×300个节点；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一个连接层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点；
将第十四个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为3×3个节点，卷积核的扩张系数设置为6个节点；
将第十五个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为1×1个节点；
将第十六个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点；
将第十七个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第十八个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点；
将第十九个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第二十个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点；
将第二十一个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第二十二个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点；
将第二十三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为 4个；
将第七个卷积层的特征映射图每个特征单元的候选框总数设置为4个；
将第一个连接层的特征映射图每个特征单元的候选框总数设置为4个；
将第十五个卷积层的特征映射图每个特征单元的候选框总数设置为6个；
将第十七个卷积层的特征映射图每个特征单元的候选框总数设置为6个；
将第十九个卷积层的特征映射图每个特征单元的候选框总数设置为6个；
将第二十三个卷积层的特征映射图每个特征单元的候选框总数设置为4个；
(2)构造训练样本集和训练类标集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅含有飞机和舰船目标的光学遥感图像，作为待训练光学遥感图像，并对待训练光学遥感图像中的飞机和舰船目标进行类别和位置标注，其中位置标注为飞机和舰船目标的左上角横坐标值、左上角纵坐标值和右下角横坐标值、右下角纵坐标值；
(2b)用多幅已标注位置信息的待训练光学遥感图像中的右下角横坐标值减去左上角横坐标值，得到飞机和舰船目标宽度的像素点总数；用右下角纵坐标值减去左上角纵坐标值，得到飞机和舰船目标高度的像素点总数；
(2c)以待训练的光学遥感图像中每个飞机和舰船的中心位置为切割中心点，切割出300×300×3和500×500×3的两个小区域，将所有飞机和舰船的目标切割出的两个小区域组成切割小区域，将所有切割小区域中所有遥感图像的像素组成训练样本集；
(2d)将光学遥感图像上的飞机和舰船的位置以及之对应的类别，均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别，将映射后所有飞机和舰船的目标位置和类别组成小区域的类标，将所有切割小区域的类标组成训练类标集；
(3)获取多尺度特征网络的深浅特征：
将训练样本集和训练类标集输入到多尺度特征网络，得到训练样本集在多尺度特征网络中的第七个卷积层、第三个池化层、第十个卷积层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征；
(4)对多尺度特征网络的深浅特征进行融合：
(4a)将第三个池化层、第十个卷积层的浅层细节特征通过第一个连接层在通道上进行叠加，然后将经过第一个连接层叠加后的浅层细节特征和第七个卷积层、第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征在通道上进行叠加，得到在多尺度特征网络中飞机和舰船目标信息更丰富的融合的特征；
(4b)将融合后的特征输入到多尺度特征网络中进行迭代训练，直至多尺度特征网络的损失值小于预先设定的极小值0.01，得到训练好的多尺度特征网络；
(4c)将训练样本集输入到训练好的多尺度特征网络中，得到最终训练好的网络；
(5)构造测试样本集：
对多幅待检测的光学遥感图像进行重叠度为100的划窗切块，切割出300×300×3的所有小区域，将所有切割小区域中光学遥感图像的像素组成测试样本集；
(6)对测试样本集进行检测：
(6a)将测试样本集输入到训练好的多尺度特征网络中，得到测试样本集中每个样本的检测框和置信度；
(6b)对所有检测框和与置信度进行非极大值抑制处理，得到光学遥感图像中的目标检测结果；
本发明与现有的技术相比具有以下优点：
第一，由于本发明构建一个31层的多尺度特征网络，网络中使用了23层卷积层、5层池化层、1层连接层，分别对多尺度特征网络的深浅特征进行提取，尤其是第七个卷积层、第三个池化层、第十个卷积层的特征提取，克服了现有技术中浅层特征提取不充分的问题，使得本发明提取的小目标的浅层细节特征信息更丰富，提高了小目标检测的准确率。
第二，由于本发明使用多尺度特征网络对多尺度特征网络提取的深浅特征融合处理，融合了训练样本集在网络训练中的第一个连接层的浅层细节特征和第七个卷积层、第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征，使用深浅特征融合处理后的融合特征提取不同尺度目标的特征，克服了现有技术中的不同尺度目标特征分布不均衡的问题，使得本发明提高了小目标和非小目标检测的准确性。
第三，由于本发明使用多尺度特征网络在网络训练过程中共享参数整体训练网络，克服了现有技术中无法整体训练参数，大量的中间结果需要转存导致网络训练耗时久的问题，使得本发明训练网络更快收敛，提高了目标检测的速度。
附图说明
图1是本发明的流程图；
图2是本发明构建的多尺度特征网络结构示意图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1，对本发明的步骤做进一步的详细描述。
步骤1，构建多尺度特征网络。
构建一个31层的多尺度特征网络，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个连接层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层→第十六个卷积层→第十七个卷积层→第十八个卷积层→第十九个卷积层→第二十个卷积层→第二十一个卷积层→第二十二个卷积层→第二十三个卷积层→分类回归层。
附图2是本发明构建的多尺度特征网络结构示意图，包括23层卷积层、5层池化层、1层连接层。图2中的单向箭头表示特征在通道上的叠加，图2中的矩形块表示多尺度特征网络提取的卷积特征图，矩形块中的参数表示卷积特征图分辨率和卷积特征图的总数，例如，第七个卷积层矩形块中的参数76和256分别表示卷积特征图分辨率为76个像素，卷积特征图的总数为256个。
各层的参数设置如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为300×300个节点。
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点。
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点。
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第一个连接层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点。
将第十四个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为3×3个节点，卷积核的扩张系数设置为6个节点。
将第十五个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为1×1个节点。
将第十六个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点。
将第十七个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第十八个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点。
将第十九个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
将第二十个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点。
将第二十一个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3 个节点。
将第二十二个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1 个节点。
将第二十三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3 个节点。
将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为 4个。
将第七个卷积层的特征映射图每个特征单元的候选框总数设置为4个。
将第一个连接层的特征映射图每个特征单元的候选框总数设置为4个。
将第十五个卷积层的特征映射图每个特征单元的候选框总数设置为6个。
将第十七个卷积层的特征映射图每个特征单元的候选框总数设置为6个。
将第十九个卷积层的特征映射图每个特征单元的候选框总数设置为6个。
将第二十三个卷积层的特征映射图每个特征单元的候选框总数设置为4个。
步骤2，构造训练样本集和训练类标集：
从遥感卫星上实时接收的光学遥感图像中，选取多幅含有飞机和舰船目标的光学遥感图像，作为待训练光学遥感图像，并对待训练光学遥感图像中的飞机和舰船目标进行类别和位置标注，其中位置标注为飞机和舰船目标的左上角横坐标值、左上角纵坐标值和右下角横坐标值、右下角纵坐标值。
用多幅已标注位置信息的待训练光学遥感图像中的右下角横坐标值减去左上角横坐标值，得到飞机和舰船目标宽度的像素点总数；用右下角纵坐标值减去左上角纵坐标值，得到飞机和舰船目标高度的像素点总数。
以待训练的光学遥感图像中每个飞机和舰船的中心位置为切割中心点，切割出300×300×3和500×500×3的两个小区域，将所有飞机和舰船的目标切割出的两个小区域组成切割小区域，将所有切割小区域中所有遥感图像的像素组成训练样本集。
将光学遥感图像上的飞机和舰船的位置以及之对应的类别，均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别，将映射后所有飞机和舰船的目标位置和类别组成小区域的类标，将所有切割小区域的类标组成训练类标集。
步骤3，获取多尺度特征网络的深浅特征：
将训练样本集和训练类标集输入到多尺度特征网络，得到训练样本集在多尺度特征网络中的第七个卷积层、第三个池化层、第十个卷积层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征。
步骤4，对多尺度特征网络的深浅特征进行融合：
将第三个池化层、第十个卷积层的浅层细节特征通过第一个连接层在通道上进行叠加，然后将经过第一个连接层叠加后的浅层细节特征和第七个卷积层、第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征在通道上进行叠加，得到在多尺度特征网络中飞机和舰船目标信息更丰富的融合的特征。
将融合后的特征输入到多尺度特征网络中进行迭代训练，直至多尺度特征网络的损失值小于预先设定的极小值0.01，得到训练好的多尺度特征网络。
将训练样本集输入到训练好的多尺度特征网络中，得到最终训练好的网络。
步骤5，构造测试样本集：
对多幅待检测的光学遥感图像进行重叠度为100的划窗切块，切割出300×300×3的所有小区域，将所有切割小区域中光学遥感图像的像素组成测试样本集。
步骤6，对测试样本集进行检测：
将测试样本集输入到训练好的多尺度特征网络中，得到测试样本集中每个样本的检测框和置信度。
对所有检测框和与置信度进行非极大值抑制处理，得到光学遥感图像中的目标检测结果。
所述的非极大值抑制处理是指：对所有检测框按照置信度从高到低进行排序，保留检测框之间重叠度低和置信度高的候选框，丢弃检测框之间重叠度高和置信度低的候选框。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真条件：
本发明的仿真实验是在主频2.40GHz*16的Intel(R)Xeon(R)E5-2630CPU、内存64GB的硬件环境和caffe的软件环境下进行的。
2.仿真内容与结果分析：
使用本发明的方法和现有技术的单次多框检测网络SSD(Single Shot MultiBoxDetect)的方法，分别对从遥感卫星上接收的山东日照港地区光学遥感图像、中国台湾高雄机场地区光学遥感图像进行目标检测。
本发明仿真实验中训练网络的相关参数的设置如下表1所示：
表1网络训练相关参数设置表
| 网络参数 | 单次多框检测网络 | 本发明 |
| 学习率 | 0.0004 | 0.0004 |
| 迭代次数 | 80000 | 80000 |
| 批数量 | 16 | 16 |
本发明的仿真实验的内容是，分别采用本发明的方法和一个现有技术的单次多框检测网络SSD(Single Shot MultiBox Detect)的方法，从山东日照港地区光学遥感图像中检测出舰船目标，从中国台湾高雄机场地区光学遥感图像中检测出飞机目标。
采用现有技术的单次多框检测网络SSD(Single Shot MultiBox Detect)中的单类平均精度AP(Average Precision)指标衡量舰船和飞机每类目标检测的准确率，多类平均精度mAP(mean Average Precision)指标衡量舰船和飞机两类目标检测的准确率，山东日照港地区光学遥感图像中的舰船目标检测的平均精度AP(Average Precision)、中国台湾高雄机场地区光学遥感图像中的飞机目标检测的平均精度AP(Average Precision)、山东日照港地区光学遥感图像和中国台湾高雄机场地区光学遥感图像中的舰船和飞机两类目标检测的平均精度mAP(mean Average Precision)，上述舰船和飞机目标检测结果的衡量指标对比如下表 2所示：
表2.平均精度对比结果一览表
| 单次多框检测网络 | 本发明 | 提高的平均精度 | |
| 舰船(AP) | 40.5％ | 50.2％ | 9.7％ |
| 飞机(AP) | 82.5％ | 88.2％ | 5.7％ |
| 舰船和飞机(mAP) | 62.1％ | 69.8％ | 7.7％ |
从表2中可以可看出，单次多框检测网络SSD(Single Shot MultiBox Detect)方法检测舰船和飞机两类目标的平均精度mAP(mean Average Precision)为62.1％，本发明方法检测舰船和飞机两类目标的平均精度mAP(mean Average Precision)为69.8％，本发明方法与单次多框检测网络SSD(Single Shot MultiBox Detect)方法相比，检测飞机目标的平均精度AP(Average Precision)提高了5.7％，检测舰船目标的平均精度AP(AveragePrecision)提高了9.7％，检测舰船和飞机两类目标的平均精度mAP(mean AveragePrecision)提高了7.7％，检测目标的平均精度较高。
综上所述，由仿真实验对比结果可知本发明方法比现有技术的单次多框检测网络SSD (Single Shot MultiBox Detect)方法检测舰船和飞机目标的平均精度高。通过提取光学遥感图像丰富的浅层细节信息，保证了小目标特征信息的充分性，通过融合光学遥感图像多尺度的深层语义信息和浅层细节信息，更好的描述了光学遥感图像中目标的多尺度信息，在整个网络训练过程中共享参数，目标检测速度快。
Claims (2)
1.一种基于多尺度特征学习的光学遥感图像目标检测方法，其特征在于，该方法是对光学遥感图像在多尺度特征网络的深浅特征进行提取并融合处理，将多个目标特征连接起来进行分类和回归，网络训练连续并且共享参数，该方法的具体步骤包括如下：
(1)构建多尺度特征网络：
构建一个31层的多尺度特征网络，网络中使用了23层卷积层、5层池化层、1层连接层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个连接层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第五个池化层→第十四个卷积层→第十五个卷积层→第十六个卷积层→第十七个卷积层→第十八个卷积层→第十九个卷积层→第二十个卷积层→第二十一个卷积层→第二十二个卷积层→第二十三个卷积层→分类回归层；
各层的参数设置如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为300×300个节点；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一个连接层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点；
将第十四个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为3×3个节点，卷积核的扩张系数设置为6个节点；
将第十五个卷积层的特征映射图的总数设置为1024个，卷积核的尺度设置为1×1个节点；
将第十六个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为1×1个节点；
将第十七个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第十八个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点；
将第十九个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第二十个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点；
将第二十一个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第二十二个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为1×1个节点；
将第二十三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为4个；
将第七个卷积层的特征映射图每个特征单元的候选框总数设置为4个；
将第一个连接层的特征映射图每个特征单元的候选框总数设置为4个；
将第十五个卷积层的特征映射图每个特征单元的候选框总数设置为6个；
将第十七个卷积层的特征映射图每个特征单元的候选框总数设置为6个；
将第十九个卷积层的特征映射图每个特征单元的候选框总数设置为6个；
将第二十三个卷积层的特征映射图每个特征单元的候选框总数设置为4个；
(2)构造训练样本集和训练类标集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅含有飞机和舰船目标的光学遥感图像，作为待训练光学遥感图像，对待训练光学遥感图像中的飞机和舰船目标进行类别和位置标注，其中位置标注为飞机和舰船目标的左上角横坐标值、左上角纵坐标值和右下角横坐标值、右下角纵坐标值；
(2b)用多幅已标注位置信息的待训练光学遥感图像中的右下角横坐标值减去左上角横坐标值，得到飞机和舰船目标宽度的像素点总数；用右下角纵坐标值减去左上角纵坐标值，得到飞机和舰船目标高度的像素点总数；
(2c)以待训练的光学遥感图像中每个飞机和舰船的中心位置为切割中心点，切割出300×300×3和500×500×3的两个小区域，将所有飞机和舰船的目标切割出的两个小区域组成切割小区域，将所有切割小区域中所有遥感图像的像素组成训练样本集；
(2d)将光学遥感图像上的飞机和舰船的位置以及之对应的类别，均映射到所有切割小区域上的飞机和舰船的位置以及之对应的类别，将映射后所有飞机和舰船的目标位置和类别组成小区域的类标，将所有切割小区域的类标组成训练类标集；
(3)获取多尺度特征网络的深浅特征：
将训练样本集和训练类标集输入到多尺度特征网络，得到训练样本集在多尺度特征网络中的第七个卷积层、第三个池化层、第十个卷积层的浅层细节特征和第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征；
(4)对多尺度特征网络的深浅特征进行融合：
(4a)将第三个池化层、第十个卷积层的浅层细节特征通过第一个连接层在通道上进行叠加，然后将经过第一个连接层叠加后的浅层细节特征和第七个卷积层、第十五个卷积层、第十七个卷积层、第十九个卷积层、第二十三个卷积层的深层高级语义特征在通道上进行叠加，得到在多尺度特征网络中飞机和舰船目标信息更丰富的融合的特征；
(4b)将融合后的特征输入到多尺度特征网络中进行迭代训练，直至多尺度特征网络的损失值小于预先设定的极小值0.01，得到训练好的多尺度特征网络；
(4c)将训练样本集输入到训练好的多尺度特征网络中，得到最终训练好的网络；
(5)构造测试样本集：
对多幅待检测的光学遥感图像进行重叠度为100的划窗切块，切割出300×300×3的所有小区域，将所有切割小区域中光学遥感图像的像素组成测试样本集；
(6)对测试样本集进行检测：
(6a)将测试样本集输入到训练好的多尺度特征网络中，得到测试样本集中每个样本的检测框和置信度；
(6b)对所有检测框和与置信度进行非极大值抑制处理，得到光学遥感图像中的目标检测结果。
2.根据权利要求1所述的基于多尺度特征学习的光学遥感图像目标检测方法，其特征在于，步骤(6b)中所述的非极大值抑制处理是指：对所有检测框按照置信度从高到低进行排序，保留检测框之间重叠度低和置信度高的候选框，丢弃检测框之间重叠度高和置信度低的候选框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810111594.1A CN108491757B (zh) | 2018-02-05 | 2018-02-05 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810111594.1A CN108491757B (zh) | 2018-02-05 | 2018-02-05 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108491757A true CN108491757A (zh) | 2018-09-04 |
| CN108491757B CN108491757B (zh) | 2020-06-16 |
Family
ID=63344129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810111594.1A Active CN108491757B (zh) | 2018-02-05 | 2018-02-05 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491757B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
| CN109886082A (zh) * | 2019-01-03 | 2019-06-14 | 南京理工大学 | 一种基于ssd的小目标增强预测模块检测方法 |
| CN109902555A (zh) * | 2019-01-11 | 2019-06-18 | 西安电子科技大学 | 一种基于对象的多尺度层次表达学习的变化检测方法 |
| CN109919000A (zh) * | 2019-01-23 | 2019-06-21 | 杭州电子科技大学 | 一种基于多尺度融合策略的舰船目标检测方法 |
| CN110009010A (zh) * | 2019-03-20 | 2019-07-12 | 西安电子科技大学 | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 |
| CN110009648A (zh) * | 2019-03-04 | 2019-07-12 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
| CN110119728A (zh) * | 2019-05-23 | 2019-08-13 | 哈尔滨工业大学 | 基于多尺度融合语义分割网络的遥感图像云检测方法 |
| CN110188682A (zh) * | 2019-05-30 | 2019-08-30 | 西安电子科技大学 | 基于几何结构双路卷积网络的光学遥感图像目标检测方法 |
| CN110263644A (zh) * | 2019-05-21 | 2019-09-20 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110826428A (zh) * | 2019-10-22 | 2020-02-21 | 电子科技大学 | 一种高速的sar图像中船只检测方法 |
| CN111192240A (zh) * | 2019-12-23 | 2020-05-22 | 北京航空航天大学 | 一种基于随机接入记忆的遥感图像目标检测方法 |
| CN111325101A (zh) * | 2020-01-21 | 2020-06-23 | 上海中旖能源科技有限公司 | 基于卫星图像的液化天然气储罐检测方法及装置、设备 |
| CN111368712A (zh) * | 2020-03-02 | 2020-07-03 | 四川九洲电器集团有限责任公司 | 一种基于深度学习的高光谱图像伪装目标检测方法 |
| CN111767878A (zh) * | 2020-07-03 | 2020-10-13 | 中国科学院自动化研究所 | 嵌入式设备中基于深度学习的交通标志检测方法及系统 |
| CN112381030A (zh) * | 2020-11-24 | 2021-02-19 | 东方红卫星移动通信有限公司 | 一种基于特征融合的卫星光学遥感图像目标检测方法 |
| CN112529116A (zh) * | 2021-02-07 | 2021-03-19 | 腾讯科技（深圳）有限公司 | 场景元素融合处理方法、装置和设备及计算机存储介质 |
| CN113095316A (zh) * | 2021-04-15 | 2021-07-09 | 西安电子科技大学 | 基于多级融合和角点偏移的图像旋转目标检测方法 |
| TWI740565B (zh) * | 2020-07-03 | 2021-09-21 | 財團法人國家實驗研究院國家高速網路與計算中心 | 改善遙測影像品質的方法、電腦程式產品及系統 |
| CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
| CN113705718A (zh) * | 2021-09-06 | 2021-11-26 | 齐齐哈尔大学 | 基于多层次特征密集融合的遥感场景图像分类方法 |
| CN113887652A (zh) * | 2021-10-20 | 2022-01-04 | 西安电子科技大学 | 基于形态和多示例学习的遥感图像弱小目标检测方法 |
| CN113516053B (zh) * | 2021-05-28 | 2024-05-14 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN106874889A (zh) * | 2017-03-14 | 2017-06-20 | 西安电子科技大学 | 基于卷积神经网络的多特征融合sar目标鉴别方法 |
| CN106991382A (zh) * | 2017-03-13 | 2017-07-28 | 南京信息工程大学 | 一种遥感场景分类方法 |
| CN107341517A (zh) * | 2017-07-07 | 2017-11-10 | 哈尔滨工业大学 | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 |
-
2018
- 2018-02-05 CN CN201810111594.1A patent/CN108491757B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170140253A1 (en) * | 2015-11-12 | 2017-05-18 | Xerox Corporation | Multi-layer fusion in a convolutional neural network for image classification |
| CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
| CN106991382A (zh) * | 2017-03-13 | 2017-07-28 | 南京信息工程大学 | 一种遥感场景分类方法 |
| CN106874889A (zh) * | 2017-03-14 | 2017-06-20 | 西安电子科技大学 | 基于卷积神经网络的多特征融合sar目标鉴别方法 |
| CN107341517A (zh) * | 2017-07-07 | 2017-11-10 | 哈尔滨工业大学 | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAO L: "Deep fully convolutional network-based spatial distribution prediction for hyperspectral image classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 王云艳: "基于多层网络模型的全极化SAR图像分类", 《中国博士学位论文全文数据库基础科学辑》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109613006A (zh) * | 2018-12-22 | 2019-04-12 | 中原工学院 | 一种基于端到端神经网络的织物疵点检测方法 |
| CN109886082A (zh) * | 2019-01-03 | 2019-06-14 | 南京理工大学 | 一种基于ssd的小目标增强预测模块检测方法 |
| CN109902555B (zh) * | 2019-01-11 | 2020-09-22 | 西安电子科技大学 | 一种基于对象的多尺度层次表达学习的变化检测方法 |
| CN109902555A (zh) * | 2019-01-11 | 2019-06-18 | 西安电子科技大学 | 一种基于对象的多尺度层次表达学习的变化检测方法 |
| CN109919000A (zh) * | 2019-01-23 | 2019-06-21 | 杭州电子科技大学 | 一种基于多尺度融合策略的舰船目标检测方法 |
| CN110009648A (zh) * | 2019-03-04 | 2019-07-12 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
| CN110009648B (zh) * | 2019-03-04 | 2023-02-24 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
| CN110009010A (zh) * | 2019-03-20 | 2019-07-12 | 西安电子科技大学 | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 |
| CN110009010B (zh) * | 2019-03-20 | 2023-03-24 | 西安电子科技大学 | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 |
| CN110263644A (zh) * | 2019-05-21 | 2019-09-20 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110263644B (zh) * | 2019-05-21 | 2021-08-10 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110119728A (zh) * | 2019-05-23 | 2019-08-13 | 哈尔滨工业大学 | 基于多尺度融合语义分割网络的遥感图像云检测方法 |
| CN110119728B (zh) * | 2019-05-23 | 2023-12-05 | 哈尔滨工业大学 | 基于多尺度融合语义分割网络的遥感图像云检测方法 |
| CN110188682A (zh) * | 2019-05-30 | 2019-08-30 | 西安电子科技大学 | 基于几何结构双路卷积网络的光学遥感图像目标检测方法 |
| CN110826428A (zh) * | 2019-10-22 | 2020-02-21 | 电子科技大学 | 一种高速的sar图像中船只检测方法 |
| CN111192240A (zh) * | 2019-12-23 | 2020-05-22 | 北京航空航天大学 | 一种基于随机接入记忆的遥感图像目标检测方法 |
| CN111192240B (zh) * | 2019-12-23 | 2023-09-01 | 北京航空航天大学 | 一种基于随机接入记忆的遥感图像目标检测方法 |
| CN111325101A (zh) * | 2020-01-21 | 2020-06-23 | 上海中旖能源科技有限公司 | 基于卫星图像的液化天然气储罐检测方法及装置、设备 |
| CN111368712A (zh) * | 2020-03-02 | 2020-07-03 | 四川九洲电器集团有限责任公司 | 一种基于深度学习的高光谱图像伪装目标检测方法 |
| TWI740565B (zh) * | 2020-07-03 | 2021-09-21 | 財團法人國家實驗研究院國家高速網路與計算中心 | 改善遙測影像品質的方法、電腦程式產品及系統 |
| CN111767878A (zh) * | 2020-07-03 | 2020-10-13 | 中国科学院自动化研究所 | 嵌入式设备中基于深度学习的交通标志检测方法及系统 |
| CN112381030B (zh) * | 2020-11-24 | 2023-06-20 | 东方红卫星移动通信有限公司 | 一种基于特征融合的卫星光学遥感图像目标检测方法 |
| CN112381030A (zh) * | 2020-11-24 | 2021-02-19 | 东方红卫星移动通信有限公司 | 一种基于特征融合的卫星光学遥感图像目标检测方法 |
| CN112529116A (zh) * | 2021-02-07 | 2021-03-19 | 腾讯科技（深圳）有限公司 | 场景元素融合处理方法、装置和设备及计算机存储介质 |
| CN113095316B (zh) * | 2021-04-15 | 2023-04-07 | 西安电子科技大学 | 基于多级融合和角点偏移的图像旋转目标检测方法 |
| CN113095316A (zh) * | 2021-04-15 | 2021-07-09 | 西安电子科技大学 | 基于多级融合和角点偏移的图像旋转目标检测方法 |
| CN113516053A (zh) * | 2021-05-28 | 2021-10-19 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
| CN113516053B (zh) * | 2021-05-28 | 2024-05-14 | 西安空间无线电技术研究所 | 一种具有旋转不变性的舰船目标精细化检测方法 |
| CN113705718A (zh) * | 2021-09-06 | 2021-11-26 | 齐齐哈尔大学 | 基于多层次特征密集融合的遥感场景图像分类方法 |
| CN113705718B (zh) * | 2021-09-06 | 2024-04-02 | 齐齐哈尔大学 | 基于多层次特征密集融合的遥感场景图像分类方法 |
| CN113887652A (zh) * | 2021-10-20 | 2022-01-04 | 西安电子科技大学 | 基于形态和多示例学习的遥感图像弱小目标检测方法 |
| CN113887652B (zh) * | 2021-10-20 | 2023-04-28 | 西安电子科技大学 | 基于形态和多示例学习的遥感图像弱小目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108491757B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491757A (zh) | 基于多尺度特征学习的光学遥感图像目标检测方法 | |
| CN108427912A (zh) | 基于稠密目标特征学习的光学遥感图像目标检测方法 | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
| CN109711288A (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
| CN105787901B (zh) | 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法 | |
| CN107871124A (zh) | 一种基于深度神经网络的遥感图像目标检测方法 | |
| CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
| CN104182985B (zh) | 遥感图像变化检测方法 | |
| CN105320962B (zh) | 一种基于分类器集成的路面破损类型识别方法 | |
| CN106897679A (zh) | 一种基于改进模糊c均值聚类的语义变化检测方法及系统 | |
| CN107403433A (zh) | 一种复杂云背景下红外小目标检测方法 | |
| CN104361340A (zh) | 基于显著性检测和聚类的sar图像目标快速检测方法 | |
| CN103761526B (zh) | 一种基于特征位置优选整合的城区检测方法 | |
| CN103839065A (zh) | 人群动态聚集特征提取方法 | |
| CN109559338A (zh) | 一种基于加权主成分分析法及m估计的三维点云配准方法 | |
| CN110110675A (zh) | 一种融合边缘信息的小波域分形红外卷云检测方法 | |
| CN110175524A (zh) | 一种基于轻量级深度卷积网络的快速精确航拍车辆检测方法 | |
| CN107545571A (zh) | 一种图像检测方法及装置 | |
| CN104657717A (zh) | 一种基于分层核稀疏表示的行人检测方法 | |
| CN110210418A (zh) | 一种基于信息交互和迁移学习的sar图像飞机目标检测方法 | |
| CN110674674A (zh) | 一种基于yolo v3的旋转目标检测方法 | |
| CN108960190A (zh) | 基于fcn图像序列模型的sar视频目标检测方法 | |
| CN108520203A (zh) | 基于融合自适应多外围框与十字池化特征的多目标特征提取方法 | |
| CN109886937A (zh) | 基于超像素分割图像识别的绝缘子缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |