CN108491854A - 基于sf-rcnn的光学遥感图像目标检测方法 - Google Patents

基于sf-rcnn的光学遥感图像目标检测方法 Download PDF

Info

Publication number
CN108491854A
CN108491854A CN201810112969.6A CN201810112969A CN108491854A CN 108491854 A CN108491854 A CN 108491854A CN 201810112969 A CN201810112969 A CN 201810112969A CN 108491854 A CN108491854 A CN 108491854A
Authority
CN
China
Prior art keywords
layer
convolutional
sum
feature mapping
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810112969.6A
Other languages
English (en)
Other versions
CN108491854B (zh
Inventor
焦李成
刘芳
杨康
郭雨薇
李玲玲
孙其功
杨淑媛
侯彪
张丹
唐旭
屈嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810112969.6A priority Critical patent/CN108491854B/zh
Publication of CN108491854A publication Critical patent/CN108491854A/zh
Application granted granted Critical
Publication of CN108491854B publication Critical patent/CN108491854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全卷积图像分割的深度卷积网络SF‑RCNN的光学遥感图像目标检测方法，主要解决现有技术中光学遥感图像中陆地飞机与水中舰船检测正确率低虚警率高的问题。本发明的具体步骤如下：(1)构造测试数据集；(2)构造训练数据集(3)搭建基于全卷积图像分割的深度卷积网络SF‑RCNN目标检测网络；(4)利用训练数据集训练深度卷积网络SF‑RCNN；(5)利用训练好的深度卷积网络SF‑RCNN对测试数据集进行目标检测；(6)输出测试结果。本发明具有对光学遥感图像进行水域分割，减低目标检测虚警率，提高目标检测准确率高的优点。

Description

基于SF-RCNN的光学遥感图像目标检测方法
技术领域
本发明属于图像处理技术领域，更进一步涉及光学遥感图像目标检测技术领域中的一种基于全卷积语义分割的深度卷积网络SF-RCNN(Towards Object Detection withFully convolutional networks for semantic segmentation)的光学遥感图像目标检测方法。本发明可应用于对光学遥感图像的不同区域内的陆地飞机与水中舰船的地物目标检测。
背景技术
目标检测技术是计算机视觉领域的核心问题之一，遥感目标检测是以遥感卫星捕捉到的影像为数据源，采用图像处理技术对影像中感兴趣目标进行定位和分类。遥感目标检测是遥感应用技术中重要的一环，可以在高科技军事对抗中，捕捉攻击目标，提供精确的位置信息等，在军事领域有至关重要的意义。
Shaoqing Ren在其发表的论文“Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks”(神经信息处理系统进展大会NIPS(NeuralInformation Processing Systems蒙特利尔国际会议论文2015年)中提出了一种基于区域生成网络RPN(Region Proposal Networks)的目标检测方法。该方法首先利用基础网络VGG-16卷积特征层来生成候选区域，即训练区域生成网络RPN，快速的生成高质量的候选框，取代了原来的选择性搜索SS(Selective Search)；然后根据预测的高质量的候选框，在卷积的高级语义特征上进行感兴趣区域ROI(Region of Interest)池化，将池化后的特征接全连接层，分别预测候选框的类别和位置偏移；最后根据位置偏移、候选框以及类别进行非极大值抑制NMS(Non Maximum Suppression)，得到最后的检测结果。该方法能够准确丰富的表示目标的特征，并且能够很好地提取目标候选框，通过共享卷积参数减少候选框提取时间等优点，但是，该方法仍然存在不足之处是，由于光学遥感图像尺寸大、分辨率低，尤其是在舰船的检测中，舰船目标小并且舰船的特征经常会与一些长条形的建筑或者大型车辆集装箱的特征相似，导致该方法在进行光学遥感图像目标检测时常常会将陆地上的物体误检测为舰船。
中国科学院大学在其申请的专利文献“一种基于深度学习的鲁棒性舰船目标检测方法”(专利申请号：CN201710677418.X，公开号：CN107563303A)中提出了一种深度学习的遥感图像目标检测方法。该方法首先对训练样本进行处理并训练，得到训练分类器；之后对待检测的遥感图像进行预处理并使用随机森林进行海陆分割，得到海陆分割区域，并对不存在舰船的岸上区域进行遮挡；然后训练特征提取网络，并利用海陆分割区域的旋转不变深度特征，通过多层卷积得到特征图并用深层卷积预测目标；最后利用分类激活特征图的方法得到舰船这一类别的响应图，对得到的响应图求连通域，得到初步检测框，对舰船的参数进行估计，得到带有检测框的结果图。该方法通过训练分类器进行海陆分离来辅助遥感图像的特征进行检测，能够预测鲁棒性的目标检测的结果，减少由并排摆放引发的舰船漏检。但是，该方法仍然存在的不足之处是，第一，在目标检测中将检测过程分成了多个部分，检测与分割使用不同网络，导致该方法实施复杂度高。第二，由于光学遥感图像噪声比较大，该方法中使用的分割方法容易过拟合，导致分割效果差。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于SF-RCNN的光学遥感图像陆地飞机和水中舰船目标检测方法。本发明与现有其他光学遥感图像目标检测方法相比，能够将全卷积语义分割网络加入到深度卷积目标检测网络中辅助检测网络以提高检测准确率，并且实现检测网络与语义分割网络一体化。
实现本发明目的的思路是：先构造测试数据集和训练数据集，再搭建一个共24层的基于全卷积语义分割的深度卷积网络并设置每层参数，用训练数据集对SF-RCNN网络进行训练，得到训练好的SF-RCNN网络，最后将测试样本集送入训练好的SF-RCNN网络得到光学遥感图像的最终检测结果。
本发明的具体步骤包括如下：
(1)构造测试数据集：
(1a)用窗口大小为416×416×3像素，且步长为316×316×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为416×416×3像素的切割数据块，保存每一个切割数据块对应划窗步数；
(1b)按照测试数据集命名规则，对每个切割数据块进行命名；
(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理；
(2)构造训练数据集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，每幅光学遥感图像附有一张相对应的水域分割图，以每个飞机和舰船目标为切割中心点，切割出大小为416×416×3像素的切割数据块和相对应的416×416×1像素分割特征图，得到多个切割数据块与多个对应分割特征图；
(2b)将光学遥感图像上飞机和舰船坐标的位置以及对应的类别，均映射到所有切割数据块上飞机和舰船坐标的位置以及对应的类别，将映射后所有目标的位置和类别组成切割数据块的类标；
(2c)对切割数据块进行数据增强；
(3)构建深度卷积网络SF-RCNN：
(3a)搭建深度卷积网络SF-RCNN中的目标检测子网络，该子网络为二十二层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→RPN提取候选框层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层；
目标检测子网络各层的参数如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为416×416个节点；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点；
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点；
将第一个全连接层的特征映射图的总数设置为4096；
将第二个全连接层的特征映射图的总数设置为4096；
将RPN分类回归层中的分类特征映射图的尺寸设置为26×26个节点，总数为18个，回归特征映射图的尺寸设置为26×26个节点，总数设置为36；
将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为4个；
(3b)搭建深度卷积网络SF-RCNN中的全卷积语义分割子网络，该子网络为二十一层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第三个池化层→第六个卷积层→第四个池化层→第七个卷积层→第五个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个特征映射图，第四个池化层→第十二个卷积层→第二个特征映射图，第三个池化层→第十一个卷积层→第三个特征映射图，第一个特征映射图→第一个反卷积层→与第二个特征映射图级联→第二个反卷积层→第七个特征图→与第三个特征映射图级联→第三个反卷积层→语义分割层；
全卷积语义分割子网络各层的参数如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为416×416个节点；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第七个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第八个卷积层和第九个卷积层的特征映射图的总数设置为4096个，卷积核的尺度设置为1×1个节点；
将第十个卷积层的特征映射图的总数设置为2个，卷积核的尺度设置为1×1个节点；
将第十一个卷积层和第十二个两个卷积层的特征映射图的总数设置为2个，卷积核的尺度设置为3×3个节点；
将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点；
将第一个至第二个共两个反卷积层的特征映射图的总数设置为2个，反卷积核尺度设置为4×4个节点；
将第三个反卷积层的特征映射图的总数设置为2个，发卷积核尺度设置为16×16个节点；
将第一个特征映射图的总数设置为2个，输入特征映射图尺度设置为13×13个节点；
将第二个特征映射图的总数设置为2个，输入特征映射图尺度设置为26×26个节点；
将第三个特征映射图的总数设置为2个，输入特征映射图尺度设置为52×52个节点；
将语义分割层特征映射图的总数设置为2个，输入特征映射图尺度设置为416×416个节点；
(3c)用深度卷积网络的全卷积语义分割子网络，对输入到深度卷积网络SF-RCNN的光学遥感图像中的水与陆地分割出来，得到与原始数据尺寸大小416×416×3像素相同的水标注为1陆地为0的预测分割图；
(4)用训练数据集对深度卷积网络SF-RCNN进行训练，得到训练好的深度卷积网络SF-RCNN；
(5)对测试数据集进行检测：
(5a)将测试数据集中的数据块，依次输入到训练好的深度卷积网络SF-RCNN中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别、数据块预测分割图；
(5b)保留所有距离候选框0.5倍范围内，含有百分之10以上水，且得分高于0.5的目标类别为舰船的候选框，保留所有候距离候选框0.5倍范围内，不含有水，且得分高于0.5的目标类别为飞机的候选框，丢弃其余候选框；
(5c)对所有保留候选框进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。
本发明与现有的技术相比具有以下优点：
第一，由于本发明搭建了全卷积语义分割的深度卷积网络SF-RCNN，网络中的全卷积语义分割子网络，提取目标检测特征的同时也提取了语义分割的特征，用全卷积语义分割子网络的语义分割结果调整分类回归结果，克服了现有技术在目标检测中容易陆地上的物体误检测为舰船，水域中的物体误检测为飞机，目标检测的虚警率高、准确率低的问题，使得本发明降低了飞机与舰船目标检测的虚警率，提高了飞机与舰船目标检测的准确率；
第二，由于本发明使用深度卷积网络SF-RCNN的全卷积语义分割子网络，对光学遥感图像进行语义分割，克服了现有技术对光学遥感图像进行语义分割时效果差，且使用语义分割调整目标检测结果的实施复杂度高的问题，使得本发明在提高光学遥感图像语义分割效果的同时，将语义分割与目标检测融合到同一个网络，降低了使用语义分割调整目标检测结果的实施复杂度。
附图说明
图1是本发明的流程图；
图2是本发明中深度卷积网络SF-RCNN的目标检测网络图。
具体实施方式
下面结合附图对本发明的作进一步详细描述。
参照图1，对本发明的具体实现步骤作进一步详细描述。
步骤1，构造测试数据集。
用窗口大小为416×416×3像素，且步长为316×316×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为416×416×3像素的切割数据块并对保存对应划窗步数。
按照测试数据集命名规则，对每个切割数据块进行命名，测试数据集命名规则是指，待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接，构成.jpg的文件格式。
利用归一化公式，对命名后的每一个切割数据块进行归一化处理。归一化公式如下：
其中，yi表示切割数据块归一化后的第i个像素点的值，xi表示切割数据块的第i个像素点的值，xmin表示切割数据块所有像素点中的最小值，xmin表示切割数据块所有像素点中的最小值。
步骤2，构造训练数据集。
从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，每幅光学遥感图像附有一张相对应的水域分割图，以每个飞机和舰船目标为切割中心点，切割出大小为416×416×3像素的切割数据块和相对应的416×416×1像素分割特征图，得到多个切割数据块与多个对应分割特征图。
将光学遥感图像上飞机和舰船坐标的位置以及对应的类别，均映射到所有切割数据块上飞机和舰船坐标的位置以及对应的类别，将映射后所有目标的位置和类别组成切割数据块的类标。
对切割数据块进行数据增强，数据增强是指：对切割数据块依次进行图像水平镜像、垂直镜像、翻转、平移、对比度、亮度处理操作。
步骤3，构建深度卷积网络SF-RCNN：
搭建深度卷积网络SF-RCNN中的目标检测子网络，该子网络为二十二层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→RPN提取候选框层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层。
目标检测子网络各层的参数如下。
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为416×416个节点。
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点。
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点。
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点。
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点。
将第一个全连接层的特征映射图的总数设置为4096。
将第二个全连接层的特征映射图的总数设置为4096。
将RPN分类回归层中的分类特征映射图的尺寸设置为26×26个节点，总数为18个，回归特征映射图的尺寸设置为26×26个节点，总数设置为36。
将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为4个。
搭建深度卷积网络SF-RCNN中的全卷积语义分割子网络，该子网络为二十一层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第三个池化层→第六个卷积层→第四个池化层→第七个卷积层→第五个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个特征映射图，第四个池化层→第十二个卷积层→第二个特征映射图，第三个池化层→第十一个卷积层→第三个特征映射图，第一个特征映射图→第一个反卷积层→与第二个特征映射图级联→第二个反卷积层→第七个特征图→与第三个特征映射图级联→第三个反卷积层→语义分割层。
全卷积语义分割子网络各层的参数如下。
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为416×416个节点。
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点。
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点。
将第五个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
将第六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第七个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第八个卷积层和第九个卷积层的特征映射图的总数设置为4096个，卷积核的尺度设置为1×1个节点。
将第十个卷积层的特征映射图的总数设置为2个，卷积核的尺度设置为1×1个节点。
将第十一个卷积层和第十二个两个卷积层的特征映射图的总数设置为2个，卷积核的尺度设置为3×3个节点。
将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点。
将第一个至第二个共两个反卷积层的特征映射图的总数设置为2个，反卷积核尺度设置为4×4个节点。
将第三个反卷积层的特征映射图的总数设置为2个，发卷积核尺度设置为16×16个节点。
将第一个特征映射图的总数设置为2个，输入特征映射图尺度设置为13×13个节点。
将第二个特征映射图的总数设置为2个，输入特征映射图尺度设置为26×26个节点。
将第三个特征映射图的总数设置为2个，输入特征映射图尺度设置为52×52个节点。
将语义分割层特征映射图的总数设置为2个，输入特征映射图尺度设置为416×416个节点。
用深度卷积网络的全卷积语义分割子网络，对输入到深度卷积网络SF-RCNN的光学遥感图像中的水与陆地分割出来，得到与原始数据尺寸大小416×416×3像素相同的水标注为1陆地为0的预测分割图。
步骤4，用训练数据集对深度卷积网络SF-RCNN进行训练，得到训练好的深度卷积网络SF-RCNN。
步骤5，对测试数据集进行检测。
将测试数据集中的数据块，依次输入到训练好的深度卷积网络SF-RCNN中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别、数据块预测分割图。
保留所有距离候选框0.5倍范围内，含有百分之10以上水，且得分高于0.5的目标类别为舰船的候选框，保留所有候距离候选框0.5倍范围内，不含有水，且得分高于0.5的目标类别为飞机的候选框，丢弃其余候选框。
对所有保留候选框进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。非极大值抑制NMS处理是指：对所有检测框按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
本发明的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
本发明仿真实验的硬件平台为：Intel(R)Xeon(R)CPU Z480，2.40GHz*16，内存为64G。
本发明仿真实验的软件平台为：tensorflow1.3。
2.仿真内容与结果：
本发明的仿真实验是分别采用本发明的方法与现有技术的faster-rcnn的方法，对QuickBird卫星中接收的珠江三角洲地区光学遥感图像进行目标检测。
表1中是本发明的仿真实验中本发明方法与现有技术的faster-rcnn的学习率、迭代次数等实验网络参数设置：
表1实验网络参数设置一览表
网络参数 faster-rcnn 本发明方法
学习率 0.001 0.001
迭代次数 40000 30000 40000 30000 40000 30000 40000 30000
下面采用准确率和平均精度mAP(mean average precision)两个指标，分别对本发明与现有技术Faster R-CNN的两种光学遥感图像目标检测结果进行评价，利用下式，分别计算本发明与现有技术Faster R-CNN的光学遥感图像目标检结果的准确率和平均精度mAP：
召回率＝总检测正确目标数/总实际目标数
准确率＝总检测正确目标数/总检测目标数
绘制准确率-召回率曲线，根据曲线的面积得到目标检测的检测精度AP，将多个类别的AP求均值得到平均精度mAP。
表2中分别列出了本发明与现有技术Faster R-CNN的飞机测试准确率、舰船测试准确率、mAP指标。
表2仿真实验测试结果一览表
测试集准确率 Faster R-CNN 本发明方法
飞机 0.9562 0.9658
舰船 0.5646 0.6156
mAP 0.7604 0.7907
从表2可见现有技术Faster R-CNN的检测平均精度为76.04％，本发明方法的检测平均精度为79.09％，本发明的仿真实验目标检测结果较好。
综上所述，本发明通过在深度卷积神经网络目标检测与分类的基础上添加了全卷积语义分割模块，有效的提高了光学遥感图像飞机舰船检测与分类的精度。

Claims (5)

1.一种基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法，其特征在于，该方法是在深度卷积网络中使用全卷积语义分割子网络，提取目标检测特征的同时也提取了语义分割的特征，用全卷积语义分割子网络的预测分割图调整目标检测子网络的检测结果，包括如下步骤：
(1)构造测试数据集：
(1a)用窗口大小为416×416×3像素，且步长为316×316×3像素的划窗，对多幅待检测光学遥感图像进行逐一切割，得到多个大小为416×416×3像素的切割数据块，保存每一个切割数据块对应划窗步数；
(1b)按照测试数据集命名规则，对每个切割数据块进行命名；
(1c)利用归一化公式，对命名后的每一个切割数据块进行归一化处理；
(2)构造训练数据集：
(2a)从遥感卫星上实时接收的光学遥感图像中，选取多幅标注陆地飞机和水中舰船坐标的光学遥感图像，每幅光学遥感图像附有一张相对应的水域分割图，以每个飞机和舰船目标为切割中心点，切割出大小为416×416×3像素的切割数据块和相对应的416×416×1像素分割特征图，得到多个切割数据块与多个对应分割特征图；
(2b)将光学遥感图像上飞机和舰船坐标的位置以及对应的类别，均映射到所有切割数据块上飞机和舰船坐标的位置以及对应的类别，将映射后所有目标的位置和类别组成切割数据块的类标；
(2c)对切割数据块进行数据增强；
(3)构建深度卷积网络SF-RCNN：
(3a)搭建深度卷积网络SF-RCNN中的目标检测子网络，该子网络为二十二层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第四个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→RPN提取候选框层→ROI池化层→第一个全连接层→第二个全连接层→分类回归层；
目标检测子网络各层的参数如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为416×416个节点；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一至第四个共四个池化层的特征映射图的尺寸设置为2×2个节点；
将ROI池化层的特征映射图的输出尺寸设置为6×6个节点；
将第一个全连接层的特征映射图的总数设置为4096；
将第二个全连接层的特征映射图的总数设置为4096；
将RPN分类回归层中的分类特征映射图的尺寸设置为26×26个节点，总数为18个，回归特征映射图的尺寸设置为26×26个节点，总数设置为36；
将分类回归层中的分类特征映射图的尺寸设置为2个，回归特征映射图的尺寸设置为4个；
(3b)搭建深度卷积网络SF-RCNN中的全卷积语义分割子网络，该子网络为二十一层，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第三个池化层→第六个卷积层→第四个池化层→第七个卷积层→第五个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第一个特征映射图，第四个池化层→第十二个卷积层→第二个特征映射图，第三个池化层→第十一个卷积层→第三个特征映射图，第一个特征映射图→第一个反卷积层→与第二个特征映射图级联→第二个反卷积层→第七个特征图→与第三个特征映射图级联→第三个反卷积层→语义分割层；
全卷积语义分割子网络各层的参数如下：
将输入层特征映射图的总数设置为3个，输入特征映射图尺度设置为416×416个节点；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第七个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第八个卷积层和第九个卷积层的特征映射图的总数设置为4096个，卷积核的尺度设置为1×1个节点；
将第十个卷积层的特征映射图的总数设置为2个，卷积核的尺度设置为1×1个节点；
将第十一个卷积层和第十二个两个卷积层的特征映射图的总数设置为2个，卷积核的尺度设置为3×3个节点；
将第一至第五个共五个池化层的特征映射图的尺寸设置为2×2个节点；
将第一个至第二个共两个反卷积层的特征映射图的总数设置为2个，反卷积核尺度设置为4×4个节点；
将第三个反卷积层的特征映射图的总数设置为2个，发卷积核尺度设置为16×16个节点；
将第一个特征映射图的总数设置为2个，输入特征映射图尺度设置为13×13个节点；
将第二个特征映射图的总数设置为2个，输入特征映射图尺度设置为26×26个节点；
将第三个特征映射图的总数设置为2个，输入特征映射图尺度设置为52×52个节点；
将语义分割层特征映射图的总数设置为2个，输入特征映射图尺度设置为416×416个节点；
(3c)用深度卷积网络的全卷积语义分割子网络，对输入到深度卷积网络SF-RCNN的光学遥感图像中的水与陆地分割出来，得到与原始数据尺寸大小416×416×3像素相同的水标注为1陆地为0的预测分割图；
(4)用训练数据集对深度卷积网络SF-RCNN进行训练，得到训练好的深度卷积网络SF-RCNN；
(5)对测试数据集进行检测：
(5a)将测试数据集中的数据块，依次输入到训练好的深度卷积网络SF-RCNN中，得到测试数据集中每个数据块的候选框、候选框对应的得分、候选框对应的目标类别、数据块预测分割图；
(5b)保留所有距离候选框0.5倍范围内，含有百分之10以上水，且得分高于0.5的目标类别为舰船的候选框，保留所有候距离候选框0.5倍范围内，不含有水，且得分高于0.5的目标类别为飞机的候选框，丢弃其余候选框；
(5c)对所有保留候选框进行非极大值抑制NMS处理，得到光学遥感图像的检测结果。
2.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法，其特征在于，步骤(1b)中所述测试数据集命名规则是指，待切割的每个检测光学遥感图像的文件名与切割数据块对应划窗步数使用英文下划线“_”符号连接，构成.jpg的文件格式。
3.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法，其特征在于，步骤(1c)中所述的归一化公式如下：
其中，yi表示切割数据块归一化后的第i个像素点的值，xi表示切割数据块的第i个像素点的值，xmin表示切割数据块所有像素点中的最小值，xmin表示切割数据块所有像素点中的最大值。
4.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法，其特征在于，步骤(2c)中所述数据增强是指：对切割数据块依次进行图像水平镜像、垂直镜像、翻转、平移、对比度、亮度处理操作。
5.根据权利要求1所述的基于全卷积语义分割的深度卷积网络SF-RCNN的光学遥感图像目标检测方法，其特征在于，步骤(5c)中所述非极大值抑制NMS处理是指：对所有检测框，按照得分从高到低进行排序，保留检测框之间重叠度低和得分高的候选框，丢弃检测框之间重叠度高和得分低的候选框。
CN201810112969.6A 2018-02-05 2018-02-05 基于sf-rcnn的光学遥感图像目标检测方法 Active CN108491854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810112969.6A CN108491854B (zh) 2018-02-05 2018-02-05 基于sf-rcnn的光学遥感图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810112969.6A CN108491854B (zh) 2018-02-05 2018-02-05 基于sf-rcnn的光学遥感图像目标检测方法

Publications (2)

Publication Number Publication Date
CN108491854A true CN108491854A (zh) 2018-09-04
CN108491854B CN108491854B (zh) 2020-04-07

Family

ID=63344184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810112969.6A Active CN108491854B (zh) 2018-02-05 2018-02-05 基于sf-rcnn的光学遥感图像目标检测方法

Country Status (1)

Country Link
CN (1) CN108491854B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377479A (zh) * 2018-09-27 2019-02-22 中国电子科技集团公司第五十四研究所 基于遥感影像的蝶形卫星天线目标检测方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109543519A (zh) * 2018-10-15 2019-03-29 天津大学 一种用于物体检测的深度分割引导网络
CN109543688A (zh) * 2018-11-14 2019-03-29 北京邮电大学 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN109886155A (zh) * 2019-01-30 2019-06-14 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN109934122A (zh) * 2019-02-21 2019-06-25 北京以萨技术股份有限公司 一种基于深度学习的遥感影像船舶检测方法
CN110084195A (zh) * 2019-04-26 2019-08-02 西安电子科技大学 基于卷积神经网络的遥感图像目标检测方法
CN110222638A (zh) * 2019-06-05 2019-09-10 西安电子科技大学 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法
CN110516560A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于fpga异构深度学习的光学遥感图像目标检测方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN111160336A (zh) * 2019-12-09 2020-05-15 平安科技（深圳）有限公司 目标检测方法、装置及计算机可读存储介质
CN112507777A (zh) * 2020-10-10 2021-03-16 厦门大学 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN113469286A (zh) * 2021-07-27 2021-10-01 北京信息科技大学 一种基于区域卷积神经网络的航天器多局部构件检测方法
CN113516053A (zh) * 2021-05-28 2021-10-19 西安空间无线电技术研究所 一种具有旋转不变性的舰船目标精细化检测方法
CN113902975A (zh) * 2021-10-08 2022-01-07 电子科技大学 一种用于sar舰船检测的场景感知数据增强方法
CN114565824A (zh) * 2022-03-02 2022-05-31 西安电子科技大学 基于全卷积网络的单阶段旋转舰船检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300758A1 (en) * 2013-04-04 2014-10-09 Bao Tran Video processing systems and methods
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN106910188A (zh) * 2017-02-16 2017-06-30 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像中机场跑道的检测方法
CN107403183A (zh) * 2017-07-21 2017-11-28 桂林电子科技大学 整合目标检测和图像分割为一体的智能分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300758A1 (en) * 2013-04-04 2014-10-09 Bao Tran Video processing systems and methods
CN106910188A (zh) * 2017-02-16 2017-06-30 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像中机场跑道的检测方法
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN107403183A (zh) * 2017-07-21 2017-11-28 桂林电子科技大学 整合目标检测和图像分割为一体的智能分割方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109377479A (zh) * 2018-09-27 2019-02-22 中国电子科技集团公司第五十四研究所 基于遥感影像的蝶形卫星天线目标检测方法
CN109377479B (zh) * 2018-09-27 2021-10-22 中国电子科技集团公司第五十四研究所 基于遥感影像的蝶形卫星天线目标检测方法
CN109543519B (zh) * 2018-10-15 2022-04-15 天津大学 一种用于物体检测的深度分割引导网络
CN109543519A (zh) * 2018-10-15 2019-03-29 天津大学 一种用于物体检测的深度分割引导网络
CN109543688A (zh) * 2018-11-14 2019-03-29 北京邮电大学 一种新型的基于多层卷积神经网络的水表读数检测与识别的方法
CN109886155A (zh) * 2019-01-30 2019-06-14 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN109886155B (zh) * 2019-01-30 2021-08-10 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN109934122A (zh) * 2019-02-21 2019-06-25 北京以萨技术股份有限公司 一种基于深度学习的遥感影像船舶检测方法
CN110084195A (zh) * 2019-04-26 2019-08-02 西安电子科技大学 基于卷积神经网络的遥感图像目标检测方法
CN110084195B (zh) * 2019-04-26 2022-12-06 西安电子科技大学 基于卷积神经网络的遥感图像目标检测方法
CN110222638A (zh) * 2019-06-05 2019-09-10 西安电子科技大学 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法
CN110222638B (zh) * 2019-06-05 2021-01-01 西安电子科技大学 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法
CN110532859B (zh) * 2019-07-18 2021-01-22 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110516560A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于fpga异构深度学习的光学遥感图像目标检测方法
CN111160336A (zh) * 2019-12-09 2020-05-15 平安科技（深圳）有限公司 目标检测方法、装置及计算机可读存储介质
CN112507777A (zh) * 2020-10-10 2021-03-16 厦门大学 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN113516053A (zh) * 2021-05-28 2021-10-19 西安空间无线电技术研究所 一种具有旋转不变性的舰船目标精细化检测方法
CN113516053B (zh) * 2021-05-28 2024-05-14 西安空间无线电技术研究所 一种具有旋转不变性的舰船目标精细化检测方法
CN113469286A (zh) * 2021-07-27 2021-10-01 北京信息科技大学 一种基于区域卷积神经网络的航天器多局部构件检测方法
CN113902975A (zh) * 2021-10-08 2022-01-07 电子科技大学 一种用于sar舰船检测的场景感知数据增强方法
CN113902975B (zh) * 2021-10-08 2023-05-05 电子科技大学 一种用于sar舰船检测的场景感知数据增强方法
CN114565824A (zh) * 2022-03-02 2022-05-31 西安电子科技大学 基于全卷积网络的单阶段旋转舰船检测方法
CN114565824B (zh) * 2022-03-02 2024-09-06 西安电子科技大学 基于全卷积网络的单阶段旋转舰船检测方法

Also Published As

Publication number Publication date
CN108491854B (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN108491854A (zh) 基于sf-rcnn的光学遥感图像目标检测方法
CN109271856A (zh) 基于扩张残差卷积的光学遥感图像目标检测方法
CN108427912A (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
CN114202696B (zh) 基于上下文视觉的sar目标检测方法、装置和存储介质
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110084234B (zh) 一种基于实例分割的声呐图像目标识别方法
CN109299688B (zh) 基于可变形快速卷积神经网络的舰船检测方法
CN110532859A (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN106709568A (zh) 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN110097129A (zh) 基于轮廓波分组特征金字塔卷积的遥感目标检测方法
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN107944442A (zh) 基于改进卷积神经网络的对象检测装置及方法
CN106778835A (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN110378242A (zh) 一种双重注意力机制的遥感目标检测方法
CN105205453A (zh) 基于深度自编码器的人眼检测和定位方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN110287837A (zh) 基于先验估计网络和空间约束混合模型的海面障碍物检测方法
CN110472500A (zh) 一种基于高速无人艇的水面视觉目标快速检测算法
CN111914924A (zh) 一种快速舰船目标检测方法、存储介质及计算设备
CN110458160A (zh) 一种基于深度压缩神经网络的无人艇水面目标识别算法
CN107038442A (zh) 一种基于深度学习的车牌检测和整体识别方法
CN106780546A (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN104992140A (zh) 一种基于遥感图像的海面异常漂浮物检测方法
CN110135446A (zh) 文本检测方法及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant