CN107871124B - 一种基于深度神经网络的遥感图像目标检测方法 - Google Patents

一种基于深度神经网络的遥感图像目标检测方法 Download PDF

Info

Publication number
CN107871124B
CN107871124B CN201711133889.0A CN201711133889A CN107871124B CN 107871124 B CN107871124 B CN 107871124B CN 201711133889 A CN201711133889 A CN 201711133889A CN 107871124 B CN107871124 B CN 107871124B
Authority
CN
China
Prior art keywords
remote sensing
training
depth
fine tuning
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711133889.0A
Other languages
English (en)
Other versions
CN107871124A (zh
Inventor
汪西莉
周明非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201711133889.0A priority Critical patent/CN107871124B/zh
Publication of CN107871124A publication Critical patent/CN107871124A/zh
Application granted granted Critical
Publication of CN107871124B publication Critical patent/CN107871124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度神经网络的遥感图像目标检测方法，包括：获取训练样本并对所述训练样本进行缩放预处理操作；在预处理后的所述训练样本中，对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作；基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型；对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型；基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测。该方法具有检测速度快、检测精度高等优点，可被广泛应用于目标检测、目标跟踪、智能导航、城市规划等领域。

Description

一种基于深度神经网络的遥感图像目标检测方法
技术领域
本发明所属的技术领域为数字图像处理与模式识别，涉及图像处理、深度学习算法、图像分类、目标检测等内容。
背景技术
遥感图像的目标检测指的是在大幅高分辨遥感图像中检测出一类或者几类目标(如飞机、桥梁和房屋等)并标注其位置。早期的遥感图像目标检测主要是基于模板匹配和形状先验的，随着卷积神经网络(Convolutional Neural Networks，CNNs)等深度学习方法的发展和在图像分类、目标检测等领域的成功运用，深度学习的方法也被迁移到了遥感图像目标检测上。
目前使用深度学习算法解决遥感图像目标检测问题的主要思路是使用区域搜索算法进行候选区域选取，然后使用浅层CNN模型进行候选区域的分类，之后使用非极大值抑制算法去除重叠的检测框。区域搜索算法主要包括滑动窗口、显著性检测、SelectiveSearch等方法。滑动窗口方法在图像上进行穷举搜索，显著性检测使用梯度计算、阈值分割等方法找到目标和背景的差异，从而为候选区域的选取提供先验知识。Selective Search方法先把图像分割成小区域，然后根据相似性对小区域进行合并，进而得到候选区域。另外，现有方法主要使用基于5层LeNet模型的浅层CNN模型进行候选区域的特征提取和分类。在处理重叠结果方面，现有方法主要采用非极大值抑制算法。非极大值抑制算法的主要原理是在覆盖同一目标的检测框中保留置信度最高的一个。
现有技术主要存在以下问题：第一，使用区域搜索算法进行候选区域选取时会产生大量不包含遥感目标的候选区域，从而提升检测算法的误检率，因此需要对候选区域进行筛选以减轻后期CNN模型分类的工作量；第二，浅层CNN模型特征提取能力不足，分类效果不理想，但是由于没有足够的遥感图像样本，不能完成对深度CNN模型的微调，无法使用深度CNN模型完成候选区域的分类；第三，非极大值抑制算法可以去除重叠检测框，但是无法调整检测框的位置，这使得遥感图像目标检测结果不够精确。
发明内容
本发明所要解决的技术问题在于克服现有技术的缺点，提供一种省时、高效、高精度的结合深度神经网络的遥感图像目标检测方法。
本发明实施例提供了一种基于深度神经网络的遥感图像目标检测方法，包括：
获取训练样本并对所述训练样本进行缩放预处理操作；
在预处理后的所述训练样本中，对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作；
基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型；
对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型；
基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测。
根据本发明实施例的一种具体实现方式，所述获取训练样本并对所述训练样本进行缩放预处理操作，包括：
(a)从日常常见物体数据集ILSVRC-2012中选取1000000张常见物体样本图像，从遥感图像数据集中选取4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像；
(b)1000000张常见物体样本图像不需要进行预处理；
(c)对4000张包含遥感目标的训练样本图像进行预处理；
其中，预处理包括采用公示对样本进行缩放，其中I0为缩放前的图像，I为缩放后的图像，I(x，y)是图像I中的坐标为(x，y)的像素点的值，w0和h0是图像I0的宽度和高度，w和h是图像I的宽度和高度，可以选择的w和h的组合有：(64，64(128，128)和(256，256)；
(d)对9000张包含遥感背景的训练样本图像进行预处理和步骤(c)步骤相同。
根据本发明实施例的一种具体实现方式，所述在预处理后的所述训练样本中，对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作，包括：
对包含遥感目标的训练样本图像和包含遥感背景的训练样本图像添加标记，所述标记分为图像级的标目标级的标记或像素级的标记中的一种或多种，其中，
(a)图像级的标记是指对包含遥感目标的训练样本图像添加值为1的标记，对包含遥感背景的训练样本图像添加值为0的标记；
(b)目标级的标记是指在包含遥感目标的训练样本图像中标记目标在图像中的精确位置；
(c)像素级的标记是指在包含遥感目标的训练样本图像中给目标区域的像素点添加值为1的标记，给其他像素点添加值为0的标记。
根据本发明实施例的一种具体实现方式，所述基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型，包括：
(a)使用1000000张常见物体样本图像作为训练样本，选取深度卷积神经网络模型作为待训练模型，确定训练批次大小和最大迭代次数；
(b)每一个训练迭代从训练样本中选取数量为批次大小的图像输入待训练模型，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代，训练迭代次数达到最大迭代次数时，训练终止，得到完成预训练的深度卷积神经网络模型；
(c)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本，选取完成预训练的深度卷积神经网络模型作为待训练模型，确定训练批次大小和最大迭代次数；
(d)和步骤(b)相同，训练完成后得到完成微调的深度卷积神经网络模型。
根据本发明实施例的一种具体实现方式，所述对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型，包括：
(a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本；
(b)去掉完成微调的深度卷积神经网络模型的最后一个全连接层，把剩余的全连接层变为卷积层并进行32倍上采样，保留完成微调的深度卷积神经网络模型中除最后一个全连接层之外的权值，得到待训练深度全卷积网络模型，确定训练批次大小和最大迭代次数；
(c)和所述基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型中步骤(b)步骤相同，训练完成后得到完成微调的深度全卷积网络模型。
根据本发明实施例的一种具体实现方式，所述基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测，包括：
(1)获取测试样本
从遥感图像数据集中选取5～50幅测试样本图像，测试样本图像不要求范围和分辨率，也不限制大小和形状。所有测试样本图像不需要进行额外的预处理；
(2)整合检测模型
训练检测模型的步骤全部完成后，整合完成微调的深度卷积神经网络模完成微调的深度全卷积网络模滑动窗口算法和检测框融合算法，得到可用于遥感图像目标检测的检测模型，检测模型可以完成提取候选区候选区域的特征提取和分类以及检测框融合的功能；
(3)提取候选区域
(a)把测试样本图像作为输入图像输入检测模型，检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图，输入图像中可能是遥感目标的像素点在分类图上的值为1，输入图像中可能是遥感背景的像素点在分类图上的值为0；
(b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大窗口步长和提取阈值。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索，如果窗口中的值为1的像素点的占比高于提取阈值，则该窗口被提取为候选区域；
(4)候选区域的特征提取和分类
把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类，需要提前设定分类阈值。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时，用红色边框在原图中标记出该区域，得到检测框；
(5)检测框融合
设定融合阈值，使用检测框融合算法处理一幅测试样本图像中的所有检测框，可以得到最终的遥感图像目标检测结果。
根据本发明实施例的一种具体实现方式，在对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作步骤中，添加图像级的标记完成对深度神经网络模型的训练。
根据本发明实施例的一种具体实现方式，在基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型的步骤(a)中，选取VGG-16模型作为待训练模型。
根据本发明实施例的一种具体实现方式，在对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型的步骤(b)中，使用微调VGG-16模型构建深度全卷积网络模型FCN_VGG-16。
根据本发明实施例的一种具体实现方式，所述检测框融合还包括：
使用公式对一幅测试样本图像中的所有检测框两两计算IoU，IoU大于融合阈值的检测框将被融合，式中A和B表示两个检测框，IoU是A和B的交集除以A和B的并集；
将合并之后的新检测框的中心确定为两个合并前检测框的重叠区域的中心。
和现有技术相比，本发明的创新体现在四个方面。第一，使用深度FCN模型进行候选区域选取，可以处理任意规模的图像输入。深度FCN模型为区域选取提供显著性先验，避免了对图像的穷举搜索，省略了对候选区域的筛选，提升了检测速度。第二，使用深度CNN模型进行候选区域的特征提取和分类，模型深度远远大于现有方法使用的CNN模型。更加深层的CNN模型提取到的特征更具有鲁棒性，可以克服遥感图像中较小目标和复杂背景的影响。第三，提出了新的用于遥感图像目标检测的数据集，并添加了图像级的标记。一方面，简化了弱监督训练机制。使用图像级的标记，而不是像素级的标记就可以完成对深度FCN模型的训练。深度全卷积网络模型需要使用像素级的标记进行训练，弱监督训练机制产生像素级的标记的方法是将图像级的标记复制到训练样本图像中的所有像素点上，对包含遥感目标的训练样本图像中的所有像素点打上值为1的标记，对包含遥感背景的训练样本图像中的所有像素点打上值为0的标记。由于不需要区分包含遥感目标的训练样本图像中的组成目标的像素，减少了人工标记成本。另一方面，由于样本数量的扩充，深度CNN模型的训练可以进行得更加充分。第四，提出了一种新的检测框融合算法对检测框进行后处理。新算法可以在融合重叠检测框的同时微调新的检测框的位置，使检测结果更加精确。本发明使用深度神经网络模型完成遥感图像的目标检测任务，和现有技术相比，本发明可以使用深度神经网络模型提取遥感图像的深层特征，本发明更加省时和高效，并具有更高的检测精度，得到的结果更加精确可靠。
附图说明
图1a-1b根据本发明实施例1提供的一种遥感图像检测结果示例图；
图2根据本发明实施例2提供的一种遥感图像检测结果示例图；
图3根据本发明实施例3提供的一种遥感图像检测结果示例图；
图4根据本发明实施例提供的一种遥感图像检测流程示例图。
具体实施方式
下面结合附图和实例对本发明进行进一步详细说明，但本发明不限于下述的实施例。
实施例1
参见图1a-1b，本实施例的测试样本图像来自Satellite2000遥感图像数据集，Satellite2000遥感图像数据集中的测试样本图像一般是机场的较小局部，包括2～8架飞机，本发明在Satellite2000遥感图像数据集上执行飞机检测的任务。测试样本图像的大小范围是256×256到500×500，测试样本图像或者其部分没有出现在训练样本中。
参见图4，本实施例的基于深度神经网络的遥感图像目标检测方法由训练检测模型和测试检测模型两个步骤构成，训练检测模型的步骤如下：
(1)获取训练样本并进行预处理
(a)从日常常见物体数据集ILSVRC-2012(Large Scale Visual RecognitionChallenge 2012)中选取1000000张常见物体样本图像，从遥感图像数据集中选取4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像；
(b)1000000张常见物体样本图像不需要进行预处理；
(c)对4000张包含遥感目标的训练样本图像进行预处理
预处理包括图像缩放步骤：
图像缩放：用(1)式对样本图像进行缩放，调整图像的大小：
式中I0为缩放前的图像，I为缩放后的图像，I(x，y)是图像I中的坐标为(x，y)的像素点的值，w0和h0是图像I0的宽度和高度，w和h是图像I的宽度和高度，w和h的组合为：(64，64)；
(d)对9000张包含遥感背景的训练样本图像进行预处理和步骤(1)中的(c)步骤相同；
(2)标记训练样本
从ILSVRC-2012数据集中选取的常见物体样本图像自带标记，不需要额外添加。包含遥感目标的训练样本图像和包含遥感背景的训练样本图像需要添加图像级的标记；
(3)预训练深度卷积神经网络模型
(a)使用1000000张常见物体样本图像作为训练样本，选取深度卷积神经网络(Convolutional Neural Network，CNN)模型作为待训练模型，确定训练批次大小为64，最大迭代次数为24000；
(b)每一个训练迭代从训练样本中选取数量为批次大小的图像输入待训练模型，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代。训练迭代次数达到最大迭代次数时，训练终止，得到完成预训练的深度卷积神经网络模型；
(4)微调深度卷积神经网络模型
(a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本，选取完成预训练的深度卷积神经网络模型作为待训练模型，确定训练批次大小为64，最大迭代次数为24000；
(b)和步骤(3)中的(b)步骤相同，训练完成后得到完成微调的深度卷积神经网络模型；
(5)微调深度全卷积网络模型
(a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本；
(b)去掉完成微调的深度卷积神经网络模型的最后一个全连接层，把剩余的全连接层变为卷积层并进行32倍上采样，保留完成微调的深度卷积神经网络模型中除最后一个全连接层之外的权值，得到待训练深度全卷积网络(Fully Convolutional Networks，FCN)模型，确定训练批次大小为1，最大迭代次数为100000；
(c)和步骤(3)中的(b)步骤相同，训练完成后得到完成微调的深度全卷积网络模型；
(6)上述训练完成后，得到包含完成微调的深度卷积神经网络模型和完成微调的深度全卷积网络模型的完成训练的深度神经网络模型；
本实施例的测试检测模型的步骤如下：
(1)获取测试样本
从遥感图像数据集中选取25幅测试样本图像，测试样本图像不要求范围和分辨率，也不限制大小和形状。所有测试样本图像不需要进行额外的预处理；
(2)整合检测模型
训练检测模型的步骤全部完成后，整合完成微调的深度卷积神经网络模型、完成微调的深度全卷积网络模型、滑动窗口算法和检测框融合算法，得到可用于遥感图像目标检测的检测模型，检测模型可以完成提取候选区域、候选区域的特征提取和分类以及检测框融合的功能；
(3)提取候选区域
(a)把测试样本图像作为输入图像输入检测模型，检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图，输入图像中可能是遥感目标的像素点在分类图上的值为1，输入图像中可能是遥感背景的像素点在分类图上的值为0；
(b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大小为60、窗口步长为20，提取阈值为0.8。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索，如果窗口中的值为1的像素点的占比高于提取阈值，则该窗口被提取为候选区域；
(4)候选区域的特征提取和分类
把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类，需要提前设定分类阈值为0.8。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时，用红色边框在原图中标记出该区域，得到检测框；
(5)检测框融合
设定融合阈值为0.5，使用检测框融合算法处理一幅测试样本图像中的所有检测框，可以得到最终的遥感图像目标检测结果。
实施例2
参见图2，本实施例的测试样本图像来自Satellite Aircrafts Dataset遥感图像数据集，Satellite Aircrafts Dataset遥感图像数据集中的测试样本图像一般是机场的较大局部，包括10～20架飞机，本发明在Satellite Aircrafts Dataset遥感图像数据集上执行飞机检测的任务。测试样本图像的大小范围是300×300到800×800，测试样本图像或者其部分没有出现在训练样本中。
参见图4，本实施例的基于深度神经网络的遥感图像目标检测方法由训练检测模型和测试检测模型两个步骤构成，训练检测模型的步骤如下：
(1)获取训练样本并进行预处理
获取训练样本并进行预处理与实施例1相同；
(2)标记训练样本
标记训练样本与实施例1相同；
(3)预训练深度卷积神经网络模型
预训练深度卷积神经网络模型与实施例1相同；
(4)微调深度卷积神经网络模型
微调深度卷积神经网络模型与实施例1相同；
(5)微调深度全卷积网络模型
微调深度全卷积网络模型与实施例1相同；
本实施例的测试检测模型的步骤如下：
(1)获取测试样本
从遥感图像数据集中选取20幅测试样本图像，测试样本图像不要求范围和分辨率，也不限制大小和形状。所有测试样本图像不需要进行额外的预处理；
(2)整合检测模型
整合检测模型与实施例1相同；
(3)提取候选区域
(a)把测试样本图像作为输入图像输入检测模型，检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图，输入图像中可能是遥感目标的像素点在分类图上的值为1，输入图像中可能是遥感背景的像素点在分类图上的值为0；
(b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大小为60、窗口步长为15，提取阈值为0.6。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索，如果窗口中的值为1的像素点的占比高于提取阈值，则该窗口被提取为候选区域；
(4)候选区域的特征提取和分类
把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类，需要提前设定分类阈值为0.85。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时，用红色边框在原图中标记出该区域，得到检测框；
(5)检测框融合
设定融合阈值为0.6，使用检测框融合算法处理一幅测试样本图像中的所有检测框，可以得到最终的遥感图像目标检测结果。
实施例3
参见图3，本实施例的测试样本图像来自Aircrafts Dataset遥感图像数据集，Aircrafts Dataset遥感图像数据集中的测试样本图像一般覆盖整个机场区域，包括30～50架飞机，本发明在Aircrafts Dataset遥感图像数据集上执行飞机检测的任务。测试样本图像的大小范围是800×800到1400×1400，测试样本图像或者其部分没有出现在训练样本中。
参见图4，本实施例的基于深度神经网络的遥感图像目标检测方法由训练检测模型和测试检测模型两个步骤构成，训练检测模型的步骤如下：
(3)获取训练样本并进行预处理
获取训练样本并进行预处理与实施例1相同；
(4)标记训练样本
标记训练样本与实施例1相同；
(3)预训练深度卷积神经网络模型
预训练深度卷积神经网络模型与实施例1相同；
(4)微调深度卷积神经网络模型
微调深度卷积神经网络模型与实施例1相同；
(5)微调深度全卷积网络模型
微调深度全卷积网络模型与实施例1相同；
本实施例的测试检测模型的步骤如下：
(1)获取测试样本
从遥感图像数据集中选取10幅测试样本图像，测试样本图像不要求范围和分辨率，也不限制大小和形状。所有测试样本图像不需要进行额外的预处理；
(2)整合检测模型
整合检测模型与实施例1相同；
(3)提取候选区域
(a)把测试样本图像作为输入图像输入检测模型，检测模型首先使用完成微调的深度全卷积网络模型处理输入图像。完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图，输入图像中可能是遥感目标的像素点在分类图上的值为1，输入图像中可能是遥感背景的像素点在分类图上的值为0；
(b)使用滑动窗口算法得出候选区域。使用滑动窗口算法之前需要设定窗口大小为50、窗口步长为12，提取阈值为0.5。滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索，如果窗口中的值为1的像素点的占比高于提取阈值，则该窗口被提取为候选区域；
(4)候选区域的特征提取和分类
把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类，需要提前设定分类阈值为0.9。完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度。把候选区域分类为遥感目标的置信度大于分类阈值时，用红色边框在原图中标记出该区域，得到检测框；
(5)检测框融合
设定融合阈值为0.3，使用检测框融合算法处理一幅测试样本图像中的所有检测框，可以得到最终的遥感图像目标检测结果。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于深度神经网络的遥感图像目标检测方法，其特征在于，包括：
获取训练样本并对所述训练样本进行缩放预处理操作；
在预处理后的所述训练样本中，对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作；
基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型；
对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型；
基于所述微调的深度卷积神经网络模型及所述微调的深度全卷积网络模型对遥感图像目标进行检测，具体包括：
(1)获取测试样本
从遥感图像数据集中选取5～50幅测试样本图像，测试样本图像不要求范围和分辨率，也不限制大小和形状，所有测试样本图像不需要进行额外的预处理；
(2)整合检测模型
训练检测模型的步骤全部完成后，整合完成微调的深度卷积神经网络模型、完成微调的深度全卷积网络模型、滑动窗口算法和检测框融合算法，得到可用于遥感图像目标检测的检测模型，检测模型可以完成提取候选区域、候选区域的特征提取和分类以及检测框融合的功能；
(3)提取候选区域
(a)把测试样本图像作为输入图像输入检测模型，检测模型首先使用完成微调的深度全卷积网络模型处理输入图像，完成微调的深度全卷积网络模型的输出是和输入图像规模相同的分类图，输入图像中可能是遥感目标的像素点在分类图上的值为1，输入图像中可能是遥感背景的像素点在分类图上的值为0；
(b)使用滑动窗口算法得出候选区域，使用滑动窗口算法之前需要设定窗口大小、窗口步长和提取阈值，滑动窗口算法以设定的窗口大小和窗口步长在分类图上进行从左上角到右下角的遍历搜索，如果窗口中的值为1的像素点的占比高于提取阈值，则该窗口被提取为候选区域；
(4)候选区域的特征提取和分类
把所有候选区域输入完成微调的深度卷积神经网络模型进行候选区域的特征提取和分类，需要提前设定分类阈值，完成微调的深度卷积神经网络模型的输出是把候选区域分类为遥感目标和遥感背景的置信度，把候选区域分类为遥感目标的置信度大于分类阈值时，用红色边框在原图中标记出该区域，得到检测框；
(5)检测框融合
设定融合阈值，使用检测框融合算法处理一幅测试样本图像中的所有检测框，可以得到最终的遥感图像目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述获取训练样本并对所述训练样本进行缩放预处理操作，包括：
(a)从日常常见物体数据集ILSVRC-2012中选取1000000张常见物体样本图像，从遥感图像数据集中选取4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像；
(b)1000000张常见物体样本图像不需要进行预处理；
(c)对4000张包含遥感目标的训练样本图像进行预处理；
其中，预处理包括采用公示对样本进行缩放，其中I0为缩放前的图像，I为缩放后的图像，I(x，y)是图像I中的坐标为(x，y)的像素点的值，w0和h0是图像I0的宽度和高度，w和h是图像I的宽度和高度，可以选择的w和h的组合有：(64，64)、(128，128)和(256，256)；
(d)对9000张包含遥感背景的训练样本图像进行预处理和步骤(c)步骤相同。
3.根据权利要求1所述的方法，其特征在于，所述在预处理后的所述训练样本中，对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作，包括：
对包含遥感目标的训练样本图像和包含遥感背景的训练样本图像添加标记，所述标记分为图像级的标记、目标级的标记或像素级的标记中的一种或多种，其中，
(a)图像级的标记是指对包含遥感目标的训练样本图像添加值为1的标记，对包含遥感背景的训练样本图像添加值为0的标记；
(b)目标级的标记是指在包含遥感目标的训练样本图像中标记目标在图像中的精确位置；
(c)像素级的标记是指在包含遥感目标的训练样本图像中给目标区域的像素点添加值为1的标记，给其他像素点添加值为0的标记。
4.根据权利要求1所述的方法，其特征在于，所述基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型，包括：
(a)使用1000000张常见物体样本图像作为训练样本，选取深度卷积神经网络模型作为待训练模型，确定训练批次大小和最大迭代次数；
(b)每一个训练迭代从训练样本中选取数量为批次大小的图像输入待训练模型，经过前向传播计算误差和反向传播调整权值，完成一次训练迭代，训练迭代次数达到最大迭代次数时，训练终止，得到完成预训练的深度卷积神经网络模型；
(c)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本，选取完成预训练的深度卷积神经网络模型作为待训练模型，确定训练批次大小和最大迭代次数；
(d)和步骤(b)相同，训练完成后得到完成微调的深度卷积神经网络模型。
5.根据权利要求1所述的方法，其特征在于，所述对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型，包括：
(a)使用4000张包含遥感目标的训练样本图像和9000张包含遥感背景的训练样本图像作为训练样本；
(b)去掉完成微调的深度卷积神经网络模型的最后一个全连接层，把剩余的全连接层变为卷积层并进行32倍上采样，保留完成微调的深度卷积神经网络模型中除最后一个全连接层之外的权值，得到待训练深度全卷积网络模型，确定训练批次大小和最大迭代次数；
(c)和权利要求4中步骤(b)步骤相同，训练完成后得到完成微调的深度全卷积网络模型。
6.根据权利要求3所述的基于深度神经网络的遥感图像目标检测方法，其特征在于：
在对包含遥感目标及遥感背景的训练样本图像执行多种类型的标记操作步骤中，添加图像级的标记完成对深度神经网络模型的训练。
7.根据权利要求4所述的基于深度神经网络的遥感图像目标检测方法，其特征在于：
在基于最大迭代次数，对选取的深度卷积神经网络模型执行预训练和微调操作，得到微调的深度卷积神经网络模型的步骤(a)中，选取VGG-16模型作为待训练模型。
8.根据权利要求5所述的基于深度神经网络的遥感图像目标检测方法，其特征在于：
在对所述微调的深度卷积神经网络模型的全连接层进行处理，得到微调的深度全卷积网络模型的步骤(b)中，使用微调VGG-16模型构建深度全卷积网络模型FCN_VGG-16。
9.根据权利要求1所述的基于深度神经网络的遥感图像目标检测方法，其特征在于，所述检测框融合还包括：
使用公式对一幅测试样本图像中的所有检测框两两计算IoU，IoU大于融合阈值的检测框将被融合，式中A和B表示两个检测框，IoU是A和B的交集除以A和B的并集；
将合并之后的新检测框的中心确定为两个合并前检测框的重叠区域的中心。
CN201711133889.0A 2017-11-15 2017-11-15 一种基于深度神经网络的遥感图像目标检测方法 Active CN107871124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711133889.0A CN107871124B (zh) 2017-11-15 2017-11-15 一种基于深度神经网络的遥感图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711133889.0A CN107871124B (zh) 2017-11-15 2017-11-15 一种基于深度神经网络的遥感图像目标检测方法

Publications (2)

Publication Number Publication Date
CN107871124A CN107871124A (zh) 2018-04-03
CN107871124B true CN107871124B (zh) 2018-08-10

Family

ID=61754126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711133889.0A Active CN107871124B (zh) 2017-11-15 2017-11-15 一种基于深度神经网络的遥感图像目标检测方法

Country Status (1)

Country Link
CN (1) CN107871124B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596055B (zh) * 2018-04-10 2022-02-11 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108596952B (zh) * 2018-04-19 2020-03-10 中国电子科技集团公司第五十四研究所 基于候选区域筛选的快速深度学习遥感图像目标检测方法
CN108764292B (zh) * 2018-04-27 2022-03-18 北京大学 基于弱监督信息的深度学习图像目标映射及定位方法
CN111310835B (zh) * 2018-05-24 2023-07-21 北京嘀嘀无限科技发展有限公司 目标对象的检测方法及装置
CN108804616B (zh) * 2018-05-30 2020-12-08 中国科学院空间应用工程与技术中心 一种空间有效载荷在轨图像数据挖掘的装置和方法
CN108960084A (zh) * 2018-06-19 2018-12-07 清华大学深圳研究生院 目标追踪方法、系统、可读存储介质及电子设备
CN109165553B (zh) * 2018-07-20 2020-08-11 中国石油天然气股份有限公司 基于深度学习的石油设施遥感自动识别方法及装置
CN109190636B (zh) * 2018-07-30 2022-05-31 北京航空航天大学 一种遥感图像舰船目标信息提取方法
CN109165682B (zh) * 2018-08-10 2020-06-16 中国地质大学（武汉） 一种融合深度特征和显著性特征的遥感图像场景分类方法
CN109345559B (zh) * 2018-08-30 2021-08-06 西安电子科技大学 基于样本扩充和深度分类网络的运动目标跟踪方法
CN111339800B (zh) * 2018-12-18 2024-08-20 中科星图股份有限公司 遥感样本数据生产方法、装置和计算机可读存储介质
CN109886155B (zh) * 2019-01-30 2021-08-10 华南理工大学 基于深度学习的单株水稻检测定位方法、系统、设备及介质
CN109919135A (zh) * 2019-03-27 2019-06-21 华瑞新智科技（北京）有限公司 基于深度学习的行为检测方法、装置
CN110008900B (zh) * 2019-04-02 2023-12-12 北京市遥感信息研究所 一种由区域到目标的可见光遥感图像候选目标提取方法
CN110197147B (zh) * 2019-05-23 2022-12-02 星际空间（天津）科技发展有限公司 遥感影像的建筑物实例提取方法、装置、存储介质及设备
CN110222641B (zh) * 2019-06-06 2022-04-19 北京百度网讯科技有限公司 用于识别图像的方法和装置
CN110751215B (zh) * 2019-10-21 2020-10-27 腾讯科技（深圳）有限公司 一种图像识别方法、装置、设备、系统及介质
CN111191570B (zh) * 2019-12-26 2023-04-18 国网北京市电力公司 图像识别方法和装置
CN111428792B (zh) * 2020-03-26 2023-04-18 中国科学院空天信息创新研究院 遥感信息图像样本标记方法及装置
CN111860173B (zh) * 2020-06-22 2021-10-15 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN111813893B (zh) * 2020-06-24 2022-11-18 重庆邮电大学 基于深度迁移学习的房地产市场分析方法、装置及设备
CN112102234B (zh) * 2020-08-06 2022-05-20 复旦大学 基于目标检测神经网络的耳硬化病灶检测及诊断系统
CN112348758B (zh) * 2020-11-12 2022-09-02 中国电子科技集团公司第五十四研究所 一种光学遥感图像数据增强方法及目标识别方法
CN113033390B (zh) * 2021-03-23 2022-12-13 中国科学院空天信息创新研究院 一种基于深度学习的大坝遥感智能检测方法
CN113344900B (zh) * 2021-06-25 2023-04-18 北京市商汤科技开发有限公司 机场跑道侵入检测方法、装置、存储介质及电子设备
CN113344148A (zh) * 2021-08-06 2021-09-03 北京航空航天大学 一种基于深度学习的海上舰船目标识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250555A (zh) * 2016-08-15 2016-12-21 东方网力科技股份有限公司 基于大数据的车辆检索方法及装置
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077773A (zh) * 2014-06-23 2014-10-01 北京京东方视讯科技有限公司 图像边缘检测方法、图像目标识别方法及装置
CN104992150A (zh) * 2015-06-29 2015-10-21 浪潮集团有限公司 一种基于高分辨率遥感图像城市道路的自动提取方法
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250555A (zh) * 2016-08-15 2016-12-21 东方网力科技股份有限公司 基于大数据的车辆检索方法及装置
CN106952220A (zh) * 2017-03-14 2017-07-14 长沙全度影像科技有限公司 一种基于深度学习的全景图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"高分辨卫星图像卷积神经网络分类模型";周明非等;《中国图象图形学报》;20170731;第22卷(第7期);期刊全文 *

Also Published As

Publication number Publication date
CN107871124A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871124B (zh) 一种基于深度神经网络的遥感图像目标检测方法
Yang et al. Real-time face detection based on YOLO
CN110264468B (zh) 点云数据标注、分割模型确定、目标检测方法及相关设备
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN106709568B (zh) 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法
CN106683091B (zh) 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN103971102B (zh) 基于手指轮廓和决策树的静态手势识别方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
Zhang et al. Hybrid region merging method for segmentation of high-resolution remote sensing images
CN107341517A (zh) 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN108875595A (zh) 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN108154159B (zh) 一种基于多级检测器的具有自恢复能力的目标跟踪方法
CN104573744B (zh) 精细粒度类别识别及物体的部分定位和特征提取方法
CN106688011A (zh) 用于多类别物体检测的方法和系统
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
CN107833213A (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN106096542A (zh) 基于距离预测信息的图像视频场景识别方法
CN110599463B (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN105138983B (zh) 基于加权部件模型和选择性搜索分割的行人检测方法
CN109685145A (zh) 一种基于深度学习和图像处理的小物件检测方法
CN105718552A (zh) 基于服装手绘草图的服装图像检索方法
CN109800755A (zh) 一种基于多尺度特征的遥感影像小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant