CN111667030A - 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质 - Google Patents

基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质 Download PDF

Info

Publication number
CN111667030A
CN111667030A CN202010667395.6A CN202010667395A CN111667030A CN 111667030 A CN111667030 A CN 111667030A CN 202010667395 A CN202010667395 A CN 202010667395A CN 111667030 A CN111667030 A CN 111667030A
Authority
CN
China
Prior art keywords
branch
remote sensing
detection
frame
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010667395.6A
Other languages
English (en)
Other versions
CN111667030B (zh
Inventor
朱煜
嵇玮玮
方观寿
韩飞
孙彦龙
凌小峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Shanghai Aerospace Electronic Communication Equipment Research Institute
Original Assignee
East China University of Science and Technology
Shanghai Aerospace Electronic Communication Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology, Shanghai Aerospace Electronic Communication Equipment Research Institute filed Critical East China University of Science and Technology
Priority to CN202010667395.6A priority Critical patent/CN111667030B/zh
Publication of CN111667030A publication Critical patent/CN111667030A/zh
Application granted granted Critical
Publication of CN111667030B publication Critical patent/CN111667030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质，以实现遥感图像水平和旋转排列目标的检测。其中，该方法设计锚点框生成模块，由不同位置的特征信息自适应生成锚点框，降低预设锚点框的差异对于检测精度的影响；针对遥感图像中存在较多小目标的特点，提出一种改进的特征金字塔结构，采用转置卷积方法融合深浅层特征信息；针对遥感图像背景复杂等难点，采用扩大感受野模块，提取更多特征信息，提高复杂背景下小目标的检测精度；采用SmoothLn函数作为回归损失，进一步提升算法性能；针对旋转排列目标，引入角度因子的回归实现旋转框检测。此外为方便用户使用，本发明设计遥感图像目标检测系统，具有水平框、旋转框检测以及结果统计的功能。

Description

基于深度神经网络实现遥感图像目标检测的方法、系统及其 存储介质
技术领域
本发明属于遥感图像处理的技术领域，涉及图像处理中的目标检测与识别，具体是指一种基于深度神经网络实现遥感图像目标检测的方法、系统及其计算机可读存储介质。
背景技术
遥感图像广泛应用于环境监测、资源调查、农业产值测算、城市建设规划及军事部署等领域，对于国防和社会经济发展具有重要的意义，因此受到国内外众多学者和机构关注与研究。目标检测作为遥感图像处理的应用之一，通过获取特定目标类别和位置信息，在民用领域和军用领域内有着十分重要的用途。同时利用确定的目标种类和位置，对进一步信息处理决策也具有一定的辅助作用。
当前基于深度学习的目标检测算法在自然场景图像中取得了巨大成功，然而由于遥感图像与自然场景图像存在较大差异，因此将常见的目标检测算法直接应用于遥感图像会存在许多问题，例如小目标漏检情况严重、密集排列检测较差等。而且遥感图像中有些目标排列方向任意，仅仅采用水平框检测会导致边界框包含过多冗余背景，针对这类问题，旋转框检测可以发挥较好的作用。
同时，现有技术中的大多数锚点式方法的检测检测效果受预设锚点框超参数影响较大，因此若设置不合适容易出现漏检较多等问题，而非锚点式方法在处理遥感图像中的密集场景时，容易出现匹配错误，从而造成了精度的损失。
发明内容
本发明的目的是克服现有技术的缺点，提供一种针对遥感图像中的目标能够较好地实现水平框和旋转框检测、并且嵌入所设计的交互界面中、能够构成一个完整的遥感目标检测系统的基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质。
为了实现上述目的，本发明的基于深度神经网络实现遥感图像目标检测的方法、系统及其计算机可读存储介质如下：
该基于深度神经网络实现遥感图像目标检测的方法，其主要特点是，所述方法包括以下步骤：
(1)构建锚点框生成网络模块，由不同位置的特征信息自适应生成锚点框；
(2)利用改进的特征金字塔结构，采用转置卷积算法融合深浅层特征信息，实现遥感图像目标的检测；
(3)对于所述的特征金字塔输出的特征图，采用扩大感受野模块，提取更多特征信息，提高复杂背景下目标的检测精度；
(4)构建网络损失函数，其中的回归损失函数均采用SmoothLn函数，进一步提升遥感图像目标检测性能；
(5)配置角度因子回归，实现对旋转目标的检测；
(6)构建遥感图像目标检测系统，其中包括操作界面模块、模型选择模块、检测模式设置模块、阈值设置模块、图像目标检测模块和信息记录模块，实现水平框检测、旋转框检测以及计算结果统计处理。
该基于深度神经网络实现遥感图像目标检测的方法中的步骤(1)中的构建锚点框生成网络模块，具体包括以下步骤：
(11)构建生成锚点框网络结构；
(12)配置可变形卷积V2结构。
该基于深度神经网络实现遥感图像目标检测的方法中的构建生成锚点框网络结构，具体包括以下步骤：
(111)为所选特征图中的每个像素点预设一个相同大小的锚点框；
(112)采用两个卷积核为3×3大小的卷积，其中第一个通道数为1，第二个通道数为2，分别作用于所选特征图后得到第一分支和第二分支，其中所述的第一分支对应于所述的第一通道数，所述的第二分支对应于所述的第二通道数，所述的第一分支作为分类分支，所述的第二分支作为回归分支；所述的分类分支采用Focal Loss作为分类损失函数，所述的回归分支采用SmoothLn函数作为损失函数；
(113)通过所述的分类分支筛选出可能成为目标框中心位置的像素，并通过所述的回归分支回归所述的锚点框的宽和高。
该基于深度神经网络实现遥感图像目标检测的方法中的配置可变形卷积V2结构，具体为：
将所述的生成锚点框网络结构中的分类分支特征图作为可变形卷积V2结构的“调置”分支，并将所述的回归分支的特征图作为可变形卷积V2结构的“偏置”分支；
其中，网络预测层的反向传播不经过所述的可变形卷积V2结构的“调置”分支和“偏置”分支，且所述的“调置”分支和“偏置”分支的训练仅由所述的生成锚点框结构的损失函数所决定。
该基于深度神经网络实现遥感图像目标检测的方法中的步骤(2)中的转置卷积算法的核大小为4×4，步长为2。
该基于深度神经网络实现遥感图像目标检测的方法中的步骤(5)中所述的配置角度因子回归，具体包括以下步骤：
(51)对所选特征图中每个像素点预设7种长宽比例的水平锚点框；
(52)通过所述的生成锚点框结构中的回归分支回归锚点框的宽、高和旋转角度；
(53)从所述的生成锚点框结构中仅选择特征图中每个像素点置信度最大的旋转锚点框，并进入对应的可变形卷积V2结构和后续网络预测中；
(54)由上述步骤(53)中最大置信度所对应的特征图决定可变形卷积V2结构的“偏置”分支。
该基于深度神经网络实现遥感图像目标检测的方法中的步骤(6)中所述的操作界面模块通过QT制作并构建，且该操作界面模块运行于Windows、Linux或者Mac OS操作系统中。
该基于深度神经网络实现遥感图像目标检测的系统，其主要特点是，所述的系统包括用于存储程序的存储器以及用于执行所述的程序的处理器，以实现上述的基于深度神经网络实现遥感图像目标检测的方法。
该计算机可读存储介质，其主要特点是，包括程序，所述的程序可被处理器执行以完成上述的基于深度神经网络实现遥感图像目标检测的方法。
采用了本发明的基于深度神经网络实现遥感图像目标检测的方法、系统及其计算机可读存储介质，可以实现遥感图像水平和旋转排列目标的检测，其中设计锚点框生成模块，由不同位置的特征信息自适应生成锚点框，降低预设锚点框的差异对于检测精度的影响；针对遥感图像中存在较多小目标的特点，提出了一种改进的特征金字塔结构，采用转置卷积方法融合深浅层特征信息；针对遥感图像背景复杂等难点，采用扩大感受野模块，提取更多特征信息，提高复杂背景下小目标的检测精度；采用SmoothLn函数作为回归损失，进一步提升算法性能。针对旋转排列目标，引入角度因子的回归实现旋转框检测；此外为方便用户使用，本发明设计遥感图像目标检测系统，包含操作界面、模型选择、检测模式设置、阈值设置、图像目标检测和信息记录等模块，可以实现水平框检测、旋转框检测以及计算结果统计的功能；本方法(输入图像尺寸为512)和系统的检测网络在NVIDIA GTX 1080Ti的机器上的FPS为24，符合实时检测的使用需求。
附图说明
图1为本发明的基于深度神经网络实现遥感图像目标检测的方法的处理过程示意图。
图2为本发明的基于深度神经网络实现遥感图像目标检测的方法的锚点框生成网络模块的结构示意图。
图3为本发明的基于深度神经网络实现遥感图像目标检测的方法的可变形卷积V2的原理示意图。
图4为本发明的基于深度神经网络实现遥感图像目标检测的方法的深浅层融合的结构示意图。
图5为本发明的基于深度神经网络实现遥感图像目标检测的方法的扩大感受野的结构示意图。
图6为本发明的基于深度神经网络实现遥感图像目标检测的方法的可视化结果示意图。
图7(a)、7(b)为本发明的基于深度神经网络实现遥感图像目标检测的方法所构建生成的系统界面示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
该基于深度神经网络实现遥感图像目标检测的方法，其中，所述方法包括以下步骤：
(1)构建锚点框生成网络模块，由不同位置的特征信息自适应生成锚点框；其中的构建锚点框生成网络模块，具体包括以下步骤：
(11)构建生成锚点框网络结构；具体包括以下步骤：
(111)为所选特征图中的每个像素点预设一个相同大小的锚点框；
(112)采用两个卷积核为3×3大小的卷积，其中第一个通道数为1，第二个通道数为2，分别作用于所选特征图后得到第一分支和第二分支，其中所述的第一分支对应于所述的第一通道数，所述的第二分支对应于所述的第二通道数，所述的第一分支作为分类分支，所述的第二分支作为回归分支；所述的分类分支采用Focal Loss作为分类损失函数，所述的回归分支采用SmoothLn函数作为损失函数；
(113)通过所述的分类分支筛选出可能成为目标框中心位置的像素，并通过所述的回归分支回归所述的锚点框的宽和高；
(12)配置可变形卷积V2结构，具体为：
将所述的生成锚点框网络结构中的分类分支特征图作为可变形卷积V2结构的“调置”分支，并将所述的回归分支的特征图作为可变形卷积V2结构的“偏置”分支；
其中，网络预测层的反向传播不经过所述的可变形卷积V2结构的“调置”分支和“偏置”分支，且所述的“调置”分支和“偏置”分支的训练仅由所述的生成锚点框结构的损失函数所决定；
(2)利用改进的特征金字塔结构，采用转置卷积算法融合深浅层特征信息，实现遥感图像目标的检测；其中的转置卷积算法的核大小为4×4，步长为2；
(3)对于所述的特征金字塔输出的特征图，采用扩大感受野模块，提取更多特征信息，提高复杂背景下目标的检测精度；
(4)构建网络损失函数，其中的回归损失函数均采用SmoothLn函数，进一步提升遥感图像目标检测性能；
(5)配置角度因子回归，实现对旋转目标的检测；其中，所述的配置角度因子回归，具体包括以下步骤：
(51)对所选特征图中每个像素点预设7种长宽比例的水平锚点框；
(52)通过所述的生成锚点框结构中的回归分支回归锚点框的宽、高和旋转角度；
(53)从所述的生成锚点框结构中仅选择特征图中每个像素点置信度最大的旋转锚点框，并进入对应的可变形卷积V2结构和后续网络预测中；
(54)由上述步骤(53)中最大置信度所对应的特征图决定可变形卷积V2结构的“偏置”分支；
(6)构建遥感图像目标检测系统，其中包括操作界面模块、模型选择模块、检测模式设置模块、阈值设置模块、图像目标检测模块和信息记录模块，实现水平框检测、旋转框检测以及计算结果统计处理；其中，所述的操作界面模块通过QT制作并构建，且该操作界面模块运行于Windows、Linux或者Mac OS操作系统中。
该基于深度神经网络实现遥感图像目标检测的系统，其中，所述的系统包括用于存储程序的存储器以及用于执行所述的程序的处理器，以实现上述的基于深度神经网络实现遥感图像目标检测的方法。
该计算机可读存储介质，其中，包括程序，所述的程序可被处理器执行以完成上述的基于深度神经网络实现遥感图像目标检测的方法。
在实际使用当中，作为本发明的优选实施方式，该基于深度神经网络实现遥感图像目标检测的方法，包括以下步骤：
(1)设计锚点框生成网络模块，由不同位置的特征信息自适应生成锚点框，降低预设锚点框的差异对于算法检测精度的影响；
(2)利用改进的特征金字塔结构，采用转置卷积方法融合深浅层特征信息，实现遥感目标的检测；
(3)对于特征金字塔输出的特征图，采用扩大感受野模块，提取更多特征信息，提高复杂背景下目标的检测精度。
(4)设计网络损失函数，其中的回归损失函数均采用SmoothLn函数，进一步提升遥感目标检测的性能；
(5)引入角度因子回归，实现对旋转目标的检测；
(6)设计遥感图像目标检测系统，包含操作界面、模型选择、检测模式设置、阈值设置、图像目标检测和信息记录等模块，可以实现水平框检测、旋转框检测以及计算结果统计的功能。
在上述实例中，所述的步骤(1)中所述的锚点框生成网络的结构具体包括以下结构：
(11)生成锚点框网络结构；
(12)可变形卷积V2结构；
在上述实例中，所述的步骤(11)中所述的生成锚点框网络结构具体包括以下步骤：
(111)以SSD检测网络为基础目标检测网络，所选特征图中的每个像素点预设一个相同大小的锚点框；
(112)采用两个卷积核为3×3大小的卷积，其中一个通道数为1，另一个通道数为2，分别作用于所选特征图后得到两个分支，前一个分支作为分类分支，后一个分支作为回归分支。分类分支采用Focal Loss作为分类损失函数，回归分支采用SmoothLn函数作为损失函数；
(113)分类分支经过sigmoid层，转化为概率值，然后筛选出可能成为目标框中心位置的像素，回归分支仅仅回归锚点框的宽和高；
其中，选取4层特征图，大小分别为输入尺寸的1/8、1/16、1/32和1/64。尺寸较大的特征图负责小目标的预测，尺寸较小的特征图负责大目标的预测。回归分支的损失函数计算为：
设ti表示预测值，
Figure BDA0002580984980000061
表示目标值，w、h分别表示宽度、高度
Figure BDA0002580984980000062
在上述实例中，所述的步骤(12)中所述的可变形卷积V2结构具体包括以下步骤：
(121)生成锚点框结构中的分类分支特征图作为可变形卷积V2的“调置”，回归分支的特征图作为可变形卷积V2的“偏置”；
(122)网络预测层的反向传播不经过可变形卷积V2的“调置”和“偏置”两个分支，这两个分支的训练仅仅由生成锚点框结构的损失函数决定；
其中，步骤(12)中的可变形卷积V2计算步骤为：
假设一个采样点数为n的卷积核，w(·)表示第n个位置对应的卷积参数值，pn表示第n个位置的预设偏移量。比如：n＝9，所以pn∈{(-1，-1)，(-1，0)，...，(1，1)定义了一个3×3，空洞率为1的卷积核。p为当前像素点的坐标位置(x，y)，z(·)表示为该位置的像素值，f(·)表示该位置卷积后的输出。Δmk的值处于0～1之间，用于调节目标的区域，即为“调置”。通过网络学习得到的坐标偏移量Δpn，改变卷积参数对应相乘的像素点位置，即为“偏置”。因此卷积核大小为3×3大小的可变形卷积V2求解为：
Figure BDA0002580984980000071
由于调整之后的位置为浮点数，而在特征图中不存在浮点数位置的像素值，因此采用双线性插值，即：
G(q，p)＝g(qx，px)·g(qy，py)；
g(a，b)＝max(0，1-|a-b|)；
上式中，G(.，.)表示双线性插值核，它是一个2维的数据。p表示任意一个要计算的位置(偏移之后的位置)，px，py分别表示x和y坐标数值；q是枚举特征图中所有的像素点位置的一个变量。qx，qy分别表示特征图中x和y坐标。
然后采用加权求和操作得到该位置的像素值：
z(p)＝∑qG(q，p)·z(q)；
在上述实例中，所述的步骤(2)中采用的转置卷积为核大小为4×4，步长为2。
在上述实例中，所述的步骤(4)中采用的SmoothLn函数为：
SmoothLn＝(|x|+1)ln(|x|+1)-|x|；
在上述实例中，所述的步骤(5)中所述的引入角度因子回归具体包括以下步骤：
(51)所选特征图中每个像素点预设7种长宽比例的水平锚点框；
(52)生成锚点框结构中的回归分支回归锚点框的宽、高和旋转角度；
(53)生成锚点框结构中仅仅选择特征图中每个像素点置信度最大的旋转锚点框，进入对应的可变形卷积V2和后续网络预测中；
(54)可变形卷积V2的“偏置”由(53)中最大置信度对应的特征图决定；
其中，旋转框检测回归分支的损失函数计算为：
设ti表示预测值，
Figure BDA0002580984980000081
表示目标值，w、h、θ分别表示宽度、高度、角度
Figure BDA0002580984980000082
在上述实例中，所述的步骤(6)中所述的交互界面采用QT制作，运行在包括Windows、Linux和Mac OS操作系统。
下面结合附图及具体实施例详细介绍，本发明的基于深度神经网络的遥感图像目标检测方法。
基于深度神经网络的遥感图像目标检测方法的结构如图1所示：
将遥感图像调整到一定尺寸，输入网络层中。首先通过基础网络(VGG、ResNet网络等)，选择尺寸大小分别为输入尺寸的1/8、1/16、1/32和1/64的4层特征图进入锚点框生成模块，由“GA”模块进行训练生成锚点框。同时，这4层特征图进行深浅层特征融合，进入下一阶段。融合后的4层特征图分别进入扩大感受野模块，然后得到的特征图再进入可变形卷积V2，同时“GA”模块的分类和回归分支的特征图进入可变形卷积V2，最终调整后的特征图进入网络预测阶段。改进后的网络不但可以在遥感数据集上取得较好的检测效果，同时能够在NVIDIA GTX 1080Ti的机器上达到实时检测。需要注意的是，旋转框检测任务需要采用旋转公式得到旋转框：
Figure BDA0002580984980000083
其中，θ为旋转角度，(cx，cy)为旋转固定点的坐标，(x，y)为旋转前的点坐标，(x′，y′)为旋转后的点坐标。
基于深度神经网络的遥感图像目标检测方法的锚点框生成模块的结构如图2所示，模块由两部分构成——“GA”和“DCM”(即可变形卷积V2)，采用两个卷积核为3×3大小的卷积，其中一个通道数为1，另一个通道数为2，分别作用于所选特征图后得到两个分支，前一个分支作为分类分支，后一个分支作为回归分支。分类分支采用Focal Loss作为分类损失函数，回归分支采用SmoothLn函数作为损失函数。分类分支经过sigmoid层，转化为概率值，然后筛选出可能成为目标框中心位置的像素，回归分支仅仅回归锚点框的宽和高，筛选且调整后的锚点框参与后续网络预测阶段。“GA”中的分类分支特征图作为可变形卷积V2的“调置”，回归分支的特征图作为可变形卷积V2的“偏置”。值得注意的是，网络预测层的反向传播不经过可变形卷积V2的“调置”和“偏置”两个分支。
基于深度神经网络的遥感图像目标检测方法的可变形卷积V2的结构如图3所示，“偏置”分支经过1×1大小的卷积层，进入像素调整模块。该结构具体实现步骤为：
假设一个采样点数为n的卷积核，w(·)表示第n个位置对应的卷积参数值，pn表示第n个位置的预设偏移量。比如：n＝9，所以pn∈{(-1，-1)，(-1，0)，...，(1，1)定义了一个3×3，空洞率为1的卷积核。p为当前像素点的坐标位置(x，y)，z(·)表示为该位置的像素值，f(·)表示该位置卷积后的输出。Δmk的值处于0～1之间，用于调节目标的区域，即为“调置”。通过网络学习得到的坐标偏移量Δpn，改变卷积参数对应相乘的像素点位置，即为“偏置”。因此卷积核大小为3×3大小的可变形卷积V2求解为：
Figure BDA0002580984980000091
由于调整之后的位置为浮点数，而在特征图中不存在浮点数位置的像素值，因此采用双线性插值，即：
G(q，p)＝g(qx，px)·g(qy，py)
g(a，b)＝max(0，1-|a-b|)
上式中，G(.，.)表示双线性插值核，它是一个2维的数据。p表示任意一个要计算的位置(偏移之后的位置)，px，py分别表示x和y坐标数值；q是枚举特征图中所有的像素点位置的一个变量。qx，qy分别表示特征图中x和y坐标。
然后采用加权求和操作得到该位置的像素值：
Figure BDA0002580984980000092
基于深度神经网络的遥感图像目标检测方法的深浅层融合的结构如图4所示，后一层的特征图经过核大小为4×4，步长为2的转置卷积，然后与该层经过核大小为3×3卷积层的特征图相加，最后再经过核大小为3×3卷积层。
基于深度神经网络的遥感图像目标检测方法的扩大感受野模块结构如图5所示。输入的特征图分别经由五个分支，每个分支都包含一系列卷积层，其中三个分支的包含空洞卷积，空洞系数分别为3、5、7，空洞卷积层和卷积层参数量不变，通过选取像素点的调整扩大感受野。模块中四个分支的输出特征层采取通道融合，再经由1×1的卷积，最后与另一个分支相加获得新的特征图。
基于深度神经网络的遥感图像目标检测方法的检测可视化结果如图6所示。其中图中的第一行的图为遥感图像水平框检测结果图，其中小车、船舶、港口分别由青色、蓝色、白色标示。图中的第二行的图为遥感图像旋转框检测结果图，图中包含小型车辆、大型车辆、船舶、港口。
基于深度神经网络的遥感图像目标检测方法的系统界面如图7(a)和图7(b)所示。其中图7(a)为水平框检测，图7(b)为旋转框检测。本发明的系统可以运行在Windows、Linux和Mac OS操作系统，GPU为NVIDIA GTX 1080Ti。系统界面主要由九个部分构成：菜单栏、工具栏、目录区、阈值区、模式区、显示区、信息区、输出区和统计区。下面将对界面的功能进行详细介绍：
菜单栏：“File”中包含文件打开、文件夹打开以及结果存储；“operation”中包含程序运行、模型选择和复位；
工具栏：图标依次为文件打开、文件夹打开、结果存储、程序运行和模型选择。可以读入的文件后缀名为.bmp、.jpg、.png、.gif，因此选择读入文件夹后只会显示这些后缀名的文件。对于存储仅仅在程序运行后才有效，存储运行后的图像以及含有类别和输出边界框信息的.txt文件；
目录区：对于读入的文件或者文件夹显示名称，而且可以通过在目录区双击选择切换；
阈值区：设置阈值，在程序运行后，输出置信度大于该阈值的边界框；
模式区：本系统的检测主要分为两个模式，正框(水平框)检测和斜框(旋转框)检测，每次只能选择一种模式进行检测；
显示区：对于原图像或者运行后图像进行显示，在该区域内滑动可以上下选择文件；
信息区：显示当前选择文件的路径以及程序运行情况；
输出区：程序运行后，显示当前图像输出框的类别和边界框坐标；
统计区：显示运行的系统、GPU情况以及输出类别的统计。
采用了上述的基于深度神经网络实现遥感图像目标检测的方法、系统及其计算机可读存储介质，可以实现遥感图像水平和旋转排列目标的检测，其中设计锚点框生成模块，由不同位置的特征信息自适应生成锚点框，降低预设锚点框的差异对于检测精度的影响；针对遥感图像中存在较多小目标的特点，提出了一种改进的特征金字塔结构，采用转置卷积方法融合深浅层特征信息；针对遥感图像背景复杂等难点，采用扩大感受野模块，提取更多特征信息，提高复杂背景下小目标的检测精度；采用SmoothLn函数作为回归损失，进一步提升算法性能。针对旋转排列目标，引入角度因子的回归实现旋转框检测；此外为方便用户使用，本发明设计遥感图像目标检测系统，包含操作界面、模型选择、检测模式设置、阈值设置、图像目标检测和信息记录等模块，可以实现水平框检测、旋转框检测以及计算结果统计的功能；本方法(输入图像尺寸为512)和系统的检测网络在NVIDIA GTX 1080Ti的机器上的FPS为24，符合实时检测的使用需求。
在此说明书中，本发明已参照特定的实例作了描述。但是，很显然，利用其他目标检测基础网络仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (9)

1.一种基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述方法包括以下步骤：
(1)构建锚点框生成网络模块，由不同位置的特征信息自适应生成锚点框；
(2)利用改进的特征金字塔结构，采用转置卷积算法融合深浅层特征信息，实现遥感图像目标的检测；
(3)对于所述的特征金字塔输出的特征图，采用扩大感受野模块，提取更多特征信息，提高复杂背景下目标的检测精度；
(4)构建网络损失函数，其中的回归损失函数均采用SmoothLn函数，进一步提升遥感图像目标检测性能；
(5)配置角度因子回归，实现对旋转目标的检测；
(6)构建遥感图像目标检测系统，其中包括操作界面模块、模型选择模块、检测模式设置模块、阈值设置模块、图像目标检测模块和信息记录模块，实现水平框检测、旋转框检测以及计算结果统计处理。
2.根据权利要求1所述的基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述的步骤(1)中的构建锚点框生成网络模块，具体包括以下步骤：
(11)构建生成锚点框网络结构；
(12)配置可变形卷积V2结构。
3.根据权利要求2所述的基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述的构建生成锚点框网络结构，具体包括以下步骤：
(111)为所选特征图中的每个像素点预设一个相同大小的锚点框；
(112)采用两个卷积核为3×3大小的卷积，其中第一个通道数为1，第二个通道数为2，分别作用于所选特征图后得到第一分支和第二分支，其中所述的第一分支对应于所述的第一通道数，所述的第二分支对应于所述的第二通道数，所述的第一分支作为分类分支，所述的第二分支作为回归分支；所述的分类分支采用Focal Loss作为分类损失函数，所述的回归分支采用SmoothLn函数作为损失函数；
(113)通过所述的分类分支筛选出可能成为目标框中心位置的像素，并通过所述的回归分支回归所述的锚点框的宽和高。
4.根据权利要求2所述的基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述的配置可变形卷积V2结构，具体为：
将所述的生成锚点框网络结构中的分类分支特征图作为可变形卷积V2结构的“调置”分支，并将所述的回归分支的特征图作为可变形卷积V2结构的“偏置”分支；
其中，网络预测层的反向传播不经过所述的可变形卷积V2结构的“调置”分支和“偏置”分支，且所述的“调置”分支和“偏置”分支的训练仅由所述的生成锚点框结构的损失函数所决定。
5.根据权利要求1所述的基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述的步骤(2)中的转置卷积算法的核大小为4×4，步长为2。
6.根据权利要求1所述的基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述的步骤(5)中所述的配置角度因子回归，具体包括以下步骤：
(51)对所选特征图中每个像素点预设7种长宽比例的水平锚点框；
(52)通过所述的生成锚点框结构中的回归分支回归锚点框的宽、高和旋转角度；
(53)从所述的生成锚点框结构中仅选择特征图中每个像素点置信度最大的旋转锚点框，并进入对应的可变形卷积V2结构和后续网络预测中；
(54)由上述步骤(53)中最大置信度所对应的特征图决定可变形卷积V2结构的“偏置”分支。
7.根据权利要求1所述的基于深度神经网络实现遥感图像目标检测的方法，其特征在于，所述的步骤(6)中所述的操作界面模块通过QT制作并构建，且该操作界面模块运行于Windows、Linux或者Mac OS操作系统中。
8.一种基于深度神经网络实现遥感图像目标检测的系统，其特征在于，所述的系统包括用于存储程序的存储器以及用于执行所述的程序的处理器，以实现权利要求1至7中任一项所述的基于深度神经网络实现遥感图像目标检测的方法。
9.一种计算机可读存储介质，其特征在于，包括程序，所述的程序可被处理器执行以完成权利要求1至7中任一项所述的基于深度神经网络实现遥感图像目标检测的方法。
CN202010667395.6A 2020-07-13 2020-07-13 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质 Active CN111667030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010667395.6A CN111667030B (zh) 2020-07-13 2020-07-13 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010667395.6A CN111667030B (zh) 2020-07-13 2020-07-13 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质

Publications (2)

Publication Number Publication Date
CN111667030A true CN111667030A (zh) 2020-09-15
CN111667030B CN111667030B (zh) 2023-04-07

Family

ID=72392356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010667395.6A Active CN111667030B (zh) 2020-07-13 2020-07-13 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质

Country Status (1)

Country Link
CN (1) CN111667030B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101251A (zh) * 2020-09-18 2020-12-18 电子科技大学 基于可变卷积神经网络的sar自动目标识别方法
CN112270278A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于关键点的蓝顶房检测方法
CN112329756A (zh) * 2020-09-25 2021-02-05 武汉光谷信息技术股份有限公司 一种印章提取及文字识别的方法及装置
CN113095303A (zh) * 2021-06-04 2021-07-09 成都数之联科技有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN113468993A (zh) * 2021-06-21 2021-10-01 天津大学 一种基于深度学习的遥感图像目标检测方法
TWI762365B (zh) * 2021-06-29 2022-04-21 晶睿通訊股份有限公司 影像辨識方法及其影像監控設備
CN116012719A (zh) * 2023-03-27 2023-04-25 中国电子科技集团公司第五十四研究所 一种基于多实例学习的弱监督旋转目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN111402226A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于级联卷积神经网络的表面疵点检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN111402226A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于级联卷积神经网络的表面疵点检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
庞立新;高凡;何大海;李满勤;刘方尧;: "一种基于注意力机制RetinaNet的小目标检测方法" *
邓睿哲;陈启浩;陈奇;刘修国;: "遥感影像船舶检测的特征金字塔网络建模方法" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101251A (zh) * 2020-09-18 2020-12-18 电子科技大学 基于可变卷积神经网络的sar自动目标识别方法
CN112329756A (zh) * 2020-09-25 2021-02-05 武汉光谷信息技术股份有限公司 一种印章提取及文字识别的方法及装置
CN112270278A (zh) * 2020-11-02 2021-01-26 重庆邮电大学 一种基于关键点的蓝顶房检测方法
CN113095303A (zh) * 2021-06-04 2021-07-09 成都数之联科技有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN113468993A (zh) * 2021-06-21 2021-10-01 天津大学 一种基于深度学习的遥感图像目标检测方法
TWI762365B (zh) * 2021-06-29 2022-04-21 晶睿通訊股份有限公司 影像辨識方法及其影像監控設備
CN116012719A (zh) * 2023-03-27 2023-04-25 中国电子科技集团公司第五十四研究所 一种基于多实例学习的弱监督旋转目标检测方法
CN116012719B (zh) * 2023-03-27 2023-06-09 中国电子科技集团公司第五十四研究所 一种基于多实例学习的弱监督旋转目标检测方法

Also Published As

Publication number Publication date
CN111667030B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111667030B (zh) 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN115331087B (zh) 融合区域语义与像素特征的遥感影像变化检测方法及系统
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
Nie et al. Depth-aware multi-grid deep homography estimation with contextual correlation
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
WO2022000862A1 (zh) 鱼眼图像中的对象检测方法、装置及存储介质
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN115375868B (zh) 地图显示和遥感地图显示方法、计算设备以及存储介质
Nurkarim et al. Building footprint extraction and counting on very high-resolution satellite imagery using object detection deep learning framework
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
CN114863236A (zh) 基于双重注意力机制的图像目标检测方法
CN114694011A (zh) 一种基于多传感器融合的透雾目标检测方法及装置
CN111797841A (zh) 一种基于深度残差网络的视觉显著性检测方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
Jiang et al. Deep edge map guided depth super resolution
CN116185179A (zh) 基于众包眼动数据的全景图视觉显著性预测方法和系统
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
Song et al. Mosaicking UAV orthoimages using bounded Voronoi diagrams and watersheds
CN111881915A (zh) 一种基于多种先验信息约束的卫星视频目标智能检测方法
Wang et al. A multi-scale attentive recurrent network for image dehazing
CN116760937B (zh) 一种基于多机位的视频拼接方法、装置、设备及存储介质
CN117746130A (zh) 一种基于遥感影像点状语义标签的弱监督深度学习分类方法
WO2024002064A1 (zh) 三维模型构建方法、装置、电子设备及存储介质
WO2022247394A1 (zh) 图像拼接方法及装置、存储介质及电子设备
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant