CN113298039A - 一种顾及遥感图像旋转目标的目标检测方法 - Google Patents

一种顾及遥感图像旋转目标的目标检测方法 Download PDF

Info

Publication number
CN113298039A
CN113298039A CN202110684873.9A CN202110684873A CN113298039A CN 113298039 A CN113298039 A CN 113298039A CN 202110684873 A CN202110684873 A CN 202110684873A CN 113298039 A CN113298039 A CN 113298039A
Authority
CN
China
Prior art keywords
regression
network
target
frame
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110684873.9A
Other languages
English (en)
Inventor
吕亚龙
赵金奇
汪磊
隋娟
李强
田玉宇
高瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guanwei Technology Co ltd
Original Assignee
Beijing Guanwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guanwei Technology Co ltd filed Critical Beijing Guanwei Technology Co ltd
Priority to CN202110684873.9A priority Critical patent/CN113298039A/zh
Publication of CN113298039A publication Critical patent/CN113298039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于遥感图像旋转目标的旋转目标检测器，包括一个特征提取阶段和一个检测框精炼阶段，在算法的检测中，第一阶段网络使用水平回归框，从而获得更快的速度和更多的区域建议框，在回归框精炼阶段使用了旋转锚框以适应密集场景。解决了在遥感图像舰船检测过程中由于舰船目标排列密集导致的检测精度不高的问题，本发明能够得到长宽比和尺寸更贴近舰船的真实形状的检测结果，适用于军用及民用的遥感图像舰船检测作业。

Description

一种顾及遥感图像旋转目标的目标检测方法
技术领域
本发明涉及遥感图像检测技术领域，具体涉及一种顾及遥感图像旋转目标的目标检测方法。
背景技术
遥感图像中包含了丰富的信息，在军事与民用领域都有着重要的意义。目前，对于民用领域中土地规划、环境监测、气象分析等方面以及军事领域中战前情报掌握、战时战略分析、军事测绘和领土检测等方面都做出了极大贡献。
对于高分辨率可见光遥感图像，舰船目标的检测一直是遥感图像理解任务中的一个研究热点。遥感舰船图像中，由于许多目标通常以密集排列的形式出现，且目标的尺度差异相对较大，这使得对于深度学习的检测算法，舰船的检测对检测框的角度的变化十分敏感，自然场景目标检测方法很难应用于遥感图像舰船检测任务中。目前常见的水平矩形框检测方法，检测结果中，由于检测框不能贴合舰船的真实形状，导致有的很多不属于舰船的像素，这对于区分背景和舰船区域十分不利，尤其是密集排列的交叠非常大的舰船目标。
因此，如何提供一种具有高识别精度的顾及遥感图像旋转目标的目标检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种用于遥感图像旋转目标的旋转目标检测器，该算法由一个特征提取阶段和一个检测框精炼阶段组成，在算法的检测中，第一阶段网络使用水平检测框，从而获得更快的速度和更多的区域建议框，在回归框精炼阶段使用了旋转检测框以适应密集场景。解决了在遥感图像舰船检测过程中由于舰船目标排列密集导致的检测精度不高的问题。
为了实现上述目的，本发明采用如下技术方案：
一种顾及遥感图像旋转目标的目标检测方法，构建改进的R3Det深度神经网络模型，作为旋转目标检测器，旋转目标检测器的目标检测方法包括如下步骤：
S1、回归框提取阶段：
S11、输入遥感图像依次经过级联残差网络进行目标的特征提取，得到N个特征，分别进入金字塔网络对应的层进行特征融合，得到每一层输出的多尺度融合特征图；
S12、所述金字塔网络每一层的输出均连接有一个第一分类回归子网络，得到并输出初步的第一回归框和第一分类结果；
S2、回归框精炼阶段：
S21、将所述S11中每一层得到的多尺度融合特征图结合所述S12中得到的第一回归框和第一分类结果进行第一回归框调整，得到调整后的回归框，使调整后的回归框符合目标的的真实形状和朝向；
S22、每一层输出的调整后的检测框分别进入至一个第二分类回归子网络，得到并输出最终的第二回归框和第二分类结果。
优选的，所述S11之前还包括：获得目标的遥感图像作为原始数据，所述原始数据集经过图像增强步骤，获得输入数据集，即所述输入遥感图像；所述图像增强步骤包括裁剪、旋转、颜色变换。
优选的，所述S11中，级联残差网络包括N+1个模块，每个模块包括若干残差块；所述级联残差网络中各个模块之间依次级联，第二模块至第N+1模块的N个输出端作为金字塔网络的N个融合层的输入端。
优选的，所述S11中，金字塔网络每一融合层接收特征时使用卷积层进行卷积，经过卷积后的特征，向下一层传递，并通过上采样将上一级联融合层与当前融合层进行融合，得到当前层融合后的特征；融合后的特征继续通过卷积层进行卷积，输出特征图像。
优选的，所述第一分类回归子网络的回归网络损失函数为CIoU Loss，分类网络损失函数为交叉熵损失。
优选的，所述S21的检测框精炼阶段具有N个输入端，分别接收特征融合后的每层输出的特征图，执行如下步骤：
S211、将所述多尺度融合特征图用特征向量表达，将所述第一回归框使用(x,y,w,h,θ)特征向量表示并输入预训练好的矩形旋转预测模型，得到旋转后的第一回归框；x和y分别表示第一回归框的中心点横纵坐标，w和h分别表示第一回归框的宽和长，θ表示待旋转角；
S212、通过双线性插值计算将旋转后的第一回归框与所述用特征向量表达的多尺度融合特征图进行融合；
S213、遍历所述N个特征，并分别执行S211-S212，得到重构的特征图。
优选的，所述S211之前还包括对所述第一回归框进行尺寸调整，所述尺寸调整过程包括，每层输出的所述多尺度融合特征图经过两组卷积支路卷积后进行叠加；两组所述卷积支路具有不同的卷积层数。
优选的，所述S22中，所述第一回归框旋转后的特征图分别输入至一个第二分类回归子网络，输出得到第二回归框和第二分类结果；其中，所述第二分类回归子网络的网络架构与所述第一分类回归子网络的网络架构相同；调整所述第一分类回归子网络和所述第二分类回归子网络的损失函数，使获得的回归框与目标的真实形状和朝向的误差最小。
经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：
本发明是一个可以检测旋转目标的检测器，由一个检测框提取阶段和一个检测框精炼阶段组成，其中，检测框提取阶段使用残差网络和金字塔网络作为主干网络。在算法的检测中，第一阶段网络使用水平检测框，从而获得更快的速度和更多的区域建议框，在检测框精炼阶段使用了旋转检测框以适应密集场景。
在检测框提取阶段和检测框精炼阶段两个阶段的末尾，分别有一个分类回归子网络来预测检测框内的目标类别，和回归检测框的大小比例更适合于目标形状。对于舰船类的目标，因其自身的真实形状多为长度远大于宽度，尺度差异较大，所以在本发明所述的检测器中，用于完成回归任务的回归网络，由损失函数CIoU Loss作为指导。该损失函数考虑到预测的检测框与真实检测框之间的覆盖面积、中心距离和长宽比例，更适用于舰船类检测的遥感影像检测。
本发明能够得到长宽比和尺寸更贴近舰船的真实形状的检测结果，适用于军用及民用的遥感图像舰船检测作业。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；
图1本发明实施例提供的基于深度卷积网络的旋转目标检测器神经网络结构图；
图2本发明实施例提供的基于深度卷积网络的旋转目标检测器的检测框精炼阶段的结构图；
图3本发明实施例提供的基于深度学习的针对遥感图像旋转舰船目标检测方法流程图；
图4本发明实施例提供的舰船目标检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例公开的一种顾及遥感图像旋转目标的目标检测方法，基于高分辨率遥感影像、改进的R3Det深度神经网络，实现了遥感图像中对旋转舰船目标的检测，包括以下步骤：
搭建改进的R3Det深度神经网络模型，调整损失函数，找到更适合检测舰船目标的损失函数。
基于改进的R3Det深度神经网络模型获取输入影像的检测结果。
具体检测执行步骤如下：
S1、回归框提取阶段：
S11、输入遥感图像依次经过级联残差网络进行目标的特征提取，得到N个特征，分别进入金字塔网络对应的层进行特征融合，得到每一层输出的多尺度融合特征图，即正矩形检测框和对应的特征图。
在一个实施例中，S11之前还包括：获得目标的遥感图像作为原始数据，原始数据集经过图像增强步骤，获得输入数据集，即输入遥感图像；图像增强步骤包括裁剪、旋转、颜色变换。
在一个实施例中，级联残差网络包括N+1个模块，每个模块包括若干残差块；级联残差网络中各个模块之间依次级联，第二模块至第N+1模块的N个输出端作为金字塔网络的N个融合层的输入端。
在一个实施例中，金字塔网络每一融合层接收特征时使用卷积层进行卷积，经过卷积后的特征，向下一层传递，并通过上采样将上一级联融合层与当前融合层进行融合，得到当前层融合后的特征；融合后的特征继续通过卷积层进行卷积，输出特征图像。
S12、金字塔网络每一层的输出均连接有一个第一分类回归子网络，得到并输出初步的第一回归框和第一分类结果。
在特征融合和分类回归子网络中间，利用类似RPN中产生anchor(锚框)的方式，在特征图上产生锚框，该锚框对应特征图中识别到的目标。每个anchor都有一个K维的独热编码形式的向量表示anchor的类别(K是对象的类别数，在K维向量中，预测类别的值为1，其他都是0)和一个4维向量做边框回归。IoU大于0.5，被当成目标，小于0.4，被当作背景，IoU在0.4-0.5之间的被舍弃。作为目标的anchors和goundtruth建立联系，边框回归就是计算anchor到关联的goundtruth之间的偏移。分类和回归就是对这些anchors进行。
S2、回归框精炼阶段：
S21、将S11中每一层得到的多尺度融合特征图结合S12中得到的第一回归框和第一分类结果进行第一回归框调整，得到调整后的回归框，使调整后的回归框符合目标的的真实形状和朝向。
S2阶段的输入有三个，一个是特征融合阶段产生的特征图，一个是分类回归子网络得到的分类结果和回归结果。
在一个实施例中，第一分类回归子网络的回归网络损失函数为CIoU Loss，分类网络损失函数为交叉熵损失。
在一个实施例中，S21的检测框精炼阶段具有N个输入端，分别接收特征融合后的每层输出，执行如下步骤：
S211、对第一回归框进行尺寸调整。
本实施例中，尺寸调整过程包括，每层输出的多尺度融合特征图经过两组卷积支路卷积后进行叠加；两组卷积支路具有不同的卷积层数。
S212、将尺寸调整后的所述多尺度融合特征图用特征向量表达，将所述第一回归框使用(x,y,w,h,θ)特征向量表示并输入预训练好的矩形旋转预测模型，得到旋转后的第一回归框；x和y分别表示第一回归框的中心点横纵坐标，w和h分别表示第一回归框的宽和长，θ表示待旋转角。
S213、通过双线性插值计算将旋转后的第一回归框与所述用特征向量表达的多尺度融合特征图进行融合。
S214、遍历N个特征，并分别执行S211-S213，得到重构的特征图。
S22、每一层输出的调整后的检测框分别进入至一个第二分类回归子网络，得到并输出最终的第二回归框和第二分类结果。
在一个实施例中，第一回归框旋转后的特征图分别输入至一个第二分类回归子网络，输出得到第二回归框和第二分类结果；其中，第二分类回归子网络的网络架构与第一分类回归子网络的网络架构相同；调整第一分类回归子网络和第二分类回归子网络的损失函数，使获得的回归框与目标的真实形状和朝向的误差最小。
下面给出一具体的实施例：
步骤1)搭建改进的R3Det深度神经网络模型，调整损失函数，找到更适合检测舰船目标的损失函数。
步骤2)基于改进的R3Det深度神经网络模型获取输入影像的检测结果。
其中，步骤1)包括如下步骤：
a、所述改进的R3Det的旋转目标检测器由一个检测框提取阶段和一个检测框精炼阶段组成。
b、所述检测框提取阶段包括特征提取部分和特征融合部分连接组成。其中特征提取部分使用4个由残差块组成的模块，每个模块使用若干个同样输出通道数的残差块。特征融合部分除第一模块外，每一层接收对应模块产生的特征，经过金字塔型网络的特征融合过程，得到每一层的输出。
(1)、所述特征提取部分包括4个模块，第一模块包括3个残差块，第二模块包括4个残差块，第三模块包括23个残差块，第四模块包括3个残差块。
(2)、所述每个残差块均为卷积核为1*1，3*3，1*1的三层卷积和一个输入端到输出端的级联组成。
(3)、所述特征融合层接收由前一阶段特征提取得到的特征，除第一模块外，从特征提取部分的第二模块的输出开始，特征进入特征金字塔网络对应的层进行特征融合，每一层接收特征时使用卷积核为1*1的卷积层，经过卷积后的特征，一方面向下一层传递，通过上采样融合两层特征，另一方面融合后的特征继续通过卷积核为3*3的卷积层，将融合后的特征输出。
(4)、所述特征融合部分每一层的输出都与一个分类回归子网络接连。其中回归网络损失函数为CIoU Loss，如下式1所示，分类网络损失函数为交叉熵损失(Cross EntropyLoss)。
Figure BDA0003124173400000071
其中，v表示预测的检测框与真实检测框之间长宽比的差距，如下式2所示，b，bgt分别表示预测框和真实框的中心点，p表示预测框和真实框中心点间的欧式距离，c表示能够同时包含预测框和真实框的最小封闭区域的对角线距离。
Figure BDA0003124173400000072
其中，wgt，hgt分别表示真实框的宽和高，w和h分别表示预测框的宽和高。
α表示一个权重系数，具体如下式3所示，
Figure BDA0003124173400000073
c、所述检测框精炼阶段通过两卷积将特征图叠加，调整特征位置贴合目标真实外形，获得新的特征。
(1)、所述检测框精炼阶段，连接在步骤b(3)后，每层连接一个，接收步骤b(3)每层输出的融合后的特征图像，并在经过两次卷积操作后结合步骤b(4)分类回归子网络的检测结果。
(2)、特征图像经过步骤c(1)后，进如检测框的调整调整精炼阶段。所述检测框调整过程，使用(x，y，w，h，θ)五个参数表述旋转矩形，θ表示与x轴的锐角，变化范围为[-90，0)，若旋转角度在x轴的另一象限，则记为ω。旋转矩形框的五个参数分别用特征向量表达，并通过双线性插值得到更精确的特征向量，用于替换原始的特征向量，遍历全部特征点后，得到重构的特征图。
在进行第一回归框旋转时，需要预训练矩形旋转预测模型，分为训练阶段和预测阶段：
训练阶段，输入为训练集中第一回归框的(x，y，w，h，θ)特征向量和相应目标锚框的特征向量，训练获得子网络中的附加角度偏移，即得到矩形旋转预测模型：
tx＝(x-xa)/ωa，ty＝(y-ya)/ha
tω＝log(ω/ωa)，th＝log(h/ha)，tθ＝θ-θa
如上式所示，是训练过程的表示，其中x，y，w，h，θ是训练集中对目标ground truth的旋转矩形第一回归框的表示，xa，ya，wa，ha，θa是对训练集中第一回归框对应的目标锚框的表示。
预测阶段，将预测集中第一回归框的(x，y，w，h，θ)特征向量代入矩形旋转预测模型，预测得到相应目标锚框的特征向量。
(3)、上述步骤c(2)中每个检测框调整精炼阶段连接一个步骤b(4)中所述的分类回归子网络，重构后的特征图作为网络的输入，得到最终的检测框和类别结果信息。
步骤2)包括如下步骤：
a、通过遥感传感器获得舰船的高空间分辨率遥感图像作为原始数据，所述原始数据集经过裁剪、旋转、颜色变换等图像增强步骤，获得输入数据集；
a、所述输入数据输入检测器，进一步，图像数据依次通过四层连接的特征提取单元和特征融合单元。
(1)、图像通过第一层特征提取网络，每一残差单元使用三层卷积核为1*1的卷积层和一个从残差块输入端到输出端的级联进行特征提取，得到特征F1。
(2)、上述特征输出进入四个第二残差单元，每一残差单元使用三层卷积核为3*3的卷积层和一个从残差块输入端到输出端的级联进行特征提取,得到特征F2，接着，F2进入特征融合网络的对应连接层。
(3)、上述输出特征输入到四个第三残差单元，每一个第三残差单元包括三个卷积核为5*5的卷积层和一个从残差块输入端到输出端的级联进行特征提取,得到特征F3，接着，F3进入特征融合网络的对应连接层。
(4)、上述输出特征输入到三个第四残差单元进行特征提取，得到特征F4，所述第四残差单元包括三个卷积核为7*7的卷积块,和一个从残差块输入端到输出端的级联，得到特征F4，接着，F4进入特征融合网络的对应连接层。
(5)、上述特征F4、F3、F2自上而下，逐层通过上采样进行融合，每一层在经过一个3*3的卷积后得到每一层的融合特征。
c、上述每一层得到的融合特征经过分类回归子网络，得到初步的回归框和分类结果。
d、上述步骤b(5)中得到的融合特征和步骤c中得到的回归和分类结果进入检测框调整精炼阶段，调整特征向量得到重构的特征图，重构后的检测框将更贴近舰船的真实形状和行驶方向。
e、上述步骤得到更精准的特征图后，特征图连接一个步骤c所述的分类回归网络，得到最终的分类回归结果。分类结果作为舰船的类别信息，回归结果产生的回归框作为舰船目标的检测框，以斜矩形的方式叠加在原始图像中，作为检测的可视化结果。
下表示出了本发明提供的舰船旋转目标检测方法在数据集中的检测速度。
图像数量 图像尺寸(长、宽) 平均速度
126 2000像素-10000像素 4fps
下面对目前几种主流旋转矩形目标检测方法在DOTA数据集上进行了实验，检测精度的实验结果对比如下。
Figure BDA0003124173400000091
Figure BDA0003124173400000101
显而易见，本发明在高精度检测旋转图像的基础上，还能够达到4fps的检测速度，检测识别效果明显优于现有技术中的平均识别精度。
以上对本发明所提供的顾及遥感图像旋转目标的目标检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种顾及遥感图像旋转目标的目标检测方法，其特征在于，构建改进的R3Det深度神经网络模型，作为旋转目标检测器，旋转目标检测器的目标检测方法包括如下步骤：
S1、回归框提取阶段：
S11、输入遥感图像依次经过级联残差网络进行目标的特征提取，得到N个特征，分别进入金字塔网络对应的层进行特征融合，得到每一层输出的多尺度融合特征图；
S12、所述金字塔网络每一层的输出均连接有一个第一分类回归子网络，得到并输出初步的第一回归框和第一分类结果；
S2、回归框精炼阶段：
S21、将所述S11中每一层得到的多尺度融合特征图结合所述S12中得到的第一回归框和第一分类结果进行第一回归框调整，得到调整后的回归框，使调整后的回归框符合目标的的真实形状和朝向；
S22、每一层输出的调整后的检测框分别进入至一个第二分类回归子网络，得到并输出最终的第二回归框和第二分类结果。
2.根据权利要求1所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述S11之前还包括：获得目标的遥感图像作为原始数据，所述原始数据集经过图像增强步骤，获得输入数据集，即所述输入遥感图像；所述图像增强步骤包括裁剪、旋转、颜色变换。
3.根据权利要求1所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述S11中，级联残差网络包括N+1个模块，每个模块包括若干残差块；所述级联残差网络中各个模块之间依次级联，第二模块至第N+1模块的N个输出端作为金字塔网络的N个融合层的输入端。
4.根据权利要求3所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述S11中，金字塔网络每一融合层接收特征时使用卷积层进行卷积，经过卷积后的特征，向下一层传递，并通过上采样将上一级联融合层与当前融合层进行融合，得到当前层融合后的特征；融合后的特征继续通过卷积层进行卷积，输出特征图像。
5.根据权利要求1所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述第一分类回归子网络的回归网络损失函数为CIoULoss，分类网络损失函数为交叉熵损失。
6.根据权利要求1所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述S21的检测框精炼阶段具有N个输入端，分别接收特征融合后每层输出的特征图，执行如下步骤：
S211、将所述多尺度融合特征图用特征向量表达，将所述第一回归框使用(x,y,w,h,θ)特征向量表示并输入预训练好的矩形旋转预测模型，得到旋转后的第一回归框；x和y分别表示第一回归框的中心点横纵坐标，w和h分别表示第一回归框的宽和长，θ表示待旋转角；
S212、通过双线性插值计算将旋转后的第一回归框与所述用特征向量表达的多尺度融合特征图进行融合；
S213、遍历所述N个特征，并分别执行S211-S212，得到重构的特征图。
7.根据权利要求6所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述S211之前还包括对所述第一回归框进行尺寸调整，所述尺寸调整过程包括，每层输出的所述多尺度融合特征图经过两组卷积支路卷积后进行叠加；两组所述卷积支路具有不同的卷积层数。
8.根据权利要求5所述的顾及遥感图像旋转目标的目标检测方法，其特征在于，所述S22中，所述第一回归框旋转后的特征图分别输入至一个第二分类回归子网络，输出得到第二回归框和第二分类结果；其中，所述第二分类回归子网络的网络架构与所述第一分类回归子网络的网络架构相同；调整所述第一分类回归子网络和所述第二分类回归子网络的损失函数，使获得的回归框与目标的真实形状和朝向的误差最小。
CN202110684873.9A 2021-06-21 2021-06-21 一种顾及遥感图像旋转目标的目标检测方法 Pending CN113298039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110684873.9A CN113298039A (zh) 2021-06-21 2021-06-21 一种顾及遥感图像旋转目标的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110684873.9A CN113298039A (zh) 2021-06-21 2021-06-21 一种顾及遥感图像旋转目标的目标检测方法

Publications (1)

Publication Number Publication Date
CN113298039A true CN113298039A (zh) 2021-08-24

Family

ID=77328944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110684873.9A Pending CN113298039A (zh) 2021-06-21 2021-06-21 一种顾及遥感图像旋转目标的目标检测方法

Country Status (1)

Country Link
CN (1) CN113298039A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022779A (zh) * 2021-10-25 2022-02-08 电子科技大学 一种基于比例尺网络的sar船只检测方法
CN114842001A (zh) * 2022-07-01 2022-08-02 苏州大学 一种遥感图像检测系统及方法
CN116434234A (zh) * 2023-05-25 2023-07-14 珠海亿智电子科技有限公司 一种铸坯字符的检测与识别方法、装置、设备及存储介质
CN117171380A (zh) * 2023-11-02 2023-12-05 北京观微科技有限公司 遥感影像确定方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464704A (zh) * 2020-10-12 2021-03-09 浙江理工大学 一种基于特征融合与旋转目标检测器的遥感图像识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464704A (zh) * 2020-10-12 2021-03-09 浙江理工大学 一种基于特征融合与旋转目标检测器的遥感图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUE YANG等: "《R3Det：Refined Single-Stage Detector with Feature Refinement for Rotating Object》", 《THE THIRTY-FIFTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022779A (zh) * 2021-10-25 2022-02-08 电子科技大学 一种基于比例尺网络的sar船只检测方法
CN114022779B (zh) * 2021-10-25 2023-05-26 电子科技大学 一种基于比例尺网络的sar船只检测方法
CN114842001A (zh) * 2022-07-01 2022-08-02 苏州大学 一种遥感图像检测系统及方法
CN116434234A (zh) * 2023-05-25 2023-07-14 珠海亿智电子科技有限公司 一种铸坯字符的检测与识别方法、装置、设备及存储介质
CN116434234B (zh) * 2023-05-25 2023-10-17 珠海亿智电子科技有限公司 一种铸坯字符的检测与识别方法、装置、设备及存储介质
CN117171380A (zh) * 2023-11-02 2023-12-05 北京观微科技有限公司 遥感影像确定方法、装置、电子设备及存储介质
CN117171380B (zh) * 2023-11-02 2024-01-23 北京观微科技有限公司 遥感影像确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113298039A (zh) 一种顾及遥感图像旋转目标的目标检测方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Liu et al. Deep depthwise separable convolutional network for change detection in optical aerial images
CN111738314B (zh) 基于浅层融合的多模态图像能见度检测模型的深度学习方法
CN110084850B (zh) 一种基于图像语义分割的动态场景视觉定位方法
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
Costea et al. Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN111783523B (zh) 一种遥感影像旋转目标检测方法
CN104217459B (zh) 一种球面特征提取方法
CN109829853A (zh) 一种无人机航拍图像拼接方法
CN111667030B (zh) 基于深度神经网络实现遥感图像目标检测的方法、系统及其存储介质
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN110008833B (zh) 基于光学遥感图像的目标船只检测方法
CN113822314A (zh) 图像数据处理方法、装置、设备以及介质
CN107945221A (zh) 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法
CN114429457A (zh) 一种基于双模态融合的风机叶片缺陷智能检测方法
CN113255589A (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN112163990B (zh) 360度图像的显著性预测方法及系统
CN107194343A (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN114170527A (zh) 一种利用旋转框表示的遥感目标检测方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination