CN116403122A - 无锚框定向目标检测方法 - Google Patents

无锚框定向目标检测方法 Download PDF

Info

Publication number
CN116403122A
CN116403122A CN202310403526.3A CN202310403526A CN116403122A CN 116403122 A CN116403122 A CN 116403122A CN 202310403526 A CN202310403526 A CN 202310403526A CN 116403122 A CN116403122 A CN 116403122A
Authority
CN
China
Prior art keywords
target
representing
feature
loss
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310403526.3A
Other languages
English (en)
Other versions
CN116403122B (zh
Inventor
贺广均
唐玮
冯鹏铭
梁颖
常江
田路云
上官博屹
梁银川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN202310403526.3A priority Critical patent/CN116403122B/zh
Publication of CN116403122A publication Critical patent/CN116403122A/zh
Application granted granted Critical
Publication of CN116403122B publication Critical patent/CN116403122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无锚框定向目标检测方法，包括：S100，获取至少一幅包含待检测目标的卫星遥感图像；S200，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C2、C3、C4、C5；S300，根据C2、C3、C4、C5构建FPN网络；S400，将所述FPN网络中的上采样和横向连接，替换为特征选择与对齐，对C2、C3、C4、C5进行融合处理，得到多尺度特征P3、P4、P5、P6、P7；S500，采用旋转边界框进行目标检测；S600，对目标检测算法进行优化，驱动目标检测网络在训练过程中学习目标的遥感方向信息。本发明可提高遥感目标检测对空间尺度大小与方向任意的目标的检测能力。

Description

无锚框定向目标检测方法
技术领域
本发明涉及遥感技术领域，具体涉及一种无锚框定向目标检测方法。
背景技术
遥感图像的目标检测是把海量遥感数据转化为应用成果的重要一环，更是遥感图像处理分析的研究热点，其不仅在资源勘测、环境监测、城市规划等民用领域有重要的作用，而且在战场目标信息获取、目标捕捉、目标情报获取等军用领域也扮演着重要的角色。
目标尺度变化大和目标姿态旋转多变是制约遥感图像目标检测性能的重要因素之一。首先，相对于自然图像而言，遥感图像中目标尺度变化更为复杂。在同一分辨率下，它不仅包含同一类目标的尺度差异，也包含不同种类目标之间的尺度差异。上述尺度变化大的挑战要求目标检测算法具备多尺度自适应检测能力，即同时对大尺度和小尺度目标均保持较高的精度。其次，遥感图像是俯视拍摄，目标常以多种角度分布在场景中，现有多数算法对角度的适应性不高，在处理多方向问题时不够鲁棒。此外，经典的水平框定位方式在对多方向目标进行定位时，难以进行紧凑、精准的定位，尤其当数个狭长的目标(货车、舰船)以倾斜的角度密集排列时，水平框检测方式更容易产生混淆。大多数的研究工作主要通过特征金字塔网络方法来学习多尺度特征。然而，上述工作在构建特征金字塔网络(FPN)结构时，忽略了特征金字塔网络本身存在两种缺陷，限制了特征金字塔网络的多尺度特征学习能力。此外，现有工作主要在典型的深度学习检测方法基础上将水平矩形框替换为旋转边界框检测方式，来克服水平矩形框检测方式，无法准确描述目标的姿态与形状信息，且无法排除背景与邻近目标的特征干扰，容易发生漏检和误检的问题。
发明内容
有鉴于此，本发明提出一种无锚框定向目标检测方法，解决目前遥感目标检测技术中对空间尺度大小与方向任意的目标的检测能力差的问题。
本发明实施例提出一种无锚框定向目标检测方法，包括：
S100，获取至少一幅卫星遥感图像；
S200，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C2、C3、C4、C5；
S300，根据C2、C3、C4、C5构建FPN网络；
S400，将所述FPN网络中的上采样和横向连接，替换为特征选择与对齐，对C2、C3、C4、C5进行融合处理，得到多尺度特征P3、P4、P5、P6、P7；
S500，采用旋转边界框进行目标检测；
S600，对目标检测算法进行优化，驱动目标检测网络在训练过程中学习目标的遥感方向信息。
进一步地，所述S100中，所述图像的大小为608×608；
所述S100之后，所述S200之前，还包括对所述图像进行标准差归一化处理。
进一步地，所述S400中，所述特征选择与对齐包括：
S410，输入特征Ci-1，根据ECA机制获取特征Ci-1的所有通道的权重系数，根据所述权重系数对特征Ci-1进行加权，得到加权特征
Figure BDA0004180568460000021
将特征Ci-1和加权特征/>
Figure BDA0004180568460000022
进行逐像素相加特征融合，并以1×1卷积作为特征选择层，得到融合后的有效通道特征/>
Figure BDA0004180568460000023
S420，学习上采样特征
Figure BDA0004180568460000024
与特征/>
Figure BDA0004180568460000025
之间的空间位置的偏移量，并根据所述偏移量对/>
Figure BDA0004180568460000026
进行调整，得到与特征/>
Figure BDA0004180568460000027
空间位置对齐的特征/>
Figure BDA0004180568460000028
进一步地，所述S410根据下式进行：
Figure BDA0004180568460000029
Figure BDA00041805684600000210
其中，fECA(·)表示ECA机制的特征选择层，fs(·)表示1×1卷积的特征选择层，
Figure BDA00041805684600000211
表示特征Ci-1经过特征选择后得到的特征。
进一步地，所述S420根据下式进行：
Figure BDA0004180568460000031
其中，fFSM(·)表示特征选择，Δi表示待学习的空间位置偏移量，
Figure BDA0004180568460000032
表示特征/>
Figure BDA0004180568460000033
与特征/>
Figure BDA0004180568460000034
的串联拼接，函数fo(·)和fa(·)是卷积核为3×3大小的可形变卷积，函数fo(·)用于从两个特征之间的空间位置差异性中学习到偏移量Δi，函数fa(·)用于根据偏移量Δi调整上采样特征/>
Figure BDA0004180568460000035
上每个像素的空间位置。
进一步地，所述S500包括：
S510，根据卷积特征图上的像素点与原始输入图像的位置映射关系，将映射位置处于真实边界框内的像素点确定为正样本；
S520，根据像素点与真实边界框中各个边框的距离以及旋转角度，计算得到被确定为正样本的像素点的回归变量，并进而确定旋转边界框；
S530，将像素点的旋转边界框转化为二维高斯分布表示，并用于目标检测。
进一步地，所述S510根据下式进行：
Figure BDA0004180568460000036
其中，(x，y)为卷积特征图{Pi|i＝3，4，5，6，7}上任一像素点
Figure BDA0004180568460000037
映射到原始输入图像的位置，s＝2i表示卷积特征图Pi相对于原始输入图像的步长，/>
Figure BDA0004180568460000038
表示向下取整函数。
进一步地，所述S520根据下式进行：
Figure BDA0004180568460000041
其中，(l，t，r，b，θ)表示像素点t的回归变量，(xoc，yoc)表示真实边界框的中心点坐标，woc、hoc和θoc分别表示真实边界框的宽度、高度和角度，像素点t的旋转边界框表示为(xoc，yoc，woc，hoc，θoc)。
进一步地，所述S530包括：
旋转边界框的二维高斯分布表示为
Figure BDA0004180568460000042
则/>
Figure BDA0004180568460000043
的概率密度函数表示为：
Figure BDA0004180568460000044
其中，z表示二维向量(x，y)，μ∈R2表示均值向量，∑表示z和μ的协方差矩阵，μ和Σ根据下式计算：
μ＝(xoc，yoc)T
Figure BDA0004180568460000045
其中，R和Λ分别表示旋转矩阵和特征值的对角矩阵。
进一步地，所述S600包括：
S610，根据目标训练损失函数优化目标检测算法；
其中，所述目标训练损失函数包括分类损失、旋转边界框回归定位损失和中心度回归损失；
S620，采用焦点损失计算所述分类损失；
S630，采用GWD损失计算所述旋转边界框回归定位损失；
S640，采用BCE损失计算所述中心度回归损失。
进一步地，所述S610根据下式进行：
Figure BDA0004180568460000051
其中，Ltotal表示目标训练损失函数，Lcls表示分类分支中的焦点损失，Lreg表示旋转边界框回归分支中的定位损失，Lcenterness表示中心度回归分支中的交叉熵损失，px，y表示目标的分类置信度，
Figure BDA0004180568460000052
表示目标的真实标签，tx，y表示目标的真实边界框，/>
Figure BDA0004180568460000053
表示目标检测网络输出的目标的预测边界框，centernetssx，y表示目标的真实边界框对应的中心度，
Figure BDA00041805684600000512
表示目标的预测边界框对应的中心度，Npos表示正样本的个数，λ1和λ2为权重调整因子，/>
Figure BDA0004180568460000054
表示指示函数，当/>
Figure BDA0004180568460000055
时，/>
Figure BDA0004180568460000056
进一步地，所述S630包括：
根据下式将目标的预测边界框Bp和目标的真实边界框Bgt转化为二维高斯分布形式：
Figure BDA0004180568460000057
Figure BDA0004180568460000058
则预测边界框Bp和真实边界框Bgt之间的GWD距离表示为：
Figure BDA0004180568460000059
其中，||·||2表示L2范数。
进一步地，所述S630还包括：
根据下式对Bp和Bgt的GWD距离作归一化处理：
Figure BDA00041805684600000510
Figure BDA00041805684600000511
其中，f(·)＝sqrt(·)表示开平方函数，τ表示调节参数；
并将归一化结果作为旋转边界框回归分支中的定位损失。
本发明实施例的无锚框定向目标检测方法，通过典型特征金字塔结构的改进和二维高斯函数的旋转回归机制，构建一个尺度与方向自适应的遥感目标检测方法，本发明的优点是：首先，在经典金字塔结构中嵌入特征对齐与选择来解决特征金字塔结构存在特征错位和通道信息丢失的缺陷，从而提升目标检测模型的多尺度特征学习能力；其次，针对现有基于锚定框的旋转目标检测方法存在超参数敏感的问题，在基于无锚定框的目标检测网络基础上加入了旋转边界框定位检测方式，无须对检测性能敏感的锚定框超参数进行设置；最后，为了解决旋转边界框存在的边界突变问题，将旋转边界框转换为二维高斯分布表示，并引入基于二维高斯分布的旋转回归定位损失函数来驱动检测网络学习目标的方向信息。由此，本发明提升了遥感目标检测模型对空间尺度大与方向任意的目标的检测能力，可应用于高分辨率遥感图像中的船只、飞机等典型目标检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的无锚框定向目标检测方法的流程示意图；
图2-4为本发明实施例的无锚框定向目标检测方法的子流程示意图；
图5为本发明实施例的目标检测网格结构示意图；
图6为本发明实施例的特征选择模块结构示意图；
图7为本发明实施例基于特征选择与对齐模块的特征融合结构示意图；
图8为本发明实施例的旋转边界框表示结构示意图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
如图1所示，本发明实施例的无锚框定向目标检测方法，包括：
S100，获取至少一幅包含待检测目标的卫星遥感图像。
在本实施例中，卫星遥感图像的大小为608×608。获取图像之后，还可包括对所述图像进行标准差归一化处理。
S200，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C2、C3、C4、C5。
在本实施例中，如图5所示，在主干网络Resnet101提取卫星遥感图像4个尺度特征，即降采样4、8、16、32倍的特征。
S300，根据C2、C3、C4、C5构建FPN网络。
在本实施例中，如图5所示，根据主干网络Resnet101中的特征C2、C3、C4、C5构建特征金字塔(FPN)网络。
S400，将所述FPN网络中的上采样和横向连接，替换为特征选择与对齐，对C2、C3、C4、C5进行融合处理，得到多尺度特征P3、P4、P5、P6、P7。
在本实施例中，如图5所示，将特征金字塔(FPN)中的上采样和横向连接步骤替换为特征对齐与选择模块，对特征图C2、C3、C4、C5进行融合处理，得到多尺度特征P3、P4、P5、P6、P7。如图2所示，S400具体包括：
S410，如图6所示，为了缓解特征通道减少导致特征信息丢失的问题，采用特征选择模块对主干特征Ci-1上的所有通道特征进行筛选，留下包含丰富空间细节的通道特征用于后续特征融合。为了对输入特征Ci-1中每个特征通道的重要性进行评估，特征选择模块首先使用高效通道注意力机制(Efficient Channel Attention，ECA)通过网络学习的方式自动提取每个特征通道的权重系数。获取权重系数后，ECA对输入特征Ci-1进行加权，得到加权的特征
Figure BDA0004180568460000071
之后，为了抑制非重要的特征，特征选择模块将加权特征/>
Figure BDA0004180568460000072
与输入特征Ci-1进行逐像素相加特征融合。最后，特征选择模块使用1×1卷积作为特征选择层，用于选择性地留下重要的通道特征并丢弃无用的通道来实现相邻特征的通道数量对齐。
S410的上述过程可根据下式进行：
Figure BDA0004180568460000081
Figure BDA0004180568460000082
其中，fECA(·)表示ECA机制的特征选择层，fs(·)表示1×1卷积的特征选择层，
Figure BDA0004180568460000083
表示特征Ci-1经过特征选择后得到的特征。
S420，如图7所示，为了解决上采样特征
Figure BDA0004180568460000084
和低层特征Ci-1存在特征不对齐问题，使得融合后的特征Pi-1存在错误的问题，采用特征对齐模块进行位置对齐。首先使用特征选择模块将底层特征Ci-1进行通道选择，得到特征/>
Figure BDA0004180568460000085
之后，学习上采样特征/>
Figure BDA0004180568460000086
与特征/>
Figure BDA0004180568460000087
之间的空间位置偏移量；最后，根据空间位置的偏移量来对上采样特征/>
Figure BDA0004180568460000088
进行调整。
S420的上述过程可根据下式进行：
Figure BDA0004180568460000089
其中，fFSM(·)表示特征选择，Δi表示待学习的空间位置偏移量，
Figure BDA00041805684600000810
表示特征/>
Figure BDA00041805684600000811
与特征/>
Figure BDA00041805684600000812
的串联拼接，/>
Figure BDA00041805684600000813
用于提供两个特征之间的空间位置差异性；函数fo(·)和fa(·)是卷积核为3×3大小的可形变卷积，但具有不同的功能，函数fo(·)用于从两个特征之间的空间位置差异性中学习到偏移量Δi，函数fa(·)用于根据偏移量Δi调整上采样特征/>
Figure BDA00041805684600000814
上每个像素的空间位置，从而生成与底层特征Ci-1空间位置对齐的特征
Figure BDA00041805684600000815
S500，采用旋转边界框进行目标检测。
如图3所示，在本实施例中，为了解决全卷积一阶目标检测(FCOS)基准方法采用基于水平矩形框方式来定位目标的位置，但难以学习遥感目标方向信息的缺陷，本发明采用旋转边界框对姿态旋转的遥感目标进行定位。此外，为了解决旋转边界框检测方式存在边界突变的问题，将旋转边界框转换为二维高斯分布表示方式。S500具体包括：
S510，根据卷积特征图上的像素点与原始输入图像的位置映射关系，将映射位置处于真实边界框内的像素点确定为正样本。
在本实施例中，确定卷积特征图上的像素点与原始输入图像的位置映射关系，并将映射位置处于真实边界框内的像素点视为正样本。对于特征图{Pi|i＝3，4，5，6，7}中某个像素点
Figure BDA0004180568460000094
而言，其映射到原始输入图像的位置(x，y)可以表示为：
Figure BDA0004180568460000091
其中，s＝2i表示特征图Pi相对于原始输入图像的步长，
Figure BDA0004180568460000092
表示向下取整函数。如果像素点t映射后的位置在输入图像中某个真实目标边界框内，则像素点t被视为正样本。
S520，根据像素点与真实边界框中各个边框的距离以及旋转角度，计算得到被确定为正样本的像素点的回归变量，并进而确定旋转边界框。
如图8所示，在本实施例中，为了定位整个旋转目标，需要计算该像素点t离真实边界框中各个边框的距离以及旋转角度作为回归变量。像素点的回归向量可以由(l，t，r，b，θ)进行表示。由于常用的旋转边界框的格式一般为OpenCV旋转框表示法，因此需要将回归变量(l，t，r，b，θ)转化为OpenCV格式，具体的转换方式可由下式进行表示：
Figure BDA0004180568460000093
其中，(xoc，yoc)表示边界框的中心点坐标，woc、hoc和θoc分别表示边界框的宽度、高度和角度。
S530，将像素点的旋转边界框转化为二维高斯分布表示，并用于目标检测。
在本实施例中，为了解决基于旋转边界框的目标检测方法易受到边界突变导致性能下降的问题，首先将旋转边界框(xoc，yoc，woc，hoc，θoc)转化为二维高斯分布
Figure BDA0004180568460000101
进行表示。对于二维高斯分布/>
Figure BDA0004180568460000102
而言，其概率密度函数可以表示为：
Figure BDA0004180568460000103
其中，z表示二维向量(x，y)，μ∈R2表示均值向量，非负半定实矩阵∑表示两个变量的协方差矩阵。并且均值向量μ和协方差矩阵∑可以由下式进行求解：
μ＝(xoc，yoc)T
Figure BDA0004180568460000104
其中，R和Λ分别表示旋转矩阵和特征值的对角矩阵。在对角矩阵Λ中，特征值
Figure BDA0004180568460000105
和/>
Figure BDA0004180568460000106
分别是椭圆半轴的平方。
S600，对目标检测算法进行优化，驱动目标检测网络在训练过程中学习目标的遥感方向信息。
在本实施例中，对FCOS基准方法的多任务损失函数进行优化，驱动检测网络在训练过程中学习遥感目标的方向信息。在多任务损失函数中，除了旋转边界框回归分支的定位损失外，分类分支中的焦点损失和中心度回归分支的交叉熵损失，与FCOS基准方法保持一致。而在旋转边界框回归分支中，采用了高斯沃瑟斯坦距离损失(Gaussian WassersteinDistance,GWD)作为旋转回归定位损失。如图4所示，S600具体包括：
S610，根据目标训练损失函数优化目标检测算法；
对经典FCOS算法的多任务训练损失函数进行优化，使其面向遥感目标检测时，能够驱动检测模型学习目标的方向信息。目标训练损失函数Ltotal由分类损失Lcls、旋转框回归定位损失Lreg和中心度回归损失Lcenterness三部分构成，其定义如下式所示：
Figure BDA0004180568460000111
其中，Ltotal表示目标训练损失函数，Lcls表示分类分支中的焦点损失，Lreg表示旋转边界框回归分支中的定位损失，Lcenterness表示中心度回归分支中的交叉熵损失，px，y表示目标的分类置信度，
Figure BDA0004180568460000112
表示目标的真实标签，tx，y表示目标的真实边界框，/>
Figure BDA0004180568460000113
表示目标检测网络输出的目标的预测边界框，centernetssx，y表示目标的真实边界框对应的中心度，
Figure BDA0004180568460000114
表示目标的预测边界框对应的中心度，Npos表示正样本的个数，λ1和λ2为权重调整因子，/>
Figure BDA0004180568460000115
表示指示函数，如果目标真实标签/>
Figure BDA0004180568460000116
则表示真实标签不是背景，即/>
Figure BDA0004180568460000117
S620，采用焦点损失计算所述分类损失。
S630，采用GWD损失计算所述旋转边界框回归定位损失。
在本实施例中，为了克服GIoU回归损失函数的缺陷，根据下式将目标的预测边界框Bp和目标的真实边界框Bgt转化为二维高斯分布形式：
Figure BDA0004180568460000118
Figure BDA0004180568460000119
则预测边界框Bp和真实边界框Bgt之间的GWD距离表示为：
Figure BDA00041805684600001110
其中，||·||2表示L2范数。
同时，为了克服GWD距离数值过大，导致训练模型收敛困难的问题，对GWD度量距离进行归一化处理，并将归一化GWD距离作为Lreg旋转回归定位损失。根据下式对Bp和Bgt的GWD距离作归一化处理：
Figure BDA00041805684600001111
Figure BDA00041805684600001112
其中，f(·)＝sqrt(·)表示开平方函数，τ表示调节参数；
并将归一化结果作为旋转边界框回归分支中的定位损失。
S640，采用BCE(Binary CrossEntropy，二进制交叉熵)损失计算所述中心度回归损失。
综上，本发明实施例的无锚框定向目标检测方法，通过典型特征金字塔结构的改进和二维高斯函数的旋转回归机制，构建一个尺度与方向自适应的遥感目标检测方法，本发明的优点是：首先，在经典金字塔结构中嵌入特征对齐与选择来解决特征金字塔结构存在特征错位和通道信息丢失的缺陷，从而提升目标检测模型的多尺度特征学习能力；其次，针对现有基于锚定框的旋转目标检测方法存在超参数敏感的问题，在基于无锚定框的目标检测网络基础上加入了旋转边界框定位检测方式，无须对检测性能敏感的锚定框超参数进行设置；最后，为了解决旋转边界框存在的边界突变问题，将旋转边界框转换为二维高斯分布表示，并引入基于二维高斯分布的旋转回归定位损失函数来驱动检测网络学习目标的方向信息。由此，本发明提升了遥感目标检测模型对空间尺度大与方向任意的目标的检测能力，可应用于高分辨率遥感图像中的船只、飞机等典型目标检测。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种无锚框定向目标检测方法，其特征在于，包括：
S100，获取至少一幅包含待检测目标的卫星遥感图像；
S200，以Resnet101为主干网络，提取所述卫星遥感图像的降采样4、8、16、32倍的特征C2、C3、C4、C5；
S300，根据C2、C3、C4、C5构建FPN网络；
S400，将所述FPN网络中的上采样和横向连接，替换为特征选择与对齐，对C2、C3、C4、C5进行融合处理，得到多尺度特征P3、P4、P5、P6、P7；
S500，采用旋转边界框进行目标检测；
S600，对目标检测算法进行优化，驱动目标检测网络在训练过程中学习目标的遥感方向信息。
2.根据权利要求1所述的无锚框定向目标检测方法，其特征在于，所述S100中，所述图像的大小为608×608；
所述S100之后，所述S200之前，还包括对所述图像进行标准差归一化处理。
3.根据权利要求1所述的无锚框定向目标检测方法，其特征在于，所述S400中，所述特征选择与对齐包括：
S410，输入特征Ci-1，根据ECA机制获取特征Ci-1的所有通道的权重系数，根据所述权重系数对特征Ci-1进行加权，得到加权特征
Figure FDA0004180568440000011
将特征Ci-1和加权特征/>
Figure FDA0004180568440000012
进行逐像素相加特征融合，并以1×1卷积作为特征选择层，得到融合后的有效通道特征/>
Figure FDA0004180568440000013
S420，学习上采样特征
Figure FDA0004180568440000014
与特征/>
Figure FDA0004180568440000015
之间的空间位置的偏移量，并根据所述偏移量对/>
Figure FDA0004180568440000016
进行调整，得到与特征/>
Figure FDA0004180568440000017
空间位置对齐的特征/>
Figure FDA0004180568440000018
4.根据权利要求3所述的无锚框定向目标检测方法，其特征在于，所述S410根据下式进行：
Figure FDA0004180568440000019
Figure FDA00041805684400000110
其中，fECA(·)表示ECA机制的特征选择层，fs(·)表示1×1卷积的特征选择层，
Figure FDA0004180568440000021
表示特征Ci-1经过特征选择后得到的特征。
5.根据权利要求3所述的无锚框定向目标检测方法，其特征在于，所述S420根据下式进行：
Figure FDA0004180568440000022
其中，fFSM(·)表示特征选择，Δi表示待学习的空间位置偏移量，
Figure FDA0004180568440000023
表示特征
Figure FDA0004180568440000024
与特征/>
Figure FDA0004180568440000025
的串联拼接，函数fo(·)和fa(·)是卷积核为3×3大小的可形变卷积，函数fo(·)用于从两个特征之间的空间位置差异性中学习到偏移量Δi，函数fa(·)用于根据偏移量Δi调整上采样特征/>
Figure FDA0004180568440000026
上每个像素的空间位置。
6.根据权利要求1所述的无锚框定向目标检测方法，其特征在于，所述S500包括：
S510，根据卷积特征图上的像素点与原始输入图像的位置映射关系，将映射位置处于真实边界框内的像素点确定为正样本；
S520，根据像素点与真实边界框中各个边框的距离以及旋转角度，计算得到被确定为正样本的像素点的回归变量，并进而确定旋转边界框；
S530，将像素点的旋转边界框转化为二维高斯分布表示，并用于目标检测。
7.根据权利要求6所述的无锚框定向目标检测方法，其特征在于，所述S510根据下式进行：
Figure FDA0004180568440000027
其中，(x，y)为卷积特征图{Pi|i＝3，4，5，6，7}上任一像素点
Figure FDA0004180568440000028
映射到原始输入图像的位置，s＝2i表示卷积特征图Pi相对于原始输入图像的步长，/>
Figure FDA0004180568440000029
表示向下取整函数。
8.根据权利要求6所述的无锚框定向目标检测方法，其特征在于，所述S520根据下式进行：
Figure FDA0004180568440000031
其中，(l，t，r，b，θ)表示像素点t的回归变量，(xoc，yoc)表示真实边界框的中心点坐标，woc、hoc和θoc分别表示真实边界框的宽度、高度和角度，像素点t的旋转边界框表示为(xoc，yoc，woc，hoc，θoc)。
9.根据权利要求6所述的无锚框定向目标检测方法，其特征在于，所述S530包括：
旋转边界框的二维高斯分布表示为
Figure FDA0004180568440000032
则/>
Figure FDA0004180568440000033
的概率密度函数表示为：
Figure FDA0004180568440000034
其中，z表示二维向量(x，y)，μ∈R2表示均值向量，∑表示z和μ的协方差矩阵，μ和∑根据下式计算：
μ＝(xoc，yoc)T
Figure FDA0004180568440000035
其中，R和Λ分别表示旋转矩阵和特征值的对角矩阵。
10.根据权利要求1所述的无锚框定向目标检测方法，其特征在于，所述S600包括：
S610，根据目标训练损失函数优化目标检测算法；
其中，所述目标训练损失函数包括分类损失、旋转边界框回归定位损失和中心度回归损失；
S620，采用焦点损失计算所述分类损失；
S630，采用GWD损失计算所述旋转边界框回归定位损失；
S640，采用BCE损失计算所述中心度回归损失。
11.根据权利要求10所述的无锚框定向目标检测方法，其特征在于，所述S610根据下式进行：
Figure FDA0004180568440000041
其中，Ltotal表示目标训练损失函数，Lcls表示分类分支中的焦点损失，Lreg表示旋转边界框回归分支中的定位损失，Lcenterness表示中心度回归分支中的交叉熵损失，px，y表示目标的分类置信度，
Figure FDA0004180568440000042
表示目标的真实标签，tx，y表示目标的真实边界框，/>
Figure FDA0004180568440000043
表示目标检测网络输出的目标的预测边界框，centernetssx，y表示目标的真实边界框对应的中心度，
Figure FDA0004180568440000044
表示目标的预测边界框对应的中心度，Npos表示正样本的个数，λ1和λ2为权重调整因子，/>
Figure FDA0004180568440000045
表示指示函数，当/>
Figure FDA0004180568440000046
时，/>
Figure FDA0004180568440000047
12.根据权利要求11所述的无锚框定向目标检测方法，其特征在于，所述S630包括：
根据下式将目标的预测边界框Bp和目标的真实边界框Bgt转化为二维高斯分布形式：
Figure FDA0004180568440000048
Figure FDA0004180568440000049
则预测边界框Bp和真实边界框Bgt之间的GWD距离表示为：
Figure FDA00041805684400000410
其中，||·||2表示L2范数。
13.根据权利要求12所述的无锚框定向目标检测方法，其特征在于，所述S630还包括：
根据下式对Bp和Bgt的GWD距离作归一化处理：
Figure FDA0004180568440000051
Figure FDA0004180568440000052
其中，f(·)＝sqrt(·)表示开平方函数，τ表示调节参数；
并将归一化结果作为旋转边界框回归分支中的定位损失。
CN202310403526.3A 2023-04-14 2023-04-14 无锚框定向目标检测方法 Active CN116403122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310403526.3A CN116403122B (zh) 2023-04-14 2023-04-14 无锚框定向目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310403526.3A CN116403122B (zh) 2023-04-14 2023-04-14 无锚框定向目标检测方法

Publications (2)

Publication Number Publication Date
CN116403122A true CN116403122A (zh) 2023-07-07
CN116403122B CN116403122B (zh) 2023-12-19

Family

ID=87015785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310403526.3A Active CN116403122B (zh) 2023-04-14 2023-04-14 无锚框定向目标检测方法

Country Status (1)

Country Link
CN (1) CN116403122B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173036A1 (zh) * 2019-02-26 2020-09-03 博众精工科技股份有限公司 基于深度学习的定位方法和系统
CN113284185A (zh) * 2021-06-16 2021-08-20 河北工业大学 用于遥感目标检测的旋转目标检测方法
CN113468968A (zh) * 2021-06-02 2021-10-01 中国地质大学（武汉） 一种基于无锚框的遥感图像旋转目标检测方法
CN113902966A (zh) * 2021-10-09 2022-01-07 江苏大学 一种针对电子元器件的无锚框目标检测网络及应用该网络的检测方法
US20220044073A1 (en) * 2020-08-07 2022-02-10 Carnegie Mellon University Feature pyramids for object detection
CN114550004A (zh) * 2022-01-25 2022-05-27 中国人民解放军海军航空大学航空作战勤务学院 一种sar图像舰船目标斜框检测方法及系统
CN114581799A (zh) * 2022-02-18 2022-06-03 南京航空航天大学 一种基于多尺度特征融合的无人机小目标检测方法
WO2022134362A1 (zh) * 2020-12-24 2022-06-30 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
CN114821341A (zh) * 2022-06-02 2022-07-29 昆明理工大学 基于fpn与pan网络的双重注意力的遥感小目标检测方法
CN114898200A (zh) * 2022-05-25 2022-08-12 西安建筑科技大学 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统
CN115019182A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像目标细粒度识别方法、系统、设备及存储介质
CN115019181A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像旋转目标检测方法、电子设备及存储介质
CN115424267A (zh) * 2022-09-01 2022-12-02 中国人民解放军国防科技大学 基于高斯分布的旋转目标检测方法和装置
CN115761401A (zh) * 2022-11-09 2023-03-07 杭州像素元科技有限公司 一种基于卷积神经网络的高速公路小目标检测方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173036A1 (zh) * 2019-02-26 2020-09-03 博众精工科技股份有限公司 基于深度学习的定位方法和系统
US20220044073A1 (en) * 2020-08-07 2022-02-10 Carnegie Mellon University Feature pyramids for object detection
WO2022134362A1 (zh) * 2020-12-24 2022-06-30 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
CN113468968A (zh) * 2021-06-02 2021-10-01 中国地质大学（武汉） 一种基于无锚框的遥感图像旋转目标检测方法
CN113284185A (zh) * 2021-06-16 2021-08-20 河北工业大学 用于遥感目标检测的旋转目标检测方法
CN113902966A (zh) * 2021-10-09 2022-01-07 江苏大学 一种针对电子元器件的无锚框目标检测网络及应用该网络的检测方法
CN114550004A (zh) * 2022-01-25 2022-05-27 中国人民解放军海军航空大学航空作战勤务学院 一种sar图像舰船目标斜框检测方法及系统
CN114581799A (zh) * 2022-02-18 2022-06-03 南京航空航天大学 一种基于多尺度特征融合的无人机小目标检测方法
CN114898200A (zh) * 2022-05-25 2022-08-12 西安建筑科技大学 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统
CN114821341A (zh) * 2022-06-02 2022-07-29 昆明理工大学 基于fpn与pan网络的双重注意力的遥感小目标检测方法
CN115019182A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像目标细粒度识别方法、系统、设备及存储介质
CN115019181A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像旋转目标检测方法、电子设备及存储介质
CN115424267A (zh) * 2022-09-01 2022-12-02 中国人民解放军国防科技大学 基于高斯分布的旋转目标检测方法和装置
CN115761401A (zh) * 2022-11-09 2023-03-07 杭州像素元科技有限公司 一种基于卷积神经网络的高速公路小目标检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN GUAN等: "EARL: An Elliptical Distribution aided Adaptive Rotation Label Assignment for Oriented Object Detection in Remote Sensing Images", 《ARXIV:2301.05856V1》, pages 1 - 13 *
郑雅羽;王济浩;冯杰;: "基于改进实例分割网络的步行道违停车辆检测算法", 高技术通讯, no. 06, pages 561 - 569 *

Also Published As

Publication number Publication date
CN116403122B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110298298B (zh) 目标检测及目标检测网络的训练方法、装置及设备
CN108460382B (zh) 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN109655825A (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN111161218A (zh) 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111476159B (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN108428220A (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
US20200034664A1 (en) Network Architecture for Generating a Labeled Overhead Image
CN114119610B (zh) 基于旋转目标检测的缺陷检测方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN115690627A (zh) 一种航拍图像旋转目标的检测方法及系统
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN114373009A (zh) 基于高分辨率遥感影像的建筑物阴影测高智能化计算方法
CN115620141A (zh) 一种基于加权可变形卷积目标检测方法和装置
CN112150358A (zh) 一种抗大几何畸变的影像特征匹配方法
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN116403122B (zh) 无锚框定向目标检测方法
CN117152601A (zh) 一种基于动态感知区域路由的水下目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant