CN116524348B - 一种基于角度周期表示的航空图像检测方法及系统 - Google Patents

一种基于角度周期表示的航空图像检测方法及系统 Download PDF

Info

Publication number
CN116524348B
CN116524348B CN202310241969.7A CN202310241969A CN116524348B CN 116524348 B CN116524348 B CN 116524348B CN 202310241969 A CN202310241969 A CN 202310241969A CN 116524348 B CN116524348 B CN 116524348B
Authority
CN
China
Prior art keywords
feature
features
fusion
network
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310241969.7A
Other languages
English (en)
Other versions
CN116524348A (zh
Inventor
张锦
陈勇
张颂
陈新响
许建敏
杨子恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Military Transportation University of PLA Zhenjiang
Original Assignee
Army Military Transportation University of PLA Zhenjiang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Military Transportation University of PLA Zhenjiang filed Critical Army Military Transportation University of PLA Zhenjiang
Priority to CN202310241969.7A priority Critical patent/CN116524348B/zh
Publication of CN116524348A publication Critical patent/CN116524348A/zh
Application granted granted Critical
Publication of CN116524348B publication Critical patent/CN116524348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于角度周期表示的航空图像检测方法及系统，获取待检测的航空图像；将待检测的航空图像输入预先训练的单次特征聚合深度网络中，输出特征映射；其中，所述骨干网络用于将航空图像分成多个尺度的多尺度特征；所述特征上融合网络用于分辨率低的深层特征逐步与分辨率高的浅层特征进行向上融合得到初级融合特征；所述特征下融合网络用于将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合得到高级融合特征；所述特征变换网络用于对特征进行降维，输出轻量级特征；所述卷积模块是指经典的图像卷积操作；所述单次特征聚合深度网络将原始图像进行特征编码和解码后，输出特征映射；所述损失函数包括分类损失项、定位损失项、置信度损失项和角度损失项。

Description

一种基于角度周期表示的航空图像检测方法及系统
技术领域
本发明涉及一种基于角度周期表示的航空图像检测方法及系统，属于图像检测技术领域。
背景技术
航空图像检测是针对广阔地域内重要目标实施在线信息挖掘和动态监控的重要手段，可广泛应用于大范围区域人员搜救、森林探火、地质勘查，以及战场信息实时感知与侦察等场景。相比于基于“水平框”的通用目标检测任务，航空图像检测面临图像分辨率高、物体尺度差异大、目标具有旋转变化特性等挑战。一方面，基于“旋转框”的航空图像检测器普遍存在推理速度偏低，难以应对高分辨率图像检测的快速性要求，而直接迁移快速的“水平框”目标检测算法又难以适应航空图像内在的“旋转不变性”和“尺度差异性”等要求。另一方面，当前旋转检测器采用对“旋转框”角度进行直接回归的做法会面临“角度临界问题”。例如，当角度表示范围为(-90°,90°]，-89°和90°的真实角度差异很小(差1°)，而角度回归损失值却很大(差179°)。为解决航空图像检测的快速性和旋转框带来的“角度临界问题”。
发明内容
本发明的目的在于提供一种基于角度周期表示的航空图像检测方法及系统，以解决现有技术航空图像检测的快速性和旋转框带来的“角度临界问题的缺陷。
一种基于角度周期表示的航空图像检测方法，所述方法包括：
获取待检测的航空图像；
将待检测的航空图像输入预先训练的单次特征聚合深度网络中，输出特征映射；
其中，所述单次特征聚合深度网络包括以单次特征聚合模块为核心组件的骨干网络、特征上融合网络、特征下融合网络、特征变换网络、角度周期表示损失函数和卷积模块；
所述骨干网络用于将航空图像分成多个尺度的多尺度特征；所述特征上融合网络用于分辨率低的深层特征逐步与分辨率高的浅层特征进行向上融合得到初级融合特征；所述特征下融合网络用于将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合得到高级融合特征；所述特征变换网络用于对特征进行降维，输出轻量级特征；所述卷积模块用于对图像卷积操作；所述单次特征聚合深度网络将原始图像进行特征编码和解码后，输出特征映射；所述角度周期表示损失函数包括分类损失项、定位损失项、置信度损失项和角度损失项。
进一步地，所述单次特征聚合深度网络通过角度周期表示损失函数训练，所述角度周期表示损失函数公式为：
A＝G(θ)…………………………………(8)
θ＝[θmin,θmin+1,…,θmax]………………………(9)其中，为分类损失、/>为定位损失、/>为置信度损失、/>为角度损失、j表示不同尺度；α表示不同类型损失的权重，β表示不同尺度损失的权重；P表示预测值，T表示真实值；CE表示经典的交叉熵损失，CIOU表示水平框完整交并比算子，G为具有对称性质的角度映射函数，G的对称轴位于角度表示范围的中点/>其中，θmin和θmax为角度表示范围的最小值和最大值，当满足角度表示范围条件时，θ和A均是基于自身中心元素对称的序列，θ是角度值的顺序表示，A是各角度值映射后的分布，根据预测角度/>在序列θ中的位置idx，对角度分布A重新按顺序排列得到角度周期表示向量/>
进一步地，所述单次特征聚合模块对通道数为c0的输入特征进行处理，得到通道数为2c的输出特征；
基于卷积操作构建4条分支对输出特征提取多样化，得到4组通道数为c的输出特征；
将上述4组通道数为c的特征沿通道维度拼接为通道数4c的一组特征，后再利用卷积操作进行聚合得到通道数为2c的一组特征。
进一步地，所述卷积模块包括卷积一和卷积二；所述卷积一为核大小为3×3，步长为1的卷积核后级联一个参数为0.1的激活函数，所述卷积二为1×1的卷积核，用于实现对高维输入特征进行快速降维。
进一步地，所述主干网络基于单次特征聚合模块及若干独立的卷积模块和最大池化操作对输入的遥感图像进行逐层抽象和加工，输出不同尺度分辨率的特征映射。
进一步地，所述特征上融合网络使用核为1×1的卷积对通道数为c0的低分辨率输入特征和通道数为c1的高分辨率输入特征进行处理，得到通道维度统一为c的两个特征，然后对其中低分辨率特征进行上采样，统一分辨率，最后将得到的两部分特征用单次特征聚合模块进行融合。
进一步地，所述特征下融合网络通过步长为2的卷积操作来实现对高分辨率特征的下采样，统一分辨率，将得到的两部分特征用单次特征聚合模块进行融合。
进一步地，所述特征变换网络使用轻量级的核为1×1的卷积对多通道数的特征进行降维，然后对降维特征采用多组并行的池化操作来编码多样化特征，最后对多分支特征进行聚合输出轻量级特征。
进一步地，所述单次特征聚合网络基于单次特征聚合模块为核心组件来进行特征提取和多尺度特征融合。
一种基于角度周期表示的航空图像快速检测系统，所述系统包括：
获取模块，用于获取待检测的航空图像；
处理模块，用于处理输入的待检测的航空图像；
所述处理模块包括基于单次特征聚合模块的骨干网络、特征上融合网络、特征下融合网络、特征变换网络、角度周期表示损失函数和卷积模块；所述骨干网络用于将遥感图像分成多个尺度的多尺度特征；所述特征上融合网络用于将分辨率低的深层特征与分辨率高的浅层特征进行向上融合得到初级融合特征；所述特征下融合网络将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合得到高级融合特征；所述特征变换网络用于对特征进行降维，输出轻量级特征；所述卷积模块用于对图像卷积操作；所述单次特征聚合深度网络将原始图像进行特征编码和解码后，输出特征映射；所述角度周期表示损失函数包括分类损失项、定位损失项、置信度损失项和角度损失项。
与现有技术相比，本发明所达到的有益效果：本发明中单次特征聚合模块既能避免密集特征复用方式带来的低效计算和大存储特性从而提升推理速度，又能比特征相加方式提取更多样化的特征表示；基于角度周期表示的损失函数采用高斯窗口函数来对“旋转框”的角度进行周期性表征，避免了角度临界问题，确保了模型训练的稳定性和检测的高精度性。
附图说明
图1是本发明单次特征聚合深度网络；
图2是本发明单次特征聚合模块示意图；
图3是本发明骨干网络示意图；
图4是本发明特征上融合网络；
图5是本发明特征下融合网络。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
实施例1
如图1所示，公开了一种基于角度周期表示的航空图像检测方法，所述方法包括：
获取待检测的航空图像；
将待检测的航空图像输入预先训练的单次特征聚合深度网络中，输出特征映射；
其中，单次特征聚合网络基于GPU推理高效的单次特征聚合模块(One-passFeature Aggregation,OFA)为核心组件来进行特征提取和多尺度特征融合。单次特征聚合深度网络OFAN主要包括以及单次特征聚合模块OFA为核心组件的骨干网络(Backbone)、特征上融合网络(FuseDown2Up,FuseD2U)、特征下融合网络(FuseUp2Down,FuseU2D)，以及特征变换网络(Transition)和卷积模块(conv)组成。单次特征聚合深度网络OFAN工作流程如下：航空图像被送入骨干网络Backbone后得到4个尺度的多尺度特征，然后分辨率低的深层特征逐步与分辨率高的浅层特征进行向上融合(“向上”是指融合后的特征分辨率与分辨率高的浅层特征分辨率一致)，得到一系列的初级融合特征(FuseU2D的输出特征)，再将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合(“向下”指融合后的特征分辨率与分辨率低的浅层特征分辨率一致)，得到高级融合特征(FuseU2D的输出特征)。最后，各尺度高级融合特征再经过卷积处理后最终输出通道维度为na×(nc+4+1+apr)的特征映射。其中，na表示每个位置的预测框数量，nc个神经元表示每个预测框的类别(nc为类别空间大小)；4个神经元表示每个预测框中心点坐标偏移量、长宽偏移比例；1个神经元表示每个预测框的属于前景的置信度；apr个神经元表示每个预测框的角度周期表示向量。
在本实施例中，所述单次特征聚合深度网络通过角度周期表示损失函数训练，所述角度周期表示损失函数公式为：
A＝G(θ)…………………………………(8)
θ＝[θmin,θmin+1,…,θmax]………………………(9)
其中，为分类损失、/>为定位损失、/>为置信度损失、/>为角度损失、j表示不同尺度；α表示不同类型损失的权重，β表示不同尺度损失的权重；P表示预测值，T表示真实值；CE表示经典的交叉熵损失，CIOU表示水平框完整交并比算子，G为具有对称性质的角度映射函数，G的对称轴位于角度表示范围的中点/>其中，θmin和θmax为角度表示范围的最小值和最大值，当满足角度表示范围条件时，θ和A均是基于自身中心元素对称的序列，θ是角度值的顺序表示，A是各角度值映射后的分布，根据预测角度/>在序列θ中的位置idx，对角度分布A重新按顺序排列得到角度周期表示向量/>与输出通道维度中的4类神经元对应(即nc、4、1、apr)。
在本实施例中如图2所示，所述单次特征聚合模块OFA(c0；2c)对通道数为c0的输入特征进行处理，得到通道数为2c的输出特征。
单次特征聚合模块OFA通过对模块中最长路径(分支1)和最短路径(分支4)进行调整以增加梯度多样性，让网络在学到更具多样性特征的同时提升精度并加速收敛，具体工作流程如下：OFA基于卷积操作构建4条分支来提取多样化特征，然后将多样化特征沿通道维度拼接(拼接后通道数为4c)后再利用卷积操作进行聚合。OFA涉及2种不同类型的卷积操作——conv 3×3,1,LeakRelu(0.1)和conv 1×1,1,LeakRelu(0.1)。前者表示核大小为3×3，步长为1的卷积核后级联一个参数为0.1的激活函数LeakRelu(当输入值为正是输出自身，为负时输出自身的0.1倍)；后者则改用1×1的卷积核来实现对高维输入特征进行快速降维。
进一步地，所述卷积模块包括卷积一和卷积二；所述卷积一为核大小为3×3，步长为1的卷积核后级联一个参数为0.1的激活函数，所述卷积二为1×1的卷积核，用于实现对高维输入特征进行快速降维。
如图3所示，所述主干网络Backbone基于单次特征聚合模块OFA以及若干独立的卷积(conv)和最大池化(Max Pooling)操作对输入的遥感图像(分辨率为H×W)进行逐层抽象和加工，最终输出4个不同尺度分辨率的特征映射(分别为b2、b3、b4、b5)。其中，对特征的下采样基于步长为2的卷积(conv 3×3,2,LeakRelu(0.1))和核大小为2的池化操作(MaxPooling 2,2)来实现。下采样后的深层特征虽然丧失了部分空间信息(定位能力降低)，但OFA获得了更大的感受野，因而更容易编码高级语义特征(物体类别预测能力提升)。与之相反，下采样前的浅层特征空间信息丰富(定位能力较强)，而语义信息偏弱(物体类别预测能力不足)。为了综合利用高分辨率浅层特征和低分辨率深层特征的优势，本发明基于FuseD2U和FuseU2D模块分“向上”融合和“向下”融合2个阶段开展特征融合。
在本实施例中，所述特征上融合网络FuseDown2Up(c0,c1；c)模块首先使用核为1×1的卷积对通道数为c0的低分辨率输入特征和通道数为c1的高分辨率输入特征进行处理，得到通道维度统一为c的两个特征，然后对其中低分辨率特征进行上采样，进一步统一分辨率。最后将得到的两部分特征用OFA模块进行融合。和FuseDown2Up(c0,c1；c)相似，FuseUp2Down(c0,c1；c)不同之处在于FuseUp2Down是通过步长为2的卷积操作来实现对高分辨率特征的下采样，见图5。
为提升运行效率，特征融合前先基于特征变换网络Transition对深层特征特征b5进行降维，将其特征通道数由1024聚合为256(图1)。Transition(4c；c)对通道数为4c的输入特征进行处理，得到通道数为c的输出特征。Transition使用轻量级的核为1×1的卷积对通道数为4c的特征进行降维得到通道数为c的降维特征，然后对降维特征采用3组并行的感受野分别为5、9、13的池化操作来编码多样化特征，最后对多分支特征进行聚合输出轻量级特征。
实施例2
一种基于角度周期表示的航空图像快速检测系统，所述系统包括：
获取模块，用于获取待检测的航空图像；
处理模块，用于处理输入的待检测的航空图像；
所述处理模块包括基于单次特征聚合模块的骨干网络、特征上融合网络、特征下融合网络、特征变换网络、角度周期表示损失函数和卷积模块；所述骨干网络用于将遥感图像分成多个尺度的多尺度特征；所述特征上融合网络用于将分辨率低的深层特征与分辨率高的浅层特征进行向上融合得到初级融合特征；所述特征下融合网络将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合得到高级融合特征；所述特征变换网络用于对特征进行降维，输出轻量级特征；所述卷积模块用于对图像卷积操作；所述单次特征聚合深度网络将原始图像进行特征编码和解码后，输出特征映射；所述角度周期表示损失函数包括分类损失项、定位损失项、置信度损失项和角度损失项。
其中，特征映射道维度为na×(nc+4+1+apr)，na表示每个位置的预测框数量，nc个神经元表示每个预测框的类别(nc为类别空间大小)；4个神经元表示每个预测框中心点坐标偏移量、长宽偏移比例；1个神经元表示每个预测框的属于前景的置信度；apr个神经元表示每个预测框的角度周期表示向量。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于角度周期表示的航空图像检测方法，其特征在于，所述方法包括：
获取待检测的航空图像；
将待检测的航空图像输入预先训练的单次特征聚合深度网络中，输出特征映射；
其中，所述单次特征聚合深度网络包括以单次特征聚合模块为核心组件的骨干网络、特征上融合网络、特征下融合网络、特征变换网络、角度周期表示损失函数和卷积模块；
所述骨干网络用于将航空图像分成多个尺度的多尺度特征；所述特征上融合网络用于分辨率低的深层特征逐步与分辨率高的浅层特征进行向上融合得到初级融合特征；所述特征下融合网络用于将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合得到高级融合特征；所述特征变换网络用于对特征进行降维，输出轻量级特征；所述卷积模块用于对图像卷积操作；所述单次特征聚合深度网络将原始图像进行特征编码和解码后，输出特征映射；所述角度周期表示损失函数包括分类损失项、定位损失项、置信度损失项和角度损失项；
向上融合是指融合后的特征分辨率与分辨率高的浅层特征分辨率一致；
向下融合指融合后的特征分辨率与分辨率低的浅层特征分辨率一致；
所述角度周期表示损失函数公式为：
A＝G(θ)…………………………………(8)
θ＝[θmin,θmin+1,…,θmax]………………………(9)其中，为分类损失、/>为定位损失、/>为置信度损失、/>为角度损失、j表示不同尺度；α表示不同类型损失的权重，β表示不同尺度损失的权重；P表示预测值，T表示真实值；CE表示经典的交叉熵损失，CIOU表示水平框完整交并比算子，G为具有对称性质的角度映射函数，G的对称轴位于角度表示范围的中点/>其中，θmin和θmax为角度表示范围的最小值和最大值，当满足角度表示范围条件时，θ和A均是基于自身中心元素对称的序列，θ是角度值的顺序表示，A是各角度值映射后的分布，根据预测角度/>在序列θ中的位置idx，对角度分布A重新按顺序排列得到角度周期表示向量Tj apr。
2.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述单次特征聚合模块对通道数为c0的输入特征进行处理，得到4组通道数为c的输出特征；
将上述4组通道数为c的特征沿通道维度拼接为通道数4c的一组特征，后再利用卷积操作进行聚合得到通道数为2c的一组特征。
3.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述卷积模块包括卷积一和卷积二；所述卷积一为核大小为3×3，步长为1的卷积核后级联一个参数为0.1的激活函数，所述卷积二为1×1的卷积核，用于实现对高维输入特征进行快速降维。
4.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述骨干网络基于单次特征聚合模块及若干独立的卷积模块和最大池化操作对输入的遥感图像进行逐层抽象和加工，输出不同尺度分辨率的特征映射。
5.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述特征上融合网络使用核为1×1的卷积对通道数为c0的低分辨率输入特征和通道数为c1的高分辨率输入特征进行处理，得到通道维度统一为c的两个特征，然后对其中低分辨率特征进行上采样，统一分辨率，最后将得到的两部分特征用单次特征聚合模块进行融合。
6.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述特征下融合网络通过步长为2的卷积操作来实现对高分辨率特征的下采样，统一分辨率，将得到的两部分特征用单次特征聚合模块进行融合。
7.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述特征变换网络使用轻量级的核为1×1的卷积对多通道数的特征进行降维，然后对降维特征采用多组并行的池化操作来编码多样化特征，最后对多分支特征进行聚合输出轻量级特征。
8.根据权利要求1所述的基于角度周期表示的航空图像检测方法，其特征在于，所述单次特征聚合网络基于单次特征聚合模块为核心组件来进行特征提取和多尺度特征融合。
9.一种基于角度周期表示的航空图像快速检测系统，其特征在于，所述系统包括：
获取模块，用于获取待检测的航空图像；
处理模块，用于处理输入的待检测的航空图像；
所述处理模块包括基于单次特征聚合模块的骨干网络、特征上融合网络、特征下融合网络、特征变换网络、角度周期表示损失函数和卷积模块；所述骨干网络用于将遥感图像分成多个尺度的多尺度特征；所述特征上融合网络用于将分辨率低的深层特征与分辨率高的浅层特征进行向上融合得到初级融合特征；所述特征下融合网络将深层的高分辨率初级融合特征逐步与浅层的低分辨率初级融合特征进行向下融合得到高级融合特征；所述特征变换网络用于对特征进行降维，输出轻量级特征；所述卷积模块用于对图像卷积操作；所述单次特征聚合深度网络将原始图像进行特征编码和解码后，输出特征映射；所述角度周期表示损失函数包括分类损失项、定位损失项、置信度损失项和角度损失项；
向上融合是指融合后的特征分辨率与分辨率高的浅层特征分辨率一致；
向下融合指融合后的特征分辨率与分辨率低的浅层特征分辨率一致；
所述角度周期表示损失函数公式为：
Tj apr＝[A[idx:],A[:idx]]………………(6)
A＝G(θ)…………………………………(8)
θ＝[θmin,θmin+1,…,θmax]………………………(9)其中，为分类损失、/>为定位损失、/>为置信度损失、/>为角度损失、j表示不同尺度；α表示不同类型损失的权重，β表示不同尺度损失的权重；P表示预测值，T表示真实值；CE表示经典的交叉熵损失，CIOU表示水平框完整交并比算子，G为具有对称性质的角度映射函数，G的对称轴位于角度表示范围的中点/>其中，θmin和θmax为角度表示范围的最小值和最大值，当满足角度表示范围条件时，θ和A均是基于自身中心元素对称的序列，θ是角度值的顺序表示，A是各角度值映射后的分布，根据预测角度/>在序列θ中的位置idx，对角度分布A重新按顺序排列得到角度周期表示向量Tj apr。
CN202310241969.7A 2023-03-14 2023-03-14 一种基于角度周期表示的航空图像检测方法及系统 Active CN116524348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310241969.7A CN116524348B (zh) 2023-03-14 2023-03-14 一种基于角度周期表示的航空图像检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310241969.7A CN116524348B (zh) 2023-03-14 2023-03-14 一种基于角度周期表示的航空图像检测方法及系统

Publications (2)

Publication Number Publication Date
CN116524348A CN116524348A (zh) 2023-08-01
CN116524348B true CN116524348B (zh) 2023-11-07

Family

ID=87400094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310241969.7A Active CN116524348B (zh) 2023-03-14 2023-03-14 一种基于角度周期表示的航空图像检测方法及系统

Country Status (1)

Country Link
CN (1) CN116524348B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245655A (zh) * 2019-05-10 2019-09-17 天津大学 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
AU2020104006A4 (en) * 2020-12-10 2021-02-18 Naval Aviation University Radar target recognition method based on feature pyramid lightweight convolutional neural network
CN112489073A (zh) * 2020-11-18 2021-03-12 中国人民解放军陆军军事交通学院镇江校区 基于帧间高级特征差分的零样本视频前景分割方法
CN114037893A (zh) * 2021-10-29 2022-02-11 浙江工业大学 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法
CN114821357A (zh) * 2022-04-24 2022-07-29 中国人民解放军空军工程大学 一种基于transformer的光学遥感目标检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589210B1 (en) * 2015-08-26 2017-03-07 Digitalglobe, Inc. Broad area geospatial object detection using autogenerated deep learning models
US11587304B2 (en) * 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
US11367278B2 (en) * 2020-03-13 2022-06-21 X Development Llc Field segmentation and classification
US20220019843A1 (en) * 2020-07-14 2022-01-20 Flir Unmanned Aerial Systems Ulc Efficient refinement neural network for real-time generic object-detection systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245655A (zh) * 2019-05-10 2019-09-17 天津大学 一种基于轻量级图像金字塔网络的单阶段物体检测方法
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN112489073A (zh) * 2020-11-18 2021-03-12 中国人民解放军陆军军事交通学院镇江校区 基于帧间高级特征差分的零样本视频前景分割方法
AU2020104006A4 (en) * 2020-12-10 2021-02-18 Naval Aviation University Radar target recognition method based on feature pyramid lightweight convolutional neural network
CN114037893A (zh) * 2021-10-29 2022-02-11 浙江工业大学 一种基于卷积神经网络的高分辨率遥感图像建筑提取方法
CN114821357A (zh) * 2022-04-24 2022-07-29 中国人民解放军空军工程大学 一种基于transformer的光学遥感目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于下采样的特征融合遥感图像语义分割;李帅等;《测试技术学报》;第331-337页 *
基于帧间高级特征差分的跨场景视频前景分割算法;张锦等;《电子学报》;第2032-2040页 *

Also Published As

Publication number Publication date
CN116524348A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN112766229B (zh) 基于注意力机制的人脸点云图像智能识别系统及方法
Luo et al. Contextual-YOLOV3: Implement better small object detection based deep learning
AU2020316538A1 (en) Meteorological parameter-based high-speed train positioning method and system in navigation blind zone
Mussina et al. Multi-modal data fusion using deep neural network for condition monitoring of high voltage insulator
Liu et al. RockFormer: A U-shaped transformer network for Martian rock segmentation
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
Yuan et al. Low altitude small UAV detection based on YOLO model
CN116229272B (zh) 一种基于代表点表示的高精度遥感图像检测方法及系统
CN116524348B (zh) 一种基于角度周期表示的航空图像检测方法及系统
CN113569911A (zh) 车辆识别方法、装置、电子设备及存储介质
CN117593623A (zh) 基于改进YOLOv8n模型的轻量化车辆检测方法
Liu et al. Integration transformer for ground-based cloud image segmentation
Zhang et al. Point clouds classification of large scenes based on blueprint separation convolutional neural network
CN113191944B (zh) 一种多通道图像内容特征融合风格迁移方法及系统
Zhou et al. ASSD-YOLO: a small object detection method based on improved YOLOv7 for airport surface surveillance
Zheng et al. Multiscale Fusion Network for Rural Newly Constructed Building Detection in Unmanned Aerial Vehicle Imagery
Du et al. An Urban Road Semantic Segmentation Method Based on Bilateral Segmentation Network
Han et al. Automated Drone Classification for Internet of Drones Based on a Hybrid Transformer Model
Bui et al. Cross-view Geo-Localization for Autonomous UAV using Locally-Aware Transformer-based Network
Qi et al. MT-YOLO: Combination of Multi-Scale Feature Extraction and Transformer in One-Stage Object Detection
Chen et al. A novel detection method based on DETR for drone aerial images
Wang et al. Zero‐shot obstacle detection using panoramic vision in farmland
Ju et al. A Target Detection Algorithm in the Aerial Image Guided by the Density Map of the Target Center Point

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant