CN114463636B - 一种改进的复杂背景遥感图像目标检测方法及系统 - Google Patents
一种改进的复杂背景遥感图像目标检测方法及系统 Download PDFInfo
- Publication number
- CN114463636B CN114463636B CN202210079252.2A CN202210079252A CN114463636B CN 114463636 B CN114463636 B CN 114463636B CN 202210079252 A CN202210079252 A CN 202210079252A CN 114463636 B CN114463636 B CN 114463636B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- feature map
- feature
- sensing image
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 15
- 230000000295 complement effect Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种改进的复杂背景遥感图像目标检测方法及系统,首先构建并训练复杂背景遥感图像目标检测网络;然后将将待测遥感图像输入训练好的复杂背景遥感图像目标检测网络中进行目标检测,得到目标检测结果。本发明采用单阶段目标检测算法SSD,且在特征提取与锚框标注方面进行改进。相比于现有的算法,本改进算法参数量较少、检测精度高、有效性强且简单实用易于实现。
Description
技术领域
本发明属于遥感图像处理和目标检测技术领域,涉及一种遥感图像目标检测方法及系统,尤其涉及一种改进的复杂背景遥感图像目标检测方法及系统。
背景技术
在计算机视觉领域中目标检测是最关键同时也是最基本的任务之一,近年来,目标检测技术受到深度学习的推动,从而对检测精度和速度产生巨大的提升。由于遥感图像的特殊性,在对目标图像中存在的小目标提取特征、定位及分类的过程中,因为遥感图像包含的复杂背景、分辨率低以及遥感目标的类型、尺寸等复杂多样,导致在检测的过程中往往具有不确定性。因此,在检测遥感图像目标方面仍具有极大挑战,在复杂背景下的遥感图像中针对小目标进行高精度的检测具有重大的意义。
当前,基于深度学习的目标检测随着计算机硬件技术的提高而获得极大的发展,基于卷积神经网络的目标检测算法分为两大类:一是双阶段的目标检测算法,如R-CNN、Faster R-CNN等,二是单阶段的目标检测算法,如YOLO算法系列、 SSD目标检测网络等。以上算法对于检测背景简单、分辨率高、大型且形状规则的目标有着很高的精确性,然而,若将上述算法直接应用于以上特征都不具备的遥感图像进行小目标的检测,很难取得令人满意的效果。
发明内容
为了解决上述技术问题,本发明提出了一种改进的复杂背景遥感图像目标检测方法及系统,能够实现对遥感图像目标进行有效的检测,大大提高目标检测的精确度。
本发明的方法所采用的技术方案是:一种改进的复杂背景遥感图像目标检测方法,包括以下步骤:
步骤1:构建复杂背景遥感图像目标检测网络;
所述复杂背景遥感图像目标检测网络,包括特征提取网络、基于先验知识的锚框改进网络和基于IoU优化的锚框补选增强网络;
所述特征提取网络,以VoVNet作为基础网络,包括串联的3*3卷积层、并联的1*1卷积层,在VoVNet中进行串联的第一层卷积层之前与最后层卷积后级联残差结构和自注意力层;残差结构有一层卷积层conv1*1、批量归一化BN和激活函数leaky-relu;VoVNet连续的卷积层进行双向连接,既与后一层相连接,又在最后一个特征图一次性聚合所有特征;
所述基于先验知识的锚框改进网络,用于将特征提取网络输出的特征图使用调窗算法进行类型转化,提取有效的结构信息,然后提取先验信息;
所述基于IoU优化的锚框补选增强网络,用于设置一个与真实锚框A相同大小的假锚框B,S*是A与B的交集面积,则
步骤2:训练复杂背景遥感图像目标检测网络;
步骤3:将待测遥感图像输入训练好的复杂背景遥感图像目标检测网络中进行目标检测,得到目标检测结果。
本发明的系统所采用的技术方案是:一种改进的复杂背景遥感图像目标检测系统,包括以下模块:
模块1,用于构建复杂背景遥感图像目标检测网络;
所述复杂背景遥感图像目标检测网络,包括特征提取网络、基于先验知识的锚框改进网络和基于IoU优化的锚框补选增强网络;
所述特征提取网络,以VoVNet作为基础网络,包括串联的3*3卷积层、并联的1*1卷积层,在VoVNet中进行串联的第一层卷积层之前与最后层卷积后级联残差结构和自注意力层;残差结构有一层卷积层conv1*1、批量归一化BN和激活函数leaky-relu;VoVNet连续的卷积层进行双向连接,既与后一层相连接,又在最后一个特征图一次性聚合所有特征;
所述基于先验知识的锚框改进网络,用于将特征提取网络输出的特征图使用调窗算法进行类型转化,提取有效的结构信息,然后提取先验信息;
所述基于IoU优化的锚框补选增强网络,用于设置一个与真实锚框A相同大小的假锚框B,S*是A与B的交集面积,则
模块2,用于训练复杂背景遥感图像目标检测网络;
模块3,用于将待测遥感图像输入训练好的复杂背景遥感图像目标检测网络中进行目标检测,得到目标检测结果。
相对于现有技术,本发明的有益效果是:对场景不同下的遥感目标均具有更好的检测结果,本发明比初始算法具有更高的精度。对比现有的算法,本文的SSD算法的检测性能更加优越。在检测复杂背景下的遥感图像目标过程中,本发明表现出更高的精度和更优的鲁棒性。
附图说明
图1是本发明实施例的方法流程示意图;
图2是本发明实施例特征提取网络结构图;
图3是本发明与SSD算法进行检测结果对比图,其中,(a)现有的SSD算法,(b)为本发明的算法。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种改进的复杂背景遥感图像目标检测方法,包括以下步骤:
步骤1:构建复杂背景遥感图像目标检测网络;
本实施例的复杂背景遥感图像目标检测网络,包括特征提取网络、基于先验知识的锚框改进网络和基于IoU优化的锚框补选增强网络;
本实施例的特征提取网络,以VoVNet作为基础网络,包括串联的3*3卷积层、并联的1*1卷积层,在VoVNet中进行串联的第一层卷积层之前与最后层卷积后级联残差结构和自注意力层;串联的3*3卷积层输入维度为64,输出维度为1024,并联的1*1卷积层输入维度为1024,输出维度为256;残差结构有一层卷积层conv1*1、批量归一化BN和激活函数leaky-relu,其中输入维度为64,输出维度为256;对于64维的图文特征向量,输入到3*3卷积层得到1024维的特征,同时经过残差结构输出256维的特征,1024维的特征再经过自注意力层后输入到并联的1*1卷积层,输出256维的特征;VoVNet连续的卷积层进行双向连接,既与后一层相连接,又在最后一个特征图一次性聚合所有特征;
本实施例的特征提取网络里加入自注意力机制,特征图先在两个卷积核进行卷积,然后缩减特征图的通道数为原先1/8的目标特征空间和特征空间,第三次卷积得到矩阵。经过矩阵乘法,取得尺度特征矩阵,再通过Softmax函数在列方向上进行尺度归一化,得到注意力矩阵。
为便于理解,下面以举例的方式对本实施例所构建的特征提取网络结构和参数进行介绍。
请见图2,本实施例的特征提取网络模型包括20层卷积层,每层卷积层设置参数如下:第一层卷积层conv1_1,卷积核大小为3*3,卷积核个数为64,步长为1;第二层卷积层conv1_2,卷积核大小为3*3,卷积核个数为64,步长为 1;第三层卷积层conv1_3,卷积核大小为3*3,卷积核个数为64,步长为1,激活函数为leaky-relu;第四层卷积层conv2_1,卷积核大小为3*3,卷积核个数为 128,步长为1;第五层卷积层conv2_2,卷积核大小为3*3,卷积核个数为128,步长为1;第六层卷积层conv2_3,卷积核大小为3*3,卷积核个数为128,步长为1,激活函数为leaky-relu;第七层卷积层conv3_1,卷积核大小为3*3,卷积核个数为256,步长为1;第八层卷积层conv3_2,卷积核大小为3*3,卷积核个数为256,步长为1;第九层卷积层conv3_3,卷积核大小为3*3,卷积核个数为 256,步长为1,激活函数为leaky-relu;第十层卷积层conv4_1,卷积核大小为 3*3,卷积核个数为512,步长为1;第十一层卷积层conv4_2,卷积核大小为3*3,卷积核个数为512,步长为1;第十二层卷积层conv4_3,卷积核大小为3*3,卷积核个数为512,步长为1,激活函数为leaky-relu;第十三层卷积层conv5_1,卷积核大小为3*3,卷积核个数为1024,步长为1;第十四层卷积层conv5_2,卷积核大小为3*3,卷积核个数为1024,步长为1;第十五层卷积层conv5_3,卷积核大小为3*3,卷积核个数为1024,步长为1,激活函数为leaky-relu;第十六层卷积层conv6_1,卷积核大小为3*3,卷积核个数为1024,步长为1;第十七层卷积层conv6_2,卷积核大小为3*3,卷积核个数为1024,步长为1;第十八层卷积层conv6_3,卷积核大小为3*3,卷积核个数为1024,步长为1,激活函数为leaky-relu;第十九层卷积层conv7,卷积核大小为1*1,卷积核个数为512,步长为1,激活函数为leaky-relu;第二十层卷积层conv8,卷积核大小为1*1,卷积核个数为256,步长为1,激活函数为leaky-relu。
本实施例的VoVNet网络模型中进行串联的第一层卷积层之前与网络最后层卷积后级联之间添加一个残差结构,残差结构有一层卷积层conv1*1,激活函数为leaky-relu,以及批量归一化BN。
本实施例在特征提取网络里引入自注意力层,在自注意力层中特征图x的输入为c×h×w,c其是特征图的通道数,h是特征图的高度,w是特征图的宽度。特征图x先在h×w两个卷积核进行卷积,然后缩减特征图的通道数c1的目标特征空间f(x)(c1=c/8,维度c1×h×w)和特征空间g(x)(维度c1×h×w),第三次卷积得到维度为c×h×w的矩阵h(x)。经过f和g的矩阵乘法,取得尺度特征矩阵Sij,再通过Softmax函数在列方向上进行尺度归一化,得到注意力矩阵βji:
Sij=f(xi)Tg(xi);
其中,N表示尺度特征图矩阵中元素的数量,j表示区域,i表示位置,xi表示原始输入特征图;对特征空间h和注意力矩阵进行矩阵乘法运算,最终得到自注意力特征图;输出注意力层表示为:
O=(O1,O2,O3...OI...ON)∈RC×N;
h(xi)=Whxi;
其中,Wh表示特征空间h的特征向量。将权重加入自注意特征图,原始权重值为0,权重值的迭代由反向传播的神经网络完成:yi=γOi+xi,yi表示最终返回的特征图,γ表示自注意力特征图中初始值权重,初始值为0,Oi为展开后的自注意力特征图。
本实施例的基于先验知识的锚框改进网络,用于将特征提取网络输出的特征图使用调窗算法进行类型转化,充分提取有效的结构信息,对处理后的数据提取先验信息,即引入单调性与平滑性约束,避免数据中的幸存者偏差,提供额外的解释性;将图像的先验信息通过设计锚框来加快水平收敛。
本实施例的调窗算法为设计锚框的算法,调窗算法是将特征图从第一个灰度自左向右进行面积累加,当累加的面积占到整个特征图面积的72%时对应的灰度值作为窗位,然后设定固定窗宽,本实施例将其改进,将特征图的局部极小值点的灰度值作为窗底,然后搜索剩余值中的最大值,令其灰度值作为窗位。
本实施例提取先验信息包含设定初始曲线和构建判别函数,根据数据之间的联系以及图像的灰度信息设定初始值;对调窗处理的后的图像梯度特征和纹理特征,利用机器学习构造出判别函数d(x)=wTXi,其中wT为增广权向量,Xi为增广模式向量。
例如,引入单调性约束通过把特征分为单调性和非单调性分开处理,对于单调特征,采用线性分段变换:
其中,h为线性单调约束函数,a,b,c为单调约束的三个输入,x[d]为单调约束的输出,Relu为激活函数,α[n]为加权,b[1]c[1]为常数值。
例如,引入平滑性约束方法有很多,一种较佳的方法为:
其中,lk为平滑约束函数,Δk为约束损失,Sj为约束添加向量。
根据各特征层的锚框尺度和下采样倍数计算出锚框的密度。设d为锚框铺设密度,c为锚框尺度,p为下采样倍数。锚框铺设密度公式:
本实施例基于IoU优化的锚框补选增强网络,用于设置一个与真实锚框A相同大小的假锚框B,S*是A与B的交集面积,则
步骤2:训练复杂背景遥感图像目标检测网络;
步骤2的具体实现包括以下子步骤:
步骤2.1:利用遥感图像制作遥感图像数据集,并确定出训练数据集和测试数据集;
本实施例针对收集卫星遥感图像,利用图像注释工具在遥感图像上注释出图像中待检测目标的属性,包括类别、位置和形状;将标注后的卫星遥感图像尺寸调整至预设输入图像的大小,形成卫星遥感图像数据集;将制作好的数据集分为训练集和测试集。
在本发明实施例提供的方案中,确定图像训练集和测试集的方法为:根据预设比例7:3将收集到的遥感图像分为训练集和测试集,数据集中待检测种类包括飞机和汽车等。将训练数据集中的图像至少设置一个待检测的目标,比如汽车、飞机,然后通过自动和人工标注对图像中的待检测目标进行类型及位置的标注;将测试数据集中的图像至少设置一个待检测的目标,比如汽车、飞机,然后通过自动和人工标注对图像中的待检测目标进行类型及位置的标注标注,完成后将训练数据集以及测试数据集进行数据的预处理,预处理包括对图像大小的统一、图像翻转和颜色扭曲等。处理完成后进行数据的读取。
步骤2.2:将训练数据输入特征提取网络进行特征提取,得到所需的特征图;
步骤2.3:将得到的特征图输入到基于先验知识的锚框改进网络中进行目标标注;
步骤2.4:将标注过的数据结果输入到基于IoU优化的锚框补选增强网络中进行锚框选择,得到最合适的锚框;
训练网络时进行选择所需锚框选择和丢弃多余锚框,采用锚框的补选增强解决,在经过分类置信度排序后,卷积神经网络丢掉分类置信度不高的锚点,丢弃的锚点中存在置信度阈值相差不多的锚点,容易导致网络的错误判断。
例如,真实框内的特征映射点映射到原始输入,设置一个与真实框相同大小的假框,计算出两个框之间的单位。真实框面积为A,假框为B,S*是A与B的交集面积,SA+SB-S*为A与B的并集面积。假设lB为假框中点到边框左边的距离,rB为假框中点到边框右边的距离,tB为假框中点到边框顶端的距离,bB为假框中点到边框底部的距离,同理,lA为真实框中点到边框左边的距离,rA为真实框中点到边框右边的距离,tA为真实框中点到边框顶部的距离,bA为真实框中点到边框底部的距离。公式为:
lA=rA=(lB+rB)/2;
tA=bA=(tB+bB)/2;
SB=(lB+rB)×(tB+bB);
SA=(lA+rA)×(tA+bA);
S*=[min(lA,lB)+min(rA,rB)]×[min(tA,tB)+min(bA,bB)];
每次的网络迭代中将一部分淘汰的锚框继续加入后面的迭代训练,经过多次之后,主要的候选框都可以充分的训练。
步骤2.5:将测试数据输入到训练后的复杂背景遥感图像目标检测网络,将检测结果与实际目标进行对比,若满足精度值mAP值为最大值时,则结束训练,获得训练好的复杂背景遥感图像目标检测网络;否则回转执行步骤2.2。
本实施例训练构造好的检测模型,在pytoch深度学习框架下,利用标注好的训练数据集进行训练,直到网络达到最优,记录此刻的网络参数并保存,利用训练好的网络模型及保存的参数和建立的检测网络对测试数据进行目标检测,输出检测目标的类别信息和位置信息。
步骤3:将待测遥感图像输入训练好的复杂背景遥感图像目标检测网络中进行目标检测,得到目标检测结果。
请见图3,本实施例通过对比实验对本发明的效果做进一步的阐述。
1.仿真条件;
实验所用数据集遥感图像数据集为自己收集加上中科院大学高清航拍目标数据集(UCAS-AOD),共5000张图像,包含航拍图像下的飞机和汽车两类样本,将其分为两份,一份作为训练集一份为测试集。实验中,各方法所使用的语言都由python实现,且都在pytoch深度学习框架下完成。
2.实验结果;
实验比较了6种不同目标检测算法在同一数据集下的检测效果,本发明与比对方法的检测结果数据如下表:
通过上表可以得出,本发明算法对遥感图像目标的检测精度有较大提高。在给出的目标检测算法中,本文算法占据优势。从各项算法的检测精度来看,本文改进后的SSD算法相比于初始的SSD算法精度提高了11.56%,相比于Faster R-CNN、YOLOv4、FD-SSD、MEAN-SSD、FE-SSD,mAP值分别提高了10.53%、 2.74%、1.89%、4.04%。
从实验结果来看,本发明的目标检测算法(SSD(ours))具有更好的检测结果,证明改进后的算法比初始算法具有更高的精度。对比其他几种经典的算法,本发明的SSD算法的检测性能更加优越。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (7)
1.一种改进的复杂背景遥感图像目标检测方法,其特征在于,包括以下步骤:
步骤1:构建复杂背景遥感图像目标检测网络;
所述复杂背景遥感图像目标检测网络,包括特征提取网络、基于先验知识的锚框改进网络和基于IoU优化的锚框补选增强网络;
所述特征提取网络,以VoVNet作为基础网络,包括串联的3*3卷积层、并联的1*1卷积层,在VoVNet中进行串联的第一层卷积层之前与最后层卷积后级联残差结构和自注意力层;残差结构有一层卷积层conv1*1、批量归一化BN和激活函数leaky-relu;VoVNet连续的卷积层进行双向连接,既与后一层相连接,又在最后一个特征图一次性聚合所有特征;
所述基于先验知识的锚框改进网络,用于将特征提取网络输出的特征图使用调窗算法进行类型转化,提取有效的结构信息,然后提取先验信息;
所述基于IoU优化的锚框补选增强网络,用于设置一个与真实锚框A相同大小的假锚框B,S*是A与B的交集面积,则
所述特征提取网络的自注意力层,在自注意力层中特征图x的输入为c×h×w,c其是特征图的通道数,h是特征图的高度,w是特征图的宽度;特征图x先在h×w两个卷积核进行卷积,然后缩减特征图的通道数c1=c/8维度为c1×h×w的目标特征空间f(x)和维度为c1×h×w的目标特征空间g(x),第三次卷积得到维度为c×h×w的矩阵h(x);经过f(x)和g(x)的矩阵乘法,取得尺度特征矩阵Sij,再通过Softmax函数在列方向上进行尺度归一化,得到注意力矩阵βji:
Siij=f(xi)Tg(xi);
其中,N表示尺度特征图矩阵中元素的数量,j表示区域,i表示位置,xi表示原始输入特征图;对特征空间h和注意力矩阵进行矩阵乘法运算,最终得到自注意力特征图;输出注意力层表示为:
O=(O1,O2,O3...OI...ON)∈RC×N;
其中,Wh表示特征空间h的特征向量;
将权重加入自注意特征图,原始权重值为0,权重值的迭代由反向传播的神经网络完成:yi=γOi+xi;yi表示最终返回的特征图,γ表示自注意力特征图中初始值权重,初始值为0,Oi为展开后的自注意力特征图;
步骤2:训练复杂背景遥感图像目标检测网络;
步骤3:将待测遥感图像输入训练好的复杂背景遥感图像目标检测网络中进行目标检测,得到目标检测结果。
2.根据权利要求1所述的改进的复杂背景遥感图像目标检测方法,其特征在于:步骤1中,所述特征提取网络,串联的3*3卷积层输入维度为64,输出维度为1024,并联的1*1卷积层输入维度为1024,输出维度为256;残差结构输入维度为64,输出维度为256;对于64维的图文特征向量,输入到3*3卷积层得到1024维的特征,同时经过残差结构输出256维的特征,1024维的特征再经过自注意力层后输入到并联的1*1卷积层,输出256维的特征。
3.根据权利要求1所述的改进的复杂背景遥感图像目标检测方法,其特征在于,步骤1中,所述调窗算法是将特征图从第一个灰度自左向右进行面积累加,当累加的面积占到整个特征图面积的预设值时对应的灰度值作为窗位,然后设定固定窗宽;其中,将特征图的局部极小值点的灰度值作为窗底,然后搜索剩余值中的最大值,令其灰度值作为窗位。
4.根据权利要求1所述的改进的复杂背景遥感图像目标检测方法,其特征在于,步骤1中,提取先验信息包含设定初始值和构建判别函数,根据数据之间的联系以及图像的灰度信息设定初始值;对调窗处理的后的图像梯度特征和纹理特征,利用机器学习构造出判别函数d(x)=wTXi,其中wT为增广权向量,Xi为增广模式向量。
5.根据权利要求1所述的改进的复杂背景遥感图像目标检测方法,其特征在于,步骤2的具体实现包括以下子步骤:
步骤2.1:利用遥感图像制作遥感图像数据集,并确定出训练数据集和测试数据集;
步骤2.2:将训练数据输入特征提取网络进行特征提取,得到所需的特征图;
步骤2.3:将得到的特征图输入到基于先验知识的锚框改进网络中进行目标标注;
步骤2.4:将标注过的数据结果输入到基于IoU优化的锚框补选增强网络中进行锚框选择,得到最合适的锚框;
步骤2.5:将测试数据输入到训练后的复杂背景遥感图像目标检测网络,将检测结果与实际目标进行对比,若满足精度值mAP值为最大值时,则结束训练,获得训练好的复杂背景遥感图像目标检测网络;否则回转执行所述步骤2.2。
6.根据权利要求5所述的改进的复杂背景遥感图像目标检测方法,其特征在于:步骤2.1中,收集卫星遥感图像,在遥感图像上注释出图像中待检测目标的属性,包括类别、位置和形状;将标注后的卫星遥感图像尺寸调整至预设输入图像的大小,形成卫星遥感图像数据集;将制作好的数据集分为训练集和测试集。
7.一种改进的复杂背景遥感图像目标检测系统,其特征在于,包括以下模块:
模块1,用于构建复杂背景遥感图像目标检测网络;
所述复杂背景遥感图像目标检测网络,包括特征提取网络、基于先验知识的锚框改进网络和基于IoU优化的锚框补选增强网络;
所述特征提取网络,以VoVNet作为基础网络,包括串联的3*3卷积层、并联的1*1卷积层,在VoVNet中进行串联的第一层卷积层之前与最后层卷积后级联残差结构和自注意力层;残差结构有一层卷积层conv1*1、批量归一化BN和激活函数leaky-relu;VoVNet连续的卷积层进行双向连接,既与后一层相连接,又在最后一个特征图一次性聚合所有特征;
所述基于先验知识的锚框改进网络,用于将特征提取网络输出的特征图使用调窗算法进行类型转化,提取有效的结构信息,然后提取先验信息;
窗算法为设计锚框的算法,调窗算法是将特征图从第一个灰度自左向右进行面积累加,当累加的面积占到整个特征图面积的72%时对应的灰度值作为窗位,然后设定固定窗宽,将其改进,将特征图的局部极小值点的灰度值作为窗底,然后搜索剩余值中的最大值,令其灰度值作为窗位;
所述基于IoU优化的锚框补选增强网络,用于设置一个与真实锚框A相同大小的假锚框B,S*是A与B的交集面积,则
所述特征提取网络的自注意力层,在自注意力层中特征图x的输入为c×h×w,c其是特征图的通道数,h是特征图的高度,w是特征图的宽度;特征图x先在h×w两个卷积核进行卷积,然后缩减特征图的通道数c1=c/8维度为c1×h×w的目标特征空间f(x)和维度为c1×h×w的目标特征空间g(x),第三次卷积得到维度为c×h×w的矩阵h(x);经过f(x)和g(x)的矩阵乘法,取得尺度特征矩阵Sij,再通过Softmax函数在列方向上进行尺度归一化,得到注意力矩阵βji:
Siij=f(xi)Tg(xi);
其中,N表示尺度特征图矩阵中元素的数量,j表示区域,i表示位置,xi表示原始输入特征图;对特征空间h和注意力矩阵进行矩阵乘法运算,最终得到自注意力特征图;输出注意力层表示为:
O=(O1,O2,O3...OI...ON)∈RC×N;
其中,Wh表示特征空间h的特征向量;
将权重加入自注意特征图,原始权重值为0,权重值的迭代由反向传播的神经网络完成:yi=γOi+xi;yi表示最终返回的特征图,γ表示自注意力特征图中初始值权重,初始值为0,Oi为展开后的自注意力特征图;
模块2,用于训练复杂背景遥感图像目标检测网络;
模块3,用于将待测遥感图像输入训练好的复杂背景遥感图像目标检测网络中进行目标检测,得到目标检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210079252.2A CN114463636B (zh) | 2022-01-24 | 2022-01-24 | 一种改进的复杂背景遥感图像目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210079252.2A CN114463636B (zh) | 2022-01-24 | 2022-01-24 | 一种改进的复杂背景遥感图像目标检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114463636A CN114463636A (zh) | 2022-05-10 |
CN114463636B true CN114463636B (zh) | 2024-08-09 |
Family
ID=81411909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210079252.2A Active CN114463636B (zh) | 2022-01-24 | 2022-01-24 | 一种改进的复杂背景遥感图像目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463636B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114859796A (zh) * | 2022-06-09 | 2022-08-05 | 中国第一汽车股份有限公司 | 一种车辆控制方法、电子设备及存储介质 |
CN116310669B (zh) * | 2022-11-21 | 2024-02-06 | 湖北工业大学 | 基于多模态特征提取网络的目标检测方法、系统及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111798417A (zh) * | 2020-06-19 | 2020-10-20 | 中国资源卫星应用中心 | 一种基于ssd遥感图像目标检测的方法及装置 |
US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191369B (zh) * | 2018-08-06 | 2023-05-05 | 三星电子(中国)研发中心 | 2d图片集转3d模型的方法、存储介质和装置 |
CN111259930B (zh) * | 2020-01-09 | 2023-04-25 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
-
2022
- 2022-01-24 CN CN202210079252.2A patent/CN114463636B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111798417A (zh) * | 2020-06-19 | 2020-10-20 | 中国资源卫星应用中心 | 一种基于ssd遥感图像目标检测的方法及装置 |
US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
Also Published As
Publication number | Publication date |
---|---|
CN114463636A (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070074B (zh) | 一种构建行人检测模型的方法 | |
CN110533084B (zh) | 一种基于自注意力机制的多尺度目标检测方法 | |
CN110443818B (zh) | 一种基于涂鸦的弱监督语义分割方法与系统 | |
CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
CN114463636B (zh) | 一种改进的复杂背景遥感图像目标检测方法及系统 | |
CN112101430B (zh) | 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法 | |
CN110288017B (zh) | 基于动态结构优化的高精度级联目标检测方法与装置 | |
CN110610210B (zh) | 一种多目标检测方法 | |
CN105825502A (zh) | 一种基于显著性指导的词典学习的弱监督图像解析方法 | |
CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
CN113298032A (zh) | 基于深度学习的无人机视角图像的车辆目标检测方法 | |
CN116610778A (zh) | 基于跨模态全局与局部注意力机制的双向图文匹配方法 | |
CN113159215A (zh) | 一种基于Faster Rcnn的小目标检测识别方法 | |
CN112164065B (zh) | 一种基于轻量化卷积神经网络的实时图像语义分割方法 | |
CN112183649A (zh) | 一种用于对金字塔特征图进行预测的算法 | |
CN111881743A (zh) | 一种基于语义分割的人脸特征点定位方法 | |
CN115131760A (zh) | 一种基于改进特征匹配策略的轻量级车辆追踪方法 | |
CN115661569A (zh) | 一种高精度的细粒度sar目标检测方法 | |
CN114463732A (zh) | 一种基于知识蒸馏的场景文本检测方法及装置 | |
CN117689932A (zh) | 一种基于改进YOLOv7的InSAR大气相位和地表形变的检测方法、装置及计算机存储介质 | |
CN116543019A (zh) | 一种基于精确边界框预测的单目标跟踪方法 | |
CN114067359B (zh) | 融合人体关键点与可见部位注意力特征的行人检测方法 | |
CN115424012A (zh) | 一种基于上下文信息的轻量图像语义分割方法 | |
CN116758363A (zh) | 一种权重自适应与任务解耦的旋转目标检测器 | |
CN113642498A (zh) | 一种基于多层次时空特征融合的视频目标检测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |