CN115359366A - 基于参数优化的遥感图像目标检测方法 - Google Patents
基于参数优化的遥感图像目标检测方法 Download PDFInfo
- Publication number
- CN115359366A CN115359366A CN202211001673.XA CN202211001673A CN115359366A CN 115359366 A CN115359366 A CN 115359366A CN 202211001673 A CN202211001673 A CN 202211001673A CN 115359366 A CN115359366 A CN 115359366A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- target
- feature
- module
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于参数优化的遥感图像目标检测方法,包括:获取光学遥感图像信息;确定用于遥感图像目标检测的锚定框,利用遥感目标检测模型对所述光学遥感图像信息进行定位识别处理,得到输出特征图信息集合;所述输出特征图信息集合包括若干个输出特征图信息;对所述输出特征图信息集合进行后处理,得到目标图像检测信息集合。本发明在主干特征提取网络和特征融合网络中,通过分组卷积的操作构建了更适合于计算机视觉的计算单元,通过参数优化来选择锚定框,解决了现有锚定框检测方法使聚类结果出现偏差,导致锚定框的选择存在较大偏差,影响了图像检测的成功率的问题,优化了模型的遥感目标检测能力。
Description
技术领域
本发明属于遥感技术领域,尤其是涉及一种基于参数优化的遥感图像目标检测方法。
背景技术
随着遥感技术的发展,遥感图像检测在军民用领域得到广泛应用。利用卫星拍摄遥感图像进行目标检测,可为海上舰船人员搜救、军事情报侦察、车流监控等领域带来极大的便利。但是不同于自然场景下的光学图像检测,遥感图像目标检测面临着检测目标尺度变化剧烈、小目标占比丰富、图像场景复杂的特点,导致错漏检问题频繁出现,进而严重影响了其检测精度和效率,导致其在卫星遥感技术的应用受到一定限制。
传统遥感图像目标检测方法通常是基于数字图像处理的方法,即先进行纹理特征提取,然后使用模板匹配、浅层学习以及背景建模等方法对目标进行检测判别.但这类方法对遥感图像泛化能力较差,检测效果不佳。
现有的遥感图像目标智能检测方法,对经典目标检测算法改进后使用的大多还是卷积神经网络,虽能在不同程度上提高对遥感目标检测效果,但经过改进后的卷积神经网络只能够对局部信息进行建模,缺少了长距离建模和感知的能力。由于遥感目标在图像中常常具有全局密集分布的特点,完全基于卷积神经网络的遥感图像目标检测算法,缺少长距离建模和感知的能力,视觉表达能力较弱,容易导致遥感目标检测率偏低。另外,经过传统人工神经网络模型难以在检测精度和模型轻量化取得平衡,常以牺牲检测实时性提高检测精度,或者实时性提高但检测精度不够。
发明内容
本发明所要解决的技术问题在于,传统遥感图像目标检测方法对遥感图像泛化能力较差,检测效果不佳,而现有的遥感图像目标智能检测方法,缺少长距离建模和感知的能力,视觉表达能力较弱,容易导致遥感目标检测率偏低。
为了解决上述技术问题,本发明实施例第一方面公开了一种基于参数优化的遥感图像目标检测方法,所述方法包括:
获取光学遥感图像信息;所述光学遥感图像信息包括若干张光学遥感图;
确定用于遥感图像目标检测的锚定框,利用预设的遥感目标检测模型对所述光学遥感图像信息进行定位识别处理,得到输出特征图信息集合;所述输出特征图信息集合包括若干个输出特征图信息;
对所述输出特征图信息集合进行后处理,得到目标图像检测信息集合;所述目标图像检测信息集合包括若干个目标图像检测信息。
所述遥感目标检测模型由输入至输出方向依次包括输入端(Input)、主干特征提取网络(Backbone)、特征融合网络(Neck)和输出端(Head)。
输入端用于接收所获取的光学遥感图像信息并对其进行预处理。
预处理是对所获取的光学遥感图像信息采用数据增强方法进行处理,再采用自适应图片缩放方法对所有光学遥感图像的尺寸进行统一。
现有的锚定框选择方法存在2个问题:(1)现有方法对本文数据集中遥感目标进行分类时,从其中随机选取K个数据点作为样本。如果有2个点在1个簇当中,这使得聚类后的结果不具有鲁棒性。(2)现有方法以样本数据间的距离为指标,对遥感图像数据集中的K个簇进行划分,每个簇的质心点根据所有数据点的均值得到。该方法将距离公式中不同属性的权重视为相同,并不考虑在不同属性下会对聚类效果造成的影响。当簇中存在噪声点或者孤立点时,它们会远离数据的质心,从而使计算簇质心时产生较大的误差,对均值计算产生较大影响,甚至导致聚类质心严重偏离数据集的密集区域,使聚类结果出现偏差,导致锚定框的选择存在较大偏差,影响了图像检测的成功率。
所述的确定用于遥感图像目标检测的锚定框,锚定框通过对遥感目标检测模型的训练数据集进行自动学习获得,其步骤包括:
S1,从训练数据集X中随机选取K个点,作为初始聚类中心,每个初始聚类中心对应一个类别并作为其对应类别的聚类中心,聚类中心的集合表示为C={c1,c2,...,ck},其中ci代表第i个类别的聚类中心;
S2,对于训练数据集X中的每个样本数据xi,计算出它与当前各个的聚类中心之间的最短距离D(xi),并将该数据样本xi归入与其具有最短距离的聚类中心所对应的类别中。
S3,计算每个样本数据下一次被选为聚类中心的概率,其计算公式为:
其中,P(xi)为样本数据xi下一次被选为聚类中心的概率;根据所有概率的取值,将区间[0,1]划分为互不重叠的若干个概率取值区间,每个概率取值区间对应一个样本数据下一次被选为聚类中心的概率取值;
S4,随机产生出一个[0,1]之间的随机数,根据步骤S3得到的概率取值区间,判断该随机数所属的概率取值区间,选择该所属的概率取值区间对应的样本数据,将该数据样本作为其对应类别的聚类中心;
S5,重复步骤S2至S4,直至所选出的K个聚类中心的位置的变化量小于某预设值,完成对训练数据集X的聚类,将每一类别中的所有数据的取值边界,作为一个锚定框。
所述的主干特征提取网络包括下采样模块(Focus层)、特征提取模块(CBS层)、残差模块(C3)、空间金字塔池化模块(Spatial Pyramid Pooling,SPP)。主干特征提取网络用于提取光学遥感图像信息的特征。
下采样模块用于将预处理后的光学遥感图像信息在图像的纵向和横向分别进行间隔切片操作,得到离散切片信息,再对离散切片信息进行拼接,最后对拼接后的信息进行卷积,得到第一映射特征。
特征提取模块用于对第一映射特征依次进行二维卷积(Conv2d)、归一化(BatchNorm)和激活层操作,得到第二映射特征。
残差模块包括若干个经典残差结构(Bottleneck),残差模块用于对其输入的第二映射特征进行卷积层操作,将经过卷积层操作后得到值与第二映射特征原始值进行相加操作,得到第三映射特征,从而实现在不增加输出深度的同时完成残差特征传递。
空间金字塔池化模块用于对第三映射特征进行若干种不同尺寸的最大池化操作,然后将最大池化操作的结果进行拼接操作,得到光学遥感图像的图像特征。
所述的特征融合网络,包括特征金字塔结构(Feature Pyramid Networks,FPN)和路径聚合网络结构(Path Aggregation Networks,PAN),用于实现光学遥感图像的不同层级的图像特征的融合。图像特征包括类别特征和位置特征。
所述的特征金字塔结构,由输入至输出端,依次包括上下文转换模块、特征提取模块和上采样模块;由上下文转换模块输出的特征经过特征提取模块,再经过上采样模块后,得到第四映射特征,将第四映射特征与主干特征提取网络中残差模块输出的第三映射特征进行拼接,得到第五映射特征,将第五映射特征作为特征金字塔结构的输出;所述的路径聚合网络结构,由输入至输出端,依次包括输入模块、残差模块、特征提取模块和上下文转换模块,输入模块接收特征金字塔结构所输出的第五映射特征,再使其分别通过残差模块和特征提取模块,得到第六映射特征,将第六映射特征与特征金字塔结构中的特征提取模块的输出进行拼接,得到第七映射特征,将第七映射特征依次经过残差模块和特征提取模块后,得到的特征与特征金字塔结构的特征提取模块的输出进行拼接后,得到的拼接特征再经过上下文转换模块,得到输出特征图信息集合;
所述的上下文转换模块,同时实现了上下文信息挖掘和自注意力学习集成功能,并通过充分利用相邻遥感图像的目标之间的上下文信息来促进自注意力学习,增强输出特征图的表达能力。
上下文转换模块首先对遥感图像分割得到的k×k个图片网格内的所有相邻键进行上下文编码,以获得具有静态上下文信息的特征矩阵K1,将K1与Q空间进行拼接,再对拼接结果进行连续的两次1×1卷积操作,从而获取到了静态的上下文注意矩阵A,其计算过程为:
A=[K1,Q]WθWδ,
上式中,Wθ为第一次1×1卷积操作矩阵,Wδ为第二次1×1卷积操作矩阵。
上下文转换模块对于上下文注意矩阵A,与经过1×1卷积的矩阵V相乘,从而得到了具有动态上下文信息的特征图矩阵K2,其计算过程为:
K2=Conv1×1(V)A,
其中,Conv1×1(V)表示经过1×1卷积的矩阵V。
上下文转换模块将K2与K1进行融合,得到具有全局信息和局部信息的输出矩阵Y。
输出端用于对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价,并根据评价结果对遥感目标检测模型的参数进行更新。
采用遥感目标检测损失函数对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价。遥感目标检测损失函数通过计算重叠损失、计算中心距离损失和计算宽高损失来得到,其公式为:
式中,IEIOU表示遥感目标检测损失函数,B代表目标真实框,Bi代表输出特征图信息中的目标预测框,为目标真实框与目标预测框的交集面积和并集面积的比值,b和bgt分别为目标预测框和目标真实框的中心点,ρ为上述两个中心点之间的欧氏距离,c为覆盖目标预测框和目标真实框的最小外接矩形的对角线距离,w和wgt分别为目标预测框和目标真实框的长度,h和hgt分别为目标预测框和目标真实框的宽度,Cw和Ch分别为覆盖目标预测框和目标真实框的最小外接矩形的宽度与长度。
与现有技术相比,本发明实施例具有以下有益效果:
本发明在主干特征提取网络和特征融合网络中将上下文转换模块融入,其通过分组卷积和1×1卷积的操作构建了更适合于计算机视觉的attention计算单元,有效的提高了K和Q之间的关联程度,提取到了输入特征变量的静态和动态的上下文信息,同时构建了新的损失函数,优化模型遥感目标检测能力。本发明通过参数优化来选择锚定框,解决了现有锚定框检测方法使聚类结果出现偏差,导致锚定框的选择存在较大偏差,影响了图像检测的成功率的问题,优化了模型的遥感目标检测能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种遥感图像目标检测方法所用的遥感目标检测模型的组成示意图;
图2是本发明实施例公开的上下文转换模块的组成示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
图1是本发明实施例公开的一种遥感图像目标检测方法所用的遥感目标检测模型的组成示意图;图2是本发明实施例公开的上下文转换模块的组成示意图。
以下分别进行详细说明。
实施例一
为了解决上述技术问题,本发明实施例第一方面公开了一种遥感图像目标检测方法,所述方法包括:
获取光学遥感图像信息;所述光学遥感图像信息包括若干张光学遥感图;
确定用于遥感图像目标检测的锚定框,利用预设的遥感目标检测模型对所述光学遥感图像信息进行定位识别处理,得到输出特征图信息集合;所述输出特征图信息集合包括若干个输出特征图信息;
对所述输出特征图信息集合进行后处理,得到目标图像检测信息集合;所述目标图像检测信息集合包括若干个目标图像检测信息。
所述遥感目标检测模型由输入至输出方向依次包括输入端(Input)、主干特征提取网络(Backbone)、特征融合网络(Neck)和输出端(Head)。
输入端用于接收所获取的光学遥感图像信息并对其进行预处理。
预处理是对所获取的光学遥感图像信息采用Mosaic、翻转等数据增强方法进行处理,再采用自适应图片缩放方法对所有光学遥感图像的尺寸进行统一。
所述的预处理,还包括对所获取的若干张光学遥感图像进行平滑处理,以克服某段时间内出现的采集误差。具体的,包括,对一段时间内采集的光学遥感图像进行灰度处理,得到对应的若干个灰度矩阵,对每个灰度矩阵分别计算其特征向量,得到特征向量组[x1,x2,…,xN],N为一段时间内采集的光学遥感图像的数目,计算得到该特征向量组的互相关矩阵C,对互相关矩阵C进行特征值分解,得到:
C=VDVH,
其中,V为特征向量矩阵,D为特征值矩阵,对矩阵D的对角线元素进行归一化处理并将其作为权值向量,对一段时间内采集的光学遥感图像进行加权求和,得到一段时间内采集的光学遥感图像的平滑值,作为预处理后的数据。
所述的锚定框,通过对遥感目标检测模型的训练数据集进行自动学习获得,其步骤包括:
S1,从训练数据集X中随机选取K个点,作为初始聚类中心,每个初始聚类中心对应一个类别并作为其对应类别的聚类中心,聚类中心的集合表示为C={c1,c2,...,ck},其中ci代表第i个类别的聚类中心;
S2,对于训练数据集X中的每个样本数据xi,计算出它与当前各个的聚类中心之间的最短距离D(xi),并将该数据样本xi归入与其具有最短距离的聚类中心所对应的类别中。
S3,计算每个样本数据下一次被选为聚类中心的概率,其计算公式为:
其中,P(xi)为样本数据xi下一次被选为聚类中心的概率;根据所有概率的取值,将区间[0,1]划分为互不重叠的若干个概率取值区间,每个概率取值区间对应一个样本数据下一次被选为聚类中心的概率取值;例如,共有四个样本数据,其计算得到概率取值分别为0.1、0.2、0.3、0.4,则划分得到的四个概率取值区间分别为[0,0.1)、[0.1,0.3)、[0.3,0.6)、[0.6,1)。
S4,随机产生出一个[0,1]之间的随机数,根据步骤S3得到的概率取值区间,判断该随机数所属的概率取值区间,选择该所属的概率取值区间对应的样本数据,将该数据样本作为其对应类别的聚类中心;
S5,重复步骤S2至S3,直至所选出的K个聚类中心的位置的变化量小于某预设值,完成对训练数据集X的聚类,将每一类别中的所有数据的取值边界,作为一个锚定框。
所述的主干特征提取网络包括下采样模块(Focus层)、特征提取模块(CBS层)、残差模块(C3)、空间金字塔池化模块(Spatial Pyramid Pooling,SPP)。主干特征提取网络用于提取光学遥感图像信息的特征。
下采样模块用于将预处理后的光学遥感图像信息在图像的纵向和横向分别进行间隔切片操作,得到离散切片信息,再对离散切片信息进行拼接,最后对拼接后的信息进行卷积,得到第一映射特征。
特征提取模块用于对第一映射特征依次进行二维卷积(Conv2d)、归一化(BatchNorm)和激活层操作,得到第二映射特征。其中,二维卷积的作用是进一步地提取目标特征,归一化的作用是使得每一层神经网络的输入保持相同的分布。所述的激活层操作通过SiLU激活函数来实现。
残差模块包括若干个经典残差结构(Bottleneck),残差模块用于对其输入的第二映射特征进行卷积层操作,将经过卷积层操作后得到值与第二映射特征原始值进行相加操作,得到第三映射特征,从而实现在不增加输出深度的同时完成残差特征传递。
空间金字塔池化模块用于对第三映射特征进行若干种不同尺寸的最大池化操作,然后将最大池化操作的结果进行拼接操作,得到光学遥感图像的图像特征。空间金字塔池化模块首要作用是用来解决输入特征图尺寸不统一的问题。大部分目标检测网络中,一般都会在最后使用全连接层作为输出层,这要求输入特征图的尺寸固定。SPP模块,使用固定分块的池化操作,可以对不同尺寸的输入实现相同大小的输出,因此能够避免这一问题。此外,SPP中不同大小特征的融合,有利于待检测图像中目标大小差异较大的情况。
所述的特征融合网络,包括特征金字塔结构(Feature Pyramid Networks,FPN)和路径聚合网络结构(Path Aggregation Networks,PAN),用于实现光学遥感图像的不同层级的图像特征的融合。图像特征包括类别特征和位置特征。
所述的特征金字塔结构,由输入至输出端,依次包括上下文转换模块、特征提取模块和上采样模块;由上下文转换模块输出的特征经过特征提取模块,再经过上采样模块后,得到第四映射特征,将第四映射特征与主干特征提取网络中残差模块输出的第三映射特征进行拼接,得到第五映射特征;所述的路径聚合网络结构,由输入至输出端,依次包括输入模块、残差模块、特征提取模块和上下文转换模块,输入模块接收特征金字塔结构所输出的第五映射特征,再使其分别通过残差模块和特征提取模块,得到第六映射特征,将第六映射特征与特征金字塔结构中的特征提取模块的输出进行拼接,得到第七映射特征,将第七映射特征依次经过残差模块和特征提取模块后,得到的特征与特征金字塔结构的特征提取模块的输出进行拼接后,得到的拼接特征再经过上下文转换模块,得到输出特征图信息集合;
具体的,所述的特征融合网络,由若干特征提取模块(CBS层)、残差模块(C3)、上采样模块和C3_CoT模块组成,构成特征金字塔结构(Feature Pyramid Networks,FPN)和路径聚合网络结构(Path Aggregation Networks,PAN)。其中,特征金字塔结构由上下文转换模块输出的高层特征经过CBS模块,再进行上采样后与主干特征提取网络中第三个C3结构(网络结构的第8层)输出的特征进行拼接,然后再分别经过C3和CBS模块后再进行上采样,最后与主干特征提取网络中的第二个C3模块(网络结构的第4层)生成的特征进行拼接。
路径聚合网络构成首先由特征金字塔结构输出特征,分别通过C3结构以及CBS模块,进行与网络结构的第16层CBS模块输出的特征图进行拼接后再分别经过C3结构和CBS结构后与网络结构的第12层CBS结构输出的特征进行拼接后,再经过C3_CoT模块。主要是用于实现特征图的不同层级特征的融合。
卷积网络中随着卷积次数增加,特征层级由低层向高层转变。低层特征接近图像本身视觉内容,低层特征内大目标的位置特征和小目标的类别、位置特征突出;高层特征更加抽象,人无法直接理解,高层特征内大目标的类别特征丰富。有由于卷积网络中随着卷积次数增加,特征层级由低层向高层转变。低层特征接近图像本身视觉内容,低层特征内大目标的位置特征和小目标的类别、位置特征突出;高层特征更加抽象,人无法直接理解,高层特征内大目标的类别特征丰富。所以采用特征融合网络,可以使得图像特征不易丢失。特征金字塔结构实现将其高层模块的中目标和大目标的类别特征向其低层模块的小目标进行传递,路径聚合网络结构实现将其低层模块的大目标的位置特征和小目标的位置特征和类别特征的向高层的中目标进行传递,两者互补并克服各自局限性,强化模型特征提取能力。所述的大、中、小目标,尺寸小于32×32像素的目标认为是小目标,尺寸大于等于32×32像素并且小于96×96像素的目标认为是中等目标,尺寸大于等于96×96像素的目标认为是大目标。所述的高层模块,按照信息的输入至输出方向,先输入信息的模块为高层模块,后输入信息的模块为低层模块。Head模块为检测结构,将三种不同大小的特征输入Detect模块,并分别针对大、中、小尺度的遥感目标进行识别,这样很好的克服CNN网络顶端特征的局限性。
在主干特征提取网络和特征融合网络中引入上下文转换模块,以保证局部特征提取能力的同时提高模型的全局信息获取能力,充分利用输入的上下文信息并引导动态注意力矩阵的学习,提升了视觉表达能力,使用遥感目标检测损失函数,提高遥感目标识别预测框的精确率。
上下文转换模块的结构如图2所示,可以发现,原始的视觉Transformer计算单元没有充分的考虑到不同空间之间的联系,相互之间呈独立特性,只学习成对的查询键关系,而忽略了相邻键之间的丰富上下文,因此本发明借鉴了CoTNet对C3结构进行了改进,提出了一种上下文转换模块,该模块同时实现了上下文信息挖掘和自注意力学习集成功能,并通过充分利用相邻遥感图像的目标之间的上下文信息来促进自注意力学习,增强输出聚合特征图的表达能力。
上下文转换模块对于其输入的特征变量X,首先对遥感图像分割得到的k×k个图片网格内的所有相邻键进行上下文编码,以获得具有静态上下文信息的特征矩阵K1;然后将K1与Q空间进行拼接,再对拼接结果进行连续的两次1×1卷积操作,从而获取到了静态的上下文注意矩阵A,其计算过程为:
A=[K1,Q]WθWδ,
上式中,Wθ为第一次1×1卷积操作矩阵,Wδ为第二次1×1卷积操作矩阵。
随后,对于上下文注意矩阵A,与经过1×1卷积的矩阵V相乘,从而得到了具有动态上下文信息的特征图矩阵K2,其计算过程为:
K2=Conv1×1(V)A,
其中,Conv1×1(V)表示经过1×1卷积的矩阵V。
最后,将K2与K1进行融合,得到具有全局信息和局部信息的输出矩阵Y,其计算过程表示为:
Y=Fusion(K1,K2)。
目标检测模型中的主干网络是提取输入图像隐藏信息的关键部分,但是原有的主干网络和特征融合网络中的C3结构是一个全卷积结构,虽然有着很好的局部特征提取能力,但是对于全局信息的获取欠缺。因此,为了使得模型可以进一步在保证局部特征提取能力的同时提高模型的全局信息获取能力,本发明将上下文转换模块引入到原有的原网络模型中,将ResNet结构进行了改进,利用CoTNet的思想完成了C3结构的构建,形成新的上下文转换模块,使网络模型具有全局信息的获取能力,提升对遥感目标的检测效果。
输出端用于对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价,并根据评价结果对遥感目标检测模型的参数进行更新。
采用遥感目标检测损失函数对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价。损失函数与训练模型的性能呈正相关。但是传统的CIOU损失函数对长宽比的衡量过于复杂,造成收敛速度过慢,并且长宽比不能取代单独的长宽。所以本发明提出了遥感目标检测损失函数,解决了CIOU损失函数在水平和垂直方向上误差较大的问题,增强了对宽高的敏感程度,并且提高了收敛的速度和回归的精度。遥感目标检测损失函数通过计算重叠损失、计算中心距离损失和计算宽高损失来实现,其公式为:
式中,IEIOU表示遥感目标检测损失函数,B代表目标真实框,Bi代表输出特征图信息中的目标预测框,为目标真实框与目标预测框的交集面积和并集面积的比值,b和bgt分别为目标预测框和目标真实框的中心点,ρ为上述两个中心点之间的欧氏距离,c为覆盖目标预测框和目标真实框的最小外接矩形的对角线距离,w和wgt分别为目标预测框和目标真实框的长度,h和hgt分别为目标预测框和目标真实框的宽度,Cw和Ch分别为覆盖目标预测框和目标真实框的最小外接矩形的宽度与长度。
所述的对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价,包括:
将采集的卫星遥感图像数据看做平稳随机过程,针对输出特征图信息与真实特征图信息,分别建立对应的自回归-滑动平均模型,即ARMA模型,分别得到第一ARMA模型、第二ARMA模型,对两种ARMA模型的系数,计算其互相关矩阵,对该互相关矩阵计算得到最大特征值,利用最大特征值对所述的输出特征图信息与真实特征图信息的差异性进行判别。同时,根据该最大特征值,对对遥感目标检测模型的参数进行更新。
所述遥感目标检测模型是经过以下训练步骤得到的:
获取原始图像信息集合;
对所述原始图像信息集合进行标注和数据增强处理,得到第一训练图像信息集合;所述第一训练图像信息集合包括若干个第一训练图像信息;
根据所述第一训练图像信息集合,确定出目标训练图像信息;
利用目标训练图像信息和目标真实图像信息,计算损失函数,利用损失函数对第一训练模型进行训练,得到第二训练模型;
判断所述第二训练模型对应的模型训练参数信息是否满足训练终止条件,得到终止判断结果;
当所述终止判断结果为否时,利用所述第二训练模型对所述第一训练模型进行更新,并触发执行所述根据所述第三训练图像信息集合,确定出目标训练图像信息;
当所述终止判断结果为是时,确定所述第二训练模型为所述遥感目标检测模型。
所述对所述输出特征图信息集合进行后处理,得到目标图像检测信息集合,包括:
对所述输出特征图信息集合进行检测框解码处理,得到检测框信息集合;所述检测框信息集合包括若干个检测框信息;
对所述检测框信息集合进行类别判别处理,得到图像类别信息集合;所述图像类别信息集合包括若干个图像类别信息。
所述的检测框,可以是锚定框。
以上所描述的装置实施例仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种用于基于参数优化的遥感图像目标检测方法所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
获取光学遥感图像信息;所述光学遥感图像信息包括若干张光学遥感图;
确定用于遥感图像目标检测的锚定框,利用遥感目标检测模型对所述光学遥感图像信息进行定位识别处理,得到输出特征图信息集合;所述输出特征图信息集合包括若干个输出特征图信息;
对所述输出特征图信息集合进行后处理,得到目标图像检测信息集合;所述目标图像检测信息集合包括若干个目标图像检测信息。
2.如权利要求1所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
所述遥感目标检测模型由输入至输出方向依次包括输入端、主干特征提取网络、特征融合网络和输出端。
3.如权利要求1所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
所述的确定用于遥感图像目标检测的锚定框,锚定框通过对遥感目标检测模型的训练数据集进行自动学习获得,其步骤包括:
S1,从训练数据集X中随机选取K个点,作为初始聚类中心,每个初始聚类中心对应一个类别并作为其对应类别的聚类中心,聚类中心的集合表示为C={c1,c2,...,ck},其中ci代表第i个类别的聚类中心;
S2,对于训练数据集X中的每个样本数据xi,计算出它与当前各个的聚类中心之间的最短距离D(xi),并将该数据样本xi归入与其具有最短距离的聚类中心所对应的类别中;
S3,计算每个样本数据下一次被选为聚类中心的概率,其计算公式为:
其中,P(xi)为样本数据xi下一次被选为聚类中心的概率;根据所有概率的取值,将区间[0,1]划分为互不重叠的若干个概率取值区间,每个概率取值区间对应一个样本数据下一次被选为聚类中心的概率取值;
S4,随机产生出一个[0,1]之间的随机数,根据步骤S3得到的概率取值区间,判断该随机数所属的概率取值区间,选择该所属的概率取值区间对应的样本数据,将该数据样本作为其对应类别的聚类中心;
S5,重复步骤S2至S4,直至所选出的K个聚类中心的位置的变化量小于某预设值,完成对训练数据集X的聚类,将每一类别中的所有数据的取值边界,作为一个锚定框。
4.如权利要求2所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
所述的主干特征提取网络包括下采样模块、特征提取模块、残差模块、空间金字塔池化模块;主干特征提取网络用于提取光学遥感图像信息的特征。
5.如权利要求4所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
所述的下采样模块用于将预处理后的光学遥感图像信息在图像的纵向和横向分别进行间隔切片操作,得到离散切片信息,再对离散切片信息进行拼接,最后对拼接后的信息进行卷积,得到第一映射特征;
所述的特征提取模块用于对第一映射特征依次进行二维卷积、归一化和激活层操作,得到第二映射特征;
所述的残差模块包括若干个经典残差结构,残差模块用于对其输入的第二映射特征进行卷积层操作,将经过卷积层操作后得到值与第二映射特征原始值进行相加操作,得到第三映射特征,从而实现在不增加输出深度的同时完成残差特征传递;
所述的空间金字塔池化模块用于对第三映射特征进行若干种不同尺寸的最大池化操作,然后将最大池化操作的结果进行拼接操作,得到光学遥感图像的图像特征。
6.如权利要求5所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
所述的特征融合网络,包括特征金字塔结构和路径聚合网络结构,用于实现光学遥感图像的不同层级的图像特征的融合;
所述的特征金字塔结构,由输入至输出端,依次包括上下文转换模块、特征提取模块和上采样模块;由上下文转换模块输出的特征经过特征提取模块,再经过上采样模块后,得到第四映射特征,将第四映射特征与主干特征提取网络中残差模块输出的第三映射特征进行拼接,得到第五映射特征,将第五映射特征作为特征金字塔结构的输出;所述的路径聚合网络结构,由输入至输出端,依次包括输入模块、残差模块、特征提取模块和上下文转换模块,输入模块接收特征金字塔结构所输出的第五映射特征,再使其分别通过残差模块和特征提取模块,得到第六映射特征,将第六映射特征与特征金字塔结构中的特征提取模块的输出进行拼接,得到第七映射特征,将第七映射特征依次经过残差模块和特征提取模块后,得到的特征与特征金字塔结构的特征提取模块的输出进行拼接后,得到的拼接特征再经过上下文转换模块,得到输出特征图信息集合。
7.如权利要求6所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
所述的上下文转换模块,同时实现了上下文信息挖掘和自注意力学习集成功能,并通过充分利用相邻遥感图像的目标之间的上下文信息来促进自注意力学习,增强输出特征图的表达能力;上下文转换模块对遥感图像分割得到的k×k个图片网格内的所有相邻键进行上下文编码,以获得具有静态上下文信息的特征矩阵K1,将K1与Q空间进行拼接,再对拼接结果进行连续的两次1×1卷积操作,从而获取到了静态的上下文注意矩阵A,其计算过程为:
A=[K1,Q]WθWδ,
上式中,Wθ为第一次1×1卷积操作矩阵,Wδ为第二次1×1卷积操作矩阵;
上下文转换模块对于上下文注意矩阵A,与经过1×1卷积的矩阵V相乘,从而得到了具有动态上下文信息的特征图矩阵K2,其计算过程为:
K2=Conv1×1(V)A,
其中,Conv1×1(V)表示经过1×1卷积的矩阵V;
上下文转换模块将K2与K1进行融合,得到具有全局信息和局部信息的输出矩阵Y。
8.如权利要求2所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
输出端用于对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价,并根据评价结果对遥感目标检测模型的参数进行更新。
9.如权利要求8所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
采用遥感目标检测损失函数对特征融合网络得到的输出特征图信息与真实特征图信息的差异性进行评价。
10.如权利要求9所述的基于参数优化的遥感图像目标检测方法,其特征在于,所述方法包括:
遥感目标检测损失函数通过计算重叠损失、计算中心距离损失和计算宽高损失来得到,其公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211001673.XA CN115359366A (zh) | 2022-08-19 | 2022-08-19 | 基于参数优化的遥感图像目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211001673.XA CN115359366A (zh) | 2022-08-19 | 2022-08-19 | 基于参数优化的遥感图像目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115359366A true CN115359366A (zh) | 2022-11-18 |
Family
ID=84002619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211001673.XA Pending CN115359366A (zh) | 2022-08-19 | 2022-08-19 | 基于参数优化的遥感图像目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115359366A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310649A (zh) * | 2023-03-24 | 2023-06-23 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器调整螺杆圆销和圆销开口销丢失检测方法 |
CN116363530A (zh) * | 2023-03-14 | 2023-06-30 | 北京天鼎殊同科技有限公司 | 高速公路路面病害的定位方法和装置 |
CN117523428A (zh) * | 2023-11-08 | 2024-02-06 | 中国人民解放军军事科学院系统工程研究院 | 基于飞行器平台的地面目标检测方法和装置 |
CN117830079A (zh) * | 2023-12-27 | 2024-04-05 | 北京智象未来科技有限公司 | 真实图片预测方法、装置、设备、存储介质 |
CN118115748A (zh) * | 2024-03-27 | 2024-05-31 | 中国人民解放军91977部队 | 一种热红外遥感图像处理方法及装置 |
-
2022
- 2022-08-19 CN CN202211001673.XA patent/CN115359366A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363530A (zh) * | 2023-03-14 | 2023-06-30 | 北京天鼎殊同科技有限公司 | 高速公路路面病害的定位方法和装置 |
CN116363530B (zh) * | 2023-03-14 | 2023-11-03 | 北京天鼎殊同科技有限公司 | 高速公路路面病害的定位方法和装置 |
CN116310649A (zh) * | 2023-03-24 | 2023-06-23 | 哈尔滨市科佳通用机电股份有限公司 | 闸调器调整螺杆圆销和圆销开口销丢失检测方法 |
CN117523428A (zh) * | 2023-11-08 | 2024-02-06 | 中国人民解放军军事科学院系统工程研究院 | 基于飞行器平台的地面目标检测方法和装置 |
CN117523428B (zh) * | 2023-11-08 | 2024-03-29 | 中国人民解放军军事科学院系统工程研究院 | 基于飞行器平台的地面目标检测方法和装置 |
CN117830079A (zh) * | 2023-12-27 | 2024-04-05 | 北京智象未来科技有限公司 | 真实图片预测方法、装置、设备、存储介质 |
CN118115748A (zh) * | 2024-03-27 | 2024-05-31 | 中国人民解放军91977部队 | 一种热红外遥感图像处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119728B (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
CN115359366A (zh) | 基于参数优化的遥感图像目标检测方法 | |
CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
CN109101897A (zh) | 水下机器人的目标检测方法、系统及相关设备 | |
CN113033520B (zh) | 一种基于深度学习的树木线虫病害木识别方法及系统 | |
CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
CN109800629A (zh) | 一种基于卷积神经网络的遥感图像目标检测方法 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN114612769B (zh) | 一种融入局部结构信息的集成感知红外成像舰船检测方法 | |
CN110188780B (zh) | 用于定位多目标特征点的深度学习模型的构建方法及装置 | |
CN113191213B (zh) | 一种高分辨率遥感影像新增建筑物检测方法 | |
CN113486819A (zh) | 一种基于YOLOv4算法的船舶目标检测方法 | |
CN114037640A (zh) | 图像生成方法及装置 | |
CN113379771A (zh) | 带有边缘约束的层次化人体解析语义分割方法 | |
CN113487600A (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
CN115187786A (zh) | 一种基于旋转的CenterNet2目标检测方法 | |
CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
CN113344045A (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
CN114565824B (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
CN115830449A (zh) | 显式轮廓引导和空间变化上下文增强的遥感目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |