CN115588140B - 一种多光谱遥感图像多方向目标检测方法 - Google Patents

一种多光谱遥感图像多方向目标检测方法 Download PDF

Info

Publication number
CN115588140B
CN115588140B CN202211305997.2A CN202211305997A CN115588140B CN 115588140 B CN115588140 B CN 115588140B CN 202211305997 A CN202211305997 A CN 202211305997A CN 115588140 B CN115588140 B CN 115588140B
Authority
CN
China
Prior art keywords
prediction
target
spectral
layer
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211305997.2A
Other languages
English (en)
Other versions
CN115588140A (zh
Inventor
张筱晗
张一鸣
吕亚飞
齐江帆
张一博
毕瑷鹏
路遥
李金洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Remote Sensing Information
Original Assignee
Beijing Institute of Remote Sensing Information
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Remote Sensing Information filed Critical Beijing Institute of Remote Sensing Information
Priority to CN202211305997.2A priority Critical patent/CN115588140B/zh
Publication of CN115588140A publication Critical patent/CN115588140A/zh
Application granted granted Critical
Publication of CN115588140B publication Critical patent/CN115588140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多光谱遥感图像多方向目标检测方法，该方法包括：获取多光谱遥感图像训练数据样本，进行样本标记，得到N个光谱通道训练数据集；利用卷积神经网络模型，提取训练数据集的单通道空间特征信息；将单通道空间特征信息，输入基于中心点预测的多方向目标检测模型，得到预测图；利用融合预测模型，处理N个光谱通道的预测图，得到融合预测图；计算第i(i＝1,2,…,N)个光谱通道的任务损失i和模仿损失i，对第i个光谱通道的检测模型进行训练，得到光谱通道互学习模型；利用光谱通道互学习模型对光谱通道的预测图进行处理，得到多光谱遥感图像多方向目标检测结果。本发明方法检测效果好，训练数据易获取，整体训练测试易实行。

Description

一种多光谱遥感图像多方向目标检测方法
技术领域
本发明涉及遥感数据处理领域，尤其涉及一种多光谱遥感图像多方向目标检测方法。
背景技术
多光谱遥感图像是一种重要的卫星遥感数据类型，兼具地物空间信息和光谱信息。但受其空间分辨率限制，对多光谱遥感图像目标检测的研究相对较少。考虑光谱信息一定程度上能够弥补空间信息的不足，利用光谱融合技术能够有效提高多光谱图像检测精度。
在自然场景图像目标检测中，可见光图像与红外图像优势互补，常常配合使用于目标检测。同时拍摄同一场景的可见光相机和红外相机所拍的图像可以认为是多通道图像，针对这类多通道图像目标检测，学者们提出了一些有效的融合策略。如利用卷积神经网络同时提取可见光波波段与红外波段图像的特征，并采用输入融合、前期融合、中期融合、后期融合等策略，将卷积神经网络不同阶段的特征融合起来，并利用融合特征实施目标检测；根据可见光和红外图像各自的优势，设计根据光照条件自适应确定权重的模块来对可见光图像和红外图像的目标检测结果进行加权融合等。这些工作都提高了多通道图像目标检测的精度，为多光谱遥感图像目标检测提供了启发，但总的来说，融合策略比较简单，没有充分利用光谱通道之间的差异信息，对整体检测精度提升有限。
发明内容
本发明所要解决的技术问题在于，针对现有多光谱遥感图像处理技术领域，没有有效利用光谱信息差异来提升目标检测精度的问题，提出一种多光谱遥感图像多方向目标检测方法。
本发明实施例公开了一种多光谱遥感图像多方向目标检测方法，所述方法包括：
S1，获取多光谱遥感图像训练数据样本，对所述多光谱遥感图像训练数据样本进行样本标记，得到N个光谱通道训练数据集；所述N个光谱通道训练数据集，包括N个光谱通道训练数据样本的真值信息；
S2，利用预设的卷积神经网络模型，对所述N个光谱通道训练数据集进行单通道空间特征提取，得到N个单通道空间特征信息；
S3，将所述N个单通道空间特征信息，输入到预设的基于中心点预测的多方向目标检测模型，得到N个光谱通道的预测图；所述预测图包括中心点预测图、中心点偏移预测图、目标框尺寸预测图；
利用预设的融合预测模型，对所述N个光谱通道的N个中心点预测图、N个中心点偏移预测图、N个目标框尺寸预测图进行处理，得到融合预测图；
S4，计算第i(i＝1,2,...,N)个光谱通道的预测图与真值信息的差异，得到第i个光谱通道的任务损失；
计算N个光谱通道的预测图的平均值，计算所述平均值与各光谱通道预测图的差异，得到模仿损失；
通过减小N个光谱通道的任务损失和与模仿损失和的加权和，对N个光谱通道检测模型进行联合训练，得到光谱通道互学习模型；
所述光谱通道互学习模型包括：
计算第i个光谱通道的任务损失Ldet_i和模仿损失Lm的加权和Ltotal，计算方法为：
Figure GDA0004110240120000021
式中λ为权重，可根据经验或实验确定权值。通过使损失加权和Ltotal达到最小，完成对预设的多光谱图像互学习检测模型的训练；S5，利用所述光谱通道互学习模型中第i个光谱通道的检测模型，对所述第i个光谱通道的预测图进行处理，得到第i个光谱通道的目标检测矩形包围框；
利用角点坐标计算模型，对所述第i个光谱通道的目标检测矩形包围框进行处理，得到所述第i个光谱通道的目标检测矩形包围框的四角点坐标；
利用非极大值抑制算法，对N个光谱通道的目标检测矩形包围框进行处理，过滤重复目标检测矩形包围框，输出不重复的目标检测矩形包围框的四角点坐标，得到多光谱遥感图像多方向目标检测结果。
作为一种可选的实施方式，在本发明实施例中，所述获取多光谱遥感图像训练数据样本，对所述多光谱遥感图像训练数据样本进行样本标记，得到训练数据集，包括：
获取多光谱遥感图像训练数据样本，标注多光谱遥感图像样本中所有目标矩形包围框的位置信息、方向信息及目标类别信息，得到多光谱遥感图像训练数据样本的真值信息；
所述目标矩形包围框的位置信息包括：目标中心点坐标(x,y)，目标矩形包围框长w、宽h；
所述目标矩形包围框的方向信息为倾斜矩形包围框长边与图像水平轴的夹角θ,θ∈[-π/2,π/2]；
所述目标矩形包围框的目标类别信息包括：
多光谱遥感图像训练数据样本尺寸W×H×N，其中，W为图像训练数据样本宽，H为图像训练数据样本高，N为图像训练数据样本光谱通道数；
所述多光谱遥感图像训练数据样本，与所述多光谱遥感图像训练数据样本的真值信息，构成训练数据集。
作为一种可选的实施方式，在本发明实施例中，所述卷积神经网络模型，包括：
第1层，输入层，维度为W×H×1，输入数据为多光谱遥感图像单光谱通道数据样本；
第2层，卷积层，包含64个维度为3×3的卷积核，输出维度为W×H×64的特征；
第3层，卷积层，包含64个维度为3×3的卷积核，输出维度为W×H×64的特征；
第4层，池化层，采用2×2最大池化，stride＝2，特征维度变为W/2×H/2×64；
第5层，卷积层，包含128个维度为3×3的卷积核，输出维度为W/2×H/2×128的特征；
第6层，卷积层，包含128个维度为3×3的卷积核，输出维度为W/2×H/2×128的特征；
第7层，池化层，采用2×2最大池化，stride＝2，特征维度变为W/4×H/4×128；
第8层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第9层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第10层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第11层，池化层，采用2×2最大池化，stride＝1，特征维度为W/4×H/4×256；
第12层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第13层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第14层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第15层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第16层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第17层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
利用所述卷积神经网络模型，对N个光谱通道训练数据集进行单通道空间特征提取，得到N个单通道空间特征信息。
作为一种可选的实施方式，在本发明实施例中，所述预设的基于中心点预测的多方向目标检测模型，包括：中心点检测分支、中心点偏移检测分支和倾斜矩形框参数预测分支；
将所述N个单通道空间特征信息，输入预设的基于中心点预测的多方向目标检测模型，得到N个光谱通道的预测图；
所述中心点检测分支，用于计算特征图上某位置存在某类别目标中心点的概率，得到维度为W/4×H/4×C的中心点预测图，其中C表示目标全部类别；
所述中心点偏移检测分支，用于计算所述中心点预测图到实际图像位置的偏移预测值，得到维度为W/4×H/4×2的中心点偏移预测图；
所述倾斜矩形框参数预测分支，用于计算倾斜目标矩形框的宽、高及角度，得到维度为W/4×H/4×3的目标框尺寸预测图；
所述中心点检测分支、中心点偏移检测分支和倾斜矩形框参数预测分支，均由3×3卷积层、relu函数、1×1卷积层构成。
作为一种可选的实施方式，在本发明实施例中，所述利用预设的融合预测模型，对所述N个光谱通道的N个中心点预测图、N个中心点偏移预测图、N个目标框尺寸预测图进行处理，得到融合预测图，包括：
对所述N个光谱通道的N个中心点预测图取平均值，得到融合中心点预测图；
对所述N个光谱通道的N个中心点偏移预测图取平均值，得到融合中心点偏移预测图；
对所述N个光谱通道的N个目标框尺寸预测图取平均值，得到融合目标框尺寸预测图；
所述融合中心点预测图、融合中心点偏移预测图、融合目标框尺寸预测图构成所述融合预测图。
作为一种可选的实施方式，在本发明实施例中，所述第i(i＝1,2,...,N)个光谱通道的任务损失由第i个光谱通道的中心点预测图与真值信息间损失Lc_i、第i个光谱通道的中心点偏移预测图与真值信息间损失Loff_i、第i(i＝1,2,...,N)个光谱通道的目标框尺寸预测图与真值信息间损失Lsize_i计算得到，计算方法为：
Ldet_i＝Lc_i+Loff_i+0.5Lsize_i
得到第i个光谱通道的任务损失Ldet_i。
作为一种可选的实施方式，在本发明实施例中，所述模仿损失由中心点位置预测模仿损失Lm_c、中心点偏移值预测模仿损失Lm_o、目标框尺度预测模仿损失Lm_s计算得到，计算方法为：
Lm＝Lm_c+Lm_o+0.5Lm_s
得到模仿损失Lm。
作为一种可选的实施方式，在本发明实施例中，所述利用角点坐标计算模型，对所述第i个光谱通道的目标检测矩形包围框进行处理，得到所述第i个光谱通道的目标检测矩形包围框的四角点坐标，包括：
所述目标检测矩形包围框的四角点坐标为
Figure GDA0004110240120000061
Figure GDA0004110240120000062
所述角点坐标计算模型计算公式为：
Figure GDA0004110240120000063
Figure GDA0004110240120000064
Figure GDA0004110240120000065
Figure GDA0004110240120000066
式中，
Figure GDA0004110240120000067
为所述目标检测矩形包围框的中心点坐标，
Figure GDA0004110240120000068
Figure GDA0004110240120000069
为所述目标检测矩形包围框的长，
Figure GDA00041102401200000610
为所述目标检测矩形包围框的宽，
Figure GDA00041102401200000611
为所述目标检测矩形包围框长边与图像水平轴的夹角，
Figure GDA00041102401200000612
为所述目标检测矩形包围框的中心点偏移值。
作为一种可选的实施方式，在本发明实施例中，所述利用非极大值抑制算法，对N个光谱通道的目标检测矩形包围框进行处理，过滤重复目标检测矩形包围框，输出不重复的目标检测矩形包围框的四角点坐标，得到多光谱遥感图像多方向目标检测结果，包括：
非极大值抑制算法的计算为：
定义两个倾斜矩形框B1、B2的交并比IOU：
Figure GDA00041102401200000613
设置IOU阈值φIOU、角度差阈值φθ，
Figure GDA00041102401200000614
为两个倾斜矩形框B1、B2的交集，
Figure GDA00041102401200000615
为两个倾斜矩形框B1、B2的并集，对于两个存在重叠区域的目标框，首先计算其交并比，若交并比大于φIOU，则计算其方向角度差值，若差值小于φθ，则舍弃目标中心点的概率得分较低的目标框；
所述目标中心点的概率得分，为所述中心点检测分支，计算得到的特征图上某位置存在某类别目标中心点的概率。
与现有技术相比，本发明实施例具有以下有益效果：
本发明针对多光谱图像空间分辨率相对较低，目标细节较模糊，导致检测精度相对较低的问题，从多光谱遥感图像光谱信息融合角度出发，利用光谱信息自身的差异，引导目标检测网络进行通道间互学习，训练模型自动实现光谱信息的差异学习和隐式融合，从而优化多光谱遥感图像特征表征，以光谱信息优势弥补其空间信息的不足，提升多方向目标检测的精度，且能够实现端到端的检测。本发明检测效果好，训练数据易获取，整体训练测试易实行。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种多光谱遥感图像多方向目标检测方法的流程示意图；
图2是以4通道多光谱遥感图像为例，阐述本发明方法实施及训练基本流程。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种多光谱遥感图像多方向目标检测方法，能够进行多光谱遥感图像单通道特征提取，充分挖掘多光谱遥感图像光谱信息与空间信息，优化多光谱图像深度特征表征。
如图1所示，本发明方法包括以下步骤：
S1，获取多光谱遥感图像训练数据样本，对所述多光谱遥感图像训练数据样本进行样本标记，得到N个光谱通道训练数据集；所述N个光谱通道训练数据集，包括N个光谱通道训练数据样本的真值信息；
S2，利用预设的卷积神经网络模型，对所述N个光谱通道训练数据集进行单通道空间特征提取，得到N个单通道空间特征信息；
S3，将所述N个单通道空间特征信息，输入到预设的基于中心点预测的多方向目标检测模型，得到N个光谱通道的预测图；所述预测图包括中心点预测图、中心点偏移预测图、目标框尺寸预测图；
利用预设的融合预测模型，对所述N个光谱通道的N个中心点预测图、N个中心点偏移预测图、N个目标框尺寸预测图进行处理，得到融合预测图；
S4，计算第i(i＝1,2,...,N)个光谱通道的预测图与真值信息的差异，得到第i个光谱通道的任务损失；
计算N个光谱通道的预测图的平均值，计算所述平均值与各光谱通道预测图的差异，得到模仿损失；
通过减小N个光谱通道的任务损失和与模仿损失和的加权和，对N个光谱通道检测模型进行联合训练，得到光谱通道互学习模型；
所述光谱通道互学习模型包括：
计算第i个光谱通道的任务损失Ldet_i和模仿损失Lm的加权和Ltotal，计算方法为：
Figure GDA0004110240120000081
式中λ为权重，可根据经验或实验确定权值。通过使损失加权和Ltotal达到最小，完成对预设的多光谱图像互学习检测模型的训练；
S5，利用所述光谱通道互学习模型中第i个光谱通道的检测模型，对所述第i个光谱通道的预测图进行处理，得到第i个光谱通道的目标检测矩形包围框；
利用角点坐标计算模型，对所述第i个光谱通道的目标检测矩形包围框进行处理，得到所述第i个光谱通道的目标检测矩形包围框的四角点坐标；
利用非极大值抑制算法，对N个光谱通道的目标检测矩形包围框进行处理，过滤重复目标检测矩形包围框，输出不重复的目标检测矩形包围框的四角点坐标，得到多光谱遥感图像多方向目标检测结果。
可选的，所述获取多光谱遥感图像训练数据样本，对所述多光谱遥感图像训练数据样本进行样本标记，得到训练数据集，包括：
获取多光谱遥感图像训练数据样本，标注多光谱遥感图像样本中所有目标矩形包围框的位置信息、方向信息及目标类别信息，得到多光谱遥感图像训练数据样本的真值信息；
所述目标矩形包围框的位置信息包括：目标中心点坐标(x,y)，目标矩形包围框长w、宽h；
所述目标矩形包围框的方向信息为倾斜矩形包围框长边与图像水平轴的夹角θ,θ∈[-π/2,π/2]；
所述目标矩形包围框的目标类别信息包括：
多光谱遥感图像训练数据样本尺寸W×H×N，其中，W为图像训练数据样本宽，H为图像训练数据样本高，N为图像训练数据样本光谱通道数；
所述多光谱遥感图像训练数据样本，与所述多光谱遥感图像训练数据样本的真值信息，构成训练数据集。
可选的，所述卷积神经网络模型，包括：
第1层，输入层，维度为W×H×1，输入数据为多光谱遥感图像单光谱通道数据样本；
第2层，卷积层，包含64个维度为3×3的卷积核，输出维度为W×H×64的特征；
第3层，卷积层，包含64个维度为3×3的卷积核，输出维度为W×H×64的特征；
第4层，池化层，采用2×2最大池化，stride＝2，特征维度变为W/2×H/2×64；
第5层，卷积层，包含128个维度为3×3的卷积核，输出维度为W/2×H/2×128的特征；
第6层，卷积层，包含128个维度为3×3的卷积核，输出维度为W/2×H/2×128的特征；
第7层，池化层，采用2×2最大池化，stride＝2，特征维度变为W/4×H/4×128；
第8层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第9层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第10层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第11层，池化层，采用2×2最大池化，stride＝1，特征维度为W/4×H/4×256；
第12层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第13层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第14层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第15层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第16层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第17层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
利用所述卷积神经网络模型，对N个光谱通道训练数据集进行单通道空间特征提取，得到N个单通道空间特征信息。
可选的，所述预设的基于中心点预测的多方向目标检测模型，包括：中心点检测分支、中心点偏移检测分支和倾斜矩形框参数预测分支；
将所述N个单通道空间特征信息，输入预设的基于中心点预测的多方向目标检测模型，得到N个光谱通道的预测图；
所述中心点检测分支，用于计算特征图上某位置存在某类别目标中心点的概率，得到维度为W/4×H/4×C的中心点预测图，其中C表示目标全部类别；
所述中心点偏移检测分支，用于计算所述中心点预测图到实际图像位置的偏移预测值，得到维度为W/4×H/4×2的中心点偏移预测图；
所述倾斜矩形框参数预测分支，用于计算倾斜目标矩形框的宽、高及角度，得到维度为W/4×H/4×3的目标框尺寸预测图；
所述中心点检测分支、中心点偏移检测分支和倾斜矩形框参数预测分支，均由3×3卷积层、relu函数、1×1卷积层构成。
其中中心点检测分支输出值通过Sigmoid激活函数实现归一化，Sigmoid函数定义为：
Figure GDA0004110240120000111
可选的，所述利用预设的融合预测模型，对所述N个光谱通道的N个中心点预测图、N个中心点偏移预测图、N个目标框尺寸预测图进行处理，得到融合预测图，包括：
对所述N个光谱通道的N个中心点预测图取平均值，得到融合中心点预测图；
对所述N个光谱通道的N个中心点偏移预测图取平均值，得到融合中心点偏移预测图；
对所述N个光谱通道的N个目标框尺寸预测图取平均值，得到融合目标框尺寸预测图；
所述融合中心点预测图、融合中心点偏移预测图、融合目标框尺寸预测图构成所述融合预测图。
可选的，所述第i(i＝1,2,...,N)个光谱通道的任务损失由第i个光谱通道的中心点预测图与真值信息间损失Lc_i、第i个光谱通道的中心点偏移预测图与真值信息间损失Loff_i、第i(i＝1,2,...,N)个光谱通道的目标框尺寸预测图与真值信息间损失Lsize_i计算得到，计算方法为：
Ldet_i＝Lc_i+Loff_i+0.5Lsize_i
得到第i个光谱通道的任务损失Ldet_i。
对于类别Ci下的目标T，其中心点在原图中坐标为(xT,yT)。则：
Figure GDA0004110240120000121
Figure GDA0004110240120000122
式中，σp为自适应目标尺度因子，取作目标框短边的0.1倍；
Figure GDA0004110240120000129
表示向下取整操作；
Figure GDA0004110240120000123
为图像中Ci类目标的总个数；Yxyc表示特征图中Ci类别目标中心点位置，当其为1，表示该位置存在Ci类别的目标。
Figure GDA0004110240120000124
其中，
Figure GDA0004110240120000125
Figure GDA0004110240120000126
Ldet_i＝Lc_i+Loff_i+0.5Lsize_i
可选的，所述模仿损失由中心点位置预测模仿损失Lm_c、中心点偏移值预测模仿损失Lm_o、目标框尺度预测模仿损失Lm_s计算得到，计算方法为：
Lm＝Lm_c+Lm_o+0.5Lm_s
得到模仿损失Lm。
其中：
Figure GDA0004110240120000127
Figure GDA0004110240120000128
Figure GDA0004110240120000131
可选的，所述利用角点坐标计算模型，对所述第i个光谱通道的目标检测矩形包围框进行处理，得到所述第i个光谱通道的目标检测矩形包围框的四角点坐标，包括：
所述目标检测矩形包围框的四角点坐标为
Figure GDA0004110240120000132
Figure GDA0004110240120000133
所述角点坐标计算模型计算公式为：
Figure GDA0004110240120000134
Figure GDA0004110240120000135
Figure GDA0004110240120000136
Figure GDA0004110240120000137
式中，
Figure GDA0004110240120000138
为所述目标检测矩形包围框的中心点坐标，
Figure GDA0004110240120000139
Figure GDA00041102401200001310
为所述目标检测矩形包围框的长，
Figure GDA00041102401200001311
为所述目标检测矩形包围框的宽，
Figure GDA00041102401200001312
为所述目标检测矩形包围框长边与图像水平轴的夹角，
Figure GDA00041102401200001313
为所述目标检测矩形包围框的中心点偏移值。
可选的，根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述利用非极大值抑制算法，对N个光谱通道的目标检测矩形包围框进行处理，过滤重复目标检测矩形包围框，输出不重复的目标检测矩形包围框的四角点坐标，得到多光谱遥感图像多方向目标检测结果，包括：
非极大值抑制算法的计算为：
定义两个倾斜矩形框B1、B2的交并比IOU：
Figure GDA00041102401200001314
设置IOU阈值φIOU、角度差阈值φθ，
Figure GDA00041102401200001315
为两个倾斜矩形框B1、B2的交集，
Figure GDA00041102401200001316
为两个倾斜矩形框B1、B2的并集，对于两个存在重叠区域的目标框，首先计算其交并比，若交并比大于φIOU，则计算其方向角度差值，若差值小于φθ，则舍弃目标中心点的概率得分较低的目标框；
所述目标中心点的概率得分，为所述中心点检测分支，计算得到的特征图上某位置存在某类别目标中心点的概率。如图2所示，是以4通道多光谱遥感图像为例，阐述本发明方法实施及训练基本流程。
可见，本发明针对多光谱图像空间分辨率相对较低，目标细节较模糊，导致检测精度相对较低的问题，从多光谱遥感图像光谱信息融合角度出发，利用光谱信息自身的差异，引导目标检测网络进行通道间互学习，训练模型自动实现光谱信息的差异学习和隐式融合，从而优化多光谱遥感图像特征表征，以光谱信息优势弥补其空间信息的不足，提升多方向目标检测的精度，且能够实现端到端的检测。本发明检测效果好，训练数据易获取，整体训练测试易实行。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(ProgrammableRead-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammableRead Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammableRead-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种多光谱遥感图像多方向目标检测方法所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (9)

1.一种多光谱遥感图像多方向目标检测方法，其特征在于，所述方法包括：
S1，获取多光谱遥感图像训练数据样本，对所述多光谱遥感图像训练数据样本进行样本标记，得到N个光谱通道训练数据集；所述N个光谱通道训练数据集，包括N个光谱通道训练数据样本的真值信息；
S2，利用预设的卷积神经网络模型，对所述N个光谱通道训练数据集进行单通道空间特征提取，得到N个单通道空间特征信息；
S3，将所述N个单通道空间特征信息，输入到预设的基于中心点预测的多方向目标检测模型，得到N个光谱通道的预测图；所述预测图包括中心点预测图、中心点偏移预测图、目标框尺寸预测图；
利用预设的融合预测模型，对所述N个光谱通道的N个中心点预测图、N个中心点偏移预测图、N个目标框尺寸预测图进行处理，得到融合预测图；
S4，计算第i(i＝1,2,...,N)个光谱通道的预测图与真值信息的差异，得到第i个光谱通道的任务损失；
计算N个光谱通道的预测图的平均值，计算所述平均值与各光谱通道预测图的差异，得到模仿损失；
通过减小N个光谱通道的任务损失和与模仿损失和的加权和，对N个光谱通道检测模型进行联合训练，得到光谱通道互学习模型；
所述光谱通道互学习模型包括：
计算第i个光谱通道的任务损失Ldet_i和模仿损失Lm的加权和Ltotal，计算方法为：
式中λ为权重，可根据经验或实验确定权值,通过使损失加权和Ltotal达到最小，完成对预设的多光谱图像互学习检测模型的训练；
S5，利用所述光谱通道互学习模型中第i个光谱通道的检测模型，对所述第i个光谱通道的预测图进行处理，得到第i个光谱通道的目标检测矩形包围框；
利用角点坐标计算模型，对所述第i个光谱通道的目标检测矩形包围框进行处理，得到所述第i个光谱通道的目标检测矩形包围框的四角点坐标；
利用非极大值抑制算法，对N个光谱通道的目标检测矩形包围框进行处理，过滤重复目标检测矩形包围框，输出不重复的目标检测矩形包围框的四角点坐标，得到多光谱遥感图像多方向目标检测结果。
2.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述获取多光谱遥感图像训练数据样本，对所述多光谱遥感图像训练数据样本进行样本标记，得到训练数据集，包括：
获取多光谱遥感图像训练数据样本，标注多光谱遥感图像样本中所有目标矩形包围框的位置信息、方向信息及目标类别信息，得到多光谱遥感图像训练数据样本的真值信息；
所述目标矩形包围框的位置信息包括：目标中心点坐标(x,y)，目标矩形包围框长w、宽h；
所述目标矩形包围框的方向信息为倾斜矩形包围框长边与图像水平轴的夹角θ,θ∈[-π/2,π/2]；
所述目标矩形包围框的目标类别信息包括：
多光谱遥感图像训练数据样本尺寸W×H×N，其中，W为图像训练数据样本宽，H为图像训练数据样本高，N为图像训练数据样本光谱通道数；
所述多光谱遥感图像训练数据样本，与所述多光谱遥感图像训练数据样本的真值信息，构成训练数据集。
3.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述卷积神经网络模型，包括：
第1层，输入层，维度为W×H×1，输入数据为多光谱遥感图像单光谱通道数据样本；
第2层，卷积层，包含64个维度为3×3的卷积核，输出维度为W×H×64的特征；
第3层，卷积层，包含64个维度为3×3的卷积核，输出维度为W×H×64的特征；
第4层，池化层，采用2×2最大池化，stride＝2，特征维度变为W/2×H/2×64；
第5层，卷积层，包含128个维度为3×3的卷积核，输出维度为W/2×H/2×128的特征；
第6层，卷积层，包含128个维度为3×3的卷积核，输出维度为W/2×H/2×128的特征；
第7层，池化层，采用2×2最大池化，stride＝2，特征维度变为W/4×H/4×128；
第8层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第9层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第10层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
第11层，池化层，采用2×2最大池化，stride＝1，特征维度为W/4×H/4×256；
第12层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第13层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第14层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第15层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第16层，卷积层，包含512个维度为3×3的卷积核，输出维度为W/4×H/4×512的特征；
第17层，卷积层，包含256个维度为3×3的卷积核，输出维度为W/4×H/4×256的特征；
利用所述卷积神经网络模型，对N个光谱通道训练数据集进行单通道空间特征提取，得到N个单通道空间特征信息。
4.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述预设的基于中心点预测的多方向目标检测模型，包括：中心点检测分支、中心点偏移检测分支和倾斜矩形框参数预测分支；
将所述N个单通道空间特征信息，输入预设的基于中心点预测的多方向目标检测模型，得到N个光谱通道的预测图；
所述中心点检测分支，用于计算特征图上某位置存在某类别目标中心点的概率，得到维度为W/4×H/4×C的中心点预测图，其中C表示目标全部类别；
所述中心点偏移检测分支，用于计算所述中心点预测图到实际图像位置的偏移预测值，得到维度为W/4×H/4×2的中心点偏移预测图；
所述倾斜矩形框参数预测分支，用于计算倾斜目标矩形框的宽、高及角度，得到维度为W/4×H/4×3的目标框尺寸预测图；
所述中心点检测分支、中心点偏移检测分支和倾斜矩形框参数预测分支，均由3×3卷积层、relu函数、1×1卷积层构成。
5.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述利用预设的融合预测模型，对所述N个光谱通道的N个中心点预测图、N个中心点偏移预测图、N个目标框尺寸预测图进行处理，得到融合预测图，包括：
对所述N个光谱通道的N个中心点预测图取平均值，得到融合中心点预测图；
对所述N个光谱通道的N个中心点偏移预测图取平均值，得到融合中心点偏移预测图；
对所述N个光谱通道的N个目标框尺寸预测图取平均值，得到融合目标框尺寸预测图；
所述融合中心点预测图、融合中心点偏移预测图、融合目标框尺寸预测图构成所述融合预测图。
6.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述第i(i＝1,2,...,N)个光谱通道的任务损失由第i个光谱通道的中心点预测图与真值信息间损失Lc_i、第i个光谱通道的中心点偏移预测图与真值信息间损失Loff_i、第i(i＝1,2,...,N)个光谱通道的目标框尺寸预测图与真值信息间损失Lsize_i计算得到，计算方法为：
Ldet_i＝Lc_i+Loff_i+0.5Lsize_i
得到第i个光谱通道的任务损失Ldet_i。
7.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述模仿损失由中心点位置预测模仿损失Lm_c、中心点偏移值预测模仿损失Lm_o、目标框尺度预测模仿损失Lm_s计算得到，计算方法为：
Lm＝Lm_c+Lm_o+0.5Lm_s
得到模仿损失Lm。
8.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述利用角点坐标计算模型，对所述第i个光谱通道的目标检测矩形包围框进行处理，得到所述第i个光谱通道的目标检测矩形包围框的四角点坐标，包括：
所述目标检测矩形包围框的四角点坐标为 所述角点坐标计算模型计算公式为：
式中，为所述目标检测矩形包围框的中心点坐标， 为所述目标检测矩形包围框的长，为所述目标检测矩形包围框的宽，为所述目标检测矩形包围框长边与图像水平轴的夹角，为所述目标检测矩形包围框的中心点偏移值。
9.根据权利要求1所述的多光谱遥感图像多方向目标检测方法，其特征在于，所述利用非极大值抑制算法，对N个光谱通道的目标检测矩形包围框进行处理，过滤重复目标检测矩形包围框，输出不重复的目标检测矩形包围框的四角点坐标，得到多光谱遥感图像多方向目标检测结果，包括：
非极大值抑制算法的计算为：
定义两个倾斜矩形框B1、B2的交并比IOU：
设置IOU阈值φIOU、角度差阈值φθ，为两个倾斜矩形框B1、B2的交集，为两个倾斜矩形框B1、B2的并集，对于两个存在重叠区域的目标框，首先计算其交并比，若交并比大于φIOU，则计算其方向角度差值，若差值小于φθ，则舍弃目标中心点的概率得分较低的目标框；
所述目标中心点的概率得分，为所述中心点检测分支，计算得到的特征图上某位置存在某类别目标中心点的概率。
CN202211305997.2A 2022-10-24 2022-10-24 一种多光谱遥感图像多方向目标检测方法 Active CN115588140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211305997.2A CN115588140B (zh) 2022-10-24 2022-10-24 一种多光谱遥感图像多方向目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211305997.2A CN115588140B (zh) 2022-10-24 2022-10-24 一种多光谱遥感图像多方向目标检测方法

Publications (2)

Publication Number Publication Date
CN115588140A CN115588140A (zh) 2023-01-10
CN115588140B true CN115588140B (zh) 2023-04-18

Family

ID=84782830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211305997.2A Active CN115588140B (zh) 2022-10-24 2022-10-24 一种多光谱遥感图像多方向目标检测方法

Country Status (1)

Country Link
CN (1) CN115588140B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189021B (zh) * 2023-02-27 2024-04-09 中国人民解放军国防科技大学 多分支互交叉注意力增强的无人机多光谱目标检测方法
CN116434076A (zh) * 2023-03-21 2023-07-14 北京市遥感信息研究所 一种融合先验知识的遥感图像目标识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0604124A2 (en) * 1992-12-17 1994-06-29 Trw Inc. Multispectral signature extraction technique
JP2014530389A (ja) * 2011-10-12 2014-11-17 ベンタナ メディカル システムズ， インコーポレイテッド 多焦点干渉計画像取得
CN107451616A (zh) * 2017-08-01 2017-12-08 西安电子科技大学 基于深度半监督迁移学习的多光谱遥感图像地物分类方法
CN112288008A (zh) * 2020-10-29 2021-01-29 四川九洲电器集团有限责任公司 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统
AU2021101714A4 (en) * 2020-06-19 2021-05-20 Brealant Limited Method of land use classification oriented to time-series remote-sensing images
WO2021226977A1 (zh) * 2020-05-15 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台
CN114998667A (zh) * 2022-05-09 2022-09-02 华南理工大学 多光谱目标检测方法、系统、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0604124A2 (en) * 1992-12-17 1994-06-29 Trw Inc. Multispectral signature extraction technique
JP2014530389A (ja) * 2011-10-12 2014-11-17 ベンタナ メディカル システムズ， インコーポレイテッド 多焦点干渉計画像取得
CN107451616A (zh) * 2017-08-01 2017-12-08 西安电子科技大学 基于深度半监督迁移学习的多光谱遥感图像地物分类方法
WO2021226977A1 (zh) * 2020-05-15 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于多源遥感数据融合和深度神经网络的矿山开采典型地物动态监测方法及平台
AU2021101714A4 (en) * 2020-06-19 2021-05-20 Brealant Limited Method of land use classification oriented to time-series remote-sensing images
AU2021101581A4 (en) * 2020-06-19 2021-05-20 Central South University Method of land use classification oriented to time-series remote-sensing images
CN112288008A (zh) * 2020-10-29 2021-01-29 四川九洲电器集团有限责任公司 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统
CN114998667A (zh) * 2022-05-09 2022-09-02 华南理工大学 多光谱目标检测方法、系统、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Optimal discriminating multispextral target detection and optical correlation target tracking;Andrew Kostrzewski et al;《Proceedings of SPIE - The International Society for Optical Engineering》;全文 *
光谱与空间局部相关的SVR影像融合方法;王慧贤等;《测绘学报》;第42卷(第04期);全文 *

Also Published As

Publication number Publication date
CN115588140A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN115588140B (zh) 一种多光谱遥感图像多方向目标检测方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN107292886B (zh) 基于网格划分及神经网络的目标物入侵检测方法及装置
CN106971178A (zh) 行人检测和再识别的方法及装置
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN111626284A (zh) 一种手写字体去除的方法、装置、电子设备和存储介质
CN112215332A (zh) 神经网络结构的搜索方法、图像处理方法和装置
CN113158789B (zh) 一种遥感图像的目标检测方法、系统、装置及介质
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN112766206A (zh) 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN113469074A (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN111738045A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN114092947B (zh) 一种文本检测方法、装置、电子设备及可读存储介质
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN111783716A (zh) 基于姿态信息的行人检测方法、系统、装置
CN116912796A (zh) 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置
CN112132753B (zh) 多尺度结构引导图像的红外图像超分辨率方法及系统
CN111666822A (zh) 一种基于深度学习的低空无人机目标检测方法及系统
CN116612272A (zh) 一种图像处理智能数字化的检测系统及其检测方法
CN115937409A (zh) 反视觉智能的对抗攻击纹理生成方法
CN115346051A (zh) 一种光学遥感图像检测方法及装置
CN114708192A (zh) 一种目标物计数方法、系统、存储介质及计算机设备
CN109643390A (zh) 使用尖峰神经网络在数字图像和视频中进行对象检测的方法
CN113128492A (zh) 一种票据文本定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant