CN115019180B - Sar图像舰船目标检测方法、电子设备及存储介质 - Google Patents
Sar图像舰船目标检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115019180B CN115019180B CN202210900308.6A CN202210900308A CN115019180B CN 115019180 B CN115019180 B CN 115019180B CN 202210900308 A CN202210900308 A CN 202210900308A CN 115019180 B CN115019180 B CN 115019180B
- Authority
- CN
- China
- Prior art keywords
- target detection
- teacher
- detection network
- network
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种SAR图像舰船目标检测方法、电子设备及存储介质,四种单极化图像目标检测网络指导学生目标检测网络学习“极化特征知识”,全极化的目标检测网络指导学生目标检测网络学习输出端“响应知识”,有效地减少了不同极化样本分布不均衡情况导致的目标检测模型训练时存在网络过拟合问题,使得学生目标检测网络对于不同极化方式的SAR数据都有较好的检测能力,保证了学生目标检测网络的稳定性与可靠性,在降低目标检测网络复杂度的同时,得到适用于不同极化SAR图像的舰船目标检测器。
Description
技术领域
本发明涉及一种SAR图像舰船目标检测方法、电子设备及存储介质。
背景技术
现如今,随着SAR遥感图像的分辨率越来越高,对SAR遥感图像中的目标进行智能化检测已经成为了可能。目前,深度学习的技术越来越完善,卷积神经网络的性能已经超越了传统机器学习方法。基于卷积神经网络的目标检测算法的检测速度与精度更是全面超越了传统机器学习方法。由于基于神经网络的目标检测算法在光学遥感图像处理中取得了巨大的成功。SAR领域也开始广泛使用这些算法,并且效果十分优异。
基于神经网络的目标检测算法主要分为两类:1.两阶段目标检测器,例如FasterR-CNN算法,利用区域建议网络(Region Proposal NetWork,RPN)区分前景与背景,再进行目标分类和位置预测。2.单阶段目标检测器,例如RetinaNet算法,直接在图像上进行位置预测和分类,不需要先区分前景和背景,速度更快,但是相比于两阶段目标检测算法,检测精度较低。
目前,基于神经网络的SAR图像舰船目标检测算法通过使用大量的SAR遥感图像数据,对目标检测网络进行训练,得到一个适用于各种SAR图像的目标检测器。而由于SAR系统的工作原理,不同极化方式的图像特征差异巨大,如果将这些图像数据同时放入神经网络进行训练,会导致不同极化方式图像之间的特征互相干扰,从而降低检测准确率。而如果训练多个目标检测器,每个目标检测器都使用各自的极化数据训练,这样会导致在检测时对硬件的要求较高,在一些场景下不方便部署。
发明内容
鉴于上述技术问题,本发明提出一种基于多教师知识蒸馏的SAR图像舰船目标检测方法、电子设备和存储介质。采用不同的极化数据训练出多个目标检测网络,这些目标检测网络均为教师目标检测网络,用以指导学生目标检测网络的训练。训练时自适应的选择效果最好的单一极化数据的目标检测网络以及综合检测网络作为教师网络。
实现本发明目的的技术解决方案为:一种SAR图像舰船目标检测方法,包括以下步骤:
步骤S1、对SAR数据进行分极化方式的标注;
步骤S2、训练适用于全部极化方式图像的第一教师目标检测网络、适
用于HH极化方式图像的第二教师目标检测网络、适用于VV极化方式图像的第三教师目标检测网络、适用于HV极化方式图像的第四教师目标检测网络和适用于VH极化方式图像的第五教师目标检测网络;
步骤S3、利用训练好的第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络指导训练学生目标检测网络;
步骤S4、利用训练好的学生目标检测网络对SAR图像中的舰船目标进行检测。
根据本发明的一个方面,在步骤S2中,所述第一教师目标检测网以ResNet-152为主干网络;所述第二教师目标检测网络、所述第三教师目标检测网络、所述第四教师目标检测网络和所述第五教师目标检测网络均以ResNet-50为主干网络。
根据本发明的一个方面,所述学生目标检测网络采用RetinaNet目标检测算法,以ResNet-50为主干网络对图像特征进行提取。
根据本发明的一个方面,在步骤S3中,利用训练好的第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络指导训练学生目标检测网络,包括:
利用训练好的第一教师目标检测网络在输出端指导学生目标检测网络,利用第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络在中间特征提取端指导学生目标检测网络。
根据本发明的一个方面,在利用教师目标检测网络指导训练学生目标检测网络前,包括:
步骤S301、将图像输入到5个教师目标检测网络和1个学生目标检测网络中,使用对应的目标检测网络中的主干网络对图像特征进行提取,得到特征图;
步骤S302、利用特征金字塔对不同层次的特征图进行融合得到融合特征图;
步骤S303、利用5个教师目标检测网络和1个学生目标检测网络各自对应的检测头对相对应的融合特征图进行舰船目标检测。
根据本发明的一个方面,所述检测头包括用于预测图像中的目标位置的回归框分支和用于预测锚框对应的目标类别的类别预测分支。
根据本发明的一个方面,在步骤S3中,利用教师目标检测网络指导训练学生目标检测网络,具体包括:
步骤S304、对学生目标网络预测的锚框进行正负样本分配,与真值框的IoU值大于等于0.5的锚框设置为正样本,参与框的回归和类别损失的计算;
而与真值框的IoU值小于0.4的锚框设置为负样本,只参与类别损失的计算,不参与框的回归;
步骤S305、分别计算真值标签与学生目标检测网络、5个教师目标检测网络的预测之间的损失,公式为:
步骤S306、利用第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络与真值标签之间的损失,计算对应的权重,k表示第k教师目标检测网络,权重表达式为:
步骤S303、计算教师目标检测网络提取的特征图二值掩膜以区分前景和背景;
根据标签真值框对图像数据进行前景与背景的分离,掩膜M为:
i和j是特征图的横坐标和纵坐标,r是标签真值框映射到特征图中的范围;
步骤S307、计算教师目标检测网络提取的特征图尺度掩膜,用于平衡前景目标以及背景在损失函数中的作用,掩膜S为:
步骤S308、分别计算第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络的特征图通道注意力和空间注意力,得到教师特征图通道注意力掩膜和空间注意力掩膜,空间注意力的计算公式为:
其中H、W、C依次对应特征图的高、宽以及通道数,T为可以设定的参数;
步骤S312、利用第一教师目标检测网络和学生目标检测网络计算GI分数和GI检测框,GI分数和GI检测框计算方法:
步骤S314、利用GI回归框计算响应损失,公式为:
步骤S315、计算学生网络训练时的总体损失,公式为:
其中,为学生目标检测网络预测值与标签真值的损失函数,为学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络中间特征的局部损失函数,为学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络的中间特征的全局损失函数,为学生目标检测网络的响应值与第一教师目标检测网络响应值的损失函数。
根据本发明的一个方面,在步骤S310中,进行NMS(非极大值抑制)算法处理选择出最终的GI回归框,具体包括:
利用GI分数选择出同位置上GI分数最高的回归框,再选择和真值框IoU值大于0.3的回归框,最后选择类别分数最高的K个回归框作为知识蒸馏用的GI框。
根据本发明的一个方面,提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如上述技术方案中任一项所述的一种SAR图像舰船目标检测方法。
根据本发明的一个方面,提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,实现如上述技术方案中任一项所述一种SAR图像舰船目标检测方法。
根据本发明的构思,提出一种SAR图像舰船目标检测方法、电子设备和计算机程序,通过修改数据样本标签,将数据集中的单类别舰船标签改为分极化方式的多类别舰船标签,构建包括四种具有单一极化方式(HH、HV、VH、VV)图像目标检测能力的网络和一种综合四种极化方式图像目标检测能力的大型网络,构建学生目标检测网络,全极化的目标检测网络指导学生目标检测网络学习数据中的知识,四种单极化图像目标检测网络指导学生目标检测网络学习“极化特征知识”, 全极化的目标检测网络指导学生目标检测网络学习输出端“响应知识”,有效地减少了不同极化样本分布不均衡情况导致的目标检测模型训练时存在网络过拟合问题,使得学生目标检测网络对于不同极化方式的SAR数据都有较好的检测能力,保证了学生目标检测网络的稳定性与可靠性,在降低目标检测网络复杂度的同时,得到适用于不同极化SAR图像的舰船目标检测器。
附图说明
图1示意性表示根据本发明一种实施方式的SAR图像舰船目标检测方法的流程示意图;
图2示意性表示根据本发明一种实施方式的局部蒸馏和全局蒸馏的示意图;
图3示意性表示根据本发明一种实施方式的图2中Gc模块的结构示意图;
图4示意性表示根据本发明一种实施方式的SAR图像舰船目标检测方法的流程图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅为本发明的一些实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述,实施方式不能在此一一赘述,但本发明的实施方式并不因此限定于以下实施方式。
如图1至图4所示,本发明的一种SAR图像舰船目标检测方法,包括以下步骤:
步骤S1、对SAR数据进行分极化方式的标注;
步骤S2、训练适用于全部极化方式图像的第一教师目标检测网络、适
用于HH极化方式图像的第二教师目标检测网络、适用于VV极化方式图像的第三教师目标检测网络、适用于HV极化方式图像的第四教师目标检测网络和适用于VH极化方式图像的第五教师目标检测网络;
步骤S3、利用训练好的第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络指导训练学生目标检测网络;
步骤S4、利用训练好的学生目标检测网络对SAR图像中的舰船目标进行检测。
知识蒸馏是使用一个较大的,效果较好的神经网络,指导一个较小的,效果较差的神经网络进行训练,达到模型压缩的目的。知识蒸馏可以将教师网络中间层的“特征知识”传递给学生网络的中间层。也可以将教师网络的“响应知识”,传递给学生网络。知识蒸馏不仅可以使用一个教师网络进行指导,也可以使用多个教师网络进行指导。
在该实施例中,通过修改数据样本标签,将数据集中的单类别舰船标签改为分极化方式的多类别舰船标签,构建包括四种具有单一极化方式(HH、HV、VH、VV)图像目标检测能力的网络和一种综合四种极化方式图像目标检测能力的大型网络,构建学生目标检测网络,全极化的目标检测网络指导学生目标检测网络学习数据中的知识,四种单极化图像目标检测网络指导学生目标检测网络学习“极化特征知识”, 全极化的目标检测网络指导学生目标检测网络学习输出端“响应知识”,有效地减少了不同极化样本分布不均衡情况导致的目标检测模型训练时存在网络过拟合问题,使得学生目标检测网络对于不同极化方式的SAR数据都有较好的检测能力,保证了学生目标检测网络的稳定性与可靠性,在降低目标检测网络复杂度的同时,得到适用于不同极化SAR图像的舰船目标检测器。
其中,在步骤S1中,对图像中的舰船目标位置进行标注,并将HH、VV、VH、HV极化方式图像中的舰船目标类别分别标记为Ship_HH、Ship_VV、Ship_VH、Ship_HV;使用步骤S1中构建的所有数据对第一教师目标检测网络进行训练,得到一个可以检测全部极化方式图像中舰船目标的大型目标检测网络;使用步骤S1中HH极化方式图像数据对第二教师目标检测网络进行训练,得到一个适用于HH极化方式图像的舰船目标检测网络;使用步骤S1中VV极化方式图像数据对第三教师目标检测网络进行训练,得到一个适用于VV极化方式图像的舰船目标检测网络;使用步骤S1中HV极化方式图像数据对第四教师目标检测网络进行训练,得到一个适用于HV极化方式图像的舰船目标检测网络;使用步骤S1中VH极化方式图像数据对第五教师目标检测网络进行训练,得到一个适用于VH极化方式图像的舰船目标检测网络。
在本发明的一个实施例中,优选地,在步骤S2中,所述第一教师目标检测网以ResNet-152为主干网络;所述第二教师目标检测网络、所述第三教师目标检测网络、所述第四教师目标检测网络和所述第五教师目标检测网络均以ResNet-50为主干网络。
在本发明的一个实施例中,优选地,所述学生目标检测网络采用RetinaNet目标检测算法,以ResNet-50为主干网络对图像特征进行提取。
在本发明的一个实施例中,优选地,在步骤S3中,利用训练好的第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络指导训练学生目标检测网络,包括:
利用训练好的第一教师目标检测网络在输出端指导学生目标检测网络,利用第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络在中间特征提取端指导学生目标检测网络。
在本发明的一个实施例中,优选地,在利用教师目标检测网络指导训练学生目标检测网络前,包括:
步骤S301、将图像输入到5个教师目标检测网络和1个学生目标检测网络中,使用对应的目标检测网络中的主干网络对图像特征进行提取,得到特征图;
步骤S302、利用特征金字塔对不同层次的特征图进行融合得到融合特征图;
步骤S303、利用5个教师目标检测网络和1个学生目标检测网络各自对应的检测头对相对应的融合特征图进行舰船目标检测。
在本发明的一个实施例中,优选地,所述检测头包括用于预测图像中的目标位置的回归框分支和用于预测锚框对应的目标类别的类别预测分支。
在本发明的一个实施例中,优选地,在步骤S3中,利用教师目标检测网络指导训练学生目标检测网络,具体包括:
步骤S304、对学生目标网络预测的锚框进行正负样本分配,与真值框的IoU值大于等于0.5的锚框设置为正样本,参与框的回归和类别损失的计算;
而与真值框的IoU值小于0.4的锚框设置为负样本,只参与类别损失的计算,不参与框的回归。
步骤S305、分别计算真值标签与学生目标检测网络、5个教师目标检测网络的预测之间的损失,公式为:
步骤S306、利用第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络与真值标签之间的损失,计算对应的权重,k表示第k教师目标检测网络,权重表达式为:
步骤S303、计算教师目标检测网络提取的特征图二值掩膜以区分前景和背景;
根据标签真值框对图像数据进行前景与背景的分离,掩膜M为:
i和j是特征图的横坐标和纵坐标,r是标签真值框映射到特征图中的范围;
步骤S307、计算教师目标检测网络提取的特征图尺度掩膜,用于平衡前景目标以及背景在损失函数中的作用,掩膜S为:
步骤S308、分别计算第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络的特征图通道注意力和空间注意力,得到教师特征图通道注意力掩膜和空间注意力掩膜,空间注意力的计算公式为:
其中H、W、C依次对应特征图的高、宽以及通道数,T为可以设定的参数;
步骤S312、利用第一教师目标检测网络和学生目标检测网络计算GI分数和GI检测框,GI分数和GI检测框计算方法:
步骤S314、利用GI回归框计算响应损失,公式为:
步骤S315、计算学生网络训练时的总体损失,公式为:
其中,为学生目标检测网络预测值与标签真值的损失函数,为学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络中间特征的局部损失函数,为学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络的中间特征的全局损失函数,为学生目标检测网络的响应值与第一教师目标检测网络响应值的损失函数。
总结来说,在步骤S3中,通过计算5个教师目标检测网络与学生目标检测网络之间的损失调整学生目标检测网络,以达到指导目的。由于已经对SAR数据进行分极化方式的标注,第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络分别对应不同的极化方式,因此,需先进行教师目标检测网络选择,通过分别计算5个教师目标检测网络与真值标签之间的损失,计算对应的权重,根据5个教师目标检测网络对应的权重,选择本次迭代中应用的教师目标检测网络,再通过计算对应的教师目标检测网络与学生目标检测网络之间的的损失,结合教师目标检测网络与真值标签之间的损失对学生目标检测网络进行指导,在每一次检测过程均可对学生目标检测网络进行指导,从而提升学生目标检测网络的检测精度。
在本发明的一个实施例中,优选地,在步骤S313中,进行NMS(非极大值抑制)算法处理选择出最终的GI回归框,具体包括:
利用GI分数选择出同位置上GI分数最高的回归框,再选择和真值框IoU值大于0.3的回归框,最后选择类别分数最高的K个回归框作为知识蒸馏用的GI框。
根据本发明的一个方面,提供了一种电子设备,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如上述技术方案中任一项所述的一种SAR图像舰船目标检测方法。
根据本发明的一个方面,提供了一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,实现如上述技术方案中任一项所述一种SAR图像舰船目标检测方法。
综上所述,本发明提出了一种SAR图像舰船目标检测方法、电子设备和计算机程序,通过修改数据样本标签,将数据集中的单类别舰船标签改为分极化方式的多类别舰船标签,构建包括四种具有单一极化方式(HH、HV、VH、VV)图像目标检测能力的网络和一种综合四种极化方式图像目标检测能力的大型网络,构建学生目标检测网络,全极化的目标检测网络指导学生目标检测网络学习数据中的知识,四种单极化图像目标检测网络指导学生目标检测网络学习“极化特征知识”, 全极化的目标检测网络指导学生目标检测网络学习输出端“响应知识”,有效地减少了不同极化样本分布不均衡情况导致的目标检测模型训练时存在网络过拟合问题,使得学生目标检测网络对于不同极化方式的SAR数据都有较好的检测能力,保证了学生目标检测网络的稳定性与可靠性,在降低目标检测网络复杂度的同时,得到适用于不同极化SAR图像的舰船目标检测器。
此外,需要说明的是,本发明可提供为方法、装置或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (9)
1.一种SAR图像舰船目标检测方法,包括以下步骤:
步骤S1、修改数据样本标签,对SAR数据进行分极化方式的标注;
步骤S2、训练适用于全部极化方式图像的第一教师目标检测网络、适用于HH极化方式图像的第二教师目标检测网络、适用于VV极化方式图像的第三教师目标检测网络、适用于HV极化方式图像的第四教师目标检测网络和适用于VH极化方式图像的第五教师目标检测网络;
步骤S3、利用训练好的第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络指导训练学生目标检测网络;
步骤S4、利用训练好的学生目标检测网络对SAR图像中的舰船目标进行检测;
在步骤S3中,利用训练好的第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络指导训练学生目标检测网络,包括:
利用训练好的第一教师目标检测网络在输出端指导学生目标检测网络,利用第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络在中间特征提取端指导学生目标检测网络。
2.根据权利要求1所述的方法,其特征在于,在步骤S2中,所述第一教师目标检测网以ResNet-152为主干网络;所述第二教师目标检测网络、所述第三教师目标检测网络、所述第四教师目标检测网络和所述第五教师目标检测网络均以ResNet-50为主干网络。
3.根据权利要求1所述的方法,其特征在于,所述学生目标检测网络采用RetinaNet目标检测算法,以ResNet-50为主干网络对图像特征进行提取。
4.根据权利要求3所述的方法,其特征在于,在利用教师目标检测网络指导训练学生目标检测网络前,包括:
步骤S301、将图像输入到5个教师目标检测网络和1个学生目标检测网络中,使用对应的目标检测网络中的主干网络对图像特征进行提取,得到特征图;
步骤S302、利用特征金字塔对不同层次的特征图进行融合得到融合特征图;
步骤S303、利用5个教师目标检测网络和1个学生目标检测网络各自对应的检测头对相对应的融合特征图进行舰船目标检测。
5.根据权利要求4所述的方法,其特征在于,所述检测头包括用于预测图像中的目标位置的回归框分支和用于预测锚框对应的目标类别的类别预测分支。
6.根据权利要求5所述的方法,其特征在于,在步骤S3中,利用教师目标检测网络指导训练学生目标检测网络,具体包括:
步骤S304、对学生目标网络预测的锚框进行正负样本分配,与真值框的IoU值大于等于0.5的锚框设置为正样本,参与框的回归和类别损失的计算;
而与真值框的IoU值小于0.4的锚框设置为负样本,只参与类别损失的计算,不参与框的回归;
步骤S305、分别计算真值标签与学生目标检测网络、5个教师目标检测网络的预测之间的损失,公式为:
其中,N表示正样本的数量,Lcls、Lreg分别是类别损失函数和回归损失函数,p为第p个锚框,q为第q个锚框;
步骤S306、利用第一教师目标检测网络、第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络与真值标签之间的损失,计算对应的权重k表示第k教师目标检测网络,权重表达式为:
步骤S303、计算教师目标检测网络提取的特征图二值掩膜以区分前景和背景;
根据标签真值框对图像数据进行前景与背景的分离,掩膜M为:
i和j是特征图的横坐标和纵坐标,r是标签真值框映射到特征图中的范围;
步骤S307、计算教师目标检测网络提取的特征图尺度掩膜,用于平衡前景目标以及背景在损失函数中的作用,掩膜S为:
其中,i和j为特征图的横纵坐标,r为标签真值框映射到特征图中的范围,Hr、Wr分别为真值框映射到特征图上的高和宽,H、W分别为特征图的高和宽;
步骤S308、分别计算第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络的特征图通道注意力和空间注意力,得到教师特征图通道注意力掩膜和空间注意力掩膜,空间注意力的计算公式为:
其中,GS(F)为空间注意力掩膜,GC(F)为通道注意力掩膜,n为第n教师目标检测网络,2≤n≤5,H、W、C依次对应特征图的高、宽以及通道数,F为特征图;
空间注意力掩膜为:AS(Fn)=H·W·softmax(GS(Fn)/T)
通道注意力掩膜为:AC(Fn)=C·softmax(GC(Fn)/T)
其中H、W、C依次对应特征图的高、宽以及通道数,T为可以设定的参数;
步骤S309、计算注意力损失Lat,公式为:
γ为可调节超参数,n为第n教师目标检测网络,2≤n≤5,为教师网络特征图的空间注意力掩膜,为学生网络特征图的空间注意力掩膜,为教师网络特征图的通道注意力掩膜,为学生网络特征图的通道注意力掩膜,l为L1损失;
步骤S310、计算特征图蒸馏的总体损失,LFeature特征图蒸馏损失为:
其中,α、β为可调整的超参数,f为将学生特征图的维度调整为教师特征图维度的操作,FT、FS分别为教师特征图和学生特征图;
步骤S311、计算学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络中间特征的局部损失函数,公式为:Lfocal=LFeature+Lat
其中,LFeature为特征图蒸馏损失,Lat为注意力损失;
其中,λ是可以调整的超参数,n为第n教师目标检测网络,2≤n≤5,FT、FS为教师网络特征图和学生网络特征图,R(F)的计算方法为:
Wk,Wv1,Wv2表示卷积层,LN表示层标准化,N是特征图的像素点数量;
步骤S312、利用第一教师目标检测网络和学生目标检测网络计算GI分数和GI检测框,GI分数和GI检测框计算方法:
其中,为第r个锚框上的GI分数,Pt和Ps分别为第一教师网络预测的类别分数和学生网络预测的类别分数,c是第c个类别,是第r个锚框上的GI检测框,Bt、Bs分别为教师网络预测的回归框和学生网络预测的回归框;
步骤S313、进行NMS(非极大值抑制)算法处理选择出最终的GI回归框,表达式为:GI=NMS(PGI,BGI);
步骤S314、利用GI回归框计算响应损失,公式为:
其中,θ,η为可以调整的超参数,Lcls、Lreg分别为类别损失和回归损失,yt、ys分别为第一教师网络预测和学生网络预测的类别预测,rt、rs为教师网络和学生网络的回归框预测;
步骤S315、计算学生网络训练时的总体损失,公式为:
L=LGT+Lfocal+Lglobal+LResponse
其中,LGT为学生目标检测网络预测值与标签真值的损失函数,Lfocal为学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络中间特征的局部损失函数,Lglobal为学生目标检测网络的中间特征与第二教师目标检测网络、第三教师目标检测网络、第四教师目标检测网络和第五教师目标检测网络的中间特征的全局损失函数,LResponse为学生目标检测网络的响应值与第一教师目标检测网络响应值的损失函数。
7.根据权利要求6所述的方法,其特征在于,在步骤S313中,进行NMS(非极大值抑制)算法处理选择出最终的GI回归框,具体包括:
利用GI分数选择出同位置上GI分数最高的回归框,再选择和真值框IoU值大于0.3的回归框,最后选择类别分数最高的K个回归框作为知识蒸馏用的GI框。
8.一种电子设备,其特征在于,包括:一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与存储器连接,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行如权利要求1-7任一项所述一种SAR图像舰船目标检测方法。
9.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,实现如权利要求1-7任一项所述一种SAR图像舰船目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210900308.6A CN115019180B (zh) | 2022-07-28 | 2022-07-28 | Sar图像舰船目标检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210900308.6A CN115019180B (zh) | 2022-07-28 | 2022-07-28 | Sar图像舰船目标检测方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115019180A CN115019180A (zh) | 2022-09-06 |
CN115019180B true CN115019180B (zh) | 2023-01-17 |
Family
ID=83066318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210900308.6A Active CN115019180B (zh) | 2022-07-28 | 2022-07-28 | Sar图像舰船目标检测方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115019180B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116168256B (zh) * | 2023-04-19 | 2023-07-14 | 浙江华是科技股份有限公司 | 一种船舶检测方法、系统及计算机存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223311A (zh) * | 2019-05-24 | 2019-09-10 | 杭州世平信息科技有限公司 | 基于功率驱动自适应窗的极化雷达遥感图像边缘检测方法 |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 |
CN111696054A (zh) * | 2020-05-21 | 2020-09-22 | 河海大学 | 基于全极化sar图像的橡胶坝体检测方法 |
CN114283331A (zh) * | 2021-12-02 | 2022-04-05 | 西安邮电大学 | 基于条带剪枝的轻量化sar图像船舶检测模型及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230267335A1 (en) * | 2020-07-13 | 2023-08-24 | A.I. Neuray Labs Ltd. | Self-supervised multi-sensor training and scene adaptation |
CN112308019B (zh) * | 2020-11-19 | 2021-08-17 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
CN113408340B (zh) * | 2021-05-12 | 2024-03-29 | 北京化工大学 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
CN113469073B (zh) * | 2021-07-06 | 2024-02-20 | 西安电子科技大学 | 一种基于轻量级深度学习的sar图像舰船检测方法及系统 |
CN113610126B (zh) * | 2021-07-23 | 2023-12-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
CN113643284B (zh) * | 2021-09-09 | 2023-08-15 | 西南交通大学 | 基于卷积神经网络的极化合成孔径雷达图像舰船检测方法 |
CN114155445A (zh) * | 2021-11-23 | 2022-03-08 | 北京理工大学 | 基于改进YOLOv3的SAR图像目标检测方法 |
-
2022
- 2022-07-28 CN CN202210900308.6A patent/CN115019180B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223311A (zh) * | 2019-05-24 | 2019-09-10 | 杭州世平信息科技有限公司 | 基于功率驱动自适应窗的极化雷达遥感图像边缘检测方法 |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 |
CN111696054A (zh) * | 2020-05-21 | 2020-09-22 | 河海大学 | 基于全极化sar图像的橡胶坝体检测方法 |
CN114283331A (zh) * | 2021-12-02 | 2022-04-05 | 西安邮电大学 | 基于条带剪枝的轻量化sar图像船舶检测模型及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115019180A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308019B (zh) | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 | |
US20200302248A1 (en) | Recognition system for security check and control method thereof | |
Wang et al. | Progressive teacher-student learning for early action prediction | |
CN110287960A (zh) | 自然场景图像中曲线文字的检测识别方法 | |
CN110490136B (zh) | 一种基于知识蒸馏的人体行为预测方法 | |
CN113052834B (zh) | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 | |
CN111259940A (zh) | 一种基于空间注意力地图的目标检测方法 | |
CN104200237A (zh) | 一种基于核化相关滤波高速自动多目标跟踪方法 | |
CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
CN109492596B (zh) | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 | |
CN112381763A (zh) | 一种表面缺陷检测方法 | |
CN113139594B (zh) | 一种机载图像无人机目标自适应检测方法 | |
CN115019180B (zh) | Sar图像舰船目标检测方法、电子设备及存储介质 | |
CN112464718B (zh) | 一种基于YOLO-Terse网络的目标检测方法及存储介质 | |
CN111325318A (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
CN112257799A (zh) | 一种生活垃圾目标检测的方法、系统及装置 | |
CN115170926A (zh) | 轻量化目标图像识别方法、装置及存储介质 | |
CN114758199A (zh) | 检测模型的训练方法、装置、设备和存储介质 | |
CN116665068A (zh) | 一种面向遥感目标检测的混合知识解耦的知识蒸馏算法 | |
Zhang et al. | Research on ship target detection based on improved YOLOv5 algorithm | |
CN115457305A (zh) | 一种半监督目标检测方法与系统 | |
CN115761667A (zh) | 一种基于改进fcos算法的无人车辆搭载摄像头目标检测方法 | |
Gong et al. | KDCTime: Knowledge distillation with calibration on InceptionTime for time-series classification | |
CN115546668A (zh) | 海洋生物的检测方法、装置及无人机 | |
CN115035429A (zh) | 一种基于复合主干网络和多预测头的航拍目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |