CN116385813A - Isar图像分类方法、装置及存储介质 - Google Patents
Isar图像分类方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116385813A CN116385813A CN202310669224.0A CN202310669224A CN116385813A CN 116385813 A CN116385813 A CN 116385813A CN 202310669224 A CN202310669224 A CN 202310669224A CN 116385813 A CN116385813 A CN 116385813A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- isar
- image set
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 253
- 238000012360 testing method Methods 0.000 claims abstract description 68
- 230000006870 function Effects 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 21
- 238000004088 simulation Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000009825 accumulation Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000001419 dependent effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种ISAR图像分类方法、装置及存储介质,方法包括:仿真得到多种卫星的多个ISAR图像,生成无标签预训练图像集、有标签微调图像集和测试图像集;对无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,对预构建的卷积编码器进行预训练以确定出卷积编码器参数;对有标签微调图像集进行数据增强以得到有标签增强微调图像集,对预构建的线性分类器进行参数微调以确定出线性分类器参数;根据卷积编码器参数对测试图像集进行特征提取,根据线性分类器参数对测试图像集进行ISAR图像分类来确定卫星类型。本发明所提供的技术方案能够解决现有技术中对ISAR图像进行分类时依赖图像标签的技术问题。
Description
技术领域
本发明涉及遥感图像处理技术领域,尤其涉及一种ISAR图像分类方法、装置及存储介质。
背景技术
逆合成孔径雷达( Inverse Synthetic Aperture Radar,ISAR)在空间目标观测中发挥着重要作用,得益于其能够全天时、全天候提供天空、空间等目标的高分辨率ISAR图像。由于在距离维和方位维上均具有高分辨率,使得二维ISAR图像中包含了更多的目标形状、运动和电磁散射特性等信息,因此常被用于空间目标的精确分类。但是在观测过程中,雷达参数会产生变化,如带宽、波长、成像积累角度等,以及目标运动将导致ISAR图像产生严重的未知变形,如平移、旋转和伸缩。
目前针对变形ISAR图像构建的变形鲁棒网络结构,均是基于监督学习的深度卷积神经网络模型。由于网络结构的复杂性,在训练过程中需要大量的有标签样本提供监督信息以避免过拟合。但是对获取的空间目标ISAR图像进行手工标注需要丰富的工程经验和理论基础,非常耗时且容易出错,此类基于监督学习的深度卷积神经网络ISAR图像分类模型难以在实际中进行应用。
发明内容
本发明提供了一种ISAR图像分类方法、装置及存储介质,旨在有效解决现有技术中对ISAR图像进行分类时依赖图像标签的技术问题,实现基于无监督对比学习的ISAR图像空间目标分类。
根据本发明的一方面,本发明提供一种ISAR图像分类方法,所述ISAR图像分类方法包括:
基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集;
对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数;
对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数;
根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行图像分类,以确定出测试图像集对应的卫星类型。
进一步地,所述卫星成像参数包括仰角、方位角、积累角和带宽,所述基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集包括:
针对每一种卫星,基于各自对应的第一卫星成像参数仿真生成多个第一ISAR图像,将多个第一ISAR图像对应的卫星信息标签删除,生成所述无标签预训练图像集;
根据预设的比例在多个第一ISAR图像中随机抽取ISAR图像构成所述有标签微调图像集;
针对每一种卫星,基于各自对应的第二卫星成像参数仿真生成多个第二ISAR图像,基于多个第二ISAR图像构建所述测试图像集。
进一步地,所述对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集包括:
以第一概率对无标签预训练图像集的ISAR图像进行随机缩放和旋转;
以第二概率对无标签预训练图像集的ISAR图像进行随机水平翻转和垂直翻转;
对无标签预训练图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对无标签预训练图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第一数值范围内。
进一步地,所述构建卷积编码器包括:
构建至少一个二维常规卷积块和至少一个二维可形变卷积块;
其中,所述二维常规卷积块包括多个卷积层、多个归一化层、多个非线性激活层和一个最大池化层,该卷积层的卷积核具有预设的采样位置;
其中,所述二维可形变卷积块包括可形变卷积层、归一化层、非线性激活层和最大池化层或平均池化层,该卷积层的卷积核具有任意可选的采样位置。
进一步地,在所述对卷积编码器进行预训练之前,所述ISAR图像分类方法还包括:
针对预设对数的无标签预训练图像和其对应的无标签增强预训练图像,执行如下操作:
计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度;
计算无标签预训练图像和剩余对数中的ISAR图像之间的第二相似度;
计算无标签增强预训练图像和剩余对数中的ISAR图像之间的第三相似度;
基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值。
进一步地,所述计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度包括:
将无标签预训练图像输入卷积编码器后得到原始图像特征;
将无标签增强预训练图像输入卷积编码器后得到增强图像特征;
将所述原始图像特征和所述增强图像特征分别输入至投影头,得到原始图像投影特征和增强图像投影特征;
根据所述原始图像投影特征、所述增强图像投影特征以及相似度评估方法计算所述第一相似度。
进一步地,所述基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值包括:
针对每一个无标签预训练图像,根据对应的第一相似度、多个第二相似度和温度超参数计算第一对比损失;
针对每一个无标签增强预训练图像,根据对应的第一相似度、多个第三相似度和温度超参数计算第二对比损失;
基于多个第一对比损失和多个第二对比损失计算第一损失函数值。
进一步地,所述将所述原始图像特征和所述增强图像特征分别输入至投影头,得到原始图像投影特征和增强图像投影特征包括:
根据下式得到原始图像投影特征:
根据下式得到增强图像投影特征:
进一步地,所述根据所述原始图像投影特征、所述增强图像投影特征以及相似度评估方法计算所述第一相似度包括:
根据下式计算第一相似度:
进一步地,所述针对每一个无标签预训练图像,根据对应的第一相似度、多个第二相似度和温度超参数计算第一对比损失包括:
根据下式计算第一对比损失:
进一步地,所述基于多个第一对比损失和多个第二对比损失计算第一损失函数值包括:
根据下式计算第一损失函数值:
进一步地,所述根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练包括:
设置预训练超参数,其中,所述预训练超参数包括第一学习率模式、第一最大学习率、所述第一学习率模式对应的余弦函数的半周期数量、第一每批次数据量、温度超参数和第一最大迭代次数;
将所述无标签预训练图像集和所述无标签增强预训练图像集输入卷积编码器,使用优化器并基于所述预训练超参数对卷积编码器进行预训练。
进一步地,所述对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集包括:
对有标签微调图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对有标签微调图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第二数值范围内。
进一步地,所述构建线性分类器包括:
通过全连接层和softmax层构建所述线性分类器,其中,所述softmax层的节点数与所述多种卫星的类型数一致。
进一步地,在所述对线性分类器进行参数微调之前,所述ISAR图像分类方法还包括:
通过所述卷积编码器参数对应的卷积编码器对所述有标签增强微调图像集的ISAR图像进行特征提取,使用线性分类器对所述有标签增强微调图像集的ISAR图像进行分类,并获得有标签增强微调图像属于每一种卫星类型的概率值;
根据有标签微调图像集、多个概率值和卫星类型数量计算用于线性分类器参数微调的第二损失函数值。
进一步地,所述根据有标签微调图像集、多个概率值和卫星类型数量计算用于线性分类器参数微调的第二损失函数值包括:
根据下式计算第二损失函数值:
其中,Loss2表示第二损失函数值,K表示所述卫星类型数量,P表示所述有标签微调图像集中的样本数,是一个符号函数,/>表示第p个有标签增强微调图像为第k种卫星类型的概率值,其中,当第p个有标签微调图像属于第k种卫星类型时,/>取1,否则取0。
进一步地,所述根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调包括:
设置微调超参数,其中,所述微调超参数包括第二学习率模式、第二最大学习率、第二每批次数据量和第二最大迭代次数;
将所述有标签增强微调图像集输入所述卷积编码器参数对应的卷积编码器,并对有标签增强微调图像集进行特征提取,以及输入线性分类器,使用优化器并基于所述微调超参数对线性分类器进行训练。
基于与本发明实施例的一种ISAR图像分类方法同样的发明构思,本发明实施例提供了一种ISAR图像分类装置,所述装置包括:
图像获取模块,用于基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集;
卷积编码器预训练模块,用于对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数;
线性分类器微调模块,用于对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数;
分类模块,用于根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行图像分类,以确定出测试图像集对应的卫星类型。
根据本发明的另一方面,本发明还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如上所述的任一ISAR图像分类方法。
通过本发明中的上述实施例中的一个实施例或多个实施例,至少可以实现如下技术效果:
在本发明所公开的技术方案中,首先使用无标签预训练图像预训练卷积编码器,再用有标签微调图像对线性分类器进行参数微调,训练无监督的卫星目标变形图像分类网络,然后使用测试数据集在训练好的分类网络上对卫星变形图像进行分类测试。本方案能够以无监督学习的方式显著提高卷积神经网络对卫星目标变形图像的分类准确率,可用于空间目标ISAR图像的稳健分类,对ISAR图像空间目标分类具有重要的理论意义和应用价值。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的一种ISAR图像分类方法的步骤流程图;
图2为本发明实施例提供的一种ISAR图像分类网络的实现流程图;
图3为本发明实施例提供的一种卷积编码器结构的示意图;
图4为本发明实施例提供的一种ISAR图像分类装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,本文中术语“和”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,在不做特别说明的情况下,一般表示前后关联对象是一种“或”的关系。
图1所示为本发明实施例所提供的一种ISAR图像分类方法的步骤流程图,根据本发明的一方面,本发明提供一种ISAR图像分类方法,如图1所示,所述ISAR图像分类方法包括:
步骤101:基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集;
步骤102:对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数;
步骤103:对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数;
步骤104:根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行图像分类,以确定出测试图像集对应的卫星类型。
本发明基于无监督对比学习的ISAR图像空间目标分类网络。图2为本发明实施例提供的一种ISAR图像分类网络的实现流程图,ISAR图像分类网络的整体训练过程如图2所示。训练过程包含两个阶段,分别是预训练卷积编码器阶段和微调下游线性分类器阶段。在预训练卷积编码器阶段,通过对比学习的方法使用无标签的预训练图像集对卷积编码器进行预训练,然后保存卷积编码器参数;在下游分类器微调阶段,将预训练获得的卷积编码器参数进行迁移,并冻结卷积编码器参数使其不更新,然后使用有标签的微调图像集对下游线性分类器的参数进行微调。最后将测试图像集输入到训练好的卷积编码器和线性分类器中,对空间目标的变形ISAR图像进行分类测试,得到网络输出的分类结果。
以下对上述步骤101~104进行具体描述,具体包括生成ISAR图像集、使用无标签的预训练图像集预训练卷积编码器,使用有标签的微调图像集微调下游线性分类器,输入测试图像集并获得网络的分类结果。
在步骤101中,基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集。
示例性地,根据常用的卫星类型进行ISAR图像仿真,具体需要基于卫星成像参数得到对应的ISAR图像。例如卫星类型有四类,分别是CALIPSO、Cloudsat、Jason-3和OCO-2。分别设置每一种卫星的卫星成像参数,例如卫星的仰角、方位角、带宽和积累角等。
根据不同的卫星成像参数生成多种卫星对应的多个ISAR图像后,生成没有卫星类型标签的无标签预训练图像集,以及带有卫星类型标签的有标签微调图像集,以及卫星成像参数不同时获得的测试图像集。
在步骤102中,对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数。
示例性地,该步骤是实现无监督对比学习的关键,构建预设的卷积编码器,并基于无标签的ISAR图像集对卷积编码器进行预训练,能够获得精准的卷积编码器参数。
如图2中的预训练卷积编码器阶段所示,基于无监督对比学习的ISAR图像空间目标分类网络在预训练阶段不需要任何的有标签样本为预训练过程提供监督信息,该阶段在对卷积编码器进行预训练时采用了对比学习的思想。
在步骤103中,对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数。
示例性地,预训练获得的卷积编码器只能用于提取变形ISAR图像的变形鲁棒特征,并不能直接用于分类。因此,需要将预训练好的卷积编码器参数冻结,并迁移到下游的分类任务中,然后利用有标签的微调数据集对下游线性分类器的参数进行微调。
在步骤104中,根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行图像分类,以确定出测试图像集对应的卫星类型。
示例性地,输入测试数据集,利用预训练好的卷积编码器提取测试样本的特征,再利用经过微调获得的线性分类器完成测试数据集中的四类卫星目标变形ISAR图像分类。传统针对ISAR图像分类的卷积神经网络方法均是基于监督学习范式进行的,本方案在不需要有标签样本的情况下,设计了一种基于无监督对比学习的预训练方法来预训练卷积编码器。基于预训练好的卷积编码器,利用少量有标签的样本微调下游线性分类器,最终实现变形ISAR图像分类。
进一步地,所述卫星成像参数包括仰角、方位角、积累角和带宽,所述基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集包括:
针对每一种卫星,基于各自对应的第一卫星成像参数仿真生成多个第一ISAR图像,将多个第一ISAR图像对应的卫星信息标签删除,生成所述无标签预训练图像集;
根据预设的比例在多个第一ISAR图像中随机抽取图像构成所述有标签微调图像集;
针对每一种卫星,基于各自对应的第二卫星成像参数仿真生成多个第二ISAR图像,基于多个第二ISAR图像构建所述测试图像集。
示例性地,实验中会用到多种类型的卫星,举例来说,常见的四种卫星分别是CALIPSO、Cloudsat、Jason-3和OCO-2。在生成预训练图像集时,优选地,可以将CALIPSO的仰角设置为55°,将Cloudsat和Jason-3的仰角设置为50°,将OCO-2的仰角设置为65°。四类卫星的方位角均设置为90°~359°,并优选在2GHz带宽、6°积累角和 1GHz带宽、5°积累角这两种条件下,使用HFSS仿真软件中的SBR方法生成每类卫星目标的多张ISAR图像,例如每一种卫星生成529张,因此获取了四类卫星目标共计2116张变形ISAR图像。再分别围绕每张ISAR图像的中心,将每张ISAR图像裁剪为128×128个像素。去除上述ISAR图像数据对应的卫星类型标签信息,构成无标签的预训练图像集。
对于有标签微调图像集,可以通过仿真图像直接得到。例如,在上述预训练图像集中,从每类卫星目标的529张ISAR图像中各随机选取30%(约160张)带卫星类型标签的样本,共计640张有标签的ISAR图像样本,构成有标签的微调图像集。
更改每一种卫星的卫星成像参数生成测试图像集,例如,将CALIPSO的仰角设置为60°,将Cloudsat和Jason-3的仰角设置为55°,将OCO-2的仰角设置为70°。四类卫星的方位角均设置为0°~359°,并在1.5GHz带宽、6°积累角和 2GHz带宽、4°积累角这两种条件下,使用HFSS仿真软件中的SBR方法生成每类卫星目标的ISAR图像共计710张,因此获取了四类卫星目标共计2840张变形ISAR图像。再分别围绕每张ISAR图像的中心,将每张ISAR图像裁剪为128×128个像素,构成测试图像集。
需要说明的是,在实际应用中,卫星成像参数和图片数量以及图像像素大小可根据具体的应用需求来确定,本发明对此不做限定。
进一步地,所述对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集包括:
以第一概率对无标签预训练图像集的ISAR图像进行随机缩放和旋转;
以第二概率对无标签预训练图像集的ISAR图像进行随机水平翻转和垂直翻转;
对无标签预训练图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对无标签预训练图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第一数值范围内。
示例性地,如图2中的预训练卷积编码器阶段所示,基于无监督对比学习的ISAR图像空间目标分类网络在预训练阶段不需要任何的有标签样本为预训练过程提供监督信息,该阶段在对卷积编码器进行预训练时采用了对比学习的思想。
为方便表示,假设在预训练阶段中,输入到网络中的一个小批量无标签预训练图像集为,/>表示第i个输入ISAR图像样本,N表示图像集X中的样本数,d表示每个样本的特征维度。首先对无标签的预训练图像集X中的每个样本均进行数据增强操作以获得另一组样本数同样为N的增强图像集/>。
具体的数据增强策略包括如下几种:
以第一概率对无标签预训练图像集的ISAR图像进行随机缩放和旋转。优选地,以0.5的概率对预训练图像集中的ISAR图像样本进行随机缩放和随机旋转,缩放图像是原图像的0.8~1.2倍,旋转角均匀分布在90°;
以第二概率对无标签预训练图像集的ISAR图像进行随机水平翻转和垂直翻转。优选地,以0.5的概率对预训练图像集中的ISAR图像进行随机水平和垂直翻转。
对无标签预训练图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变。优选地,对预训练图像集中的ISAR图像进行中心随机裁剪,裁剪大小为原图像的0.8~1.2倍。
对无标签预训练图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第一数值范围内。优选地,对预训练图像集中的ISAR图像进行幅度归一化处理,以消除观测距离和雷达发射功率变化带来的幅值敏感性。
经过上述数据增强操作后,是/>的正样本,二者构成一个正样本对。同时,除/>和之外的其余/>个样本与/>构成了/>个负样本对。因此,为方便描述起见,将/>记为/>,将除/>和/>之外的其余/>个样本记为/>。在预训练时,将图像集/>和增强图像集/>同时输入到卷积编码器/>。
进一步地,所述构建卷积编码器包括:
构建至少一个二维常规卷积块和至少一个二维可形变卷积块;
其中,所述二维常规卷积块包括多个卷积层、多个归一化层、多个非线性激活层和一个最大池化层,该卷积层的卷积核具有预设的采样位置;
其中,所述二维可形变卷积块包括可形变卷积层、归一化层、非线性激活层和最大池化层或平均池化层,该卷积层的卷积核具有任意可选的采样位置。
示例性地,通过卷积编码器提取每个变形ISAR图像样本的特征。需要构建卷积编码器,具体来说,卷积编码器包括至少一个二维常规卷积块和至少一个二维可形变卷积块。优选地,图3为本发明实施例提供的一种卷积编码器结构的示意图,在该结构示意图中,卷积编码器由5个卷积块构成,前3个卷积块均使用常规的二维卷积操作,后2个卷积块为二维可形变卷积,在二维可形变卷积块中,卷积核的位置并不固定,可以为任意位置,采样位置可变化,可用于拟合变形ISAR图像的伸缩、旋转等变换,以适应其空间特征。
优选地,每个卷积块的结构可设置为具体如下:
卷积块1为二维常规卷积块,包括4个卷积层,卷积核大小均为3×3,通道数均为8。每个卷积层之后都连接一个批归一化层和一个ReLU非线性激活层。4个卷积层后面连接一个最大池化层,其池化窗口大小为2×2,步长为2。
卷积块2为二维常规卷积块,包括3个卷积层,卷积核大小均为3×3,通道数均为16。每个卷积层之后都连接一个批归一化层和一个ReLU非线性激活层。3个卷积层后面连接一个最大池化层,其池化窗口大小为2×2,步长为2。
卷积块3为二维常规卷积块,包括3个卷积层,卷积核大小均为3×3,通道数均为32。每个卷积层之后都连接一个批归一化层和一个ReLU非线性激活层。3个卷积层后面连接一个最大池化层,其池化窗口大小为2×2,步长为2。
卷积块4为二维可形变卷积块,包括1个可形变卷积层,卷积核大小为3×3,通道数为64。可形变卷积层后面连接一个批归一化层和一个ReLU非线性激活层。可形变卷积层后面连接一个最大池化层,其池化窗口大小为2×2,步长为2。
卷积块5为二维可形变卷积块,包括1个可形变卷积层,卷积核大小为3×3,通道数为128。可形变卷积层后面连接一个批归一化层和一个ReLU非线性激活层。最后连接一个平均池化层,将卷积编码器的输出映射成向量的形式。
进一步地,在所述对卷积编码器进行预训练之前,所述ISAR图像分类方法还包括:
针对预设对数的无标签预训练图像和其对应的无标签增强预训练图像,执行如下操作:
计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度;
计算无标签预训练图像和剩余对数中的ISAR图像之间的第二相似度;
计算无标签增强预训练图像和剩余对数中的ISAR图像之间的第三相似度;
基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值。
示例性地,使用卷积编码器进行预训练之前,需要搭建优化模型,确定损失函数,通过损失函数评估卷积编码器处理图像前后的关联度。具体来说,每一对无标签预训练图像和其对应的无标签增强预训练图像,需要第一相似度越高越准确,表明卷积编码器能够将两者关联起来。无标签预训练图像以及无标签增强预训练图像和剩下的其它ISAR图像之间的第二相似度、第三相似度则越低越好,表明卷积编码器能够将没有关系的两个ISAR图像的区分开来。通过多次训练后的卷积编码器具有较好的图像关联能力以及区分能力。
进一步地,所述计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度包括:
将无标签预训练图像输入卷积编码器后得到原始图像特征;
将无标签增强预训练图像输入卷积编码器后得到增强图像特征;
将所述原始图像特征和所述增强图像特征分别输入至投影头,得到原始图像投影特征和增强图像投影特征;
根据所述原始图像投影特征、所述增强图像投影特征以及相似度评估方法计算所述第一相似度。
示例性地,先用卷积编码器处理ISAR图像,再输入投影头,得到投影特征,然后基于投影特征计算第一相似度。此步骤可计算第一相似度,同理,可以使用相同的方法计算第二相似度和第三相似度。
进一步地,所述基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值包括:
针对每一个无标签预训练图像,根据对应的第一相似度、多个第二相似度和温度超参数计算第一对比损失;
针对每一个无标签增强预训练图像,根据对应的第一相似度、多个第三相似度和温度超参数计算第二对比损失;
基于多个第一对比损失和多个第二对比损失计算第一损失函数值。
示例性地,针对每一对无标签预训练图像和其对应的无标签增强预训练图像,分别计算两者各自的对比损失,然后基于两个对比损失计算第一损失函数值。
进一步地,所述将所述原始图像特征和所述增强图像特征分别输入至投影头,得到原始图像投影特征和增强图像投影特征包括:
根据下式得到原始图像投影特征:
根据下式得到增强图像投影特征:
进一步地,所述根据所述原始图像投影特征、所述增强图像投影特征以及相似度评估方法计算所述第一相似度包括:
根据下式计算第一相似度:
进一步地,所述针对每一个无标签预训练图像,根据对应的第一相似度、多个第二相似度和温度超参数计算第一对比损失包括:
根据下式计算第一对比损失:
进一步地,所述基于多个第一对比损失和多个第二对比损失计算第一损失函数值包括:
根据下式计算第一损失函数值:
示例性地,下面详细描述上述多个公式的实现过程。
对于图像集中的样本/>而言,/>经过卷积编码器后学习到的特征可以表示为/>。同理,对于图像集/>中/>的正样本/>而言,/>经过卷积编码器后学习到的特征可以表示为/>。将卷积编码器学习到的特征/>和/>输入到投影头/>中,从而可获得/>和/>的投影特征/>和/>。投影头由2个全连接层组成,第一全连接层有128个节点,第二全连接层有64个节点。上述过程用数学公式表示如下:
在预训练阶段,模型优化的目标是最小化对比损失函数,即使成对的正样本更相似,使成对的负样本更不相似。该思想用数学公式表示如下:
上式中,表示温度超参数,/>则是/>的负样本。在预训练阶段,对于一个小批量中的N个样本,/>和/>均用于计算小批量的总损失,/>的计算方法与上式一致。因此对于一个小批量数据而言,总的对比损失计算如下:
将上述损失函数定义为预训练阶段的第一损失函数。
进一步地,所述根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练包括:
设置预训练超参数,其中,所述预训练超参数包括第一学习率模式、第一最大学习率、所述第一学习率模式对应的余弦函数的半周期数量、第一每批次数据量、温度超参数和第一最大迭代次数;
将所述无标签预训练图像集和所述无标签增强预训练图像集输入卷积编码器,使用优化器并基于所述预训练超参数对卷积编码器进行预训练。
示例性地,在预训练阶段,通过Adam优化器对上述卷积编码器进行预训练,优选地,预训练的超参数设置如下:
采用CosineAnnealing学习率模式,最大学习率设置为0.001,余弦函数的半周期大小设置为50轮迭代;
设置每批次数据量为256,即小批量数据大小,具体可采用两块NVIDIA RTX3090GPU,利用分布式训练方法实现预训练。意味着预训练图像集将按照小批量大小分割成多批数据,并依次送入预训练卷积编码器。需要注意的是,因为采用两块GPU进行分布式训练,实际上每块GPU只处理每个小批量数据中的128张ISAR图像;
设置预训练阶段最大迭代次数为500轮,经过500轮迭代后获得预训练好的卷积编码器。
进一步地,所述对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集包括:
对有标签微调图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对有标签微调图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第二数值范围内。
示例性地,预训练获得的卷积编码器只能用于提取变形ISAR图像的变形鲁棒特征,并不能直接用于分类。因此,本节将预训练好的卷积编码器参数冻结,并迁移到下游的分类任务中,然后利用有标签的微调图像集对下游线性分类器的参数进行微调。
如图2中的微调下游线性分类器阶段所示。假设在微调阶段中,输入到下游分类网络中的一个小批量有标签微调数据集为,/>同样表示第i个输入ISAR图像样本,M表示数据集X中的样本数,d表示每个样本的特征维度。首先对有标签的微调数据集X中的每个样本均进行数据增强操作以获得另一组样本数同样为M的增强数据集。
具体的数据增强策略包括:
对有标签微调图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变。优选地,对微调图像集中的ISAR图像进行中心随机裁剪,裁剪大小为原图像的0.8~1.2倍。
对有标签微调图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第二数值范围内。优选地,对微调图像集中的ISAR图像进行幅度归一化处理,以消除观测距离和雷达发射功率变化带来的幅值敏感性。
经过上述数据增强操作后,将增强图像集输入到预训练好的卷积编码器 中,通过卷积编码器提取每个变形ISAR图像样本的特征。
进一步地,所述构建线性分类器包括:
通过全连接层和softmax层构建所述线性分类器,其中,所述softmax层的节点数与所述多种卫星的类型数一致。
示例性地,如图2所示,为实现对不同的卫星目标的变形ISAR图像样本进行分类的目的,在卷积编码器后面连接一个线性分类器,该线性分类器由两个全连接层和一个softmax层组成。两个全连接层分别有64个节点和32个节点,softmax层的节点数为4,即待分类卫星的类型数。
进一步地,在所述对线性分类器进行参数微调之前,所述ISAR图像分类方法还包括:
通过所述卷积编码器参数对应的卷积编码器对所述有标签增强微调图像集的图像进行特征提取,使用线性分类器对所述有标签增强微调图像集的ISAR图像进行分类,并获得有标签增强微调图像属于每一种卫星类型的概率值;
根据有标签微调图像集、多个概率值和卫星类型数量计算用于线性分类器参数微调的第二损失函数值。
进一步地,所述根据有标签微调图像集、多个概率值和卫星类型数量计算用于线性分类器参数微调的第二损失函数值包括:
根据下式计算第二损失函数值:
其中,Loss2表示第二损失函数值,K表示所述卫星类型数量,P表示所述有标签微调图像集中的样本数,是一个符号函数,/>表示第p个有标签增强微调图像为第k种卫星类型的概率值,其中,当第p个有标签微调图像属于第k种卫星类型时,/>取1,否则取0。
示例性地,在利用有标签的微调图像集对下游线性分类器进行参数微调时,使用交叉熵函数作为第二损失函数,该第二损失函数表征将图像识别为正确的卫星类型的概率平均值。
进一步地,所述根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调包括:
设置微调超参数,其中,所述微调超参数包括第二学习率模式、第二最大学习率、第二每批次数据量和第二最大迭代次数;
将所述有标签增强微调图像集输入所述卷积编码器参数对应的卷积编码器,并对有标签增强微调图像集进行特征提取,以及输入线性分类器,使用优化器并基于所述微调超参数对线性分类器进行训练。
示例性地,在分类器微调阶段,通过Adam优化器对上述下游线性分类器进行参数微调,其中,微调超参数设置如下:
采用OneCycle学习率模式,最大学习率设置为0.001;
设置小批量数据大小为32,采用一块NVIDIA RTX3090 GPU完成;
设置微调阶段的最大迭代次数为200轮,经过200轮迭代后获得训练好的下游线性分类器。
经过分类器微调阶段,可得到优化后的线性分类器参数,至此,已经获得卷积编码器参数和线性分类器参数,通过该神经网络处理ISAR图像,能够将图片进行精准的分类。下面介绍输入测试图像集并获得网络的分类结果。
本发明的技术方案对测试图像集中的四类卫星变形ISAR图像进行分类。首先输入测试图像集,利用预训练好的卷积编码器提取测试样本的特征,再利用经过微调获得的线性分类器完成测试图像集中的四类卫星目标变形ISAR图像分类。
通过以下公式,计算本发明方法对测试数据集的分类准确率:
上式中,acc表示测试数据集的分类正确率,Z表示测试数据集的样本总数,表示分类鉴别函数,/>表示测试数据集中第i个测试样本的真实类型标签,/>表示测试数据集中第i个测试样本对应的线性分类器输出结果,当/>时,/>,否则,/>。
传统针对ISAR图像分类的卷积神经网络方法均是基于监督学习范式进行的。因此对于上述预训练数据集,不去除ISAR图像对应的卫星类型标签。首先使用有标签的预训练数据集训练传统的基于卷积神经网络的卫星目标变形ISAR图像分类网络,然后使用测试数据集在训练好的卷积神经网络上对卫星变形ISAR图像进行分类测试。根据Z=2840,得到,计算得到传统卷积神经网络对卫星目标变形ISAR图像的分类准确率为84.96%。
本发明的ISAR图像分类方法为基于无监督对比学习的ISAR图像空间目标分类方法,从测试图像集的分类准确率可以看出,本方案仅使用了30%的有标签样本,比传统的基于卷积神经网络的ISAR图像分类方法使用100%的有标签样本的分类准确率提高了9.72%,对于ISAR图像空间目标分类具有重要的理论意义和应用价值。
通过本发明中的上述实施例中的一个实施例或多个实施例,至少可以实现如下技术效果:
在本发明所公开的技术方案中,首先使用无标签预训练图像预训练卷积编码器,再用有标签微调图像对线性分类器进行参数微调,训练无监督的卫星目标变形图像分类网络,然后使用测试数据集在训练好的分类网络上对卫星变形图像进行分类测试。本方案能够以无监督学习的方式显著提高卷积神经网络对卫星目标变形图像的分类准确率,可用于空间目标ISAR图像的稳健分类,对ISAR图像空间目标分类具有重要的理论意义和应用价值。
首先,本方案为基于对比学习的ISAR图像空间目标分类方法。在不需要有标签样本的情况下,设计了一种基于无监督对比学习的预训练方法来预训练卷积编码器。基于预训练好的卷积编码器,利用少量有标签的样本微调下游线性分类器,最终实现变形ISAR图像分类。
其次,本方案在对ISAR图像测试图像集进行测试时,仅使用30%的有标签样本,本发明方法的分类准确率比使用100%的有标签样本训练的传统的基于卷积神经网络的ISAR图像分类网络的分类准确率显著提高。
基于与本发明实施例的一种ISAR图像分类方法同样的发明构思,本发明实施例提供了一种ISAR图像分类装置,请参考图4,所述装置包括:
图像获取模块201,用于基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集;
卷积编码器预训练模块202,用于对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数;
线性分类器微调模块203,用于对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数;
分类模块204,用于根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行ISAR图像分类,以确定出测试图像集对应的卫星类型。
进一步地,所述图像获取模块201还用于:
针对每一种卫星,基于各自对应的第一卫星成像参数仿真生成多个第一ISAR图像,将多个第一ISAR图像对应的卫星信息标签删除,生成所述无标签预训练图像集;
根据预设的比例在多个第一ISAR图像中随机抽取图像构成所述有标签微调图像集;
针对每一种卫星,基于各自对应的第二卫星成像参数仿真生成多个第二ISAR图像,基于多个第二ISAR图像构建所述测试图像集。
进一步地,所述图像获取模块201还用于:
以第一概率对无标签预训练图像集的ISAR图像进行随机缩放和旋转;
以第二概率对无标签预训练图像集的ISAR图像进行随机水平翻转和垂直翻转;
对无标签预训练图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对无标签预训练图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第一数值范围内。
进一步地,所述卷积编码器预训练模块202还用于:
构建至少一个二维常规卷积块和至少一个二维可形变卷积块;
其中,所述二维常规卷积块包括多个卷积层、多个归一化层、多个非线性激活层和一个最大池化层,该卷积层的卷积核具有预设的采样位置;
其中,所述二维可形变卷积块包括可形变卷积层、归一化层、非线性激活层和最大池化层或平均池化层,该卷积层的卷积核具有任意可选的采样位置。
进一步地,在所述对卷积编码器进行预训练之前,所述卷积编码器预训练模块202还用于:
针对预设对数的无标签预训练图像和其对应的无标签增强预训练图像,执行如下操作:
计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度;
计算无标签预训练图像和剩余对数中的ISAR图像之间的第二相似度;
计算无标签增强预训练图像和剩余对数中的ISAR图像之间的第三相似度;
基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值。
进一步地,所述卷积编码器预训练模块202还用于:
将无标签预训练图像输入卷积编码器后得到原始图像特征;
将无标签增强预训练图像输入卷积编码器后得到增强图像特征;
将所述原始图像特征和所述增强图像特征分别输入至投影头,得到原始图像投影特征和增强图像投影特征;
根据所述原始图像投影特征、所述增强图像投影特征以及相似度评估方法计算所述第一相似度。
进一步地,所述卷积编码器预训练模块202还用于:
针对每一个无标签预训练图像,根据对应的第一相似度、多个第二相似度和温度超参数计算第一对比损失;
针对每一个无标签增强预训练图像,根据对应的第一相似度、多个第三相似度和温度超参数计算第二对比损失;
基于多个第一对比损失和多个第二对比损失计算第一损失函数值。
进一步地,所述卷积编码器预训练模块202还用于:
根据下式得到原始图像投影特征:
根据下式得到增强图像投影特征:
进一步地,所述卷积编码器预训练模块202还用于:
根据下式计算第一相似度:
进一步地,所述卷积编码器预训练模块202还用于:
根据下式计算第一对比损失:
进一步地,所述卷积编码器预训练模块202还用于:
根据下式计算第一损失函数值:
进一步地,所述卷积编码器预训练模块202还用于:
设置预训练超参数,其中,所述预训练超参数包括第一学习率模式、第一最大学习率、所述第一学习率模式对应的余弦函数的半周期数量、第一每批次数据量、温度超参数和第一最大迭代次数;
将所述无标签预训练图像集和所述无标签增强预训练图像集输入卷积编码器,使用优化器并基于所述预训练超参数对卷积编码器进行预训练。
进一步地,所述线性分类器微调模块203还用于:
对有标签微调图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对有标签微调图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第二数值范围内。
进一步地,所述线性分类器微调模块203还用于:
通过全连接层和softmax层构建所述线性分类器,其中,所述softmax层的节点数与所述多种卫星的类型数一致。
进一步地,在所述对线性分类器进行参数微调之前,所述线性分类器微调模块203还用于:
通过所述卷积编码器参数对应的卷积编码器对所述有标签增强微调图像集的ISAR图像进行特征提取,使用线性分类器对所述有标签增强微调图像集的ISAR图像进行分类,并获得有标签增强微调图像属于每一种卫星类型的概率值;
根据有标签微调图像集、多个概率值和卫星类型数量计算用于线性分类器参数微调的第二损失函数值。
进一步地,所述线性分类器微调模块203还用于:
根据下式计算第二损失函数值:
其中,Loss2表示第二损失函数值,K表示所述卫星类型数量,P表示所述有标签微调图像集中的样本数,是一个符号函数,/>表示第p个有标签增强微调图像为第k种卫星类型的概率值,其中,当第p个有标签微调图像属于第k种卫星类型时,/>取1,否则取0。
进一步地,所述线性分类器微调模块203还用于:
设置微调超参数,其中,所述微调超参数包括第二学习率模式、第二最大学习率、第二每批次数据量和第二最大迭代次数;
将所述有标签增强微调图像集输入所述卷积编码器参数对应的卷积编码器,并对有标签增强微调图像集进行特征提取,以及输入线性分类器,使用优化器并基于所述微调超参数对线性分类器进行训练。
其中,所述ISAR图像分类装置的其它方面以及实现细节与前面所描述的ISAR图像分类方法相同或相似,在此不再赘述。
根据本发明的另一方面,本发明还提供一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如上所述的任一ISAR图像分类方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (19)
1.一种ISAR图像分类方法,其特征在于,所述ISAR图像分类方法包括:
基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集;
对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数;
对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数;
根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行图像分类,以确定出测试图像集对应的卫星类型。
2.如权利要求1所述的ISAR图像分类方法,其特征在于,所述卫星成像参数包括仰角、方位角、积累角和带宽,所述基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集包括:
针对每一种卫星,基于各自对应的第一卫星成像参数仿真生成多个第一ISAR图像,将多个第一ISAR图像对应的卫星信息标签删除,生成所述无标签预训练图像集;
根据预设的比例在多个第一ISAR图像中随机抽取图像构成所述有标签微调图像集;
针对每一种卫星,基于各自对应的第二卫星成像参数仿真生成多个第二ISAR图像,基于多个第二ISAR图像构建所述测试图像集。
3.如权利要求1所述的ISAR图像分类方法,其特征在于,所述对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集包括:
以第一概率对无标签预训练图像集的ISAR图像进行随机缩放和旋转;
以第二概率对无标签预训练图像集的ISAR图像进行随机水平翻转和垂直翻转;
对无标签预训练图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对无标签预训练图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第一数值范围内。
4.如权利要求1所述的ISAR图像分类方法,其特征在于,所述构建卷积编码器包括:
构建至少一个二维常规卷积块和至少一个二维可形变卷积块;
其中,所述二维常规卷积块包括多个卷积层、多个归一化层、多个非线性激活层和一个最大池化层,该卷积层的卷积核具有预设的采样位置;
其中,所述二维可形变卷积块包括可形变卷积层、归一化层、非线性激活层和最大池化层或平均池化层,该卷积层的卷积核具有任意可选的采样位置。
5.如权利要求1所述的ISAR图像分类方法,其特征在于,在所述对卷积编码器进行预训练之前,所述ISAR图像分类方法还包括:
针对预设对数的无标签预训练图像和其对应的无标签增强预训练图像,执行如下操作:
计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度;
计算无标签预训练图像和剩余对数中的ISAR图像之间的第二相似度;
计算无标签增强预训练图像和剩余对数中的ISAR图像之间的第三相似度;
基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值。
6.如权利要求5所述的ISAR图像分类方法,其特征在于,所述计算无标签预训练图像和其对应的无标签增强预训练图像之间的第一相似度包括:
将无标签预训练图像输入卷积编码器后得到原始图像特征;
将无标签增强预训练图像输入卷积编码器后得到增强图像特征;
将所述原始图像特征和所述增强图像特征分别输入至投影头,得到原始图像投影特征和增强图像投影特征;
根据所述原始图像投影特征、所述增强图像投影特征以及相似度评估方法计算所述第一相似度。
7.如权利要求6所述的ISAR图像分类方法,其特征在于,所述基于多个第一相似度、多个第二相似度和多个第三相似度计算用于卷积编码器预训练的第一损失函数值包括:
针对每一个无标签预训练图像,根据对应的第一相似度、多个第二相似度和温度超参数计算第一对比损失;
针对每一个无标签增强预训练图像,根据对应的第一相似度、多个第三相似度和温度超参数计算第二对比损失;
基于多个第一对比损失和多个第二对比损失计算第一损失函数值。
12.如权利要求1所述的ISAR图像分类方法,其特征在于,所述根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练包括:
设置预训练超参数,其中,所述预训练超参数包括第一学习率模式、第一最大学习率、所述第一学习率模式对应的余弦函数的半周期数量、第一每批次数据量、温度超参数和第一最大迭代次数;
将所述无标签预训练图像集和所述无标签增强预训练图像集输入卷积编码器,使用优化器并基于所述预训练超参数对卷积编码器进行预训练。
13.如权利要求1所述的ISAR图像分类方法,其特征在于,所述对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集包括:
对有标签微调图像集的ISAR图像进行随机裁剪,其中,裁剪前后ISAR图像的中心点不变;
对有标签微调图像集的ISAR图像进行幅度归一化处理,以使ISAR图像的散射点幅度在预设的第二数值范围内。
14.如权利要求1所述的ISAR图像分类方法,其特征在于,所述构建线性分类器包括:
通过全连接层和softmax层构建所述线性分类器,其中,所述softmax层的节点数与所述多种卫星的类型数一致。
15.如权利要求1所述的ISAR图像分类方法,其特征在于,在所述对线性分类器进行参数微调之前,所述ISAR图像分类方法还包括:
通过所述卷积编码器参数对应的卷积编码器对所述有标签增强微调图像集的ISAR图像进行特征提取,使用线性分类器对所述有标签增强微调图像集的ISAR图像进行分类,并获得有标签增强微调图像属于每一种卫星类型的概率值;
根据有标签微调图像集、多个概率值和卫星类型数量计算用于线性分类器参数微调的第二损失函数值。
17.如权利要求1所述的ISAR图像分类方法,其特征在于,所述根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调包括:
设置微调超参数,其中,所述微调超参数包括第二学习率模式、第二最大学习率、第二每批次数据量和第二最大迭代次数;
将所述有标签增强微调图像集输入所述卷积编码器参数对应的卷积编码器,并对有标签增强微调图像集进行特征提取,以及输入线性分类器,使用优化器并基于所述微调超参数对线性分类器进行训练。
18.一种ISAR图像分类装置,其特征在于,所述装置包括:
图像获取模块,用于基于预设的卫星成像参数进行图像仿真以得到多种卫星对应的多个ISAR图像,基于所述多个ISAR图像生成无标签预训练图像集、有标签微调图像集和测试图像集;
卷积编码器预训练模块,用于对所述无标签预训练图像集进行数据增强以得到无标签增强预训练图像集,构建卷积编码器,根据所述无标签预训练图像集和所述无标签增强预训练图像集对卷积编码器进行预训练,以确定出卷积编码器参数;
线性分类器微调模块,用于对所述有标签微调图像集进行数据增强以得到有标签增强微调图像集,构建线性分类器,根据所述有标签增强微调图像集以及所述卷积编码器参数对线性分类器进行参数微调,以确定出线性分类器参数;
分类模块,用于根据所述卷积编码器参数对应的卷积编码器对测试图像集进行特征提取,以及根据所述线性分类器参数对应的线性分类器对所述测试图像集进行图像分类,以确定出测试图像集对应的卫星类型。
19.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如权利要求1至17中任一项所述的ISAR图像分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310669224.0A CN116385813B (zh) | 2023-06-07 | 2023-06-07 | 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310669224.0A CN116385813B (zh) | 2023-06-07 | 2023-06-07 | 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116385813A true CN116385813A (zh) | 2023-07-04 |
CN116385813B CN116385813B (zh) | 2023-08-29 |
Family
ID=86975465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310669224.0A Active CN116385813B (zh) | 2023-06-07 | 2023-06-07 | 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116385813B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292336A (zh) * | 2017-06-12 | 2017-10-24 | 西安电子科技大学 | 一种基于dcgan的极化sar图像分类方法 |
CN109389080A (zh) * | 2018-09-30 | 2019-02-26 | 西安电子科技大学 | 基于半监督wgan-gp的高光谱图像分类方法 |
CN109697469A (zh) * | 2018-12-26 | 2019-04-30 | 西北工业大学 | 一种基于一致性约束的自学习小样本遥感图像分类方法 |
CN110135458A (zh) * | 2019-04-15 | 2019-08-16 | 深圳中兴网信科技有限公司 | 图像数据集增广方法、系统、计算机设备和存储介质 |
CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
CN110705508A (zh) * | 2019-10-15 | 2020-01-17 | 中国人民解放军战略支援部队航天工程大学 | 一种isar图像的卫星识别方法 |
CN110940523A (zh) * | 2019-11-29 | 2020-03-31 | 盐城工学院 | 一种无监督域适应故障诊断方法 |
CN112052754A (zh) * | 2020-08-24 | 2020-12-08 | 西安电子科技大学 | 基于自监督表征学习的极化sar影像地物分类方法 |
CN112102204A (zh) * | 2020-09-27 | 2020-12-18 | 苏州科达科技股份有限公司 | 图像增强方法、装置及电子设备 |
CN112381116A (zh) * | 2020-10-21 | 2021-02-19 | 福州大学 | 基于对比学习的自监督图像分类方法 |
CN113435510A (zh) * | 2021-06-28 | 2021-09-24 | 西安电子科技大学 | 基于序列调整网络的逆合成孔径雷达图像分类方法 |
US20210357694A1 (en) * | 2020-05-12 | 2021-11-18 | Lunit Inc. | Learning apparatus and learning method for three-dimensional image |
CN113780243A (zh) * | 2021-09-29 | 2021-12-10 | 平安科技(深圳)有限公司 | 行人图像识别模型的训练方法、装置、设备以及存储介质 |
CN114444546A (zh) * | 2022-01-27 | 2022-05-06 | 东南大学 | 一种基于自监督学习的雷达信号分选识别方法 |
CN115618267A (zh) * | 2022-11-15 | 2023-01-17 | 重庆大学 | 无监督域自适应及熵优化的设备传感诊断方法及系统 |
WO2023005386A1 (zh) * | 2021-07-27 | 2023-02-02 | 京东科技控股股份有限公司 | 模型训练方法和装置 |
US20230074706A1 (en) * | 2021-08-25 | 2023-03-09 | Nvidia Corporation | Learning contrastive representation for semantic correspondence |
-
2023
- 2023-06-07 CN CN202310669224.0A patent/CN116385813B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292336A (zh) * | 2017-06-12 | 2017-10-24 | 西安电子科技大学 | 一种基于dcgan的极化sar图像分类方法 |
CN109389080A (zh) * | 2018-09-30 | 2019-02-26 | 西安电子科技大学 | 基于半监督wgan-gp的高光谱图像分类方法 |
CN109697469A (zh) * | 2018-12-26 | 2019-04-30 | 西北工业大学 | 一种基于一致性约束的自学习小样本遥感图像分类方法 |
CN110135458A (zh) * | 2019-04-15 | 2019-08-16 | 深圳中兴网信科技有限公司 | 图像数据集增广方法、系统、计算机设备和存储介质 |
CN110689086A (zh) * | 2019-10-08 | 2020-01-14 | 郑州轻工业学院 | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 |
CN110705508A (zh) * | 2019-10-15 | 2020-01-17 | 中国人民解放军战略支援部队航天工程大学 | 一种isar图像的卫星识别方法 |
CN110940523A (zh) * | 2019-11-29 | 2020-03-31 | 盐城工学院 | 一种无监督域适应故障诊断方法 |
US20210357694A1 (en) * | 2020-05-12 | 2021-11-18 | Lunit Inc. | Learning apparatus and learning method for three-dimensional image |
CN112052754A (zh) * | 2020-08-24 | 2020-12-08 | 西安电子科技大学 | 基于自监督表征学习的极化sar影像地物分类方法 |
CN112102204A (zh) * | 2020-09-27 | 2020-12-18 | 苏州科达科技股份有限公司 | 图像增强方法、装置及电子设备 |
CN112381116A (zh) * | 2020-10-21 | 2021-02-19 | 福州大学 | 基于对比学习的自监督图像分类方法 |
CN113435510A (zh) * | 2021-06-28 | 2021-09-24 | 西安电子科技大学 | 基于序列调整网络的逆合成孔径雷达图像分类方法 |
WO2023005386A1 (zh) * | 2021-07-27 | 2023-02-02 | 京东科技控股股份有限公司 | 模型训练方法和装置 |
US20230074706A1 (en) * | 2021-08-25 | 2023-03-09 | Nvidia Corporation | Learning contrastive representation for semantic correspondence |
CN113780243A (zh) * | 2021-09-29 | 2021-12-10 | 平安科技(深圳)有限公司 | 行人图像识别模型的训练方法、装置、设备以及存储介质 |
CN114444546A (zh) * | 2022-01-27 | 2022-05-06 | 东南大学 | 一种基于自监督学习的雷达信号分选识别方法 |
CN115618267A (zh) * | 2022-11-15 | 2023-01-17 | 重庆大学 | 无监督域自适应及熵优化的设备传感诊断方法及系统 |
Non-Patent Citations (1)
Title |
---|
任浩浩: "合成孔径雷达图像目标识别方法研究", 《中国博士学位论文全文数据库》,合成孔径雷达图像目标识别方法研究, pages 1 - 76 * |
Also Published As
Publication number | Publication date |
---|---|
CN116385813B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ai et al. | SAR target classification using the multikernel-size feature fusion-based convolutional neural network | |
CN108898065B (zh) | 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 | |
CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
CN110458043B (zh) | 一种基于迁移学习与全连接层输出的sar目标识别方法 | |
CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
CN113705331B (zh) | 一种基于四元特征金字塔网络的sar船只检测方法 | |
CN110969212A (zh) | 基于空间变换三通道卷积的isar图像分类方法 | |
CN112016596B (zh) | 基于卷积神经网络的农田土壤肥力评价方法 | |
Bloshchinskiy et al. | Snow and cloud detection using a convolutional neural network and low-resolution data from the Electro-L No. 2 Satellite | |
CN112395958A (zh) | 基于四尺度深浅层特征融合的遥感图像小目标检测方法 | |
CN113536963A (zh) | 基于轻量化yolo网络的sar图像飞机目标检测方法 | |
Sun et al. | Unsupervised Multi-Level Non-Negative Matrix Factorization Model: Binary Data Case. | |
CN116310852A (zh) | 双时相遥感影像无监督分类与变化检测方法及系统 | |
Toğaçar et al. | Classification of cloud images by using super resolution, semantic segmentation approaches and binary sailfish optimization method with deep learning model | |
CN114119621A (zh) | 基于深度编解码融合网络的sar遥感图像水域分割方法 | |
Jakaria et al. | Comparison of classification of birds using lightweight deep convolutional neural networks | |
CN116385813B (zh) | 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质 | |
CN111339342B (zh) | 一种基于角度三元中心损失的三维模型检索方法 | |
Przybylo et al. | Classification of cloud particle imagery from aircraft platforms using convolutional neural networks | |
CN113887656B (zh) | 一种联合深度学习与稀疏表示的高光谱图像分类方法 | |
Gooch et al. | Improving historical data discovery in weather radar image data sets using transfer learning | |
CN113435510B (zh) | 基于序列调整网络的逆合成孔径雷达图像分类方法 | |
Xu et al. | SAR target recognition based on variational autoencoder | |
CN111652246B (zh) | 一种基于深度学习的图像自适应稀疏化表征方法及装置 | |
CN113627480A (zh) | 一种基于强化学习的极化sar影像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |