CN116912585A - 基于自监督学习和知识蒸馏的sar目标识别方法 - Google Patents
基于自监督学习和知识蒸馏的sar目标识别方法 Download PDFInfo
- Publication number
- CN116912585A CN116912585A CN202310906452.5A CN202310906452A CN116912585A CN 116912585 A CN116912585 A CN 116912585A CN 202310906452 A CN202310906452 A CN 202310906452A CN 116912585 A CN116912585 A CN 116912585A
- Authority
- CN
- China
- Prior art keywords
- network
- target
- student
- soft
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000013526 transfer learning Methods 0.000 claims abstract description 5
- 238000004821 distillation Methods 0.000 claims description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明为一种基于自监督学习和知识蒸馏的SAR目标识别方法,首先分别构建教师网络和学生网络,教师网络采用ResNet50网络,在ResNet8网络中加入注意力机制得到学生网络,对教师网络进行自监督预训练;以自监督训练结果进行迁移学习后的教师网络对学生网络进行蒸馏,计算教师网络软目标和学生网络软输出,得到软目标损失函数;然后,采用教师网络的分类输出和硬目标一起训练学生网络,并引入硬目标和软目标损失函数;最后,对训练后的学生网络进行测试,得到蒸馏后的学生网络,并用于SAR图像的目标识别,得到分类结果。本发明具有参数量计算量小和测试准确率高的优点,适用于SAR图像目标识别,解决了基于深度神经网络的SAR目标识别模型体积较大而轻量化模型识别准确率较差难以应用于移动嵌入式设备的问题。
Description
技术领域
本发明属于雷达目标检测识别技术领域,尤其是一种基于自监督学习和知识蒸馏的SAR目标识别方法,提高了合成孔径雷达SAR识别系统对目标识别的实时性的同时保证了一定的识别精度。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种先进的主动式微波对地观测系统,具有全天候、全天时工作的特点。此外,SAR还具有高分辨率,对地面植被也有一定的穿透能力,在识别伪装和穿透遮掩物上具有显著优势,在国民经济和军事应用领域有着十分重要的作用。基于以上优点,SAR图像目标识别一直是研究的热点。
近年来,卷积神经网络(Convolutional neural network,CNN)在计算机视觉、目标检测、图像分类等领域取得了重大突破。研究人员尝试将深度学习方法应用于SAR目标识别领域,利用CNN作为特征提取器和分类器,在SAR目标识别中发挥了重要作用,取得了一些满意的成果。为达到较好的效果,在网络训练时需要使用大量有标记图像,然而SAR图像在目标识别任务中可用于训练的数据较少,容易产生网络过拟合的现象,无法达到最优的结果。并且,在计算和存储资源受限的移动嵌入式设备上部署这些繁琐的深度模型仍是一个挑战。
目前实测SAR图像目标分类数据集相对较少,针对SAR图像目标识别的研究基本上基于MSTAR(Mixed Signal Technology,Always Reliable)数据集展开。CNN训练需要庞大的数据量,但是现有的MSTAR数据集数据量十分有限,直接使用该数据集对数据训练无法保证模型的泛化性能。为减少在训练中对有标签数据的依赖,深度学习发展出了半监督学习、自监督学习等一系列不同于全监督学习的方法,其中自监督学习通过各种数据变换为无标记的数据创造“伪标签”,并以此进行网络的训练,在不依赖人工标记的同时依然能够达到与监督学习相似的效果。与有监督学习依赖标签的特性不同,自监督学习能够降低注释大规模数据集的成本。它采用自定义的伪标记来监督,并将学习的表示形式用于多个下游任务,并在对下游任务的微调中体现自监督模型的效果。此外,传统的CNN的计算量大,内存消耗大,计算速度慢,导致SAR目标识别模型很难部署到移动嵌入式设备中。因此,轻量级SAR目标识别方法的设计具有十分重要的应用价值。随着深度学习研究的不断推进,为实现高效的模型部署和应用,参数剪枝、知识蒸馏等模型压缩技术也在不断发展和演进。在众多发展的模型压缩技术中,知识蒸馏(Knowledge Distillation)的基本思想是利用大型模型的知识来引导小型模型的学习过程,可以在保证一定精度的情况下实现模型的压缩和加速。具体而言,它通过使用大型模型的输出作为目标(或称为软标签)来训练小型模型,同时结合原始数据的真实标签。因为大型模型拥有更多的参数和复杂的表示能力,因此可以提供更丰富的信息来指导小型模型的学习。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提出了一种基于自监督学习和知识蒸馏的SAR目标识别方法。
本发明解决所述技术问题采用的技术方案是:本发明提供一种基于自监督学习和响应蒸馏的SAR目标识别方法,包括如下步骤:
步骤1、构建ResNet50网络,对ResNet50网络进行自监督预训练;
步骤2、构建教师网络和学生网络;使用MSTAR数据集对预训练后的ResNet50网络进行训练,得到自监督迁移学习训练后的ResNet50-S网络,并将ResNet50-S网络作为教师网络;在ResNet8网络的基础上加入注意力机制,得到学生网络;
步骤3、将蒸馏温度引入softmax函数,得到教师网络的软目标和学生网络的软输出;
步骤4、将教师网络的分类输出和硬目标用于训练学生网络,学生网络包含一个7×7卷积层、3个残差块、4个注意力层和一个全连接层,每个残差块由两个3×3卷积层加入残差连接构成,注意力层由一个通道注意力层和一个空间注意力层串联而成;将硬目标和软目标作为学生网络的训练目标,对学生网络进行训练;
步骤5、对学生网络进行测试,得到蒸馏后的学生网络;将蒸馏后的学生网络作为目标识别网络,用于SAR图像的目标识别,得到最终的分类结果。
进一步的,所述教师网络软目标的计算公式为:
其中,PT-soft为教师网络的软目标,ZT为教师网络的预测输出,T表示蒸馏温度,softmax(·)为softmax函数;
学生网络软输出的计算公式为:
其中,PS-soft为学生网络的软输出,ZS为学生网络的预测输出。
进一步的,学生网络的训练参数为:迭代次数为30000,批量为128,学习率为0.001,动量为0.9,蒸馏损失系数α=0.8,蒸馏温度T=2。
与现有技术相比,本发明具有以下优点:
1.识别速度快
传统SAR目标识别方法算法通常应用深度卷积神经网络,已经取得了显著的成功,在具有大规模数据的真实场景中表现优异。然而,在移动嵌入式设备中部署深度神经网络仍然难以解决,因为设备的计算能力和内存一般都相对较小,所建立的模型虽然精度高但是模型计算量大,导致在资源有限的设备应用SAR目标的实时识别任务比较困难,而直接训练的小模型识别效果又不如模型压缩得到的效果好。传统压缩方法得到的模型仍需进行大量计算,测试速度较慢。针对这些不足本发明选用了模型压缩方法中的知识蒸馏方法,它可以将大模型中的信息传递到训练小模型中,而不会造成精度的显著下降。此外,知识蒸馏可以使模型参数量减少一半,而且预测所花的时间也大大减少,加快了检测速度。针对更大的预测样本,测算速度较之传统算法也很快。知识蒸馏在模型小型化上也具有较为明显的优势。
2.识别率高
常见的SRC、SVM、传统CNN、SAE特征融合算法在SAR图像目标分类中识别率不低,而结合自监督学习和知识蒸馏的SAR目标识别方法通过学生模型模仿经过自监督预训练的教师模型,可以获得更优越的表现,在参数量较小的情况下,也可以达到接近教师网络识别率的最佳识别效果,性能提升明显,优于传统识别方法。
附图说明
图1是本发明模型训练阶段的流程图;
图2是本发明模型测试阶段的流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细说明,但并不以此限定本申请的保护范围。
本发明提供一种基于自监督学习和知识蒸馏的SAR目标识别方法,包括如下步骤:
步骤1,对ResNet50网络进行自监督预训练;
本实施例采用现有MSTAR数据集共5170张图片,将大量杂波图像加入数据集中用以扩充训练数据,杂波图像采用滑窗裁剪来自其他数据集的大图中,共56680张。使用数据进行自监督对比学习对ResNet50网络进行自监督预训练。
步骤2,对进行自监督预训练后的教师网络ResNet50进行训练,以获得高性能的SAR识别模型ResNet50-S;
为了得到一个高分类精度的网络,选择了具有强大特征提取能力的ResNet50作为教师网络,它是一种残差网络,通过残差结构这种快捷连接方式可以加速训练,提升训练的效果,且不会增加额外参数。此外,它还能确保信号能够向后不衰减地通过梯度,即使网络层加深也能有效学习。由于其具有十分大的参数量,且SAR识别数据为小样本数据集,本文采取自监督对比学习对教师网络进行迁移学习初始化,以提高教师网络的识别精度。接下来,利用训练样本和硬目标(真值标签)训练获得高精度的教师网络。
步骤3,计算软目标和软输出;
知识蒸馏的一个常用方法是使用教师网络产生的类概率作为训练学生网络的软目标。知识蒸馏过程中,教师网络的预测输出除以蒸馏温度T之后再做softmax变换,可以获得软化的概率分布(软目标),数值介于0~1之间,取值分布较为缓和。其中,教师网络所获得的软目标预测包含了暗知识,而硬目标不具备这种预测能力。学生网络的输出除以蒸馏温度T之后再做softmax可以获得学生网络的软输出。
步骤4,采用教师网络ResNet50-S的分类输出作为训练学生网络ResNet8-CBAM的知识来源与硬目标共同训练学生网络;
为了获得一个与教师网络结构相似的学生网络,本发明设计了学生网络ResNet8-CBAM。与ResNet50教师网络不同的是,该学生网络只包含三个残差模块和四个CBAM注意力层,每个残差模块只有两个卷积层,从而大大减少了网络的参数量和计算量。
将硬目标和软目标作为学生网络ResNet8-CBAM的训练目标,分别引入与硬目标和软目标对应的损失函数Lhard和Lsoft。整个网络的损失函数公式如下:
L=(1-α)×Lhard+α×Lsoft (1)
其中,α是平衡Lhard和Lsoft的参数。L是总体损失函数,是Lhard和Lsoft的加权和。其中,Lhard:学生网络的类输出和硬目标的损失函数公式如下:
Lhard=-∑ylogPS-hard (2)
PS-hard=softmax(ZS) (3)
y表示硬目标,PS-hard表示学生网络的类输出。
Lsoft:学生网络的软输出和软目标的损失函数如下:
Lsoft=-∑PT-softlog(PS-soft) (4)
PS-soft表示学生网络的软输出,PT-soft表示教师网络的软目标。
步骤5,对训练后的学生网络进行测试,将SAR图像转换为三通道后输入训练后的学生网络ResNet8-CBAM,得到蒸馏后的学生网络;将蒸馏后的学生网络作为目标识别网络,用于SAR图像的目标识别,得到最终的分类结果。
本发明的效果可以通过以下实验进一步说明:
1.实验条件
实验运行平台:本发明训练阶段使用的显卡是NVIDIAGeForce RTX 2080 Ti,软件环境为Ubuntu 18.04系统,CUDA10.2以及Pytorch深度学习框架。
本实验采用MSTAR数据集,选择标准运行条件(SOC)下的10种地面车辆目标作为实验数据,选择俯视角17°的样本为训练集,俯视角15°的样本为测试集进行训练。
表1数据集样本
本方法使用ResNet50经过自监督预训练后的ResNet50-S作为教师网络。设计的学生网络是ResNet8-CBAM。本实验采用的优化算法为随机梯度下降(SGD)。实验训练参数如下:迭代次数30000,批量为128,学习率为0.001,动量为0.9;测试时批为1。此外,α=0.8和T=2。
为了定量评价不同的分类方法,选择了精度、参数、模型尺寸、FPS四个性能指标。准确性被定义为
其中,CNS表示测试集中正确分类的样本的数量;TNS表示测试集中所有样本的数量。
2.实验内容:
实验1,本发明使用的方法为离线蒸馏方式,蒸馏后的ResNet8-CBAM学生网络的分类性能在很大程度上取决于教师网络的性能。为了使知识蒸馏后学生网络的识别精度尽可能高,本实验选择了具有较强特征提取能力的ResNet50作为教师网络,在直接使用原始数据集进行训练的准确率不够高的情况下使用自监督对比学习进行预训练,期待网络具有更强的泛化性能,本实验在MSTAR数据集上进行识别任务实验并对比其性能。
实验1的结果分析如表2:
表2结合自监督对比学习的实验结果
如表2所示,对比于原始的网络,教师网络ResNet50结合自监督对比学习迁移后识别准确率有着明显的提升。这主要是基于以下原因。第一,自监督对比学习可以提供更丰富的训练样本,经过迁移学习之后,网络可以学习到更加广泛的特征表示,从而提高模型的泛化能力。第二,自监督对比学习可以利用大量的无标签数据,从而可以提高训练数据的规模,提高模型的泛化性能。第三,自监督对比学习可以产生更加鲁棒的特征表示,可以从不同图像中学习到共享的特征,从而可以在噪声或扰动的情况下保持不变。实验结果证明了自监督对比学习的有效性。
因此,选择预训练后获得性能最佳的ResNet50-S网络作为教师网络,对学生网络的训练进行监督和指导。
实验2,为了使网络重点关注目标特征,从而减轻背景杂波对于识别人物的影响,本文将注意力机制引入到SAR目标识别网络,从而构建一个轻量化的学生网络。结合注意力机制的实验结果如表3所示。其中,ResNet8为轻量化网络,ResNet8-CBAM为其结合注意力机制之后的学生网络。
表3结合注意力机制的实验结果
如表3所示,对比于原始的ResNet8,ResNet8-CBAM明显具有更高的识别准确率。这主要是由于加入注意力机制之后,模型可以在处理输入数据时更加关注重要的信息,帮助网络更好地应对噪声和扰动。从而有效的提升识别的性能。
实验3,为了有效的提升SAR目标识别的准确率和速度,本文将自监督对比学习和注意力机制于知识蒸馏架构相结合,具体的消融实验结果如表4所示。
表4消融实验结果
可以明显看出,无论是知识蒸馏、自监督对比学习、还是注意力机制,都可以显著提升学生网络模型的性能。相较于原本的ResNet8,本文提出的识别方法准确率提升超过70%,且相较于教师网络,识别准确率基本没有下降。这表明所提出的方法可以有效的借助于教师网络的指导,提取目标的可分性特征。此外,所提出方法还同时兼顾高效的识别速度,虽相对于原始的ResNet8有所降低,但仍保持较高的识别速度,远高于教师网络ResNet50,且具有较少的参数,计算复杂度低。这是由于相较于原始的ResNet8和ResNet50,提出方法有效的结合了知识蒸馏、自监督对比学习和注意力机制的优势,且参数量较少。其利用了大量无标签的数据进行训练,提升网络的鲁棒性;并且注意力机制可以有效的抑制背景杂波对于提取特征的干扰,提升识别的性能;最后,知识蒸馏从教师模型中传递知识给学生模型,显著提高学生模型的返还性能以提升识别准确率。
本实验表明,本发明的结合自监督学习和知识蒸馏的SAR目标识别网络可以在保持较高分类精度的同时,具有较高的分类效率,在SAR的实时应用上进行了具有进步意义的探索。
本发明未述及之处适用于现有技术。
Claims (3)
1.一种基于自监督学习和知识蒸馏的SAR目标识别方法,其特征在于,包括如下步骤:
步骤1、构建ResNet50网络,对ResNet50网络进行自监督预训练;
步骤2、构建教师网络和学生网络;使用MSTAR数据集对预训练后的ResNet50网络进行训练,得到自监督迁移学习训练后的ResNet50-S网络,并将ResNet50-S网络作为教师网络;在ResNet8网络的基础上加入注意力机制,得到学生网络;
步骤3、将蒸馏温度引入softmax函数,得到教师网络的软目标和学生网络的软输出;
步骤4、将教师网络的分类输出和硬目标用于训练学生网络,学生网络包含一个7×7卷积层、3个残差块、4个注意力层和一个全连接层,每个残差块由两个3×3卷积层加入残差连接构成,注意力层由一个通道注意力层和一个空间注意力层串联而成;将硬目标和软目标作为学生网络的训练目标,对学生网络进行训练;
步骤5、对学生网络进行测试,得到蒸馏后的学生网络;将蒸馏后的学生网络作为目标识别网络,用于SAR图像的目标识别,得到最终的分类结果。
2.根据权利要求1所述的结合自监督学习和知识蒸馏的SAR目标识别方法,其特征在于,所述教师网络软目标的计算公式为:
其中,PT-soft为教师网络的软目标,ZT为教师网络的预测输出,T表示蒸馏温度,softmax(·)为softmax函数;
学生网络软输出的计算公式为:
其中,PS-soft为学生网络的软输出,ZS为学生网络的预测输出。
3.根据权利要求1所述的结合自监督学习和知识蒸馏的SAR目标识别方法,其特征在于,在步骤4中,学生网络的训练参数为:迭代次数30000,批量为128,学习率为0.001,动量为0.9,蒸馏损失系数α=0.8,蒸馏温度T=2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310906452.5A CN116912585A (zh) | 2023-07-24 | 2023-07-24 | 基于自监督学习和知识蒸馏的sar目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310906452.5A CN116912585A (zh) | 2023-07-24 | 2023-07-24 | 基于自监督学习和知识蒸馏的sar目标识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116912585A true CN116912585A (zh) | 2023-10-20 |
Family
ID=88366522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310906452.5A Pending CN116912585A (zh) | 2023-07-24 | 2023-07-24 | 基于自监督学习和知识蒸馏的sar目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116912585A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274724A (zh) * | 2023-11-22 | 2023-12-22 | 电子科技大学 | 基于可变类别温度蒸馏的焊缝缺陷分类方法 |
CN117831138A (zh) * | 2024-03-05 | 2024-04-05 | 天津科技大学 | 基于三阶知识蒸馏的多模态生物特征识别方法 |
-
2023
- 2023-07-24 CN CN202310906452.5A patent/CN116912585A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274724A (zh) * | 2023-11-22 | 2023-12-22 | 电子科技大学 | 基于可变类别温度蒸馏的焊缝缺陷分类方法 |
CN117274724B (zh) * | 2023-11-22 | 2024-02-13 | 电子科技大学 | 基于可变类别温度蒸馏的焊缝缺陷分类方法 |
CN117831138A (zh) * | 2024-03-05 | 2024-04-05 | 天津科技大学 | 基于三阶知识蒸馏的多模态生物特征识别方法 |
CN117831138B (zh) * | 2024-03-05 | 2024-05-24 | 天津科技大学 | 基于三阶知识蒸馏的多模态生物特征识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | RSOD: Real-time small object detection algorithm in UAV-based traffic monitoring | |
CN113610126B (zh) | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 | |
CN108564109B (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
CN116912585A (zh) | 基于自监督学习和知识蒸馏的sar目标识别方法 | |
CN113780003B (zh) | 时空数据变分编解码跨模态增强方法 | |
Li et al. | Robust deep neural networks for road extraction from remote sensing images | |
CN111915644A (zh) | 孪生导向锚框rpn网络的实时目标跟踪方法 | |
CN115546196A (zh) | 一种基于知识蒸馏的轻量级遥感影像变化检测方法 | |
Tan et al. | Transformer-driven semantic relation inference for multilabel classification of high-resolution remote sensing images | |
Sun et al. | Image target detection algorithm compression and pruning based on neural network | |
Hou et al. | CANet: Contextual information and spatial attention based network for detecting small defects in manufacturing industry | |
CN114972904A (zh) | 一种基于对抗三元组损失的零样本知识蒸馏方法及系统 | |
Higgins et al. | Ship wake detection using data fusion in multi-sensor remote sensing applications | |
Hou et al. | SEA-net: sequence attention network for seismic event detection and phase arrival picking | |
Wang et al. | YOLO-ERF: lightweight object detector for UAV aerial images | |
CN115329821A (zh) | 一种基于配对编码网络和对比学习的舰船噪声识别方法 | |
Xu et al. | Compressed YOLOv5 for oriented object detection with integrated network slimming and knowledge distillation | |
CN115577793A (zh) | 一种面向网络结构的映射式蒸馏方法及其训练方法 | |
Jain et al. | Flynet–neural network model for automatic building detection from satellite images | |
Pang et al. | Target tracking based on siamese convolution neural networks | |
Yang et al. | PTCT: Patches with 3D-Temporal convolutional transformer network for precipitation nowcasting | |
Lin et al. | Efficient crowd density estimation with edge intelligence via structural reparameterization and knowledge transfer | |
Ji et al. | Reasonable object detection guided by knowledge of global context and category relationship | |
Liang et al. | SCDFMixer: Spatial-Channel Dual-Frequency Mixer Based on Satellite Optical Sensors for Remote Sensing Multi-Object Detection | |
CN115564999A (zh) | 基于知识蒸馏的sar图像轻量化目标识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |