CN115953630A - 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 - Google Patents
一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 Download PDFInfo
- Publication number
- CN115953630A CN115953630A CN202310038225.5A CN202310038225A CN115953630A CN 115953630 A CN115953630 A CN 115953630A CN 202310038225 A CN202310038225 A CN 202310038225A CN 115953630 A CN115953630 A CN 115953630A
- Authority
- CN
- China
- Prior art keywords
- local
- global
- query
- representing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000004821 distillation Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000013145 classification model Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于全局‑局部知识蒸馏的跨域小样本图像分类方法。构建了由全局分支和局部分支构成的分类模型,其中,全局分支以原始图像为输入,用于提取图像的全局特征,局部分支以原始图像的局部块为输入,用于提取该图像的局部特征;在两分支之间,通过构建全局‑局部知识蒸馏损失促进全局特征关注到图像的局部区域,使得全局特征捕获丰富的语义信息,进而提升全局特征在跨域小样本任务上的泛化性能。
Description
技术领域
本发明属图像处理技术领域,具体涉及一种基于全局-局部知识蒸馏的跨域小样本图像分类方法。
背景技术
图像处理是机器视觉走向工业应用的关键技术,而图像分类是图像处理技术的基础。在医学、遥感等多种场景下,图像数据往往难以获取,呈现典型的小样本特性。为了缓解小样本问题,一种有效的方式是利用源域数据学习可迁移的知识,并将学习到的知识泛化到目标域的小样本任务中。然而,由于源域与目标域之间存在域差异,导致源域上训练的模型难以有效地泛化到目标域中。为此,研究适用于跨域场景下的小样本图像分类技术具有重要的应用价值。文献“Snell J,Swersky K,Zemel R.Prototypical networks for fewlearning[C]//Advances in Neural Information Processing Systems.2017:4077-.”提出一种基于原型的小样本图像分类方法。它首先使用深度神经网络提取图像的特征,然后在特征空间中利用每个小样本任务中的少量标记样本构建类别的原型表示,最后根据测试样本到这些类别原型之间的距离进行类别隶属关系的分配。然而,由于深度神经网络的简单性偏好,导致该方法构建的原型往往只能捕获最具判别性的模式,例如,颜色、形状等,忽略了具有跨域泛化能力的语义信息。因此,该方法在跨域小样本图像分类任务中性能表现不佳。
发明内容
为了克服现有技术的不足,本发明提供一种基于全局-局部知识蒸馏的跨域小样本图像分类方法。构建了由全局分支和局部分支构成的分类模型,其中,全局分支以原始图像为输入,用于提取图像的全局特征,局部分支以原始图像的局部块为输入,用于提取该图像的局部特征;在两分支之间,通过构建全局-局部知识蒸馏损失促进全局特征关注到图像的局部区域,使得全局特征捕获丰富的语义信息,进而提升全局特征在跨域小样本任务上的泛化性能。
一种基于全局-局部知识蒸馏的跨域小样本图像分类方法,其特征在于步骤如下:
步骤2:构建模型的全局分支,其处理过程如下:
步骤3:构建模型的局部分支,其处理过程如下:
其中,I表示小样本任务中查询样本的总个数,表示查询样本的全局-局部知识蒸馏损失,表示跨图像的局部-全局蒸馏损失,λ1表示全局-局部知识蒸馏损失项的系数,设置λ1为1,λ2表示跨图像的局部-全局蒸馏损失项的系数,设置λ2为0.15;
步骤5:根据步骤4计算的模型总损失,使用随机梯度下降法,端到端的训练全局分支的网络参数,并按下式进行局部分支的网络参数的更新:
θT←mθT+(1-m)θS(8)
其中,θT表示局部分支中的网络参数,m表示指数移动平均更新中的动量系数,设置m为0.998,θS表示全局分支中的网络参数,←表示更新操作;
步骤6:将待处理图像数据集输入到步骤5训练后得到的全局分支,预测得到其中每幅图像的隶属类别,完成图像分类。
本发明的有益效果是:通过训练阶段构建的全局-局部知识蒸馏框架促进全局特征关注到图像的局部信息,从而使模型能够学习到泛化性强的语义表征,提升在跨域小样本任务上的泛化性能;采用端到端的框架设计方式,一旦模型在源域(训练数据集)上训练完成之后,即可在任意目标域(待处理图像数据集)的小样本任务上进行测试,无需微调特征提取模型;本发明能够在跨域小样本图像分类中获得较好的分类效果。
具体实施方式
下面结合实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明提供了一种基于全局-局部知识蒸馏的跨域小样本图像分类方法,其具体实现过程如下:
1、构建小样本任务训练数据集
跨域小样本图像分类任务要求模型在源域中进行训练,然后对目标域中的小样本任务进行处理。因此,首先基于现有的图像数据集构建小样本任务训练数据集,具体为:从数据集中随机采样N个类别,每个类别随机采样K个监督样本,这N*K个样本构成支持集同时,从N个类别随机采样M个未标记样本,这N*M个样本构成查询集
2、全局分支计算
构建模型的全局分支,其处理过程如下:
3、局部分支计算
构建模型的局部分支,其处理过程如下:
然后,与步骤2类似,先使用局部分支中的特征提取网络提取得到各个局部图像块对应的局部特征其中,局部分支中的特征提取网络采用ResNet-10网络。再使用步骤2计算的原型对局部特征进行类别隶属关系预测,得到各个局部图像块对应的预测得分
4、计算总损失
其中,I表示小样本任务中查询样本的总个数,表示查询样本的全局-局部知识蒸馏损失,表示跨图像的局部-全局蒸馏损失,λ1表示全局-局部知识蒸馏损失项的系数,设置λ1为1,λ2表示跨图像的局部-全局蒸馏损失项的系数,设置λ2为0.15;
5、训练模型
根据步骤4计算的模型总损失,使用随机梯度下降法,端到端的训练全局分支的网络参数。对于局部分支的网络参数,使用全局分支的指数移动平均进行参数更新,即:
θT←mθT+(1-m)θS(16)
其中,θT表示局部分支中的网络参数,m表示指数移动平均更新中的动量系数,设置m为0.998,θS表示全局分支中的网络参数,←表示更新操作。
6、图像分类
模型训练完成之后,丢弃局部分支,只保留全局分支对目标域中的小样本图像进行分类处理,即将待处理图像数据集输入到步骤5训练后得到的全局分支,按照步骤2的计算过程,预测得到其中每幅图像的隶属类别,完成图像分类任务。
本发明能够在跨域小样本图像分类任务中取得较好的分类性能。例如,本实施例使用mini-ImageNet数据集作为源域的训练数据集进行模型训练,然后对遥感场景分类数据集EuroSAT以及医学图像数据集ISIC作为目标域进行分类处理,本发明方法在5-way 1-shot任务上(支持集中包含5个类别,每个类别中有1个样本)分别取得了63.70%和33.51%的分类精度,相比于现有基于原型的小样本图像分类方法分别提高了4.59%和1.78%。
Claims (1)
1.一种基于全局-局部知识蒸馏的跨域小样本图像分类方法,其特征在于步骤如下:
步骤2:构建模型的全局分支,其处理过程如下:
步骤3:构建模型的局部分支,其处理过程如下:
其中,I表示小样本任务中查询样本的总个数,表示查询样本的全局-局部知识蒸馏损失,表示跨图像的局部-全局蒸馏损失,λ1表示全局-局部知识蒸馏损失项的系数,设置λ1为1,λ2表示跨图像的局部-全局蒸馏损失项的系数,设置λ2为0.15;所述的查询样本的全局-局部知识蒸馏损失
按下式计算得到:
步骤5:根据步骤4计算的模型总损失,使用随机梯度下降法,端到端的训练全局分支的网络参数,并按下式进行局部分支的网络参数的更新:
θT←mθT+(1-m)θS(8)其中,θT表示局部分支中的网络参数,m表示指数移动平均更新中的动量系数,设置m为0.998,θS表示全局分支中的网络参数,←表示更新操作;
步骤6:将待处理图像数据集输入到步骤5训练后得到的全局分支,预测得到其中每幅图像的隶属类别,完成图像分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310038225.5A CN115953630A (zh) | 2023-01-09 | 2023-01-09 | 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310038225.5A CN115953630A (zh) | 2023-01-09 | 2023-01-09 | 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115953630A true CN115953630A (zh) | 2023-04-11 |
Family
ID=87296752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310038225.5A Pending CN115953630A (zh) | 2023-01-09 | 2023-01-09 | 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115953630A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630721A (zh) * | 2023-06-14 | 2023-08-22 | 电子科技大学中山学院 | 基于局部特征补全的图像分类方法、装置、设备及介质 |
CN116994076A (zh) * | 2023-09-28 | 2023-11-03 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
CN117196070A (zh) * | 2023-11-08 | 2023-12-08 | 山东省计算中心(国家超级计算济南中心) | 一种面向异构数据的双重联邦蒸馏学习方法及装置 |
CN118172617A (zh) * | 2024-05-16 | 2024-06-11 | 江西师范大学 | 一种基于跨视图语义一致性的跨域小样本细粒度分类方法 |
-
2023
- 2023-01-09 CN CN202310038225.5A patent/CN115953630A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116630721A (zh) * | 2023-06-14 | 2023-08-22 | 电子科技大学中山学院 | 基于局部特征补全的图像分类方法、装置、设备及介质 |
CN116630721B (zh) * | 2023-06-14 | 2024-02-13 | 电子科技大学中山学院 | 基于局部特征补全的图像分类方法、装置、设备及介质 |
CN116994076A (zh) * | 2023-09-28 | 2023-11-03 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
CN116994076B (zh) * | 2023-09-28 | 2024-01-19 | 中国海洋大学 | 一种基于双分支相互学习特征生成的小样本图像识别方法 |
CN117196070A (zh) * | 2023-11-08 | 2023-12-08 | 山东省计算中心(国家超级计算济南中心) | 一种面向异构数据的双重联邦蒸馏学习方法及装置 |
CN117196070B (zh) * | 2023-11-08 | 2024-01-26 | 山东省计算中心(国家超级计算济南中心) | 一种面向异构数据的双重联邦蒸馏学习方法及装置 |
CN118172617A (zh) * | 2024-05-16 | 2024-06-11 | 江西师范大学 | 一种基于跨视图语义一致性的跨域小样本细粒度分类方法 |
CN118172617B (zh) * | 2024-05-16 | 2024-07-23 | 江西师范大学 | 一种基于跨视图语义一致性的跨域小样本细粒度分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414368B (zh) | 一种基于知识蒸馏的无监督行人重识别方法 | |
CN115953630A (zh) | 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法 | |
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
CN104992223B (zh) | 基于深度学习的密集人数估计方法 | |
CN111126360A (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
CN105913087B (zh) | 基于最优池化卷积神经网络的物体识别方法 | |
CN111931637A (zh) | 基于双流卷积神经网络的跨模态行人重识别方法和系统 | |
CN112241762B (zh) | 一种用于病虫害图像分类的细粒度识别方法 | |
CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN108596038B (zh) | 一种结合形态学分割和神经网络的粪便中红细胞识别方法 | |
CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
CN111611889B (zh) | 基于改进卷积神经网络的农田微型虫害识别装置 | |
CN113221787A (zh) | 基于多元差异性融合的行人多目标跟踪方法 | |
CN110728216A (zh) | 一种基于行人属性自适应学习的无监督行人再识别方法 | |
CN113139501B (zh) | 一种联合局部区域检测与多级特征抓取的行人多属性识别方法 | |
CN114782997B (zh) | 基于多损失注意力自适应网络的行人重识别方法及系统 | |
CN111832479B (zh) | 基于改进的自适应锚点r-cnn的视频目标检测方法 | |
CN115527269B (zh) | 一种人体姿态图像智能识别方法及系统 | |
CN111462173B (zh) | 基于孪生网络判别特征学习的视觉跟踪方法 | |
CN112115780A (zh) | 一种基于深度多模型协同的半监督行人重识别方法 | |
CN114676769A (zh) | 一种基于视觉Transformer的小样本昆虫图像识别方法 | |
CN111444816A (zh) | 一种基于Faster RCNN的多尺度密集行人检测方法 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN114445691A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN114022688A (zh) | 一种实时的牲畜身份识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |