CN116416456A - 基于自蒸馏的图像分类方法、系统、存储介质和电子设备 - Google Patents

基于自蒸馏的图像分类方法、系统、存储介质和电子设备 Download PDF

Info

Publication number
CN116416456A
CN116416456A CN202310071832.1A CN202310071832A CN116416456A CN 116416456 A CN116416456 A CN 116416456A CN 202310071832 A CN202310071832 A CN 202310071832A CN 116416456 A CN116416456 A CN 116416456A
Authority
CN
China
Prior art keywords
image
image classification
feature map
classification model
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310071832.1A
Other languages
English (en)
Other versions
CN116416456B (zh
Inventor
程彦皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Original Assignee
Shumei Tianxia Beijing Technology Co ltd
Beijing Nextdata Times Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shumei Tianxia Beijing Technology Co ltd, Beijing Nextdata Times Technology Co ltd filed Critical Shumei Tianxia Beijing Technology Co ltd
Priority to CN202310071832.1A priority Critical patent/CN116416456B/zh
Publication of CN116416456A publication Critical patent/CN116416456A/zh
Application granted granted Critical
Publication of CN116416456B publication Critical patent/CN116416456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自蒸馏的图像分类方法、系统、存储介质和电子设备，包括：基于多个图像样本，对卷积神经网络进行迭代训练，得到第一图像分类模型；将每个图像样本输入第一图像分类模型，得到并将输出特征图分别输入特征处理模块和注意力机制模块，得到并根据原始特征图和注意力特征图进行自蒸馏，得到并根据每个图像样本的自蒸馏损失值，对第一图像分类模型的参数进行优化，直至第二图像分类模型满足预设条件时，将第二图像分类模型确定为目标图像分类模型；将待测图像输入至目标图像分类模型，得到图像分类结果。本发明能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。

Description

基于自蒸馏的图像分类方法、系统、存储介质和电子设备
技术领域
本发明涉及知识蒸馏技术领域，尤其涉及一种基于自蒸馏的图像分类方法、系统、存储介质和电子设备。
背景技术
知识蒸馏是将知识从预先训练的较大的教师网络转移到学生网络的方法，使得较小的学生网络获得与教师网络相近的识别效果，同时降低部署时的计算复杂度。但现有的知识蒸馏方法，首先要训练较大的教师网络，待教师网络训练完成后，利用教师网络训练学生网络，这种方法虽然还可以有效提升学生网络的效果，但训练周期较长，难以维护。
因此，如何在不损失学生网络的效果的基础上，有效节省训练时间，是当前亟需解决的技术问题。
发明内容
为解决上述技术问题，本发明提供了一种基于自蒸馏的图像分类方法、系统、存储介质和电子设备。
本发明的基于自蒸馏的图像分类方法的技术方案如下：
基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型；
将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值；
基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并返回执行所述将任一图像样本输入所述第一图像分类模型的步骤，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型；
将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
本发明的基于自蒸馏的图像分类方法的有益效果如下：
本发明的方法不需要单独训练教师网络，能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。
在上述方案的基础上，本发明的基于自蒸馏的图像分类方法还可以做如下改进。
进一步，所述特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层；
所述将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图的步骤，包括：
将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。
进一步，所述注意力机制模块包括：全局平均池化层、节点权重计算模块、通道维度的第二平均池化层和第二L2归一化层；
所述将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图的步骤，包括：
将所述输出特征图输入至所述所述全局平均池化层进行全局平均池化处理，得到第一特征图；
通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重，并将所述第一特征图的正确预测节点所对应的权重与所述输出特征图相乘，得到第二特征图；
将所述第二特征图依次通过所述通道维度的第二平均池化层和第二L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的注意力特征图。
进一步，还包括：
对任一图像样本进行分类标注，得到该图像样本的分类标签信息，直至得到每个图像样本的分类标签信息。
进一步，所述通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重的步骤，包括：
基于任一图像样本的分类标签信息，确定该图像样本的第一特征图的正确预测节点，以获取该图像样本的第一特征图的正确预测节点所对应的权重。
进一步，所述预设训练条件为：达到最大迭代训练次数或所述第二图像分类模型的损失值收敛。
本发明的基于自蒸馏的图像分类系统的技术方案如下：
包括：预训练模块、处理模块、训练模块和运行模块；
所述预训练模块用于：基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型；
所述处理模块用于：将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值；
所述训练模块用于：基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并调用所述处理模块，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型；
所述运行模块用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
本发明的基于自蒸馏的图像分类系统的有益效果如下：
本发明的系统不需要单独训练教师网络，能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。
在上述方案的基础上，本发明的基于自蒸馏的图像分类系统还可以做如下改进。
进一步，所述特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层；所述处理模块具体用于：
将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。
本发明的一种存储介质的技术方案如下：
存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的基于自蒸馏的图像分类方法的步骤。
本发明的一种电子设备的技术方案如下：
包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如本发明的基于自蒸馏的图像分类方法的步骤。
附图说明
图1示出了本发明提供的基于自蒸馏的图像分类方法的实施例的流程示意图；
图2示出了本发明提供的基于自蒸馏的图像分类方法的实施例中自蒸馏的结构示意图；
图3示出了本发明提供的基于自蒸馏的图像分类系统的实施例的结构示意图。
具体实施方式
图1示出了本发明提供的基于自蒸馏的图像分类方法的实施例的流程示意图。如图1所示，该方法包括如下步骤：
步骤110：基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型。
其中，①图像样本为：任意选取的用于图像分类的图像。②卷积神经网络的作用为：对输入的图像进行图像分类处理。③卷积神经网络进行迭代训练的次数约为40次，也可根据实际需求进行设定。例如，损失值不再持续收敛(变小)，即可停止迭代训练。④第一图像分类模型为：卷积神经网络经过训练后所得到的用于图像分类的模型。
需要说明的是，卷积神经网络是通过使用交叉熵进行训练的。
步骤120：将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值。
其中，①输出特征图为：将图像输入第一图像分类模型进行图像分类处理后所得到的特征图。②如图2所示，特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层。③注意力机制模块包括：全局平均池化层、节点权重计算模块、通道维度的第二平均池化层和第二L2归一化层。
需要说明的是，通过对图像的原始特征图和注意力特征图计算损失，能够使得第一图像分类模型学习到空间注意力特征。其中，使用L2 Loss计算原始特征图和注意力特征图的损失，L2 Loss为目标变量和预测值的差值平方和，具体公式为：Loss＝(y1-y2)2；y1为注意力特征图，y2为原始特征图。
步骤130：基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并返回执行步骤120，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型。
其中，①第二图像分类模型为：根据一次训练过程所得到的自蒸馏损失值，对第一图像分类模型的参数进行优化后所得到的图像分类模型。②目标图像分类模型为：最终训练好的图像分类模型。③预设训练条件为：达到最大迭代训练次数或第二图像分类模型的损失值收敛。
具体地，基于所有的自蒸馏损失值，对第一图像分类模型的参数进行优化，得到第二图像分类模型；判断第二图像分类模型是否满足预设训练条件，若是，则将第二图像分类模型确定为目标图像分类模型；若否，则将第二图像分类模型作为第一图像分类模型并返回执行步骤120，直至第二图像分类模型满足预设训练条件时，将第二图像分类模型确定为目标图像分类模型。
步骤140：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
其中，①待测图像为：任意选取的待进行图像分类的图像。②图像分类结果为：包含待测图像的至少一种类别的分类结果。
较优地，所述将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图的步骤，包括：
将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。
较优地，所述将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图的步骤，包括：
将所述输出特征图输入至所述所述全局平均池化层进行全局平均池化处理，得到第一特征图。
通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重，并将所述第一特征图的正确预测节点所对应的权重与所述输出特征图相乘，得到第二特征图。
将所述第二特征图依次通过所述通道维度的第二平均池化层和第二L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的注意力特征图。
较优地，还包括：
对任一图像样本进行分类标注，得到该图像样本的分类标签信息，直至得到每个图像样本的分类标签信息。
其中，分类标签信息为：对图像样本对应的每种类别进行标注所得到的标签信息。
较优地，所述通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重的步骤，包括：
基于任一图像样本的分类标签信息，确定该图像样本的第一特征图的正确预测节点，以获取该图像样本的第一特征图的正确预测节点所对应的权重。
其中，①第一特征图对应多个预测节点，一个预测节点对应一个预测类别。②正确预测节点为：与第一特征图对应的图像样本的分类标签信息中的标注类别相同的预测节点。
本实施例的技术方案不需要单独训练教师网络，能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。
图2示出了本发明提供的基于自蒸馏的图像分类系统的实施例的结构示意图。如图2所示，该系统200包括：预训练模块210、处理模块220、训练模块230和运行模块240。
所述预训练模块210用于：基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型；
所述处理模块220用于：将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值；
所述训练模块230用于：基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并调用所述处理模块220，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型；
所述运行模块240用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
较优地，所述特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层；所述处理模块具体用于：
将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。
本实施例的技术方案不需要单独训练教师网络，能够利用模型自身的注意力图进行蒸馏，在有效压缩图像分类模型训练时间的同时，确保了图像分类的效果不受影响。
上述关于本实施例的一种基于自蒸馏的图像分类系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于基于自蒸馏的图像分类方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如基于自蒸馏的图像分类方法的步骤，具体可参考上文中基于自蒸馏的图像分类方法的实施例中的各参数和步骤，在此不做赘述。
计算机存储介质例如：优盘、移动硬盘等。
本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如基于自蒸馏的图像分类方法的步骤，具体可参考上文中的基于自蒸馏的图像分类方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为方法、系统、存储介质和电子设备。
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于自蒸馏的图像分类方法，其特征在于，包括：
基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型；
将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值；
基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并返回执行所述将任一图像样本输入所述第一图像分类模型的步骤，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型；
将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
2.根据权利要求1所述的基于自蒸馏的图像分类方法，其特征在于，所述特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层；
所述将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图的步骤，包括：
将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。
3.根据权利要求1或2所述的基于自蒸馏的图像分类方法，其特征在于，所述注意力机制模块包括：全局平均池化层、节点权重计算模块、通道维度的第二平均池化层和第二L2归一化层；
所述将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图的步骤，包括：
将所述输出特征图输入至所述所述全局平均池化层进行全局平均池化处理，得到第一特征图；
通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重，并将所述第一特征图的正确预测节点所对应的权重与所述输出特征图相乘，得到第二特征图；
将所述第二特征图依次通过所述通道维度的第二平均池化层和第二L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的注意力特征图。
4.根据权利要求3所述的基于自蒸馏的图像分类方法，其特征在于，还包括：
对任一图像样本进行分类标注，得到该图像样本的分类标签信息，直至得到每个图像样本的分类标签信息。
5.根据权利要求4所述的基于自蒸馏的图像分类方法，其特征在于，所述通过所述节点权重计算模块获取所述第一特征图的正确预测节点所对应的权重的步骤，包括：
基于任一图像样本的分类标签信息，确定该图像样本的第一特征图的正确预测节点，以获取该图像样本的第一特征图的正确预测节点所对应的权重。
6.根据权利要求1所述的基于自蒸馏的图像分类方法，其特征在于，所述预设训练条件为：达到最大迭代训练次数或所述第二图像分类模型的损失值收敛。
7.一种基于自蒸馏的图像分类系统，其特征在于，包括：预训练模块、处理模块、训练模块和运行模块；
所述预训练模块用于：基于多个图像样本，对用于图像分类的卷积神经网络进行迭代训练，得到第一图像分类模型；
所述处理模块用于：将任一图像样本输入所述第一图像分类模型，得到该图像样本对应的输出特征图，并将所述输出特征图输入至特征处理模块，得到该图像样本的原始特征图，将所述输出特征图输入至注意力机制模块，得到该图像样本的注意力特征图，并基于该图像样本的原始特征图和注意力特征图进行自蒸馏，得到该图像样本的自蒸馏损失值，直至得到每个图像样本的自蒸馏损失值；
所述训练模块用于：基于所有的自蒸馏损失值，对所述第一图像分类模型的参数进行优化，得到第二图像分类模型，将所述第二图像分类模型作为所述第一图像分类模型并调用所述处理模块，直至所述第二图像分类模型满足预设训练条件时，将所述第二图像分类模型确定为目标图像分类模型；
所述运行模块用于：将待测图像输入至所述目标图像分类模型，得到所述待测图像的图像分类结果。
8.根据权利要求7所述的基于自蒸馏的图像分类系统，其特征在于，所述特征处理模块包括：依次连接设置的通道维度的第一平均池化层和第一L2归一化层；所述处理模块具体用于：
将所述输出特征图依次通过所述通道维度的第一平均池化层和所述第一L2归一化层进行通道维度平均池化处理和L2归一化处理，得到该图像样本的原始特征图。
9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至6中任一项所述的基于自蒸馏的图像分类方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如权利要求1至6中任一项所述的基于自蒸馏的图像分类方法。
CN202310071832.1A 2023-01-13 2023-01-13 基于自蒸馏的图像分类方法、系统、存储介质和电子设备 Active CN116416456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310071832.1A CN116416456B (zh) 2023-01-13 2023-01-13 基于自蒸馏的图像分类方法、系统、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310071832.1A CN116416456B (zh) 2023-01-13 2023-01-13 基于自蒸馏的图像分类方法、系统、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN116416456A true CN116416456A (zh) 2023-07-11
CN116416456B CN116416456B (zh) 2023-10-24

Family

ID=87055495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310071832.1A Active CN116416456B (zh) 2023-01-13 2023-01-13 基于自蒸馏的图像分类方法、系统、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN116416456B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472730A (zh) * 2019-08-07 2019-11-19 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法
CN113449840A (zh) * 2020-03-27 2021-09-28 南京人工智能高等研究院有限公司 神经网络训练方法及装置、图像分类的方法及装置
CN113507466A (zh) * 2021-07-07 2021-10-15 浙江大学 基于注意力机制，知识蒸馏防御后门攻击的方法及系统
CN114298287A (zh) * 2022-01-11 2022-04-08 平安科技（深圳）有限公司 基于知识蒸馏的预测方法和装置、电子设备、存储介质
CN115100470A (zh) * 2022-06-23 2022-09-23 苏州科技大学 小样本图像分类系统及其方法
US20220309340A1 (en) * 2021-03-26 2022-09-29 Google Llc Self-Adaptive Distillation
CN115457006A (zh) * 2022-09-23 2022-12-09 华能澜沧江水电股份有限公司 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置
CN115512156A (zh) * 2022-09-26 2022-12-23 河南垂天科技有限公司 一种用于图像分类模型训练的自蒸馏训练方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472730A (zh) * 2019-08-07 2019-11-19 交叉信息核心技术研究院(西安)有限公司 一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法
CN113449840A (zh) * 2020-03-27 2021-09-28 南京人工智能高等研究院有限公司 神经网络训练方法及装置、图像分类的方法及装置
US20220309340A1 (en) * 2021-03-26 2022-09-29 Google Llc Self-Adaptive Distillation
CN113507466A (zh) * 2021-07-07 2021-10-15 浙江大学 基于注意力机制，知识蒸馏防御后门攻击的方法及系统
CN114298287A (zh) * 2022-01-11 2022-04-08 平安科技（深圳）有限公司 基于知识蒸馏的预测方法和装置、电子设备、存储介质
CN115100470A (zh) * 2022-06-23 2022-09-23 苏州科技大学 小样本图像分类系统及其方法
CN115457006A (zh) * 2022-09-23 2022-12-09 华能澜沧江水电股份有限公司 基于相似一致性自蒸馏的无人机巡检缺陷分类方法及装置
CN115512156A (zh) * 2022-09-26 2022-12-23 河南垂天科技有限公司 一种用于图像分类模型训练的自蒸馏训练方法

Also Published As

Publication number Publication date
CN116416456B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN112116030B (zh) 一种基于向量标准化和知识蒸馏的图像分类方法
CN108197652B (zh) 用于生成信息的方法和装置
CN111414987B (zh) 神经网络的训练方法、训练装置和电子设备
CN111523640B (zh) 神经网络模型的训练方法和装置
CN110096617B (zh) 视频分类方法、装置、电子设备及计算机可读存储介质
CN110705573A (zh) 一种目标检测模型的自动建模方法及装置
CN115187772A (zh) 目标检测网络的训练及目标检测方法、装置及设备
CN110929532B (zh) 数据处理方法、装置、设备及存储介质
CN116486308A (zh) 基于智慧教育的教学管理系统及其方法
CN109978058B (zh) 确定图像分类的方法、装置、终端及存储介质
CN111554270B (zh) 训练样本筛选方法及电子设备
CN116416456B (zh) 基于自蒸馏的图像分类方法、系统、存储介质和电子设备
WO2024016949A1 (zh) 标签生成、图像分类模型的方法、图像分类方法及装置
CN112786028A (zh) 声学模型处理方法、装置、设备和可读存储介质
CN112017777A (zh) 相似对问题预测的方法、装置及电子设备
CN115984640B (zh) 一种基于组合蒸馏技术的目标检测方法、系统和存储介质
CN115565548A (zh) 异常声音检测方法、装置、存储介质及电子设备
CN115346084A (zh) 样本处理方法、装置、电子设备、存储介质及程序产品
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
CN112434717B (zh) 一种模型训练方法及装置
CN114639390A (zh) 一种语音噪声分析方法及系统
CN109409226B (zh) 一种基于级联优化cnn的手指静脉图质量评估方法及其装置
CN110147881B (zh) 语言处理方法、装置、设备及存储介质
CN115687910A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant