CN112116030B - 一种基于向量标准化和知识蒸馏的图像分类方法 - Google Patents

一种基于向量标准化和知识蒸馏的图像分类方法 Download PDF

Info

Publication number
CN112116030B
CN112116030B CN202011091695.0A CN202011091695A CN112116030B CN 112116030 B CN112116030 B CN 112116030B CN 202011091695 A CN202011091695 A CN 202011091695A CN 112116030 B CN112116030 B CN 112116030B
Authority
CN
China
Prior art keywords
model
network
teacher
student
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011091695.0A
Other languages
English (en)
Other versions
CN112116030A (zh
Inventor
郭嘉
蔡登�
何晓飞
陈铭浩
胡尧
朱琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011091695.0A priority Critical patent/CN112116030B/zh
Publication of CN112116030A publication Critical patent/CN112116030A/zh
Application granted granted Critical
Publication of CN112116030B publication Critical patent/CN112116030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于向量标准化和知识蒸馏的图像分类方法，包括以下步骤：(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；(2)构建一个比教师模型小的学生模型，所述学生模型也采用深度卷积神经网络；(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；(4)将待分类的图像输入训练好的学生模型，进行分类预测。利用本发明，能够在不引入额外参数及计算开销的情况下，提升学生网络的性能，提高图像分类精度。

Description

一种基于向量标准化和知识蒸馏的图像分类方法
技术领域
本发明属于图像分类技术领域，尤其是涉及一种基于向量标准化和知识蒸馏的图像分类方法。
背景技术
随着人工智能时代的到来，深度学习技术已被广泛应用于多种图像分类领域：如人脸识别，自动驾驶，故障检测等。
模型压缩是当前深度学习模型部署最为热门的问题之一。它要求模型在参数变少的情况下，仍保持一定的精度。目前，最热门的方法包括参数量化，模型剪枝，知识蒸馏等。其中，知识蒸馏的方法效果较好，得到了广泛的重视。
在知识蒸馏中，一个较大的模型(教师)将知识传递到一个较小的模型(学生)上。在一些数据集上，知识蒸馏能够大大提升学生网络的性能。而无人驾驶汽车在部署视觉应用时，对模型响应延时，以及计算资源具有较高的要求。
视觉模型主要由深度卷积网络组成。图像矩阵从网络的输入端输入后，在输出端输出目标分属各个类别的概率值。其中，最大的概率值所对应的类别，被视为模型的预测类别。而在那些错误的类别上，模型仍会赋予不同大小的概率。这些概率被认为编码了类别间相似度的信息。如，一只猫除了在猫的类别上赋予最大的概率值之外，还会对一些相似的类别(如狗)赋予比相差较大的类别(如汽车)更大的概率值。知识蒸馏，就是利用这样的相似度信息，利用一个较大的模型，将这种知识传递到一个较小的模型上。
然而，知识蒸馏面临被称为“容量差距”的问题。这描述了蒸馏过程中出现的一个问题，如果教师网络变得过大，学生网络的性能反而会下降。这导致在进行蒸馏时，存在需要手动选择合适大小的教师网络问题。另外，这也导致无法简单的通过使用较大的教师网络来增强学生网络的性能。
发明内容
本发明提供了一种基于向量标准化和知识蒸馏的图像分类方法，能够在不引入额外参数及计算开销的情况下，提升学生网络的性能，提高图像分类精度。
一种基于向量标准化和知识蒸馏的图像分类方法，包括以下步骤：
(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；
(2)构建一个比教师模型小的学生模型，所述学生模型也采用深度卷积神经网络；
(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；
(4)学生模型训练完毕，将待分类的图像输入训练好的学生模型，进行分类预测。
本发明的方法，首先训练一个较大的深度卷积网络作为教师网络，然后在教师网络的监督信息下，训练一个较小的学生网络。该方法能够帮助一个较小的深度卷积网络保留教师网络的部分性能。同时，在概率值向量后加入了标准化方法，以解决容量差距问题。
步骤(1)的具体过程为：
(1-1)选择训练数据，对训练数据标准化以及做数据增强，随后送到深度卷积神经网络的输入层；
(1-2)将输入层得到的图像信号，送入多层卷积网络中；
(1-3)在网络的最高层，得到对类别信息的概率编码值；
(1-4)使用交叉熵损失函数对深度卷积神经网络进行训练；
(1-5)重复上述步骤，直到深度卷积神经网络收敛，得到训练好的教师模型。
进一步地，步骤(1-4)中，所述的交叉熵损失函数为：
Figure BDA0002722330610000031
式中，Lce为交叉熵损失函数，yi为标签，
Figure BDA0002722330610000032
为模型的输出概率分布。
进一步地，步骤(3)中，所述的蒸馏损失函数包括两部分，第一部分为学生网络与教师网络的KL散度，第二部分为交叉熵损失函数，可按照经验对两个损失函数赋予权重。具体为：
定义fi(x)为第i个样本的模型输出向量，
Figure BDA0002722330610000033
为标准化后的向量再乘一常数的向量，该常数一般为教师网络输出向量长度的平均值。
则第一部分的损失函数为
Figure BDA0002722330610000034
其中
Figure BDA0002722330610000035
为
Figure BDA0002722330610000036
Figure BDA0002722330610000037
代表了教师网络的概率分布输出，
Figure BDA0002722330610000038
代表了学生网络的概率分布输出。τ为超参数。
第二部分的损失函数交叉熵损失函数：
Figure BDA0002722330610000039
其中，
Figure BDA0002722330610000041
总的损失函数为Lkl与Lce的加权和，即：
L＝αLkl+(1-α)Lce
其中，参数α为0到1之间的超参数。
对学生模型和教师模型输出的概率编码向量进行标准化具体为：让不同图像对应的概率编码向量拥有统一的模长，统一的模长为教师网络类别编码向量模长的平均值。
与现有技术相比，本发明具有以下有益效果：
1、本发明在教师网络的监督信息下，训练一个较小的学生网络，能够更好的利用教师模型的监督信号，提升学生模型的训练精度。
2、本发明在类别概率值向量后使用标准化，缓解了容量差距问题，方法简单有效，没有引入额外参数和计算开销，也没有损失教师网络的性能。
3、本发明解决了对于温度超参数敏感的问题。
4、本发明在多项数据集上，取得了良好的效果，大大提升了学生网络的性能。
附图说明
图1为本发明方法的流程示意图；
图2为本发明中知识蒸馏整体框架的示意图；
图3为教师网络大小和学生网络性能关系示意图；
图4为本发明实施例中学生网络和教师网络概率编码向量的模长(即长度)和标准化向量(即方向)的差距(使用平均方差损失)示意图；
图5为本发明实施例中蒸馏对温度超参数敏感性示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，一种基于向量标准化和知识蒸馏的图像分类方法，包括以下步骤：
S01，训练一个教师模型。
本实施例中，使用ImageNet数据集作为训练集，任务是给定一张图像，判断该图像的类别。该数据集一共包括一千种类别，包括动物，汽车等。
教师模型为一个残差卷积神经网络(也可使用别的图像识别人工神经网络)，将图像输入到残差卷积神经网络中。该神经网络主要包括两项技术，卷积网络及残差网络。该残差卷积网络可参照2016年发表在国际顶级会议IEEE International Conference onComputer Vision上的《Deep Residual Learning for Image Recognition》。
训练使用交叉熵损失函数，一般训练若干个周期后，模型收敛。训练教师网络的具体步骤为：
S101，选择训练数据，对训练数据标准化以及做数据增强，随后送到深度卷积网络的输入层。
S102，将输入层得到的图像信号，送入多层卷积网络中。
S103，在网络的最高层，得到对类别信息的概率编码值。
S104，使用交叉熵损失函数对网络进行训练。
S105，重复上述步骤，直到深度卷积模型收敛。
S02，训练学生模型。
训练学生网络的具体步骤为：
S201，选择训练数据，对训练数据标准化以及做数据增强，随后送到深度卷积网络的输入层。
S202，将输入层得到的图像信号，送入多层卷积网络中。
S203，在网络的最高层，得到对类别信息的概率编码值。
S204，对学生网络和教师网络的概率编码的向量进行标准化，即让不同图像对应的概率编码向量拥有统一的模长，该模长一般为教师网络类别编码向量模长的平均值。
S205，使用定义的蒸馏损失函数进行训练。
S206，重复上述步骤，直到深度卷积模型收敛。
学生模型与教师模型类似，一般为较小或相同大小的卷积网络。本发明中，知识蒸馏的整体框架如图2所示，与教师模型类似，学生模型的训练仍包括交叉熵损失函数。在通过SoftMax计算概率分布之前，先将模型的输出向量，即logits，进行标准化。之后，计算学生模型和教师模型的KL散度，与交叉熵相加得到最终的损失函数。
S03，用训练好的学生模型进行预测任务。
现有的蒸馏技术受限于容量差距问题，即当教师网络变大时，蒸馏效果往往变差，不能利用更大的教师模型的更好的性能。如图3所示，当教师网络变大时，学生网络性能变差。一个简单的思路是可以选择一个大小合适的教师网络，但这样的话，教师网络的性能就受到了限制。
本发明将容量差距量化为模长的差距和方向的差距，并通过标准化，解决了这一问题。如果将学生网络学习教师网络时，学生网络和教师网络概率编码向量的模长和标准化向量的平均方差损失分别记录，如图4可见，则这两个将会随着教师网络的增大而增大。这说明，容量差距可以体现在模长的差距和标准化向量(即方向)的差距。而通过标准化，学生可以不学教师网络的模长信息，于是，学生网络的性能得以提升。
另外，本发明还解决了蒸馏对温度超参数敏感的问题。如图5所示，普通的蒸馏(KD)对温度参数敏感，而本发明(SKD)在温度变化时都可以得到很好的性能。
为了证明本发明方法的有效性，在ImageNet数据集上进行了对比实验。ImageNet含有1.4M的数据，分布在一千个类别。
对比实验结果如表1所示。表中所有模型均为ResNet18，表1中，第一列为baseline模型，没有使用蒸馏方法。本发明的方法为SKD，下标代表使用的教师模型大小。
表1
Figure BDA0002722330610000071
可以看出，在图像分类任务上，本发明的方法对比其他蒸馏方法以及基础模型，都有明显提升。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于向量标准化和知识蒸馏的图像分类方法，其特征在于，包括以下步骤：
(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；
(2)构建一个比教师模型小的学生模型，所述学生模型采用深度卷积神经网络；
(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化，让不同图像对应的概率编码向量拥有统一的模长，统一的模长为教师网络类别编码向量模长的平均值；
所述的蒸馏损失函数包括两部分，第一部分为学生网络与教师网络的KL散度，第二部分为交叉熵损失函数，具体为：
定义fi(x)为第i个样本的模型输出向量，
Figure FDA0003620638930000011
为标准化后的向量乘一常数，则第一部分的损失函数为
Figure FDA0003620638930000012
其中，
Figure FDA0003620638930000013
为
Figure FDA0003620638930000014
Figure FDA0003620638930000015
代表了教师网络的概率分布输出，
Figure FDA0003620638930000016
代表了学生网络的概率分布输出，τ为超参数；
第二部分的损失函数为：
Figure FDA0003620638930000017
其中，pi为
Figure FDA0003620638930000021
总的损失函数为Lkl与Lce的加权和，即：
L＝αLkl+(1-α)Lce
其中，参数α为0到1之间的超参数；
(4)学生模型训练完毕，将待分类的图像输入训练好的学生模型，进行分类预测。
2.根据权利要求1所述的基于向量标准化和知识蒸馏的图像分类方法，其特征在于，步骤(1)的具体过程为：
(1-1)选择训练数据，对训练数据标准化以及做数据增强，随后送到深度卷积神经网络的输入层；
(1-2)将输入层得到的图像信号，送入多层卷积网络中；
(1-3)在网络的最高层，得到对类别信息的概率编码值；
(1-4)使用交叉熵损失函数对深度卷积神经网络进行训练；
(1-5)重复上述步骤，直到深度卷积神经网络收敛，得到训练好的教师模型。
3.根据权利要求2所述的基于向量标准化和知识蒸馏的图像分类方法，其特征在于，步骤(1-4)中，所述的交叉熵损失函数为：
Figure FDA0003620638930000022
式中，Lce为交叉熵损失函数，yi为标签，
Figure FDA0003620638930000023
为模型的输出概率分布。
CN202011091695.0A 2020-10-13 2020-10-13 一种基于向量标准化和知识蒸馏的图像分类方法 Active CN112116030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011091695.0A CN112116030B (zh) 2020-10-13 2020-10-13 一种基于向量标准化和知识蒸馏的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011091695.0A CN112116030B (zh) 2020-10-13 2020-10-13 一种基于向量标准化和知识蒸馏的图像分类方法

Publications (2)

Publication Number Publication Date
CN112116030A CN112116030A (zh) 2020-12-22
CN112116030B true CN112116030B (zh) 2022-08-30

Family

ID=73798225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011091695.0A Active CN112116030B (zh) 2020-10-13 2020-10-13 一种基于向量标准化和知识蒸馏的图像分类方法

Country Status (1)

Country Link
CN (1) CN112116030B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560978B (zh) * 2020-12-23 2023-09-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备及存储介质
CN112767320A (zh) * 2020-12-31 2021-05-07 平安科技（深圳）有限公司 图像检测方法、装置、电子设备及存储介质
CN112613303B (zh) * 2021-01-07 2023-02-21 福州大学 一种基于知识蒸馏的跨模态图像美学质量评价方法
CN112365885B (zh) * 2021-01-18 2021-05-07 深圳市友杰智新科技有限公司 唤醒模型的训练方法、装置和计算机设备
CN112906747A (zh) * 2021-01-25 2021-06-04 北京工业大学 一种基于知识蒸馏的图像分类方法
CN112801209B (zh) * 2021-02-26 2022-10-25 同济大学 基于双特长教师模型知识融合的图像分类方法及存储介质
CN112967088A (zh) * 2021-03-03 2021-06-15 上海数鸣人工智能科技有限公司 基于知识蒸馏的营销活动预测模型结构和预测方法
CN113112020B (zh) * 2021-03-25 2022-06-28 厦门大学 一种基于生成网络与知识蒸馏的模型网络提取和压缩方法
CN113065564A (zh) * 2021-04-25 2021-07-02 合肥中科类脑智能技术有限公司 一种嵌入式端的表计主刻度线实时分割方法及系统
CN113408570A (zh) * 2021-05-08 2021-09-17 浙江智慧视频安防创新中心有限公司 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN113408571B (zh) * 2021-05-08 2022-07-19 浙江智慧视频安防创新中心有限公司 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端
CN113222034B (zh) * 2021-05-20 2022-01-14 浙江大学 基于知识蒸馏的细粒度多类别不平衡故障分类方法
CN113343796B (zh) * 2021-05-25 2022-04-05 哈尔滨工程大学 一种基于知识蒸馏的雷达信号调制方式识别方法
CN113283386A (zh) * 2021-05-25 2021-08-20 中国矿业大学(北京) 一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法
CN113344206A (zh) * 2021-06-25 2021-09-03 江苏大学 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN113343898B (zh) * 2021-06-25 2022-02-11 江苏大学 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备
CN113591978B (zh) * 2021-07-30 2023-10-20 山东大学 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN113610146B (zh) * 2021-08-03 2023-08-04 江西鑫铂瑞科技有限公司 基于中间层特征提取增强的知识蒸馏实现图像分类的方法
CN113592007B (zh) * 2021-08-05 2022-05-31 哈尔滨理工大学 一种基于知识蒸馏的不良图片识别系统、方法、计算机及存储介质
CN113592023B (zh) * 2021-08-11 2024-02-27 杭州电子科技大学 一种基于深度模型框架的高效细粒度图像分类模型
CN113657523A (zh) * 2021-08-23 2021-11-16 科大讯飞股份有限公司 一种图像目标分类方法、装置、设备及存储介质
CN113887698A (zh) * 2021-08-25 2022-01-04 浙江大学 基于图神经网络的整体知识蒸馏方法和系统
CN113807214B (zh) * 2021-08-31 2024-01-05 中国科学院上海微系统与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113779581B (zh) * 2021-09-15 2022-08-26 山东省计算中心（国家超级计算济南中心） 一种轻量化高精度恶意软件识别模型的鲁棒检测方法及系统
CN113837073A (zh) * 2021-09-22 2021-12-24 广西大学 一种基于卷积神经网络的核桃虫害识别系统及检测方法
CN113837308B (zh) * 2021-09-29 2022-08-05 北京百度网讯科技有限公司 基于知识蒸馏的模型训练方法、装置、电子设备
CN114241282B (zh) * 2021-11-04 2024-01-26 河南工业大学 一种基于知识蒸馏的边缘设备场景识别方法及装置
CN114418954A (zh) * 2021-12-24 2022-04-29 中国科学院深圳先进技术研究院 一种基于互学习的半监督医学图像分割方法及其系统
CN114358206B (zh) * 2022-01-12 2022-11-01 合肥工业大学 二值神经网络模型训练方法及系统、图像处理方法及系统
CN114936567A (zh) * 2022-05-26 2022-08-23 清华大学 一种基于知识蒸馏的无监督机器翻译质量预估方法和装置
CN115511059B (zh) * 2022-10-12 2024-02-09 北华航天工业学院 一种基于卷积神经网络通道解耦的网络轻量化方法
CN116028891B (zh) * 2023-02-16 2023-07-14 之江实验室 一种基于多模型融合的工业异常检测模型训练方法和装置
CN116030257B (zh) * 2023-02-27 2023-08-15 速度科技股份有限公司 一种基于NesT模型的语义分割方法
CN116205290B (zh) * 2023-05-06 2023-09-15 之江实验室 一种基于中间特征知识融合的知识蒸馏方法和装置
CN116863279B (zh) * 2023-09-01 2023-11-21 南京理工大学 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法
CN117274724B (zh) * 2023-11-22 2024-02-13 电子科技大学 基于可变类别温度蒸馏的焊缝缺陷分类方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460249A (zh) * 2020-02-24 2020-07-28 桂林电子科技大学 一种基于学习者偏好建模的个性化学习资源推荐方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062489B (zh) * 2019-12-11 2023-10-20 北京知道创宇信息技术股份有限公司 一种基于知识蒸馏的多语言模型压缩方法、装置
CN111402311B (zh) * 2020-03-09 2023-04-14 福建帝视信息科技有限公司 一种基于知识蒸馏的轻量级立体视差估计方法
CN111461212B (zh) * 2020-03-31 2023-04-07 中国科学院计算技术研究所 一种用于点云目标检测模型的压缩方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460249A (zh) * 2020-02-24 2020-07-28 桂林电子科技大学 一种基于学习者偏好建模的个性化学习资源推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Spatial Knowledge Distillation to aid Visual Reasoning》;Somak Aditya 等;《arXiv:1812.03631v2》;20181211;第1-11页； *

Also Published As

Publication number Publication date
CN112116030A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112116030B (zh) 一种基于向量标准化和知识蒸馏的图像分类方法
CN111554268B (zh) 基于语言模型的语言识别方法、文本分类方法和装置
CN110163258B (zh) 一种基于语义属性注意力重分配机制的零样本学习方法及系统
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
CN109214452B (zh) 基于注意深度双向循环神经网络的hrrp目标识别方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN109635763B (zh) 一种人群密度估计方法
CN111461025B (zh) 一种自主进化的零样本学习的信号识别方法
CN112183742B (zh) 基于渐进式量化和Hessian信息的神经网络混合量化方法
WO2020232874A1 (zh) 基于迁移学习的建模方法、装置、计算机设备和存储介质
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
US20230134531A1 (en) Method and system for rapid retrieval of target images based on artificial intelligence
CN113255830A (zh) 基于变分自编码器与高斯混合模型的无监督目标检测方法及系统
CN109492610B (zh) 一种行人重识别方法、装置及可读存储介质
CN114490950A (zh) 编码器模型的训练方法及存储介质、相似度预测方法及系统
CN114742224A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN117217368A (zh) 预测模型的训练方法、装置、设备、介质及程序产品
CN117114053A (zh) 基于结构搜索和知识蒸馏的卷积神经网络模型压缩方法和装置
CN116467930A (zh) 一种基于Transformer的结构化数据通用建模方法
CN113177587B (zh) 基于主动学习和变分自编码器的广义零样本目标分类方法
CN115423105A (zh) 一种预训练语言模型构建方法、系统及装置
CN117523218A (zh) 标签生成、图像分类模型的训练、图像分类方法及装置
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法
CN112766354A (zh) 一种基于知识图谱的小样本图片识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant