CN116863279A - 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法 - Google Patents
用于移动端模型轻量化的基于可解释指导的模型蒸馏方法 Download PDFInfo
- Publication number
- CN116863279A CN116863279A CN202311120043.9A CN202311120043A CN116863279A CN 116863279 A CN116863279 A CN 116863279A CN 202311120043 A CN202311120043 A CN 202311120043A CN 116863279 A CN116863279 A CN 116863279A
- Authority
- CN
- China
- Prior art keywords
- model
- teacher
- mobile terminal
- distillation
- contribution degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004821 distillation Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims abstract description 17
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 11
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 239000013585 weight reducing agent Substances 0.000 claims abstract description 7
- 210000002569 neuron Anatomy 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，在训练移动端搭载的识别模型时，计算训练样本中每一张图片的每一个像素的相关性系数，获得输入样本的像素特征贡献度，根据特征贡献度形成贡献度热力图分布；将贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一教师遮盖无用特征；学生模型从第一教师中学习关键决策特征，得到分类模型，将训练完的模型，搭载在无人机上去进行图像的识别或分类。本发明利用可解释算法的特点，来提取输入样本中对分类决策起重要作用的特征区域，在蒸馏算法进行知识传递的过程中，减少无用特征的传递，即加快了蒸馏过程，又提高了蒸馏后学生模型的分类精度，提高了训练后模型质量。
Description
技术领域
本发明涉及模型蒸馏方法，特别是基于可解释指导的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法。
背景技术
在近几十年计算机视觉领域的发展中，深度神经网络是一个不可或缺的份子。他在各种真实场景的任务，例如图像分类、语义分割和目标检测中起到了关键性的作用。但是这些任务的完成通常需要很高的计算量和内存需求，性能的优势是以训练和部署具有数百万个参数的资源密集型网络为代价的。目前应用的重心逐渐转移到移动和嵌入式设备，大型CNN的计算成本、内存消耗和功耗等要求限制了他们在现实中的安装和部署，所以产生了模型压缩技术。模型压缩分为模型剪枝、模型量化和知识蒸馏等几个方向，知识蒸馏（KD）代表着将知识从大模型（教师模型）向小模型（学生模型）中转移的方法，该方法在不引入额外成本的情况下提高了小模型的性能。
KD首先提出通过最小化师生预测对数之间的KL-Divergence来传递知识，logit蒸馏实际上传递了暗知识，即分配给不正确类别的相对概率。自Fitnets以来，大部分的研究注意力都集中在从中间层的深层特征中提取知识上，利用特征作为传递的知识慢慢成为主流。近年来，对比表示蒸馏（CRD）通过使用对比目标来传递特征表示（倒数第二层）上的知识，而不是logits，在各种任务中取得了优异的效果。所以虽然logit蒸馏计算和存储成本比较低，但是基于特征的蒸馏在知识的选择和传递上更具备优势。
发明内容
本发明解决的技术问题：提供一种利用可解释算法提取样本中的分类决定因子，在知识传递中优先传递拥有关键分类因子的特征，从而解决小样本情况下的模型蒸馏问题。
技术方案：为了解决上述技术问题，本发明采用的技术方案如下：
一种用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，主要包括以下步骤：
步骤1：在训练移动端搭载的识别模型时，首先利用LRP算法计算训练样本中每一张图片的每一个像素的相关性系数，获得输入样本的像素特征贡献度，然后根据输入样本的特征贡献度形成贡献度热力图分布；
步骤2：将生成的贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一教师遮盖无用特征；
步骤3：学生模型从第一教师中学习关键决策特征，得到最终的分类模型；
步骤4：将训练完的模型，搭载在移动端设备如无人机上去进行图像的识别或分类。
进一步地，在步骤1中的实现方法如下：
步骤1.1：对于一个移动端的图像分类任务，/>是移动端模型的训练集输入的集合，/>是移动端模型的训练集所有类别的集合，给定一个输出/>，
，
其中，f (x)表示神经网络的输出，表示神经网络输出层输出的n维向量；y表示所有类别的集合；
LRP计算出输入图片中每一个像素的相关性系数，计算方法如下：
；
其中，表示第l+1层的第k个神经元的相关性系数，作为对于分类决策的贡献度；/>表示第l层的所有与k号神经元有关的所有神经元的的相关性系数之和，i表示神经网络第i层。
步骤1.2：对l+1层的所有神经元的相关性系数取和，通过和号交换性质，得出第l+1层的所有神经元的相关性系数之和等于第l层多有神经元的相关性系数之和；
步骤1.3：步骤1.1中，LRP算法计算出输入图片中每一个像素对于分类决策的贡献度，根据贡献度大小生成该图片的贡献度热力图。
进一步地，第l层多有神经元的相关性系数之和的计算方法为：
。
进一步地，在步骤2中，将生成的贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一教师遮盖无用特征，方法如下：
在网络训练中，使用和/>分别代表第一教师和第二教师中第m个特征块中的第i个特征图，对于/>中的特征，选取贡献度大于/>的部分将其覆盖在/>上，其余特征归零，表示为：
；
其中，表示经过遮盖后的第m个特征块中的第i个特征图，/>表示贡献度大小。
进一步地，在步骤3中，学生模型从第一教师中学习关键决策特征，得到最终的分类模型，方法如下：
步骤3.1：保留ground-truth的损失，以提高学生网络收敛速度；
步骤3.2：采用师生模型中的KL散度作为损失帮助学生网络更加直接和迅速的学习教师中的知识；
步骤3.3：获得总蒸馏损失。
进一步地，ground-truth的损失公式如下：
；
其中，表示交叉熵函数，/>表示输入的预测分类，/>表示真实的分类。
进一步地，教师模型和学生模型的logits损失的公式如下：
；
其中，KL表示计算KL散度的函数，表示经过遮盖后的第m个特征块中的第i个特征图，/>表示学生网络中第m个特征块中的第i个特征图。
进一步地，步骤3.3中，总蒸馏损失如下：
；
其中，表示调整/>在最终目标函数中所占比例的超参数，/>表示教师模型和学生模型的logits损失，/>表示ground-truth的损失。
有益效果：与现有技术相比，本发明具有以下有点：
（1）本发明通过引入可解释算法，将知识对分类决策的贡献度进行可视化。计算原始数据集在教师网络中对分类决策的贡献度，利用贡献度的不同，将图片转化为根据贡献度分布的热力图形成遮盖数据集。
（2）构建第二教师打破传统蒸馏方法中单一教师只有一次传递知识的阶段，能够更加迅速直接的传递有效知识，从而加速蒸馏的过程和提高蒸馏的精度。
（3）本发明相比于其他模型蒸馏方法，解决在数据量小的情况下小模型的分类精度低的问题，同时在师生异构的组合方面也具有很好的灵活性。
（4）本发明可以应用于移动端的检测模型和识别模型，如无人机上加载的轻量模型。由于芯片的限制无法加载大模型保证识别精度，可以利用蒸馏算法训练出拥有高精度识别度和小体量的模型加载在无人机上进行使用。
附图说明
图1是本发明基于可解释指导的模型蒸馏方法的流程示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，获得输入样本的像素特征贡献度；根据输入样本的特征贡献度形成贡献度热力图分布；将生成的贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一教师遮盖无用特征；学生模型从第一教师中学习关键决策特征，得到最终的分类模型。具体包括如下步骤1-步骤4共四大步骤：
步骤1：在训练移动端搭载的识别模型时，首先利用LRP算法计算训练样本中每一张图片的每一个像素的相关性系数，也就是获得输入样本的像素特征贡献度，根据输入样本的特征贡献度形成贡献度热力图分布，方法如下：
步骤1.1：对于一个移动端的图像分类任务，/>是移动端模型的训练集输入的集合，/>是移动端模型的训练集所有类别的集合，给定一个输出/>，
，
其中，f (x)表示神经网络的输出，表示神经网络输出层输出的n维向量；y表示所有类别的集合；
采用LRP（Layer-wise Relevance Propagation）算法计算出输入图片中每一个像素的相关性系数，计算方法如下：
；
其中，表示第l+1层的第k个神经元的相关性系数，作为对于分类决策的贡献度；/>表示第l层的所有与k号神经元有关的所有神经元的的相关性系数之和，i表示神经网络第i层。
步骤1.2：对l+1层的所有神经元的相关性系数取和，通过和号交换性质，得出第l+1层的所有神经元的相关性系数之和等于第l层多有神经元的相关性系数之和。
步骤1.3：步骤1.1中，LRP算法计算出输入图片中每一个像素对于分类决策的贡献度，根据贡献度大小生成该图片的贡献度热力图。
步骤2：将生成的贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一
教师遮盖无用特征，方法如下：在网络训练中，使用和分别代表第一教师和第二教
师中第m个特征块中的第i个特征图，对于中的特征，选取贡献度大于的部分将其覆盖
在上，其余特征归零，表示为：
；
其中，表示经过遮盖后的第m个特征块中的第i个特征图，/>表示贡献度大小。
步骤3：学生模型从第一教师中学习关键决策特征，得到最终的分类模型，方法如下：
步骤3.1：ground-truth的损失能起到极快的提高学生网络收敛速度的重要作用，所以对其进行一个保留，ground-truth的损失公式如下：
；
其中，表示交叉熵函数，/>表示输入的预测分类，/>表示真实的分类。步骤3.2：采用教师模型和学生模型的logits损失/>帮助学生网络更加直接和迅速的学习教师中的知识；
教师模型和学生模型的logits损失的公式如下：
；
其中，KL表示计算KL散度的函数，表示经过遮盖后的第m个特征块中的第i个特征图，/>表示学生网络中第m个特征块中的第i个特征图。
进一步地，步骤3.3中，总蒸馏损失如下：
；
其中，表示调整/>在最终目标函数中所占比例的超参数，/>表示教师模型和学生模型的logits损失，/>表示ground-truth的损失。
步骤4：将训练完的模型，搭载在移动端设备如无人机上去进行图像的识别或分类。
通过以下实验验证本发明的方法有效性和效率：
评估指标为分类模型的Top-1和Top-5识别率。
首先选择数据集，本发明选择了Tiny-ImageNet数据集，Tiny-imagenet数据集是斯坦福大学提供的图像分类数据集，其中包含200个类别，每个类别包含500张训练图像，50张验证图像及50张测试图像。该数据集模拟在移动端场景下如训练无人机识别模型使用的小样本数据。接着本发明选择使用MobileNet和ResNet作为本发明的深度神经网络模型，该神经网络均使用小体量模型从而满足移动端场景下只能搭载轻量级模型的情况，分别选择同构网络和异构网络作为不同的师生架构，将训练好的模型加载在无人机上进行实验。
表1 本发明在不同师生架构下的模型识别率
表2 本发明对比其他主流蒸馏方法的识别率
表1展现了本方法在ResNet34，ResNet18的师生架构下，蒸馏过后的学生模型比教师模型识别效果提升0.89%；在ResNet50，ResNet34的师生架构下，相比教师模型提升了0.62%；在ResNet34，MobileNet的师生架构下，相比与教师模型提升了0.91%。该蒸馏方法蒸馏出的模型大小和学生模型大小一样，但模型识别效果超过教师模型。满足移动端场景下搭载高精度、小体量模型的要求。表2中将本发明的方法同目前主流根据logits和特征的方法比较来说，在小样本数据集上有明显提升。
表1和表2的结果表示，本发明的方法能有效提高学生的分类精度，其中在小模型的训练上本发明的方法的效果更为明显一些，满足小模型在移动端场景下的高精度要求。通过添加了一个新阶段的知识传递，减少了学生学习到无用知识的过程，最终学生的分类效果甚至比教师更加的准确。并且不论是基于logits还是基于特征的蒸馏方法在分类精度上都低于本发明的方法，大部分方法在数据量较小的前提下都无法获取足够的知识以提高分类精度，而本发明的方法在知识有限的前提下能够提取关键知识，从而超越教师模型的效果。本发明的方法在处理数据量小，小容量网络难以训练的情况下有较好的表现。
本发明融合了可解释和知识蒸馏，来优化知识传递的过程。本发明相比于其他模型蒸馏方法，在保证模型的分类精度的同时，具有更快速的知识传递速度。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，主要包括以下步骤：
步骤1：在训练移动端搭载的识别模型时，首先利用LRP算法计算训练样本中每一张图片的每一个像素的相关性系数，获得输入样本的像素特征贡献度，然后根据输入样本的特征贡献度形成贡献度热力图分布；
步骤2：将生成的贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一教师遮盖无用特征；
步骤3：学生模型从第一教师中学习关键决策特征，得到最终的分类模型；
步骤4：将训练完的模型，搭载在移动端设备无人机上去进行图像的识别或分类。
2.根据权利要求1所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，在步骤1中的具体实现方法如下：
步骤1.1：对于一个移动端的图像分类任务，/>是移动端模型的训练集输入的集合，/>是移动端模型的训练集所有类别的集合，给定一个输出/>，
，
其中，f (x)表示神经网络的输出，表示神经网络输出层输出的n维向量；y表示所有类别的集合；
LRP计算出输入图片中每一个像素的相关性系数，计算方法如下：
；
其中，表示第l+1层的第k个神经元的相关性系数，作为对于分类决策的贡献度；表示第l层的所有与k号神经元有关的所有神经元的的相关性系数之和，i表示神经网络第i层；
步骤1.2：对l+1层的所有神经元的相关性系数取和，通过和号交换性质，得出第l+1层的所有神经元的相关性系数之和等于第l层多有神经元的相关性系数之和；
步骤1.3：步骤1.1中，LRP算法计算出输入图片中每一个像素对于分类决策的贡献度，根据贡献度大小生成该图片的贡献度热力图。
3.根据权利要求2所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，第l层多有神经元的相关性系数之和的计算方法为：
。
4.根据权利要求1所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，在步骤2中，将生成的贡献度热力图作为知识蒸馏中的第二教师，通过第二教师向第一教师遮盖无用特征，方法如下：
在网络训练中，使用和/>分别表示第一教师和第二教师中第m个特征块中的第i个特征图，对于/>中的特征，选取贡献度大于/>的部分将其覆盖在/>上，其余特征归零，表示为：
；
其中，表示经过遮盖后的第m个特征块中的第i个特征图，/>表示贡献度大小。
5.根据权利要求1所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，在步骤3中，学生模型从第一教师中学习关键决策特征，得到最终的分类模型，方法如下：
步骤3.1：保留ground-truth的损失，以提高学生网络收敛速度；
步骤3.2：采用师生模型中的KL散度作为损失帮助学生网络更加直接和迅速的学习教师中的知识；
步骤3.3：获得总蒸馏损失。
6.根据权利要求5所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，ground-truth的损失公式如下：
；
其中，表示交叉熵函数，/>表示输入的预测分类，/>表示真实的分类。
7.根据权利要求5所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，教师模型和学生模型的logits损失的公式如下：
；
其中，KL表示计算KL散度的函数，表示经过遮盖后的第m个特征块中的第i个特征图，表示学生网络中第m个特征块中的第i个特征图。
8.根据权利要求5所述的用于移动端模型轻量化的基于可解释指导的模型蒸馏方法，其特征在于，
步骤3.3中，总蒸馏损失如下：
；
其中，表示调整/>和/>在最终目标函数中所占比例的超参数，/>表示教师模型和学生模型的logits损失，/>表示ground-truth的损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311120043.9A CN116863279B (zh) | 2023-09-01 | 2023-09-01 | 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311120043.9A CN116863279B (zh) | 2023-09-01 | 2023-09-01 | 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116863279A true CN116863279A (zh) | 2023-10-10 |
| CN116863279B CN116863279B (zh) | 2023-11-21 |
Family
ID=88225271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311120043.9A Active CN116863279B (zh) | 2023-09-01 | 2023-09-01 | 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863279B (zh) |
Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002174603A (ja) * | 2000-12-08 | 2002-06-21 | Olympus Optical Co Ltd | 欠陥分類方法 |
| WO2019237846A1 (zh) * | 2018-06-11 | 2019-12-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| CN111783853A (zh) * | 2020-06-17 | 2020-10-16 | 北京航空航天大学 | 一种基于可解释性的检测并恢复神经网络对抗样本方法 |
| CN111967597A (zh) * | 2020-08-18 | 2020-11-20 | 上海商汤临港智能科技有限公司 | 神经网络训练及图像分类方法、装置、存储介质、设备 |
| CN112116030A (zh) * | 2020-10-13 | 2020-12-22 | 浙江大学 | 一种基于向量标准化和知识蒸馏的图像分类方法 |
| WO2021140426A1 (en) * | 2020-01-09 | 2021-07-15 | International Business Machines Corporation | Uncertainty guided semi-supervised neural network training for image classification |
| WO2021155650A1 (zh) * | 2020-02-03 | 2021-08-12 | 平安科技（深圳）有限公司 | 图片识别模型的训练方法、装置、计算机系统及存储介质 |
| WO2021168018A1 (en) * | 2020-02-20 | 2021-08-26 | Illumina, Inc. | Hardware execution and acceleration of artificial intelligence-based base caller |
| US20210383233A1 (en) * | 2020-06-09 | 2021-12-09 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, electronic device, and storage medium for distilling model |
| CN113887699A (zh) * | 2021-09-02 | 2022-01-04 | 美的集团(上海)有限公司 | 知识蒸馏方法及电子设备、存储介质 |
| WO2022002943A1 (en) * | 2020-06-29 | 2022-01-06 | L'oréal | Semantic Relation Preserving Knowledge Distillation For Image-To-Image Translation |
| CN114239685A (zh) * | 2021-11-18 | 2022-03-25 | 北京墨云科技有限公司 | 评估神经网络图像分类模型鲁棒性的方法及装置 |
| US20220129774A1 (en) * | 2020-10-27 | 2022-04-28 | Hitachi, Ltd. | Information processing system and information processing method |
| US20220207306A1 (en) * | 2020-12-24 | 2022-06-30 | Wipro Limited | System and method for diagnosing a disease using image classification |
| CN115063589A (zh) * | 2022-06-20 | 2022-09-16 | 平安科技（深圳）有限公司 | 基于知识蒸馏的车辆部件分割方法及相关设备 |
| US20220374717A1 (en) * | 2021-05-11 | 2022-11-24 | Nota, Inc. | Method and apparatus for energy-aware deep neural network compression |
| WO2023273026A1 (zh) * | 2021-06-29 | 2023-01-05 | 上海商汤智能科技有限公司 | 语义分割方法、装置、电子设备和计算机可读存储介质 |
| WO2023043001A1 (ko) * | 2021-09-14 | 2023-03-23 | 광주과학기술원 | 저해상도 이미지의 얼굴 인식 성능 향상을 위한 어텐션 맵 전달 방법 및 장치 |
| CN115908823A (zh) * | 2023-03-09 | 2023-04-04 | 南京航空航天大学 | 一种基于难度蒸馏的语义分割方法 |
| KR20230051110A (ko) * | 2021-10-08 | 2023-04-17 | 한국과학기술원 | 인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 |
| US20230132630A1 (en) * | 2021-11-01 | 2023-05-04 | Samsung Electronics Co., Ltd. | Apparatus and method with neural network training based on knowledge distillation |
| WO2023093244A1 (zh) * | 2021-11-24 | 2023-06-01 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置、设备、介质和程序产品 |
| CN116229519A (zh) * | 2023-03-17 | 2023-06-06 | 厦门大学 | 一种基于知识蒸馏的二维人体姿态估计方法 |
| CN116244473A (zh) * | 2023-02-10 | 2023-06-09 | 南京理工大学 | 一种基于特征解耦和图知识蒸馏的多模态情感识别方法 |
| CN116628742A (zh) * | 2023-05-18 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 隐私保护模型的训练方法、隐私保护方法及系统 |
| WO2023158881A1 (en) * | 2022-02-18 | 2023-08-24 | Google Llc | Computationally efficient distillation using generative neural networks |
-
2023
- 2023-09-01 CN CN202311120043.9A patent/CN116863279B/zh active Active
Patent Citations (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002174603A (ja) * | 2000-12-08 | 2002-06-21 | Olympus Optical Co Ltd | 欠陥分類方法 |
| WO2019237846A1 (zh) * | 2018-06-11 | 2019-12-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| WO2021140426A1 (en) * | 2020-01-09 | 2021-07-15 | International Business Machines Corporation | Uncertainty guided semi-supervised neural network training for image classification |
| WO2021155650A1 (zh) * | 2020-02-03 | 2021-08-12 | 平安科技（深圳）有限公司 | 图片识别模型的训练方法、装置、计算机系统及存储介质 |
| WO2021168018A1 (en) * | 2020-02-20 | 2021-08-26 | Illumina, Inc. | Hardware execution and acceleration of artificial intelligence-based base caller |
| US20210383233A1 (en) * | 2020-06-09 | 2021-12-09 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, electronic device, and storage medium for distilling model |
| CN111783853A (zh) * | 2020-06-17 | 2020-10-16 | 北京航空航天大学 | 一种基于可解释性的检测并恢复神经网络对抗样本方法 |
| WO2022002943A1 (en) * | 2020-06-29 | 2022-01-06 | L'oréal | Semantic Relation Preserving Knowledge Distillation For Image-To-Image Translation |
| CN111967597A (zh) * | 2020-08-18 | 2020-11-20 | 上海商汤临港智能科技有限公司 | 神经网络训练及图像分类方法、装置、存储介质、设备 |
| CN112116030A (zh) * | 2020-10-13 | 2020-12-22 | 浙江大学 | 一种基于向量标准化和知识蒸馏的图像分类方法 |
| US20220129774A1 (en) * | 2020-10-27 | 2022-04-28 | Hitachi, Ltd. | Information processing system and information processing method |
| US20220207306A1 (en) * | 2020-12-24 | 2022-06-30 | Wipro Limited | System and method for diagnosing a disease using image classification |
| US20220374717A1 (en) * | 2021-05-11 | 2022-11-24 | Nota, Inc. | Method and apparatus for energy-aware deep neural network compression |
| WO2023273026A1 (zh) * | 2021-06-29 | 2023-01-05 | 上海商汤智能科技有限公司 | 语义分割方法、装置、电子设备和计算机可读存储介质 |
| CN113887699A (zh) * | 2021-09-02 | 2022-01-04 | 美的集团(上海)有限公司 | 知识蒸馏方法及电子设备、存储介质 |
| WO2023043001A1 (ko) * | 2021-09-14 | 2023-03-23 | 광주과학기술원 | 저해상도 이미지의 얼굴 인식 성능 향상을 위한 어텐션 맵 전달 방법 및 장치 |
| KR20230051110A (ko) * | 2021-10-08 | 2023-04-17 | 한국과학기술원 | 인공지능 학습 모델 처리 장치 및 방법, 이를 위한 온보드 기반 이미지 처리 시스템, 인공지능 학습 모델 처리 방법을 수행하는 프로그램 및 인공지능 학습 모델 처리 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 |
| US20230132630A1 (en) * | 2021-11-01 | 2023-05-04 | Samsung Electronics Co., Ltd. | Apparatus and method with neural network training based on knowledge distillation |
| CN114239685A (zh) * | 2021-11-18 | 2022-03-25 | 北京墨云科技有限公司 | 评估神经网络图像分类模型鲁棒性的方法及装置 |
| WO2023093244A1 (zh) * | 2021-11-24 | 2023-06-01 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置、设备、介质和程序产品 |
| WO2023158881A1 (en) * | 2022-02-18 | 2023-08-24 | Google Llc | Computationally efficient distillation using generative neural networks |
| CN115063589A (zh) * | 2022-06-20 | 2022-09-16 | 平安科技（深圳）有限公司 | 基于知识蒸馏的车辆部件分割方法及相关设备 |
| CN116244473A (zh) * | 2023-02-10 | 2023-06-09 | 南京理工大学 | 一种基于特征解耦和图知识蒸馏的多模态情感识别方法 |
| CN115908823A (zh) * | 2023-03-09 | 2023-04-04 | 南京航空航天大学 | 一种基于难度蒸馏的语义分割方法 |
| CN116229519A (zh) * | 2023-03-17 | 2023-06-06 | 厦门大学 | 一种基于知识蒸馏的二维人体姿态估计方法 |
| CN116628742A (zh) * | 2023-05-18 | 2023-08-22 | 支付宝(杭州)信息技术有限公司 | 隐私保护模型的训练方法、隐私保护方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 宋杰: "基于深度学习的数字病理图像分割综述与展望", 软件学报, pages 1427 - 1460 * |
| 葛仕明;赵胜伟;刘文瑜;李晨钰;: "基于深度特征蒸馏的人脸识别", 北京交通大学学报, no. 06, pages 32 - 38 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116863279B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021042828A1 (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
| WO2023273290A1 (zh) | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 | |
| CN117456297A (zh) | 图像生成方法、神经网络的压缩方法及相关装置、设备 | |
| CN112446423B (zh) | 一种基于迁移学习的快速混合高阶注意力域对抗网络的方法 | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| CN111242157A (zh) | 联合深度注意力特征和条件对抗的无监督域自适应方法 | |
| CN113591978B (zh) | 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质 | |
| CN110738309A (zh) | Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统 | |
| CN113592007B (zh) | 一种基于知识蒸馏的不良图片识别系统、方法、计算机及存储介质 | |
| CN113313703A (zh) | 基于深度学习图像识别的无人机输电线巡检方法 | |
| CN111079847A (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN115294407A (zh) | 基于预习机制知识蒸馏的模型压缩方法及系统 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN113628059A (zh) | 一种基于多层图注意力网络的关联用户识别方法及装置 | |
| CN114677536B (zh) | 一种基于Transformer结构的预训练方法及装置 | |
| CN112668638A (zh) | 一种图像美学质量评估和语义识别联合分类方法及系统 | |
| CN116994021A (zh) | 图像检测方法、装置、计算机可读介质及电子设备 | |
| CN116884074A (zh) | 一种基于混合注意力机制的轻量级人脸识别方法 | |
| CN116863279B (zh) | 用于移动端模型轻量化的基于可解释指导的模型蒸馏方法 | |
| CN117093692A (zh) | 一种基于深度融合的多粒度图像-文本匹配方法及系统 | |
| CN115861595A (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| CN116310328A (zh) | 基于跨图像相似度关系的语义分割知识蒸馏方法及系统 | |
| CN116246305A (zh) | 一种基于混合部件变换网络的行人检索方法 | |
| CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |