CN110059740A - 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 - Google Patents
一种针对嵌入式移动端的深度学习语义分割模型压缩方法 Download PDFInfo
- Publication number
- CN110059740A CN110059740A CN201910294185.4A CN201910294185A CN110059740A CN 110059740 A CN110059740 A CN 110059740A CN 201910294185 A CN201910294185 A CN 201910294185A CN 110059740 A CN110059740 A CN 110059740A
- Authority
- CN
- China
- Prior art keywords
- network
- distillation
- teacher
- segmentation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对嵌入式移动端的深度学习语义分割模型压缩方法。本发明中固定训练得到的教师网络参数权值,对鉴别网络与学生网络进行不断训练与学习,在三个不同层次上进行蒸馏(成对蒸馏、像素蒸馏、整体蒸馏),以使总体优化目标(交叉熵损失、像素蒸馏损失、成对蒸馏损失、整体蒸馏损失)不断优化,最终使经过蒸馏得到的学生网络在满足IoU(Intersection over Union)下降极少的情况下参数数量大大减少以及网络前向推算时间大量减少。本发明解决了嵌入式移动端因为自身GPU能力以及供电受限的情况下无法搭载大型深度学习网络的问题,并大量减少任务计算时间,使嵌入式移动端平台搭载复杂的深度网络模型成为可能。
Description
技术领域
本发明涉及自动驾驶领域,特别是嵌入式移动端平台上的深度学习语义分割任务,提供一种针对嵌入式移动端的语义分割模型的压缩方法,使嵌入式移动端平台执行语义分割任务时计算参数量更少、计算速度更快。
背景技术
今年来卷积神经网络作为深度学习中的常用基础网络模块,在计算机视觉任务中的图像分类、目标检测和语义分割等任务中的作用逐渐变得不可或缺。
自从2012年深度学习算法在目标识别领域的识别精度得到突破性提升以来,各种深度学习算法在不同的计算机视觉任务中大放异彩。伴随着这些深度学习算法模型不断逼近目标函数评价标准极限的同时,模型本身的复杂度(主要是模型深度和参数量)也在不断上升,对计算设备的计算性能要求也在不断迫近当今计算机设备的计算能力前沿。
移动端平台由于其散热能力弱以及成本敏感问题往往不能搭载较高级别的图形处理器,而图形处理器的参数又决定着其能运行的网络模型参数上限;同时模型的深度也影响着模型的运算时间,更深的网络会在训练阶段产生更多的中间变量,这些中间变量在反向传播过程中消耗着计算时间,同时也占用固定的内存空间。
因此如何在手机等嵌入式移动端平台上压缩深度网络模型,在不影响网络模型效果或影响网络模型效果较小的情况下使得移动端平台能够使用深度网络模型,减少模型参数量和降低模型运算时间,对深度网络模型的落地使用具有较大的实际价值。
发明内容
本发明的目的在于提供一种针对移动端平台的深度学习语义分割模型压缩方法。
本发明通过输入训练原始图片和分割得到的标签结果,经过训练的PSPNet作为教师网络,使用知识蒸馏的方式迁移知识,得到更适合移动端平台用于前向推理得到语义分割结果的小模型(学生网络)。
一种针对移动端平台的深度学习语义分割模型压缩方法,涉及包括教师网络、学生网络、鉴别网络、三种不同级别的蒸馏结构(成对蒸馏、像素蒸馏、整体蒸馏)、网络内部的三种损失函数(区别损失函数、分割损失函数、蒸馏损失函数),以及深度学习训练平台和嵌入式移动端平台。
所述教师网络原型基于深度学习ESPNet分割网络模型,接收输入的图像,输出在特征图、像素级别上的分类取值,送入损失函数进行下一步处理。
所述学生网络为需要得到的小网络,算法过程中需要其接受输入图像,输出在特征图、像素级别的分类取值,送入损失函数进行下一步处理。
所述鉴别网络相当于生成式对抗网络(Generative Adversarial Networks)中的判别器,其接受教师网络中对输入原图的像素分割作为真实图,接受学生网络中对输入原图的像素分割作为分割图,使用Wasserstein距离计算两种分割结果表示教师网络分割结果与当前学生网络的分割结果是否匹配。
所述成对蒸馏结构,为使用已经训练好且分割结果良好的教师网络,计算教师网络特征图中两两像素之间的相关性,以及学生网络特征图中两两像素之间的相关性,并使用这两者的相关性计算平方差计算成对蒸馏损失lpa(S),使学生网络特征图尽可能逼近教师网络特征图。
所述像素蒸馏结构,为教师网络的单像素输出概率与学生网络的单像素输出概率作为输入,使用Kullback-Leibler距离计算对应像素点上的教师网络与学生网络的每类概率距离作为输出,即为像素蒸馏损失lpi(S)。
所述整体蒸馏结构,为接受教师网络与学生网络对同一张原始图像的分割图,使用鉴别网络作为判别器计算两张分割图的匹配得分作为整体蒸馏损失lho(S,D)。
所述区别损失函数,本发明中即为Wasserstein距离。
所述分割损失函数,本发明中即为交叉熵损失。
所述蒸馏损失函数,本发明中即为成对蒸馏损失、像素蒸馏损失以及Holistic损失。
进一步地,针对移动端平台的深度学习语义分割模型压缩方法中的优化目标有像素蒸馏损失:
其中表示从学生S网络结构中产生的第i个像素的类概率,表示从教师T网络结构中产生的第i个像素的类概率,KL()函数为计算以上两者的Kullback-Leibler距离,R={1,2,...W'×H'}表示所有像素点。
有成对蒸馏损失:
其中表示学生网络特征图中的第i个像素与第j个像素的相似度,表示教师网络特征图中的第i个像素和第j个像素的相似度。
有整体蒸馏损失:
其中I为输入的RGB原图,QS为学生网络对应I输出的分割图,Qt为教师网络对应I输出的分割图,E()函数为计算期望,D()函数为具有五个卷积层的全卷积鉴别网络,输出原图与分割结果匹配的评分。
整个蒸馏网络的总体优化函数为:
l(S,D)=lmc(S)+λ1(lpi(S)+lpa(S))-λ22lho(S,D)
所述深度学习训练平台为一台具有较强计算能力的服务器,其使用X99E-WS主板,搭载1颗intel i7-7700k CPU和两张3840个CUDA核心,12GB GDDR5显存的Pascal架构显卡Titan Xp。其拥有的足够的显存能够加载并支持较大Caffe模型的参数估计,拥有足够多的CUDA和极高的1582Mhz加速频率能加速得到模型参数。
所述嵌入式移动端平台为具有一定计算能力的Nvidia Jetson TX1型号计算机,其GPU采用maxwell架构,拥有256个CUDA核心;CPU采用Quad ARM A57/2 MB L2;支持4k*2k30Hz HEVC编码或4k*2k 60Hz解码;4GB 64bit LPDDR4内存;16G eMMC闪存。能搭载目前常用的深度学习框架,具有一定的深度学习前向推测能力。
一种针对移动端平台的深度学习语义分割模型压缩方法,包括如下步骤:
步骤1、首先配置深度学习训练平台以及嵌入式移动端平台的环境,将深度学习算法需要的框架安装完毕。
步骤2、搭建教师网络。
步骤3、使用对应的数据集训练教师网络,直至教师网络在执行语义分割任务时具有良好的表现。
步骤4、搭建蒸馏网络。
步骤5、训练鉴别网络,鉴别网络的目的在于得到一个对教师网络分割的正确结果输出高分、对学生网络分割的错误结果输出低分的网络参数。
步骤6、训练学生网络,在给定的教师网络和鉴别网络下,最小化学生网络和对应教师网络分割结果的多类交叉熵损失。
步骤7、反复迭代以上步骤5以及步骤6,直至总体优化目标满足需求,得到经过蒸馏的学生网络。
步骤8、将步骤7得到的学生网络结构及学生网络权重载入嵌入式移动端平台。
步骤9、对嵌入式移动端平台输入待分割图像,执行语义图像分割任务,得到分割结果。
本发明的有益效果:
(1)提供一种针对嵌入式移动平台语义分割模型的压缩方法。
(2)在对分割结果准确率不造成较多影响的前提下有效减少模型参数量,加快执行语义分割任务时模型前向推测速度,使嵌入式移动端平台上的快速语义分割成为可能。
附图说明
图1为本发明一种针对嵌入式移动端平台的深度学习语义分割模型压缩方法主要蒸馏框架。
图2为本发明一种针对嵌入式移动端平台的深度学习语义分割模型压缩方法实现流程图。
具体实施方式
以下结合附图对本发明进一步说明。
结合图1,一种针对嵌入式移动端平台的深度学习语义分割模型压缩方法主要蒸馏框架,包括教师网络、学生网络、鉴别网络、三种不同级别的蒸馏结构(成对蒸馏、像素蒸馏、整体蒸馏)、网络内部的三种损失函数(区别损失函数、分割损失函数、蒸馏损失函数),其中:
所述教师网络原型基于深度学习ESPNet分割网络模型,接收输入的原始图像,输出在特征图以及对应像素上的每类分类概率取值以及分类结果,送入损失函数进行下一步处理。
所述学生网络为需要蒸馏得到的小网络,算法过程中需要接受输入原始图像,输出在特征图、对应像素点上的每类分类概率值以及分类结果,送入损失函数进行下一步处理。
所述成对蒸馏结构,为使用已经训练好且分割结果良好的教师网络,计算教师网络特征图中两两像素之间的相关性,以及学生网络特征图中两两像素之间的相关性,并使用这两者的相关性计算平方差计算成对蒸馏损失lpa(S),使学生网络特征图尽可能逼近教师网络特征图。
所述像素蒸馏结构,为教师网络的单像素输出概率与学生网络的单像素输出概率作为输入,使用Kullback-Leibler距离计算对应像素点上的教师网络与学生网络的每类概率距离作为输出,即为像素损失lpi(S)。
所述鉴别网络相当于生成式对抗网络(Generative Adversarial Networks)中的判别器,其接受教师网络中对输入原图的像素分割作为真实图,接受学生网络中对输入原图的像素分割作为分割图,使用Wasserstein距离计算两种分割结果表示教师网络分割结果与当前学生网络的分割结果是否匹配。
所述整体蒸馏结构,为接受教师网络与学生网络对同一张原始图像的分割图,使用鉴别网络作为判别器计算两张分割图的匹配得分作为整体蒸馏损失lho(S,D)。
结合图2,一种针对嵌入式移动端平台的深度学习语义分割模型压缩方法实现流程图,包括如下步骤:
步骤1,首先配置深度学习训练平台以及嵌入式移动端平台的环境,安装深度学习算法需要的框架。
步骤2,根据需要执行的语义分割任务搭建教师网络。
步骤3,使用针对该语义分割任务的数据集训练教师网络,直至教师网络在执行语义分割任务时具有良好的表现。
步骤4,搭建蒸馏网络。
步骤5,训练鉴别网络,鉴别网络的目的在于得到一个对教师网络分割的正确结果输出高分、对学生网络分割的错误结果输出低分的网络参数。
步骤6,训练学生网络,在给定的教师网络和鉴别网络下,最小化学生网络和对应教师网络分割结果的多类交叉熵损失。
步骤7,反复迭代以上步骤5以及步骤6,直至总体优化目标满足需求,得到经过蒸馏的学生网络。
步骤8,将步骤7得到的学生网络结构及学生网络权重参数载入嵌入式移动端平台。
步骤9,对嵌入式移动端平台输入待分割图像,执行语义图像分割任务,得到分割结果。
Claims (3)
1.一种针对嵌入式移动端的深度学习语义分割模型压缩方法,其特征在于包括教师网络、学生网络、鉴别网络、三种不同级别的蒸馏结构、网络内部的三种损失函数以及深度学习训练平台和嵌入式移动端平台;其中蒸馏结构包括成对蒸馏结构、像素蒸馏结构、整体蒸馏结构;损失函数包括区别损失函数、分割损失函数、蒸馏损失函数;
所述教师网络原型基于深度学习ESPNet分割网络模型,接收输入的图像,输出在特征图、像素级别上的分类取值,送入损失函数进行下一步处理;
所述学生网络为需要得到的小网络,实现过程中需要其接受输入图像,输出在特征图、像素级别的分类取值,送入损失函数进行下一步处理;
所述鉴别网络相当于生成式对抗网络中的判别器,其接受教师网络中对输入原图的像素分割作为真实图,接受学生网络中对输入原图的像素分割作为分割图,使用Wasserstein距离计算两种分割结果表示教师网络分割结果与当前学生网络的分割结果是否匹配;
所述成对蒸馏结构,为使用已经训练好且分割结果良好的教师网络,计算教师网络特征图中两两像素之间的相关性,以及学生网络特征图中两两像素之间的相关性,并使用这两者的相关性计算平方差计算成对蒸馏损失lpa(S),使学生网络特征图尽可能逼近教师网络特征图;
所述像素蒸馏结构,为教师网络的单像素输出概率与学生网络的单像素输出概率作为输入,使用Kullback-Leibler距离计算对应像素点上的教师网络与学生网络的每类概率距离作为输出,即为像素蒸馏损失lpi(S);
所述整体蒸馏结构,为接受教师网络与学生网络对同一张原始图像的分割图,使用鉴别网络作为判别器计算两张分割图的匹配得分作为整体蒸馏损失lho(S,D);
所述区别损失函数,即为Wasserstein距离;
所述分割损失函数,即为交叉熵损失;
所述蒸馏损失函数,即为成对蒸馏损失、像素蒸馏损失以及Holistic损失;
所述深度学习训练平台为一台具有较强计算能力的服务器,其使用X99E-WS主板,搭载1颗intel i7-7700k CPU和两张3840个CUDA核心,12GB GDDR5显存的Pascal架构显卡TitanXp;其拥有的足够的显存能够加载并支持较大Caffe模型的参数估计,拥有足够多的CUDA和极高的1582Mhz加速频率能加速得到模型参数;
所述嵌入式移动端平台为具有一定计算能力的Nvidia Jetson TX1型号计算机,其GPU采用maxwell架构,拥有256个CUDA核心;CPU采用Quad ARM A57/2 MB L2;支持4k*2k 30HzHEVC编码或4k*2k 60Hz解码;4GB 64bit LPDDR4内存;16G eMMC闪存,能搭载目前常用的深度学习框架,具有一定的深度学习前向推测能力。
2.根据权利要求1所述的一种针对嵌入式移动端的深度学习语义分割模型压缩方法,其特征在于:
针对移动端平台的深度学习语义分割模型压缩方法中的优化目标有像素蒸馏损失:
其中表示从学生S网络结构中产生的第i个像素的类概率,表示从教师T网络结构中产生的第i个像素的类概率,KL()函数为计算以上两者的Kullback-Leibler距离,R={1,2,...W'×H'}表示所有像素点;
有成对蒸馏损失:
其中表示学生网络特征图中的第i个像素与第j个像素的相似度,表示教师网络特征图中的第i个像素和第j个像素的相似度;
有整体蒸馏损失:
其中I为输入的RGB原图,QS为学生网络对应I输出的分割图,Qt为教师网络对应I输出的分割图,E()函数为计算期望,D()函数为具有五个卷积层的全卷积鉴别网络,输出原图与分割结果匹配的评分;
整个蒸馏网络的总体优化函数为:
l(S,D)=lmc(S)+λ1(lpi(S)+lpa(S))-λ2lho(S,D)。
3.根据权利要求2所述的一种针对嵌入式移动端的深度学习语义分割模型压缩方法,其特征在于包括如下步骤:
步骤1、首先配置深度学习训练平台以及嵌入式移动端平台的环境,将深度学习算法需要的框架安装完毕;
步骤2、搭建教师网络;
步骤3、使用对应的数据集训练教师网络,直至教师网络在执行语义分割任务时具有良好的表现;
步骤4、搭建蒸馏网络;
步骤5、训练鉴别网络,鉴别网络的目的在于得到一个对教师网络分割的正确结果输出高分、对学生网络分割的错误结果输出低分的网络参数;
步骤6、训练学生网络,在给定的教师网络和鉴别网络下,最小化学生网络和对应教师网络分割结果的多类交叉熵损失;
步骤7、反复迭代以上步骤5以及步骤6,直至总体优化目标满足需求,得到经过蒸馏的学生网络;
步骤8、将步骤7得到的学生网络结构及学生网络权重载入嵌入式移动端平台;
步骤9、对嵌入式移动端平台输入待分割图像,执行语义图像分割任务,得到分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910294185.4A CN110059740A (zh) | 2019-04-12 | 2019-04-12 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910294185.4A CN110059740A (zh) | 2019-04-12 | 2019-04-12 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110059740A true CN110059740A (zh) | 2019-07-26 |
Family
ID=67318974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910294185.4A Pending CN110059740A (zh) | 2019-04-12 | 2019-04-12 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110059740A (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110390950A (zh) * | 2019-08-17 | 2019-10-29 | 杭州派尼澳电子科技有限公司 | 一种基于生成对抗网络的端到端语音增强方法 |
CN110796619A (zh) * | 2019-10-28 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 一种图像处理模型训练方法、装置、电子设备及存储介质 |
CN111126464A (zh) * | 2019-12-13 | 2020-05-08 | 南京邮电大学 | 一种基于无监督域对抗领域适应的图像分类方法 |
CN111291836A (zh) * | 2020-03-31 | 2020-06-16 | 中国科学院计算技术研究所 | 一种生成学生网络模型的方法 |
CN111461212A (zh) * | 2020-03-31 | 2020-07-28 | 中国科学院计算技术研究所 | 一种用于点云目标检测模型的压缩方法 |
CN111695699A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
CN111709409A (zh) * | 2020-08-20 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及介质 |
CN111709252A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 基于预训练的语义模型的模型改进方法及装置 |
CN111768438A (zh) * | 2020-07-30 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
CN111967573A (zh) * | 2020-07-15 | 2020-11-20 | 中国科学院深圳先进技术研究院 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN112070163A (zh) * | 2020-09-09 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 图像分割模型训练和图像分割方法、装置、设备 |
CN112084476A (zh) * | 2020-09-02 | 2020-12-15 | 支付宝(杭州)信息技术有限公司 | 生物识别身份验证方法、客户端、服务器、设备及系统 |
CN112150478A (zh) * | 2020-08-31 | 2020-12-29 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
CN112163238A (zh) * | 2020-09-09 | 2021-01-01 | 中国科学院信息工程研究所 | 一种多方参与数据不共享的网络模型训练方法 |
CN112199535A (zh) * | 2020-09-30 | 2021-01-08 | 浙江大学 | 一种基于集成知识蒸馏的图像分类方法 |
CN112200062A (zh) * | 2020-09-30 | 2021-01-08 | 广州云从人工智能技术有限公司 | 一种基于神经网络的目标检测方法、装置、机器可读介质及设备 |
CN112560631A (zh) * | 2020-12-09 | 2021-03-26 | 昆明理工大学 | 一种基于知识蒸馏的行人重识别方法 |
CN112614135A (zh) * | 2020-12-23 | 2021-04-06 | 国网安徽省电力有限公司检修分公司 | 一种嵌入式端的表计主刻度线分割方法 |
CN113065564A (zh) * | 2021-04-25 | 2021-07-02 | 合肥中科类脑智能技术有限公司 | 一种嵌入式端的表计主刻度线实时分割方法及系统 |
CN113326768A (zh) * | 2021-05-28 | 2021-08-31 | 浙江商汤科技开发有限公司 | 训练方法、图像特征提取方法、图像识别方法及装置 |
CN113470099A (zh) * | 2021-07-09 | 2021-10-01 | 北京的卢深视科技有限公司 | 深度成像的方法、电子设备及存储介质 |
CN113538480A (zh) * | 2020-12-15 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像分割处理方法、装置、计算机设备和存储介质 |
CN113537483A (zh) * | 2020-04-14 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 一种域适配方法、装置及电子设备 |
CN113793341A (zh) * | 2021-09-16 | 2021-12-14 | 湘潭大学 | 一种自动驾驶场景语义分割方法、电子设备及可读介质 |
US20220156596A1 (en) * | 2020-11-17 | 2022-05-19 | A.I.MATICS Inc. | Neural architecture search method based on knowledge distillation |
WO2022178948A1 (zh) * | 2021-02-26 | 2022-09-01 | 平安科技(深圳)有限公司 | 模型蒸馏方法、装置、设备及存储介质 |
CN116994309A (zh) * | 2023-05-06 | 2023-11-03 | 浙江大学 | 一种公平性感知的人脸识别模型剪枝方法 |
CN117274750A (zh) * | 2023-11-23 | 2023-12-22 | 神州医疗科技股份有限公司 | 一种知识蒸馏半自动可视化标注方法及系统 |
US12051004B2 (en) * | 2020-11-17 | 2024-07-30 | Aimatics Co., Ltd. | Neural architecture search method based on knowledge distillation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1924780A (zh) * | 2006-09-18 | 2007-03-07 | 杭州电子科技大学 | 一种基于usb总线的嵌入式虚拟仪器的信号处理方法 |
WO2018126213A1 (en) * | 2016-12-30 | 2018-07-05 | Google Llc | Multi-task learning using knowledge distillation |
CN108334934A (zh) * | 2017-06-07 | 2018-07-27 | 北京深鉴智能科技有限公司 | 基于剪枝和蒸馏的卷积神经网络压缩方法 |
CN108898168A (zh) * | 2018-06-19 | 2018-11-27 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
-
2019
- 2019-04-12 CN CN201910294185.4A patent/CN110059740A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1924780A (zh) * | 2006-09-18 | 2007-03-07 | 杭州电子科技大学 | 一种基于usb总线的嵌入式虚拟仪器的信号处理方法 |
WO2018126213A1 (en) * | 2016-12-30 | 2018-07-05 | Google Llc | Multi-task learning using knowledge distillation |
CN108334934A (zh) * | 2017-06-07 | 2018-07-27 | 北京深鉴智能科技有限公司 | 基于剪枝和蒸馏的卷积神经网络压缩方法 |
CN108898168A (zh) * | 2018-06-19 | 2018-11-27 | 清华大学 | 用于目标检测的卷积神经网络模型的压缩方法和系统 |
Non-Patent Citations (1)
Title |
---|
YIFAN LIU等: "Structured Knowledge Distillation for Semantic Segmentation", 《HTTPS://ARXIV.ORG/PDF/1903.04197.PDF》 * |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110390950B (zh) * | 2019-08-17 | 2021-04-09 | 浙江树人学院(浙江树人大学) | 一种基于生成对抗网络的端到端语音增强方法 |
CN110390950A (zh) * | 2019-08-17 | 2019-10-29 | 杭州派尼澳电子科技有限公司 | 一种基于生成对抗网络的端到端语音增强方法 |
CN110796619A (zh) * | 2019-10-28 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 一种图像处理模型训练方法、装置、电子设备及存储介质 |
CN110796619B (zh) * | 2019-10-28 | 2022-08-30 | 腾讯科技(深圳)有限公司 | 一种图像处理模型训练方法、装置、电子设备及存储介质 |
CN111126464A (zh) * | 2019-12-13 | 2020-05-08 | 南京邮电大学 | 一种基于无监督域对抗领域适应的图像分类方法 |
CN111291836A (zh) * | 2020-03-31 | 2020-06-16 | 中国科学院计算技术研究所 | 一种生成学生网络模型的方法 |
CN111461212A (zh) * | 2020-03-31 | 2020-07-28 | 中国科学院计算技术研究所 | 一种用于点云目标检测模型的压缩方法 |
CN111461212B (zh) * | 2020-03-31 | 2023-04-07 | 中国科学院计算技术研究所 | 一种用于点云目标检测模型的压缩方法 |
CN111291836B (zh) * | 2020-03-31 | 2023-09-08 | 中国科学院计算技术研究所 | 一种生成学生网络模型的方法 |
CN113537483A (zh) * | 2020-04-14 | 2021-10-22 | 杭州海康威视数字技术股份有限公司 | 一种域适配方法、装置及电子设备 |
CN111695699A (zh) * | 2020-06-12 | 2020-09-22 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
CN111695699B (zh) * | 2020-06-12 | 2023-09-08 | 北京百度网讯科技有限公司 | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 |
US11775766B2 (en) | 2020-06-17 | 2023-10-03 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for improving model based on pre-trained semantic model |
CN111709252A (zh) * | 2020-06-17 | 2020-09-25 | 北京百度网讯科技有限公司 | 基于预训练的语义模型的模型改进方法及装置 |
CN111709252B (zh) * | 2020-06-17 | 2023-03-28 | 北京百度网讯科技有限公司 | 基于预训练的语义模型的模型改进方法及装置 |
CN111967573A (zh) * | 2020-07-15 | 2020-11-20 | 中国科学院深圳先进技术研究院 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN111768438B (zh) * | 2020-07-30 | 2023-11-24 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
CN111768438A (zh) * | 2020-07-30 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
CN111709409B (zh) * | 2020-08-20 | 2020-11-20 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及介质 |
CN111709409A (zh) * | 2020-08-20 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 人脸活体检测方法、装置、设备及介质 |
CN112150478A (zh) * | 2020-08-31 | 2020-12-29 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
CN112084476A (zh) * | 2020-09-02 | 2020-12-15 | 支付宝(杭州)信息技术有限公司 | 生物识别身份验证方法、客户端、服务器、设备及系统 |
CN112070163A (zh) * | 2020-09-09 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 图像分割模型训练和图像分割方法、装置、设备 |
CN112163238A (zh) * | 2020-09-09 | 2021-01-01 | 中国科学院信息工程研究所 | 一种多方参与数据不共享的网络模型训练方法 |
CN112070163B (zh) * | 2020-09-09 | 2023-11-24 | 抖音视界有限公司 | 图像分割模型训练和图像分割方法、装置、设备 |
CN112199535B (zh) * | 2020-09-30 | 2022-08-30 | 浙江大学 | 一种基于集成知识蒸馏的图像分类方法 |
CN112200062B (zh) * | 2020-09-30 | 2021-09-28 | 广州云从人工智能技术有限公司 | 一种基于神经网络的目标检测方法、装置、机器可读介质及设备 |
CN112199535A (zh) * | 2020-09-30 | 2021-01-08 | 浙江大学 | 一种基于集成知识蒸馏的图像分类方法 |
CN112200062A (zh) * | 2020-09-30 | 2021-01-08 | 广州云从人工智能技术有限公司 | 一种基于神经网络的目标检测方法、装置、机器可读介质及设备 |
US20220156596A1 (en) * | 2020-11-17 | 2022-05-19 | A.I.MATICS Inc. | Neural architecture search method based on knowledge distillation |
US12051004B2 (en) * | 2020-11-17 | 2024-07-30 | Aimatics Co., Ltd. | Neural architecture search method based on knowledge distillation |
CN112560631A (zh) * | 2020-12-09 | 2021-03-26 | 昆明理工大学 | 一种基于知识蒸馏的行人重识别方法 |
CN113538480A (zh) * | 2020-12-15 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 图像分割处理方法、装置、计算机设备和存储介质 |
CN112614135A (zh) * | 2020-12-23 | 2021-04-06 | 国网安徽省电力有限公司检修分公司 | 一种嵌入式端的表计主刻度线分割方法 |
WO2022178948A1 (zh) * | 2021-02-26 | 2022-09-01 | 平安科技(深圳)有限公司 | 模型蒸馏方法、装置、设备及存储介质 |
CN113065564A (zh) * | 2021-04-25 | 2021-07-02 | 合肥中科类脑智能技术有限公司 | 一种嵌入式端的表计主刻度线实时分割方法及系统 |
CN113326768B (zh) * | 2021-05-28 | 2023-12-22 | 浙江商汤科技开发有限公司 | 训练方法、图像特征提取方法、图像识别方法及装置 |
CN113326768A (zh) * | 2021-05-28 | 2021-08-31 | 浙江商汤科技开发有限公司 | 训练方法、图像特征提取方法、图像识别方法及装置 |
CN113470099A (zh) * | 2021-07-09 | 2021-10-01 | 北京的卢深视科技有限公司 | 深度成像的方法、电子设备及存储介质 |
CN113470099B (zh) * | 2021-07-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 深度成像的方法、电子设备及存储介质 |
CN113793341A (zh) * | 2021-09-16 | 2021-12-14 | 湘潭大学 | 一种自动驾驶场景语义分割方法、电子设备及可读介质 |
CN113793341B (zh) * | 2021-09-16 | 2024-02-06 | 湘潭大学 | 一种自动驾驶场景语义分割方法、电子设备及可读介质 |
CN116994309B (zh) * | 2023-05-06 | 2024-04-09 | 浙江大学 | 一种公平性感知的人脸识别模型剪枝方法 |
CN116994309A (zh) * | 2023-05-06 | 2023-11-03 | 浙江大学 | 一种公平性感知的人脸识别模型剪枝方法 |
CN117274750A (zh) * | 2023-11-23 | 2023-12-22 | 神州医疗科技股份有限公司 | 一种知识蒸馏半自动可视化标注方法及系统 |
CN117274750B (zh) * | 2023-11-23 | 2024-03-12 | 神州医疗科技股份有限公司 | 一种知识蒸馏半自动可视化标注方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059740A (zh) | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 | |
CN108780522B (zh) | 用于视频理解的使用基于运动的注意力的递归网络 | |
US20180018555A1 (en) | System and method for building artificial neural network architectures | |
WO2019091020A1 (zh) | 权重数据存储方法和基于该方法的神经网络处理器 | |
US20160358070A1 (en) | Automatic tuning of artificial neural networks | |
CN112465071A (zh) | 图像多标签分类方法、装置、电子设备及介质 | |
CN109063719B (zh) | 一种联合结构相似性和类信息的图像分类方法 | |
CN107223260A (zh) | 用于动态地更新分类器复杂度的方法 | |
CN111223128A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
CN111739037B (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
CN114330580A (zh) | 基于歧义指导互标签更新的鲁棒知识蒸馏方法 | |
CN113435521A (zh) | 神经网络模型训练方法、装置及计算机可读存储介质 | |
Du et al. | Efficient network construction through structural plasticity | |
CN115146607A (zh) | 评论信息情感偏好识别模型训练方法、识别方法及设备 | |
EP4328867A1 (en) | Percentile-based pseudo-label selection for multi-label semi-supervised classification | |
CN113780365A (zh) | 样本生成方法和装置 | |
CN108549899A (zh) | 一种图像识别方法及装置 | |
US10824899B2 (en) | Structural clustering and alignment of OCR results | |
CN116805162A (zh) | 基于自监督学习的Transformer模型训练方法 | |
US20220383073A1 (en) | Domain adaptation using domain-adversarial learning in synthetic data systems and applications | |
CN116486285A (zh) | 一种基于类别掩码蒸馏的航拍图像目标检测方法 | |
CN114065834B (zh) | 一种模型训练方法、终端设备及计算机存储介质 | |
CN116128044A (zh) | 一种模型剪枝方法、图像处理方法及相关装置 | |
CN109543556A (zh) | 动作识别方法、装置、介质及设备 | |
CN115148292A (zh) | 基于人工智能的dna模体预测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |
|
RJ01 | Rejection of invention patent application after publication |