CN110163295A - 一种基于提前终止的图像识别推理加速方法 - Google Patents
一种基于提前终止的图像识别推理加速方法 Download PDFInfo
- Publication number
- CN110163295A CN110163295A CN201910457924.7A CN201910457924A CN110163295A CN 110163295 A CN110163295 A CN 110163295A CN 201910457924 A CN201910457924 A CN 201910457924A CN 110163295 A CN110163295 A CN 110163295A
- Authority
- CN
- China
- Prior art keywords
- classification
- layer
- reasoning
- image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000001568 sexual effect Effects 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 claims abstract description 3
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000035772 mutation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 22
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像识别技术领域,提供了一种基于提前终止的图像识别推理加速方法,在训练阶段对于N分类任务,在中间层之后加一个基于归一化指数函数的N+1分类交叉熵损失函数,前N个结点对应N分类中每个分类的打分,第N+1类得分用于判断图像识别的可靠性;在推理阶段,给定测定图像,依次通过每一层,遇到待考察的层,先根据该待考察的层的输出来计算用于做图像识别的可靠程度;若可靠程度不满足条件,则进入下一层;若可靠程度满足条件,则根据该待考察的层的输出进行图像分类判断,输出判断结果,终止推理过程。本发明加速效果明显,可加速包括物体识别、场景识别、人脸识别、表情识别、性别判断等在内的二分类或者多分类图像识别的推理。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及一种基于提前终止的图像识别推理加速方法。
背景技术
现有的图像识别推理可从以下3个方面进行加速:基于硬件平台计算速度的加速方法、基于模型压缩的加速方法、基于小型模型结构的加速方法。
基于硬件平台计算速度的加速方法主要从硬件和平台角度进行加速,如基于SIMD指令集的编译器加速、基于OMP的数学库并行计算加速等方法,现有专利包括《一种针对卷积神经元网络进行推理加速的硬件架构及其工作方法》(CN108108809A)和《一种基于FPGA的YOLO网络前向推理加速器设计方法》(CN109214504A);或者通过优化预处理、后处理,网络的请求响应等环节,设计良好的并发机制提升服务端到端的性能,现有的专利包括《一种卷积神经网络推理加速器及方法》(CN108182471A)。这种方法受限于具体的硬件设施或使用平台。
基于模型压缩的加速方法主要针对深度学习模型本身,通过网络结构裁剪、量化等方法来减小模型大小,降低计算量,从而加速推理过程。现有方法包括对深度网络模型进行量化压缩,减少模型参数占用的比特,减少推理过程中的浮点运算次数,如专利《一种深度神经网络推理方法及计算设备》(CN109214515A);或者通过对网络结构进行剪枝的加速方法,将不重要的网络参数置零来减少计算次数,如[1][2];或通过对模型中多位张量结构进行低秩分解,从而减少计算次数,加快推理速度,如[3]。
基于小型模型结构的加速方法通过设计并训练规模小、计算复杂度低的模型用来完成图像识别任务,如MobileNet v2[4],ShuffleNet v2[5]等。这种方法需要技术专家花费时间和精力对模型结构进行设计,才能达到加速效果,而且模型的加速比很高时,识别精度会有明显的损失。
参考文献:
[1]M.Zhu and S.Gupta,“To prune,or not to prune:exploring the efficacyof pruning for model compression,”In ICLR Workshop,2018.
[2]P.Molchanov,S.Tyree,T.Karras,T.Aila,and J.Kautz,“Pruningconvolutional neural networks for resource efficient transfer learning,”InICLR,2017.
[3]X.Yu,T.Liu,X.Wang,D.Tao."On compressing deep models by low rankand sparse decomposition."In CVPR,2017.
[4]Sandler M,Howard A,Zhu M,et al.MobileNetV2:Inverted Residuals andLinear Bottlenecks.In CVPR,2018.
[5]Ma,Ningning,et al."Shufflenet v2:Practical guidelines forefficient cnn architecture design."In ECCV,2018.
发明内容
本发明的目的之一就是克服现有技术的不足,提供了一种基于提前终止的图像识别推理加速方法,可在推理过程中,仅根据深度神经网络模型的前若干层对图像进行较准确的识别,从而提前终止推理,加快推理速度,该方法适用于任意深度神经网络模型。
本发明的技术方案如下:
一种基于提前终止的图像识别推理加速方法,包括训练阶段和推理阶段;
所述训练阶段,使用训练图像对模型进行训练,获得模型参数;对于N分类任务,在所述模型的中间层之后加上一个基于归一化指数函数的N+1分类交叉熵损失函数,前N个结点对应所述N分类中每个分类的打分,第N+1类得分用于判断图像识别的可靠性;例如,对于一个二分类问题(N=2)性别判断,如果中间层判断输出3个结点的值分别是0.1,0.2,0.7,表示该图像是第一类、第二类的概率分别是0.1和0.2,第三个结点的值最高为0.7,表示当前对性别判断的可靠性较低(不确定性很高);
所述推理阶段,给定测定图像,依次通过所述模型的每一层,遇到待考察的层,先根据该待考察的层的输出来计算用于做图像识别的可靠程度;如果可靠程度不满足设定条件,则进入所述模型下一层;如果可靠程度满足设定条件,则根据该待考察的层的输出进行图像分类判断,输出判断结果,终止推理过程。
进一步的,所述模型为深度神经网络结构。
进一步的,所述深度神经网络结构为AlexNet、VGGNet、ResNet、DenseNet中的任一种,或任一种的变种网络结构。
进一步的,所述训练阶段,在深度神经网络设定的中间层之后接入具有N+1个结点的全连接层,所述全连接层的前N个结点对应每个分类的打分,第N+1个结点对应分类判断的可靠性;所述全连接层在N+1个结点输出后接入交叉熵损失函数;对所述模型的最后一层的N结点输出后,也接入交叉熵损失函数;全连接层后的交叉熵损失函数为N+1类的,最后层之后的交叉熵损失函数为N类的。
利用梯度算法对所述模型进行求解,目标函数是使根据训练图像及其分类标签计算得到的损失函数值的加权和最小。设第l层的中间层N+1分类交叉熵损失函数为权重为αl;最后一层的N分类交叉熵损失函数为权重为αu,则目标函数为其中,权重αu和αl,l=1,2,…,L手动设置,默认可全部取1。
进一步的,设是第j张训练图像在神经网络模型某个设定中间层之后的全连接层输出,其中是第i维;再假设是第j张训练图像的标签,如果则第j张图像属于分类i,否则,表示第j张图像不属于分类i;一张训练图像只属于一个分类,即中只有一个为1,其余都为0;由此得到的损失函数为:
其中,M表示训练样本的个数。
进一步的,所述推理阶段,将测试图片依次经过所述模型的各层的前向计算,遇到第l个待考察的中间层时,先根据该层的输出计算分类的可靠程度,具体地,假设该层的D维输出x=[x1,x2,…,xD],如果该层的特征输出不是向量,则将各维度展开转化成向量;训练阶段得到的N+1结点全连接层参数为:
W=[wij](N+1)×D,令
wc=[w(N+1)1,…,w(N+1)D]T;
则使用该层特征进行分类的可靠程度计算方法为:
其中σ为sigmoid函数,即然后,根据计算得到的可靠程度r和给定的阈值∈r,判断是否进行分类判断并提前终止推理,具体地:如果r≥∈r,则不使用该层特征作为分类依据,将该层输出作为下一层输入,继续进行模型推导;如果r<∈r,则使用该层特征作为分类依据,进行分类判断,具体地:计算每个分类的打分最终预测分类即得分最高的类,即
上述的基于提前终止的图像识别推理加速方法,用于物体识别、场景识别、人脸识别、表情识别、性别判断。
本发明的有益效果为:加速效果明显,可加速包括物体识别、场景识别、人脸识别、表情识别、性别判断等在内的二分类或者多分类图像识别的推理;并且使用灵活,可用于任何深度神经网络模型,可在任意中间层检测是否可提前终止进行加速,同时,本发明不依赖于硬件设备以及使用的深度模型,可以与其它加速算法(如基于硬件平台的模型加速方法、基于模型压缩的加速方法等)叠加使用,进一步加速推理。
附图说明
图1所示为本发明实施例中训练阶段流程示意图。
图2所示为本发明实施例中推理阶段流程示意图。
具体实施方式
下文将结合具体附图详细描述本发明具体实施例。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。
本发明实施例的一种基于提前终止的图像识别推理加速方法,如果物体的分类能在早期被可靠地推理出来,则提前终止推理过程,从而减少图像识别的推理时间。
本发明的实施体现在深度神经网络模型的训练和测试阶段,以下针对一个具有N个分类的分类问题进行具体说明:
在训练阶段,输入是训练数据图像和它们对应的标签,模型可以是任意一种深度神经网络结构,如AlexNet、VGGNet、ResNet、DenseNet等及其变种网络结构。训练过程如图1所示。除了在模型的最后接入一个交叉熵损失函数监督模型的学习之外,本算法在任意多个感兴趣的深度神经网络的低层(接近输入的层)之后接入具有N+1个结点的全连接层,前N个结点对应每个分类的打分,第N+1个结点表示对上述分类判断的可靠程度。在利用梯度下降算法对模型进行求解时,在原本最后一层的N结点输出后,接入交叉熵损失函数,在每个新加的N+1结点全连接层后也接入交叉熵损失函数。目标函数是使根据训练图像及其分类标签(分类标签是关于分类的监督信号,训练过程需要标签,推理过程不需要标签)计算得到的这些损失函数值的加权和最小。设是第j张训练图像在神经网络模型某个低层之后的全连接层输出,其中是第i维。再假设是第j张训练图像的标签,如果则第j张图像属于分类i,否则,表示第j张图像不属于分类i。一张图像只属于一个分类,即中只有一个为1,其余都为0(例如一个要分成100类的物体识别问题,第一类是鸟,那么一张鸟的训练图片的标签可以是1,或者[1,0,0,…..,0])。由此得到的损失函数为:
其中,M表示训练样本的个数。
在推理阶段的流程图如图2所示。给一张测试图片t,依次经过各层的前向计算,遇到第l个待考察的层时,先根据该层的输出计算分类的可靠程度,具体地,假设该层的D维输出x=[x1,x2,…,xD](如果该层的特征输出不是向量,则将各维度展开转化成向量,例如,若特征输出为则将X按照列向量优先的顺序重新组成一个abc维的向量);训练阶段学到的N+1结点全连接层参数为W=[wij](N+1)×D,令wc=[w(N+1)1,…,w(N+1)D]T,则使用该层特征进行分类的可靠程度计算方法为其中σ为sigmoid函数。然后,根据计算得到的可靠程度r和给定的阈值∈r,判断是否进行分类判断并提前终止推理,具体地:如果r≥∈r,则不使用该层特征作为分类依据,将该层输出作为下一层输入,继续进行模型推导;如果r<∈r,则使用该层特征作为分类依据,进行分类判断,具体地:计算每个分类的打分最终预测分类即得分最高的类,即
本发明提出的一种判断中间层输出做识别图像的可靠程度的技术,可在深度神经网络模型的任意中间层之后使用(待考察的中间层可根据实际需要选取)。在训练过程中,对于N分类任务,该技术在中间层之后加上一个基于归一化指数函数的N+1分类交叉熵损失函数,多出来的第N+1类得分用于判断图像识别的可靠性。本发明加速效果明显,可加速包括物体识别、场景识别、人脸识别、表情识别、性别判断等在内的二分类或者多分类图像识别的推理;并且使用灵活,可用于任何深度神经网络模型,可在任意中间层检测是否可提前终止进行加速。
本文虽然已经给出了本发明的几个实施例,但是本领域的技术人员应当理解,在不脱离本发明精神的情况下,可以对本文的实施例进行改变。上述实施例只是示例性的,不应以本文的实施例作为本发明权利范围的限定。
Claims (7)
1.一种基于提前终止的图像识别推理加速方法,其特征在于,包括训练阶段和推理阶段;
所述训练阶段,使用训练图像对模型进行训练,获得模型参数;对于N分类任务,在所述模型的中间层之后加上一个基于归一化指数函数的N+1分类交叉熵损失函数,前N个结点对应所述N分类中每个分类的打分,第N+1个结点对应于图像识别的可靠性;
所述推理阶段,给定测定图像,依次通过所述模型的每一层,遇到待考察的层,先根据该待考察的层的输出来计算用于做图像识别的可靠性;如果可靠性不满足设定条件,则进入所述模型下一层;如果可靠性满足设定条件,则根据该待考察的层的输出进行图像分类判断,输出判断结果,终止推理过程。
2.如权利要求1所述的基于提前终止的图像识别推理加速方法,其特征在于,所述模型为深度神经网络结构。
3.如权利要求2所述的基于提前终止的图像识别推理加速方法,其特征在于,所述深度神经网络结构为AlexNet、VGGNet、ResNet、DenseNet中的任一种,或任一种的变种网络结构。
4.如权利要求2所述的基于提前终止的图像识别推理加速方法,其特征在于,所述训练阶段,在深度神经网络设定的中间层之后接入具有N+1个结点的全连接层,所述全连接层的前N个结点对应每个分类的打分,第N+1个结点对应分类判断的可靠性;所述全连接层在N+1个结点输出后接入交叉熵损失函数;对所述模型的最后一层的N结点输出后,也接入交叉熵损失函数;
利用梯度算法对所述模型进行求解,目标函数是使根据训练图像及其分类标签计算得到的损失函数值的加权和最小。
5.如权利要求4所述的基于提前终止的图像识别推理加速方法,其特征在于,
设是第j张训练图像在神经网络模型某个设定中间层之后的全连接层输出,其中是第i维;再假设是第j张训练图像的标签,如果则第j张图像属于分类i,否则,表示第j张图像不属于分类i;一张训练图像只属于一个分类,即中只有一个为1,其余都为0;由此得到的损失函数为:
其中,M表示训练样本的个数。
6.如权利要求2所述的基于提前终止的图像识别推理加速方法,其特征在于,
所述推理阶段,将测试图片依次经过所述模型的各层的前向计算,遇到第l个待考察的中间层时,先根据该中间层的输出计算分类的可靠程度,具体地,假设该层的D维输出x=[x1,x2,…,xD],如果该层的特征输出不是向量,则将各维度展开转化成向量;训练阶段得到的N+1结点全连接层参数为:
W=[wij](N+1)×D,令wc=[w(N+1)1,…,w(N+1)D]T;
则使用该层特征进行分类的可靠程度计算方法为:
其中σ为sigmoid函数;根据计算得到的可靠程度r和给定的阈值∈r,判断是否进行分类判断并提前终止推理,具体地:如果r≥∈r,则不使用该层特征作为分类依据,将该层输出作为下一层输入,继续进行模型推导;如果r<∈r,则使用该层特征作为分类依据,进行分类判断,具体地:计算每个分类的打分最终预测分类即得分最高的类,即
7.如权利要求1-6任一项所述的基于提前终止的图像识别推理加速方法,在物体识别、场景识别、人脸识别、表情识别、性别判断领域的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910457924.7A CN110163295A (zh) | 2019-05-29 | 2019-05-29 | 一种基于提前终止的图像识别推理加速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910457924.7A CN110163295A (zh) | 2019-05-29 | 2019-05-29 | 一种基于提前终止的图像识别推理加速方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110163295A true CN110163295A (zh) | 2019-08-23 |
Family
ID=67630132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910457924.7A Pending CN110163295A (zh) | 2019-05-29 | 2019-05-29 | 一种基于提前终止的图像识别推理加速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110163295A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140286527A1 (en) * | 2013-03-20 | 2014-09-25 | Qualcomm Incorporated | Systems and methods for accelerated face detection |
CN106682731A (zh) * | 2017-01-13 | 2017-05-17 | 首都师范大学 | 卷积神经网络的加速方法及装置 |
CN107219924A (zh) * | 2017-05-27 | 2017-09-29 | 华南理工大学 | 一种基于惯性传感器的空中手势识别方法 |
CN107229942A (zh) * | 2017-04-16 | 2017-10-03 | 北京工业大学 | 一种基于多个分类器的卷积神经网络快速分类方法 |
US20180121796A1 (en) * | 2016-11-03 | 2018-05-03 | Intel Corporation | Flexible neural network accelerator and methods therefor |
WO2018184194A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems using improved convolutional neural networks for image processing |
CN108898579A (zh) * | 2018-05-30 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
CN108921294A (zh) * | 2018-07-11 | 2018-11-30 | 浙江大学 | 一种用于神经网络加速的渐进式块知识蒸馏方法 |
CN109598338A (zh) * | 2018-12-07 | 2019-04-09 | 东南大学 | 一种基于fpga的计算优化的卷积神经网络加速器 |
US20190114541A1 (en) * | 2017-10-18 | 2019-04-18 | Samsung Electronics Co., Ltd. | Method and system of controlling computing operations based on early-stop in deep neural network |
-
2019
- 2019-05-29 CN CN201910457924.7A patent/CN110163295A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140286527A1 (en) * | 2013-03-20 | 2014-09-25 | Qualcomm Incorporated | Systems and methods for accelerated face detection |
US20180121796A1 (en) * | 2016-11-03 | 2018-05-03 | Intel Corporation | Flexible neural network accelerator and methods therefor |
CN106682731A (zh) * | 2017-01-13 | 2017-05-17 | 首都师范大学 | 卷积神经网络的加速方法及装置 |
WO2018184194A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Methods and systems using improved convolutional neural networks for image processing |
CN107229942A (zh) * | 2017-04-16 | 2017-10-03 | 北京工业大学 | 一种基于多个分类器的卷积神经网络快速分类方法 |
CN107219924A (zh) * | 2017-05-27 | 2017-09-29 | 华南理工大学 | 一种基于惯性传感器的空中手势识别方法 |
US20190114541A1 (en) * | 2017-10-18 | 2019-04-18 | Samsung Electronics Co., Ltd. | Method and system of controlling computing operations based on early-stop in deep neural network |
CN108898579A (zh) * | 2018-05-30 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
CN108921294A (zh) * | 2018-07-11 | 2018-11-30 | 浙江大学 | 一种用于神经网络加速的渐进式块知识蒸馏方法 |
CN109598338A (zh) * | 2018-12-07 | 2019-04-09 | 东南大学 | 一种基于fpga的计算优化的卷积神经网络加速器 |
Non-Patent Citations (6)
Title |
---|
BEN FEINBERG等: "Making Memristive Neural Network Accelerators Reliable", 《2018 IEEE INTERNATIONAL SYMPOSIUM ON HIGH PERFORMANCE COMPUTER ARCHITECTURE (HPCA)》 * |
KUANG-HAN TAI等: "Acceleration for HEVC Encoder by Bimodal Segmentation of Rate-Distortion Cost and Accurate Determination of Early Termination and Early Split", 《IEEE ACCESS》 * |
VAHIDEH AKHLAGHI等: "SnaPEA: Predictive Early Activation for Reducing Computation in Deep Convolutional Neural Networks", 《2018 ACM/IEEE 45TH ANNUAL INTERNATIONAL SYMPOSIUM ON COMPUTER ARCHITECTURE (ISCA)》 * |
朱越: "基于压缩卷积神经网络的人脸检测方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
段秉环等: "面向嵌入式应用的深度神经网络压缩方法研究", 《航空计算技术》 * |
王征韬: "深度神经网络压缩与优化研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111130839B (zh) | 一种流量需求矩阵预测方法及其系统 | |
Wang et al. | Label words are anchors: An information flow perspective for understanding in-context learning | |
CN108170736B (zh) | 一种基于循环注意力机制的文档快速扫描定性方法 | |
WO2022083624A1 (zh) | 一种模型的获取方法及设备 | |
CN108664632A (zh) | 一种基于卷积神经网络和注意力机制的文本情感分类算法 | |
CN109446430A (zh) | 产品推荐的方法、装置、计算机设备及可读存储介质 | |
CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
CN109598337A (zh) | 分解模糊神经网络优化方法及装置 | |
CN106874963B (zh) | 一种基于大数据技术的配电网故障诊断方法及系统 | |
Li et al. | One-shot neural architecture search for fault diagnosis using vibration signals | |
Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
CN111460157A (zh) | 用于多领域文本分类的循环卷积多任务学习方法 | |
Ning et al. | Input perturbation reduces exposure bias in diffusion models | |
KR20200010672A (ko) | 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템 | |
CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
CN113283524A (zh) | 一种基于对抗攻击的深度神经网络近似模型分析方法 | |
CN115861646A (zh) | 一种基于结构重参数化的轻量级目标检测方法及系统 | |
CN115600137A (zh) | 面向不完备类别数据的多源域变工况机械故障诊断方法 | |
CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
CN112785479B (zh) | 一种基于少样本学习的图像隐形水印通用检测方法 | |
CN114078203A (zh) | 一种基于改进pate的图像识别方法和系统 | |
Yang et al. | A structure optimization algorithm of neural networks for large-scale data sets | |
CN110288002B (zh) | 一种基于稀疏正交神经网络的图像分类方法 | |
CN112488188A (zh) | 一种基于深度强化学习的特征选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240315 |