CN108846445B - 一种图像处理方法 - Google Patents

一种图像处理方法 Download PDF

Info

Publication number
CN108846445B
CN108846445B CN201810672728.7A CN201810672728A CN108846445B CN 108846445 B CN108846445 B CN 108846445B CN 201810672728 A CN201810672728 A CN 201810672728A CN 108846445 B CN108846445 B CN 108846445B
Authority
CN
China
Prior art keywords
filter
filters
similarity
survey
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810672728.7A
Other languages
English (en)
Other versions
CN108846445A (zh
Inventor
丁贵广
丁霄汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810672728.7A priority Critical patent/CN108846445B/zh
Publication of CN108846445A publication Critical patent/CN108846445A/zh
Application granted granted Critical
Publication of CN108846445B publication Critical patent/CN108846445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于相似性学习的卷积神经网络滤波器剪枝技术，首先通过相似性调查获得不同滤波器之间的相似性，然后依据相似性对滤波器进行聚类，再通过趋同训练将同一聚类中的滤波器变得越来越相似，最后对趋同训练后的滤波器进行修剪。本发明解决了在卷积神经网络滤波器剪枝过程中模型表征能力降低和需要重训练的问题，既可以更好地保留网络的表征能力和精度；而且几乎不会造成卷积神经网络的精度损失，不需要通过重训练来恢复模型的精度，达到模型精度和效率更好的平衡。

Description

一种图像处理方法
技术领域
本发明属于神经网络技术领域，尤其涉及一种图像处理方法。
背景技术
近年来，随着人类社会信息量的爆炸式增长和计算资源的极大丰富，数据驱动的深度学习方法在众多领域获得了广泛的成功应用。特别地，在计算机视觉、自然语言处理等领域，卷积神经网络(Convolutional Neural Networks,CNN)的成功尤为突出，已经成为了不可或缺的一种工具。
然而，随着CNN变得越来越深，其参数数量、能耗、需求的浮点运算数量(FLOPs)和内存占用也不断提高，使其越来越难以部署在计算资源有限的平台上，如移动端设备。因而，近年来CNN压缩和加速技术得到了广泛的研究，主要包括张量分解、滤波器剪枝、参数量化、知识蒸馏等。
其中滤波器剪枝技术受到了广泛重视，主要因为以下三点：首先，滤波器剪枝是一种可以应用于任何卷积网络的通用技术，其效果可以体现在任何应用领域、网络架构和部署平台上，不需要软硬件平台的特殊支持；第二，滤波器剪枝可以有效减少网络的FLOPs，而FLOPs是衡量计算开销的主要指标；第三，滤波器剪枝以一个滤波器较多(较宽)的网络作为输入，输出一个滤波器较少(较窄)的网络，不引入任何的特殊结构或额外操作，这使得滤波器剪枝“正交”于其他模型压缩与加速技术，可以很容易地将其与其他技术结合应用。
但滤波器剪枝领域已经出现的技术都具有一定的局限性。有些技术试图通过某种方式定义滤波器的重要性，移除一部分不重要的滤波器，然后重训练网络以恢复其受损的精度，这样做的局限性在于移除整个滤波器是一种对网络结构的较大的破坏，因而会造成显著的精度损失，需要较长时间的重训练来恢复其精度。有些技术是一层接一层、甚至一个滤波器接一个滤波器地剪枝和重训练，在非常深的网络上这样做的效率很低。另一些技术试图引入某种约束并训练网络，以期将部分滤波器置零，这样在移除这部分滤波器时网络的精度损失就可以大大减小；但是会因为网络的有用参数数量在训练过程中减少而导致网络的表征能力(精度)降低；而且这种方法往往不能真正将滤波器的参数全部置零，而只是将其量级减小到某一限度，因而剪枝时依然会造成精度损失，依然需要重训练来恢复其精度。
发明内容
为了解决上述技术问题，本发明提供一种图像处理方法，包括：
S1.对滤波器进行相似性调查；
S2.采用自底向上层次聚类的方法对滤波器进行聚类；
S3.按照下列公式对每个聚类中的滤波器进行趋同训练：
Figure GDA0003296898480000021
其中，F(j)代表编号为j的滤波器，t表示训练步数，τ表示学习率，H(j)表示编号为j的滤波器所属的聚类，L表示目标函数，η是网络原本的L-2正则化因子，∈是一个控制趋同速度的超参数；
S4.对经步骤S3趋同训练后的滤波器进行修剪，具体包括：
选择每个聚类H(k)中编号最小的滤波器作为要留下的滤波器k，第i层所有要留下的滤波器k的集合记为Ri；
对于Ri中每一个要留下的滤波器k及其对应的聚类H(k)，在处理第i+1层时，把H(k)中将要被移除的滤波器所对应的输入通道上的参数加到滤波器k所对应的输入通道上去，即：
Figure GDA0003296898480000031
其中，K代表卷积核参数；
然后删除第i层的H(k)中除要留下的滤波器k之外的所有滤波器和第i+1层对应的输入通道。
进一步的，步骤S1中的相似性调查是通过滤波器在一给定数据集上的输出的相似性来间接估计滤波器本身的相似性。
进一步的，相似性调查采用GAP作为滤波器产生的特征矩阵的统计量；对于一给定的数据集X，GAP会对每一个滤波器产生一个|X|维的调查向量作为输出；然后采用两个调查向量的Pearson相关系数来度量这两个调查向量对应的两个滤波器的相似性，具体如以下公式所示：
Figure GDA0003296898480000032
其中，g(p)代表第p个滤波器对应的调查向量，g(q)代表第q个滤波器对应的调查向量，E和VAR分别代表一个向量的期望和方差，⊙代表逐元素乘法。
进一步的，步骤S2包括：初始化每一个滤波器作为一个聚类；在每次迭代中，寻找相似度最高的两个调查向量，并将其所在的聚类合并，取这两个聚类中所有调查向量的算术平均值作为新聚类的调查向量，直到该层剩下所有滤波器的聚类。
进一步的，所述趋同训练的目标是使得每个聚类中的滤波器变得越来越相似。
与现有技术相比，本发明的有益效果在于：
本发明解决了在卷积神经网络滤波器剪枝过程中模型表征能力降低和需要重训练的问题，通过发现网络中相似的滤波器，并经过相似性学习直至最终相同，既可以更好地保留网络的表征能力和精度；而且几乎不会造成卷积神经网络的精度损失，不需要通过重训练来恢复模型的精度，达到模型精度和效率更好的平衡。
附图说明
图1本发明的图像处理方法的流程图；
图2为本发明的相似性调查的原理示意图；
图3为经典的滤波器置零方法的原理示意图；
图4为本发明的图像处理方法的原理示意图。
具体实施方式
一种图像处理方法，如图1所示，包括：
S1.相似性调查
如图2所示，本发明的相似性调查是通过滤波器在一给定数据集上的输出的相似性来间接估计滤波器本身的相似性。例如，对于输入网络某一层中的两个滤波器，对于同一输入(例如一张图片)，这两个滤波器产生两个特征矩阵；对于包含多张图片的同一给定数据集，这两个滤波器产生两个矩阵序列。但是将这两个矩阵序列的相似度直接作为这两个滤波器的相似度实际上是不可行的。以ImageNet数据集上的ResNet-50的第一层64个滤波器为例，如果仅仅以ImageNet训练集的1％(12800张图片)作为调查数据集，用32位浮点数存储矩阵序列，由于ResNet-50第一层的特征矩阵尺寸是112×112，就需要112×112×12800×4×64＝41GB内存来存储这些矩阵序列。因此需要一个特征矩阵的统计量，用一个数值来代替一个矩阵，这样就可以大大提高效率。
全局平均池化(Global Average Pooling,GAP)在诸多网络中得到了成功应用，而且具备平移不变性和线性的性质，因此本发明的相似性调查采用GAP作为特征矩阵的统计量。对于一个输入，GAP产生一个值；则对于一给定的数据集X，GAP会对每一个滤波器产生一个|X|维的调查向量作为输出。然后采用两个调查向量的Pearson相关系数来度量这两个调查向量的相似性，也就是这两个调查向量对应的两个滤波器的相似性。
两个滤波器的相似性按照下列公式计算：
Figure GDA0003296898480000051
其中，g(p)代表第p个滤波器对应的调查向量，g(q)代表第q个滤波器对应的调查向量，E和VAR分别代表一个向量的期望和方差，⊙代表逐元素乘法。
S2.滤波器聚类
对CNN的每一层，滤波器聚类以相似性调查输出的调查向量为输入，输出该层滤波器的聚类结果。本发明采用自底向上层次聚类的方法，初始化每一个滤波器作为一个聚类；在每次迭代中，寻找相似度最高的两个调查向量，并将其所在的聚类合并，取这两个聚类中所有调查向量的算术平均值作为新聚类的调查向量，直到该层剩下所有滤波器的聚类。
S3.按照下列公式对每个聚类中的滤波器进行趋同训练：
Figure GDA0003296898480000061
其中，F(j)代表编号为j的滤波器，t表示训练步数，τ表示学习率，H(j)表示编号为j的滤波器所属的聚类(形式是一个滤波器编号集合)，L表示目标函数，η是网络原本的L-2正则化因子，∈是一个控制趋同速度的超参数。
趋同训练的目标是使得每个聚类中的滤波器变得越来越相似，直至相同。
趋同训练过程一方面保持每个聚类中不同滤波器的增量相同，一方面逐渐消除不同滤波器初始值的差异。为了使得增量相同，在反向传播中本发明使用滤波器的平均梯度来更新参数值；为了逐渐消除差异，同一聚类中的不同滤波器会被逐渐推向其聚类中心。
与“剪枝+重训练”的范式相比，本发明的趋同训练过程比剪枝后的重训练过程模型参数量较多，模型精度更高；而且可以同时作用于一个网络中的所有层，不需要逐层迭代。与“置零+剪枝+重训练”的范式相比，本发明在训练过程中的有用参数更多，模型的自由度更高，更容易保持其精度不下降。而且本发明去除冗余的滤波器时不会造成模型的精度损失，因而不再需要重训练来恢复模型的精度。
S4.滤波器修剪
在趋同训练结束后，每个聚类中的滤波器已经变得几乎完全相同，此时选择每个聚类H(k)中的第一个，即编号最小的滤波器作为要留下的滤波器k，第i层所有要留下的滤波器k的集合记为Ri。
对于Ri中每一个要留下的滤波器k及其对应的聚类H(k)，在处理下一层(即第i+1层)的时候，需要把H(k)中将要被移除的滤波器所对应的输入通道上的参数加到滤波器k所对应的输入通道上去，如图4所示，即：
Figure GDA0003296898480000071
其中，K代表卷积核参数，是一个4阶张量。
在目前大多数实现平台上，不同输入通道的维度是第3阶，不同输出维度(即滤波器)是第4阶。
然后移除第i层冗余的滤波器，并移除第i+1层对应的输入通道。也就是说，对于Ri中每一个要留下的滤波器k，删除H(k)中除k之外的所有滤波器和第i+1层对应的输入通道。
由于卷积的线性和加和性质，这一操作几乎不会造成精度损失，因而不需要重训练来恢复模型的精度。
效果分析及评价
经典的滤波器置零的方法如图3所示，通过施加某种约束，第1个卷积层的第3个滤波器被逐渐置零，这使得其对应的第3个特征图也被逐渐置零。由于任何卷积核在一个接近于零的矩阵上进行二维卷积得到的结果都是接近于零的，第二个卷积层的6个滤波器的第3个输入通道的参数是接近于无用的，这使得网络的表征能力得到了较大的损害，网络的精度在训练过程中会被显著降低。在训练结束后进行剪枝时，第1层的第3个滤波器被直接移除，第2层的6个滤波器的第3个输入通道也被对应移除。
本发明提供的图像处理方法如图4所示，通过施加某种约束，第1层的第3个和第4个滤波器变得几乎相同，这使得其对应的第3个和第4个特征图也几乎相同。但是第3层的6个滤波器的第3个和第4个输入通道依然是不同的，在训练过程中可以不受约束地自由变化，这些参数依然是有用的，因而网络的表征能力被更多地保留。在训练结束后进行剪枝时，直接移除第1层的第4个滤波器，并将第2层的6个滤波器的第4个输入通道直接加到第3个输入通道上。由于卷积的线性以及加和性质，这样做几乎不会造成网络的精度损失，因而无需重训练。
与传统的滤波器剪枝方法相比，本发明通过发现网络中相似的滤波器，并经过训练将其变得越来越相似，直至最终相同，可以较多地保留网络的表征能力，达到模型精度和效率的更好平衡；而且移除冗余的滤波器将几乎不造成网络的精度损失，因而不再需要重训练来恢复模型的精度。
将本发明提供的图像处理方法在图像分类领域的两个标准数据集CIFAR-10和ImageNet-1K上进行实验，结果如表1所示：
表1图像处理方法应用实验结果
数据集 网络架构 剪枝前精度 剪枝后精度 FLOPs降低
CIFAR-10 ResNet-56 93.17 93.34 60.85％
CIFAR-10 ResNet-110 94.16 94.19 60.89％
CIFAR-10 ResNet-164 94.83 94.81 60.91％
CIFAR-10 DenseNet-40 93.81 94.29 62.47％
ImageNet ResNet-50 74.17 73.80 36.75％
ImageNet DenseNet-121 74.31 74.05 32.59％
由表1可知，本发明提供的图像处理方法表现出了显著的有效性和优越性。具体来说，在CIFAR-10数据集上，在3个代表性的卷积神经网络上(ResNet-56、ResNet-110、ResNet-164)，本发明提供的技术能够将每一个卷积层的滤波器数量减为原来的5/8，因而网络的参数量和浮点运算量可以减为原来的约25/64，而精度几乎没有损失，甚至在有些情况下略有升高。在DenseNet-40上，本方法能将其第一阶段的每层12个滤波器减为3个，最终网络的参数量和浮点运算量减为原来的37.5％，而且精度得到了一定的提升。在ImageNet上，本方法能够将ResNet-50和DenseNet-121的参数量和浮点运算量减少30％以上，只造成约0.3％的精度损失，大大优于现有其他方法。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种图像处理方法，其特征在于，包括：
将待处理的图像数据输入预先优化的卷积神经网络；利用所述优化后的卷积神经网络对图像数据进行处理，获得所述图像数据的处理结果；其中，所述优化后的卷积神经网络是进行如下操作得到的：
S1.对滤波器进行相似性调查；
S2.采用自底向上层次聚类的方法对滤波器进行聚类；
S3.按照下列公式对每个聚类中的滤波器进行趋同训练：
Figure FDA0003296898470000011
其中，F(j)代表编号为j的滤波器，t表示训练步数，τ表示学习率，H(j)表示编号为j的滤波器所属的聚类，L表示目标函数，η是网络原本的L-2正则化因子，∈是一个控制趋同速度的超参数；
S4.对经步骤S3趋同训练后的滤波器进行修剪，具体包括：
选择每个聚类H(k)中编号最小的滤波器作为要留下的滤波器k，第i层所有要留下的滤波器k的集合记为Ri；
对于Ri中每一个要留下的滤波器k及其对应的聚类H(k)，在处理第i+1层时，把H(k)中将要被移除的滤波器所对应的输入通道上的参数加到滤波器k所对应的输入通道上去，即：
Figure FDA0003296898470000012
其中，K代表卷积核参数；
然后删除第i层的H(k)中除要留下的滤波器k之外的所有滤波器和第i+1层对应的输入通道。
2.根据权利要求1所述的图像处理方法，其特征在于，步骤S1中的相似性调查是通过滤波器在一给定数据集上的输出的相似性来间接估计滤波器本身的相似性。
3.根据权利要求2所述的图像处理方法，其特征在于，相似性调查采用GAP作为滤波器产生的特征矩阵的统计量；对于一给定的数据集X，GAP会对每一个滤波器产生一个|X|维的调查向量作为输出；然后采用两个调查向量的Pearson相关系数来度量这两个调查向量对应的两个滤波器的相似性，具体如以下公式所示：
Figure FDA0003296898470000021
其中，g(p)代表第p个滤波器对应的调查向量，g(q)代表第q个滤波器对应的调查向量，E和VAR分别代表一个向量的期望和方差，⊙代表逐元素乘法。
4.根据权利要求3所述的图像处理方法，其特征在于，步骤S2包括：初始化每一个滤波器作为一个聚类；在每次迭代中，寻找相似度最高的两个调查向量，并将其所在的聚类合并，取这两个聚类中所有调查向量的算术平均值作为新聚类的调查向量，直到该层剩下所有滤波器的聚类。
5.根据权利要求1-4任一所述的图像处理方法，其特征在于，所述趋同训练的目标是使得每个聚类中的滤波器变得越来越相似。
CN201810672728.7A 2018-06-26 2018-06-26 一种图像处理方法 Active CN108846445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810672728.7A CN108846445B (zh) 2018-06-26 2018-06-26 一种图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810672728.7A CN108846445B (zh) 2018-06-26 2018-06-26 一种图像处理方法

Publications (2)

Publication Number Publication Date
CN108846445A CN108846445A (zh) 2018-11-20
CN108846445B true CN108846445B (zh) 2021-11-26

Family

ID=64202448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810672728.7A Active CN108846445B (zh) 2018-06-26 2018-06-26 一种图像处理方法

Country Status (1)

Country Link
CN (1) CN108846445B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858613B (zh) * 2019-01-22 2021-02-19 鹏城实验室 一种深度神经网络的压缩方法、系统及终端设备
CN110163342B (zh) * 2019-04-17 2023-07-25 腾讯科技（深圳）有限公司 一种模型压缩方法、装置、设备及存储介质
CN110263628B (zh) * 2019-05-09 2021-11-23 杭州飞步科技有限公司 障碍物检测方法、装置、电子设备以及存储介质
CN110276450B (zh) * 2019-06-25 2021-07-06 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110543900A (zh) * 2019-08-21 2019-12-06 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111242285A (zh) * 2020-01-06 2020-06-05 宜通世纪物联网研究院(广州)有限公司 一种深度学习模型的训练方法、系统、装置及存储介质
CN111507203B (zh) * 2020-03-27 2023-09-26 北京百度网讯科技有限公司 可变车道检测模型的构建方法、电子设备及存储介质
CN113516237B (zh) * 2020-04-09 2024-01-09 黑芝麻智能科技(重庆)有限公司 修剪卷积神经网络的方法
CN111612144B (zh) * 2020-05-22 2021-06-15 深圳金三立视频科技股份有限公司 一种应用于目标检测的剪枝方法及终端
CN112241789A (zh) * 2020-10-16 2021-01-19 广州云从凯风科技有限公司 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN112529149B (zh) * 2020-11-30 2024-05-24 华为技术有限公司 一种数据处理方法及相关装置
CN112633400B (zh) * 2020-12-29 2022-08-12 山东省海洋生物研究院 基于计算机视觉的贝类分类识别方法及装置
CN112733925A (zh) * 2021-01-04 2021-04-30 国网山东省电力公司枣庄供电公司 基于fpcc-gan的构建轻型图像分类网络的方法及系统
CN112561041B (zh) * 2021-02-25 2023-10-27 之江实验室 基于滤波器分布的神经网络模型加速方法及平台
CN113283473B (zh) * 2021-04-20 2023-10-13 中国海洋大学 一种基于cnn特征映射剪枝的快速水下目标识别方法
CN113762506B (zh) * 2021-08-13 2023-11-24 中国电子科技集团公司第三十八研究所 一种计算机视觉深度学习模型剪枝方法及系统
CN113743591B (zh) * 2021-09-14 2023-12-26 北京邮电大学 一种自动化剪枝卷积神经网络的方法及其系统
CN116402117B (zh) * 2023-06-07 2023-08-18 中诚华隆计算机技术有限公司 图像分类卷积神经网络剪枝方法及芯粒器件数据分配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092960A (zh) * 2017-04-17 2017-08-25 中国民航大学 一种改进的并行通道卷积神经网络训练方法
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102276339B1 (ko) * 2014-12-09 2021-07-12 삼성전자주식회사 Ｃｎｎ의 근사화를 위한 학습 장치 및 방법
US10832136B2 (en) * 2016-05-18 2020-11-10 Nec Corporation Passive pruning of filters in a convolutional neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092960A (zh) * 2017-04-17 2017-08-25 中国民航大学 一种改进的并行通道卷积神经网络训练方法
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

Also Published As

Publication number Publication date
CN108846445A (zh) 2018-11-20

Similar Documents

Publication Publication Date Title
CN108846445B (zh) 一种图像处理方法
CN110969250B (zh) 一种神经网络训练方法及装置
Li et al. Towards compact cnns via collaborative compression
Liu et al. Connecting image denoising and high-level vision tasks via deep learning
CN107229757B (zh) 基于深度学习和哈希编码的视频检索方法
US20180260709A1 (en) Calculating device and method for a sparsely connected artificial neural network
CN111523546B (zh) 图像语义分割方法、系统及计算机存储介质
Jia et al. A regularized convolutional neural network for semantic image segmentation
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
CN112368697A (zh) 经由对偶分解评估损失函数或损失函数的梯度的系统和方法
CN111476346B (zh) 一种基于牛顿共轭梯度法的深度学习网络架构
CN111782826A (zh) 知识图谱的信息处理方法、装置、设备及存储介质
CN113379786B (zh) 图像抠图方法、装置、计算机设备及存储介质
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
Liu et al. EACP: An effective automatic channel pruning for neural networks
CN112258557A (zh) 一种基于空间注意力特征聚合的视觉跟踪方法
Liu et al. Adadm: Enabling normalization for image super-resolution
Wang et al. Towards efficient convolutional neural networks through low-error filter saliency estimation
Qi et al. Learning low resource consumption cnn through pruning and quantization
Zhuang et al. Is normalization indispensable for multi-domain federated learning?
CN116522143A (zh) 模型训练方法、聚类方法、设备及介质
Rong et al. Soft Taylor pruning for accelerating deep convolutional neural networks
CN111738298B (zh) 一种基于深宽可变多核学习的mnist手写数字数据的分类方法
CN113408652B (zh) 基于群表示特征的半监督学习图像分类方法
Xu et al. Globally soft filter pruning for efficient convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant