CN113435588A - 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法 - Google Patents

基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法 Download PDF

Info

Publication number
CN113435588A
CN113435588A CN202110988504.9A CN202110988504A CN113435588A CN 113435588 A CN113435588 A CN 113435588A CN 202110988504 A CN202110988504 A CN 202110988504A CN 113435588 A CN113435588 A CN 113435588A
Authority
CN
China
Prior art keywords
layer
module
convolution
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110988504.9A
Other languages
English (en)
Other versions
CN113435588B (zh
Inventor
张逸
何鹏飞
王军
徐晓刚
张文广
朱岳江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110988504.9A priority Critical patent/CN113435588B/zh
Publication of CN113435588A publication Critical patent/CN113435588A/zh
Application granted granted Critical
Publication of CN113435588B publication Critical patent/CN113435588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，首先设置两组不同的训练策略；然后采用两组策略训练同构的两个深度卷积神经网络，训练过程中，对两个深度卷积神经网络的BN层尺度系数进行稀疏化；同时采用特征图学习的方式，保持两个深度卷积神经网络的层内卷积核权值分布的一致性；根据BN层尺度系数，每隔一定迭代次数，将其中一个深度卷积神经网络层内BN层对应尺度系数小的卷积核，替换为另一个深度卷积神经网络层内BN层对应尺度系数大的卷积核。

Description

基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法
技术领域
本发明涉及人工智能及计算机视觉技术领域，尤其是涉及基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法。
背景技术
随着智能化的发展，生产生活的安全已成为了人们日益关注的焦点和需求。工业生产的现场以及城市的许多角落都已经安装了摄像头，为利用计算机视觉技术自动化监控创造了良好的客观条件。
由于大规模摄像头产生的海量视频的传输和存储存在困难，因此实际场景对摄像头的端侧处理能力提出了很高的要求。
基于此，模型压缩技术包括量化、剪枝等逐步发展，于此同时，类似MobileNet、ShuffleNet等紧凑型的小型网络模型也极大推进了端侧推理性能的优化。需要指出的是，MobileNet、ShuffleNet等紧凑型的小型网络本身的设计有效降低了端侧的推理耗时和硬件资源消耗，然而其性能相对于较大规模的网络模型存在一定劣势，在网络结构限定的条件下，进一步提高其训练后的精度性能具有重要意义。
在网络结构限定的条件下，提高模型训练精度性能的常用方法是知识蒸馏，即设定异构的教师网络和学生网络，将教师网络学习到的信息传递给学生网络。然而，由于异构网络间信息传递的困难性，知识蒸馏方法对学生网络的性能提升有限。因此，直接将教师网络中子网络或中间层向学生网络进行移植嫁接是有益的发展路径。
由于深度卷积神经网络的庞大，网络训练后往往存在很多的卷积核没有得到充分利用，对其进行裁剪也不影响模型的精度性能，因此，在网络结构不进行缩减的条件下，需要提出一种进一步充分利用原有低效卷积核的方法。
直接将教师网络中子网络或中间层向学生网络进行移植嫁接虽然可行，但是其仍然没有消除移植的子网络或中间层中存在的低效卷积核，限制了性能提升的空间，而直接将教师网络中的高效卷积核替换学生网络中的低效卷积核，又将破坏学生网络层内卷积核权值分布的一致性。
发明内容
为解决现有技术的不足，利用BN层尺度系数来判断对应的卷积核是否高效，同时利用特征图学习的方法保持学生网络和教师网络层内卷积核权值分布的一致性，解决现有知识蒸馏或网络层粒度的模型嫁接对学生网络的性能提升有限的问题，实现消除学生网络模型中的低效卷积核，又在移植过程中保持学生网络层内卷积核权值分布的一致性的目的，本发明采用如下的技术方案：
基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，包括如下步骤：
S1，设置两组不同的训练策略，包括两组训练图像；
S2，采用两组不同的训练策略，分别向同构的两个深度卷积神经网络A和B输入两组训练图像，进行迭代训练，训练过程中，对两个深度卷积神经网络的BN层尺度系数进行稀疏化，目的是区分各个卷积核的重要性，稀疏化公式如下：
Figure 559654DEST_PATH_IMAGE001
其中，L表示新的深度卷积神经网络的损失函数，x表示深度卷积神经网络输入的图像，y表示真实的图像分类标签，W表示可训练的权重，f(·)表示深度卷积神经网络，l(·)表示原深度卷积神经网络的损失函数，g(·)为用于稀疏化BN层尺度系数的惩罚函数，λ为公式第一项原深度卷积神经网络的损失函数和第二项稀疏化惩罚函数的平衡系数，γ表示BN层尺度系数，Γ表示实数域；
S3，采用特征图学习的方式，保持两个深度卷积神经网络的层内卷积核权值分布的一致性，对于同构的A和B，将网络结构中每次下采样前的特征图，作为A和B的绑定特征图，使得A的绑定特征图向B的绑定特征图进行学习，或B向A学习，学习产生的损失函数如下：
Figure 54220DEST_PATH_IMAGE002
其中，i表示绑定特征图对应的编号，W A,i 表示计算得到A的第i个特征图所需的权重，W B,i 表示计算得到B的第i个特征图所需的权重，f(·)表示深度卷积神经网络，||·||1表示LI范数；
S4，根据BN层尺度系数，每隔预设的迭代次数，将A深度卷积神经网络层内BN层对应尺度系数小的卷积核，替换为B深度卷积神经网络层内BN层对应尺度系数大的卷积核，或B替换为A的，从而提高了图像分类训练的精度。
进一步地，所述S2中，获取到各个BN层尺度系数的梯度后，累加λ*sign(γ)，其中sign(γ)为惩罚函数的导函数，即BN层尺度系数γ的梯度大于0则累加λ，小于0则减去λ。
进一步地，所述S3中，获取A和B的绑定特征图后，将两者对应位置的特征值相减后，再将所有相减的值求和的结果，累加到训练的总损失函数中。该操作可以使得深度卷积神经网络A和B的关键特征层内卷积核权值分布保持一致性，从而为后续卷积核层面的嫁接提供基础。
进一步地，所述S4包括如下步骤：
S41，在A和B的训练迭代过程中，每迭代N次，获取各层稀疏化的BN层尺度系数；
S42，将各层稀疏化的BN层尺度系数按大小排序，根据设定的比例阈值a，分别获取A内每一层BN层，前a的小尺度系数，以及B内每一层BN层，前a的大尺度系数；
S43，获取各BN层大、小尺度系数对应的卷积核；
S44，对于A和B的每一层，将A中BN层的小尺度系数对应的卷积核，替换为B中BN层大尺度系数对应的卷积核。
进一步地，所述深度卷积神经网络A和B，包括依次连接的Stage1模块、Stage2模块、Stage3模块、Stage4模块、GlobalPool模块、FC全连接模块，其中Stage1模块、Stage2模块、Stage3模块、Stage4模块同构，均包含依次连接的Conv卷积模块和MaxPool模块；
所述Stage1模块的Conv卷积模块，输入通道数为3，对应输入RGB图像的三个通道，输出通道数为c，Stage2模块、Stage3模块、Stage4模块的输入及输出通道数均为c，FC全连接模块的输出为类别数；
所述Stage2-4模块，在模块开始处，将c个通道的输入拆分为两个分支，即复制出两份c个通道的输入，对一个分支进行一个3*3卷积核尺度的卷积运算，其中Stage2模块、Stage3模块中该卷积运算的步长为2，即进行下采样，Stage4模块中该卷积运算的步长为1；另一个分支经过三个卷积核尺度分别为1*1、3*3、1*1的卷积层的同时，保证输出通道数与输入通道数相同，其中Stage2模块、Stage3模块、Stage4模块中的1*1卷积核步长为均1，Stage2模块、Stage3模块中3*3的卷积层卷积核步长为2，即进行下采样，Stage4模块中3*3卷积核步长为1，在三个卷积层之后，两个分支进行相加拼接，通道数不变；
以上网络结构中的每个卷积层之后都带有BN层和LeakyRelu激活层。
进一步地，所述绑定特征图，是Stage2-4模块中3*3尺度的卷积核对应的特征图。
进一步地，所述两组不同的训练策略，包括深度卷积神经网络训练过程中，不同的图像输入顺序、不同的网络学习率、不同的训练优化器。
进一步地，所述两组不同的训练策略，均采用交叉熵损失函数。
进一步地，所述λ=0.5。
进一步地，所述惩罚函数采用L1 loss。
本发明的优势和有益效果在于：
本发明在卷积核嫁接领域内，引入基于BN层尺度系数的卷积核选择方法，可以有效提高嫁接与被嫁接卷积核的选择有效性；本发明采用特征图学习的方式，保持两个深度卷积神经网络的层内卷积核权值分布的一致性，从而实现了卷积核粒度上的嫁接，相比网络层粒度的嫁接效率更高，最终有效提高了图像分类训练的精度。
附图说明
图1是本发明的方法流程图。
图2是本发明中特征图学习的示意图。
图3是本发明中网络层内卷积核嫁接示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，本发明的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，包括以下步骤：
S1：首先设置两组不同的训练策略；
具体地，数据集采用CIFAR-10，训练集共50000张图片，测试集共10000张图片。设置两组不同的训练策略，包括对深度卷积神经网络训练过程中不同的图像输入顺序、不同的网络学习率、不同的训练优化器；第一种训练策略batch数设置为32，采用随机生成的图像输入顺序，初始网络学习率为0.01，采用SGD优化器；第二种训练策略batch数也设置为32，采用随机生成的另一组图像输入顺序，初始网络学习率为0.015，采用Adam优化器。两种训练策略均采用交叉熵损失函数。
S2：采用两组参数训练同构的两个深度卷积神经网络A和B，训练过程中对两个深度卷积神经网络的BN层尺度系数进行稀疏化；
具体地，深度卷积神经网络A和B同构，主要包含以下几个子网络模块：Stage1模块、Stage2模块、Stage3模块、Stage4模块、GlobalPool模块、FC全连接模块，其中Stage1模块、Stage2模块、Stage3模块、Stage4模块同构，均包含Conv卷积模块和MaxPool模块。
Conv卷积模块连接MaxPool模块，Stage1模块依次连接Stage2模块、Stage3模块、Stage4模块，而后连接GlobalPool模块，最后连接FC全连接模块。
Stage1模块的Conv卷积模块的输入通道数为c=3，对应输入RGB图像的三个通道，输出通道数为128，Stage2模块、Stage3模块、Stage4模块的输入及输出通道数均为128，FC全连接模块的输出类别数为10。
所述Stage模块结构如下：在模块开始处，将c=128个通道的输入拆分为两个分支，即复制出两份128个通道的输入，对一个分支进行3*3卷积核尺度的卷积运算，其中Stage2模块、Stage3模块中该卷积运算的步长为2，即进行下采样，Stage4模块中该卷积运算的步长为1；另一个分支经过三个卷积核尺度分别为1*1、3*3、1*1的卷积层的同时，保证输出通道数与输入通道数相同，其中Stage2模块、Stage3模块、Stage4模块中的1*1卷积核步长为均1，Stage2模块、Stage3模块中3*3卷积核步长为2，即进行下采样，Stage4模块中3*3卷积核步长为1，在三个卷积层之后，两个分支进行相加拼接，通道数不变。
以上网络结构中的每个卷积层之后都带有BN层和LeakyRelu激活层。
对于深度卷积神经网络A和B，采用上述两组不同的训练策略分别进行迭代训练；
训练过程中对两个深度卷积神经网络的BN层尺度系数进行稀疏化，目的是区分各个卷积核的重要性，稀疏化方法对应的公式如下：
Figure 55674DEST_PATH_IMAGE001
其中，x表示神经网络的输入，即输入的图片，y表示真实的图像分类标签，W代表可训练的权重，f(·)表示深度卷积神经网络，l(·)表示原网络损失函数，g(·)为用于稀疏化BN层尺度系数的惩罚函数，采用L1 loss，λ为公式第一项原网络损失函数和第二项稀疏化惩罚函数的平衡系数，采用0.5，γ表示BN层尺度系数，Γ表示实数域。
具体地，在代码实现中即是获取到各个BN层尺度系数的梯度后，累加0.5*sign(x)，其中sign(x)即为L1 loss的导函数，即BN层尺度系数的梯度大于0则累加0.5，小于0则减去0.5。
S3：采用特征图学习的方式保持两个深度卷积神经网络的层内卷积核权值分布的一致性；
具体地，如图2所示，对于同构的两个深度卷积神经网络A和B，将网络结构中每次下采样前的特征图作为深度卷积神经网络A和B的绑定特征图，在本实施例中，即为Stage2模块，Stage3模块，Stage4模块中3*3尺度的卷积核对应的特征图。使得深度卷积神经网络A的绑定特征图向深度卷积神经网络B的绑定特征图进行学习，亦可B向A学习。该部分产生的损失函数项如下公式所示：
Figure 926678DEST_PATH_IMAGE002
其中，i表示绑定特征图对应的编号，W A,i 表示计算得到深度卷积神经网络A的第i个特征图所需的权重，f(·)表示深度卷积神经网络。
具体地，在代码实现中即是获取深度卷积神经网络A的绑定特征图和深度卷积神经网络B的绑定特征图后，将两者对应位置特征值相减再求和的结果累加到训练的总损失函数中。该操作可以使得深度卷积神经网络A和B的关键特征层内卷积核权值分布保持一致性，从而为后续卷积核层面的嫁接提供基础。
S4：根据BN层尺度系数，每隔一定迭代次数，将A深度卷积神经网络层内BN层对应尺度系数小的卷积核，替换为B深度卷积神经网络层内BN层对应尺度系数大的卷积核。
具体地，如图3所示，在深度卷积神经网络A和B的训练迭代过程中，每迭代N=10次，获取各层稀疏化的BN层尺度系数；
将各层稀疏化的BN层尺度系数按大小排序，设定比例阈值a=0.3，按此比例分别获取深度卷积神经网络A内每一层较小的30%的BN层尺度系数，以及深度卷积神经网络B内每一层较大的30%的BN层尺度系数；
获取各BN层对应的卷积核；
对于深度卷积神经网络A和B的每一层，将深度卷积神经网络A中较小BN层尺度系数对应的卷积核替换为深度卷积神经网络B中较大BN层尺度系数对应的卷积核。
本发明的方法在CIFAR-10和CIFAR-100数据集应用的最终实验准确率结果如表1所示，通过基线方法和本发明的方法得到的准确率可见，相对基线可以有效提高深度卷积神经网络的训练精度。
表1
CIFAR-10 CIFAR-100
基线 92.42 71.43
本方法 93.02 73.21
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于包括如下步骤：
S1，设置两组不同的训练策略，包括两组训练图像；
S2，采用两组不同的训练策略，分别向同构的两个深度卷积神经网络A和B输入两组训练图像，进行迭代训练，训练过程中，对两个深度卷积神经网络的BN层尺度系数进行稀疏化，稀疏化公式如下：
Figure 426521DEST_PATH_IMAGE001
其中，L表示新的深度卷积神经网络的损失函数，x表示深度卷积神经网络输入的图像，y表示真实的图像分类标签，W表示可训练的权重，f(·)表示深度卷积神经网络，l(·)表示原深度卷积神经网络的损失函数，g(·)为用于稀疏化BN层尺度系数的惩罚函数，λ为公式第一项原深度卷积神经网络的损失函数和第二项稀疏化惩罚函数的平衡系数，γ表示BN层尺度系数，Γ表示实数域；
S3，采用特征图学习的方式，保持两个深度卷积神经网络的层内卷积核权值分布的一致性，对于同构的A和B，将网络结构中每次下采样前的特征图，作为A和B的绑定特征图，使得A的绑定特征图向B的绑定特征图进行学习，或B向A学习，学习产生的损失函数如下：
Figure 983404DEST_PATH_IMAGE002
其中，i表示绑定特征图对应的编号，W A,i 表示计算得到A的第i个特征图所需的权重，W B,i 表示计算得到B的第i个特征图所需的权重，f(·)表示深度卷积神经网络，||·||1表示LI范数；
S4，根据BN层尺度系数，每隔预设的迭代次数，将A深度卷积神经网络层内BN层对应尺度系数小的卷积核，替换为B深度卷积神经网络层内BN层对应尺度系数大的卷积核，或B替换为A的。
2.根据权利要求1所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述S2中，获取到各个BN层尺度系数的梯度后，累加λ*sign(γ)，其中sign(γ)为惩罚函数的导函数，即BN层尺度系数γ的梯度大于0则累加λ，小于0则减去λ。
3.根据权利要求1所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述S3中，获取A和B的绑定特征图后，将两者对应位置的特征值相减后，再将所有相减的值求和的结果，累加到训练的总损失函数中。
4.根据权利要求1所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述S4包括如下步骤：
S41，在A和B的训练迭代过程中，每迭代N次，获取各层稀疏化的BN层尺度系数；
S42，将各层稀疏化的BN层尺度系数按大小排序，根据设定的比例阈值a，分别获取A内每一层BN层，前a的小尺度系数，以及B内每一层BN层，前a的大尺度系数；
S43，获取各BN层大、小尺度系数对应的卷积核；
S44，对于A和B的每一层，将A中BN层的小尺度系数对应的卷积核，替换为B中BN层大尺度系数对应的卷积核。
5.根据权利要求1所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述深度卷积神经网络A和B，包括依次连接的Stage1模块、Stage2模块、Stage3模块、Stage4模块、GlobalPool模块、FC全连接模块，其中Stage1模块、Stage2模块、Stage3模块、Stage4模块同构，均包含依次连接的Conv卷积模块和MaxPool模块；
所述Stage1模块的Conv卷积模块，输入通道数为3，对应输入RGB图像的三个通道，输出通道数为c，Stage2模块、Stage3模块、Stage4模块的输入及输出通道数均为c，FC全连接模块的输出为类别数；
所述Stage2-4模块，在模块开始处，将c个通道的输入拆分为两个分支，即复制出两份c个通道的输入，对一个分支进行一个X*X卷积核尺度的卷积运算，其中Stage2模块、Stage3模块中该卷积运算进行下采样，Stage4模块中该卷积运算的步长为1；另一个分支经过三个卷积核尺度分别为1*1、X*X、1*1的卷积层的同时，保证输出通道数与输入通道数相同，其中Stage2模块、Stage3模块、Stage4模块中的1*1卷积核步长为均1，Stage2模块、Stage3模块中X*X的卷积层进行下采样，Stage4模块中X*X卷积核步长为1，在三个卷积层之后，两个分支进行相加拼接，通道数不变；
以上网络结构中的每个卷积层之后都带有BN层和激活层。
6.根据权利要求5所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述绑定特征图，是Stage2-4模块中X*X尺度的卷积核对应的特征图。
7.根据权利要求1所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述两组不同的训练策略，包括深度卷积神经网络训练过程中，不同的图像输入顺序、不同的网络学习率、不同的训练优化器。
8.根据权利要求1所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述两组不同的训练策略，均采用交叉熵损失函数。
9.根据权利要求1或2所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述λ=0.5。
10.根据权利要求1或2所述的基于深度卷积神经网络BN层尺度系数的卷积核嫁接方法，其特征在于所述惩罚函数采用L1 loss。
CN202110988504.9A 2021-08-26 2021-08-26 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法 Active CN113435588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988504.9A CN113435588B (zh) 2021-08-26 2021-08-26 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988504.9A CN113435588B (zh) 2021-08-26 2021-08-26 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法

Publications (2)

Publication Number Publication Date
CN113435588A true CN113435588A (zh) 2021-09-24
CN113435588B CN113435588B (zh) 2022-01-04

Family

ID=77798068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988504.9A Active CN113435588B (zh) 2021-08-26 2021-08-26 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法

Country Status (1)

Country Link
CN (1) CN113435588B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022727A (zh) * 2021-10-20 2022-02-08 之江实验室 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210009A (zh) * 2020-01-14 2020-05-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质
CN112101172A (zh) * 2020-09-08 2020-12-18 平安科技（深圳）有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
US11030528B1 (en) * 2020-01-20 2021-06-08 Zhejiang University Convolutional neural network pruning method based on feature map sparsification
CN112989955A (zh) * 2021-02-20 2021-06-18 北方工业大学 基于空时双流异构嫁接卷积神经网络人体动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210009A (zh) * 2020-01-14 2020-05-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质
US11030528B1 (en) * 2020-01-20 2021-06-08 Zhejiang University Convolutional neural network pruning method based on feature map sparsification
CN112101172A (zh) * 2020-09-08 2020-12-18 平安科技（深圳）有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN112989955A (zh) * 2021-02-20 2021-06-18 北方工业大学 基于空时双流异构嫁接卷积神经网络人体动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANXU MENG: "Filter Grafting for Deep Neural Networks", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ZHUANG LIU: "Learning Efficient Convolutional Networks through Network Slimming", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022727A (zh) * 2021-10-20 2022-02-08 之江实验室 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法
CN114022727B (zh) * 2021-10-20 2024-04-26 之江实验室 一种基于图像知识回顾的深度卷积神经网络自蒸馏方法

Also Published As

Publication number Publication date
CN113435588B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN112257794B (zh) 一种基于yolo的轻量级的目标检测方法
CN109671026B (zh) 基于空洞卷积及自动编解码神经网络的灰度图像降噪方法
CN109543838B (zh) 一种基于变分自编码器的图像增量学习方法
CN112861602B (zh) 基于深度可分离卷积的人脸活体识别模型压缩和移植方法
CN113378906A (zh) 一种特征自适应对齐的无监督域适应遥感图像语义分割方法
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN113435588B (zh) 基于深度卷积神经网络bn层尺度系数的卷积核嫁接方法
CN114676769A (zh) 一种基于视觉Transformer的小样本昆虫图像识别方法
CN116883364A (zh) 一种基于CNN和Transformer的苹果叶片病害识别方法
CN116935128A (zh) 一种基于可学习提示的零样本异常图像检测方法
CN114298224B (zh) 图像分类方法、装置以及计算机可读存储介质
CN115170874A (zh) 一种基于解耦蒸馏损失的自蒸馏实现方法
CN117744745B (zh) 一种基于YOLOv5网络模型的图像优化方法及优化系统
CN112989955B (zh) 基于空时双流异构嫁接卷积神经网络人体动作识别方法
CN118262218A (zh) 一种基于改进SimVP的卫星云图序列预测方法
CN114091668A (zh) 基于可微决策器和知识蒸馏的神经网络剪枝方法及系统
CN117477539A (zh) 一种基于时间深度卷积网络的短期负荷预测方法
CN109934281B (zh) 一种二分类网络的非监督训练方法
CN114120046B (zh) 一种基于幻影卷积的轻量级工程结构裂缝识别方法及系统
CN115829029A (zh) 一种基于通道注意力的自蒸馏实现方法
CN115689918A (zh) 一种基于残差先验注意力机制的并行单幅图像去雨方法
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN112508802A (zh) 一种基于残余边信息融合的端到端的去除雾方法
CN114820326B (zh) 基于可调节核稀疏化的高效单帧图像超分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant