CN110490298A - 基于膨胀卷积的轻量化深度卷积神经网络模型 - Google Patents

基于膨胀卷积的轻量化深度卷积神经网络模型 Download PDF

Info

Publication number
CN110490298A
CN110490298A CN201910674615.5A CN201910674615A CN110490298A CN 110490298 A CN110490298 A CN 110490298A CN 201910674615 A CN201910674615 A CN 201910674615A CN 110490298 A CN110490298 A CN 110490298A
Authority
CN
China
Prior art keywords
convolution
network
indicate
layer
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910674615.5A
Other languages
English (en)
Inventor
王彬
吕艺东
黑新宏
金海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910674615.5A priority Critical patent/CN110490298A/zh
Publication of CN110490298A publication Critical patent/CN110490298A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Complex Calculations (AREA)

Abstract

基于膨胀卷积的轻量化深度卷积神经网络模型，包括特征融合模块；特征融合模块使用1*1、3*3的一般卷积以及3*3的膨胀卷积进行特征融合；将其应用于CASIA‑HWDB数据集上，达到在较快的运算速度以及较少参数量存储的情况下实现较高的准确率的效果；本发明的方法在CASIA‑HWDB数据集上的准确率为94.01％的；网络参数量存储为8.99MB；在PC(无gpu加速)以及ARM(树莓派)上单张图片处理速度分别达到4.34ms和243.387ms。

Description

基于膨胀卷积的轻量化深度卷积神经网络模型
技术领域
本分明属于神经网络结构优化加速技术领域，具体涉及基于膨胀卷积的轻量化深度卷积神经网络模型，主要针对现有轻量化神经网络进行改进，使其可应用于小型的终端设备，在边缘计算中达到实时数据处理的效果。
背景技术
目前，人们在对深度卷积神经网络加速的研究可分为以下三个方面：基于硬件的加速、基于优化算法的加速、基于网络结构的加速。基于硬件的加速主要探索对新型的硬件的开发，例如：FPG、TPU、GPU等新型硬件的设计。基于网络优化算法的加速主要是在网络优化的过程中加速网络的计算，从而加快网络的收敛。例如：分布式梯度下降算法、将梯度下降与进化算法相结合、自适应学习率等方法。基于网络结构的优化方法可分为：设计轻量化卷积神经网络以及卷积神经网络结构压缩优化。在设计轻量型卷积神经网络中主要是利用深度可分离卷积、点卷积以及分组卷积进行网络结构的设计，减少网络的计算量达到加速的目的。相关研究有：Xception、MobileNet_v1、MobileNet_v2、ShuffleNet_v1、ShuffleNet_v2、CondenseNet、IGCV1、IGCV2、IGCV3等轻量化的深度卷积神经网络。
在卷积神经网络结构压缩优化方面可分为：神经网络剪枝、神经网络权重分解、神经网络量化、神经网络知识“蒸馏”等方法。神经网络剪枝是通过设定阈值对卷积神经网络的卷积核权重或者对卷积神经网络中的卷积通道进行去除，减少网络参数以及所占的内存，达到加速的目的。神经网络权重分解是将较大的卷积核分解为两个或者较多的较小的卷积核，从而达到减少网络的计算量的效果以及加速网络运算速度的效果。神经网络量化是指将卷积神经网络中的权重量化表示，利用二进制或者三进制等方法表示神经网络权重，达到减少神经网络的存储以及一定的加速效果，但其精度损失较大。神经网络知识“蒸馏”是指通过训练一个较大的网络进而使用较大的网络引导较小的网络的训练。在以上的方法中人们对轻量化神经网络的设计以及神经网络的剪枝这两种方法研究较多。
在轻量化神经网络设计中常用的是深度可分离卷积、点卷积以及分组卷积。在深度可分离之后应用点卷积进行特征的融合，或者进行分组点卷积进行特征的融合。例如在MobileNets中作者在深度可分离卷积之后利用点卷积进行特征的融合，因此对网络的准确率有一定的影响。此外在ShuffleNet、CondenseNet、IGCV等使用分组卷积的网络中每个分组的通道数量均相等且每个分组中权重都不相同，在三个网络中都进行了一定的分组之间特征融合的操作，但其具有一定的局限性。在轻量化深度卷积神经网络的设计中，在特征融合部分仅适用1*1的点卷积，因此使得网络的准确率较低。因此我们针对这一问题提出以下改进。
发明内容
为了克服现有技术的不足，本发明的目的在于提供基于膨胀卷积的轻量化深度卷积神经网络模型，解决了现有技术中轻量化深度卷积神经网络中特征融合尺度单一，造成的准确率较低的问题，改善了特征融合卷积核的尺度，提高了网络运算的准确率。
为实现上述目的，本发明基于膨胀卷积的轻量化深度卷积神经网络模型，包括特征融合模块；特征融合模块使用1*1、3*3的一般卷积以及3*3的膨胀卷积进行特征融合；即在我们的网络模块中在同一层中使用3种不同的卷积核；其中使用3*3的一般卷积其可融合的特征区域为3*3的大小；使用3*3的膨胀卷积其可融合的特征区域为5*5的大小，但参数量与3*3的一般卷积的参数量相同；减少网络的参数量存储，进而减小了因为多尺度的特征融合对轻量化深度卷积神经网络运行速度带来的不利影响；
在使用1*1、3*3以及3*3的膨胀卷积，网络的其参数量L1计算公式(1)如下：
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核，两个3*3分别表示卷积核大小为3*3的一般卷积卷积核以及膨胀卷积卷积核；
当只是用1*1卷积核的参数量L2计算公式(2)如下：
L2＝I*1*1*O＝I*1*O (2)
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核；
当时用1*1、3*3以及5*5的卷积时其参数量L3计算公式(3)如下：
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核，3*3表示卷积核大小为3*3的一般卷积卷积核，5*5表示卷积核大小为5*5的一般卷积卷积核。
由上面的公式可知本发明的参数量仅为原始参数量的5倍，当直接使用5*5的卷积时，则参数量增加为原本的9倍；本发明的多尺度特征融合卷积模块适当的增加了参数量。因此如果直接将其应用于主流的轻量化深度神经网络中会增加计算量，减慢轻量化深度神经网络的运行时间。
针对我们的模块会增加网络的参数量以及运算量这一问题，我们设计了一种新的轻量化深度卷积神经网络模型。我们的神经网络模型总的深度为21层，最大的通道数为256；在第3层到第7层以及第七层到最终全连接层之间添加跨层的连接，并在第3层和第7层应用了特征融合模块；在每个卷积操作之后均添加BN以及Relu操作，神经网络的结构如下表2所示：
表2神经网络各层结构数据
上表中3*3d表示3*3的膨胀卷积。
本发明的一种新的轻量化深度卷积神经网络。与主流的轻量化深度神经网络相比，本发明的网络具备更加简单的网络结构，因此减小了所运用的模块对网络模型运算速度的影响。本发明的轻量化深度卷积神经网络结构，其总的深度为21层，最大的通道数为256。为了避免浅层特征的丢失，在第3层到第7层以及第七层到最终全连接层之间添加跨层的连接，并在第3层和第7层应用了我们设计的多尺度特征融合卷积模块(D_block)，在每个卷积操作之后均添加BN以及Relu操作，避免过拟合以及增加非线性。
将本发明基于膨胀卷积的轻量化深度卷积神经网络，应用于CASIA-HWDB1.1数据集中的中文汉字部分，其中包含3755个GB2312一级手写汉字，每个字包含300个不同的样本，总共有1126500个数据样本。最终在运算速度，识别准确率以及参数量存储等方面都取得了较好的效果。
与现有技术相比，本发明的有益效果是：
本发明将多尺度卷积结构的特征融合模块(D_block)，用于轻量化深度卷积神经网络中，达到在有限的计算量增加的情况下，提高深度卷积神经网络的识别准确性。该模块的特点在于使用1*1、3*3的一般卷积以及3*3的膨胀卷积代替原有的1*1的点卷积进行特征融合，从而提高了轻量化深度卷积神经网络的识别准确率。
本发明采用了多尺度特征融合卷积模块，以及一种新的轻量化深度卷积神经网络。并将其应用在CASIA-HWDB1.1数据集中，最后，将其应用于CASIA-HWDB数据集上，达到在较快的运算速度以及较少参数量存储的情况下实现较高的准确率的效果。该方法在CASIA-HWDB数据集上的准确率为94.01％的；网络参数量存储为8.99MB；在PC(无gpu加速)以及ARM(树莓派)上单张图片处理速度分别达到4.34ms和243.387ms。我们在实验中进行了两部分对比。1)将我们设计的模块与经典的神经网络模块进行对比；2)将我们设计的网络模型与主流的轻量化深度卷积神经网络模型进行对比。
(一)本发明的神经网络模块与经典的神经网络模块对比：
本设计的模块(D_block)指多尺度卷积结构的特征融合模块，在与经典的深度卷积神经网络结构模块进行对比时，分别将(D_block)和经典的神经网络结构模块(5*5卷积模块、1*1卷积模块)应用在我们设计的新的轻量化神经网络结构中。实验结果如表3所示：
表3 D_block与经典网络模块对比实验结果
由上表3我们可得出以下结果：
1)由于我们设计的网络模块与经典的多分支网络模块(5*5卷积模块)相比减少了网络的计算量，因此T_pc时间减少了0.477ms，T_arm时间减少了50.43ms，准确率提升了0.58％，
2)由于我们的网络模块采用了不同尺度的卷积核，因此与点卷积(1*1卷积模块)相比，准确率提升了0.99％，T_pc时间增加了0.237ms，T_arm时间增加了24.54ms。
由上可知我们所设计的多尺度特征融合模块(D_block)，与现有的经典网络模块相比，在对网络运行速度影响较小的情况下,对准确率有较大的提升。
(二)本发明的网络模型与主流的轻量化深度卷积神经网络模型对比：
本发明的网络模型(Ourmodel)指将多尺度卷积结构的特征融合模块与新轻量化神经网络结构相结合提出的新的轻量化神经网络模型。Ourmodel与MobileNets_v1、MobileNets_v2、ShuffleNet_v1、Shufflenet_v2、DenseNet等主流的轻量化深度神经网络模型进行对比。其最终的结果如下表4所示。
表4 Ourmodel与主流轻量化神经网络对比实验结果
由上表4我们可得出以下结果：
1)网络模型参数量存储对比分析
在所有模型中网络模型参数存储最小值为6.01/MB(ShuffleNet_v2_0.25)，Ourmodel的参数存储为8.99/MB，总体存储消耗较少。
另外，由于树莓派(ARM)上内存有限，当网络模型参数量较多时，对它的运算速度影响较大。
因此上表3中MobileNe t_v1_0.5与Shuff leNet_v1_0.25相比参数量增加了14.76(MB)，T_pc只增大了1.028倍，但T_arm增大了1.824倍。
2)网络模型识别速度对比分析
由上表3可知最低测试时间的神经网络模型为Mob ileNet_v1_0.5。
由于本发明的网络结构中使用了较大的卷积核，导致计算量的增加从而运算速度减慢，但是准确率有较大幅度的提升。因此Ourmodel与MobileNet_v1_0.5相比T_pc增加了1.8(ms)，T_arm增加了132.567(ms)，但准确率提升了3.18％。
3)网络模型识别准确率对比分析
由上表3可知最高准确率的神经网络模型为Dense Net。
由于DenseNet的网络模型较为复杂因此其准确率最高，但其运算速度与我们的神经网络模型相比有大幅的下降。因此Ourmodel与DenseNet相比虽然准确率降低0.52了3.18％，但是T_pc减少了8.22(ms)，T_arm减少了348.103(ms)。
由以上可知本发明的网络模块与经典的网络模块相比，可以更好的平衡运算速度、识别准确率以及参数存储量。在较小的速度影响的情况下，较高的提高了网络模型的识别准确率。本发明的新的轻量化深度卷积神经网络与传统的主流轻量化神经网络相比同样在速度和精确度方面都取得了较好的结果。
附图说明
图1为是本发明的多尺度特征融合卷积模块结构图。
图2是本发明的网络结构与ShuffleNet_v1系列网络结构的对比图。
图3是本发明的网络结构与ShuffleNet_v2系列网络结构的对比图。
图4是本发明的网络结构与MobileNets_v1系列网络结构的对比图。
图5是本发明的网络结构与MobileNets_v2系列网络结构对比图。
图6是本发明的网络结构与Densenet121系列网络结构对比图。
图7是本发明的网络结构与传统网络模块结构对比图。
图8是本发明轻量化深度卷积神经网络结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
基于膨胀卷积的轻量化深度卷积神经网络模型，包括特征融合模块；特征融合模块使用1*1、3*3的一般卷积以及3*3的膨胀卷积构成的多尺度特征融合模块(D_block)代替原有的1*1的点卷积进行特征融合。其具体结构图如图1所示，根据图1组建我们的特征融合模块。
在使用1*1、3*3以及3*3的膨胀卷积，网络模型的参数量L1计算公式(1)如下：
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核，两个3*3分别表示卷积核大小为3*3的一般卷积卷积核以及膨胀卷积卷积核；
当只是用1*1卷积核时，参数量L2计算公式(2)如下：
L2＝I*1*1*O＝I*1*O (2)
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核；
当时用1*1、3*3以及5*5的卷积时，其参数量L3计算公式(3)如下：
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核，3*3表示卷积核大小为3*3的一般卷积卷积核，5*5表示卷积核大小为5*5的一般卷积卷积核。
参见图1，其中h输入高度、w为输入宽度、i表示输入特征图、o表示输出特征图。A部分为轻量型神经网络中常用的1*1的点卷积，B部分为3*3的普通卷积操作，C部分为3*3的膨胀卷积。
神经网络模型总的深度为21层，最大的通道数为256；在第3层到第7层以及第七层到最终全连接层之间添加跨层的连接，并在第3层和第7层应用了特征融合模块；在每个卷积操作之后均添加BN以及Relu操作，神经网络的结构如下表5所示：
表5神经网络各层结构数据
层名 输出 卷积核大小 步长
Conv1 32*32*32 3*3 2
Dw2 32*32*32 3*3 1
Conv2 32*32*64 1*1 1
Dw3 16*16*64 3*3 2
Conv3_1 16*16*64 1*1 1
Conv3_2 16*16*32 3*3 1
Conv3_3 16*16*32 3*3d 1
Dw4 16*16*128 3*3 1
Conv4 16*16*128 1*1 1
Dw5 8*8*128 3*3 2
Conv5 8*8*256 1*1 1
Dw6 8*8*256 3*3 1
Conv6 8*8*256 1*1 1
Dw7 4*4*128 3*3 2
Conv7_1 4*4*64 1*1 1
Conv7_2 4*4*64 3*3 1
Conv7_3 4*4*256 3*3d 1
Dw8 4*4*256 3*3 1
Conv8 4*4*256 1*1 1
Dw9 2*2*256 3*3 2
Conv9 2*2*256 1*1 1
Dw10 2*2*256 3*3 1
Conv10 2*2*128 1*1 1
Dw11 2*2*128 3*3 1
Conv11 2*2*128 1*1 1
Global_avgpool 128 - -
Fc 3755 - -
上表中3*3d表示3*3的膨胀卷积。
在模块的构建中，按照表5中结构构建的轻量化深度卷积神经网络，并将其应用在离线手写汉字数据集中进行实验。所采用的神经网络框架为tensorflow，运用python完成代码的编写。
在实验中所采用的批次大小为128，优化器选择的是Momentum，动量系数设置为0.9，训练10个epoch。并与MobileNets_v1、MobileNets_v2、ShuffleNet_v1、Shufflenet_v2、DenseNet等网络结构进行对比。
参见图2，本发明的网络结构与ShuffleNet_v1系列网络结构的对比图，由图2可知我们的网络不仅降低运算复杂度，同时与ShuffleNet_v1系列网络结构相比具有较高的准确率。
参见图3，本发明的网络结构与ShuffleNet_v2系列网络结构的对比图，由图3可知我们的网络不仅降低运算复杂度，同时与ShuffleNet_v2系列网络结构相比具有较高的准确率。
参见图4，本发明的网络结构与MobileNets_v1系列网络结构的对比图，由图4可知我们的网络不仅降低运算复杂度，同时与MobileNets_v1系列网络结构相比具有较高的准确率。
参见图5，本发明的网络结构与MobileNets_v2系列网络结构对比图，由图5可知本发明的网络不仅降低运算复杂度，同时与MobileNets_v2系列网络结构相比具有较高的准确率。
参见图6，本发明的网络结构与Densenet121系列网络结构对比图，由图5可知本发明的网络不仅降低运算复杂度，同时与MobileNets_v2系列网络结构相比具有较高的准确率。
参见图7，本发明的网络结构与传统网络模块结构对比图，由图5可知本发明的网络不仅降低运算复杂度，同时与MobileNets_v2系列网络结构相比具有较高的准确率。
参见图8，本发明轻量化深度卷积神经网络结构图，由图5可知本发明的网络不仅降低运算复杂度，同时与MobileNets_v2系列网络结构相比具有较高的准确率。

Claims (2)

1.基于膨胀卷积的轻量化深度卷积神经网络模型，其特征在于，包括特征融合模块；特征融合模块使用1*1、3*3的一般卷积以及3*3的膨胀卷积进行特征融合；
在使用1*1、3*3以及3*3的膨胀卷积，网络模型的参数量L1计算公式(1)如下：
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核，两个3*3分别表示卷积核大小为3*3的一般卷积卷积核以及膨胀卷积卷积核；
当只是用1*1卷积核时，参数量L2计算公式(2)如下：
L2＝I*1*1*O＝I*1*O (2)
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核；
当时用1*1、3*3以及5*5的卷积时，其参数量L3计算公式(3)如下：
式中，其中I表示输入通道数，O表示输出通道数，1*1表示点卷积卷积核，3*3表示卷积核大小为3*3的一般卷积卷积核，5*5表示卷积核大小为5*5的一般卷积卷积核。
2.根据权利要求1所述的基于膨胀卷积的轻量化深度卷积神经网络模型，其特征在于，神经网络模型总的深度为21层，最大的通道数为256；在第3层到第7层以及第七层到最终全连接层之间添加跨层的连接，并在第3层和第7层应用了特征融合模块；在每个卷积操作之后均添加BN以及Relu操作，神经网络模型的结构如下表1所示：
表1神经网络各层结构数据
上表中3*3d表示3*3的膨胀卷积。
CN201910674615.5A 2019-07-25 2019-07-25 基于膨胀卷积的轻量化深度卷积神经网络模型 Pending CN110490298A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910674615.5A CN110490298A (zh) 2019-07-25 2019-07-25 基于膨胀卷积的轻量化深度卷积神经网络模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910674615.5A CN110490298A (zh) 2019-07-25 2019-07-25 基于膨胀卷积的轻量化深度卷积神经网络模型

Publications (1)

Publication Number Publication Date
CN110490298A true CN110490298A (zh) 2019-11-22

Family

ID=68548180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910674615.5A Pending CN110490298A (zh) 2019-07-25 2019-07-25 基于膨胀卷积的轻量化深度卷积神经网络模型

Country Status (1)

Country Link
CN (1) CN110490298A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914993A (zh) * 2020-06-05 2020-11-10 西安理工大学 基于非均匀分组的多尺度轻量型深度卷积神经网络模型
CN112185543A (zh) * 2020-09-04 2021-01-05 南京信息工程大学 一种医疗感应数据流分类模型的构建方法
CN112435236A (zh) * 2020-11-23 2021-03-02 河北工业大学 一种多阶段草莓果实检测方法
CN113011091A (zh) * 2021-03-08 2021-06-22 西安理工大学 一种自动分组的多尺度轻量型深度卷积神经网络优化方法
CN113190852A (zh) * 2021-05-31 2021-07-30 贵州师范学院 一种基于轻量级深度网络模型的计算机病毒检测方法
CN113469344A (zh) * 2021-07-23 2021-10-01 成都数联云算科技有限公司 深度卷积神经网络模型改进方法及系统及装置及介质
CN113762463A (zh) * 2021-07-26 2021-12-07 华南师范大学 一种用于树莓派处理器的模型剪枝方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914993A (zh) * 2020-06-05 2020-11-10 西安理工大学 基于非均匀分组的多尺度轻量型深度卷积神经网络模型
CN111914993B (zh) * 2020-06-05 2024-04-16 西安理工大学 基于非均匀分组的多尺度深度卷积神经网络模型构建方法
CN112185543A (zh) * 2020-09-04 2021-01-05 南京信息工程大学 一种医疗感应数据流分类模型的构建方法
CN112435236A (zh) * 2020-11-23 2021-03-02 河北工业大学 一种多阶段草莓果实检测方法
CN112435236B (zh) * 2020-11-23 2022-08-16 河北工业大学 一种多阶段草莓果实检测方法
CN113011091A (zh) * 2021-03-08 2021-06-22 西安理工大学 一种自动分组的多尺度轻量型深度卷积神经网络优化方法
CN113190852A (zh) * 2021-05-31 2021-07-30 贵州师范学院 一种基于轻量级深度网络模型的计算机病毒检测方法
CN113469344A (zh) * 2021-07-23 2021-10-01 成都数联云算科技有限公司 深度卷积神经网络模型改进方法及系统及装置及介质
CN113469344B (zh) * 2021-07-23 2024-04-16 成都数联云算科技有限公司 深度卷积神经网络模型改进方法及系统及装置及介质
CN113762463A (zh) * 2021-07-26 2021-12-07 华南师范大学 一种用于树莓派处理器的模型剪枝方法及系统

Similar Documents

Publication Publication Date Title
CN110490298A (zh) 基于膨胀卷积的轻量化深度卷积神经网络模型
CN107169504B (zh) 一种基于扩展非线性核残差网络的手写字符识别方法
CN105184368B (zh) 一种分布式极限学习机优化集成框架方法系统及方法
EP3540654A1 (en) Learning classification device and learning classification method
CN109255340A (zh) 一种融合多种改进vgg网络的人脸识别方法
CN109977234A (zh) 一种基于主题关键词过滤的知识图谱补全方法
CN110188358A (zh) 自然语言处理模型的训练方法及装置
CN110097178A (zh) 一种基于熵注意的神经网络模型压缩与加速方法
CN110232280A (zh) 一种基于树结构卷积神经网络的软件安全漏洞检测方法
CN108763376A (zh) 融合关系路径、类型、实体描述信息的知识表示学习方法
CN109086802A (zh) 一种基于八元数卷积神经网络的图像分类方法
CN108932232A (zh) 一种基于lstm神经网络的蒙汉互译方法
CN108596327A (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN106991355A (zh) 基于拓扑保持的解析型字典学习模型的人脸识别方法
CN107679452A (zh) 大数据下基于卷积神经网络的货运列车车号实时识别系统
CN110135584A (zh) 基于自适应并行遗传算法的大规模符号回归方法及系统
CN106649658A (zh) 针对用户角色无差异对待和数据稀疏的推荐系统及方法
CN108805223A (zh) 一种基于Incep-CapsNet网络的篆文识别方法及系统
CN111259157A (zh) 一种基于混合双向循环胶囊网络模型的中文文本分类方法
CN108256630A (zh) 一种基于低维流形正则化神经网络的过拟合解决方法
CN114118012A (zh) 一种基于CycleGAN的个性字体生成方法
CN108920446A (zh) 一种工程文本的处理方法
Zhao et al. Synchronously improving multi-user English translation ability by using AI
CN111382840B (zh) 一种面向自然语言处理的基于循环学习单元的htm设计方法
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122

RJ01 Rejection of invention patent application after publication