CN110782001A - 一种基于组卷积神经网络使用共享卷积核的改进方法 - Google Patents

一种基于组卷积神经网络使用共享卷积核的改进方法 Download PDF

Info

Publication number
CN110782001A
CN110782001A CN201910858423.XA CN201910858423A CN110782001A CN 110782001 A CN110782001 A CN 110782001A CN 201910858423 A CN201910858423 A CN 201910858423A CN 110782001 A CN110782001 A CN 110782001A
Authority
CN
China
Prior art keywords
convolution
group
neural network
shared
improved method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910858423.XA
Other languages
English (en)
Other versions
CN110782001B (zh
Inventor
张萌
段斌
李国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910858423.XA priority Critical patent/CN110782001B/zh
Publication of CN110782001A publication Critical patent/CN110782001A/zh
Application granted granted Critical
Publication of CN110782001B publication Critical patent/CN110782001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于组卷积神经网络使用共享卷积核的改进方法，在一般的分组卷积中每个组都占用了与其他组不同的卷积核，这对硬件实现上带来许多不变。针对这个问题，提出了共享卷积核组卷积(KSGC)的概念，即将输入的通道平均分成多个组，并且对每个组分别进行卷积操作，特别之处在于，这个输入通道中的所有组都使用的是同一个卷积核进行卷积，在此基础上，还将组与组之间有信息交流的组卷积的卷积核改为共享的进行测试。这种共享卷积核组网络，使用了更少的参数，提高了卷积神经网络的计算效率，进一步解决了神经网络参数复杂度过高的问题，在硬件上也减少了逻辑资源消耗。

Description

一种基于组卷积神经网络使用共享卷积核的改进方法
技术领域
本发明涉及图像处理技术领域，尤其是一种基于组卷积神经网络使用共享卷积核的改进方法。
背景技术
近年来，深度学习在解决高层次抽象认知问题上有着显著的成果，卷积神经网络(CNN)是深度学习的最为重要的工具之一，它的权值共享网络使之更类似生物神经网络结构，减少了权重数量，降低了模型的规模。卷积神经网络对图像的平移，缩放，旋转等形式的变形具有高度的适应性，在图像识别和目标检测等领域应用广泛，如微软利用卷积神经网络做阿拉伯文和中文的手写识别系统，谷歌使用卷积神经网络来识别街景图片中的人脸和车牌等等。
CNN的性能正在迅速提高：ImageNet挑战的获胜者将分类准确率从2012年的84.7％(AlexNet)提高到2015年的96.5％(ResNet-152)。然而，精度的提高是以高计算复杂度为代价的。例如，AlexNet需要1.4×1010FLOPs来处理单个224×224图像，ResNet-152需要2.26×1011FLOPs。在移动嵌入式设备端，一个最主要的挑战在于大量的运算需要过多的硬件资源并且功耗巨大。
卷积神经网络在充分保留图像特征的同时，减少了网络的参数数量，降低了网络规模，但卷积神经网络的计算复杂度和参数数量仍然是许多应用场景的限制因素，特别是在移动端使用时，一次前向传播要消耗巨大的计算资源，耗费较长的时间，不利于部署在实时性处理要求高的应用上。
GoogLeNet中提出了Inception模块，希望在不增加模型大小和计算成本的情况下构建更深的网络结构，然后在Inception模块中通过分解卷积进一步改进。深度可分离卷积(Depthwise separable Convolution，DWConvolution)更加体现因式分解的思想，将标准卷积分解为深度卷积(depthwise convolution)，再用1×1卷积核进行常规卷积。MobileNet为基于DWConvolution的移动设备设计了卷积神经网络，该操作能够以较少的参数获得了较好的结果。本发明主要使用深度卷积来进一步提高参数效率。
发明内容
发明目的：本发明的目的在于解决现有的卷积神经网络在充分保留图像特征的同时，减少了网络的参数数量，降低了网络规模，但卷积神经网络的计算复杂度和参数数量仍然是许多应用场景的限制因素，特别是在移动端使用时，一次前向传播要消耗巨大的计算资源，耗费较长的时间，不利于部署在实时性处理要求高的应用上的问题。
技术方案：为解决上述问题，本发明提供以下技术方案：
一种基于组卷积神经网络使用共享卷积核的改进方法，其算法包括以下步骤：
(1)在总通道个数M上进行以T个通道作为一组进行输入，D个通道作为该组的输出通道，进行卷积操作；一共进行M/T次卷积操作，特别之处在于每组卷积所使用的卷积核都是同一个卷积核，并且每次的输出通道D都相等；
(2)接下来将M/T组输出通道D对应每张特征图的维度进行加法操作，将M/T个结果相加起来得到一个所有维度与T相同的一组输出张量。
进一步地，步骤(1)中，对组卷积的一个输入通道内所有组都使用了相同的卷积核来进行卷积操作。
进一步地，每组卷积输出通道的个数D选的是本次卷积操作总输出通道的个数。
进一步地，所述步骤1)中，每次的输出通道D均与总输出通道相等。
进一步地，所述步骤3)中，输出通道D对应的每张特征图的维度包括了特征图尺寸维度和输出通道数数量维度。
有益效果：本发明与现有技术相比：
本发明提出了一种使用共享卷积核进行有重叠的分组卷积神经网络，将网络中用共享组卷积操作去替换普通的3×3卷积核的深度卷积操作来减小参数和计算量，提出KSGC卷积网络结构，可以更好的提取特征图的空间特征，使用了更少的参数，提高了卷积神经网络的计算效率，加快了神经网络的传播速度，并且测试结果有明显提高；更为重要的是，这种共享卷积核概念提出给硬件实现带来了巨大的帮助。实验结果表明，与ResNet和MoblieNet网络以及其他分组神经神经网络相比，共享卷积核这个方案给硬件实现带来了巨大便利，所用参数与测试结果均有改善，证明提取特征图空间信息比组合通道信息更为重要。本结构采用CIFAR-10和CIFAR-100数据集验证了算法的有效性。
附图说明
图1为本发明的共享组卷积操作示意图；
图2为本发明共享组卷积单元块的示意图；
图3为本发明共享卷积核滑动组卷积内部的示意图；
图4为本发明的KSGCNet的网络表。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
一种基于组卷积神经网络使用共享卷积核的改进方法，在一般的群组卷积中，不同群体之间没有重叠，这限制了信息的交换。所述改进方法采用重叠分组卷积结构完成，其算法包括以下步骤：
(1)相对于一般卷积和组卷积网络而言，分析了KSGC在参数和计算方面的优势，发现组卷积的不足在于每组卷积的时候都是使用了不同的卷积核，这在硬件实现的时候非常占用资源，因此我们提出了共享卷积核的组卷积这个方案。
(2)在总通道个数M上进行以T个通道作为一组进行输入，D个通道作为该组的输出通道，进行卷积操作；一共进行M/T次卷积操作，特别之处在于每组卷积所使用的卷积核都是同一个卷积核，并且每次的输出通道D都相等。
(3)接下来将M/T组输出通道D对应每张特征图的维度的进行加法操作，将M/T个结果相加起来得到一个所有维度与T相同的一组输出张量。
如图2和图3所示，本发明所用的KSGC卷积块在ResNet上替换原本的3×3正常卷积过后的示意图，先对输入特征图input进行批量归一化处理，然后用非线性函数Relu进行激活处理。再用1×1卷积对输入特征图进行标准卷积运算；再经过批量归一化处理，然后用非线性函数Relu进行激活处理，用KSGC去替代3×3卷积核的标准卷积，KSGC的内部如图3所示，步长为1，输出特征图通道数与输入通道数相同；同样的，对输入层经过批归一化处理，然后用非线性函数Relu进行激活处理，对输入特征图进行常规卷积操作，卷积核尺寸为1×1，步长为1，并在这一步扩张特征图的通道数。
本发明的神经网络结构请参阅图4。本发明使用TensorFlow搭建神经网络，称为KSGCNet网络结构，训练CIFAR-10与CIFAR-100数据集。CIFAR-10与CIFAR-100数据集均是图像大小为32×32的三通道彩色图片，其中CIFAR-10数据集是10分类，CIFAR-100是100分类。神经网络结构请参阅图4，具体操作如下，首先输入图像尺寸是32×32×3，经过1阶段，使用标准卷积操作，卷积核尺寸为7×7，输出通道为32，步长为1，输出尺寸为32×32；在第2阶段，经过5个图2所述的单元块，单元块中三个卷积层的输出通道数分别为32、32、128，步长为1，输出尺寸仍为32×32，其中在中间那层卷积替换成了重叠组共享卷积核卷积；第3阶段，经过6个图2所述的单元块，单元块中三个卷积层的输出通道数分别为64、64、256，其中在中间那层卷积替换成了重叠组共享卷积核卷积，在第一个单元块中第二个3×3标准卷积操作的步长为2，所以经过第3阶段输出特征图尺寸为16×16；第4阶段，经过5个图2所述的单元块，单元块中三个卷积层的输出通道数分别为128、128、512，其中在中间那层卷积替换成了重叠组共享卷积核卷积，在第一个单元块中第二个3×3标准卷积操作的步长为2，所以经过第4阶段输出特征图尺寸为8×8；第5阶段，经过全局平均池化层，输出特征图尺寸为1×1，输出通道数仍为512，对CIFAR-10最后一个全连接层的输出通道数为10，对于CIFAR-100输出通道数为100，最后接入归一化指数函数层完成图像分类。每个KSGC结构的参数个数为k×k×T×D和计算量k×k×T×D×h×w，其中k是卷积核的尺寸，h和w的特征图的尺寸。
通过本发明基于组卷积神经网络使用共享卷积核的改进方法，所构建的网络结构KSGCNet50，在调整参数g和s的多种组合的情况下，通过训练CIFAR-10与CIFAR-100数据集，在经过164轮训练之后，发现当g和s不同组合的时候所取得的效果也是不一样，所得结果如表1，并与ResNet和MobileNet网络结构相比，所用参数更少，测试准确率更高，说明本发明所提出的的基于组卷积的神经网络改进方法有效。ResNet，MobileNet和KSGCNet见表1，可以看见ResNet拥有大更大参数和计算量但其准确性仅高于MobileNet。MobileNet的计算成本最低准确度最低。结果表明标准卷积不是有效的和深度卷积导致不可忽视的准确性损失。
表1网络模型对比准确率测试结果
Figure BDA0002198934340000061
由表可见，T和D的取值对参数量和计算量的影响并不是很大，因为我们做了多种组合的尝试，当T＝8，D＝64的时候，KSGCNet的精度高于其他所有的，当D＝32的时候，KSGCNet的精度均高于D＝16和D＝32。并且我们发现当T＝16的时候，精度时候普遍低于T＝8的，在KSGC中介绍参数量受T和D的影响。因此，不同的T和D可以具有相同的T×D值，这导致具有不同T和D的KSGCNet可以具有相同数量的参数。例如，KSGCNet(T＝4，D＝32)和KSGCNet(T＝8，D＝16)具有相同数量的参数。与KSGCNet(T＝4，D＝32)相比，KSGCNet(T＝8，D＝16)具有更高的精度和相同的参数数量。当T×D的值相等的时候，具有并不是较大T的KSGCNet具有更高的精度，同时这也受到值D/T的影响，当T×D的值相等的时，D/T的值越打算的时候精度也会相降低。如果T×D的值相等，具有较小D/T的KSGCNet的结果要优于具有较大的KSGCNet，以上的结果在硬件实现分组卷积共享卷积核的时候设定分组和输出参数的时候，提供了参考和帮助。

Claims (5)

1.一种基于组卷积神经网络使用共享卷积核的改进方法，其特征在于：其算法包括以下步骤：
(1)在总通道个数M上进行以T个通道作为一组进行输入，D个通道作为该组的输出通道，进行卷积操作；一共进行M/T次卷积操作，特别之处在于每组卷积所使用的卷积核都是同一个卷积核，并且每次的输出通道D都相等；
(2)接下来将M/T组输出通道D对应每张特征图的维度进行加法操作，将M/T个结果相加起来得到一个所有维度与D相同的一组输出张量。
2.根据权利要求1所述的基于组卷积神经网络使用共享卷积核的改进方法，其特征在于，步骤(1)中，对组卷积的一个输入通道内所有组都使用了完全相同的卷积核来进行卷积操作。
3.根据权利要求1所述的基于组卷积神经网络使用共享卷积核的改进方法，其特征在于，每组卷积输出通道的个数D选的是本次卷积操作总输出通道的个数。
4.根据权利要求1所述的基于组卷积神经网络使用共享卷积核的改进方法，其特征在于，所述步骤1)中，每次的输出通道数D均与总输出通道数相等。
5.根据权利要求1所述的基于组卷积神经网络使用共享卷积核的改进方法，其特征在于，所述步骤3)中，输出通道D对应的每张特征图的维度包括了特征图尺寸维度和输出通道数数量维度。
CN201910858423.XA 2019-09-11 2019-09-11 一种基于组卷积神经网络使用共享卷积核的改进方法 Active CN110782001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910858423.XA CN110782001B (zh) 2019-09-11 2019-09-11 一种基于组卷积神经网络使用共享卷积核的改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910858423.XA CN110782001B (zh) 2019-09-11 2019-09-11 一种基于组卷积神经网络使用共享卷积核的改进方法

Publications (2)

Publication Number Publication Date
CN110782001A true CN110782001A (zh) 2020-02-11
CN110782001B CN110782001B (zh) 2024-04-09

Family

ID=69383505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910858423.XA Active CN110782001B (zh) 2019-09-11 2019-09-11 一种基于组卷积神经网络使用共享卷积核的改进方法

Country Status (1)

Country Link
CN (1) CN110782001B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070019A (zh) * 2020-09-08 2020-12-11 河南威虎智能科技有限公司 一种人脸识别方法、装置、电子设备和存储介质
CN112016639B (zh) * 2020-11-02 2021-01-26 四川大学 灵活可分离卷积框架和特征提取方法及其在VGG和ResNet中应用
CN112288028A (zh) * 2020-11-06 2021-01-29 神思电子技术股份有限公司 一种基于流卷积的图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543595A (zh) * 2018-11-19 2019-03-29 上海交通大学 基于深度可分离卷积神经网络的电线的训练方法和检测方法
CN109886391A (zh) * 2019-01-30 2019-06-14 东南大学 一种基于空间正反对角卷积的神经网络压缩方法
US20190220709A1 (en) * 2018-01-18 2019-07-18 Aptiv Technologies Limited Device and a method for image classification using a convolutional neural network
CN110188863A (zh) * 2019-04-30 2019-08-30 杭州电子科技大学 一种卷积神经网络的卷积核及其压缩算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190220709A1 (en) * 2018-01-18 2019-07-18 Aptiv Technologies Limited Device and a method for image classification using a convolutional neural network
CN109543595A (zh) * 2018-11-19 2019-03-29 上海交通大学 基于深度可分离卷积神经网络的电线的训练方法和检测方法
CN109886391A (zh) * 2019-01-30 2019-06-14 东南大学 一种基于空间正反对角卷积的神经网络压缩方法
CN110188863A (zh) * 2019-04-30 2019-08-30 杭州电子科技大学 一种卷积神经网络的卷积核及其压缩算法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070019A (zh) * 2020-09-08 2020-12-11 河南威虎智能科技有限公司 一种人脸识别方法、装置、电子设备和存储介质
CN112070019B (zh) * 2020-09-08 2024-05-28 河南威虎智能科技有限公司 一种人脸识别方法、装置、电子设备和存储介质
CN112016639B (zh) * 2020-11-02 2021-01-26 四川大学 灵活可分离卷积框架和特征提取方法及其在VGG和ResNet中应用
CN112288028A (zh) * 2020-11-06 2021-01-29 神思电子技术股份有限公司 一种基于流卷积的图像识别方法

Also Published As

Publication number Publication date
CN110782001B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
Wu et al. Shift: A zero flop, zero parameter alternative to spatial convolutions
CN109389078B (zh) 图像分割方法、相应的装置及电子设备
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN110782001A (zh) 一种基于组卷积神经网络使用共享卷积核的改进方法
CN109886391B (zh) 一种基于空间正反对角卷积的神经网络压缩方法
CN111553215A (zh) 人员关联方法及其装置、图卷积网络训练方法及其装置
CN110909874A (zh) 一种神经网络模型的卷积运算优化方法和装置
CN110728354B (zh) 一种基于改进的滑动式分组卷积神经网络的图像处理方法
CN110969089A (zh) 噪声环境下的轻量级人脸识别系统及识别方法
CN112036454A (zh) 一种基于多核密集连接网络的图像分类方法
CN111860834A (zh) 一种神经网络调优方法、系统、终端以及存储介质
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
Hsia et al. Convolution neural network with low operation FLOPS and high accuracy for image recognition
CN112926595B (zh) 深度学习神经网络模型的训练装置、目标检测系统及方法
WO2022036921A1 (zh) 目标模型的获取
CN110728352A (zh) 一种基于深度卷积神经网络的大规模图像分类方法
CN116245765A (zh) 基于增强型深度扩张卷积神经网络的图像去噪方法及系统
CN111882053A (zh) 一种基于拼接卷积的神经网络模型压缩方法
CN112733670B (zh) 指纹特征提取方法、装置、电子设备及存储介质
CN111414941B (zh) 一种基于特征复用的点云卷积神经网络
CN109002863B (zh) 一种基于紧凑卷积神经网络的图像处理方法
CN109583328B (zh) 一种嵌入稀疏连接的深度卷积神经网络字符识别方法
CN111382764B (zh) 人脸识别或手势识别的神经网络模型建立方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant