CN108009594B - 一种基于变分组卷积的图像识别方法 - Google Patents

一种基于变分组卷积的图像识别方法 Download PDF

Info

Publication number
CN108009594B
CN108009594B CN201711419380.2A CN201711419380A CN108009594B CN 108009594 B CN108009594 B CN 108009594B CN 201711419380 A CN201711419380 A CN 201711419380A CN 108009594 B CN108009594 B CN 108009594B
Authority
CN
China
Prior art keywords
convolution
characteristic pattern
layer
convolution kernel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711419380.2A
Other languages
English (en)
Other versions
CN108009594A (zh
Inventor
张弘
辛淼
张泽宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201711419380.2A priority Critical patent/CN108009594B/zh
Publication of CN108009594A publication Critical patent/CN108009594A/zh
Application granted granted Critical
Publication of CN108009594B publication Critical patent/CN108009594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于变分组卷积的图像识别方法，针对目前的基于深度卷积神经网络的图像识别算法中存在的过拟合问题，采用随机通道组合的思路，对于每个处理层，首先对输入特征图进行通道拆分，然后再进行通道组合排列，为每个卷积核分配不同的通道组合，最后计算该层的卷积激活特征图，本发明可以有效提高特征提取中的同层数据随机化程度，降低模型参数发生过拟合的可能性，从而提高卷积神经网络在图像检索、图像匹配等问题中的性能。

Description

一种基于变分组卷积的图像识别方法
技术领域
本发明涉及一种变分组卷积的图像识别方法，用于视频监控，图像检索等领域。
背景技术
图像识别是计算机视觉中的一种典型应用。随着计算机视觉技术的发展，越来越多的应用希望在不增大模型参数量的情况下提高基于深度卷积神经网络图像识别模型的效果，其中过拟合是一个重要问题，由于深度卷积神经网络由多个层构成的，因此提高每一层的抗过拟合性是非常重要的。
提高深度卷积神经网络模型的抗过拟合性有多种办法，一种主要方法是对模型增加正则化项。例如，对模型的参数增加L2范数正则化项。L2范数是指向量各元素的平方和然后求平方根。L2范数的正则项可以使得网络权重矩阵的每个元素都很小，接近于0，因此可以避免某些元素过大导致的过拟合。另一种常用的方法是DropOut方法。DropOut是指在深度神经网络的训练过程中，对于神经网络中的每个结点，按照一定的概率将其激活值暂时丢弃。由于每一个结点的丢弃是随机的，因此在每次批量训练中的网络参数都不同。DropOut方法使得可以同时训练n个网络，通过隐含的集成多个网络的预测结果，来降低某个网络过拟合的效果。这种方法也相当于一种L2正则方法。
此外，降低网络过拟合性质的另一种主要方法是对每一层(未被激活函数激活之前)的输出结果进行归一化。主要的方法是基于批归一化的方法(BatchNormalization)。批归一化是指将深度神经网络中一层的输出值进行均值为零和单位方差的变换，得到一组。批归一化有几个主要的好处，首先在引入批归一化后可以使用更大的学习率，从而使得模型的学习速度更快。其次，批归一化使得网络参数与数据分布的耦合性更低，因此可以降低发生过拟合的可能性，提高模型的泛化性能。
虽然各种方法有不同的优势，但以上方法存在的问题是没有考虑同一层的不同卷积核之间的输入通道是否会导致过拟合。与以上方法不同，本发明的权利要求一中的方法考虑到了层内部输入通道之间的随机性，可以降低过拟合的可能性。
发明内容
本发明的技术解决问题是：克服现有技术的不足之处，提供一种基于变分组卷积的图像识别方法，该方法能够降低卷积神经网络中存在的过拟合问题，提高模型泛化性，同时计算简单，工程实现容易。
本发明的技术解决方案为一种基于变分组卷积的图像识别方法，实现步骤如下：
第一步，对一张输入图像进行RGB通道拆分，每个通道作为初始的特征图，共3个特征图，作为初始输入；
第二步，使用原始的5层AlexNet卷积神经网络，为每一层的m个卷积核，分配对应的m个组的卷积特征图；
第三步，对各个卷积核和对应的不同数量，即变分组的特征图组计算二维卷积，得到本层的输出特征图，同时也是下一层的输入特征图，完成第一层的特征图计算，同样的过程依次完成第2层到第5层的输出特征图，将第5层的输出特征矩阵按行展开成一维向量，即得到输出特征，使用softmax函数对输出特征进行概率化映射，得到输出类别向量；
第四步，使用均方误差计算AlexNet卷积神经网络模型的输出类别向量与输入图像的类别真值向量之间的损失值，通过误差反向传播算法更新AlexNet中卷积核的参数，即完成了对AlexNet卷积神经网络模型的一次更新，通过在imagenet数据集上进行训练，得到训练完的AlexNet卷积神经网络模型，最终可以使用训练完的AlexNet卷积神经网络模型对输入图像进行图像识别。
所述步骤(2)中，对于m个卷积核(m的个数可人为调整，建议m<32)中的每个卷积核，分配对应的输入特征图的方法如下：假设当前的层有n个输入特征图，对n个特征图进行的组合，假设共有n′个组合的特征图，即，
从这n′个组合中随机抽出m个组合的特征图，每个这样的组合对应一个卷积核，共有m个卷积核。
所述步骤(3)中，对于第二步中随机抽出的m个组合的特征图和对应的m个卷积核，假设当前第l层的m个卷积核中的第i个卷积核对应k个输入特征图，则对k个特征图进行卷积，
其中Wi是卷积核权重系数矩阵，Wi在初始时由随机数构成，代表二维离散卷积操作，表示卷积核权重系数矩阵Wi对应的输入特征图，表示卷积后得到的特征图；由于每个卷积核对应的输入特征图数量不同，因此对于不同卷积核的k是不同的，因此是变分组卷积；通过公式(2)完成的是一个卷积核的操作，如果当前层有m个卷积核，则进行m次公式(2)的操作，得到m个特征图作为当前层的输出；当前层的输出为下一层的输入，下一层采用同样的通道选取方法核卷积方法；以此类推，直到第5个卷积层,将第5层的输出特征矩阵按行展开成一维向量，即可得到输出特征，使用softmax函数对输出特征进行概率化映射，得到输出类别向量。
本发明与现有技术相比的优点在于：
(1)本发明在利用卷积核提取不同通道的特征的时候，考虑到了不同的输入特征图通道存在的冗余可能导致过拟合的问题，而常用的深度卷积神经网络中的卷积核则没有考虑这个问题，本发明采用不同输入特征图的随机组合可以降低过拟合发生的可能性。
(2)相比与其他方法，本发明的变分组卷积计算代价较低，不需要进行额外的训练过程，易于实现。
(3)针对基于卷积神经网络中存在的过拟合问题，采用卷积通道数量可变的思路，提高特征的泛化程度，降低了特征提取模型发生过拟合的可能性，可用于视频监控，图像检索等领域。
附图说明
图1为本发明方法的实现流程图；
图2为采用变分组卷积后第一层不同卷积核得到的3个特征图；(a)图是1和2号输入特征图进行卷积后得到的输出特征图，(b)图是2和3号输入特征图进行卷积后得到的输出特征图，(c)图是1和3号输入特征图进行卷积后得到的输出特征图；
具体实施方式
下面结合附图及实施例对本发明进行详细说明，
如图1所示，本发明的具体实现步骤如下：
(1)对于m个卷积核(m的个数可人为调整，建议m<32)中的每个卷积核，分配对应的输入特征图的方法如下：假设当前的层有n个输入特征图，对n个特征图进行 的组合，假设共有n′个组合的特征图，即，
从这n′个组合中随机抽出m个组合的特征图，每个这样的组合对应一个卷积核，共有m个卷积核。
(2)对于第二步中随机抽出的m个组合的特征图和对应的m个卷积核，假设当前第l层的m个卷积核中的第i个卷积核对应k个输入特征图，则对k个特征图进行卷积，
其中Wi是卷积核权重系数矩阵，Wi在初始时由随机数构成，代表二维离散卷积操作，表示卷积核权重系数矩阵Wi对应的输入特征图，表示卷积后得到的特征图；由于每个卷积核对应的输入特征图数量不同，因此对于不同卷积核的k是不同的，因此是变分组卷积；通过公式(2)完成的是一个卷积核的操作，如果当前层有m个卷积核，则进行m次公式(2)的操作，得到m个特征图作为当前层的输出；当前层的输出为下一层的输入，下一层采用同样的通道选取方法核卷积方法；以此类推，直到第5个卷积层,将第5层的输出特征矩阵按行展开成一维向量，即可得到输出特征，使用softmax函数对输出特征进行概率化映射，得到输出类别向量。
如图2所示，第一层3个卷积核进行变分组卷积后得到的3个特征图；(a)是1和2号输入特征图进行卷积后得到的输出特征图，(b)是2和3号输入特征图进行卷积后得到的输出特征图，(c)是1和3号输入特征图进行卷积后得到的输出特征图。
本发明在MNIST数据集上进行了测试，对比于不使用变分组卷积的图像识别方法，使用变分组卷积的图像识别方法的识别精度提高了0.2％。
表1.使用变分组卷积和不使用变分组卷积在MNIST数据集上的测试对比
模型 测试精度
没有变分组卷积的方法进行图像识别方法 98.5％
使用变分组卷积的方法进行图像识别方法 98.7％
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (4)

1.一种基于变分组卷积的图像识别方法，其特征在于：包括以下步骤：
第一步，对一张输入图像进行RGB通道拆分，每个通道作为初始的特征图，共3个特征图，作为初始输入；
第二步，使用原始的5层AlexNet卷积神经网络，为每一层的m个卷积核，分配每个卷积核对应的1组卷积特征图；
第三步，对各个卷积核和对应的不同数量，即变分组的特征图组计算二维卷积，得到本层的输出特征图，同时也是下一层的输入特征图，完成第一层的特征图计算，同样的过程依次完成第2层到第5层的输出特征图，将第5层的输出特征矩阵按行展开成一维向量，即得到输出特征，使用softmax函数对输出特征进行概率化映射，得到输出类别向量；
第四步，使用均方误差计算AlexNet卷积神经网络模型的输出类别向量与输入图像的类别真值向量之间的损失值，通过误差反向传播算法更新AlexNet中卷积核的参数，即完成了对AlexNet卷积神经网络模型的一次更新，通过在imagenet数据集上进行训练，得到训练完的AlexNet卷积神经网络模型，最终使用训练完的AlexNet卷积神经网络模型对输入图像进行图像识别。
2.根据权利要求1所述的基于变分组卷积的图像识别方法，其特征在于：所述第二步，m个卷积核中，对于每个卷积核，分配对应的卷积特征图的方法如下：假设当前的层有n个输入特征图，对n个特征图进行的组合，假设共有n′个组合的特征图，即，
从这n′个组合中随机抽出m个组合的特征图，每个这样的组合对应一个卷积核，共有m个卷积核。
3.根据权利要求1所述的基于变分组卷积的图像识别方法，其特征在于：所述第三步，对于m个组的卷积特征图，假设当前第l层的m个卷积核中的第i个卷积核对应k个输入特征图，则对k个特征图进行卷积，
其中Wi是卷积核权重系数矩阵，Wi在初始时由随机数构成，代表二维离散卷积操作，表示卷积核权重系数矩阵Wi对应的输入特征图，表示卷积后得到的特征图；由于每个卷积核对应的输入特征图数量不同，对于不同卷积核的k是不同的，即是变分组卷积；通过公式(2)完成的是一个卷积核的操作，如果当前层有m个卷积核，则进行m次公式(2)的操作，得到m个特征图作为当前层的输出；当前层的输出为下一层的输入，下一层采用同样的通道选取方法核卷积方法；以此类推，直到第5个卷积层，将第5层的输出特征矩阵按行展开成一维向量，即可得到输出特征，使用softmax函数对输出特征进行概率化映射，得到输出类别向量。
4.根据权利要求1所述的基于变分组卷积的图像识别方法，其特征在于：所述m小于等于32。
CN201711419380.2A 2017-12-25 2017-12-25 一种基于变分组卷积的图像识别方法 Active CN108009594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711419380.2A CN108009594B (zh) 2017-12-25 2017-12-25 一种基于变分组卷积的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711419380.2A CN108009594B (zh) 2017-12-25 2017-12-25 一种基于变分组卷积的图像识别方法

Publications (2)

Publication Number Publication Date
CN108009594A CN108009594A (zh) 2018-05-08
CN108009594B true CN108009594B (zh) 2018-11-13

Family

ID=62061036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711419380.2A Active CN108009594B (zh) 2017-12-25 2017-12-25 一种基于变分组卷积的图像识别方法

Country Status (1)

Country Link
CN (1) CN108009594B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047025B (zh) * 2018-10-15 2024-04-09 华为技术有限公司 一种卷积计算方法及装置
CN110046550B (zh) * 2019-03-14 2021-07-13 中山大学 基于多层特征学习的行人属性识别系统及方法
CN110058943B (zh) * 2019-04-12 2021-09-21 三星（中国）半导体有限公司 用于电子设备的内存优化方法和设备
CN110298394B (zh) * 2019-06-18 2024-04-05 中国平安财产保险股份有限公司 一种图像识别方法和相关装置
CN110309836B (zh) * 2019-07-01 2021-05-18 北京地平线机器人技术研发有限公司 图像特征提取方法、装置、存储介质和设备
CN110348537B (zh) * 2019-07-18 2022-11-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110533161B (zh) * 2019-07-24 2022-05-20 特斯联（北京）科技有限公司 一种基于分层组卷积神经网络的特征图处理方法
CN110543900A (zh) * 2019-08-21 2019-12-06 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112288028A (zh) * 2020-11-06 2021-01-29 神思电子技术股份有限公司 一种基于流卷积的图像识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN106295507A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的性别识别方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN107194404A (zh) * 2017-04-13 2017-09-22 哈尔滨工程大学 基于卷积神经网络的水下目标特征提取方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107392314A (zh) * 2017-06-30 2017-11-24 天津大学 一种基于确定性丢弃连接的深层卷积神经网络方法
CN107507197A (zh) * 2017-08-18 2017-12-22 东北大学 一种基于聚类算法和卷积神经网络的肺实质提取方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN106295507A (zh) * 2016-07-25 2017-01-04 华南理工大学 一种基于集成卷积神经网络的性别识别方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107194404A (zh) * 2017-04-13 2017-09-22 哈尔滨工程大学 基于卷积神经网络的水下目标特征提取方法
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN107392314A (zh) * 2017-06-30 2017-11-24 天津大学 一种基于确定性丢弃连接的深层卷积神经网络方法
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN107507197A (zh) * 2017-08-18 2017-12-22 东北大学 一种基于聚类算法和卷积神经网络的肺实质提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Imagenet Classification With Deep Convolutional Neural Networks;Alex Krizhevsky等;《Communications of the ACM》;20170731;第60卷(第6期);正文第84-90页 *

Also Published As

Publication number Publication date
CN108009594A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108009594B (zh) 一种基于变分组卷积的图像识别方法
US11581130B2 (en) Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation
CN110309856A (zh) 图像分类方法、神经网络的训练方法及装置
CN109949255A (zh) 图像重建方法及设备
CN106778682A (zh) 一种卷积神经网络模型的训练方法及其设备
CN107358293A (zh) 一种神经网络训练方法及装置
CN106709511A (zh) 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN108073917A (zh) 一种基于卷积神经网络的人脸识别方法
CN110097178A (zh) 一种基于熵注意的神经网络模型压缩与加速方法
CN109255340A (zh) 一种融合多种改进vgg网络的人脸识别方法
CN110309847A (zh) 一种模型压缩方法及装置
CN110175286A (zh) 结合成对优化和矩阵分解的产品推荐方法及系统
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN109086802A (zh) 一种基于八元数卷积神经网络的图像分类方法
WO2021051987A1 (zh) 神经网络模型训练的方法和装置
CN108596264A (zh) 一种基于深度学习的社区发现方法
CN111339320B (zh) 一种引入实体类型自动化表示的知识图谱嵌入与推理方法
CN114332545B (zh) 一种基于低比特脉冲神经网络的图像数据分类方法和装置
CN112733602B (zh) 关系引导的行人属性识别方法
CN110766082B (zh) 一种基于迁移学习的植物叶片病虫害程度分类方法
Gao et al. Natural scene recognition based on convolutional neural networks and deep Boltzmannn machines
CN110443296B (zh) 面向高光谱图像分类的数据自适应激活函数学习方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
Perveen et al. Multidimensional Attention-Based CNN Model for Identifying Apple Leaf Disease.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant