CN108664993B - 一种密集权重连接的卷积神经网络图像分类方法 - Google Patents

一种密集权重连接的卷积神经网络图像分类方法 Download PDF

Info

Publication number
CN108664993B
CN108664993B CN201810304695.0A CN201810304695A CN108664993B CN 108664993 B CN108664993 B CN 108664993B CN 201810304695 A CN201810304695 A CN 201810304695A CN 108664993 B CN108664993 B CN 108664993B
Authority
CN
China
Prior art keywords
convolution
image
output
input
dense weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810304695.0A
Other languages
English (en)
Other versions
CN108664993A (zh
Inventor
刘义鹏
李湛青
梁荣华
陈朋
蒋莉
王海霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810304695.0A priority Critical patent/CN108664993B/zh
Publication of CN108664993A publication Critical patent/CN108664993A/zh
Application granted granted Critical
Publication of CN108664993B publication Critical patent/CN108664993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于密集权重连接的卷积神经网络图像分类方法，包括以下步骤：1)模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；2)对图像进行较大尺寸的卷积操作和池化操作；3)将步骤2)中输出的特征送入第一个密集权重连接模块；4)加权组合处理；5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小；在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点；得到的特征点直接送入分类层进行分类或送入全连接层后再进行分类。本发明应用于更加复杂的图像分类任务，对多层特征的融合增加了更多的前向通道，近一步避免了梯度问题的发生。

Description

一种密集权重连接的卷积神经网络图像分类方法
技术领域
本发明涉及计算机视觉领域，是深度学习技术的一种，主要用于训练深度图像分类模型，尤其是一种图像分类方法。
背景技术
近几年，随着计算机计算能力的指数级增长和新型神经网络架构的出现，深度学习技术开始在计算机视觉、语音识别、自然语言处理等领域大放光彩。在计算机视觉领域，卷积神经网络的出现大大提高了计算机在图像分割，图像识别任务中的性能，其识别准确率远远高于传统的机器学习算法。目前，基于卷积神经网络的图像识别技术已经获得了广泛的使用。
常规的卷积神经网络包括卷积层、池化层、全连接层和分类层，其基本结构为上述单元的串联组合。卷积层用于学习图像中的低层和高层特征，而池化层可以对这些特征进行提取并不断减少特征图的尺寸。全连接层与分类层位于整个神经网络的末尾，用于对最终提取的高层特征进行分类。在具体的图像分类任务中，由于图像中被识别物体的角度、位姿、所处背景不同，同一类别的图像也存在较大的差异性。所以为了使神经网络可以学习到更加复杂的特征和更好的映射关系，网络的深度和宽度往往被设计的较深。但是同时，随着网络深度的增加，网络训练过程中更容易发生梯度消失和梯度爆炸问题，从而导致学习过程无法收敛。针对此问题，微软亚洲研究院的研究团队提出了基于残差结构的卷积神经网络，其基本思想是在低层与高层特征之间引入快速连接通道。该结构一方面在高层特征中引入了低层特征，增加了特征提取的多样性，另一方面，额外增加的前向通道避免了反向传播过程中发生的的梯度消失问题。但是面对图像分类问题的复杂条件，该方案只利用了网络中某一层前一级的低层特征，并没有完全利用网络中学习到的每一级特征。该方案在网络容量和复杂度上仍需改进。
发明内容
为了克服现有的图像分类方法应用于较复杂细粒度图像时性能较差的不足，本发明提出了一种基于密集权重连接的卷积神经网络图像分类方法。该神经网络可以充分利用网络中学习到的每一级特征，并且以加权的方式对这些特征进行融合，从而使网络模型可以应用于更加复杂的图像分类任务。同时，对多层特征的融合增加了更多的前向通道，近一步避免了梯度问题的发生。
本发明解决其技术问题所采用的技术方案是：
一种密集权重连接的卷积神经网络图像分类方法，所述方法包括以下步骤：
1)首先，模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；
2)对图像进行较大尺寸的卷积操作和池化操作；
3)将步骤2)中输出的特征送入第一个密集权重连接模块，所述密集权重连接模块的每个卷积组将包含多个1×1或3×3卷积，对拥有任意卷积组个数的密集权重连接块：卷积组n的输入为该卷积组之前n-1个卷积组的输出与密集权重连接块原始输入的加权组合；密集权重连接块的最终输出为所有卷积组的输出与密集权重连接块原始输入的加权组合；
4)加权组合处理：首先需要对用于加权的特征进行dropout处理：先对所有需要加权处理的输入特征设定一个概率值，在加权处理的初始阶段，计算设备会对每一个输入特征进行判断，并根据设定的概率值随机决定是否保留该特征并送入后续的加权合并操作；之后对所有被保留的特征进行加权组合处理；
加权组合方法是对另每一个输入特征乘以一个参数k，然后在特征通道进行拼接；或者是：对每一个输入特征进行1×1的卷积处理，然后在特征通道进行拼接；
5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小；在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点；得到的特征点直接送入分类层进行分类或送入全连接层后再进行分类。
进一步，所述方法还包括以下步骤：
6)在模型训练开始阶段，加权参数和卷积层参数通过多种方式初始化，最终的参数将在反向传播过程中不断优化直至获得最优值。
再进一步，所述步骤2)中，卷积核尺寸为7×7、步长为2的卷积和尺寸为3×3、步长为2的最大池化。选取较大卷积核尺寸的意义在于以较大的视野提取底层特征，并尽可能的防止细节特征的丢失。同时，在卷积与池化过程中选取较大的步长可以将特征图像的尺寸近一步缩小。
更进一步，卷积组1的输入为整个密集权重连接模块的输入；卷积组1的输出将与密集权重连接块的输入一起进行加权组合处理并送入卷积组2；同理，卷积组2的输出将与卷积组1的输出、密集权重连接块的输入一起进行加权组和处理送入卷积组3，而卷积组3的输出将与卷积组2的输出、卷积组1的输出、密集权重连接块的输入一起进行加权组和处理，最终的加权组合结果就是整个密集权重连接块的输出。
本发明的基于密集权重连接的卷积神经网络，其主要特点在于对神经网络中每一层输出特征的合理利用。其基本结构包括卷积层、池化层、全连接层和密集权重连接模块。其具体结构为多个卷积层、池化层、密集权重连接模块的串联组合，并在最后通过全连接层与分类层获得最终的分类结果。卷积层与池化层的主要作用在于提取低级特征的同时缩小特征图像的尺寸。该网络的核心在于密集权重连接模块，该模块包含n个连续的卷积块，每一个卷积块中又包含p个连续的 1×1或3×3卷积的串联组合，具体的卷积操作数量根据需要学习的神经网络总层数进行调整。另外，每一个卷积块的输入都包含该卷积块之前每一个卷积块的输出，并且以加权的方式进行组合。所以，在一个有着n个卷积块的密集权重连接块中将会有
Figure BDA0001620607920000041
条前向连接通路，连接通路的的大量增加也为反向传播带来了更快的效率。在进行加权组合时，具体的处理方案有两种。常规的加权方式为：对每一个卷积块的输出分别乘以一个不同的可学习参数k，然后将加权后的输出在特征通道进行拼接。由于密集连接网络融合了较多级特征，所以为了减少特征数以适应网络大小，还有一种改进的加权组合方式：对每一个卷积块的输出进行一次1×1的卷积操作，然后在特征通道对加权后的输出进行拼接。加入1×1的卷积等同于赋予卷积块的输出一个可以学习的权重，另一方面，考虑到大量的拼接操作会导致输出巨大的通道维数，加入1×1的卷积可以起到在维数上进行压缩的效果。加权组合后的输出包含了网络某一节点之前学习到的所有特征，这大大增加了特征的重复利用，让后面的网络可以学习到更加复杂的高级特征，同时，让网络自主学习加权参数进一步丰富了高级特征的构成和表达。在训练的过程中，较复杂的网络结构还会导致神经网络在训练时发生过拟合，所以在训练过程中还要对加权组合的输入进行Dropout处理，即在组合特征时以一定概率随机失活一些特征，使加权操作不会过度赋予某一层特征较大的权重，从而起到防止过拟合的效果。
本发明的有益效果主要表现在：能够使卷积神经网络获得更好的特征提权效果，从而提高图像分类任务在应用于较复杂细粒度图像时的性能。另外，该方案在保证网络深度的同时压缩了一定的计算量，保证了训练过程的正常进行。
附图说明
图1为密集权重连接的卷积神经网络总流程图。
图2为密集权重连接模块内部结构图。
具体实施方式
下面结合流程图对本发明做进一步描述。
参照图1和图2，一种密集权重连接的卷积神经网络图像分类方法，包括以下步骤：
1)首先，模型的输入图像为经过预处理的原始图像，经过预处理的图像必须全部裁剪为一个固定尺寸，为了利于模型训练，固定尺寸的长和宽最好保持一致，其具体尺寸由模型的具体应用和模型大小确定。常见的输入图像尺寸有：512、299、224等。
2)对图像进行较大尺寸的卷积操作和池化操作，例如卷积核尺寸为7×7、步长为2的卷积和尺寸为3×3、步长为2的最大池化。选取较大卷积核尺寸的意义在于以较大的视野提取底层特征，并尽可能的防止细节特征的丢失。同时，在卷积与池化过程中选取较大的步长可以将特征图像的尺寸近一步缩小。
3)将步骤2)中输出的特征送入第一个密集权重连接模块。密集权重连接模块的详细构成如图2所示：该模块包含多个卷积组，每个卷积组将包含多个1×1或3×3卷积。图2中圆圈代表输入或输出特征，方块代表加权组合处理。以图2中的4个卷积组为例进行说明：卷积组1的输入为整个密集权重连接模块的输入。卷积组1的输出将与密集权重连接块的输入一起进行加权组合处理并送入卷积组2。同理，卷积组2的输出将与卷积组1的输出、密集权重连接块的输入一起进行加权组和处理送入卷积组3，而卷积组3的输出将与卷积组2 的输出、卷积组1的输出、密集权重连接块的输入一起进行加权组和处理。最终的加权组合结果就是整个密集权重连接块的输出。所以，对拥有任意卷积组个数的密集权重连接块：卷积组n的输入为该卷积组之前n-1个卷积组的输出与密集权重连接块原始输入的加权组合；密集权重连接块的最终输出为所有卷积组的输出与密集权重连接块原始输入的加权组合。
4)图2中方块表示的加权组合处理其基本流程为：首先需要对用于加权的特征进行dropout处理：先对所有需要加权处理的输入特征设定一个概率值。在加权处理的初始阶段，计算设备会对每一个输入特征进行判断，并根据设定的概率值随机决定是否保留该特征并送入后续的加权合并操作。假设某一个特征的设定概率为80％，则计算设备会以80％的概率将该特征保留。之后对所有被保留的特征进行加权组合处理。常规的加权组合方法是对另每一个输入特征乘以一个参数k,然后在特征通道进行拼接。由于密集连接网络融合了较多级特征，所以为了减少特征数，也可对每一个输入特征进行1×1的卷积处理，然后在特征通道进行拼接。
5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小。在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点。得到的特征点可以直接送入分类层进行分类，也可以送入全连接层后再进行分类。
6)在模型训练开始阶段，加权参数和卷积层参数可以通过多种方式初始化。最终的参数将在反向传播过程中不断优化直至获得最优值。

Claims (4)

1.一种密集权重连接的卷积神经网络图像分类方法，其特征在于，所述方法包括以下步骤：
1)首先，模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；
2)对图像进行较大尺寸的卷积操作和池化操作；
3)将步骤2)中输出的特征送入第一个密集权重连接模块，所述密集权重连接模块的每个卷积组将包含多个1×1或3×3卷积，对拥有任意卷积组个数的密集权重连接块：卷积组n的输入为该卷积组之前n-1个卷积组的输出与密集权重连接块原始输入的加权组合；密集权重连接块的最终输出为所有卷积组的输出与密集权重连接块原始输入的加权组合；
4)加权组合处理：首先需要对用于加权的特征进行dropout处理：先对所有需要加权处理的输入特征设定一个概率值，在加权处理的初始阶段，计算设备会对每一个输入特征进行判断，并根据设定的概率值随机决定是否保留该特征并送入后续的加权合并操作；之后对所有被保留的特征进行加权组合处理；
加权组合方法是对另每一个输入特征乘以一个参数k，然后在特征通道进行拼接；或者是：对每一个输入特征进行1×1的卷积处理，然后在特征通道进行拼接；
5)将步骤3)中密集权重连接块的输出继续送入下一个卷积层与池化层，此时的特征图像将近一步缩小；在经过多次密集权重连接块、卷积层、池化层的组合后，特征图像将不断组合并缩小为特征点；得到的特征点直接送入分类层进行分类或送入全连接层后再进行分类。
2.如权利要求1所述的一种密集权重连接的卷积神经网络图像分类方法，其特征在于，所述方法还包括以下步骤：
6)在模型训练开始阶段，加权参数和卷积层参数通过多种方式初始化，最终的参数将在反向传播过程中不断优化直至获得最优值。
3.如权利要求1或2所述的一种密集权重连接的卷积神经网络图像分类方法，其特征在于，所述步骤2)中，卷积核尺寸为7×7、步长为2的卷积和尺寸为3×3、步长为2的最大池化。
4.如权利要求1或2所述的一种密集权重连接的卷积神经网络图像分类方法，其特征在于，卷积组1的输入为整个密集权重连接模块的输入；卷积组1的输出将与密集权重连接块的输入一起进行加权组合处理并送入卷积组2；同理，卷积组2的输出将与卷积组1的输出、密集权重连接块的输入一起进行加权组和处理送入卷积组3，而卷积组3的输出将与卷积组2的输出、卷积组1的输出、密集权重连接块的输入一起进行加权组和处理，最终的加权组合结果就是整个密集权重连接块的输出。
CN201810304695.0A 2018-04-08 2018-04-08 一种密集权重连接的卷积神经网络图像分类方法 Active CN108664993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810304695.0A CN108664993B (zh) 2018-04-08 2018-04-08 一种密集权重连接的卷积神经网络图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810304695.0A CN108664993B (zh) 2018-04-08 2018-04-08 一种密集权重连接的卷积神经网络图像分类方法

Publications (2)

Publication Number Publication Date
CN108664993A CN108664993A (zh) 2018-10-16
CN108664993B true CN108664993B (zh) 2022-01-11

Family

ID=63783116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810304695.0A Active CN108664993B (zh) 2018-04-08 2018-04-08 一种密集权重连接的卷积神经网络图像分类方法

Country Status (1)

Country Link
CN (1) CN108664993B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020118614A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种头颈斑块图像识别方法及装置
CN110136134A (zh) * 2019-04-03 2019-08-16 深兰科技（上海）有限公司 一种用于路面分割的深度学习方法、装置、设备及介质
CN110211685B (zh) * 2019-06-10 2020-08-28 珠海上工医信科技有限公司 基于完全关注机制的糖网筛查网络结构模型
CN110472668B (zh) * 2019-07-22 2021-02-19 华北电力大学（保定） 一种图像分类方法
CN117783793B (zh) * 2024-02-23 2024-05-07 泸州老窖股份有限公司 一种开关柜的故障监测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871163A (zh) * 2016-09-28 2018-04-03 爱思开海力士有限公司 用于卷积神经网络的操作装置及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871163A (zh) * 2016-09-28 2018-04-03 爱思开海力士有限公司 用于卷积神经网络的操作装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Densely Connected Convolutional Networks;Gao Huang 等;《Proceedings of the IEEE conference on computer vision and pattern recognition》;20171231;第4700-4708页 *

Also Published As

Publication number Publication date
CN108664993A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108764317B (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN108664993B (zh) 一种密集权重连接的卷积神经网络图像分类方法
CN111626300B (zh) 基于上下文感知的图像语义分割模型的图像分割方法及建模方法
CN111340814B (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN108985317B (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN107609587B (zh) 一种基于深度卷积生成对抗网络的多类别多视图数据生成方法
US10282864B1 (en) Method and device for encoding image and testing method and testing device using the same
CN110570346B (zh) 一种基于循环生成对抗网络对书法进行风格迁移的方法
CN110717527A (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN108491856B (zh) 一种基于多尺度特征卷积神经网络的图像场景分类方法
CN110503149B (zh) 一种图像中局部特征分类方法及系统
CN112381763A (zh) 一种表面缺陷检测方法
CN110009700B (zh) 基于rgb图和梯度图的卷积神经网络视觉深度估计方法
CN112016639B (zh) 灵活可分离卷积框架和特征提取方法及其在VGG和ResNet中应用
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN112163670A (zh) 对抗攻击的检测方法、系统、设备、计算机可读存储介质
CN115311524A (zh) 一种融合注意力和多尺度双金字塔的小目标检测算法
CN116052218A (zh) 一种行人重识别方法
CN116701681B (zh) 一种用于语义分割的多查询网络
CN110942106B (zh) 一种基于平方平均的池化卷积神经网络图像分类方法
CN110414586B (zh) 基于深度学习的防伪标签验伪方法、装置、设备及介质
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法
Li et al. A spectral clustering based filter-level pruning method for convolutional neural networks
CN113691863B (zh) 一种提取视频关键帧的轻量化方法
CN112446439B (zh) 深度学习模型动态分支选择的推理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant