CN112200302B - 一种用于图像分类的加权残差神经网络的构建方法 - Google Patents

一种用于图像分类的加权残差神经网络的构建方法 Download PDF

Info

Publication number
CN112200302B
CN112200302B CN202011034695.7A CN202011034695A CN112200302B CN 112200302 B CN112200302 B CN 112200302B CN 202011034695 A CN202011034695 A CN 202011034695A CN 112200302 B CN112200302 B CN 112200302B
Authority
CN
China
Prior art keywords
layer
weighted
neural network
branch
bypass branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011034695.7A
Other languages
English (en)
Other versions
CN112200302A (zh
Inventor
卢丽
韩强
闫超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yifei Technology Co ltd
Original Assignee
Sichuan Yifei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yifei Technology Co ltd filed Critical Sichuan Yifei Technology Co ltd
Priority to CN202011034695.7A priority Critical patent/CN112200302B/zh
Publication of CN112200302A publication Critical patent/CN112200302A/zh
Application granted granted Critical
Publication of CN112200302B publication Critical patent/CN112200302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于图像分类的加权残差神经网络的构建方法，包括从前至后依次连接卷积层、批归一化层和激活层并封装成根部模块；采用并行的主分支和旁路分支封装得到加权残缺模块；主分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；若加权残差神经网络进行下采样，则旁路分支由卷积层与旁路分支网络并行组成；旁路分支网络由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；否则，旁路分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；从前至后依次连接全局平均池化层、全连接层和激活层并封装成头部模块；将根部模块、数个加权残缺模块和头部模块依次连接得到加权残差神经网络。

Description

一种用于图像分类的加权残差神经网络的构建方法
技术领域
本发明涉及计算机机器视觉中的图像分类领域，尤其是一种用于图像分类的加权残差神经网络的构建方法。
背景技术
目前，计算机机器视觉中的神经网络技术，被广泛的应用于图像分类、目标检测、图像分割、人脸识别、行为识别等众多领域。在这些领域中，图像分类是最为基础的技术。其他领域所使用的神经网络，大都利用图像分类的神经网络作为其主干网络，在添加其他功能模块之后实现。因此，高性能的图像分类网络对于基于神经网络技术的机器视觉非常的重要。
残差网络作为图像分类网络中较为流行的一类网络，主要利用了可重复堆叠的残差模块。残差模块中，引入了旁路分支，使得模型训练时参数梯度信息可以更好的反传，避免神经网络层数过深时出现的精度下降问题。这一思想，也广泛的应用在了现代的各类图像领域的神经网络中。
在残差模块中，最为重要的特点是旁路分支的引入。在每个残差模块的输出端，需要将旁路分支与主分支进行合并，目前一般的做法是：将两个分支的输出直接相加。这种方法的好处是结构简单，也能取得较好的性能。然而主分支输出的信息，经过了更多的网络层，理论上拥有更为丰富的特征表达信息，直接与网络层较少的旁路分支输出相加，可能会消弱主分支提取到的特征，从而影响模型精度的提升。正如申请号为“201810485738.X”、名称为“一种基于多路特征加权的残差卷积神经网络图像分类方法”的中国发明专利，其包括以下步骤：1)模型的输入图像为经过预处理的原始图像，经过预处理的图像裁剪为一个固定尺寸；2)对图像进行较大尺寸的卷积操作和池化操作；3)将步骤2)中输出的特征送入第一个多路特征加权残差模块；4)将步骤3)中多路特征加权残差模块的输出继续送入下一个多路特征加权残差模块，在经过多个多路特征加权残差模块后，输出的特征图像尺寸会逐渐缩小直至变为较小尺寸，最后经过一个平均池化层缩小为特征点；所得特征点直接送入分类层进行分类或经过全连接层后再进行分类；该技术同样存在上述问题。
因此，急需要提出一种架构简单、占用资源小、输出特征丰富、运算工作量少的加权残差神经网络及其构建方法。
发明内容
针对上述问题，本发明的目的在于提供一种用于图像分类的加权残差神经网络的构建方法，本发明采用的技术方案如下：
一种用于图像分类的加权残差神经网络的构建方法，所述加权残差神经网络由从前至后依次连接的根部模块、数个加权残缺模块和头部模块组成；所述加权残差神经网络的构建方法，包括以下步骤：
从前至后依次连接卷积层、批归一化层和激活层，并封装成根部模块；
采用并行的主分支和旁路分支封装得到加权残缺模块；所述主分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
若加权残差神经网络进行下采样，则所述旁路分支由卷积层与旁路分支网络并行组成；所述旁路分支网络由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
否则，所述旁路分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
从前至后依次连接全局平均池化层、全连接层和激活层，并封装成头部模块；
将根部模块、数个加权残缺模块和头部模块依次连接，得到加权残差神经网络。
进一步地，所述加权残差神经网络进行下采样时，主分支的首个卷积层和旁路分支的卷积层的步长均为2，且主分支的剩余的卷积层的步长均为1；所述加权残差神经网络中步长为2的卷积层的输出通道的数量是其输入通道的数量的两倍，且加权残差神经网络中步长为1的卷积层的输出通道的数量等于其输入通道的数量。
进一步地，对任一所述加权残缺模块进行权重值求解，包括以下步骤：
对主分支和旁路分支的输出做全局平均池化计算，其表达式为：
c1＝ave(X1)，c2＝ave(X2)
其中，X1表示主分支的输出值，X2表示旁路分支的输出值；ave表示全局平均池化操作函数；
在任一加权残缺模块的通道维度上拼接全局平均池化计算的结果，并利用两个全连接层计算求得主分支的加权的权重值，其表达式为：
w＝sigmoid(dense2(Relu(dense1(concat(c1,c2)))))
其中，concat表示通道拼接操作函数，dense1和dense2表示两个全连接层的操作函数，Relu表示线性整流函数，sigmoid表示激活函数，w为最终输出的权重值，取值范围在0～1之间。
更进一步地，在任一所述加权残缺模块中，对主分支和旁路分支进行加权求和，其表达式为：
x＝w*X1+(1-w)*X2
其中，*操作表示保持通道并对其他维度进行广播扩展的元素积；w为主分支的权重值；(1-w)为旁路分支的权重值。
更进一步地，利用所述两个全连接层计算求得加权的权重值，且第一个全连接层的输出单元数的表达式为：
h1＝max(a,(ch1+ch2)//b)
其中，ch1表示主分支的通道数，ch2表示旁路分支的通道数，//操作表示取整，max表示取最大值；a和b均为预设、且大于0的整数。
更进一步地，利用所述两个全连接层计算求得加权的权重值，且第二个全连接层的输出单元数等于旁路分支的通道数。
优选地，所述a和b均取值为8。
优选地，所述加权残缺模块设置大于10个。
与现有技术相比，本发明具有以下有益效果：
(1)本发明巧妙地在每一个残差模块中，使用两个运算量很小的全连接层，即可得到权重值，并根据权重值，对残差模块中的主分支和旁路分支进行加权求和，即可得到残差模块的输出；如此一来，便能实现简洁高效、部署后消耗的计算资源小，使得整个网络效率很高；
(2)本发明巧妙地根据加权残差模块是否进行下采样，而在旁路分支增加并行的卷积层，使得其构架更简约，复制性更强；
(3)本发明的权残差模块采用并行的主分支和旁路分支封装所得，将主分支和旁路分支的加权求和以代替传统的残差模块的简单直接相加，以避免了拥有更为丰富特征信息的主分支输出，被旁路分支输出消弱；
(4)本发明的主分支和旁路分支合并的权重值是由模型学习到的全连接层给出，其对于不同的模型输入，可以自动得到较为适合的权重值；因此，本发明的适用范围较广；
(5)本发明的主分支和旁路分支均含有由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成的部分，其架构更加简洁，增加的运算量较少，便可获得明显的精度提升。
综上所述，本发明具有架构简单、检测精度高、计算工作量小等优点，在计算机机器视觉中的图像分类领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的图例介绍示意图。
图2为本发明的不带下采样的加权残差模块结构示意图。
图3为本发明的带下采样的加权残差模块结构示意图。
图4为本发明的加权残差模块中的加权模块部分的结构示意图。
图5为本发明的根部模块结构示意图。
图6为本发明的头部模块结构示意图。
图7为本发明的加权残差神经网络整体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1至图7所示，本实施例提供了一种用于图像分类的加权残差神经网络的构建方法，所述加权残差神经网络由从前至后依次连接的根部模块、数个加权残缺模块和头部模块组成；其相比于传统的残差神经网络，本实施例提出的加权残差模块是将残差模块中主分支和旁路分支以加权求和代替了传统残差模块的简单直接相加，其有效地避免了拥有更为丰富特征信息的主分支输出，被旁路分支输出消弱，从而提升网络性能；在本实施例中，该加权残差神经网络的构建方法，包括以下步骤
第一部分，各模块的构建
(1)如图5所示，从前至后依次连接卷积层、批归一化层和激活层，并封装成根部模块。
(2)如图1至图3所示，采用并行的主分支和旁路分支封装得到加权残缺模块，其中，所述主分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成。
在本实施例中，需要根据加权残差神经网络是否进行下采样，才能确认旁路分支的结构：
①若加权残差神经网络进行下采样，则所述旁路分支由卷积层与旁路分支网络并行组成；所述旁路分支网络由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
②若加权残差神经网络不进行下采样，则旁路分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成，此时，旁路分支和主分支的结构类似，仅仅卷积层、批归一化层和激活层出现的次数差异。
如图4所示，本实施例给出了一种加权模块有限的实施方案。首先对每个分支的输出，做一个全局平均池化。将得到的结果在其通道维度拼接在一起，然后利用两个全连接层，计算出加权的权重。全连接层中，第一个全连接层的输出通道数为8和输入通道数整除8两者中的最大值。第一个全连接层接线性整流激活层。第二个全连接层的输出通道数等于每个分支的通道数。第二个全连接层后接sigmoid函数作为激活层。将得到的结果w作为主分支的权重值，旁路分支的权重值为1-w。两个分支分别与对应的权重值作元素乘，再把结果元素加，最终得到加权模块的输出。
(3)如图6所示，从前至后依次连接全局平均池化层、全连接层和激活层，并封装成头部模块。
第二部分，将根部模块、数个加权残缺模块和头部模块依次连接，得到加权残差神经网络。
在本实施例中，为了验证本实施例的方法具有可行性和良好的性能，本实施例通过构建一个20层的加权残差神经网络，与普通残差神经网络，在Cifar10分类数据集上进行测试。Cifar10数据集一共包含有10类物体。训练集中每类物体均有5000张图片，测试集中每类物体均有1000张图片。
在实验中，实验组为加权残差神经网络，而对照组为普通残差神经网络。两组网络除了是否添加注意力模块之外，其余结构完全一致。除网络结构差异外，训练和测试的所有设置参数均一致。
网络结构 准确率(％) 模型运算量(MFlops)
对照组 92.3 134.156
实验组 93.2 135.334
根据实验结果可以看出，引入加权模块之后，模型的精度有了明显的提升，其得益于加权模块的轻量化设计，模型的运算量，只增加了不到1％。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (5)

1.一种用于图像分类的加权残差神经网络的构建方法，其特征在于，所述加权残差神经网络由从前至后依次连接的根部模块、数个加权残缺模块和头部模块组成；所述加权残差神经网络的构建方法，包括以下步骤：
从前至后依次连接卷积层、批归一化层和激活层，并封装成根部模块；
采用并行的主分支和旁路分支封装得到加权残缺模块；所述主分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
若加权残差神经网络进行下采样，则所述旁路分支由卷积层与旁路分支网络并行组成；所述旁路分支网络由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
否则，所述旁路分支由从前至后按卷积层、批归一化层、激活层的顺序重复数次后封装而成；
从前至后依次连接全局平均池化层、全连接层和激活层，并封装成头部模块；
将根部模块、数个加权残缺模块和头部模块依次连接，得到加权残差神经网络；
对任一所述加权残缺模块进行权重值求解，包括以下步骤：
对主分支和旁路分支的输出做全局平均池化计算，其表达式为：
c1＝ave(X1)，c2＝ave(X2)
其中，X1表示主分支的输出值，X2表示旁路分支的输出值；ave表示全局平均池化操作函数；
在任一加权残缺模块的通道维度上拼接全局平均池化计算的结果，并利用两个全连接层计算求得主分支的加权的权重值，其表达式为：
w＝sigmoid(dense2(Relu(dense1(concat(c1,c2)))))
其中，concat表示通道拼接操作函数，dense1和dense2表示两个全连接层的操作函数，Relu表示线性整流函数，sigmoid表示激活函数；
在任一所述加权残缺模块中，对主分支和旁路分支进行加权求和，其表达式为：
x＝w*X1+(1-w)*X2
其中，*操作表示保持通道并对其他维度进行广播扩展的元素积；w为主分支的权重值；(1-w)为旁路分支的权重值；
利用所述两个全连接层计算求得加权的权重值，且第一个全连接层的输出单元数的表达式为：
h1＝max(a,(ch1+ch2)//b)
其中，ch1表示主分支的通道数，ch2表示旁路分支的通道数，//操作表示取整，max表示取最大值；a和b均为预设、且大于0的整数。
2.根据权利要求1所述的一种用于图像分类的加权残差神经网络的构建方法，其特征在于，所述加权残差神经网络进行下采样时，主分支的首个卷积层和旁路分支的卷积层的步长均为2，且主分支的剩余的卷积层的步长均为1；所述加权残差神经网络中步长为2的卷积层的输出通道的数量是其输入通道的数量的两倍，且加权残差神经网络中步长为1的卷积层的输出通道的数量等于其输入通道的数量。
3.根据权利要求1所述的一种用于图像分类的加权残差神经网络的构建方法，其特征在于，利用所述两个全连接层计算求得加权的权重值，且第二个全连接层的输出单元数等于旁路分支的通道数。
4.根据权利要求1所述的一种用于图像分类的加权残差神经网络的构建方法，其特征在于，所述a和b均取值为8。
5.根据权利要求1所述的一种用于图像分类的加权残差神经网络的构建方法，其特征在于，所述加权残缺模块设置大于10个。
CN202011034695.7A 2020-09-27 2020-09-27 一种用于图像分类的加权残差神经网络的构建方法 Active CN112200302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011034695.7A CN112200302B (zh) 2020-09-27 2020-09-27 一种用于图像分类的加权残差神经网络的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011034695.7A CN112200302B (zh) 2020-09-27 2020-09-27 一种用于图像分类的加权残差神经网络的构建方法

Publications (2)

Publication Number Publication Date
CN112200302A CN112200302A (zh) 2021-01-08
CN112200302B true CN112200302B (zh) 2021-08-17

Family

ID=74006900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011034695.7A Active CN112200302B (zh) 2020-09-27 2020-09-27 一种用于图像分类的加权残差神经网络的构建方法

Country Status (1)

Country Link
CN (1) CN112200302B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507982B (zh) * 2021-02-02 2021-05-07 成都东方天呈智能科技有限公司 一种人脸特征码的跨模型转换系统及方法
CN112862079B (zh) * 2021-03-10 2023-04-28 中山大学 一种流水式卷积计算架构设计方法及残差网络加速系统
CN113378483A (zh) * 2021-07-12 2021-09-10 广东电网有限责任公司 一种电网数据的预警方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN111325161A (zh) * 2020-02-25 2020-06-23 四川翼飞视科技有限公司 一种基于注意力机制的人脸检测神经网络的构建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
CN108847223B (zh) * 2018-06-20 2020-09-29 陕西科技大学 一种基于深度残差神经网络的语音识别方法
CN109635842A (zh) * 2018-11-14 2019-04-16 平安科技（深圳）有限公司 一种图像分类方法、装置及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN111325161A (zh) * 2020-02-25 2020-06-23 四川翼飞视科技有限公司 一种基于注意力机制的人脸检测神经网络的构建方法

Also Published As

Publication number Publication date
CN112200302A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN112200302B (zh) 一种用于图像分类的加权残差神经网络的构建方法
CN111626300B (zh) 基于上下文感知的图像语义分割模型的图像分割方法及建模方法
CN112016507A (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN108764317A (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN108664993B (zh) 一种密集权重连接的卷积神经网络图像分类方法
CN113743269A (zh) 一种轻量化识别视频人体姿态的方法
CN112215157B (zh) 一种基于多模型融合的人脸特征降维提取方法
WO2022134465A1 (zh) 加速可重构处理器运行的稀疏化数据处理方法和装置
CN112365511A (zh) 基于重叠区域检索与对齐的点云分割方法
CN117351354A (zh) 基于改进MobileViT的轻量级遥感图像目标检测方法
CN113762483B (zh) 一种用于心电信号分割的1D U-net神经网络处理器
CN111325161A (zh) 一种基于注意力机制的人脸检测神经网络的构建方法
CN113825148B (zh) 网络节点告警等级的确定方法、装置及计算设备
CN116245144A (zh) 一种轻量化窗口金字塔网络模型及其应用
CN112633402B (zh) 一种实现动态计算的高精度高比例的分类模型及分类方法
CN114267062A (zh) 模型训练方法、电子设备和计算机可读存储介质
CN114154409A (zh) 一种基于浅深皮层双路径构架的卷积神经网络模型压缩优化方法
CN111461144A (zh) 一种用于加速卷积神经网络的方法
CN112434761A (zh) 一种轻量级高效率的卷积神经网络及其构建方法
CN110705588A (zh) 基于通道重排的轻量级目标检测模型及目标检测方法
CN117409014B (zh) 一种基于特征选择的轻量级心脏mri分割方法
CN117670727B (zh) 一种基于残差密集u形网络的图像去模糊模型及方法
CN115934298B (zh) 一种前后端协作的电力监控mec卸载方法、系统及存储介质
CN113255730B (zh) 基于拆分-融合策略的分布式深度神经网络结构转换方法
CN114997382B (zh) 面向轻量级神经网络的低硬件开销卷积计算结构与计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant