CN111368969A - 基于残差神经网络的特征图处理方法、设备及存储介质 - Google Patents

基于残差神经网络的特征图处理方法、设备及存储介质 Download PDF

Info

Publication number
CN111368969A
CN111368969A CN202010080815.0A CN202010080815A CN111368969A CN 111368969 A CN111368969 A CN 111368969A CN 202010080815 A CN202010080815 A CN 202010080815A CN 111368969 A CN111368969 A CN 111368969A
Authority
CN
China
Prior art keywords
module
neural network
feature map
residual error
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010080815.0A
Other languages
English (en)
Inventor
贾琳
赵磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN202010080815.0A priority Critical patent/CN111368969A/zh
Publication of CN111368969A publication Critical patent/CN111368969A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于残差神经网络的特征图处理方法、设备及存储介质，该方法包括：构建残差神经网络，对所述残差神经网络进行训练；其中，所述残差神经网络包括依次连接的变换不变模块、第一卷积模块、第二卷积模块、第三卷积模块、SE模块、加法模块、归一化模块和激活函数模块，所述加法模块与所述变换不变模块相连接；利用训练好的残差神经网络处理输入的特征图。本申请提供的基于残差神经网络的特征图处理方法，利用包含SE模块和变换不变模块的残差神经网络处理特征图，解决了实际应用中图像随机变换所导致的识别性能下降的问题，从而提高了卷积神经网络针对图像分类任务的泛化能力，对特征图的处理效果好。

Description

基于残差神经网络的特征图处理方法、设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种基于残差神经网络的特征图处理方法、设备及存储介质。
背景技术
目前，卷积神经网络(CNN)广泛应用于视觉识别领域。现有的CNN模型存在两个缺点：(1)图像空域变化会使得网络性能有所下降；(2)CNN模型的泛化性能受图像的颜色、亮度、风格等外观因素的影响很大。目前CNN只是单独使用实例标准化(IN)或批量标准化(BN)。其中实例标准化(IN)学习的是不随颜色、风格、虚拟/真实等外观变化而改变的特征，消除个体不同外观的差别，但减少了有用信息；批量标准化(BN)学习的是保留与内容有关的信息，保留了单个样本之间的区别，但也对CNN在外观转换上有影响。由于上述缺陷，现有技术的卷积神经网络对特征图的处理效果不好。
发明内容
本申请的目的是提供一种基于残差神经网络的特征图处理方法、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本申请实施例的一个方面，提供一种基于残差神经网络的特征图处理方法，包括：
构建残差神经网络，对所述残差神经网络进行训练；其中，所述残差神经网络包括依次连接的变换不变模块、第一卷积模块、第二卷积模块、第三卷积模块、SE模块、加法模块、归一化模块和激活函数模块，所述加法模块与所述变换不变模块相连接；
利用训练好的残差神经网络处理输入的特征图。
进一步地，所述利用训练好的残差神经网络处理输入的特征图，包括：
通过所述变换不变模块对输入的特征图进行变换，得到变换后的特征图；
通过所述加入SE模块的残差模块对所述变换后的特征图进行增强，得到增强后的特征图；
通过所述加法模块将所述变换后的特征图和所述增强后的特征图进行相加；
通过所述归一化模块对相加后得到的特征图进行归一化处理；
通过所述激活函数模块处理经过归一化处理后得到的特征图，并输出处理后的特征图。
进一步地，所述通过所述变换不变模块对输入的特征图进行变换，包括：所述变换不变模块对特征图进行平移变换、尺度变换和旋转变换。
进一步地，所述归一化模块包括实例标准化层。
进一步地，所述第一卷积模块包括依次连接的卷积层、批量标准化层和激活函数；
所述第二卷积模块包括依次连接的卷积层、批量标准化层和激活函数；
所述第三卷积模块包括依次连接的卷积层和批量标准化层。
进一步地，所述第一卷积模块的卷积层为1×1卷积层，所述第二卷积模块的卷积层为3×3卷积层，所述第三卷积模块的卷积层为1×1卷积层。
进一步地，所述第一卷积模块的激活函数为ReLU函数、Sigmoid函数或Tanh函数，所述第二卷积模块的激活函数为ReLU函数、Sigmoid函数或Tanh函数。
进一步地，所述激活函数模块包括ReLU函数、Sigmoid函数或Tanh函数。
根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的基于残差神经网络的特征图处理方法。
根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的基于残差神经网络的特征图处理方法。
本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：
本申请实施例提供的基于残差神经网络的特征图处理方法，利用包含SE模块和变换不变模块的残差神经网络处理特征图，解决了实际应用中图像随机变换所导致的识别性能下降的问题，从而提高了卷积神经网络针对图像分类任务的泛化能力，对特征图的处理效果好。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请的一个实施例的基于残差神经网络的特征图处理方法的流程图；
图2示出了本申请的一个实施例中的残差神经网络的结构框图；
图3示出了本申请的一个实施例中的利用训练好的残差神经网络处理输入的特征图的流程图；
图4示出了本申请的一实施方式的利用训练好的残差神经网络处理输入的特征图的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
如图1所示，本申请的一个实施例提供了一种基于残差神经网络的特征图处理方法，包括：
S1、构建残差神经网络，对所述残差神经网络进行训练；
其中，如图2所示，所述残差神经网络包括依次连接的变换不变模块、第一卷积模块、第二卷积模块、第三卷积模块、SE模块、加法模块、归一化模块和激活函数模块，所述加法模块与所述变换不变模块相连接；本实施例的残差神经网络与传统残差神经网络的区别包括：本实施例的残差神经网络中加入了SE模块和变换不变模块(TI模块)；残差神经网络是一种卷积神经网络，其特点是容易优化，并且能够通过增加相当的深度来提高准确率，很大程度上解决了在深度卷积神经网络中由于深度增加带来的梯度消失问题；
S2、利用训练好的残差神经网络处理输入的特征图。
SE模块即挤压激励模块。SE为Squeeze-and-Excitation的缩写，即挤压激励。
变换不变模块能够在训练CNN网络时对某些特征层进行随机变换(例如训练图像的平移、尺度、旋转操作)，可以消除CNN网络对训练图像做特定平移、尺度、旋转的复合操作的依赖性。
本实施例的残差神经网络中包含IN层(实例标准化层)和BN层(批量标准化层)，二者的组合使得该残差神经网络能够适应新的数据集，而且不需要在新数据集上重新调参，可以用更大的学习速率训练网络，网络收敛更快，对图像外观因素的泛化能力更强。
如图3所示，在某些实施方式中，步骤S2、利用训练好的残差神经网络处理输入的特征图，包括：
S21、通过所述变换不变模块对输入的特征图进行变换，得到变换后的特征图；
S22、通过所述加入SE模块的残差模块对所述变换后的特征图进行增强，得到增强后的特征图；
S23、通过所述加法模块将所述变换后的特征图和所述增强后的特征图进行相加；
S24、通过所述归一化模块对相加后得到的特征图进行归一化处理；
归一化模块消除了卷积神经网络对特征图的颜色、亮度、风格等外观因素的干扰，提高了卷积神经网络的泛化能力；
S25、通过所述激活函数模块处理经过归一化处理后得到的特征图，并输出处理后的特征图。
在某些实施方式中，所述通过所述变换不变模块对输入的特征图进行变换，包括：通过所述变换不变模块对特征图进行平移变换、尺度变换和旋转变换。平移变换、尺度变换和旋转变换的变换参数是在对所述残差神经网络进行训练的过程中获得的。
在某些实施方式中，如图4所示，所述归一化模块包括实例标准化层。实例标准化层简称IN层(IN为Instance Normalization的缩写，即实例标准化)。
在某些实施方式中，如图4所示，所述加入SE模块的残差模块包括依次连接的第一卷积模块、第二卷积模块、第三卷积模块和SE模块；其中：
所述第一卷积模块包括依次连接的卷积层、批量标准化层和激活函数；
所述第二卷积模块包括依次连接的卷积层、批量标准化层和激活函数；
所述第三卷积模块包括依次连接的卷积层和批量标准化层。
批量标准化层简称BN层；BN为Batch Normalization的缩写，批量标准化。BN层使得卷积神经网络中每层输入数据的分布相对稳定，加快了卷积神经网络的学习速度；BN层能够通过规范化与线性变换使每一层网络的输入数据的均值与方差都在一定范围内，使得后一层网络不必不断去适应底层网络中输入的变化，从而实现了网络中层与层之间的解耦，允许每一层进行独立学习，有利于提高整个卷积神经网络的学习速度。
在某些实施方式中，如图4所示，所述第一卷积模块的卷积层为1×1卷积层，所述第二卷积模块的卷积层为3×3卷积层，所述第三卷积模块的卷积层为1×1卷积层。如图4所示的实施方式中，输入的特征图为256维，第一卷积模块的卷积层为64维，第一卷积模块的BN层为64维，输出的特征图是256维。
在某些实施方式中，如图4所示，所述第一卷积模块的激活函数为ReLU函数，所述第二卷积模块的激活函数为ReLU函数。另外，激活函数还可以为Sigmoid函数或Tanh函数。ReLU函数没有饱和区，不存在梯度消失问题，ReLU函数没有复杂的指数运算，计算简单、效率高，实际收敛速度较快，因此优选ReLU函数。
在某些实施方式中，所述激活函数模块包括ReLU函数或Sigmoid函数或Tanh函数。
在某些实施方式中，所述激活函数模块可以为ReLU函数、Sigmoid函数或Tanh函数。ReLU函数没有饱和区，不存在梯度消失问题，ReLU函数没有复杂的指数运算，计算简单、效率高，实际收敛速度较快，因此优选ReLU函数。
本实施例提供的基于残差神经网络的特征图处理方法，利用包含SE模块和变换不变模块的残差神经网络处理特征图，解决了实际应用中图像随机变换所导致的识别性能下降的问题，从而提高了卷积神经网络针对图像分类任务的泛化能力，对特征图的处理效果好。
本实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的基于残差神经网络的特征图处理方法。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的基于残差神经网络的特征图处理方法。
需要说明的是：
术语“模块”并非意图受限于特定物理形式。取决于具体应用，模块可以实现为硬件、固件、软件和/或其组合。此外，不同的模块可以共享公共组件或甚至由相同组件实现。不同模块之间可以存在或不存在清楚的界限。
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于残差神经网络的特征图处理方法，其特征在于，包括：
构建残差神经网络，对所述残差神经网络进行训练；其中，所述残差神经网络包括依次连接的变换不变模块、第一卷积模块、第二卷积模块、第三卷积模块、SE模块、加法模块、归一化模块和激活函数模块，所述加法模块与所述变换不变模块相连接；
利用训练好的残差神经网络处理输入的特征图。
2.根据权利要求1所述的方法，其特征在于，所述利用训练好的残差神经网络处理输入的特征图，包括：
通过所述变换不变模块对输入的特征图进行变换，得到变换后的特征图；
通过所述加入SE模块的残差模块对所述变换后的特征图进行增强，得到增强后的特征图；
通过所述加法模块将所述变换后的特征图和所述增强后的特征图进行相加；
通过所述归一化模块对相加后得到的特征图进行归一化处理；
通过所述激活函数模块处理经过归一化处理后得到的特征图，并输出处理后的特征图。
3.根据权利要求2所述的方法，其特征在于，所述通过所述变换不变模块对输入的特征图进行变换，包括：所述变换不变模块对特征图进行平移变换、尺度变换和旋转变换。
4.根据权利要求2所述的方法，其特征在于，所述归一化模块包括实例标准化层。
5.根据权利要求1所述的方法，其特征在于，所述第一卷积模块包括依次连接的卷积层、批量标准化层和激活函数；
所述第二卷积模块包括依次连接的卷积层、批量标准化层和激活函数；
所述第三卷积模块包括依次连接的卷积层和批量标准化层。
6.根据权利要求5所述的方法，其特征在于，所述第一卷积模块的卷积层为1×1卷积层，所述第二卷积模块的卷积层为3×3卷积层，所述第三卷积模块的卷积层为1×1卷积层。
7.根据权利要求5所述的方法，其特征在于，所述第一卷积模块的激活函数为ReLU函数、Sigmoid函数或Tanh函数，所述第二卷积模块的激活函数为ReLU函数、Sigmoid函数或Tanh函数。
8.根据权利要求1所述的方法，其特征在于，所述激活函数模块包括ReLU函数、Sigmoid函数或Tanh函数。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-8中任一所述的基于残差神经网络的特征图处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-8中任一所述的基于残差神经网络的特征图处理方法。
CN202010080815.0A 2020-02-05 2020-02-05 基于残差神经网络的特征图处理方法、设备及存储介质 Pending CN111368969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080815.0A CN111368969A (zh) 2020-02-05 2020-02-05 基于残差神经网络的特征图处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080815.0A CN111368969A (zh) 2020-02-05 2020-02-05 基于残差神经网络的特征图处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111368969A true CN111368969A (zh) 2020-07-03

Family

ID=71206118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080815.0A Pending CN111368969A (zh) 2020-02-05 2020-02-05 基于残差神经网络的特征图处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111368969A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926646A (zh) * 2021-02-22 2021-06-08 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
CN116012873A (zh) * 2022-12-05 2023-04-25 北京数原数字化城市研究中心 一种行人重识别方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926646A (zh) * 2021-02-22 2021-06-08 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
CN112926646B (zh) * 2021-02-22 2023-07-04 上海壁仞智能科技有限公司 数据批量标准化方法、计算设备和计算机可读存储介质
CN116012873A (zh) * 2022-12-05 2023-04-25 北京数原数字化城市研究中心 一种行人重识别方法、装置、电子设备及存储介质
CN116012873B (zh) * 2022-12-05 2024-01-26 北京数原数字化城市研究中心 一种行人重识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111354017B (zh) 一种基于孪生神经网络及平行注意力模块的目标跟踪方法
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN111275107A (zh) 一种基于迁移学习的多标签场景图像分类方法及装置
CN113313657A (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN110633709B (zh) 一种基于残差网络的特征图处理方法
CN113723295A (zh) 一种基于图像域频域双流网络的人脸伪造检测方法
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN111368969A (zh) 基于残差神经网络的特征图处理方法、设备及存储介质
CN113807214B (zh) 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113837942A (zh) 基于srgan的超分辨率图像生成方法、装置、设备及存储介质
CN111210382A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113822953A (zh) 图像生成器的处理方法、图像生成方法及装置
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
CN114972904A (zh) 一种基于对抗三元组损失的零样本知识蒸馏方法及系统
CN113033410B (zh) 基于自动数据增强的域泛化行人重识别方法、系统及介质
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN112016592B (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN117994570A (zh) 基于模型无关适配器提高复杂多样数据分布的识别方法
CN116468644A (zh) 一种基于自监督特征解耦的红外可见图像融合方法
CN111695470B (zh) 一种基于深度特征正交分解的可见光-近红外行人再识别方法
CN112529081B (zh) 基于高效注意力校准的实时语义分割方法
CN115457365A (zh) 一种模型的解释方法、装置、电子设备及存储介质
CN114973164A (zh) 一种基于图像风格迁移的舰船目标融合识别方法
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
Guo et al. Face illumination normalization based on generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination