CN111967478A - 一种基于权重翻转的特征图重构方法、系统、存储介质及终端 - Google Patents

一种基于权重翻转的特征图重构方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN111967478A
CN111967478A CN202010653144.2A CN202010653144A CN111967478A CN 111967478 A CN111967478 A CN 111967478A CN 202010653144 A CN202010653144 A CN 202010653144A CN 111967478 A CN111967478 A CN 111967478A
Authority
CN
China
Prior art keywords
feature map
feature
generate
map
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010653144.2A
Other languages
English (en)
Other versions
CN111967478B (zh
Inventor
赵磊
方红波
廖旻可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202010653144.2A priority Critical patent/CN111967478B/zh
Publication of CN111967478A publication Critical patent/CN111967478A/zh
Application granted granted Critical
Publication of CN111967478B publication Critical patent/CN111967478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于权重翻转的特征图重构方法、系统、存储介质及终端，所述方法包括：获取输入特征图输入预设SE模块中，生成输入特征图的多个特征通道对应的权重值并对输入特征图加权，生成加权后的第一特征图和第二特征图；将加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；将通道数压缩后的第一特征图和第二特征图进行特征变换并将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。因此，采用本申请实施例，可以去除通道冗余，减少了参数量和计算量，有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升。

Description

一种基于权重翻转的特征图重构方法、系统、存储介质及终端
技术领域
本发明涉及计算机视觉的深度学习技术领域，特别涉及一种基于权重翻转的特征图重构方法、系统、存储介质及终端。
背景技术
随着深度学习的兴起，作为深度学习技术之一，卷积神经网络在计算机视觉领域得到越来越多的发展和应用，研究人员提出了许多卷积操作，比如转置卷积、膨胀卷积、分组卷积、深度分离卷积、逐点卷积、可变形卷积等。卷积神经网络(CNN)通过卷积操作来有效提取图像特征信息，在图像分类、语义分割、物体检测等计算机视觉任务中有着很好地性能表现。
目前在计算机视觉领域中，通过卷积神经网络提取图像特征，用于后续分类、检测、分割等任务。其中评比一个神经网络模型是否优秀最重要的指标就是对原始图像识别的准确率，由于当前这种卷积方式对原始图像进行卷积操作后得到的特征图存在通道冗余，这将占用大量的内存空间和消耗大量的计算资源，降低卷积神经网络的性能，从而导致神经网络模型对原始图像识别的准确率大幅度下降。
发明内容
本申请实施例提供了一种基于权重翻转的特征图重构方法、系统、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于权重翻转的特征图重构方法，所述方法包括：
获取输入特征图；
将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
可选的，所述生成重构特征图之后，还包括：
将所述重构特征图进行1x1卷积升维，生成输出特征图。
可选的，所述根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图，包括：
将所述多个特征通道对应的权重值与所述输入特征图相乘，得到加权后的第一特征图；
将所述多个特征通道对应的权重值进行权重翻转，生成翻转后的多个权重值；
将所述翻转后的多个权重值与所述输入特征图相乘，得到加权后的第二特征图。
可选的，所述将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，包括：
分离所述第一特征图，生成第一子特征图和第二子特征图；
分离所述第二特征图，生成第三子特征图和第四子特征图；
将所述第一子特征图和第二子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第一特征图；
将所述第三子特征图和第四子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第二特征图。
可选的，所述将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图，包括：
采用3x3卷积对所述通道数压缩后的第一特征图进行卷积处理，生成特征变换后的第一特征图；
采用5x5卷积对所述通道数压缩后的第二特征图进行卷积处理，生成特征变换后的第二特征图。
可选的，所述获取输入特征图之前，还包括：
获取原始图像；
采用卷积神经网络中的卷积核与所述原始图像相乘，得到对应的多个层特征图；
将所述多个层特征图中某一个层特征图作为输入特征图。
第二方面，本申请实施例提供了一种基于权重翻转的特征图重构系统，所述系统包括：
获取模块，用于获取输入特征图；
权重值生成模块，用于将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
加权模块，用于根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
压缩模块，用于将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
特征变换模块，用于将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
重构模块，用于将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
可选的，所述系统还包括：
卷积模块，用于将所述重构特征图进行1x1卷积升维，生成输出特征图。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，终端首先获取输入特征图输入预设SE模块中，生成输入特征图的多个特征通道对应的权重值并对输入特征图加权，生成加权后的第一特征图和第二特征图，然后将加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，最后将通道数压缩后的第一特征图和第二特征图进行特征变换并将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。由于通过对神经网络模型处理原始图像生成的特征图进行通道压缩来减小通道冗余问题，并使用多尺度增强来提升特征图的语义信息表达能力，从而有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于权重翻转的特征图重构方法的流程示意图；
图2是本申请实施例提供的一种基于权重翻转的特征图重构过程的过程示意图；
图3是本申请实施例提供的另一种基于权重翻转的特征图重构方法的流程示意图；
图4是本申请实施例提供的一种基于权重翻转的特征图重构系统的系统示意图；
图5是本申请实施例提供的另一种基于权重翻转的特征图重构系统的系统示意图；
图6是本申请实施例提供的一种终端示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，在计算机视觉领域中，骨干网络均使用了ResNet网络提取图像特征，用于后续分类、检测、分割等任务。由于当前这种卷积方式对原始图像进行卷积操作后得到的特征图存在通道冗余，这将占用大量的内存空间和消耗大量的计算资源，降低卷积神经网络的性能，从而导致神经网络模型对原始图像识别的准确率大幅度下降。为此，本申请提供了一种基于权重翻转的特征图重构方法、系统、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于通过对神经网络模型处理原始图像生成的特征图进行通道压缩来减小通道冗余问题，并使用多尺度增强来提升特征图的语义信息表达能力，从而有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图3，对本申请实施例提供的基于权重翻转的特征图重构方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的基于权重翻转的特征图重构系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种基于权重翻转的特征图重构方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，获取输入特征图；
其中，特征图(Feature Map)是卷积神经网络进行特征提取后生成的，即对原始图像进行处理后生成的多个层的特征图，也可以理解为图像处理后生成的多个层特征图像。
在本申请实施例中，首先获取到原始图像，然后将原始图像输入卷积神经网络中，生成原始图像对应的多个层的特征图，然后将多个层的特征图中的某一个层的特征图作为输入特征图进行处理时，需要获取该层的特征图。
具体的，首先获取原始图像，再将原始图像输入卷积神经网络时，卷积神经网络利用卷积核去乘以原图，生成原始图像对应的各种特征图。例如卷积核运算后提取原始图像的形状边缘特征生成Feature Map01，提取颜色深浅的特征生成Feature Map02，提取直线形状的特征生成Feature Map03。其中，卷积核是在局部感受野上，将空间上(spatial)的信息和特征维度上(channel-wise)的信息进行聚合的信息聚合体。
S102，将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
其中，压缩和激励网络(Squeeze-and-Excitation Networks，SENet)中的SE模块就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。
在一种可能的实现方式中，首先将步骤S101确定的输入特征图输入预设SE模块中，生成输入特征图的多个特征通道对应的权重值，再将多个特征通道对应的权重值与输入特征图相乘，得到加权后的第一特征图，然后将多个特征通道对应的权重值进行权重翻转，生成翻转后的多个权重值，最后将翻转后的多个权重值与输入特征图相乘，得到加权后的第二特征图。
在本申请实施例中，首先通过SE模块对输入特征图(C个通道)提取权重因子，再分别与相应的特征图相乘得到特征增强后的特征图。为了提高特征的多样性，将提取的权重因子进行翻转后再与相应的特征图相乘，补充特征增强后的特征图的有用信息。
S103，根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
在一种可能的实现方式中，首先将特征图顺着空间维度来进行特征压缩，将每个二维的特征通道压缩变成一个实数，然后根据实数和预先定义的参数对特征图的多个通道进行激励操作生成多个权重值，最后将多个权重值通过乘法逐通道加权到先前的特征图上,完成在通道维度上的对原始特征的重标定，生成第一特征图。
将多个权重值进行逆向排序(即权重翻转)，例如权重值的数组下标为【0】、【1】、【2】、【3】、【4】，逆向排序后的特征权重为【4】、【3】、【2】、【1】、【0】，最后再将逆向排序后的多个权重值通过乘法逐通道加权到先前的特征图上,完成在通道维度上的对原始特征的重标定，生成第二特征图。
S104，将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
其中，通道分离是将第一特征图和第二特征图分成两半。通道重构是将第一特征图和第二特征图逐元素相加，
在本申请实施例中，第一特征图为上支路进行处理，第二特征图为下支路进行处理。对于上支路，将增强后的特征图分成两半，然后对应通道逐元素相加，这样通道重构后得到通道数减半的特征图(C/2个通道)；对于下支路，也是将特征图分成两半后再逐元素相加进行通道重构，也得到通道数减半的特征图(C/2个通道)。
在一种可能的实现方式中，首先分割第一特征图，生成第一子特征图和第二子特征图，然后分割第二特征图，生成第三子特征图和第四子特征图，再将第一子特征图和第二子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第一特征图，最后将第三子特征图和第四子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第二特征图。
例如，首先将第一特征图分为一个支路，将第一特征图分成两半，生成第一子特征图和第二子特征图，然后将第一子特征图和第二子特征图对应的通道元素逐一相加进行重构，重构后得到通道数减半的特征图(C/2个通道)，即压缩后的第一特征图。
再将第二特征图分为另一个支路，将第二特征图分为两半，生成第三子特征图和第四子特征图，再将第三子特征图和第四子特征图对应的通道元素逐一相加进行重构，重构后得到通道数减半的特征图(C/2个通道)，即压缩后的第二特征图。
S105，将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
其中，特征变换是利用不同尺寸的卷积核对特征图进行处理。
在一种可能的实现方式中，首先采用3x3卷积核对通道数压缩后的第一特征图进行卷积处理，生成特征变换后的第一特征图，然后采用5x5卷积核对通道数压缩后的第二特征图进行卷积处理，生成特征变换后的第二特征图，最后将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
进一步地，将重构特征图进行1x1卷积核升维，最终生成输出特征图。
例如，对于上支路，经过3x3卷积操作处理后得到C/2个通道数的特征图；对于下支路，经过5x5卷积操作处理后也得到C/2个通道数的特征图。再将上、下支路分别得到的特征图逐通道拼接，这样会得到C/2个通道的特征图，最后为了保持与输入特征图的通道数一致，需要经过1x1卷积升维操作来得到最终C个通道数的输出特征图。
S106，将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
例如图2所示，首先将维度为H*W*C的特征图X全局池化，并进行两次全连接后得到特征图多个通道的权重值，再将多个特征通道对应的权重值与输入特征图X相乘，得到加权后的第一特征图，然后将多个特征通道对应的权重值进行权重翻转，生成翻转后的多个权重值，最后将翻转后的多个权重值与输入特征图相乘，得到加权后的第二特征图。
将第一特征图进行通道分离得到子特征图
Figure BDA0002575724250000081
和子特征图
Figure BDA0002575724250000082
再对子特征图
Figure BDA0002575724250000083
和子特征图
Figure BDA0002575724250000084
进行3x3卷积操作得到C/2个通道数的特征图。
将第二特征图进行通道分离得到子特征图
Figure BDA0002575724250000091
和子特征图
Figure BDA0002575724250000092
再对子特征图
Figure BDA0002575724250000093
和子特征图
Figure BDA0002575724250000094
进行5x5卷积操作得到C/2个通道数的特征图。
将3x3卷积操作得到C/2个通道数的特征图和5x5卷积操作得到C/2个通道数的特征图进行逐通道拼接，生成拼接后的特征图，最后对拼接后的特征图进行1x1卷积升维操作来得到最终C个通道数的输出特征图Y。
在本申请实施例中，终端首先获取输入特征图输入预设SE模块中，生成输入特征图的多个特征通道对应的权重值并对输入特征图加权，生成加权后的第一特征图和第二特征图，然后将加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，最后将通道数压缩后的第一特征图和第二特征图进行特征变换并将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。由于通过对神经网络模型处理原始图像生成的特征图进行通道压缩来减小通道冗余问题，并使用多尺度增强来提升特征图的语义信息表达能力，从而有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升。
请参见图3，为本申请实施例提供的一种基于权重翻转的特征图重构方法的流程示意图。该基于权重翻转的特征图重构方法可以包括以下步骤：
S201，获取原始图像；
S202，采用卷积神经网络中的卷积核与所述原始图像相乘，得到对应的多个层特征图；
S203，将所述多个层特征图中某一个层特征图作为输入特征图；
S204，获取输入特征图；
S205，将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
S206，将所述多个特征通道对应的权重值与所述输入特征图相乘，得到加权后的第一特征图；
S207，将所述多个特征通道对应的权重值进行权重翻转，生成翻转后的多个权重值，将所述翻转后的多个权重值与所述输入特征图相乘，得到加权后的第二特征图；
S208，分离所述第一特征图，生成第一子特征图和第二子特征图，以及分离所述第二特征图，生成第三子特征图和第四子特征图；
S209，将所述第一子特征图和第二子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第一特征图，以及将所述第三子特征图和第四子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第二特征图；
S210，采用3x3卷积对所述通道数压缩后的第一特征图进行卷积处理，生成特征变换后的第一特征图，并采用5x5卷积对所述通道数压缩后的第二特征图进行卷积处理，生成特征变换后的第二特征图；
S211，将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图；
S212，将所述重构特征图进行1x1卷积升维，生成输出特征图。
在本申请实施例中，终端首先获取输入特征图输入预设SE模块中，生成输入特征图的多个特征通道对应的权重值并对输入特征图加权，生成加权后的第一特征图和第二特征图，然后将加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，最后将通道数压缩后的第一特征图和第二特征图进行特征变换并将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。由于通过对神经网络模型处理原始图像生成的特征图进行通道压缩来减小通道冗余问题，并使用多尺度增强来提升特征图的语义信息表达能力，从而有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升。
下述为本发明系统实施例，可以用于执行本发明方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明方法实施例。
请参见图4，其示出了本发明一个示例性实施例提供的基于权重翻转的特征图重构系统的结构示意图。该基于权重翻转的特征图重构系统可以通过软件、硬件或者两者的结合实现成为智能机器人的全部或一部分。该系统1包括获取模块10、权重值生成模块20、加权模块30、压缩模块40、特征变换模块50、重构模块60。
获取模块10，用于获取输入特征图；
权重值生成模块20，用于将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
加权模块30，用于根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
压缩模块40，用于将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
特征变换模块50，用于将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
重构模块60，用于将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
可选的，例如图5所示，所述装置1还包括：
图像获取模块70，用于获取原始图像；
特征图得到模块80，用于采用卷积神经网络中的卷积核与所述原始图像相乘，得到对应的多个层特征图；
输入特征图确定模块90，用于将所述多个层特征图中某一个层特征图作为输入特征图。
卷积模块100，用于将所述重构特征图进行1x1卷积升维，生成输出特征图。
需要说明的是，上述实施例提供的基于权重翻转的特征图重构系统在执行基于权重翻转的特征图重构方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于权重翻转的特征图重构系统与基于权重翻转的特征图重构方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，终端首先获取输入特征图输入预设SENet网络中，生成输入特征图的多个特征通道对应的权重值并对输入特征图加权，生成加权后的第一特征图和第二特征图，然后将加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，最后将通道数压缩后的第一特征图和第二特征图进行特征变换并将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。由于通过对神经网络模型处理原始图像生成的特征图进行通道压缩来减小通道冗余问题，并使用多尺度增强来提升特征图的语义信息表达能力，从而有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于权重翻转的特征图重构方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的基于权重翻转的特征图重构方法。
请参见图6，为本申请实施例提供了一种终端的结构示意图。如图6所示，所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于权重翻转的特征图重构应用程序。
在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于权重翻转的特征图重构应用程序，并具体执行以下操作：
获取输入特征图；
将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
在一个实施例中，所述处理器1001在执行所述生成重构特征图之后时，还执行以下操作：
将所述重构特征图进行1x1卷积升维，生成输出特征图。
在一个实施例中，所述处理器1001在执行所述根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图时，具体执行以下操作：
将所述多个特征通道对应的权重值与所述输入特征图相乘，得到加权后的第一特征图；
将所述多个特征通道对应的权重值进行权重翻转，生成翻转后的多个权重值；
将所述翻转后的多个权重值与所述输入特征图相乘，得到加权后的第二特征图。
在一个实施例中，所述处理器1001在执行所述将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图时，具体执行以下操作：
分离所述第一特征图，生成第一子特征图和第二子特征图；
分离所述第二特征图，生成第三子特征图和第四子特征图；
将所述第一子特征图和第二子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第一特征图；
将所述第三子特征图和第四子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第二特征图。
在一个实施例中，所述处理器1001在执行所述将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图时，具体执行以下操作：
采用3x3卷积对所述通道数压缩后的第一特征图进行卷积处理，生成特征变换后的第一特征图；
采用5x5卷积对所述通道数压缩后的第二特征图进行卷积处理，生成特征变换后的第二特征图。
在一个实施例中，所述处理器1001在执行所述获取输入特征图之前时，还执行以下操作：
获取原始图像；
采用卷积神经网络中的卷积核与所述原始图像相乘，得到对应的多个层特征图；
将所述多个层特征图中某一个层特征图作为输入特征图。
在本申请实施例中，终端首先获取输入特征图输入预设SE模块中，生成输入特征图的多个特征通道对应的权重值并对输入特征图加权，生成加权后的第一特征图和第二特征图，然后将加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，最后将通道数压缩后的第一特征图和第二特征图进行特征变换并将特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。由于通过对神经网络模型处理原始图像生成的特征图进行通道压缩来减小通道冗余问题，并使用多尺度增强来提升特征图的语义信息表达能力，从而有效提升了卷积神经网络的性能，使得神经网络模型对原始图像识别的准确率大幅度提升。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种基于权重翻转的特征图重构方法，其特征在于，所述方法包括：
获取输入特征图；
将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
2.根据权利要求1所述的方法，其特征在于，所述生成重构特征图之后，还包括：
将所述重构特征图进行1x1卷积升维，生成输出特征图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图，包括：
将所述多个特征通道对应的权重值与所述输入特征图相乘，得到加权后的第一特征图；
将所述多个特征通道对应的权重值进行权重翻转，生成翻转后的多个权重值；
将所述翻转后的多个权重值与所述输入特征图相乘，得到加权后的第二特征图。
4.根据权利要求1所述的方法，其特征在于，所述将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图，包括：
分离所述第一特征图，生成第一子特征图和第二子特征图；
分离所述第二特征图，生成第三子特征图和第四子特征图；
将所述第一子特征图和第二子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第一特征图；
将所述第三子特征图和第四子特征图对应的通道逐元素逐一相加进行重构，生成通道数压缩后的第二特征图。
5.根据权利要求1所述的方法，其特征在于，所述将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图，包括：
采用3x3卷积对所述通道数压缩后的第一特征图进行卷积处理，生成特征变换后的第一特征图；
采用5x5卷积对所述通道数压缩后的第二特征图进行卷积处理，生成特征变换后的第二特征图。
6.根据权利要求1所述的方法，其特征在于，所述获取输入特征图之前，还包括：
获取原始图像；
采用卷积神经网络中的卷积核与所述原始图像相乘，得到对应的多个层特征图；
将所述多个层特征图中某一个层特征图作为输入特征图。
7.一种基于权重翻转的特征图重构系统，其特征在于，所述系统包括：
获取模块，用于获取输入特征图；
权重值生成模块，用于将所述输入特征图输入预设SE模块中，生成所述输入特征图的多个特征通道对应的权重值；
加权模块，用于根据所述多个特征通道对应的权重值对所述输入特征图加权，生成加权后的第一特征图和第二特征图；
压缩模块，用于将所述加权后的第一特征图和第二特征图进行通道分离和重构，生成通道数压缩后的第一特征图和第二特征图；
特征变换模块，用于将所述通道数压缩后的第一特征图和第二特征图进行特征变换，生成特征变换后的第一特征图和第二特征图；
重构模块，用于将所述特征变换后的第一特征图和第二特征图对应的特征通道逐一拼接，生成重构特征图。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：
卷积模块，用于将所述重构特征图进行1x1卷积升维，生成输出特征图。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～6任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6任意一项的方法步骤。
CN202010653144.2A 2020-07-08 2020-07-08 一种基于权重翻转的特征图重构方法、系统、存储介质及终端 Active CN111967478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010653144.2A CN111967478B (zh) 2020-07-08 2020-07-08 一种基于权重翻转的特征图重构方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010653144.2A CN111967478B (zh) 2020-07-08 2020-07-08 一种基于权重翻转的特征图重构方法、系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111967478A true CN111967478A (zh) 2020-11-20
CN111967478B CN111967478B (zh) 2023-09-05

Family

ID=73361825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010653144.2A Active CN111967478B (zh) 2020-07-08 2020-07-08 一种基于权重翻转的特征图重构方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111967478B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613363A (zh) * 2020-12-11 2021-04-06 浙江大华技术股份有限公司 一种车辆图像划分的方法、装置及存储介质
CN113775942A (zh) * 2021-08-28 2021-12-10 特斯联科技集团有限公司 用于管道状态监控的人工智能数据采集系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635939A (zh) * 2019-01-07 2019-04-16 北京邮电大学 一种基于裁剪的卷积神经网络的确定方法及装置
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN110677651A (zh) * 2019-09-02 2020-01-10 合肥图鸭信息科技有限公司 一种视频压缩方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质
CN111161195A (zh) * 2020-01-02 2020-05-15 重庆特斯联智慧科技股份有限公司 一种特征图处理方法、装置、存储介质及终端
CN111325816A (zh) * 2020-02-11 2020-06-23 重庆特斯联智慧科技股份有限公司 一种特征图处理方法、装置、存储介质及终端
CN111369568A (zh) * 2020-02-20 2020-07-03 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635939A (zh) * 2019-01-07 2019-04-16 北京邮电大学 一种基于裁剪的卷积神经网络的确定方法及装置
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN110677651A (zh) * 2019-09-02 2020-01-10 合肥图鸭信息科技有限公司 一种视频压缩方法
CN111105352A (zh) * 2019-12-16 2020-05-05 佛山科学技术学院 超分辨率图像重构方法、系统、计算机设备及存储介质
CN111161195A (zh) * 2020-01-02 2020-05-15 重庆特斯联智慧科技股份有限公司 一种特征图处理方法、装置、存储介质及终端
CN111325816A (zh) * 2020-02-11 2020-06-23 重庆特斯联智慧科技股份有限公司 一种特征图处理方法、装置、存储介质及终端
CN111369568A (zh) * 2020-02-20 2020-07-03 苏州浪潮智能科技有限公司 一种图像分割的方法、系统、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
有事没事扯扯淡: "卷积模块设计整理(SENet,SKNet,Non-Local Net,GCNet,GIoRe,OcNet,Octave)", 《HTTPS://WWW.JIANSHU.COM/P/693D1B48D560》, pages 1 - 13 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613363A (zh) * 2020-12-11 2021-04-06 浙江大华技术股份有限公司 一种车辆图像划分的方法、装置及存储介质
CN112613363B (zh) * 2020-12-11 2024-04-05 浙江大华技术股份有限公司 一种车辆图像划分的方法、装置及存储介质
CN113775942A (zh) * 2021-08-28 2021-12-10 特斯联科技集团有限公司 用于管道状态监控的人工智能数据采集系统
CN113775942B (zh) * 2021-08-28 2022-07-29 特斯联科技集团有限公司 用于管道状态监控的人工智能数据采集系统

Also Published As

Publication number Publication date
CN111967478B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN112434721B (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN108664981B (zh) 显著图像提取方法及装置
CN108351984B (zh) 硬件高效的深度卷积神经网络
CN112396115B (zh) 基于注意力机制的目标检测方法、装置及计算机设备
CN111553406B (zh) 基于改进yolo-v3的目标检测系统、方法及终端
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
WO2019075130A1 (en) IMAGE PROCESSING DEVICE AND METHOD
CN110533594B (zh) 模型训练方法、图像重建方法、存储介质及相关设备
US20230083518A1 (en) Image segmentation method, system, and device, and readable storage medium
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
CN111274999B (zh) 数据处理、图像处理方法、装置及电子设备
CN113705775A (zh) 一种神经网络的剪枝方法、装置、设备及存储介质
CN112149694B (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
CN111161195A (zh) 一种特征图处理方法、装置、存储介质及终端
CN111967478B (zh) 一种基于权重翻转的特征图重构方法、系统、存储介质及终端
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112633077A (zh) 一种基于层内多尺度特征增强的人脸检测方法、系统、存储介质及终端
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN114821096A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN115909009A (zh) 图像识别方法、装置、存储介质及电子设备
CN113408571B (zh) 一种基于模型蒸馏的图像分类方法、装置、存储介质及终端
CN111325816B (zh) 一种特征图处理方法、装置、存储介质及终端
CN115393868A (zh) 文本检测方法、装置、电子设备和存储介质
CN111027670B (zh) 特征图处理方法、装置、电子设备及存储介质
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant