CN112598012B - 神经网络模型中数据处理方法、存储介质和电子装置 - Google Patents

神经网络模型中数据处理方法、存储介质和电子装置 Download PDF

Info

Publication number
CN112598012B
CN112598012B CN202011541149.2A CN202011541149A CN112598012B CN 112598012 B CN112598012 B CN 112598012B CN 202011541149 A CN202011541149 A CN 202011541149A CN 112598012 B CN112598012 B CN 112598012B
Authority
CN
China
Prior art keywords
convolution
input
layer
weight parameters
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011541149.2A
Other languages
English (en)
Other versions
CN112598012A (zh
Inventor
黄高
浦一凡
韩益增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011541149.2A priority Critical patent/CN112598012B/zh
Publication of CN112598012A publication Critical patent/CN112598012A/zh
Application granted granted Critical
Publication of CN112598012B publication Critical patent/CN112598012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种神经网络模型中数据处理方法、存储介质和电子装置，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。

Description

神经网络模型中数据处理方法、存储介质和电子装置
技术领域
本申请实施例涉及属于机器学习中的神经网络领域，尤指一种神经网络模型中数据处理方法、存储介质和电子装置。
背景技术
图像分类问题在计算机视觉中是一个十分基础且重要的问题。它构成了图像定位、目标检测、图像分割和其他计算机视觉任务的基础。目前先进的图像分类问题解决方法几乎都采用了机器学习的方法。使用传统的机器学习方法解决图像分类问题一般分为两步。第一步是使用特征描述符提取图像的特征，第二步是将图像的特征输入到一个可训练的分类器中并加以训练。这种方法的主要劣势是图像分类任务的准确性很大程度上取决于特征提取阶段特征描述符的设计，而特征提取任务往往是一项艰巨的任务。
近些年来，多层神经网络模型将特征提取和特征分类两个阶段的任务融合成为了一个任务，克服了传统方法的缺点。其中，卷积神经网络在图像分类、目标检测等任务上的性能尤为领先。
理解图片样本中物体的大小、姿势等几何形态是计算机视觉的一大挑战。对于卷积神经网络来说，由于其结构的限制，模型对于输入样本的几何形态缺乏充分的理解。局部的最大池化方法为卷积层的输入增加了一定程度的空间不变特性。然而最大池化只能对输入特征图很小的一部分做池化，为了达到空间不变性需要通过一个较深的卷积神经网络才能实现，而且这个较深的卷积神经网络的中间层特征也不具备空间不变的特性。2015年，谷歌DeepMind团队提出了空间变换网络，将输入每一张图片的空间姿势分别做了一个解构，然后将解构完(即空间变换完)的校正好的图像作为神经网络的输入，来进行分类或是识别。这个动态结构方式，相较于最大池化来说，对每一个输入样本更加个性化，而且在输入神经网络前就已解构完毕。
数据集的规模和模型的参数量是耦合的。当用于训练的数据集达到很大规模时，提高模型的参数量可以使它更好地进行推理与预测。分情况计算是在可以不显著提升计算消耗的情况下提升模型的参数量的一种方法，该方法可以通过较浅的嵌入层来将上百个专家进行组合的方法，自适应地在每一个卷积层将各个通道的特征进行了稀疏化和再校准，提升了模型的表示性能。
相关技术中又提出了能够高效推理的分情况赋予参数的卷积核，通过一个简单的路径函数，对卷积层中的多个专家进行加权，从而形成新的卷积核，来对不同的输入样本进行自适应计算。在采用该方式时，神经网络模型的鲁棒性有待提高。
发明内容
为了解决上述任一技术问题，本申请实施例提供了一种神经网络模型中数据处理方法、存储介质和电子装置。
为了达到本申请实施例目的，本申请实施例提供了一种神经网络模型中数据处理方法，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：
将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；
利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；
根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；
将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。
一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文所述的方法。
一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文所述的方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：
在分情况赋予参数的卷积核的基础上，在卷积核层面引入了旋转维度，提取输入特征图中多个角度的空间特征，动态地为不同的输入特征图调整卷积权重，实现了对图片样本中的旋转畸变具有鲁棒性的卷积神经网络模型。
本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。
图1为本申请实施例提供的神经网络模型中数据处理方法的流程图；
图2为本申请实施例提供的多专家混合旋转卷积层的处理示意图；
图3为本申请实施例提供的寻径函数的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。
图1为本申请实施例提供的神经网络模型中数据处理方法的流程图。如图1所示，所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：
步骤101、将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；
步骤102、利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；
步骤103、根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；
步骤104、将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图。
本申请实施例提供的方法，在分情况赋予参数的卷积核的基础上，在卷积核层面引入了旋转维度，提取输入特征图中多个角度的空间特征，动态地为不同的输入特征图调整卷积权重，实现了对图片样本中的旋转畸变具有鲁棒性的卷积神经网络模型。
下面对本申请实施例提供的方法进行说明：
在一个示例性实施例中，所述方法还包括：
在将卷积层的输入特征图通过预设的寻径函数进行处理时，还获取E个专家对所述输入特征图的重要程度特征；
在获取所述输入特征图的目标卷积权重参数时，根据每个专家在所述输入特征图对应的重要程度特征，执行加权求和操作。
利用原始的输入特征图，输入到一个寻径函数中，以得到对于每一个样本个性化的权重参数和旋转角度参数。同时，在一个卷积层中定义多组卷积权重参数。之后，利用个性化的权重参数和旋转角度参数，来对卷积层中的多组卷积权重参数进行空间变换和加权求和，以作为最后用来做卷积运算的参数。最后，用处理过的卷积权重参数与输入特征图做卷积运算，以得到该层的输出特征图。
本申请实施例提供的方法对标准的二维卷积运算做了有效的改进，通过提取输入特征图中多个角度的空间特征，动态地为不同的输入特征图调整卷积权重，在只增加了极少的计算量的同时，显著的提升了神经网络的分类性能。本方法可以在边缘设备上广泛进行应用，在提高模型鲁棒性的同时，能够高效地进行模型推理。
在一个示例性实施例中，每组卷积权重参数Wi均是一个四维张量，其中所述四维张量的各个维度的长度分别为Cout、Cin、K以及K；
其中，Cout为所述卷积层的输出通道数，Cin为所述卷积层的输入通道数，K为卷积核尺寸。
在上述示例性实施例中，卷积层中的专家数量
Figure BDA0002854910940000051
并在卷积层中定义E组卷积权重参数。其中，卷积层所包含的权重参数值可以表示为如下E行1列的分块矩阵，具体如下：。
Figure BDA0002854910940000052
其中每一组卷积权重参数Wi都是一个四维张量，i＝1,2,3……,E。
在一个示例性实施例中，所述将卷积层的输入特征图通过预设的寻径函数进行处理，包括：
对所述输入特征图Xraw做全局平均池化，得到降维后的特征Xavg，其中，
Figure BDA0002854910940000053
其中B表示每批输入特征图对应的“批”维度的长度，C表示样本通道数，H表示图像的高度，W表示图像的宽度，其中B、C、H和W均为大于等于2的正整数；
压缩掉降维后的特征Xavg中的无用维度，得到新的特征X′avg，其中
Figure BDA0002854910940000054
将新的特征X′avg输入到第一全连接层，得到E个专家对所述输入特征图的重要程度特征α，其中
Figure BDA0002854910940000055
其中所述第一全连接层的输入维度是新的特征X′avg的通道数C，输出维度是卷积层中的专家数量E；
将新的特征X′avg输入到第二全连接层，并乘上比例系数P，得到空间特征θ，其中
Figure BDA0002854910940000056
其中所述第二全连接层的输入维度是新的特征Xavg的通道数C，输出维度是卷积层中的专家数量E。
采用上述流程可以由寻径函数得到重要程度特征和空间特征。
在一个示例性实施例中，所述第一全连接层使用sigmoid激活函数来控制输出张量中的每个数值都在0到1之间，保证输出张量中的每个数值都在0到1之间以方便加权求和。
在一个示例性实施例中，所述第二全连接层使用tanh激活函数，在经过所述tanh激活函数处理后，将处理后的输出数据与比例系数P相乘，使得输出张量中的每个数值都在-P到P之间。
使用tanh激活函数，可以在适应输入样本中的旋转畸变同时存在顺时针和逆时针的现象，保证输出的数据有正有负。
在一个示例性实施例中，其特征在于，所述输入特征图的目标卷积权重参数是通过如下方式得到的，包括：
将卷积层中的E组卷积权重参数，按照空间特征θ中的E个数值进行旋转，得到了经过旋转的E组卷积权重参数，其中，正数表示逆时针旋转，负数表示顺时针旋转，再将经过旋转的E组卷积权重参数，按照重要性程度特征α进行加权求和，得到加权后的卷积权重参数W。
将寻径函数处理得到的输出结果进行空间变换和线性组合，得到了对于每一组输入特征图个性化的卷积核权重。
在一个示例性实施例中，所述输入特征图的目标卷积权重参数是通过如下方式得到的，包括：
为空间特征θ中的每个元素分别生成一个旋转矩阵；
将B×E个矩阵分别与重要程度矩阵α中对应位置的权重相乘，得到B行E列的分块矩阵；
将B行E列的分块矩阵与预先获取的卷积权重参数矩阵，得到目标卷积权重参数。
基于上述矩阵进行计算，可以有效控制计算量，达到在略微增加计算量且不增加神经网络的宽度的情况下，显著提升模型的性能。
下面对本申请实施例提供的方法进行说明：
本申请实施例提供多专家混合旋转卷积模块的，能够对图片样本中的旋转畸变具有鲁棒性，能够提升模型泛化性能。
通过对不同的输入样本自适应地提取多个角度的空间特征，用多专家混合旋转卷积模块替代神经网络中的标准卷积模块，能够在略微增加计算量且不增加神经网络的宽度的情况下，显著提升模型的性能。
图2为本申请实施例提供的多专家混合旋转卷积层的处理示意图。如图2所示，该方法的实现流程包括：
由于在常用的机器学习框架中，处理图片都是一批一批进行处理的，所以在实际进行运算时，输入样本都会带有“批”这个维度。我们将“批”这个维度的长度设为
Figure BDA0002854910940000071
1)设定卷积层中的专家数量
Figure BDA0002854910940000072
并在卷积层中定义E组卷积权重参数。其中每一组卷积权重参数Wi都是一个四维张量。这个张量的各个维度的长度分别为Cout,Cin,K,K。其中Cout为此卷积层的输出通道数，Cin为此卷积层的输入通道数，K为卷积核尺寸。那么这个卷积层所包含的权重参数值可以表示为如下E行1列的分块矩阵
Figure BDA0002854910940000073
2)定义寻径函数，并将原始图像数据输入寻径函数。寻径函数的简要示意图如图3所示。
2-1)首先对原始图像数据
Figure BDA0002854910940000074
做全局平均池化，得到降维后的特征
Figure BDA0002854910940000075
2-2)压缩掉降维后的特征中的无用维度，得到新的
Figure BDA0002854910940000076
2-3)将Xavg输入到一个全连接层，得到
Figure BDA0002854910940000077
这个全连接层的输入维度是Xavg的通道数C，输出维度是此模块中的专家数量E，并使用sigmoid激活函数来保证输出张量中的每个数值都在0到1之间以方便加权求和。在训练过程中，还在此层中引入了Dropout策略。
2-4)将Xavg输入到另一个全连接层，并乘上比例系数
Figure BDA0002854910940000079
得到
Figure BDA0002854910940000078
这个全连接层的输入维度是Xavg的通道数C，输出维度是此模块中的专家数量E。为了让输出的数据有正有负，以适应输入样本中的旋转畸变同时存在顺时针和逆时针的现象，在这个全连接层后使用了tanh激活函数。在tanh激活函数后，将激活函数层的输出乘上比例系数P，使得输出张量中的每个数值都在-P到P之间。
3)将卷积层中的多组参数，按照寻径函数的输出，分别进行旋转和加权。
3-1)用θ中的每个元素分别生成一个9×9的旋转矩阵。将B×E个矩阵分别乘上α中对应位置的权重，得到B行、E列的分块矩阵如下。
Figure BDA0002854910940000081
其中每一个子块都是一个矩阵。
3-2)每一个子块都是一个旋转矩阵与一个权重标量的乘积。每个子块与一组权重进行矩阵相乘，便代表着将权重做对应角度的旋转后，乘以了一个权重。
3-3)进行矩阵乘法
Figure BDA0002854910940000082
便实现了对B个不同样本所需要的卷积运算权重参数的计算。
4)将原始图像数据Xraw压缩掉第一个维度，并与W″进行分组数为B的分组卷积。运算完成后，再按照通道还原出维度B，即完成了一次多专家混合旋转卷积的运算。
本申请实施例提供的多专家混合旋转卷积模块的性能分析如下，包括：
所有实验均以PyTorch 1.4为实验平台，计算机性能参数为：Intel(R)Xeon(R)E5-2680 v4@2.40GHz，所使用显卡为Nvidia GeForce RTX 2080Ti。
有效性验证通过测试在ResNet中的普通卷积层替换为多专家混合旋转卷积层后模型分类准确率的提升，来检验模型的泛化能力。为了避免CIFAR100数据集训练结果的方差较大带来的影响，在实验中使用了CIFAR10数据集。在实验参数设定上，训练了300轮，批大小为64，学习率为0.1，并按照余弦规律衰减。
首先，将ResNet20的最后1个卷积层用多专家混合旋转卷积层替换，测试的结果如表1所示。表1中专家数为1的实验表示标准ResNet20的实验结果。我们分别设定多专家混合旋转卷积层中的专家数E为4、8、16，并通过设置合适的超参数P来限制旋转角度范围。
专家数量 角度范围 Top-1准确率 与基准对比
1 N/A 92.889 N/A
4 (-7,7) 93.106 +0.217
8 (-5,5) 93.390 +0.501
16 (-5,5) 93.183 +0.294
表1
从实验结果上看，相较于标准的ResNet，模型的性能提升了0.2到0.5个百分点。上述结果表明，用本申请实施例提供的多专家混合旋转卷积层来替换普通的卷积层，可以带来明显的神经网络性能提升。
接着，将ResNet20的最后3个卷积层用多专家混合旋转卷积层替换，测试的结果如表2所示。
专家数量 角度范围 Top-1准确率 与基准对比
1 N/A 92.889 N/A
4 (-5,5) 93.411 +0.522
8 (-1,1) 93.435 +0.546
16 (-5,5) 93.593 +0.704
表2
其中，表2中的专家数含义与表1中的相同。
从实验结果上看，相较于标准的ResNet，模型的性能提升了0.5到0.7个百分点。上述结果表明，用本申请实施例提供的多专家混合旋转卷积层来替换普通的卷积层的层数越多，神经网络性能提升就越明显。
本申请实施例提供的方法，继承了分情况计算和空间变换网络的优点，还具有如下的优势，包括
1)相较于相关技术中的卷积层，本申请实施例提供的多专家混合旋转卷积层能够对每个样本进行自适应计算，使得网络能够动态化地对不同的输入样本进行卷积运算；
2)根据输入样本的空间特征来自适应地对卷积层中的多组参数进行旋转，能够动态地提取输入样本中多个角度的空间特征；
3)在增大模型容量的同时，只增加了很少的计算量。与二维卷积运算相比，本模块中加入极窄的单层全连接网络、旋转操作、求和操作都只需要很小的计算量；另外，由于卷积层中的多组参数最后加权求和成为了一组参数，所以在计算量最大的二维卷积运算层面，没有增加额外的计算量；
4)能够提升神经网络的分类性能；在实验中，仅将ResNet中的部分普通卷积层替换成多专家混合旋转卷积模块，即可以将模型的性能提升高至0.7个百分点。
本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上文任一项中所述的方法。
本申请实施例提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上文任一项中所述的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (9)

1.一种神经网络模型中数据处理方法，其中所述神经网络模型的卷积层采用分情况赋予参数的卷积核，所述方法包括：
将卷积层的输入特征图通过预设的寻径函数进行处理，得到所述输入特征图在预设的旋转维度上的空间特征；
利用所述空间特征对所述卷积层中的E组卷积权重参数进行空间变换，得到空间变换后的卷积权重参数，其中E为大于等于2的整数；
根据所述空间变换后的E组卷积权重参数，获取所述输入特征图的目标卷积权重参数；
将所述目标卷积权重参数与所述输入特征图执行卷积运算，得到所述卷积层的输出特征图；
其中，所述将卷积层的输入特征图通过预设的寻径函数进行处理，包括：
对所述输入特征图Xraw做全局平均池化，得到降维后的特征Xavg，其中，
Figure FDA0003884434830000011
其中B表示每批输入特征图对应的“批”维度的长度，C表示样本通道数，H表示图像的高度，W表示图像的宽度，其中B、C、H和W均为大于等于1的正整数；
压缩掉降维后的特征Xavg中的无用维度，得到新的特征X′avg，其中
Figure FDA0003884434830000012
将新的特征X′avg输入到第一全连接层，得到E个专家对所述输入特征图的重要程度特征α，其中
Figure FDA0003884434830000013
其中所述第一全连接层的输入维度是新的特征X′avg的通道数C，输出维度是卷积层中的专家数量E；
将新的特征X′avg输入到第二全连接层，并乘上比例系数P，得到空间特征θ，其中
Figure FDA0003884434830000014
其中所述第二全连接层的输入维度是新的特征Xavg的通道数C，输出维度是卷积层中的专家数量E。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在将卷积层的输入特征图通过预设的寻径函数进行处理时，还获取E个专家对所述输入特征图的重要程度特征；
在获取所述输入特征图的目标卷积权重参数时，根据每个专家在所述输入特征图对应的重要程度特征，执行加权求和操作。
3.根据权利要求1或2所述的方法，其特征在于，每组卷积权重参数Wi均是一个四维张量，其中所述四维张量的各个维度的长度分别为Cout、Cin、K以及K；
其中，Cout为所述卷积层的输出通道数，Cin为所述卷积层的输入通道数，K为卷积核尺寸。
4.根据权利要求1所述的方法，其特征在于，所述第一全连接层使用sigmoid激活函数来控制输出张量中的每个数值都在0到1之间。
5.根据权利要求1所述的方法，其特征在于，所述第二全连接层使用tanh激活函数，在经过所述tanh激活函数处理后，将处理后的输出数据与比例系数P相乘，使得输出张量中的每个数值都在-P到P之间。
6.根据权利要求1、2、4或5所述的方法，其特征在于，所述输入特征图的目标卷积权重参数是通过如下方式得到的，包括：
将卷积层中的E组卷积权重参数，按照空间特征θ中的E个数值进行旋转，得到了经过旋转的E组卷积权重参数，其中，正数表示逆时针旋转，负数表示顺时针旋转，再将经过旋转的E组卷积权重参数，按照重要性程度特征α进行加权求和，得到加权后的卷积权重参数W。
7.根据权利要求6所述的方法，其特征在于，所述输入特征图的目标卷积权重参数是通过如下方式得到的，包括：
为空间特征θ中的每个元素分别生成一个旋转矩阵；
将B×E个矩阵分别与重要程度矩阵α中对应位置的权重相乘，得到B行E列的分块矩阵；
将B行E列的分块矩阵与预先生成的卷积权重参数矩阵相乘，得到目标卷积权重参数。
8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
CN202011541149.2A 2020-12-23 2020-12-23 神经网络模型中数据处理方法、存储介质和电子装置 Active CN112598012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011541149.2A CN112598012B (zh) 2020-12-23 2020-12-23 神经网络模型中数据处理方法、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011541149.2A CN112598012B (zh) 2020-12-23 2020-12-23 神经网络模型中数据处理方法、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN112598012A CN112598012A (zh) 2021-04-02
CN112598012B true CN112598012B (zh) 2022-12-02

Family

ID=75200445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011541149.2A Active CN112598012B (zh) 2020-12-23 2020-12-23 神经网络模型中数据处理方法、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN112598012B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592041B (zh) * 2021-09-29 2022-01-21 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及计算机程序产品
CN114300142B (zh) * 2021-12-17 2024-07-12 广州瑞多思医疗科技有限公司 适用于深度学习剂量计算的数据预处理方法及设备
CN117574136B (zh) * 2024-01-16 2024-05-10 浙江大学海南研究院 一种基于多元高斯函数空间变换的卷积神经网络计算方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
CN111738403A (zh) * 2020-04-26 2020-10-02 华为技术有限公司 一种神经网络的优化方法及相关设备
CN111797970A (zh) * 2019-12-24 2020-10-20 华为技术有限公司 训练神经网络的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3032188A1 (en) * 2018-01-31 2019-07-31 Pin-Han Ho Deep convolutional neural network architecture and system and method for building the deep convolutional neural network architecture
US10891537B2 (en) * 2019-03-20 2021-01-12 Huawei Technologies Co., Ltd. Convolutional neural network-based image processing method and image processing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
CN111797970A (zh) * 2019-12-24 2020-10-20 华为技术有限公司 训练神经网络的方法和装置
CN111738403A (zh) * 2020-04-26 2020-10-02 华为技术有限公司 一种神经网络的优化方法及相关设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Condconv：Conditionally Parameterized Convolutions for Efficient Inference;Brandon Yang等;《Proceedings of the 33rd International Conference on Neural Information Processing Systems》;20191231;第1307–1318页 *
NullHop：A Flexible Convolutional Neural Network Accelerator Based on Sparse Representations of Feature Maps;Alessandro Aimar等;《arXiv:1706.01406v2 [cs.CV]》;20180306;第1-13页 *
SC-DCNN：Highly-Scalable Deep Convolutional Neural Network using Stochastic Computing;Ao Ren等;《ACM SIGPLAN Notices》;20170404;第52卷(第4期);第405–418页 *
卷积神经网络模型压缩在图像分类中的应用;叶子等;《北京信息科技大学学报(自然科学版)》;20180615(第03期);第52-56页 *
基于卷积神经网络的图像分类算法综述;杨真真等;《Journal of Signal Processing》;20181231;第34卷(第12期);第1474-1489页 *
基于改进的多通道卷积神经网络模型的图像分类方法;周衍挺;《佳木斯大学学报(自然科学版)》;20191115;第37卷(第06期);第1001-1005页 *

Also Published As

Publication number Publication date
CN112598012A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112598012B (zh) 神经网络模型中数据处理方法、存储介质和电子装置
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
US20190354844A1 (en) Implementing Traditional Computer Vision Algorithms as Neural Networks
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN111340077A (zh) 基于注意力机制的视差图获取方法和装置
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN109325530B (zh) 一种图像分类方法、存储装置和处理装置
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN110097530B (zh) 基于超像素聚类与联合低秩表示的多聚焦图像融合方法
CN115661163A (zh) 基于泛化特征和区域建议损失函数的小样本分割方法
CN116091823A (zh) 一种基于快速分组残差模块的单特征无锚框目标检测方法
US20180114109A1 (en) Deep convolutional neural networks with squashed filters
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN113963236A (zh) 目标检测方法及装置
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN115760641B (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN112418388A (zh) 一种实现深度卷积神经网络处理的方法及装置
Tuliabaeva et al. On the recognition of weakly blurred, highly contrasting objects by neural networks
CN116310308A (zh) 图像分割方法、装置、计算机设备和存储介质
CN113642452A (zh) 人体图像质量评价方法、装置、系统及存储介质
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN112613574A (zh) 一种图像分类模型的训练方法、图像分类方法和装置
CN115311215B (zh) 一种高速高精度的六面体检测系统、方法和存储介质
CN110751162A (zh) 一种图像识别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant