CN110852348A - 特征图处理方法、图像处理方法及装置 - Google Patents

特征图处理方法、图像处理方法及装置 Download PDF

Info

Publication number
CN110852348A
CN110852348A CN201910993001.3A CN201910993001A CN110852348A CN 110852348 A CN110852348 A CN 110852348A CN 201910993001 A CN201910993001 A CN 201910993001A CN 110852348 A CN110852348 A CN 110852348A
Authority
CN
China
Prior art keywords
parameters
layer
parameter
individual
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910993001.3A
Other languages
English (en)
Other versions
CN110852348B (zh
Inventor
马宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910993001.3A priority Critical patent/CN110852348B/zh
Publication of CN110852348A publication Critical patent/CN110852348A/zh
Application granted granted Critical
Publication of CN110852348B publication Critical patent/CN110852348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了特征图处理方法、图像处理方法及装置。其中特征图处理方法包括:获取次级特征图;基于次级特征图,通过池化得到个性参数;基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数;基于个性指导参数,调整对应的每个卷积层的权重,得到每个卷积层对应的个性权重;基于次级特征图,通过具有个性权重的每个卷积层,得到高级特征图。本公开通过设置与卷积神经网络对应的参数神经网络,针对输入的不同特征图并利用层级之间的联系,生成不同的个性权重,每个特征图通过根据各自特点生成的个性权重进行特征提取,从而提高了结果的精度。

Description

特征图处理方法、图像处理方法及装置
技术领域
本公开一般地涉及图像识别领域,具体涉及一种特征图处理方法、图像处理方法及装置。
背景技术
随着计算机技术的发展,越来越多的场景需要通过计算机技术来进行如目标检测、目标识别等图像处理工作。其中卷积神经网络(CNN)模型是现代深度视觉识别系统的核心。卷积神经网络的形式一般是Y=comv(X,W),其中X是输入特征,Y是输出特征,W是权重。通过神经网络反向传播、梯度更新等算法,更新权重的值,神经网络的训练也即对权重的更新。
而通过完成对一个神经网络的训练,所有的数据将这个训练好的网络的权重,也即所有数据共享这套权重;然而,所有数据虽然都有共性,可以公用一个权重,但数据还有各自的特点,仅用一个权重会导致输出特征的不准确。
发明内容
为了解决现有技术中存在的上述问题,本公开的第一方面特征图处理方法,其中,方法包括:获取次级特征图;基于次级特征图,通过池化得到个性参数;基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数;基于个性指导参数,调整对应的每个卷积层的权重,得到每个卷积层对应的个性权重;基于次级特征图,通过具有个性权重的每个卷积层,得到高级特征图。
在一例中,基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,还包括:根据卷积层的类型,设置对应的参数调整层;根据卷积层的顺序,依次连接参数调整层得到参数神经网络。
在一例中,根据卷积层的顺序,依次连接参数调整层得到参数神经网络,包括:根据M层卷积层的顺序,依次连接第1参数调整层至第M参数调整层,M为大于1的自然数;基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:第m参数调整层根据输入参数,得到对应卷积层的个性指导参数,且,当m=1时,第1参数调整层的输入参数为个性参数,当m>1时,第m参数调整层的输入参数根据第m-1参数调整层的个性指导参数得到,其中m为自然数且m≤M。
在一例中,根据卷积层的类型,设置对应的参数调整层,包括:若卷积层为点卷积层,则设置对应的点卷积参数调整层;基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:根据点卷积参数调整层的输入参数,通过点卷积参数调整层,得到点卷积层的含有次级特征图信息的个性指导参数。
在一例中,根据卷积层的类型,设置对应的参数调整层,包括:若卷积层为深度可分离卷积层,则设置对应的深度可分离卷积参数调整层;基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:根据深度可分离参数调整层的输入参数,通过深度可分离卷积参数调整层,得到深度可分离卷积层的含有次级特征图信息的个性指导参数。
在一例中,基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,还包括:通过对输入参数进行矩阵变化,经激活函数进行非线性变换,得到个性指导参数。
在一例中,其中,池化为全局平均池化。
本公开的第二方面提供一种图像处理方法,包括:获取图像;根据权利要求1-7任一项的特征图处理方法,提取图像的图像特征;根据图像特征进行图像识别。
本公开的第三方面提供一种特征图处理装置,装置包括:获取特征图模块,用于获取次级特征图;参数生成模块,用于基于次级特征图,通过池化得到个性参数;参数调整模块,用于基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数;权重调整模块,用于基于个性指导参数,调整对应的每个卷积层的权重,得到每个卷积层对应的个性权重;特征提取模块,基于次级特征图,通过具有个性权重的每个卷积层,得到高级特征图。
本公开的第四方面提供一种图像处理装置,图像处理装置包括:图像获取模块,用于获取图像;特征提取模块,用于根据第一方面的特征图处理方法,提取图像的图像特征;图像识别模块,用于根据图像特征进行图像识别。
本公开的第五方面提供一种电子设备,包括:存储器,用于存储指令;以及处理器,用于调用存储器存储的指令执行第一方面的特征图处理方法或第二方面的图像处理方法。
本公开的第六方面提供一种计算机可读存储介质,其中存储有指令,指令被处理器执行时,执行如第一方面的特征图处理方法或如第二方面的图像处理方法。
本公开提供的特征图处理方法、图像处理方法及装置通过设置与卷积神经网络对应的参数神经网络,针对输入的不同特征图并利用层级之间的联系,生成不同的个性权重,每个特征图通过根据各自特点生成的个性权重进行特征提取,从而提高了结果的精度。
附图说明
通过参考附图阅读下文的详细描述,本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示出了根据本公开一实施例特征图处理方法的流程示意图;
图2示出了根据本公开一实施例的参数神经网络架构示意图;
图3示出了根据本公开一实施例图像处理方法的流程示意图;
图4示出了根据本公开一实施例特征图处理装置的示意图;
图5示出了根据本公开一实施例图像处理装置的示意图;
图6是本公开实施例提供的一种电子设备示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。
需要注意,虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等,但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分,而并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全可以互换使用。
随着计算机技术的发展和计算机视觉原理的广泛应用,利用计算机图像处理技术对图像中的目标进行检测、追踪、识别越来越热门,对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值;而对目标的识别也在各个领域起到了举足轻重的作用。卷积神经网络是上述技术的核心,其对特征提取的准确性很大程度上决定了图像处理工作的准确性。
为了提高卷积神经网络输出结果的准确性,图1示出了本公开实施例提供的一种特征图处理方法10,步骤S11至步骤S15。其中,本公开的特征图处理方法10可以应用于卷积神经网络中的包括多个卷积层的卷积单元(block),并且卷积神经网络中的每一个卷积单元均可以分别采用本公开提供的特征图处理方法10,同时在另一些实施例中,也可以应用于卷积神经网络的多层或全部卷积层。下面对上述步骤进行详细说明。
步骤S11,获取次级特征图。
其中,本公开中的特征图(feature map),可以是输入神经网络的原始图,而更多情况可以是原始图像经过神经网络处理后的中间结果。当步骤S11应用于一个完整的神经网络,或位于神经网络最靠近输入的卷积单元时,获取的次级特征图可以是原始图,而当步骤S11用于神经网络中间的卷积单元时获取的次级特征图也可以是经过其他卷积层操作的特征图。同时次级特征图在不同情况下可以是具有不同的批次大小(batch size)和不同通道数量(channel)。
在一例中,在应用神经网络模型进行特征提取时,每次仅有一张图片被送入模型,因此批次大小n=1;在另一例中,在对神经网络模型进行训练时,批次大小n为输入的特征图的数量,可以是大于等于1的正整数。
S12,基于次级特征图,通过池化得到个性参数。
通过对特征图进行池化,得到能够体现每个特征图特点的的个性参数。其中,池化可以是全局池化(Global Pooling),而在一例中,池化可以为全局平均池化(GlobalAverage Pooling),从而得到能够带有次级特征图特点的个性参数Xgap,由于通过全局平均池化得到,根据次级特征图的批次大小n以及通道数量c,Xgap的可以通过(n,c)的矩阵形式表达。
S13,基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数。
根据能够代表次级特征图特点的个性参数,针对卷积神经网络中的全部或部分卷积层,通过一个参数神经网络得到上述每个卷积层一一对应的个性指导参数,其中,由于个性指导参数是基于个性参数得到的,因此能够体现特征图自身的特点。
在一例中,步骤13还包括:还包括:根据卷积层的类型,设置对应的参数调整层;根据卷积层的顺序,依次连接所述参数调整层得到所述参数神经网络。参数神经网络与针对的卷积层对应的设置,根据不同的卷积层类型,建立相应的参数调整层,对不同卷积层权重通过相应的方式生成用于调整权重的个性指导参数,并且,与卷积层各层对应的参数调整层,也按照对应卷积层的顺序依次连接,形成参数神经网络。从而,能够在代表特征图自身特征的个性参数基础上,通过多层参数建立联系,生成具有特征图自身特征以及各层联系特征的个性指导参数,能够表达更深层次的信息,提高特征提取的准确率。
在又一例中,针对M层卷积层,根据卷积层的顺序,相应设置M层参数调整层,依次连接第1参数调整层至第M参数调整层,其中M为大于1的自然数;每个第m参数调整层根据输入参数,得到对应卷积层的个性指导参数,其中,当m=1时,即对于与直接输入次级特征图的卷积层对应的第1参数调整层,输入的输入参数即为个性参数,而当m>1时,即对于之后的第m参数调整层均根据其之前的第m-1参数调整层输出的个性指导参数得到输入参数,其中,m为自然数且m≤M。第一个参数调整层的输入参数即为个性参数,并且其后每一参数调整层的输入均是基于前一层的输出,从而保证了次级特征图的信息在各层的个性指导参数中均有表达;同时,由于第一个参数调整层后每一参数调整层的输入均是基于前一层的输出,使得各层的参数建立联系,能够表达更深层次的信息,提高特征提取的准确率。
在又一例中,若卷积层为点卷积层(pointwise convolution layer),则设置对应的参数调整层为点卷积参数调整层;根据点卷积参数调整层的输入参数,通过所述点卷积参数调整层,得到点卷积层的含有次级特征图信息的个性指导参数。
其中,点卷积层是通过逐点卷积的方式对特征图进行特征提取,其主要参数为输入的通道数量以及输出的通道数量,本公开点卷积层的参数通过矩阵可以表达为(c”,c’),其中c”为点卷积层的输出通道数量,c’为点卷积层的输入通道数量;对应的点卷积参数调整层,可以具有两个矩阵层(MatMul layer),其中矩阵参数形状分别为(c’,c)和(c”,c),通过两个矩阵层分别对输入参数进行矩阵乘,其中输入参数可以通过矩阵表达为(n,c),其中n和c的代表意义与前文所述的个性参数Xgap的(n,c)含义一致;因此通过两个矩阵层得到个性指导参数,包括输入通道指导参数Wc’和输出通道指导参数Wc”,分别矩阵表达为(n,c’)和(n,c”)。以图像处理为例,可见,根据次级特征图的批次大小(batch size),得到与每个批次中每张图像一一对应的个性指导参数,换句话说,每个个性指导参数中均含有对应的一个批次中每个图像的次级特征图的信息,不同的次级特征图对应得到与自身特点相应的个性指导参数,在基于该个性指导参数调整每个卷积层的参数,得到的每个次级特征图对应的个性权重,因此能过提高特征提取的准确率。
同时,在上述实施例中,其中的输入通道指导参数Wc’(n,c’),可以作为下一参数调整层的输入参数,从而能够保证个性指导参数不仅体现次级特征图的特点,还能够表达将各层之间的关系,使得仅需一次池化且能够建立多层之间的联系,高效、方便的通过个性指导参数进行权重调节。
在另一例中,若卷积层为深度可分离卷积层(depthwise convolution layer),则设置对应的参数调整层为深度可分离卷积参数调整层;根据深度可分离卷积参数调整层的输入参数,通过深度可分离卷积参数调整层,得到深度可分离卷积层的含有次级特征图信息的个性指导参数。
其中,深度可分离卷积层是通过卷积核(convolution kernel)对特征图进行特征提取,其主要参数为输入的通道数量c’以及卷积核的大小(k,k),本公开深度可分离卷积层的参数通过矩阵可以表达为(c’,k,k);对应的深度可分离卷积参数调整层,可以具有一个矩阵层,其中矩阵参数为(c’,c),通过矩阵层对输入参数进行矩阵乘,其中输入参数可以通过矩阵表达为(n,c),其中n和c的代表意义与前文所述的个性参数Xgap的(n,c)含义一致;因此通过矩阵层得到个性指导参数,矩阵表达为(n,c’)。同前述实施例以图像处理为例,根据次级特征图的批次大小(batch size),得到与每个批次中每张图像一一对应的个性指导参数,即,每个个性指导参数中均含有对应的一个批次中每个图像的次级特征图的信息,不同的次级特征图对应得到与自身特点相应的个性指导参数,在基于该个性指导参数调整每个卷积层的参数,得到的每个次级特征图对应的个性权重,因此能过提高特征提取的准确率。
同时,在上述实施例中,其个性指导参数(n,c’),即作为下一参数调整层的输入参数。
在一例中,步骤13还包括:通过对输入参数进行矩阵变化,经激活函数进行非线性变换,得到个性指导参数。其中激活函数可以是sigmoid非线性函数。
步骤14,基于个性指导参数,调整对应的每个卷积层的权重,得到每个卷积层对应的个性权重。
通过含有次级特征图信息的的个性指导参数,对原卷积层的权重进行调整,从而得到针对输入的不同次级特征图个性化的个性权重,而卷积层通过个性权重进行特征提取能够得到更准确的结果。
在一例中,对于点卷积层的原权重Wpw通过矩阵可以表达为(c”,c’),通过与对应的点卷积参数调整层得到的个性调整参数相乘得到个性权重,具体而言,个性调整参数为输入通道指导参数Wc’(n,c’)和输出通道指导参数Wc”(n,c”)。Wc’、Wc”、Wpw三者相乘,可以先对矩阵分别增加维度变为(n,1,c’)(n,c”,1)(1,c”,c’)再相乘得到(n,c”,c’),即得到调整后的个性权重。其中,n代表批次大小(batch size),也就是每个批次里面包含的图像数量,经过上述操作形成的个性权重,就是以每个图像为单位,n个图像对应n个不同的卷积参数,同时,根据前述实施例可知,输入通道指导参数Wc’(n,c’)和输出通道指导参数Wc”(n,c”)均含有对应的一个批次中每个图像的次级特征图的信息,由此可见,得到的n个图像对应n个卷积参数分别带有对应的个性化信息,在点卷积层进行特征提取时,对每个图像都通过其对应的卷积参数进行特征提取,从而得到更加准确的结果。
在另一例中,对于深度可分离卷积层的原权重Wdw通过矩阵可以表达为(c’,k,k),通过对应的深度可分离卷积参数调整层得到的个性调整参数(n,c’),两者相乘得到调整后的个性权重(n,c’,k,k)。与前一例相同,n代表批次大小(batch size),也就是每个批次里面包含的图像数量,经过上述操作形成的个性权重,就是以每个图像为单位,n个图像对应n个不同的卷积参数,同时,根据前述实施例可知,个性调整参数(n,c’)含有对应的一个批次中每个图像的次级特征图的信息,由此可见,得到的n个图像对应n个卷积参数分别带有对应的个性化信息,在深度可分离卷积层进行特征提取时,对每个图像都通过其对应的卷积参数进行特征提取,从而得到更加准确的结果。
步骤15,基于次级特征图,通过具有个性权重的每个卷积层,得到高级特征图。
基于输入的次级特征图,以及根据该次级特征图生成的每个卷积层的个性权重,通过卷积层的特征提取,得到高级特征图。
通过本公开提供的上述任一实施例,根据每个特征图各自的特点,生成个性指导参数,并且通过参数神经网络将各层的个性指导参数建立联系,通过个性指导参数对权重进行调整,使权重加入每个特征图各自的特征以及各层关联特征,在个在此基础上再进行特征提取时,能够提高特征提取的精度。
图2以shufflenetv2卷积单元为例,示例性的示出了一种针对shufflenetv2卷积单元建立的参数神经网络架构示意图,如图2所示,shufflenetv2卷积单元包括依次连接的第一点卷积层(pointwise convolution layer)、深度可分离卷积层(depthwiseconvolution layer)、第二点卷积层,输入次级特征图Xin,依次通过各卷积层特征提取后输出高级特征图Xout。针对shufflenetv2卷积单元,建立相应的参数神经网络,其中对应第一、第二点卷积层,建立第一、第二点卷积参数调整层,针对深度可分离卷积层,建立深度可分离参数调整层,将初级特征图Xin进行全局平均池化,得到个性参数Xgap,输入第一点卷积参数调整层,得到个性指导参数W1c’和W1c”,通过与第一点卷积层的原权重W1pw相乘得到个性权重;同时,其中的输入通道指导参数W1c’,作为下一层的输入参数,即,深度可分离参数调整层的输入参数为W1c’,得到个性指导参数Wd,通过与深度可分离卷积层原权重Wdw相乘得到个性权重;同时Wd作为下一层的输入参数;第二点卷积参数调整层通过输入参数Wd,得到个性指导参数W2c’和W2c”,通过与第二点卷积层的原权重W2pw相乘得到个性权重。在各卷积层得到各自的个性权重后,将次级特征图Xin输入shufflenetv2卷积单元中,通过各卷积层特征提取得到高级特征图Xout
如图3所示,本公开实施例还提供的一种图像处理方法20,包括:步骤S21,获取图像;步骤S22,根据前述任一实施例的特征图处理方法10,提取图像的图像特征;步骤S23,根据图像特征进行图像识别。其中,在步骤S22中,可以在一个或多个卷积单元中应用前述任一实施例的特征图处理方法10,也可以在全部卷积层中应用前述任一实施例的特征图处理方法10。在任意情况下应用均能够根据输入的次级特征图进行个性化调整其参数,因此能够使得输出的高级特征图更加准确。
图4示出了本公开实施例提供的一种特征图处理装置100,如图4所示,特征图处理装置100包括:获取特征图模块110,用于获取次级特征图;参数生成模块120,用于基于次级特征图,通过池化得到个性参数;参数调整模块130,用于基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数;权重调整模块140,用于基于个性指导参数,调整对应的每个卷积层的权重,得到每个卷积层对应的个性权重;特征提取模块150,基于次级特征图,通过具有个性权重的每个卷积层,得到高级特征图。
在一例中,参数调整模块130还用于:根据卷积层的类型,设置对应的参数调整层;根据卷积层的顺序,依次连接参数调整层得到参数神经网络。
在一例中,参数调整模块130还用于:根据M层卷积层的顺序,依次连接第1参数调整层至第M参数调整层,M为大于1的自然数;基于个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:第m参数调整层根据输入参数,得到对应卷积层的个性指导参数,且,当m=1时,第1参数调整层的输入参数为个性参数,当m>1时,第m参数调整层的输入参数根据第m-1参数调整层的个性指导参数得到,其中m为自然数且m≤M。
在一例中,参数调整模块130还用于:若卷积层为点卷积层,则设置对应的点卷积参数调整层;根据点卷积参数调整层的输入参数,通过点卷积参数调整层,得到点卷积层的含有次级特征图信息的个性指导参数。
在一例中,参数调整模块130还用于:若卷积层为深度可分离卷积层,则设置对应的深度可分离卷积参数调整层;根据深度可分离参数调整层的输入参数,通过深度可分离卷积参数调整层,得到深度可分离卷积层的含有次级特征图信息的个性指导参数。
在一例中,参数调整模块130还用于:通过对输入参数进行矩阵变化,经激活函数进行非线性变换,得到个性指导参数。
在一例中,池化为全局平均池化。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图5所示,本公开实施例还提供的一种图像处理装置200,包括:图像获取模块210,用于获取图像;特征提取模块220,用于根据前述任一实施例的特征图处理方法10,提取图像的图像特征;图像识别模块230,用于根据图像特征进行图像识别。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图6所示,本公开的一个实施方式提供了一种电子设备300。其中,该电子设备300包括存储器301、处理器302、输入/输出(Input/Output,I/O)接口303。其中,存储器301,用于存储指令。处理器302,用于调用存储器301存储的指令执行本公开实施例的特征图处理方法或图像处理方法。其中,处理器302分别与存储器301、I/O接口303连接,例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据,包括本公开实施例中涉及的特征图处理方法或图像处理方法的程序,处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。
本公开实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现,所述处理器302可以是中央处理单元(Central Processing Unit,CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器301可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)等。
本公开实施例中,I/O接口303可用于接收输入的指令(例如数字或字符信息,以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等),也可向外部输出各种信息(例如,图像或声音等)。本公开实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是,本公开实施例中尽管在附图中以特定的顺序描述操作,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作,或是要求执行全部所示的操作以得到期望的结果。在特定环境中,多任务和并行处理可能是有利的。
本公开实施例涉及的方法和装置能够利用标准编程技术来完成,利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是,此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现,其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的,已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式,根据上述教导还可能存在各种变形和修改,或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用,以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (12)

1.一种特征图处理方法,其中,所述方法包括:
获取次级特征图;
基于所述次级特征图,通过池化得到个性参数;
基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数;
基于所述个性指导参数,调整对应的所述每个卷积层的权重,得到每个所述卷积层对应的个性权重;
基于所述次级特征图,通过具有所述个性权重的每个卷积层,得到高级特征图。
2.根据权利要求1所述的方法,其中,所述基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,还包括:
根据卷积层的类型,设置对应的参数调整层;
根据卷积层的顺序,依次连接所述参数调整层得到所述参数神经网络。
3.根据权利要求2所述的方法,其中,
所述根据卷积层的顺序,依次连接所述参数调整层得到所述参数神经网络,包括:根据M层所述卷积层的顺序,依次连接第1参数调整层至第M参数调整层,M为大于1的自然数;
所述基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:第m参数调整层根据输入参数,得到对应卷积层的个性指导参数,且,当m=1时,第1参数调整层的输入参数为所述个性参数,当m>1时,第m参数调整层的输入参数根据第m-1参数调整层的个性指导参数得到,其中m为自然数且m≤M。
4.根据权利要求3所述的方法,其中,所述根据卷积层的类型,设置对应的参数调整层,包括:
若卷积层为点卷积层,则设置对应的点卷积参数调整层;
所述基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:根据所述点卷积参数调整层的所述输入参数,通过所述点卷积参数调整层,得到所述点卷积层的含有所述次级特征图信息的个性指导参数。
5.根据权利要求3所述的方法,其中,所述根据卷积层的类型,设置对应的参数调整层,包括:
若卷积层为深度可分离卷积层,则设置对应的深度可分离卷积参数调整层;
所述基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,包括:根据所述深度可分离参数调整层的所述输入参数,通过所述深度可分离卷积参数调整层,得到所述深度可分离卷积层的含有所述次级特征图信息的个性指导参数。
6.根据权利要求3所述的方法,其中,所述基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数,还包括:通过对所述输入参数进行矩阵变化,经激活函数进行非线性变换,得到所述个性指导参数。
7.根据权利要求1-6任一项所述的方法,其中,所述池化为全局平均池化。
8.一种图像处理方法,包括:
获取图像;
根据权利要求1-7任一项所述的特征图处理方法,提取所述图像的图像特征;
根据所述图像特征进行图像识别。
9.一种特征图处理装置,其中,所述装置包括:
获取特征图模块,用于获取次级特征图;
参数生成模块,用于基于所述次级特征图,通过池化得到个性参数;
参数调整模块,用于基于所述个性参数,通过参数神经网络得到与每个卷积层一一对应的个性指导参数;
权重调整模块,用于基于所述个性指导参数,调整对应的所述每个卷积层的权重,得到每个所述卷积层对应的个性权重;
特征提取模块,基于所述次级特征图,通过具有所述个性权重的每个卷积层,得到高级特征图。
10.一种图像处理装置,其中,所述图像处理装置包括:
图像获取模块,用于获取图像;
特征提取模块,用于根据权利要求1-7任一项所述的特征图处理方法,提取所述图像的图像特征;
图像识别模块,用于根据所述图像特征进行图像识别。
11.一种电子设备,其中,所述电子设备包括:
存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行如权利要求1至7中任一项所述的特征图处理方法或如权利要求8所述的图像处理方法。
12.一种计算机可读存储介质,其中存储有指令,所述指令被处理器执行时,执行如权利要求1至7中任一项所述的特征图处理方法或如权利要求8所述的图像处理方法。
CN201910993001.3A 2019-10-18 2019-10-18 特征图处理方法、图像处理方法及装置 Active CN110852348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910993001.3A CN110852348B (zh) 2019-10-18 2019-10-18 特征图处理方法、图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910993001.3A CN110852348B (zh) 2019-10-18 2019-10-18 特征图处理方法、图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110852348A true CN110852348A (zh) 2020-02-28
CN110852348B CN110852348B (zh) 2022-09-30

Family

ID=69597693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910993001.3A Active CN110852348B (zh) 2019-10-18 2019-10-18 特征图处理方法、图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110852348B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508137A (zh) * 2021-02-09 2021-03-16 南方电网数字电网研究院有限公司 变压器异常检测方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832835A (zh) * 2017-11-14 2018-03-23 贵阳海信网络科技有限公司 一种卷积神经网络的轻量化方法及装置
CN108898647A (zh) * 2018-06-27 2018-11-27 Oppo(重庆)智能科技有限公司 图像处理方法、装置、移动终端以及存储介质
US20190251396A1 (en) * 2016-11-07 2019-08-15 Samsung Electronics Co., Ltd. Method for processing input on basis of neural network learning and apparatus therefor
CN110135510A (zh) * 2019-05-22 2019-08-16 电子科技大学中山学院 一种动态领域自适应方法、设备及计算机可读存储介质
WO2019184823A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 基于卷积神经网络模型的图像处理方法和装置
CN110334716A (zh) * 2019-07-04 2019-10-15 北京迈格威科技有限公司 特征图处理方法、图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251396A1 (en) * 2016-11-07 2019-08-15 Samsung Electronics Co., Ltd. Method for processing input on basis of neural network learning and apparatus therefor
CN107832835A (zh) * 2017-11-14 2018-03-23 贵阳海信网络科技有限公司 一种卷积神经网络的轻量化方法及装置
WO2019184823A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 基于卷积神经网络模型的图像处理方法和装置
CN108898647A (zh) * 2018-06-27 2018-11-27 Oppo(重庆)智能科技有限公司 图像处理方法、装置、移动终端以及存储介质
CN110135510A (zh) * 2019-05-22 2019-08-16 电子科技大学中山学院 一种动态领域自适应方法、设备及计算机可读存储介质
CN110334716A (zh) * 2019-07-04 2019-10-15 北京迈格威科技有限公司 特征图处理方法、图像处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRANDON YANG ET AL.: ""Soft Conditional Computation"", 《ARXIV》 *
JIE HU ET AL.: ""Squeeze-and-Excitation Networks"", 《ARXIV》 *
段萌 等: ""基于卷积神经网络的小样本图像识别方法"", 《计算机工程与设计》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508137A (zh) * 2021-02-09 2021-03-16 南方电网数字电网研究院有限公司 变压器异常检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110852348B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US11900232B2 (en) Training distilled machine learning models
US11556786B2 (en) Attention-based decoder-only sequence transduction neural networks
US11030414B2 (en) System and methods for performing NLP related tasks using contextualized word representations
EP3207507B1 (en) Augmenting neural networks with external memory
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN111260032A (zh) 神经网络训练方法、图像处理方法及装置
WO2019214240A1 (zh) 动态图片的生成
CN110334716B (zh) 特征图处理方法、图像处理方法及装置
TWI740315B (zh) 聲音分離方法、電子設備和電腦可讀儲存媒體
US20220129740A1 (en) Convolutional neural networks with soft kernel selection
US20220138531A1 (en) Generating output sequences from input sequences using neural networks
CN110852348B (zh) 特征图处理方法、图像处理方法及装置
CN114997287A (zh) 模型训练和数据处理方法、装置、设备及存储介质
CN111373391B (zh) 语言处理装置、语言处理系统和语言处理方法
CN114925320A (zh) 一种数据处理方法及相关装置
WO2018204706A2 (en) Recurrent neural networks for online sequence generation
US10635972B1 (en) Recurrent neural networks with rectified linear units
US20230130662A1 (en) Method and apparatus for analyzing multimodal data
CN111666965A (zh) 改进图像识别的多级别深度特征和多匹配器融合
US12002453B2 (en) Methods and devices for irregular pruning for automatic speech recognition
KR20200052411A (ko) 영상 분류 장치 및 방법
CN110188773B (zh) 图像处理方法及装置
CN111539495A (zh) 基于识别模型的识别方法、模型训练方法及装置
CN114969386B (zh) 应用于医学领域的消歧方法、装置、电子设备和介质
KR102575097B1 (ko) 음성 기반 아바타 얼굴 표정 구현 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant