CN114758191A - 一种图像识别方法、装置及电子设备和存储介质 - Google Patents

一种图像识别方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN114758191A
CN114758191A CN202210395806.XA CN202210395806A CN114758191A CN 114758191 A CN114758191 A CN 114758191A CN 202210395806 A CN202210395806 A CN 202210395806A CN 114758191 A CN114758191 A CN 114758191A
Authority
CN
China
Prior art keywords
neural network
branch
basic unit
convolutional neural
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210395806.XA
Other languages
English (en)
Inventor
梁玲燕
温东超
董刚
赵雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN202210395806.XA priority Critical patent/CN114758191A/zh
Priority to PCT/CN2022/102765 priority patent/WO2023197460A1/zh
Publication of CN114758191A publication Critical patent/CN114758191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像识别方法、装置及一种电子设备和存储介质，该方法包括：利用训练图像和对应的类别标签对卷积神经网络的模型参数进行训练；卷积神经网络包括多个串联的堆叠基本单元，每个堆叠基本单元包括多个并联的分支，模型参数包括每个分支对应的加权参数和卷积层参数；对训练完成的卷积神经网络中的每个堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合得到每个堆叠基本单元中的每个分支对应的融合参数；在训练完成的卷积神经网络的基础上基于每个堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；获取目标图像，将目标图像输入目标卷积神经网络中进行图像识别，提高了卷积神经网络进行图像识别的准确度。

Description

一种图像识别方法、装置及电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种图像识别方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
随着人工智能技术的不断发展，人工智能技术已逐渐应用于我们的生活中。在人工智能技术领域，深度学习是较典型的技术之一，深度神经网络的关键在于网络模型结构的设计。一般来说，提升网络性能最直接的办法就是增加神经网络的深度和宽度，深度指网络层次数量，宽度指各层神经元数量(通道)。遵循这两种设计要点，当前常用的网络模型结构设计有多分支网络模型结构设计，如ResNet的残差和(residual-addition)结构，Inception的多分支连接结构(branch-concatenation)，基于NAS(Neural ArchitectureSearch，网络结构搜索)学习的自动化网络搜索结构设计。虽然这些网络结构提高了模型的识别精度，但因为模型结构的复杂化，加大了推理端的部署难度，存在运行速度慢，内存利用率低等缺点。
在相关技术中，如图1所示，采用RepVGG(structural re-parameterizationVisual Geometry Group)结构，在训练端通过设计3x3、1x1和直接连接的多分支结构增加网络的复杂性来提高网络性能，在推理端则通过模型参数融合简化推理端部署，实现模型加速。但是，该模型虽然在每个节点间采用多分支结构进行网络连接，但每个分支的重要性并没有进行区分，导致该模型应用于图像识别时准确度较低。
因此，如何提高图像识别的准确度是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种图像识别方法、装置及一种电子设备和一种计算机可读存储介质，提高了图像识别的准确度。
为实现上述目的，本申请提供了一种图像识别方法，包括：
获取训练图像，并确定所述训练图像对应的类别标签；
获取训练图像，并确定所述训练图像对应的类别标签；
利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；
对训练完成的卷积神经网络中的每个堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；
在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；
获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
其中，所述卷积神经网络中的不同堆叠基本单元中对应分支的加权参数相同；
相应的，所述利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络，包括：
构建训练卷积神经网络；其中，所述训练卷积神经网络包括n个串联的堆叠基本单元，n为小于预设值的正整数，每个所述堆叠基本单元包括多个并联的分支，不同堆叠基本单元中对应分支的加权参数相同；
利用所述训练图像和对应的类别标签对所述训练卷积神经网络中不同分支对应的加权参数进行训练；
将训练得到的所述训练卷积神经网络中不同分支对应的加权参数作为所述卷积神经网络中不同分支对应的加权参数；
利用所述训练图像和对应的类别标签对所述卷积神经网络中不同分支对应的卷积层参数进行训练，得到训练完成的卷积神经网络。
其中，在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络，包括：
对所述训练完成的卷积神经网络中每个堆叠基本单元中的多个分支进行卷积核的融合，得到融合后的目标卷积神经网络；
对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行融合，得到所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
其中，对所述卷积神经网络中每个堆叠基本单元中的多个分支进行卷积核的融合，得到融合后的目标卷积神经网络，包括：
在所述卷积神经网络中的每个堆叠基本单元中选取参考卷积核；其中，所述参考卷积核为所述堆叠基本单元中的所有分支中的最大卷积核；
将每个所述堆叠基本单元中所有分支的卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；
对每个所述堆叠基本单元中所有分支的扩展后的卷积核进行融合，得到融合后的目标卷积神经网络。
其中，所述分支包括卷积核分支和/或直接残差连接分支；
所述将每个所述堆叠基本单元中所有分支的卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核，包括：
确定每个所述堆叠基本单元中的卷积核分支中卷积核面积小于所属堆叠基本单元中的参考卷积核的卷积核面积的目标卷积核，通过零值填充将所述目标卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；
和/或，对每个所述堆叠基本单元中的直接残差连接分支的输出通道上的卷积核中心值采用非零值填充、其他部分采用零值填充，以将所述直接残差连接分支扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核。
其中，所述模型参数还包括每个所述分支对应的批量标准化层参数；
相应的，所述对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数，包括：
将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数；
将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数。
其中，所述卷积层参数包括卷积核权重参数和偏置单元参数；
相应的，所述将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数，包括：
将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数与卷积核权重参数的乘积作为每个所述分支对应的融合后的卷积核权重参数；
将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个所述分支对应的加权参数与偏置单元参数的乘积作为每个所述分支对应的融合后的偏置单元参数；
相应的，将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数，包括：
利用第一融合公式将每个所述堆叠基本单元中每个分支对应的融合后的卷积核权重参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第一融合参数；
利用第二融合公式将每个所述堆叠基本单元中每个分支对应的融合后的偏置单元参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第二融合参数；
其中，所述第一融合公式为：
Figure BDA0003598875790000041
第二融合公式为：
Figure BDA0003598875790000042
其中，
Figure BDA0003598875790000043
为第n个分支对应的融合后的卷积核权重参数，
Figure BDA0003598875790000044
为第n个分支对应的融合后的偏置单元参数，μ(n)、σ(n)、β(n)和γ(n)为第n个分支对应的批量标准化层参数，∈为调节参数，
Figure BDA0003598875790000045
为第n个分支对应的第一融合参数，
Figure BDA0003598875790000051
为第n个分支对应的第二融合参数。
其中，所述对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行融合，得到所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数，包括：
对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行求和，作为所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
为实现上述目的，本申请提供了一种图像识别装置，包括：
获取模块，用于获取训练图像，并确定所述训练图像对应的类别标签；
训练模块，用于利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；
融合模块，用于对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；
部署模块，用于在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；
识别模块，用于获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述图像识别方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述图像识别方法的步骤。
通过以上方案可知，本申请提供的一种图像识别方法，包括：获取训练图像，并确定所述训练图像对应的类别标签；利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；对训练完成的卷积神经网络中的每个堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
本申请提供的图像识别方法，对卷积神经网络中每个堆叠基本单元中的不同分支设置不同的加权参数，通过加权参数的学习对不同卷积计算进行选择加权，能有效改进模型特征的提取能力，改进卷积神经网络的信息提取能力，提高了卷积神经网络进行图像识别的准确度。本申请还公开了一种图像识别装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为相关技术中的一种RepVGG结构的示意图；
图2为根据一示例性实施例示出的一种图像识别方法的流程图；
图3为根据一示例性实施例示出的另一种图像识别方法的流程图；
图4为根据一示例性实施例示出的一种目标神经卷积网络的构建方法的示意图；
图5为根据一示例性实施例示出的另一种目标神经卷积网络的构建方法的示意图；
图6为根据一示例性实施例示出的又一种目标神经卷积网络的构建方法的示意图；
图7a为根据一示例性实施例示出的融合前内存使用情况示意图；
图7b为根据一示例性实施例示出的融合后内存使用情况示意图；
图8为根据一示例性实施例示出的图像分类任务中训练及推理端示意图；
图9为根据一示例性实施例示出的一种图像识别装置的结构图；
图10为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种图像识别方法，提高了图像识别的准确度。
参见图2，根据一示例性实施例示出的一种图像识别方法的流程图，如图2所示，包括：
S101：获取训练图像，并确定所述训练图像对应的类别标签；
S102：利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；
本实施例的目的在于对目标图像进行图像识别，在具体实施中，获取训练图像，确定其对应的类别标签，利用训练图像和对应的类别标签对卷积神经网络进行训练。该卷积神经网络包括多个串联的堆叠基本单元，每个堆叠基本单元包括多个并联的分支，不同分支对应不同的加权参数，每个分支包括卷积层，当然还可以包括批量标准化层(BN层)，不同分支中的卷积层的卷积核的大小和形状可以相同也可以不同，本实施例不进行具体限定。卷积神经网络可训练的模型参数至少包括每个分支对应的加权参数和卷积层参数，若分支中包含批量标准化层，则模型参数还包括该分支对应的批量标准化层参数，卷积层参数可以包括卷积核权重参数和偏置单元参数(bias参数)。
在训练过程中，使用Ltrain和Lval表示训练和验证集的损失，目标为找到一组最优的加权参数αw，使其可以最小化验证集的损失函数Lval，并且模型卷积层参数W也紧跟着通过最小化训练集损失Ltrain而得到。具体训练过程可借鉴DARTS(神经网络搜索，differentiable architecture search)方法的双向优化问题，包括以下步骤：(1)在固定加权参数αw的情况下，通过最小化训练集损失约束对上述卷积神经网络进行卷积层参数W的学习并更新；(2)在固定卷积层参数W的情况下，通过最小化验证集损失约束进行加权参数αw学习并更新；(3)通过交替学习最后得到卷积神经网络的最佳模型参数，该模型参数同时确保训练集和验证集的损失误差最小。
可以理解的是，由于卷积神经网络中包含的堆叠基本单元的数量较多，会影响该卷积神经网络的训练速度，为了提高卷积神经网络的训练速度，作为一种优选实施方式，所述卷积神经网络中的不同堆叠基本单元中对应分支的加权参数相同；相应的，所述利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络，包括：构建训练卷积神经网络；其中，所述训练卷积神经网络包括n个串联的堆叠基本单元，n为小于预设值的正整数，每个所述堆叠基本单元包括多个并联的分支，不同堆叠基本单元中对应分支的加权参数相同；利用所述训练图像和对应的类别标签对所述训练卷积神经网络中不同分支对应的加权参数进行训练；将训练得到的所述训练卷积神经网络中不同分支对应的加权参数作为所述卷积神经网络中不同分支对应的加权参数；利用所述训练图像和对应的类别标签对所述卷积神经网络中不同分支对应的卷积层参数进行训练，得到训练完成的卷积神经网络。在具体实施中，构建一个与上述卷积神经网络结构类似的训练卷积神经网络，区别在于训练卷积神经网络包含的堆叠基本单元的数量较少，也即训练卷积神经网络包括n个串联的堆叠基本单元，n为小于预设值的正整数。在训练过程中，首先利用训练图像和对应的类别标签对训练卷积神经网络进行训练，可参考上述双向优化的训练过程，得到每个堆叠基本单元中不同分支对应的加权参数。由于训练卷积神经网络中包含的堆叠基本单元的数量较少，因此可以提高训练速度。需要说明的是，为了进一步提高训练速度，可以设置不同堆叠基本单元中包含的分支数量相同、且对应分支的加权参数相同，也即每个堆叠基本单元的结构完全相同。例如，每个堆叠基本单元中均包含三个分支，对应的加权参数分别为α、β、γ。然后，在不同分支对应的加权参数固定的情况下对卷积神经网络中不同分支对应的卷积层参数进行训练，得到训练完成的卷积神经网络。
S103：对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；
在本步骤中，基于各堆叠基本单元内的多分支网络结构，进行各分支间的模型参数融合，参数融合可以包括加权参数与卷积层参数的融合，还可以包括与批量标准化层参数的融合。
作为一种可行的实施方式，本步骤包括：将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数；将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数。
在具体实施中，首先将各分支的加权参数如α，β，γ值融合到卷积层参数中，然后再将融合后的卷积层参数与批量标准化层参数进行融合，得到各分支对应的融合参数。
可以理解的是，卷积层参数包括卷积核权重参数和偏置单元参数，相应的，所述将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数，包括：将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数与卷积核权重参数的乘积作为每个所述分支对应的融合后的卷积核权重参数；将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个所述分支对应的加权参数与偏置单元参数的乘积作为每个所述分支对应的融合后的偏置单元参数；相应的，将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数，包括：利用第一融合公式将每个所述堆叠基本单元中每个分支对应的融合后的卷积核权重参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第一融合参数；利用第二融合公式将每个所述堆叠基本单元中每个分支对应的融合后的偏置单元参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第二融合参数；
其中，所述第一融合公式为：
Figure BDA0003598875790000101
第二融合公式为：
Figure BDA0003598875790000102
其中，
Figure BDA0003598875790000103
为第n个分支对应的融合后的卷积核权重参数，
Figure BDA0003598875790000104
为第n个分支对应的融合后的偏置单元参数，μ(n)、σ(n)、β(n)和γ(n)为第n个分支对应的批量标准化层参数，∈为调节参数，
Figure BDA0003598875790000105
为第n个分支对应的第一融合参数，
Figure BDA0003598875790000106
为第n个分支对应的第二融合参数。
S104：在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；
S105：获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
在具体实施中，对训练完成的卷积神经网络中各堆叠基本单元中的各分支的参数进行融合后，可以得到目标卷积神经网络，目标卷积神经网络用于对目标图像进行图像识别，也即确定目标图像的类别。
本申请实施例提供的图像识别方法，对卷积神经网络中每个堆叠基本单元中的不同分支设置不同的加权参数，通过加权参数的学习对不同卷积计算进行选择加权，能有效改进模型特征的提取能力，改进卷积神经网络的信息提取能力，提高了卷积神经网络进行图像识别的准确度。
本申请实施例公开了一种图像识别方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图3，根据一示例性实施例示出的另一种图像识别方法的流程图，如图3所示，包括：
S201：获取训练图像，并确定所述训练图像对应的类别标签；
S202：利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数包括每个所述分支对应的加权参数、卷积层参数和批量标准化层参数；
S203：对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数、卷积层参数和批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数；
S204：对所述训练完成的卷积神经网络中每个堆叠基本单元中的多个分支进行卷积核的融合，得到融合后的目标卷积神经网络；
在本实施例中，对述卷积神经网络中各堆叠基本单元中的各分支进行卷积核的融合，也即，将各分支中的多个卷积核融合为一个卷积核。
作为一种可行的实施方式，本步骤包括：在所述卷积神经网络中的每个堆叠基本单元中选取参考卷积核；其中，所述参考卷积核为所述堆叠基本单元中的所有分支中的最大卷积核；将每个所述堆叠基本单元中所有分支的卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；对每个所述堆叠基本单元中所有分支的扩展后的卷积核进行融合，得到融合后的目标卷积神经网络。
在具体实施中，对于每个堆叠基本单元，对比其中各分支中的卷积核大小，选取最大卷积核作为该堆叠基本单元的参考卷积核，然后将其余卷积核扩展为与最大卷积核面积相等的卷积核。卷积核扩展包括卷积核面积的扩展、卷积核内参数的扩展。如图4所示，Convlayer为卷积层，BN layer为批量标准化层，假设最大卷积核为MxM’，那么第二分支卷积核NxN’以及其它卷积核，都扩展为MxM’卷积核。其中卷积核可以为任意大小，任意形状的卷积核。
需要说明的是，堆叠基本单元中的分支可以为卷积核分支，也可以为直接残差连接分支。对于卷积核分支，其中卷积核的扩展过程包括：确定每个所述堆叠基本单元中的卷积核分支中卷积核面积小于所属堆叠基本单元中的参考卷积核的卷积核面积的目标卷积核，通过零值填充将所述目标卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核。对于直接残差连接分支，其扩展过程包括：对每个所述堆叠基本单元中的直接残差连接分支的输出通道上的卷积核中心值采用非零值填充、其他部分采用零值填充，以将所述直接残差连接分支扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核。
S205：对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行融合，得到所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数；
在具体实施中，对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行求和，作为所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
S206：获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
由此可见，本实施例对目标卷积神经网络中各堆叠基本单元中的各分支进行卷积核的融合，简化了目标卷积神经网络的部署过程，加速了图像识别的计算过程，减少了图像识别过程中内存占用情况。
下面介绍本申请提供的一种应用实施例，首先进行网络模型结构训练学习，在一个堆叠基本单元内，存在多个分支，各分支采用不同的卷积核进行计算，通过加和操作将多分支融合为一个分支作为下一个基本单元的输入。如图5中的第一步为例，在一个堆叠基本单元内，我们设计了三个卷积分支，分别为5x5、3x3、1x1，同时为各分支设置了不同的加权参数，因此在模型训练过程中，该基本单元需要学习的模型参数有：分支加权参数(如图5中的α，β，γ)、卷积层参数、BN参数。假设卷积核的输入通道C1等于输出通道C2，C1＝C2＝2。W(5)、W(3)、W(1)分别表示5x5、3x3、1x1卷积核的卷积核权重参数，W(5)∈RC2xC1x5x5，W(3)∈RC2xC1x3x3，W(1)∈RC2xC1x1x1，b(5)、b(3)、b(1)分别表示各分支的bias参数。
在第一步骤的网络模型结构合并过程中，首先进行加权参数合并，将各分支的加权参数乘以对应分支的卷积核权重参数得到各分支新的卷积核权重参数W(5)new＝α×W(5)、W(3)new＝β×W(3)、W(1)new＝γ×W(1)，同时各分支的bias参数b(5)new＝α×b(5)、b(3)new＝β×b(3)、b(1)new＝γ×b(1)。然后根据各分支的BN参数将BN层融入到卷积核参数中，具体融合过程为：
Figure BDA0003598875790000131
Figure BDA0003598875790000132
其中，
Figure BDA0003598875790000133
为第n个分支对应的融合后的卷积核权重参数，
Figure BDA0003598875790000134
为第n个分支对应的融合后的bias参数，μ(n)、σ(n)、β(n)和γ(n)为第n个分支对应的BN参数，∈为调节参数，
Figure BDA0003598875790000135
为第n个分支对应的第一融合参数，
Figure BDA0003598875790000136
为第n个分支对应的第二融合参数，n＝1,3,5。
在第二步骤的卷积核参数扩展阶段，选取各分支中的最大卷积核作为参考卷积核，将其余卷积核扩展为与最大卷积核面积相等的卷积核模式。例如，在图5中最大的卷积核为5x5，因此以5x5为基础卷积核，分别将3x3,1x1扩展为5x5卷积核，扩展图示如图5第二步所示，卷积核扩展部分通过0值进行填充。又如，如图6所示，图6中存在三个分支，分别为3x3卷积分支，1x3卷积分支，和一个直接残差连接分支。以3x3作为参考卷积核大小，对1x3卷积核进行扩展，扩展过程同图5相似，采用0值进行卷积核填充。而针对直接连接的残差分支，针对每个输出通道上的卷积核中心值采用非0值进行填充，其余部分都通过0值填充。以输入输出通道都为2进行举例说明，以行为单位，第一组通道中的第一个卷积核中心点以非0值填充，而第二组通道中则是第二个卷积核中心点以非0填充，其余都以0值进行填充。当直接连接的残差分支没有BN参数和加权参数时，则该非0值即为1.
第三步进行卷积核融合，将多条分支的卷积核参数融合为一个卷积核，具体操作过程为：
Figure BDA0003598875790000137
ball＝b(1)+b(2)+...+b(n)
其中，
Figure BDA0003598875790000138
为第n个分支中(i,j)位置的卷积核权重参数，将对应位置上的卷积核权重参数进行相加求和作为融合后对应位置上的卷积核权重参数
Figure BDA0003598875790000141
b(n)为第n个分支的bias参数，bias参数值则将n条分支的bias值融合为一组bias值ball。
第四步进行推理端部署。根据卷积融合后的模型结构，进行推理端部署。
由此可见，在本实施例中，首先基于加权的网络模型结构，通过加权参数的学习对不同卷积计算进行选择加权，能有效改进模型特征的提取能力，改进模型信息提取性能。其次通过各基本单元内的分支融合操作，在推理端部署时，能有效减少内存占用情况。在推理计算过程中，如图7a所示，在融合前，三个计算分支在计算过程中，将使用3倍的内存进行中间结果的存储。通过本实施例提出的网络模型结构优化方法处理后，如图7b所示，卷积计算前后只需要1倍的内存空间进行中间结果的存储，模型分支越多，该方法越有效。最后，同样通过各基本单元内的分支融合操作，将有效加速卷积计算。在分支融合前如图7a所示，存在三个分支，其中一个分支为残差分支，因此在卷积计算过程中，需要进行两次卷积计算。通过本实施例提出的网络模型结构优化方法处理后，如图7b所示，则只需要进行一次卷积计算，直接减少推理端计算量，模型分支越快，该方法计算量减少越多。
需要说明的是，本实施例提供的目标卷积神经网络，可以应用于图像分类、图像检测等多种深度神经网络的构建中。以图像分类为例，基于本发明所设计的基本单元搭建深度神经网络模型用于图像分类模型的训练和推理，为了表述方便，本申请所设计的堆叠基本单元记为Block块，每个Block的内部网络结构如图8左侧所示。
在图像分类训练过程中，每个block的内部详细结构如图7左侧的基本模块所示，可以通过多个block搭建该图像分类模型的基础网络，block数量的多少可以根据网络任务的难易程度设置，比如基于cifar进行图像分类的训练，可以设置block为16，但基于imagenet大型图像数据库，则可能需要设置block为25或者更多，这里只是一个实例，具体根据最终任务难度进行评估并设定。在得到图像分类网络后进行推理端部署，在部署的过程中，每个block可优化为一个5x5的卷积核以加快推理端的计算，同时减少计算资源。
下面对本申请实施例提供的一种图像识别装置进行介绍，下文描述的一种图像识别装置与上文描述的一种图像识别方法可以相互参照。
参见图9，根据一示例性实施例示出的一种图像识别装置的结构图，如图9所示，包括：
获取模块901，用于获取训练图像，并确定所述训练图像对应的类别标签；
训练模块902，用于利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；
融合模块903，用于对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；
部署模块904，用于在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；
识别模块905，用于获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
本申请实施例提供的图像识别装置，对卷积神经网络中每个堆叠基本单元中的不同分支设置不同的加权参数，通过加权参数的学习对不同卷积计算进行选择加权，能有效改进模型特征的提取能力，改进卷积神经网络的信息提取能力，提高了卷积神经网络进行图像识别的准确度。
在上述实施例的基础上，作为一种优选实施方式，所述卷积神经网络中的不同堆叠基本单元中对应分支的加权参数相同；所述训练模块902具体用于：构建训练卷积神经网络；其中，所述训练卷积神经网络包括n个串联的堆叠基本单元，n为小于预设值的正整数，每个所述堆叠基本单元包括多个并联的分支，不同堆叠基本单元中对应分支的加权参数相同；利用所述训练图像和对应的类别标签对所述训练卷积神经网络中不同分支对应的加权参数进行训练；将训练得到的所述训练卷积神经网络中不同分支对应的加权参数作为所述卷积神经网络中不同分支对应的加权参数；利用所述训练图像和对应的类别标签对所述卷积神经网络中不同分支对应的卷积层参数进行训练，得到训练完成的卷积神经网络。
在上述实施例的基础上，作为一种优选实施方式，所述部署模块904包括：
第一融合单元，用于对所述训练完成的卷积神经网络中每个堆叠基本单元中的多个分支进行卷积核的融合，得到融合后的目标卷积神经网络；
第二融合单元，用于对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行融合，得到所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
在上述实施例的基础上，作为一种优选实施方式，所述第一融合单元包括：
选取子单元，用于在所述卷积神经网络中的每个堆叠基本单元中选取参考卷积核；其中，所述参考卷积核为所述堆叠基本单元中的所有分支中的最大卷积核；
扩展子单元，用于将每个所述堆叠基本单元中所有分支的卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；
融合子单元，用于对每个所述堆叠基本单元中所有分支的扩展后的卷积核进行融合，得到融合后的目标卷积神经网络。
在上述实施例的基础上，作为一种优选实施方式，所述分支包括卷积核分支和/或直接残差连接分支；
所述扩展子单元具体用于：确定每个所述堆叠基本单元中的卷积核分支中卷积核面积小于所属堆叠基本单元中的参考卷积核的卷积核面积的目标卷积核，通过零值填充将所述目标卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；和/或，对每个所述堆叠基本单元中的直接残差连接分支的输出通道上的卷积核中心值采用非零值填充、其他部分采用零值填充，以将所述直接残差连接分支扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核。
在上述实施例的基础上，作为一种优选实施方式，所述模型参数还包括每个所述分支对应的批量标准化层参数；所述融合模块903包括：
第三融合单元，用于将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数；
第四融合单元，用于将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数。
在上述实施例的基础上，作为一种优选实施方式，所述卷积层参数包括卷积核权重参数和偏置单元参数；
相应的，所述第三融合单元具体用于：将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数与卷积核权重参数的乘积作为每个所述分支对应的融合后的卷积核权重参数；将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个所述分支对应的加权参数与偏置单元参数的乘积作为每个所述分支对应的融合后的偏置单元参数；
相应的，所述第四融合单元具体用于：利用第一融合公式将每个所述堆叠基本单元中每个分支对应的融合后的卷积核权重参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第一融合参数；利用第二融合公式将每个所述堆叠基本单元中每个分支对应的融合后的偏置单元参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第二融合参数；
其中，所述第一融合公式为：
Figure BDA0003598875790000171
第二融合公式为：
Figure BDA0003598875790000172
其中，
Figure BDA0003598875790000173
为第n个分支对应的融合后的卷积核权重参数，
Figure BDA0003598875790000174
为第n个分支对应的融合后的偏置单元参数，μ(n)、σ(n)、β(n)和γ(n)为第n个分支对应的批量标准化层参数，∈为调节参数，
Figure BDA0003598875790000175
为第n个分支对应的第一融合参数，
Figure BDA0003598875790000176
为第n个分支对应的第二融合参数。
在上述实施例的基础上，作为一种优选实施方式，所述第二融合单元具体用于：对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行求和，作为所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图10为根据一示例性实施例示出的一种电子设备的结构图，如图10所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的图像识别方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像识别方法，其特征在于，包括：
获取训练图像，并确定所述训练图像对应的类别标签；
利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；
对训练完成的卷积神经网络中的每个堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；
在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；
获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
2.根据权利要求1所述图像识别方法，其特征在于，所述卷积神经网络中的不同堆叠基本单元中对应分支的加权参数相同；
相应的，所述利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络，包括：
构建训练卷积神经网络；其中，所述训练卷积神经网络包括n个串联的堆叠基本单元，n为小于预设值的正整数，每个所述堆叠基本单元包括多个并联的分支，不同堆叠基本单元中对应分支的加权参数相同；
利用所述训练图像和对应的类别标签对所述训练卷积神经网络中不同分支对应的加权参数进行训练；
将训练得到的所述训练卷积神经网络中不同分支对应的加权参数作为所述卷积神经网络中不同分支对应的加权参数；
利用所述训练图像和对应的类别标签对所述卷积神经网络中不同分支对应的卷积层参数进行训练，得到训练完成的卷积神经网络。
3.根据权利要求1所述图像识别方法，其特征在于，在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络，包括：
对所述训练完成的卷积神经网络中每个堆叠基本单元中的多个分支进行卷积核的融合，得到融合后的目标卷积神经网络；
对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行融合，得到所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
4.根据权利要求3所述图像识别方法，其特征在于，对所述卷积神经网络中每个堆叠基本单元中的多个分支进行卷积核的融合，得到融合后的目标卷积神经网络，包括：
在所述卷积神经网络中的每个堆叠基本单元中选取参考卷积核；其中，所述参考卷积核为所述堆叠基本单元中的所有分支中的最大卷积核；
将每个所述堆叠基本单元中所有分支的卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；
对每个所述堆叠基本单元中所有分支的扩展后的卷积核进行融合，得到融合后的目标卷积神经网络。
5.根据权利要求4所述图像识别方法，其特征在于，所述分支包括卷积核分支和/或直接残差连接分支；
所述将每个所述堆叠基本单元中所有分支的卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核，包括：
确定每个所述堆叠基本单元中的卷积核分支中卷积核面积小于所属堆叠基本单元中的参考卷积核的卷积核面积的目标卷积核，通过零值填充将所述目标卷积核扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核；
和/或，对每个所述堆叠基本单元中的直接残差连接分支的输出通道上的卷积核中心值采用非零值填充、其他部分采用零值填充，以将所述直接残差连接分支扩展为与所属堆叠基本单元中的参考卷积核面积相等的卷积核。
6.根据权利要求1所述图像识别方法，其特征在于，所述模型参数还包括每个所述分支对应的批量标准化层参数；
相应的，所述对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数，包括：
将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数；
将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数。
7.根据权利要求6所述图像识别方法，其特征在于，所述卷积层参数包括卷积核权重参数和偏置单元参数；
相应的，所述将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数融合到卷积层参数中，得到每个所述分支对应的融合后的卷积层参数，包括：
将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个分支对应的加权参数与卷积核权重参数的乘积作为每个所述分支对应的融合后的卷积核权重参数；
将训练完成的卷积神经网络中的每个所述堆叠基本单元中每个所述分支对应的加权参数与偏置单元参数的乘积作为每个所述分支对应的融合后的偏置单元参数；
相应的，将每个所述堆叠基本单元中每个分支对应的融合后的卷积层参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的融合参数，包括：
利用第一融合公式将每个所述堆叠基本单元中每个分支对应的融合后的卷积核权重参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第一融合参数；
利用第二融合公式将每个所述堆叠基本单元中每个分支对应的融合后的偏置单元参数与批量标准化层参数进行融合，得到每个所述堆叠基本单元中的每个分支对应的第二融合参数；
其中，所述第一融合公式为：
Figure FDA0003598875780000031
第二融合公式为：
Figure FDA0003598875780000041
其中，
Figure FDA0003598875780000042
为第n个分支对应的融合后的卷积核权重参数，
Figure FDA0003598875780000043
为第n个分支对应的融合后的偏置单元参数，μ(n)、σ(n)、β(n)和γ(n)为第n个分支对应的批量标准化层参数，∈为调节参数，
Figure FDA0003598875780000044
为第n个分支对应的第一融合参数，
Figure FDA0003598875780000045
为第n个分支对应的第二融合参数。
8.根据权利要求3所述图像识别方法，其特征在于，所述对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行融合，得到所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数，包括：
对每个所述堆叠基本单元中每个分支对应位置上的融合参数进行求和，作为所述目标卷积神经网络中每个堆叠基本单元中的融合后的卷积核对应位置上的融合参数。
9.一种图像识别装置，其特征在于，包括：
获取模块，用于获取训练图像，并确定所述训练图像对应的类别标签；
训练模块，用于利用所述训练图像和对应的类别标签对卷积神经网络的模型参数进行训练，得到训练完成的卷积神经网络；其中，所述卷积神经网络包括多个串联的堆叠基本单元，每个所述堆叠基本单元包括多个并联的分支，所述模型参数至少包括每个所述分支对应的加权参数和卷积层参数；
融合模块，用于对训练完成的卷积神经网络中的每个所述堆叠基本单元中的每个分支对应的加权参数和卷积层参数进行融合，以得到每个所述堆叠基本单元中的每个分支对应的融合参数；
部署模块，用于在所述训练完成的卷积神经网络的基础上基于每个所述堆叠基本单元中的每个分支对应的融合参数部署目标卷积神经网络；
识别模块，用于获取目标图像，将所述目标图像输入所述目标卷积神经网络中进行图像识别。
10.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述图像识别方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述图像识别方法的步骤。
CN202210395806.XA 2022-04-15 2022-04-15 一种图像识别方法、装置及电子设备和存储介质 Pending CN114758191A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210395806.XA CN114758191A (zh) 2022-04-15 2022-04-15 一种图像识别方法、装置及电子设备和存储介质
PCT/CN2022/102765 WO2023197460A1 (zh) 2022-04-15 2022-06-30 一种图像识别方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210395806.XA CN114758191A (zh) 2022-04-15 2022-04-15 一种图像识别方法、装置及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114758191A true CN114758191A (zh) 2022-07-15

Family

ID=82331301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210395806.XA Pending CN114758191A (zh) 2022-04-15 2022-04-15 一种图像识别方法、装置及电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN114758191A (zh)
WO (1) WO2023197460A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760777A (zh) * 2022-11-21 2023-03-07 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082179A1 (en) * 2016-09-19 2018-03-22 Vicarious Fpc, Inc. Systems and methods for deep learning with small training sets
CN107403430B (zh) * 2017-06-15 2020-08-07 中山大学 一种rgbd图像语义分割方法
CN111651626B (zh) * 2020-05-25 2023-08-22 腾讯科技（深圳）有限公司 图像分类方法、装置及可读存储介质
CN112529165B (zh) * 2020-12-22 2024-02-02 上海有个机器人有限公司 深度神经网络剪枝方法、装置、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760777A (zh) * 2022-11-21 2023-03-07 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统
CN115760777B (zh) * 2022-11-21 2024-04-30 脉得智能科技(无锡)有限公司 基于神经网络结构搜索的桥本氏甲状腺炎诊断系统

Also Published As

Publication number Publication date
WO2023197460A1 (zh) 2023-10-19

Similar Documents

Publication Publication Date Title
US12014130B2 (en) System and method for ESL modeling of machine learning
CN111428854A (zh) 一种结构搜索方法及结构搜索装置
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
CN113435585A (zh) 一种业务处理方法、装置及设备
CN112001491A (zh) 针对处理器确定神经网络架构的搜索方法和装置
CN114758191A (zh) 一种图像识别方法、装置及电子设备和存储介质
CN111832693B (zh) 神经网络层运算、模型训练方法、装置及设备
CN112835718A (zh) 任务处理的方法和装置、众核系统、计算机可读介质
CN116308738B (zh) 一种模型训练的方法、业务风控的方法及装置
CN116663491A (zh) 基于bdd求解功能覆盖组条件约束语句的方法、设备和介质
CN115543762A (zh) 一种磁盘smart数据扩充方法、系统及电子设备
US20230196093A1 (en) Neural network processing
CN112232445A (zh) 多标签分类任务网络的训练方法和装置
CN116933451A (zh) 基于Petri网的多维架构映射关系模型评价方法、装置及设备
JP2023536765A (ja) 人工知能に基づく回路設計方法及び実装システム
CN114037054A (zh) 一种数据处理方法、装置、芯片、设备及介质
CN111767934A (zh) 一种图像识别方法、装置及电子设备
CN111767204A (zh) 溢出风险检测方法、装置及设备
CN111767980A (zh) 模型优化方法、装置及设备
US20230359885A1 (en) System and method for automating design of sound source separation deep learning model
US20240028910A1 (en) Modeling method of neural network for simulation in semiconductor design process, simulation method in semiconductor design process using the same, manufacturing method of semiconductor device using the same, and semiconductor design system performing the same
US20240233357A1 (en) Learning apparatus and learning method
US20240104375A1 (en) Method and system for lightweighting artificial neural network model, and non-transitory computer-readable recording medium
JP7507172B2 (ja) 情報処理方法、情報処理システム及び情報処理装置
CN117788427A (zh) 一种芯片缺陷检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination