CN114662678A - 一种变激活函数卷积神经网络及其训练方法 - Google Patents

一种变激活函数卷积神经网络及其训练方法 Download PDF

Info

Publication number
CN114662678A
CN114662678A CN202210532755.0A CN202210532755A CN114662678A CN 114662678 A CN114662678 A CN 114662678A CN 202210532755 A CN202210532755 A CN 202210532755A CN 114662678 A CN114662678 A CN 114662678A
Authority
CN
China
Prior art keywords
neural network
activation function
training
convolutional neural
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210532755.0A
Other languages
English (en)
Other versions
CN114662678B (zh
Inventor
金朔宇
龚利天
王少荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210532755.0A priority Critical patent/CN114662678B/zh
Publication of CN114662678A publication Critical patent/CN114662678A/zh
Application granted granted Critical
Publication of CN114662678B publication Critical patent/CN114662678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像识别领域，提供一种变激活函数卷积神经网络及其训练方法。本发明将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换，再通过遗传算法对替换的变激活函数参数进行训练，得到训练好的优化神经网络N1。本发明卷积神经网络及其训练方法，可提高图像识别准确率，可以通过变激活函数进一步提高卷积神经网络的非线性表达能力，更好地拟合网络的输入与输出之间的关系，且网络整体结构简单，训练算法简便易行，训练时间较短。

Description

一种变激活函数卷积神经网络及其训练方法
技术领域
本发明属于图像识别领域，更具体地，涉及一种变激活函数卷积神经网络及其训练方法。
背景技术
卷积神经网络在图像识别和分类中具有出色的表现。与多层感知器相比，卷积神经网络能更好地模拟动物视觉神经元局部感知的特点，参数规模更小，训练效率更高。但是，卷积神经网络的构建和优化，目前尚缺乏通用的方法。已有的卷积神经网络的优化方法，或者网络构建难度大，或者网络训练时间长。
发明内容
为了解决上述现有技术中的不足，本发明提供了一种变激活函数卷积神经网络及其训练方法，可提高图像识别准确率，可以通过变激活函数进一步提高卷积神经网络的非线性表达能力，且网络结构简单，训练时间较短。
为实现上述目的，本发明提供了一种变激活函数卷积神经网络，包括1个输入层、若干卷积层、若干池化层、若干全连接层和1个Softmax输出层，将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换，替换的激活函数形式如下：
Figure 954006DEST_PATH_IMAGE001
式中x为神经元的线性输入，y为神经元的激活输出，
Figure 339988DEST_PATH_IMAGE002
表示x的i次方项的系数，
Figure 854146DEST_PATH_IMAGE002
为待求参数，设定激活函数系数
Figure 593563DEST_PATH_IMAGE002
的范围为[-15,15]，有效数字为5位；通过遗传算法对 上述的变激活函数参数进行训练，得到训练好的优化神经网络N1。
进一步的，本技术方案中卷积神经网络的网络结构、超参数及其选择原则如下：
网络结构包括1个输入层、若干卷积层、若干池化层、若干全连接层和1个Softmax输出层，网络的具体层数可根据实际需要进行调整。
其超参数的值是预先设定的，且在网络的训练过程中不变。表1为超参数位置、超参数名称和超参数选择原则。
表1
Figure 876777DEST_PATH_IMAGE003
Figure 292715DEST_PATH_IMAGE004
Figure 28590DEST_PATH_IMAGE005
Figure 571698DEST_PATH_IMAGE006
A．输入层，用于输入需要分类或识别的图像。
本发明的输入层为2D结构，长度m个神经元，宽度n个神经元，其输出
Figure 974997DEST_PATH_IMAGE007
和输入
Figure 561836DEST_PATH_IMAGE008
之间的运算公式为：
Figure 785007DEST_PATH_IMAGE009
B．卷积层，是提取图像特征的重要环节，用于提取图像的重要特征，并降低图像噪声对图像特征提取的影响。
本发明有多个卷积层，一个特定的卷积层采用多个尺寸相同的卷积核进行卷积运算，卷积运算采用本技术领域最常用的卷积运算方式，其相关参数的确定方法和运算原理如下：
（1）对于需要进行“0填充”的卷积层，在实施卷积运算之前，对本卷积层的输入图 像的四个边沿进行“0填充”，对于尺寸为
Figure 256440DEST_PATH_IMAGE010
的卷积核，上、下、左、右每个边填充“0”的个 数为
Figure 126963DEST_PATH_IMAGE011
个。本卷积层输入图像经过“0填充”后获得的图像称为“0填充输入图像”。
（2）一次卷积运算的过程为：一个尺寸为
Figure 25648DEST_PATH_IMAGE010
的卷积核的各个元素值与该卷积层 输入图像/0填充输入图像的待卷积区域的各个像素值分别对应相乘得到
Figure 126329DEST_PATH_IMAGE012
个乘积项，并 将这
Figure 870294DEST_PATH_IMAGE012
个乘积项求和得到本次卷积运算的输出数值。
（3）每次卷积运算输出一个数值，该数值经过本卷积层激活函数作用所得输出作为下一层输入图像的一个对应像素值。
（4）一个卷积层的每一个卷积核单独对该卷积层的输入图像/0填充输入图像进行从左到右、从上到下、单次移动步长为1个像素点的遍历卷积运算，并单独输出一幅新的图像，作为下一层的一幅输入图像。
C．池化层，通常插入在连续的卷积层之间，用于压缩输入数据的量，并减少过拟合情况的出现。
本发明有多个池化层，一个特定的池化层以一个固定尺寸的池化核进行池化运算，其运算原理如下：
（1）一次池化运算的过程为：一个尺寸为pr j ×pr j 的池化核作用于输入图像的待池化区域，计算该待池化区域的各个像素值的平均值，得到本次池化运算的输出数值。
（2）每次池化运算输出一个数值，作为下一层输入图像的一个对应像素值。
（3）一个池化层的池化核对该池化层的输入图像进行从左到右、从上到下、单次移动步长为2个像素点的遍历池化运算，并输出一幅新的图像，作为下一层的一幅输入图像。
D．全连接层，通常在神经网络的后半部分，即连续的卷积层和池化层之后，用于综合前一层所有神经元的特征。
本发明有多个全连接层，其相关参数的确定方法和运算原理如下：
参数的确定方法如下：
建立全连接层时需要确定全连接层中包含的神经元数量。
（1）对于与池化层N p 连接的全连接层N 1 ，其神经元数量等于前一层（池化层N p ）输出图像的像素个数P(N p )。
（2）对于与Softmax层连接的全连接层N f ，其神经元数量等于输入图像集合的类别数N class。
（3）对于中间任意一全连接层k FC ，其神经元数量FN(k FC )由下式计算：
Figure 857972DEST_PATH_IMAGE013
式中
Figure 927559DEST_PATH_IMAGE014
表示按10的倍数取整，
Figure 125323DEST_PATH_IMAGE015
的数值由下式确定：
Figure 797612DEST_PATH_IMAGE016
全连接层的工作原理如下：
（1）全连接层中一个神经元的运算为：将上一层输出的列向量中每一个元素的值做加权求和运算并与本层的偏置值相加，得到该神经元的线性输入值；该神经元的线性输入值经过激活函数作用，得到该神经元的激活输出值。
（2）将所有神经元的激活输出值排列为一个列向量，作为该全连接层的输出。全连接层的工作原理如附图3。
E．Softmax输出层，与全连接层N f 连接，是最后一层，用于将全连接层N f 输出的列向量归一化为概率分布向量，并将概率值最大的分量对应的标签作为最终分类或识别结果。其运算原理如下：
Softmax输出层通过softmax函数，将输入列向量的每一个元素映射为0到1的概率值。Softmax函数的公式如下：
Figure 30011DEST_PATH_IMAGE017
y i 表示输入图像属于分类i的概率， x i 表示Softmax输出层的输入列向量的第i个元素值。
本发明还提供一种变激活函数卷积神经网络的训练方法，包括如下步骤：
建立并训练一个初始卷积神经网络N0；
将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换，得到优化神经网络，替换的激活函数形式如下：
Figure 145865DEST_PATH_IMAGE001
式中x为神经元的线性输入，y为神经元的激活输出，
Figure 830925DEST_PATH_IMAGE002
表示x的i次方项的系数，
Figure 182271DEST_PATH_IMAGE002
为待求参数，设定激活函数系数
Figure 128231DEST_PATH_IMAGE002
的范围为[-15,15]，有效数字为5位；
通过遗传算法对上述的变激活函数参数进行训练，得到训练好的优化神经网络N1。
本发明提供了一种变激活函数卷积神经网络及其训练方法，可提高图像识别准确率，可以通过变激活函数进一步提高卷积神经网络的非线性表达能力，更好地拟合网络的输入与输出之间的关系，且网络整体结构简单，训练算法简便易行，训练时间较短。
附图说明
图1是本发明提供的变激活函数卷积神经网络的结构示意图。
图2是本发明神经网络全连接层工作原理的示意图。
图3是本发明算例中使用的神经网络的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间不构成冲突就可以相互组合。
以Fashion-MNIST数据集作为算例中变激活函数卷积神经网络的训练集和测试集，进行算例分析，比较使用多项式激活函数和使用Relu激活函数的网络对图像的识别精度。
Fashion-MNIST数据集包含了10个类别的图像，分别是：t-shirt（T恤），trouser（牛仔裤），pullover（套衫），dress（裙子），coat（外套），sandal（凉鞋），shirt（衬衫），sneaker（运动鞋），bag（包），ankle boot（短靴）。Fashion-MNIST数据集含有60000张训练图像，10000张测试图像。
本实施例中变激活函数卷积神经网络的结构和超参数设定如表2所示：
表2
Figure 539621DEST_PATH_IMAGE018
Figure 321763DEST_PATH_IMAGE019
Figure 211221DEST_PATH_IMAGE020
Figure 277266DEST_PATH_IMAGE021
Figure 125137DEST_PATH_IMAGE022
采用上述的卷积神经网络结构和各层的超参数设定，建立对Fashion-MNIST数据集进行识别的初始卷积神经网络N0。
根据搭建的初始卷积神经网络N0，训练网络各层的权值和偏置，其训练过程如下：
步骤1：给初始卷积神经网络N0的权重和偏置赋初值。
步骤2：按表3训练超参数选择范围选择初始卷积神经网络N0的训练超参数值。
表3
Figure 391645DEST_PATH_IMAGE023
步骤3：选择训练优化算法为动量梯度下降算法（动量取0.5），选择损失函数为交叉熵函数。
步骤4：根据选择的超参数值、动量梯度下降算法（动量取0.5）和交叉熵损失函数，对初始卷积神经网络N0进行训练。其训练过程如下：
步骤4.1，随机地从训练图像集中抽取256个图像为一批，共抽取B I =234批。
步骤4.2，将B I =234批图像逐批输入，对初始卷积神经网络N0进行训练；每批256个图像经过初始卷积神经网络N0的前向传播得到输出的256组10个分类概率。
步骤4.3，通过计算每256组分类概率与真实概率的交叉熵损失函数值，再对交叉熵损失函数使用动量梯度下降法对网络的权重和偏置进行迭代修正，直到达到预设的迭代周期数为止。
步骤4.4，每个迭代周期之后，计算初始卷积神经网络N0对测试图像集的分类或识别准确率，保存初始卷积神经网络N0对测试图像集的识别准确率最高时的网络的权重和偏置作为初始卷积神经网络N0的训练结果。
步骤5：将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换而得到优化神经网络，替换的激活函数形式如下：
Figure 84795DEST_PATH_IMAGE001
式中x为神经元的线性输入，y为神经元的激活输出，
Figure 880713DEST_PATH_IMAGE002
表示x的i次方项的系数，设 定激活函数系数
Figure 758539DEST_PATH_IMAGE002
的范围为[-15,15]，有效数字为5位。
步骤6：把优化神经网络中的最后一个全连接层中所有神经元的N class =10个激活函数作为个体，将优化神经网络对测试图像集的识别准确率作为个体的适应度，采用遗传算法得到种群中适应度最高的个体，将其作为优化神经网络最后一个全连接层最终的激活函数，得到训练好的优化神经网络N1。
步骤6中通过遗传算法训练优化神经网络的步骤包括：
步骤6.1， 随机创建100个体组成的集合作为初始种群。
步骤6.2， 对步骤6.1得到的初始种群中的每个个体的每个分量值用十位二进制表示。
步骤6.3， 从测试图像集中随机抽取256幅图像，作为优化神经网络的优化测试集，计算初始种群每个个体对优化测试集图像的分类或识别准确率，将该准确率作为对应个体的适应度。
步骤6.4，采用轮盘赌选法，得到参与繁衍的父本和母本，并通过交叉算子和变异算子得到子代个体编码。
步骤6.5，将子代个体编码按照二进制方法解码，得到子代个体。
步骤6.6，计算子代个体的适应度。根据个体适应度数值，保留该子代对应亲代种群50%的最优个体、该子代40%的最优个体和该子代10%的随机个体作为含100个个体的新种群。
步骤6.7，将步骤6.6得到的新种群作为初始种群重复步骤6.2-6.6，直到达到设定的重复次数，取出当前种群中适应度最高的个体，将其作为优化神经网络中的最后一个全连接层的激活函数，得到训练好的优化神经网络N1。
最终训练出的多项式激活函数的系数如表4。
表4
Figure 639907DEST_PATH_IMAGE024
训练后的优化神经网络N1对测试图像集的识别准确率达到87.89%，其识别准确率较使用Relu函数作为激活函数的训练后的初始神经网络N0提高了1.69%。
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种变激活函数卷积神经网络，包括1个输入层、若干卷积层、若干池化层、若干全连接层和1个Softmax输出层，其特征在于：将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换，替换的激活函数形式如下：
Figure DEST_PATH_IMAGE001
式中x为神经元的线性输入，y为神经元的激活输出，
Figure 298369DEST_PATH_IMAGE002
表示x的i次方项的系数，
Figure 745531DEST_PATH_IMAGE002
为 待求参数，设定激活函数系数
Figure 92461DEST_PATH_IMAGE002
的范围为[-15,15]，有效数字为5位；通过遗传算法对上述 的变激活函数参数进行训练，得到训练好的优化神经网络N1。
2.一种变激活函数卷积神经网络的训练方法，其特征在于包括如下步骤：
建立并训练一个初始卷积神经网络N0；
将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换，替换的激活函数形式如下：
Figure 523442DEST_PATH_IMAGE001
式中x为神经元的线性输入，y为神经元的激活输出，
Figure 230498DEST_PATH_IMAGE002
表示x的i次方项的系数，
Figure 63325DEST_PATH_IMAGE002
为 待求参数，设定激活函数系数
Figure 689478DEST_PATH_IMAGE002
的范围为[-15,15]，有效数字为5位；
通过遗传算法对上述的变激活函数参数进行训练，得到训练好的优化神经网络N1。
3.根据权利要求2所述的变激活函数卷积神经网络的训练方法，其特征在于所述变激活函数卷积神经网络的训练过程具体如下：
步骤1，针对需要分类或识别的目标图像集，建立初始卷积神经网络N0，确定其网络结构和超参数，并给各权重和偏置赋初值；
步骤2，根据超参数选择范围选择初始卷积神经网络N0的超参数值；
超参数名称：网络迭代周期数；超参数选择范围：10-100；
超参数名称：学习率；超参数选择范围：0.01-0.15；
超参数名称：每批输入图像个数；超参数选择范围：256；
超参数名称：输入图像批数；超参数选择范围：
Figure 732389DEST_PATH_IMAGE003
，
Figure 633349DEST_PATH_IMAGE004
为训练集图像的个数，
Figure 664890DEST_PATH_IMAGE005
表示向下取整；
步骤3，选择训练优化算法为动量梯度下降算法，动量取0.5，选择损失函数为交叉熵函数；
步骤4，根据选择的超参数值、动量梯度下降算法和交叉熵损失函数，对初始卷积神经网络N0进行训练：
步骤5，将训练好的初始卷积神经网络N0的最后一个全连接层中每个神经元的激活函数进行替换而得到优化神经网络，替换的激活函数形式如下：
Figure 993103DEST_PATH_IMAGE001
式中x为神经元的线性输入，y为神经元的激活输出，
Figure 867518DEST_PATH_IMAGE002
表示x的i次方项的系数，设定激 活函数系数
Figure 195338DEST_PATH_IMAGE002
的范围为[-15,15]，有效数字为5位；
步骤6，把优化神经网络中的最后一个全连接层中所有神经元的N class 个激活函数作为个体，将优化神经网络对测试图像集的识别准确率作为个体的适应度，采用遗传算法得到种群中适应度最高的个体，将其作为优化神经网络最后一个全连接层最终的激活函数，得到训练好的优化神经网络N1。
4.根据权利要求3所述的变激活函数卷积神经网络的训练方法，其特征在于步骤4中“对初始卷积神经网络N0进行训练”具体包括：
步骤4.1，随机地从训练图像集中抽取256个图像为一批，共抽取B I 批；
步骤4.2，将B I 批图像逐批输入，对初始卷积神经网络N0进行训练；每批256个图像经过初始卷积神经网络N0的前向传播得到输出的256组N class 个分类概率；
步骤4.3，通过计算每256组分类概率与真实概率的交叉熵损失函数值，再对交叉熵损失函数使用动量梯度下降法对网络的权重和偏置进行迭代修正，直到达到预设的迭代周期数为止；
步骤4.4，每个迭代周期之后，计算初始卷积神经网络N0对测试图像集的分类或识别准确率，保存初始卷积神经网络N0对测试图像集的识别准确率最高时的网络的权重和偏置作为初始卷积神经网络N0的训练结果。
5.根据权利要求3所述的变激活函数卷积神经网络的训练方法，其特征在于步骤6中通过遗传算法训练优化神经网络的步骤具体包括：
步骤6.1，随机创建100个个体组成的集合作为初始种群；
步骤6.2， 对步骤6.1得到的初始种群中的每个个体的每个分量值用十位二进制表示；
步骤6.3， 从测试图像集中随机抽取256幅图像，作为优化神经网络的优化测试集，计算初始种群每个个体对优化测试集图像的分类或识别准确率，将该准确率作为对应个体的适应度；
步骤6.4， 采用轮盘赌选法，得到参与繁衍的父本和母本，并通过交叉算子和变异算子得到子代个体编码；
步骤6.5， 将子代个体编码按照二进制方法解码，得到子代个体；
步骤6.6， 计算子代个体的适应度，根据个体适应度数值，保留该子代对应亲代种群50%的最优个体、该子代40%的最优个体和该子代10%的随机个体作为含100个个体的新种群；
步骤6.7，将步骤6.6得到的新种群作为初始种群重复步骤6.2-6.6，直到达到设定的重复次数，取出当前种群中适应度最高的个体，将其作为优化神经网络中的最后一个全连接层的激活函数，得到训练好的优化神经网络N1。
CN202210532755.0A 2022-05-17 2022-05-17 一种基于变激活函数卷积神经网络的图像识别方法 Active CN114662678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210532755.0A CN114662678B (zh) 2022-05-17 2022-05-17 一种基于变激活函数卷积神经网络的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210532755.0A CN114662678B (zh) 2022-05-17 2022-05-17 一种基于变激活函数卷积神经网络的图像识别方法

Publications (2)

Publication Number Publication Date
CN114662678A true CN114662678A (zh) 2022-06-24
CN114662678B CN114662678B (zh) 2023-04-07

Family

ID=82037001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210532755.0A Active CN114662678B (zh) 2022-05-17 2022-05-17 一种基于变激活函数卷积神经网络的图像识别方法

Country Status (1)

Country Link
CN (1) CN114662678B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556208A (zh) * 2023-11-20 2024-02-13 中国地质大学（武汉） 多模态数据的智能卷积通用网络预测方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064434A (zh) * 2018-06-28 2018-12-21 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN110197111A (zh) * 2018-02-27 2019-09-03 意法半导体国际有限公司 用于深度学习引擎的加速单元
CN110222830A (zh) * 2019-06-13 2019-09-10 中国人民解放军空军工程大学 一种基于自适应遗传算法优化的深度前馈网络故障诊断方法
CN110543901A (zh) * 2019-08-22 2019-12-06 阿里巴巴集团控股有限公司 图像识别方法、装置及设备
CN110974211A (zh) * 2019-12-09 2020-04-10 上海数创医疗科技有限公司 高阶多项式激活函数的st段分类神经网络及其应用
CN111353313A (zh) * 2020-02-25 2020-06-30 四川翼飞视科技有限公司 基于进化神经网络架构搜索的情感分析模型构建方法
CN112183720A (zh) * 2019-10-31 2021-01-05 谷歌有限责任公司 光滑连续分段构造的激活函数
CN112597890A (zh) * 2020-12-21 2021-04-02 杭州电子科技大学 基于多维泰勒网的人脸识别方法
US20210287089A1 (en) * 2020-03-14 2021-09-16 DataRobot, Inc. Automated and adaptive design and training of neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197111A (zh) * 2018-02-27 2019-09-03 意法半导体国际有限公司 用于深度学习引擎的加速单元
CN109064434A (zh) * 2018-06-28 2018-12-21 广州视源电子科技股份有限公司 图像增强的方法、装置、存储介质及计算机设备
CN110222830A (zh) * 2019-06-13 2019-09-10 中国人民解放军空军工程大学 一种基于自适应遗传算法优化的深度前馈网络故障诊断方法
CN110543901A (zh) * 2019-08-22 2019-12-06 阿里巴巴集团控股有限公司 图像识别方法、装置及设备
CN112183720A (zh) * 2019-10-31 2021-01-05 谷歌有限责任公司 光滑连续分段构造的激活函数
CN110974211A (zh) * 2019-12-09 2020-04-10 上海数创医疗科技有限公司 高阶多项式激活函数的st段分类神经网络及其应用
CN111353313A (zh) * 2020-02-25 2020-06-30 四川翼飞视科技有限公司 基于进化神经网络架构搜索的情感分析模型构建方法
US20210287089A1 (en) * 2020-03-14 2021-09-16 DataRobot, Inc. Automated and adaptive design and training of neural networks
CN112597890A (zh) * 2020-12-21 2021-04-02 杭州电子科技大学 基于多维泰勒网的人脸识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556208A (zh) * 2023-11-20 2024-02-13 中国地质大学（武汉） 多模态数据的智能卷积通用网络预测方法、设备及介质
CN117556208B (zh) * 2023-11-20 2024-05-14 中国地质大学（武汉） 多模态数据的智能卷积通用网络预测方法、设备及介质

Also Published As

Publication number Publication date
CN114662678B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108334949B (zh) 一种基于优化深度卷积神经网络结构快速进化的图像分类器构建方法
CN106529574B (zh) 基于稀疏自动编码器和支持向量机的图像分类方法
CN109192298B (zh) 基于脑网络的深度脑疾病诊断算法
CN106682385B (zh) 健康信息交互系统
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN111444924B (zh) 一种病虫害检测及灾害等级分析方法及系统
CN112508104A (zh) 一种基于快速网络架构搜索的跨任务图像分类方法
CN107480702A (zh) 面向hcc病理图像识别的特征选择与特征融合方法
WO2022126448A1 (zh) 一种基于演化学习的神经网络结构搜索方法和系统
CN114662678B (zh) 一种基于变激活函数卷积神经网络的图像识别方法
Zhou et al. Evolutionary shallowing deep neural networks at block levels
CN106447117B (zh) 基于宠物日常数据分析的宠物喂养方法及系统
CN103914527B (zh) 一种基于新编码方式的遗传规划算法的图形图像识别与匹配方法
CN113688765A (zh) 一种基于注意力机制的自适应图卷积网络的动作识别方法
CN112084877A (zh) 基于nsga-net的遥感图像识别方法
CN115116139A (zh) 基于图卷积网络的多粒度人体动作分类方法
CN115345222A (zh) 一种基于TimeGAN模型的故障分类方法
CN114241267A (zh) 基于结构熵采样的多目标架构搜索骨质疏松图像识别方法
CN107578822A (zh) 一种针对医疗多模态大数据的预处理及特征提取方法
CN113269617A (zh) 一种基于图像编码的大规模多目标优化的商品推荐方法
Zhu et al. Gp-cnas: Convolutional neural network architecture search with genetic programming
CN115985503B (zh) 基于集成学习的癌症预测系统
CN115588487A (zh) 一种基于联邦学习和生成对抗网络的医学图像数据集制作方法
Yan et al. ASMEvoNAS: Adaptive segmented multi-objective evolutionary network architecture search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant