CN114912589B - 一种基于全连接神经网络优化的图像识别方法 - Google Patents

一种基于全连接神经网络优化的图像识别方法 Download PDF

Info

Publication number
CN114912589B
CN114912589B CN202210840018.7A CN202210840018A CN114912589B CN 114912589 B CN114912589 B CN 114912589B CN 202210840018 A CN202210840018 A CN 202210840018A CN 114912589 B CN114912589 B CN 114912589B
Authority
CN
China
Prior art keywords
network
optimization
image recognition
neural network
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210840018.7A
Other languages
English (en)
Other versions
CN114912589A (zh
Inventor
刘鑫
杨志祥
熊筠轲
程佳斌
余将其
皮辉
杨小涛
谈俊
郭朝霞
许雷
范俊甫
蔡烨彬
谢倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Csic Wuhan Lingjiu Hi Tech Co ltd
Original Assignee
Csic Wuhan Lingjiu Hi Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Csic Wuhan Lingjiu Hi Tech Co ltd filed Critical Csic Wuhan Lingjiu Hi Tech Co ltd
Priority to CN202210840018.7A priority Critical patent/CN114912589B/zh
Publication of CN114912589A publication Critical patent/CN114912589A/zh
Application granted granted Critical
Publication of CN114912589B publication Critical patent/CN114912589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明适用于图像识别工程以及人工智能和智能优化计算技术领域，提供一种基于全连接神经网络优化的图像识别方法。本发明将训练模型精度和网络整体参数量作为两个优化目标建立多目标优化模型，然后在搜索空间内对参数范围内的网络结构进行随机组合，得到最佳深度学习神经网络结构，从而提高图像识别的精度和效率。

Description

一种基于全连接神经网络优化的图像识别方法
技术领域
本发明属于图像识别工程以及人工智能和智能优化计算技术领域，尤其涉及一种基于全连接神经网络优化的图像识别方法。
背景技术
图像识别技术是信息时代的一门重要的技术，其产生目的是为了让计算机代替人类去处理大量的物理信息。随着计算机技术的发展，人类对图像识别技术的认识越来越深刻。神经网络图像识别技术是一种比较新型的图像识别技术，是在传统的图像识别方法和基础上融合神经网络算法的一种图像识别方法。在神经网络图像识别技术中，遗传算法与BP网络相融合的神经网络图像识别模型是非常经典的，在很多领域都有它的应用。在图像识别系统中利用神经网络系统，一般会先提取图像的特征，再利用图像所具有的特征映射到神经网络进行图像识别分类。
而深度学习是一种能够拟合复杂非线性函数的神经网络模型，已经逐渐成为人工智能领域的主流研究方向。不同类型神经网络的准确性和收敛性依赖于超参数，这些参数通常是任意选择的。Motta等人对网络的超参数进行调整，使图像识别的准确率从76%提高到93%，可以看出超参数的选择能够显著影响算法的性能。因此可知通过优化超参数可以提升图像识别准确率。早期的深度神经网络结构多依靠人工经验进行设计，但随着深度神经网络的不断发展，大量的超参数选择和组合增加了人工设计网络的难度，故而对超参数的自动优化有了强烈的需求。此外，随着研究的不断深入，网络模型逐渐复杂，参数的计算量也逐渐增大。因此，图像识别神经网络中，超参数的选择及减少网络整体参数量是网络优化中需要解决的一个重要问题。
目前的深度神经网络的优化主要实现特定网络结构的超参数优化，不能保证参数优化达到全局最优，又因为网络结构是预先设定的，也限制了网络处理特定需求问题的能力。常见的算法都只能用向量表示网络超参数组合，不能将网络隐藏层层数及隐藏层神经元数量等网络结构结合在一起用向量表示并进行优化计算。因此，现有图像识别神经网络的网络结构和网络参数不能同时优化，以及计算量过大，不利于提高图像识别精度和识别效率。
发明内容
鉴于上述问题，本发明的目的在于提供一种基于全连接神经网络优化的图像识别方法，旨在解决现有神经网络图像识别识别精度和识别效率均不高的技术问题。
本发明采用如下技术方案：
所述基于全连接神经网络优化的图像识别方法，包括下述步骤：
步骤S1、选择图像数据集作为训练样本输入至图像识别的全连接神经网络，以全连接神经网络结构及超参数作为优化目标，根据参数列表和参数取值步长构建优化目标向量；
步骤S2、根据所述优化目标向量，建立图像识别网络参数量优化目标函数，以使网络能够自适应调整隐藏层层数、减少网络整体计算量；
步骤S3、根据所述图像识别网络参数量优化目标函数并结合图像识别精度优化目标函数构建适应度函数，建立图像识别网络多目标优化模型；
步骤S4、根据所述多目标优化模型，利用遗传算法进行优化计算，得到Pareto最优面，根据输出判断得到最优全连接神经网络结构，最后进行图像识别计算。
进一步的，所述步骤S1具体过程如下：
S11、选择图像数据集作为训练样本输入至图像识别的全连接神经网络，以全连接网络结构及超参数作为优化目标，设置参数列表；
S12、根据参数列表和参数取值步长构建优化目标向量，优化目标向量表达式为：
Figure 904751DEST_PATH_IMAGE001
其中，
Figure 759575DEST_PATH_IMAGE002
为第
Figure 476995DEST_PATH_IMAGE003
层隐藏层的神经元数量，
Figure 809887DEST_PATH_IMAGE004
为第
Figure 561943DEST_PATH_IMAGE003
层隐藏层选择的激活函数，
Figure 322088DEST_PATH_IMAGE005
为网络选择的优化器，
Figure 933329DEST_PATH_IMAGE006
为网络选择的学习率；
S13、确定优化目标向量的上下限表达式：
Figure 335492DEST_PATH_IMAGE007
其中
Figure 942053DEST_PATH_IMAGE008
为优化目标向量上限，
Figure 873100DEST_PATH_IMAGE009
为优化目标向量下限，
Figure 576832DEST_PATH_IMAGE010
和
Figure 251527DEST_PATH_IMAGE011
分别为第
Figure 712595DEST_PATH_IMAGE012
层隐藏层神经元数量可取范围的上下边界，
Figure 142439DEST_PATH_IMAGE013
和
Figure 259431DEST_PATH_IMAGE014
分别为第
Figure 534554DEST_PATH_IMAGE015
层隐藏层的激活函数可取范围的上下边界，
Figure 53392DEST_PATH_IMAGE016
和
Figure 388558DEST_PATH_IMAGE017
为网络优化器可取范围的上下边界，
Figure 992846DEST_PATH_IMAGE018
和
Figure 415868DEST_PATH_IMAGE019
为网络学习率可取范围的上下边界；
S14、根据参数列表和优化目标向量，得到搜索空间计算表达式。
进一步的，所述步骤S2具体过程如下：
S21、根据优化目标向量构建图像识别网络结构优化模型；
S22、根据优化目标向量构建图像识别网络参数量优化模型；
S23、构建图像识别网络参数量优化目标函数
Figure 851529DEST_PATH_IMAGE020
，用以描述网络整体参数量。
进一步的，所述步骤S3具体过程如下：
S31、通过优化网络结构使得训练精度最大化，建立图像识别精度目标函数；
S32、联合图像识别精度优化目标函数和参数量优化目标函数，构建适应度函数
Figure 357596DEST_PATH_IMAGE021
，建立多目标优化函数
Figure 714759DEST_PATH_IMAGE022
，
Figure 534948DEST_PATH_IMAGE023
表示取最大值，
Figure 90694DEST_PATH_IMAGE024
表示取最小值；
S33、建立图像识别网络多目标优化模型：
Figure 970925DEST_PATH_IMAGE025
其中，
Figure 346543DEST_PATH_IMAGE026
为原始网络精度，
Figure 704843DEST_PATH_IMAGE027
为网络精度提升目标，
Figure 115096DEST_PATH_IMAGE028
为Tensorflow自适应方法的精度，
Figure 166229DEST_PATH_IMAGE029
为原始网络参数量。
进一步的，所述步骤S4具体过程如下：
S41、随机生成输入向量
Figure 294722DEST_PATH_IMAGE030
，并设置遗传算法参数；
S42、根据随机生成的输入向量
Figure 456713DEST_PATH_IMAGE030
初始化个体，形成初始种群，计算种群中每个个体的适应度，根据适应度进行非支配排序，通过复制、交叉及变异操作生成下一代个体；
S43、开始遗传流程设置迭代MAX_GEN代，若迭代过程未满MAX_GEN代则更新种群中个体适应度，进行快速非支配排序，并计算拥挤度，利用拥挤度进行种群内选择，保留精英并产生下一代种群；若迭代过程已满MAX_GEN代则输出进化生成的Pareto最优面解集；
S44、如果进化生成的模型的网络识别精度以及网络参数量均满足多目标优化模型的三个限定条件，则输出当前网络结构为最佳深度学习网络结构，否则继续步骤S43的遗传流程，直至得到图像识别最优全连接神经网络结构；
S45、选择目标识别图像，将目标识别图像输入至所述最优全连接神经网络进行图像识别计算。
本发明的有益效果是：
1、针对现有图像识别中深度神经网络优化的向量表示方法无法同时包含网络结构和超参数问题，本发明提供了一种方便计算的优化网络结构的多目标向量表示方法，使网络能够同时对网络结构及网络超参数进行优化。
2、针对现有图像识别中深度神经网络优化大多为单目标优化问题，本发明构建了一种网络优化的多目标优化函数，形成以训练模型精度和网络整体参数量为优化目标的多目标优化模型，解决了网络结构和网络参数不能同时优化以及网络优化整体参数量过大导致的网络搜索计算量较大的问题。
3、本发明提供的基于全连接神经网络优化的图像识别方法能够针对特定的需求问题，在搜索空间内对参数范围内的网络结构进行随机组合，得到最优全连接神经网络结构，从而提高图像识别的精度和效率。
附图说明
图1是本发明实施例提供的基于全连接神经网络优化的图像识别方法；
图2是本发明实施例提供的步骤S3中神经网络结构示意图；
图3是本发明实施例提供的步骤S4的实现流程图；
图4是本发明实施例提供的步骤S4的实例最优解集选择图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的基于全连接神经网络优化的图像识别方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。
如图1所示，本实施例提供的基于全连接神经网络优化的图像识别方法包括下述步骤：
步骤S1、选择图像数据集作为训练样本输入至图像识别的全连接神经网络，以全连接神经网络结构及超参数作为优化目标，根据参数列表和参数取值步长构建优化目标向量。
背景技术中有描述，可优化图像识别的神经网络以提高图像识别准确率和效率。目前传统的优化方法都只能用向量表示网络超参数组合，不能将网络隐藏层层数及隐藏层神经元数量等网络结构结合在一起用向量表示并进行优化计算。因此本步骤通过以网络结构及超参数作为优化目标设计优化目标向量。具体的，本步骤过程实现过程如下：
S11、选择图像数据集作为训练样本输入至图像识别的全连接神经网络，以全连接网络结构及超参数作为优化目标，设置参数列表。
比如设置的参数列表包括五个可自适应的参数：隐藏层层数、隐藏层神经元数量、隐藏层激活函数、网络优化器和网络学习率。参数列表具体如下：
Figure 455893DEST_PATH_IMAGE031
其中，
Figure 677927DEST_PATH_IMAGE032
为网络隐藏层的数量，
Figure 28137DEST_PATH_IMAGE033
为每层隐藏层的神经元数量，
Figure 993819DEST_PATH_IMAGE034
为第
Figure 519609DEST_PATH_IMAGE035
层隐藏层的神经元数量，
Figure 646965DEST_PATH_IMAGE036
为可选激活函数列表，
Figure 484471DEST_PATH_IMAGE037
为可选的第
Figure 988265DEST_PATH_IMAGE038
种激活函数，
Figure 215897DEST_PATH_IMAGE039
为
Figure 514155DEST_PATH_IMAGE036
中任意一种激活函数，
Figure 838957DEST_PATH_IMAGE040
为可选优化器列表，
Figure 739917DEST_PATH_IMAGE041
为可选的第
Figure 568195DEST_PATH_IMAGE042
种优化器，
Figure 302933DEST_PATH_IMAGE043
为
Figure 787135DEST_PATH_IMAGE040
中任意一种优化器，
Figure 898311DEST_PATH_IMAGE044
为可选学习率列表，
Figure 846675DEST_PATH_IMAGE045
为可选的第
Figure 955577DEST_PATH_IMAGE046
种学习率，
Figure 989392DEST_PATH_IMAGE047
为
Figure 638679DEST_PATH_IMAGE044
中任意一种学习率。以手写数字图像MNIST数据集为例，可以选择如下参数：
Figure 441550DEST_PATH_IMAGE048
，
Figure 518090DEST_PATH_IMAGE049
，
Figure 39201DEST_PATH_IMAGE050
，
Figure 757759DEST_PATH_IMAGE051
，
Figure 680715DEST_PATH_IMAGE052
。
S12、根据参数列表和参数取值步长构建优化目标向量，优化目标向量表达式为：
Figure 928157DEST_PATH_IMAGE053
其中，
Figure 936564DEST_PATH_IMAGE034
为第
Figure 927654DEST_PATH_IMAGE054
层隐藏层的神经元数量，
Figure 705117DEST_PATH_IMAGE055
为第
Figure 529985DEST_PATH_IMAGE054
层隐藏层选择的激活函数，
Figure 760109DEST_PATH_IMAGE056
为网络选择的优化器，
Figure 554890DEST_PATH_IMAGE057
为网络选择的学习率。
网络隐藏层最大为
Figure 186859DEST_PATH_IMAGE054
层时，优化目标向量
Figure 776104DEST_PATH_IMAGE058
由长度为
Figure 759103DEST_PATH_IMAGE059
的列表表示。
Figure 357575DEST_PATH_IMAGE058
是复杂变量组合形成的向量，向量表示为：
Figure 109630DEST_PATH_IMAGE060
其中，
Figure 869776DEST_PATH_IMAGE061
为隐藏层神经元数量
Figure 74492DEST_PATH_IMAGE062
，
Figure 222794DEST_PATH_IMAGE063
为第
Figure 563777DEST_PATH_IMAGE064
层隐藏层的神经元数量，
Figure 760403DEST_PATH_IMAGE065
为隐藏层选择的激活函数
Figure 983574DEST_PATH_IMAGE066
，
Figure 658269DEST_PATH_IMAGE067
为第
Figure 119337DEST_PATH_IMAGE064
层隐藏层选择的激活函数，
Figure 486864DEST_PATH_IMAGE068
为该网络选择的优化器
Figure 400594DEST_PATH_IMAGE069
，
Figure 878980DEST_PATH_IMAGE070
为该网络选择的优化器，
Figure 928975DEST_PATH_IMAGE071
为该网络选择的学习率
Figure 139508DEST_PATH_IMAGE072
，
Figure 71692DEST_PATH_IMAGE073
为该网络选择的学习率。因此优化目标向量
Figure 822610DEST_PATH_IMAGE074
又可表示为：
Figure 258271DEST_PATH_IMAGE075
。
S13、确定优化目标向量的上下限表达式：
Figure 702021DEST_PATH_IMAGE076
其中
Figure 183818DEST_PATH_IMAGE077
为优化目标向量上限，
Figure 4007DEST_PATH_IMAGE078
为优化目标向量下限，
Figure 294174DEST_PATH_IMAGE079
和
Figure 174405DEST_PATH_IMAGE080
分别为第
Figure 550023DEST_PATH_IMAGE081
层隐藏层神经元数量可取范围的上下边界，
Figure 908323DEST_PATH_IMAGE082
和
Figure 725100DEST_PATH_IMAGE083
分别为第
Figure 510654DEST_PATH_IMAGE081
层隐藏层的激活函数可取范围的上下边界，
Figure 373568DEST_PATH_IMAGE084
和
Figure 535559DEST_PATH_IMAGE085
为网络优化器可取范围的上下边界，
Figure 800318DEST_PATH_IMAGE086
和
Figure 22352DEST_PATH_IMAGE087
为网络学习率可取范围的上下边界。
S14、根据参数列表和优化目标向量，得到搜索空间计算表达式：
Figure 372562DEST_PATH_IMAGE088
其中，
Figure 603823DEST_PATH_IMAGE089
，
Figure 723089DEST_PATH_IMAGE090
为优化器的种类数，
Figure 116024DEST_PATH_IMAGE091
为学习率的种类数，
Figure 941811DEST_PATH_IMAGE092
为激活函数的种类数，
Figure 445605DEST_PATH_IMAGE093
为每层隐藏层的可选神经元数，
Figure 684956DEST_PATH_IMAGE094
和
Figure 248793DEST_PATH_IMAGE095
为第
Figure 573595DEST_PATH_IMAGE096
层隐藏层神经元数量可取范围的上下边界，
Figure 615500DEST_PATH_IMAGE097
为取值间隔即步长，
Figure 709358DEST_PATH_IMAGE098
表示取整。以上述MNIST图像数据集所选参数为例，搜索空间为：
Figure 444096DEST_PATH_IMAGE099
。
步骤S2、根据所述优化目标向量，建立图像识别网络参数量优化目标函数，以使网络能够自适应调整隐藏层层数、减少网络整体计算量；
本步骤设计一种参数优化规则建立参数目标优化函数，以实现网络能够自适应调整隐藏层层数，减少网络整体计算量。本步骤具体实现过程如下：
S21、根据优化目标向量构建图像识别网络结构优化模型。
为了自动优化隐藏层数，设置隐藏层的神经元取值可以取到零或负值，取到零或负值的隐藏层意表示此层及以后的隐藏层都不会添加到网络中，达到网络层数自动优化的效果。网络结构优化模型的网络层数变换规则为：
当
Figure 990615DEST_PATH_IMAGE100
且
Figure 570632DEST_PATH_IMAGE101
，此时
Figure 518996DEST_PATH_IMAGE102
，
Figure 362319DEST_PATH_IMAGE103
。比如，设定
Figure 396134DEST_PATH_IMAGE104
，且隐藏层神经元取值范围为：
Figure 779842DEST_PATH_IMAGE105
，
Figure 910609DEST_PATH_IMAGE106
。当隐藏层神经元取值为
Figure 518308DEST_PATH_IMAGE107
时，隐藏层表示为
Figure 39419DEST_PATH_IMAGE108
；当隐藏层神经元取值为
Figure 226818DEST_PATH_IMAGE109
时，隐藏层表示为
Figure 884195DEST_PATH_IMAGE110
，即只取一层隐藏层，且隐藏层神经元数量为30个。因此，为了保证至少有
Figure 397216DEST_PATH_IMAGE111
个隐藏层，后续遗传算中可以设置染色体前
Figure 405623DEST_PATH_IMAGE111
个参数始终大于零。
S22、根据优化目标向量构建图像识别网络参数量优化模型。
网络随机输入向量
Figure 537658DEST_PATH_IMAGE112
：
Figure 315122DEST_PATH_IMAGE113
设置随机输入向量与网络参数对应关系为：
Figure 733465DEST_PATH_IMAGE114
其中，
Figure 963589DEST_PATH_IMAGE115
为随即输入向量，
Figure 758369DEST_PATH_IMAGE116
为取值间隔即步长，
Figure 390339DEST_PATH_IMAGE117
表示取整。
Figure 979583DEST_PATH_IMAGE115
中的取值除以步长后取整，得到的整数为相应参数列表的索引值。
Figure 556058DEST_PATH_IMAGE118
为隐藏层神经元个数，若值小于等于零，则此层不会添加到网络中；
Figure 826634DEST_PATH_IMAGE119
为激活函数参数列表对应索引值；
Figure 313110DEST_PATH_IMAGE120
为优化器参数列表对应索引值；
Figure 163053DEST_PATH_IMAGE121
为学习率参数列表对应索引值。向量参数为取值范围中离散的数值，因此用循环在每个区间种随机生成一个离散值，根据网络层数变化规则，最终计算出的输入向量为：
Figure 367770DEST_PATH_IMAGE122
显然
Figure 238774DEST_PATH_IMAGE123
，
Figure 314177DEST_PATH_IMAGE124
，
Figure 448486DEST_PATH_IMAGE125
，
Figure 140499DEST_PATH_IMAGE126
。
S23、构建图像识别网络参数量优化目标函数
Figure 80773DEST_PATH_IMAGE127
，用以描述网络整体参数量。
以全连接神经网络为例，参数优化目标函数
Figure 807421DEST_PATH_IMAGE127
为：
Figure 643790DEST_PATH_IMAGE128
其中，
Figure 88677DEST_PATH_IMAGE129
为第
Figure 567063DEST_PATH_IMAGE130
层隐藏层的神经元数量，
Figure 882638DEST_PATH_IMAGE131
为输入图片的长度，
Figure 421067DEST_PATH_IMAGE132
为输入图片的宽度。
步骤S3、根据所述图像识别网络参数量优化目标函数并结合图像识别精度优化目标函数构建适应度函数，建立图像识别网络多目标优化模型。
本步骤主要通过图像识别网络参数量优化目标函数和精度优化目标函数建立图像识别网络多目标优化模型，具体实现过程如下：
S31、通过优化网络结构使得训练精度最大化，建立图像识别精度目标函数。
如图2所示网络结构，网络的输入为
Figure 87672DEST_PATH_IMAGE133
，隐藏层的神经元为
Figure 369748DEST_PATH_IMAGE134
，其计算式为
Figure 211934DEST_PATH_IMAGE135
，输出层的神经元为
Figure 655684DEST_PATH_IMAGE136
，其计算式为
Figure 75164DEST_PATH_IMAGE137
。其中，
Figure 895353DEST_PATH_IMAGE138
为输入层的第
Figure 451099DEST_PATH_IMAGE139
个神经元的输入变量，
Figure 206697DEST_PATH_IMAGE140
为从输入层第
Figure 441369DEST_PATH_IMAGE141
个神经元指向第一层的第
Figure 206194DEST_PATH_IMAGE141
个神经元的权重，
Figure 350867DEST_PATH_IMAGE142
为从隐藏层第
Figure 667579DEST_PATH_IMAGE143
层第
Figure 530493DEST_PATH_IMAGE141
个神经元指向第
Figure 692484DEST_PATH_IMAGE144
层的第
Figure 957243DEST_PATH_IMAGE141
个神经元的权重，
Figure 913698DEST_PATH_IMAGE145
为从隐藏层第
Figure 252189DEST_PATH_IMAGE146
层第
Figure 217871DEST_PATH_IMAGE141
个神经元指向输出层的权重，
Figure 337137DEST_PATH_IMAGE147
为隐藏层第
Figure 730072DEST_PATH_IMAGE143
层的第
Figure 567578DEST_PATH_IMAGE141
个神经元，
Figure 805792DEST_PATH_IMAGE148
为第
Figure 45144DEST_PATH_IMAGE149
层隐藏层神经元的个数，
Figure 343401DEST_PATH_IMAGE150
为激活函数。
优化网络结构的目的之一是为了使训练精度最大化，本步骤建立精度目标函数
Figure 668203DEST_PATH_IMAGE151
，用以描述网络的训练精度。其中，
Figure 710109DEST_PATH_IMAGE152
为预测正确的结果，
Figure 663021DEST_PATH_IMAGE153
为预测错误的结果。
S32、联合图像识别精度优化目标函数和参数量优化目标函数，构建适应度函数
Figure 538704DEST_PATH_IMAGE154
，建立多目标优化函数
Figure 944278DEST_PATH_IMAGE155
，
Figure 789874DEST_PATH_IMAGE156
表示取最大值，
Figure 738239DEST_PATH_IMAGE157
表示取最小值。
S33、建立图像识别网络多目标优化模型：
Figure 643878DEST_PATH_IMAGE158
其中，
Figure 412113DEST_PATH_IMAGE159
为原始网络精度，
Figure 326980DEST_PATH_IMAGE160
为网络精度提升目标，
Figure 129851DEST_PATH_IMAGE161
为Tensorflow自适应方法的精度，
Figure 940812DEST_PATH_IMAGE162
为原始网络参数量。
步骤S4、根据所述多目标优化模型，利用遗传算法进行优化计算，得到Pareto最优面，根据输出判断得到最优全连接神经网络结构，最后进行进行图像识别计算。
结合图3所示，本步骤具体过程如下：
S41、随机生成输入向量
Figure 461923DEST_PATH_IMAGE163
，并设置遗传算法参数。
本实施例中，按照上述参数列表，可选择的输入向量包括网络隐藏层数取值范围、隐藏层的神经元数量取值范围、隐藏层的激活函数取值范围、网络的优化器取值范围、网络的学习率取值范围。设置的遗传算法参数包括种群规模、交叉概率、变异概率、倒位概率、最大代数、最佳个体列表规模等。
以MNIST图像数据集为例，选择参数为
Figure 649322DEST_PATH_IMAGE164
时，网络识别精度为96.27%，网络整体参数量为30063；选择参数为
Figure 837858DEST_PATH_IMAGE165
时，网络识别精度为96.22%，网络整体参数量为29775；选择参数为
Figure 85300DEST_PATH_IMAGE166
时，网络识别精度为96.44%，网络整体参数量为27555。因此选择全部参数作为输入向量。
S42、根据随机生成的输入向量
Figure 234652DEST_PATH_IMAGE163
初始化个体，形成初始种群，计算种群中每个个体的适应度，根据适应度进行非支配排序，通过复制、交叉及变异操作生成下一代个体。
S43、开始遗传流程设置迭代MAX_GEN代，若迭代过程未满MAX_GEN代则更新种群中个体适应度，进行快速非支配排序，并计算拥挤度，利用拥挤度进行种群内选择，保留精英并产生下一代种群；若迭代过程已满MAX_GEN代则输出进化生成的Pareto最优面解集。
本实施例神经网络优化的本质是将待优化参数进行枚举，根据图像数据集的训练样本，每种参数情况都进行训练，然后测试精度，这是机器学习优化的基本步骤。本步骤遗传流程中迭代的过程就是枚举训练的过程，正因为枚举次数太多，也就是搜索空间太大，故而利用遗传算法自动寻优，找到相对优的解。以MNIST图像数据集为例，输出的Pareto最优面解集如图4所示，当精度优化目标函数
Figure 225742DEST_PATH_IMAGE167
提高时，参数量优化目标函数
Figure 268784DEST_PATH_IMAGE168
对应增加；当精度优化目标函数
Figure 952707DEST_PATH_IMAGE167
减小时，参数量优化目标函数
Figure 448410DEST_PATH_IMAGE168
对应减小。菱形标志的结果为解集中
Figure 977612DEST_PATH_IMAGE167
最大时的最优解，但优化的目标是得到较大的精度优化目标函数
Figure 875160DEST_PATH_IMAGE167
和较低的参数量优化目标函数
Figure 729984DEST_PATH_IMAGE168
，从图中可以看出一个目标函数的提升伴随着另一个目标函数的牺牲，因此根据实际输出要求
Figure 459123DEST_PATH_IMAGE167
大于0.95且
Figure 792015DEST_PATH_IMAGE168
小于33000，即虚线所示右下角范围，五角星标志的结果为最优解。
S44、如果进化生成的模型的网络精度以及网络参数量均满足多目标优化模型的三个限定条件，则输出当前网络结构为最优全连接神经网络结构，否则继续步骤S43的遗传流程，直至得到最优全连接神经网络结构。
经过前述S43遗传流程后，对进化生成的模型进行判断。若进化生成的模型精度
Figure 544071DEST_PATH_IMAGE169
在经验设置的模型精度
Figure 304216DEST_PATH_IMAGE170
基础上提高了一定程度，如提高了
Figure 243353DEST_PATH_IMAGE171
，且比Tensorflow框架自动优化的模型适应度
Figure 379937DEST_PATH_IMAGE172
高，且进化生成的模型网络参数量
Figure 720919DEST_PATH_IMAGE173
比经验设置的模型网络参数量
Figure 651966DEST_PATH_IMAGE174
减少了一定程度，如减少了10%，则认定满足多目标优化模型的三个限定条件，输出该网络结构为最佳网络结构，反之则继续S43中的操作。因此最终可以得到最优全连接神经网络结构。
步骤S45、选择目标识别图像，将目标识别图像输入至所述最优全连接神经网络进行图像识别计算。
当建立好最优全连接神经网络后，对于需要识别的目标识别图像，将图像输入至最优全连接神经网络中，通过神经网络的图像识别计算，即可输出目标识别结果。由于此全连接申请网络是通过网络结构和网络参数同时优化的神经网络，因此可明显提高图像的识别精度和效率。
综上，现有技术中的遗传算法是一种常见的随机搜索与优化算法，针对深度神经网络的结构优化问题，本发明基于图像识别领域提供一种基于全连接神经网络的优化方法，解决了网络结构和网络参数不能同时优化的问题和网络优化整体参数量过大导致的网络搜索计算量较大的问题。对于大型神经网络，如YOLOv5等，可以截取其网络结构中的部分卷积网络模块进行网络优化操作，并将优化后的网络结构替换到整体结构中，能够降低网络训练所需资源，提高网络训练效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于全连接神经网络优化的图像识别方法，其特征在于，所述方法包括下述步骤：
步骤S1、选择图像数据集作为训练样本输入至图像识别的全连接神经网络，以全连接神经网络结构及超参数作为优化目标，根据参数列表和参数取值步长构建优化目标向量；
步骤S2、根据所述优化目标向量，建立图像识别网络参数量优化目标函数，以使网络能够自适应调整隐藏层层数、减少网络整体计算量；
步骤S3、根据所述图像识别网络参数量优化目标函数并结合图像识别精度优化目标函数构建适应度函数，建立图像识别网络多目标优化模型；
步骤S4、根据所述多目标优化模型，利用遗传算法进行优化计算，得到Pareto最优面，根据输出判断得到最优全连接神经网络结构，最后进行图像识别计算；
所述步骤S1具体过程如下：
S11、选择图像数据集作为训练样本输入至图像识别的全连接神经网络，以全连接神经网络结构及超参数作为优化目标，设置参数列表；
S12、根据参数列表和参数取值步长构建优化目标向量，优化目标向量表达式为：
Figure 364796DEST_PATH_IMAGE001
其中，
Figure 254255DEST_PATH_IMAGE002
为第
Figure 195666DEST_PATH_IMAGE003
层隐藏层的神经元数量，
Figure 512378DEST_PATH_IMAGE004
为第
Figure 906450DEST_PATH_IMAGE003
层隐藏层选择的激活函数，
Figure 334021DEST_PATH_IMAGE005
为网络选择的优化器，
Figure 628473DEST_PATH_IMAGE006
为网络选择的学习率；
S13、确定优化目标向量的上下限表达式：
Figure 381666DEST_PATH_IMAGE007
其中
Figure 263034DEST_PATH_IMAGE008
为优化目标向量上限，
Figure 494295DEST_PATH_IMAGE009
为优化目标向量下限，
Figure 144720DEST_PATH_IMAGE010
和
Figure 865551DEST_PATH_IMAGE011
分别为第
Figure 234215DEST_PATH_IMAGE012
层隐藏层神经元数量可取范围的上下边界，
Figure 269167DEST_PATH_IMAGE013
和
Figure 508519DEST_PATH_IMAGE014
分别为第
Figure 104979DEST_PATH_IMAGE015
层隐藏层的激活函数可取范围的上下边界，
Figure 757677DEST_PATH_IMAGE016
和
Figure 330741DEST_PATH_IMAGE017
为网络优化器可取范围的上下边界，
Figure 955757DEST_PATH_IMAGE018
和
Figure 221653DEST_PATH_IMAGE019
为网络学习率可取范围的上下边界；
S14、根据参数列表和优化目标向量，得到搜索空间计算表达式。
2.如权利要求1所述基于全连接神经网络优化的图像识别方法，其特征在于，所述步骤S2具体过程如下：
S21、根据优化目标向量构建图像识别网络结构优化模型；
S22、根据优化目标向量构建图像识别网络参数量优化模型；
S23、构建图像识别网络参数量优化目标函数
Figure 33752DEST_PATH_IMAGE020
，用以描述网络整体参数量。
3.如权利要求2所述基于全连接神经网络优化的图像识别方法，其特征在于，所述步骤S3具体过程如下：
S31、通过优化网络结构使得训练精度最大化，建立图像识别精度目标函数；
S32、联合图像识别精度优化目标函数和参数量优化目标函数，构建适应度函数
Figure 676085DEST_PATH_IMAGE021
，建立多目标优化函数
Figure 952346DEST_PATH_IMAGE022
，
Figure 389144DEST_PATH_IMAGE023
表示取最大值，
Figure 688538DEST_PATH_IMAGE024
表示取最小值；
S33、建立图像识别网络多目标优化模型：
Figure 101939DEST_PATH_IMAGE025
其中，
Figure 701548DEST_PATH_IMAGE026
为原始网络精度，
Figure 105985DEST_PATH_IMAGE027
为网络精度提升目标，
Figure 158254DEST_PATH_IMAGE028
为Tensorflow自适应方法的精度，
Figure 876812DEST_PATH_IMAGE029
为原始网络参数量。
4.如权利要求3所述基于全连接神经网络优化的图像识别方法，其特征在于，所述步骤S4具体过程如下：
S41、随机生成输入向量
Figure 65347DEST_PATH_IMAGE030
，并设置遗传算法参数；
S42、根据随机生成的输入向量
Figure 843948DEST_PATH_IMAGE030
初始化个体，形成初始种群，计算种群中每个个体的适应度，根据适应度进行非支配排序，通过复制、交叉及变异操作生成下一代个体；
S43、开始遗传流程设置迭代MAX_GEN代，若迭代过程未满MAX_GEN代则更新种群中个体适应度，进行快速非支配排序，并计算拥挤度，利用拥挤度进行种群内选择，保留精英并产生下一代种群；若迭代过程已满MAX_GEN代则输出进化生成的Pareto最优面解集；S44、如果进化生成的模型的网络识别精度以及网络参数量均满足多目标优化模型的三个限定条件，则输出当前网络结构为最优全连接神经网络结构，否则继续步骤S43的遗传流程，直至得到图像识别最优全连接神经网络结构；
S45、选择目标识别图像，将目标识别图像输入至所述最优全连接神经网络进行图像识别计算。
CN202210840018.7A 2022-07-18 2022-07-18 一种基于全连接神经网络优化的图像识别方法 Active CN114912589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210840018.7A CN114912589B (zh) 2022-07-18 2022-07-18 一种基于全连接神经网络优化的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210840018.7A CN114912589B (zh) 2022-07-18 2022-07-18 一种基于全连接神经网络优化的图像识别方法

Publications (2)

Publication Number Publication Date
CN114912589A CN114912589A (zh) 2022-08-16
CN114912589B true CN114912589B (zh) 2022-10-04

Family

ID=82771760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210840018.7A Active CN114912589B (zh) 2022-07-18 2022-07-18 一种基于全连接神经网络优化的图像识别方法

Country Status (1)

Country Link
CN (1) CN114912589B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334949A (zh) * 2018-02-11 2018-07-27 浙江工业大学 一种优化深度卷积神经网络结构的快速进化方法
CN110110862A (zh) * 2019-05-10 2019-08-09 电子科技大学 一种基于适应性模型的超参数优化方法
CN112084877A (zh) * 2020-08-13 2020-12-15 西安理工大学 基于nsga-net的遥感图像识别方法
CN112132102A (zh) * 2020-09-28 2020-12-25 天津工业大学 一种深度神经网络结合人工蜂群优化的智能故障诊断方法
CN112686099A (zh) * 2020-12-14 2021-04-20 中国电力科学研究院有限公司 适用于用电业扩报装申请的图文资料自动识别方法及系统
CN114005002A (zh) * 2021-11-26 2022-02-01 中国科学院沈阳自动化研究所 基于核操作的核全连接神经网络的图像识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544558B2 (en) * 2019-08-30 2023-01-03 Nec Corporation Continual learning of artificial intelligence systems based on bi-level optimization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334949A (zh) * 2018-02-11 2018-07-27 浙江工业大学 一种优化深度卷积神经网络结构的快速进化方法
CN110110862A (zh) * 2019-05-10 2019-08-09 电子科技大学 一种基于适应性模型的超参数优化方法
CN112084877A (zh) * 2020-08-13 2020-12-15 西安理工大学 基于nsga-net的遥感图像识别方法
CN112132102A (zh) * 2020-09-28 2020-12-25 天津工业大学 一种深度神经网络结合人工蜂群优化的智能故障诊断方法
CN112686099A (zh) * 2020-12-14 2021-04-20 中国电力科学研究院有限公司 适用于用电业扩报装申请的图文资料自动识别方法及系统
CN114005002A (zh) * 2021-11-26 2022-02-01 中国科学院沈阳自动化研究所 基于核操作的核全连接神经网络的图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种小波神经网络与遗传算法结合的优化方法;王保国等;《航空动力学报》;20081115(第11期);全文 *

Also Published As

Publication number Publication date
CN114912589A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
Wang et al. An adaptive weight vector guided evolutionary algorithm for preference-based multi-objective optimization
Jia et al. A new optimized GA-RBF neural network algorithm
CN107330902B (zh) 基于Arnold变换的混沌遗传BP神经网络图像分割方法
Acilar et al. Optimization of multiple input–output fuzzy membership functions using clonal selection algorithm
Feng et al. Variable coded hierarchical fuzzy classification model using DNA coding and evolutionary programming
CN110147590B (zh) 一种基于自适应演化优化算法的螺旋式天线设计方法
CN113138555A (zh) 一种基于遗传算法优化的grnn电主轴热误差建模方法
CN110991621A (zh) 一种基于通道数搜索卷积神经网络的方法
CN104050505A (zh) 一种基于带学习因子蜂群算法的多层感知器训练方法
CN115986728A (zh) 一种计及不确定性因素的电网态势预测方法与终端
CN116170328A (zh) 图形编码的使用带宽预测方法及装置
CN111832817A (zh) 基于mcp罚函数的小世界回声状态网络时间序列预测方法
Szwarcman et al. Quantum-inspired evolutionary algorithm applied to neural architecture search
CN110222816B (zh) 深度学习模型的建立方法、图像处理方法及装置
CN110852435A (zh) 一种基于神经进化计算模型
CN114912589B (zh) 一种基于全连接神经网络优化的图像识别方法
Liu et al. An efficient manta ray foraging optimization algorithm with individual information interaction and fractional derivative mutation for solving complex function extremum and engineering design problems
Bharathi et al. Optimal feature subset selection using differential evolution and extreme learning machine
CN116305939A (zh) 陆地生态系统碳水通量高精度反演方法、系统及电子设备
Jiang et al. Continuously evolving dropout with multi-objective evolutionary optimisation
Park et al. DAG-GCN: Directed Acyclic Causal Graph Discovery from Real World Data using Graph Convolutional Networks
CN114155097A (zh) 股票预测与投资组合优化方法、系统、计算机及存储介质
CN111079995A (zh) 电力负荷非线性调和综合预测方法、装置及存储介质
CN110910164A (zh) 产品销售预测方法、系统、计算机设备和存储介质
CN111639797A (zh) 基于Gumbel-softmax技术的组合优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant