CN116152572A - 基于深度强化学习与进化算法的图像识别方法 - Google Patents

基于深度强化学习与进化算法的图像识别方法 Download PDF

Info

Publication number
CN116152572A
CN116152572A CN202310255099.9A CN202310255099A CN116152572A CN 116152572 A CN116152572 A CN 116152572A CN 202310255099 A CN202310255099 A CN 202310255099A CN 116152572 A CN116152572 A CN 116152572A
Authority
CN
China
Prior art keywords
image recognition
image
gen
model
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310255099.9A
Other languages
English (en)
Inventor
田野
朱庆辉
张兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310255099.9A priority Critical patent/CN116152572A/zh
Publication of CN116152572A publication Critical patent/CN116152572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度强化学习与进化算法的图像识别方法，包括：步骤一、收集图像数据并对图像进行标准处理；步骤二、定义优化目标及优化目标函数；步骤三、采用基于深度学习与进化算法对多目标优化函数F进行求解；步骤四、针对模型采用基于深度学习与进化算法的方法进行优化训练；步骤五、采用优化后图像识别模型对图像数据进行分类。本发明能应用于图像识别，通过优化模型结构，从而有效提升图像识别的精度，降低图像分类错误率。

Description

基于深度强化学习与进化算法的图像识别方法
技术领域
本发明涉及图像识别领域，具体的说是一种基于深度强化学习与进化算法的图像识别方法，图像识别是深度学习算法在实践上的一种应用，在现实生活中也有很强的应用价值。
背景技术
随着信息时代的到来与机器学习的迅速发展，深度学习逐渐被广泛应用于现实生活中的各个领域，如计算机视觉、数据挖掘、自然语言处理与多媒体学习等，并且取得了许多傲人的成果，而图像识别也是深度学习的重要应用。
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是对深度学习算法的一种实践应用。各种图像识别方法的精准度无一例外都高度依赖于其所采用的神经网络的性能，而神经网络的结构则是影响神经网络的复杂度与分类错误率的重要因素，从而影响神经网络的性能，因此优化神经网络的结构是改进图像识别方法的重要手段，现有图像识别方法不够重视识别模型中神经网络的结构优化。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度强化学习与进化算法的图像识别方法，以期能优化图像识别模型中采用的神经网络结构来提升图像识别的精度，从而能降低图像识别分类的错误率。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于深度强化学习与进化算法的图像识别方法的特点是按如下步骤进行：
步骤一、收集图像数据并进行标准化处理；
获取T个图像样本及其类别标签，并根据每个图像样本的类别标签，提取每个图像样本对应的属性特征，从而得到图像样本的属性特征集
Figure BDA0004129291020000011
其中，xt表示第t个图像样本的属性特征，yt表示第t个图像样本的真实类别标签，t＝1,2,…,T；T表示图像样本的数量；
步骤二、定义优化目标及优化目标函数：
步骤2.1、构建图像识别网络Model，包括：输入层、隐藏层和输出层；并利用式(1)构建图像识别网络Model的决策向量C：
C＝(p1,p2,...,pi,...,pk,a1,a2,...,ai,...,ak,r,z) (1)
式(1)中，pi为图像识别网络Model中第i层隐藏层的神经元数量，ai为图像识别网络Model中第i层隐藏层选择的激活函数，z为图像识别网络Model的优化器，r为图像识别网络Model的学习率；1≤i≤k；k表示图像识别网络Model中隐藏层的总层数；
步骤2.2、以所述图像识别网络Model对T个图像样本的识别误差率最小为第一优化目标函数f1；以所述图像识别网络中隐藏层的神经元数量最小为第二优化目标函数f2；从而建立多目标优化函数
Figure BDA0004129291020000021
步骤三、采用基于深度学习与进化算法对多目标优化函数F进行求解；
步骤3.1、定义优化目标的决策向量上界为Upper；定义优化目标的决策向量下界为Lower；定义种群为P，定义种群P的大小为N；定义均匀分布的权重向量为w；定义每个权重向量的邻居索引为B；定义深度神经网络为Q，定义经验回放池为U，定义候选算子集为OP；定义当前代为gen，并初始化gen＝1；定义总代数为G；
步骤3.2、根据上界Upper和下界Lower初始化第gen代种群
Figure BDA0004129291020000022
Figure BDA0004129291020000023
其中，/>
Figure BDA0004129291020000024
表示第gen代种群Pgen中第n个个体；
定义第gen代种群Pgen中的每个个体是由决策向量C和多目标优化函数F组成；
步骤3.3、初始化n＝1；随机初始化第gen代种群Pgen中的第n个个体
Figure BDA0004129291020000025
的决策向量/>
Figure BDA0004129291020000026
步骤3.4、利用第gen代种群Pgen中第n个个体
Figure BDA0004129291020000027
的决策向量/>
Figure BDA0004129291020000028
构建第gen代种群Pgen中第t个图像识别网络/>
Figure BDA0004129291020000029
并将T个图像样本的属性特征/>
Figure BDA00041292910200000210
输入/>
Figure BDA00041292910200000211
中进行处理，并得到/>
Figure BDA00041292910200000212
预测的类别标签集/>
Figure BDA00041292910200000213
其中，/>
Figure BDA00041292910200000214
表示/>
Figure BDA00041292910200000215
在第t个图像样本的属性特征xt上的预测类别标签；
步骤3.5、基于
Figure BDA00041292910200000216
与真实的类别标签集/>
Figure BDA00041292910200000217
构建/>
Figure BDA00041292910200000218
的损失函数值
Figure BDA00041292910200000219
并计算/>
Figure BDA00041292910200000220
的多目标优化函数/>
Figure BDA00041292910200000221
步骤3.6、将t+1赋值给t，判断t<N是否成立，若成立，则返回步骤3.4顺序执行，否则，表示第gen代种群Pgen中的每个个体完成属性特征
Figure BDA00041292910200000222
的学习，并执行步骤3.7；
步骤3.7、交配池选择：
通过锦标赛算法从第gen代种群Pgen中选出M个个体组成第gen代交配池
Figure BDA00041292910200000223
Figure BDA00041292910200000224
其中，/>
Figure BDA00041292910200000225
表示第gen代交配池Parentgen中第m个父代；M是父代数；
步骤3.8、计算第m个父代
Figure BDA00041292910200000226
的权重向量/>
Figure BDA00041292910200000227
并从/>
Figure BDA00041292910200000228
的邻居索引/>
Figure BDA00041292910200000229
中随机选取一个邻居作为第二个父代/>
Figure BDA00041292910200000230
将/>
Figure BDA00041292910200000231
的决策向量/>
Figure BDA00041292910200000232
和权重向量/>
Figure BDA00041292910200000233
组合为状态/>
Figure BDA00041292910200000234
将状态/>
Figure BDA00041292910200000235
输入到深度神经网络Q中，得出第gen代第m个候选算子集
Figure BDA00041292910200000236
中每个算子的概率值，并通过轮盘赌从概率值中选择一个算子op；
步骤3.9、利用算子op对
Figure BDA0004129291020000031
和/>
Figure BDA0004129291020000032
进行交叉变异，从而产生子代/>
Figure BDA0004129291020000033
步骤3.10、从邻居索引
Figure BDA0004129291020000034
中选择一个邻居y，分别计算子代/>
Figure BDA0004129291020000035
和邻居y的聚合函数值，如果子代/>
Figure BDA0004129291020000036
的聚合函数值小于邻居y的聚合函数值，则用子代/>
Figure BDA0004129291020000037
替换邻居y，否则，不替换；从而遍历完邻居索引/>
Figure BDA0004129291020000038
中的所有邻居，并得到第gen+1代种群Pgen+1；
步骤3.11、定义子代
Figure BDA0004129291020000039
的聚合函数值相对于父代/>
Figure BDA00041292910200000310
的聚合函数值的提升幅度作为奖励/>
Figure BDA00041292910200000311
同时将子代/>
Figure BDA00041292910200000312
的决策向量和权重向量组合为一个状态state2，将
Figure BDA00041292910200000313
，op，/>
Figure BDA00041292910200000314
state2作为一组训练数据，并放入经验回放池U中；
步骤3.12、从经验回放池T中随机选取若干组训练数据并输入所述深度神经网络Q中进行训练，得到训练后的深度神经网络，并赋值给Q；
步骤3.13、将gen+1赋值给gen，判断gen<G是否成立，若成立，则返回步骤3.3顺序执行，否则，输出第G代种群PG；
步骤四、对图像样本进行分类；
令
Figure BDA00041292910200000315
表示最终种群PG的第j个个体，初始化j＝1；
步骤4.1、将图像识别方法模型Model的模型参数替换为第j个个体
Figure BDA00041292910200000316
的决策向量
Figure BDA00041292910200000317
从而得到图像识别方法模型Modelj；
步骤4.2、将属性特征
Figure BDA00041292910200000318
输入第j个图像识别模型Modelj中进行处理，得到T个图像识别结果/>
Figure BDA00041292910200000319
其中y”t表示所述图像识别模型Modelj在第t个图像的样本上的预测类别标签，根据识别结果/>
Figure BDA00041292910200000320
和所述真实类别标签集/>
Figure BDA00041292910200000321
构建第j个图像识别模型Modelj的损失函数Lossj；
步骤4.3、利用梯度下降法对第j个图像识别模型Modelj进行训练，并计算损失函数Lossj以更新模型参数，直到Lossj收敛为止，从而得到训练后的第j个图像识别模型Modelj；
步骤4.4、将属性特征
Figure BDA00041292910200000322
输入训练后的第j个图像识别模型Modelj中进行处理，得到更新后的图像识别结果/>
Figure BDA00041292910200000323
其中，/>
Figure BDA00041292910200000324
表示训练后的第j个图像识别模型Modelj在第t个图像样本的预测类别标签，根据更新后的图像识别结果/>
Figure BDA00041292910200000325
与所述真实标签信息/>
Figure BDA00041292910200000326
间的损失函数值Loss'j，计算第G代种群PG中的第j个个体/>
Figure BDA00041292910200000327
的两个优化目标函数值；
步骤4.5、将j+1赋值给j，若j>N，则表示第G代种群PG中的所有个体的两个优化目标函数值优化完成，并执行步骤4.6，否则，返回步骤4.1顺序执行；
步骤4.6、在二维坐标系中对第G代种群PG中每个个体优化后的两个优化目标函数值进行拟合，得到拟合曲线，选择拟合曲线的拐点处所对应个体的决策向量，并代入图像识别网络Model中，从而得到最优图像分类模型Modelfinal用于对图像进行识别分类。
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述图像识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述图像识别方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明提出了一种基于强化学习的多目标算子选择方法，是通过将神经网络结构参数作为状态，将候选操作符作为动作，将适应度提高作为奖励，将种群进化作为环境，智能体使用深度神经网络来学习一个策略，估计给定状态下每个动作的Q值。Q值代表一个操作者在未来而不是在过去带来的累积适应度提升，因此预期在未来的世代产生更好的后代解。从而优化图像识别方法模型结构，提升了图像分类识别的正确率。
2、本发明将所提出的算子选择方法嵌入到具有动态资源分配的基于分解的多目标进化算法中，应用于图像识别方法，提升了图像识别方法的精准度。在提出的方法中，智能体迭代更新深度神经网络来指导操作符的选择，通过采用4种不同类型的变异算子作为候选算子，本发明提出的方法具有较高的通用性，在实验中取得了较好的分类识别性能。
附图说明
图1为发明方法完整流程图；
图2为多目标优化算法流程图；
图3为强化学习的过程图。
具体实施方式
本实施例中，如图1所示，一种基于深度强化学习与进化算法的图像识别方法按照如下步骤进行：
步骤一、收集图像数据并进行标准化处理；
获取T个图像样本及其类别标签，并根据每个图像样本的类别标签，提取每个图像样本对应的属性特征，从而得到图像样本的属性特征集
Figure BDA0004129291020000041
其中，xt表示第t个图像样本的属性特征，yt表示第t个图像样本的真实类别标签，t＝1,2,…,T；T表示图像样本的数量；
步骤二、定义优化目标及优化目标函数：
步骤2.1、构建图像识别网络Model，包括：输入层、隐藏层和输出层；并利用式(2)构建图像识别网络Model的决策向量C：
C＝(p1,p2,...,pi,...,pk,a1,a2,...,ai,...,ak,r,z) (2)
式(1)中，pi为图像识别网络Model中第i层隐藏层的神经元数量，ai为图像识别网络Model中第i层隐藏层选择的激活函数，z为图像识别网络Model的优化器，r为图像识别网络Model的学习率；1≤i≤k；k表示图像识别网络Model中隐藏层的总层数
步骤2.2、以所述图像识别网络Model对T个图像样本的识别误差率最小为第一优化目标函数f1；以所述图像识别网络中隐藏层的神经元数量最小为第二优化目标函数f2；从而建立多目标优化函数
Figure BDA0004129291020000051
步骤三、如图2所示，采用基于深度学习与进化算法对多目标优化函数F进行求解；
步骤3.1、定义优化目标的决策向量上界为Upper；定义优化目标的决策向量下界为Lower；定义种群为P，定义种群P的大小为N；定义均匀分布的权重向量为w；定义每个权重向量的邻居索引为B；定义深度神经网络为Q，定义经验回放池为U，定义候选算子集为OP；定义当前代为gen，并初始化gen＝1；定义总代数为G；
下面为候选算子集OP中的四个候选算子：
模拟二进制交叉算子如式(3)所示：
Figure BDA0004129291020000052
Figure BDA0004129291020000053
式(3)中,x＝(x1,...,xd,...,xD)是子代解，D是决策变量维度，y1,y2是两个父代，μ是在[0,1]范围内均匀采样的随机值，η是一个预定义的参数，通常取1。
MOEA/D-M2M中的交叉算子如式(4)所示：
Figure BDA0004129291020000054
式(4)中，r1,r2是在[0,1]范围内均匀采样的随机值，gen是当前进化代数，maxgen是最大进化代数。
DE/rand/1和DE/rand/2两种差分算子：
DE/rand/1算子如式(5)所示：
Figure BDA0004129291020000061
DE/rand/2算子如式(6)所示：
Figure BDA0004129291020000062
其中F和CR是预定义的参数，r是在[0,1]范围内随机采样的变量。
步骤3.2、根据上界Upper和下界Lower初始化第gen代种群
Figure BDA0004129291020000063
Figure BDA0004129291020000064
其中，/>
Figure BDA0004129291020000065
表示第gen代种群Pgen中第n个个体；
定义第gen代种群Pgen中的每个个体是由决策向量C和多目标优化函数F组成；
步骤3.3、初始化n＝1；随机初始化第gen代种群Pgen中的第n个个体
Figure BDA0004129291020000066
的决策向量/>
Figure BDA0004129291020000067
步骤3.4、利用第gen代种群Pgen中第n个个体
Figure BDA0004129291020000068
的决策向量/>
Figure BDA0004129291020000069
构建第gen代种群Pgen中第t个图像识别网络/>
Figure BDA00041292910200000610
并将T个图像样本的属性特征/>
Figure BDA00041292910200000611
输入/>
Figure BDA00041292910200000612
中进行处理，并得到/>
Figure BDA00041292910200000613
预测的类别标签集/>
Figure BDA00041292910200000614
其中，/>
Figure BDA00041292910200000615
表示/>
Figure BDA00041292910200000616
在第t个图像样本的属性特征xt上的预测类别标签；
步骤3.5、基于
Figure BDA00041292910200000617
与真实的类别标签集/>
Figure BDA00041292910200000618
构建/>
Figure BDA00041292910200000619
的损失函数值
Figure BDA00041292910200000620
并计算/>
Figure BDA00041292910200000621
的多目标优化函数/>
Figure BDA00041292910200000622
/>
步骤3.6、将t+1赋值给t，判断t<N是否成立，若成立，则返回步骤3.4顺序执行，否则，表示第gen代种群Pgen中的每个个体完成属性特征
Figure BDA00041292910200000623
的学习，并执行步骤3.7；
步骤3.7、交配池选择：
通过锦标赛算法从第gen代种群Pgen中选出M个个体组成第gen代交配池
Figure BDA00041292910200000624
Figure BDA00041292910200000625
其中，/>
Figure BDA00041292910200000626
表示第gen代交配池Parentgen中第m个父代；M是父代数；
步骤3.8、计算第m个父代
Figure BDA00041292910200000627
的权重向量/>
Figure BDA00041292910200000628
并从/>
Figure BDA00041292910200000629
的邻居索引/>
Figure BDA00041292910200000630
中随机选取一个邻居作为第二个父代/>
Figure BDA00041292910200000631
将/>
Figure BDA00041292910200000632
的决策向量/>
Figure BDA00041292910200000633
和权重向量/>
Figure BDA00041292910200000634
组合为状态/>
Figure BDA00041292910200000635
将状态/>
Figure BDA00041292910200000636
输入到深度神经网络Q中，得出第gen代第m个候选算子集
Figure BDA00041292910200000637
中每个算子的概率值，并通过轮盘赌从概率值中选择一个算子op；
步骤3.9、利用算子op对
Figure BDA00041292910200000638
和/>
Figure BDA00041292910200000639
进行交叉变异，从而产生子代/>
Figure BDA00041292910200000640
步骤3.10、从邻居索引
Figure BDA00041292910200000641
中选择一个邻居y，分别计算子代/>
Figure BDA00041292910200000642
和邻居y的聚合函数值，如果子代/>
Figure BDA0004129291020000071
的聚合函数值小于邻居y的聚合函数值，则用子代/>
Figure BDA0004129291020000072
替换邻居y，否则，不替换；从而遍历完邻居索引/>
Figure BDA0004129291020000073
中的所有邻居，并得到第gen+1代种群Pgen+1，其中，聚合函数的定义如式(7)所示：
Figure BDA0004129291020000074
式(7)中，w＝(w1,…,wM)是解x对应的权重向量，
Figure BDA0004129291020000075
是种群中最小目标值组成的理想点，将生成的子代解x与其父代邻域内的所有解进行比较，计算其对邻域个体y的适应度提高，计算公式如式(8)所示：
Figure BDA0004129291020000076
式(8)中，w是y的权重向量，为了避免优势解降低邻域内子种群的多样性，一个子代解最多可以替换邻域内nr个解，因此邻域内相对适应度提高率(NFIx)进一步计算为子代解x替换nr个邻域解的适应度提高之和。
步骤3.11、定义子代
Figure BDA0004129291020000077
的聚合函数值相对于父代/>
Figure BDA0004129291020000078
的聚合函数值的提升幅度作为奖励/>
Figure BDA0004129291020000079
同时将子代/>
Figure BDA00041292910200000710
的决策向量和权重向量组合为一个状态state2，将
Figure BDA00041292910200000711
，op，/>
Figure BDA00041292910200000712
state2作为一组训练数据，并放入经验回放池U中。考虑的进化算法的随机性，本发明的方法将历史时期应用的算子op和获得的邻域适应度提高率NFIx构造成一个元组(op,NFIx)保存到一个先进先出的队列R中。算子奖励的计算如公式(9)所示：
Figure BDA00041292910200000713
步骤3.12、从经验回放池T中随机选取若干组训练数据并输入所述深度神经网络Q中进行训练，得到训练后的深度神经网络，并赋值给Q。如图3所示，基于值的方法通过拟合动作值函数来处理离散的行为空间，该函数计算在状态st时采取动作at的预期累积奖励(Q值)。具体来讲，动作值函数按照如下方式定义：
Figure BDA00041292910200000714
DeepQ-Network(DQN)的方法使用深度神经网络逼近具有连续动作空间的状态-值函数，神经网络的输入和输出分别是当前状态和状态下执行所有动作可以获得的Q值，DQN将获取的元组存储在经验重放池中作为训练集，并采取动作与神经网络的训练交叉，神经网络的损失函数使用均方误差表示，并且采用梯度下降的方法降低损失。
Figure BDA00041292910200000715
式(11)中，T是训练集，Q(st,at)表示在输入向量st时神经网络中第at个神经元的输出，qt是在状态st时执行动作at的Q值。
Figure BDA0004129291020000081
预期的输出qt不仅包含当前的奖励rt，而且包含执行下一步操作的最大奖励
Figure BDA0004129291020000082
由于公式的递归性质，qt可以代表未来的最大累积奖励。
步骤3.13、将gen+1赋值给gen，判断gen<G是否成立，若成立，则返回步骤3.3顺序执行，否则，输出第G代种群PG；
步骤四、对图像样本进行分类。令
Figure BDA0004129291020000083
表示最终种群PG的第j个个体，初始化j＝1；
步骤4.1、将图像识别方法模型Model的模型参数替换为第j个个体
Figure BDA0004129291020000084
的决策向量
Figure BDA0004129291020000085
从而得到图像识别方法模型Modelj；
步骤4.2、将属性特征
Figure BDA0004129291020000086
输入第j个图像识别模型Modelj中进行处理，得到T个图像识别结果/>
Figure BDA0004129291020000087
其中y”t表示所述图像识别模型Modelj在第t个图像的样本上的预测类别标签，根据识别结果/>
Figure BDA0004129291020000088
和所述真实类别标签集/>
Figure BDA0004129291020000089
构建第j个图像识别模型Modelj的损失函数Lossj；
步骤4.3、利用梯度下降法对第j个图像识别模型Modelj进行训练，并计算损失函数Lossj以更新模型参数，直到Lossj收敛为止，从而得到训练后的第j个图像识别模型Modelj；
步骤4.4、将属性特征
Figure BDA00041292910200000810
输入训练后的第j个图像识别模型Modelj中进行处理，得到更新后的图像识别结果/>
Figure BDA00041292910200000811
其中，/>
Figure BDA00041292910200000812
表示训练后的第j个图像识别模型Modelj在第t个图像样本的预测类别标签，根据更新后的图像识别结果/>
Figure BDA00041292910200000813
与所述真实标签信息/>
Figure BDA00041292910200000814
间的损失函数值Loss'j，计算第G代种群PG中的第j个个体/>
Figure BDA00041292910200000815
的两个优化目标函数值；
步骤4.5、将j+1赋值给j，若j>N，则表示第G代种群PG中的所有个体的两个优化目标函数值优化完成，并执行步骤4.6，否则，返回步骤4.1顺序执行；
步骤4.6、在二维坐标系中对第G代种群PG中每个个体优化后的两个优化目标函数值进行拟合，得到拟合曲线，选择拟合曲线的拐点处所对应个体的决策向量，并代入图像识别网络Model中，从而得到最优图像分类模型Modelfinal用于对图像进行识别分类。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

Claims (3)

1.一种基于深度强化学习与进化算法的图像识别方法，其特征是按如下步骤进行：
步骤一、收集图像数据并进行标准化处理；
获取T个图像样本及其类别标签，并根据每个图像样本的类别标签，提取每个图像样本对应的属性特征，从而得到图像样本的属性特征集
Figure FDA0004129291010000011
其中，xt表示第t个图像样本的属性特征，yt表示第t个图像样本的真实类别标签，t＝1,2,…,T；T表示图像样本的数量；
步骤二、定义优化目标及优化目标函数：
步骤2.1、构建图像识别网络Model，包括：输入层、隐藏层和输出层；并利用式(1)构建图像识别网络Model的决策向量C：
C＝(p1，p2，...，pi，...，pk，a1，a2，...，ai，...，ak，r，z) (1)
式(1)中，pi为图像识别网络Model中第i层隐藏层的神经元数量，ai为图像识别网络Model中第i层隐藏层选择的激活函数，z为图像识别网络Model的优化器，r为图像识别网络Model的学习率；1≤i≤k；k表示图像识别网络Model中隐藏层的总层数；
步骤2.2、以所述图像识别网络Model对T个图像样本的识别误差率最小为第一优化目标函数f1；以所述图像识别网络中隐藏层的神经元数量最小为第二优化目标函数f2；从而建立多目标优化函数
Figure FDA0004129291010000012
步骤三、采用基于深度学习与进化算法对多目标优化函数F进行求解；
步骤3.1、定义优化目标的决策向量上界为Upper；定义优化目标的决策向量下界为Lower；定义种群为P，定义种群P的大小为N；定义均匀分布的权重向量为w；定义每个权重向量的邻居索引为B；定义深度神经网络为Q，定义经验回放池为U，定义候选算子集为OP；定义当前代为gen，并初始化gen＝1；定义总代数为G；
步骤3.2、根据上界Upper和下界Lower初始化第gen代种群
Figure FDA0004129291010000013
Figure FDA0004129291010000014
其中，/>
Figure FDA0004129291010000015
表示第gen代种群Pgen中第n个个体；
定义第gen代种群Pgen中的每个个体是由决策向量C和多目标优化函数F组成；
步骤3.3、初始化n＝1；随机初始化第gen代种群Pgen中的第n个个体
Figure FDA0004129291010000016
的决策向量
Figure FDA0004129291010000017
步骤3.4、利用第gen代种群Pgen中第n个个体
Figure FDA0004129291010000018
的决策向量/>
Figure FDA0004129291010000019
构建第gen代种群Pgen中第t个图像识别网络/>
Figure FDA00041292910100000110
并将T个图像样本的属性特征/>
Figure FDA00041292910100000111
输入/>
Figure FDA00041292910100000112
中进行处理，并得到/>
Figure FDA00041292910100000113
预测的类别标签集/>
Figure FDA00041292910100000114
其中，/>
Figure FDA00041292910100000115
表示/>
Figure FDA00041292910100000116
在第t个图像样本的属性特征xt上的预测类别标签；
步骤3.5、基于
Figure FDA0004129291010000021
与真实的类别标签集/>
Figure FDA0004129291010000022
构建/>
Figure FDA0004129291010000023
的损失函数值/>
Figure FDA0004129291010000024
并计算/>
Figure FDA0004129291010000025
的多目标优化函数/>
Figure FDA0004129291010000026
步骤3.6、将t+1赋值给t，判断t<N是否成立，若成立，则返回步骤3.4顺序执行，否则，表示第gen代种群Pgen中的每个个体完成属性特征
Figure FDA0004129291010000027
的学习，并执行步骤3.7；
步骤3.7、交配池选择：
通过锦标赛算法从第gen代种群Pgen中选出M个个体组成第gen代交配池
Figure FDA0004129291010000028
Figure FDA0004129291010000029
其中，/>
Figure FDA00041292910100000210
表示第gen代交配池Parentgen中第m个父代；M是父代数；
步骤3.8、计算第m个父代
Figure FDA00041292910100000211
的权重向量/>
Figure FDA00041292910100000212
并从/>
Figure FDA00041292910100000213
的邻居索引/>
Figure FDA00041292910100000214
中随机选取一个邻居作为第二个父代/>
Figure FDA00041292910100000215
将/>
Figure FDA00041292910100000216
的决策向量/>
Figure FDA00041292910100000217
和权重向量/>
Figure FDA00041292910100000218
组合为状态/>
Figure FDA00041292910100000219
将状态/>
Figure FDA00041292910100000220
输入到深度神经网络Q中，得出第gen代第m个候选算子集/>
Figure FDA00041292910100000221
中每个算子的概率值，并通过轮盘赌从概率值中选择一个算子op；
步骤3.9、利用算子op对
Figure FDA00041292910100000222
和/>
Figure FDA00041292910100000223
进行交叉变异，从而产生子代/>
Figure FDA00041292910100000224
步骤3.10、从邻居索引
Figure FDA00041292910100000225
中选择一个邻居y，分别计算子代/>
Figure FDA00041292910100000226
和邻居y的聚合函数值，如果子代/>
Figure FDA00041292910100000227
的聚合函数值小于邻居y的聚合函数值，则用子代/>
Figure FDA00041292910100000228
替换邻居y，否则，不替换；从而遍历完邻居索引/>
Figure FDA00041292910100000229
中的所有邻居，并得到第gen+1代种群Pgen+1；
步骤3.11、定义子代
Figure FDA00041292910100000230
的聚合函数值相对于父代/>
Figure FDA00041292910100000231
的聚合函数值的提升幅度作为奖励/>
Figure FDA00041292910100000232
同时将子代/>
Figure FDA00041292910100000233
的决策向量和权重向量组合为一个状态state2，将/>
Figure FDA00041292910100000234
，op，/>
Figure FDA00041292910100000235
state2作为一组训练数据，并放入经验回放池U中；
步骤3.12、从经验回放池T中随机选取若干组训练数据并输入所述深度神经网络Q中进行训练，得到训练后的深度神经网络，并赋值给Q；
步骤3.13、将gen+1赋值给gen，判断gen<G是否成立，若成立，则返回步骤3.3顺序执行，否则，输出第G代种群PG；
步骤四、对图像样本进行分类；
令
Figure FDA00041292910100000236
表示最终种群PG的第j个个体，初始化j＝1；
步骤4.1、将图像识别方法模型Model的模型参数替换为第j个个体
Figure FDA00041292910100000237
的决策向量/>
Figure FDA00041292910100000238
从而得到图像识别方法模型Modelj；
步骤4.2、将属性特征
Figure FDA0004129291010000031
输入第j个图像识别模型Modelj中进行处理，得到T个图像识别结果/>
Figure FDA0004129291010000032
其中y″t表示所述图像识别模型Modelj在第t个图像的样本上的预测类别标签，根据识别结果/>
Figure FDA0004129291010000033
和所述真实类别标签集/>
Figure FDA0004129291010000034
构建第j个图像识别模型Modelj的损失函数Lossj；
步骤4.3、利用梯度下降法对第j个图像识别模型Modelj进行训练，并计算损失函数Lossj以更新模型参数，直到Lossj收敛为止，从而得到训练后的第j个图像识别模型Modelj；
步骤4.4、将属性特征
Figure FDA0004129291010000035
输入训练后的第j个图像识别模型Modelj中进行处理，得到更新后的图像识别结果/>
Figure FDA0004129291010000036
其中，/>
Figure FDA0004129291010000037
表示训练后的第j个图像识别模型Modelj在第t个图像样本的预测类别标签，根据更新后的图像识别结果/>
Figure FDA0004129291010000038
与所述真实标签信息
Figure FDA0004129291010000039
间的损失函数值Loss'j，计算第G代种群PG中的第j个个体/>
Figure FDA00041292910100000310
的两个优化目标函数值；
步骤4.5、将j+1赋值给j，若j>N，则表示第G代种群PG中的所有个体的两个优化目标函数值优化完成，并执行步骤4.6，否则，返回步骤4.1顺序执行；
步骤4.6、在二维坐标系中对第G代种群PG中每个个体优化后的两个优化目标函数值进行拟合，得到拟合曲线，选择拟合曲线的拐点处所对应个体的决策向量，并代入图像识别网络Model中，从而得到最优图像分类模型Modelfinal用于对图像进行识别分类。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述图像识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述图像识别方法的步骤。
CN202310255099.9A 2023-03-13 2023-03-13 基于深度强化学习与进化算法的图像识别方法 Pending CN116152572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310255099.9A CN116152572A (zh) 2023-03-13 2023-03-13 基于深度强化学习与进化算法的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310255099.9A CN116152572A (zh) 2023-03-13 2023-03-13 基于深度强化学习与进化算法的图像识别方法

Publications (1)

Publication Number Publication Date
CN116152572A true CN116152572A (zh) 2023-05-23

Family

ID=86361934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310255099.9A Pending CN116152572A (zh) 2023-03-13 2023-03-13 基于深度强化学习与进化算法的图像识别方法

Country Status (1)

Country Link
CN (1) CN116152572A (zh)

Similar Documents

Publication Publication Date Title
Hancer et al. Pareto front feature selection based on artificial bee colony optimization
WO2022068623A1 (zh) 一种模型训练方法及相关设备
CN109754078A (zh) 用于优化神经网络的方法
Lin et al. Parameter tuning, feature selection and weight assignment of features for case-based reasoning by artificial immune system
CN111582136B (zh) 表情识别方法及装置、电子设备、存储介质
Rashno et al. Particle ranking: An efficient method for multi-objective particle swarm optimization feature selection
CN111160473A (zh) 一种分类标签的特征挖掘方法及装置
CN111105045A (zh) 一种基于改进的蝗虫优化算法构建预测模型的方法
CN113241122A (zh) 自适应弹性网与深度神经网络融合的基因数据变量选择及分类方法
Koeppe et al. Explainable artificial intelligence for mechanics: physics-explaining neural networks for constitutive models
Elzeki et al. A new hybrid genetic and information gain algorithm for imputing missing values in cancer genes datasets
CN117437494A (zh) 一种图像分类方法、系统、电子设备及存储介质
Huang et al. Harnessing deep learning for population genetic inference
CN112488188B (zh) 一种基于深度强化学习的特征选择方法
Ma et al. Temporal pyramid recurrent neural network
CN109934352B (zh) 智能模型的自动进化方法
CN116152572A (zh) 基于深度强化学习与进化算法的图像识别方法
CN113362920B (zh) 基于临床数据的特征选择方法及装置
CN115083511A (zh) 基于图表示学习与注意力的外围基因调控特征提取方法
Hassan et al. Optimising deep learning by hyper-heuristic approach for classifying good quality images
Rahman et al. Implementation of artificial neural network on regression analysis
CN114863508A (zh) 自适应注意力机制的表情识别模型生成方法、介质及设备
JP7468088B2 (ja) 画像処理システム、及び画像処理プログラム
CN113780334A (zh) 基于两阶段混合特征选择的高维数据分类方法
Galván et al. Evolutionary Multi-objective Optimisation in Neurotrajectory Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination