CN114926698A

CN114926698A - 基于演化博弈论的神经网络架构搜索的图像分类方法

Info

Publication number: CN114926698A
Application number: CN202210848017.7A
Authority: CN
Inventors: 梁山清; 宋风合; 谢文平
Original assignee: Shenzhen Nanfang Silicon Valley Semiconductor Co ltd
Current assignee: Shenzhen Nanfang Silicon Valley Semiconductor Co ltd
Priority date: 2022-07-19
Filing date: 2022-07-19
Publication date: 2022-08-19
Anticipated expiration: 2042-07-19
Also published as: CN114926698B

Abstract

本发明公开了一种基于演化博弈论的神经网络架构搜索的图像分类方法，涉及图像分类技术领域，用于解决现有技术的神经网络结构搜索算法存在的时间复杂度高、资源开销巨大以及搜索效率低下的技术缺陷。本发明的步骤为：S10、选取用于训练与评估的图像数据集，并对选取的图像数据集进行shuffer操作；S20、构建搜索空间；S30、将搜索空间划分为多个可堆叠的子搜索空间；S40、在每个子搜索空间进行鹰鸽博弈；S50、将每个子搜索空间选出的性能最优的鹰结构进行堆叠；S60、运用搜索得出的最优深度学习结构对待分类的图像数据集进行图像分类。本发明节省了训练模型的时间和资源消耗，简化了传统的评估和选择过程。

Description

基于演化博弈论的神经网络架构搜索的图像分类方法

技术领域

本发明涉及图像分类技术领域，尤其涉及一种基于演化博弈论的神经网络架构搜索的图像分类方法。

背景技术

在神经网络结构搜索的图像分类中，网络结构的设计对数据特征的表征和最终模型的表现起到了至关重要的作用。为了获取与数据本身内在规律特征更加一致的特征表示方法，使神经网络泛化而不过度拟合训练数据集，必须找到最优的结构。早期的研究人员设计了多种多样的复杂的网络架构，而网络结构的设计严重依赖于研究人员的先验知识和经验，并且需要长时间的试错和优化。例如，手工设计神经网络受多种因素影响，不同层间的连接方式、卷积类型与大小、网络深度等，这不仅需要网络设计专家具有丰富的深度学习知识, 还严重依赖专家在实践过程中总结的经验规律。

显然，当神经网络模型层次加深，结构复杂，人为设计一个优秀的深度神经网络模型来进行图像分类越来越困难，神经网络结构搜索（Neural Architecture Search，NAS）算法应运而生。神经网络结构搜索旨在通过自动化的方式，从广泛的搜索空间中，采用一定的搜索策略，自动生成优质的神经网络模型来对图像分类。随着全球学者的持续研究，NAS 算法在计算量和搜索时间上取得巨大进展，并且很多的工作证明 NAS 算法搜索的网络模型表现出超过人工神经网络模型的性能。

但是，目前的神经网络架构搜索算法也有其缺点。传统基于进化策略的搜索算法在架构优化过程中，需要花费大量的时间对所有子架构进行重训练以评估架构实际性能，巨大的资源开销和时间成本不容忽视。在 NAS 中搜索空间的定义决定了算法搜索所需要的时间复杂度，神经网络架构搜索仍然非常耗时，这种巨大的搜索资源开销一般达到上千GPU小时。例如基于强化学习方法需要超过1800个GPU天来寻找到有前途的架构，NASNet需要40000个GPU小时完成搜索。这些方法在计算上非常昂贵，对于大多数深度学习实践者来说是不切实际的。

因此，本发明对传统的神经网络结构搜索算法进行改进，探索并提出基于博弈论的神经网络结构搜索算法，以减少计算资源、提高搜索效率。

发明内容

本发明要解决的技术问题在于，针对现有技术的神经网络结构搜索算法存在的时间复杂度高、资源开销巨大以及搜索效率低下的技术缺陷，提供一种基于演化博弈论的神经网络架构搜索的图像分类方法。

按照本发明提供了一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，包括如下步骤：

S10、选取用于训练与评估的图像数据集，并对选取的所述图像数据集进行shuffer操作，划分为若干个子图像数据集；

S20、构建搜索空间；所述搜索空间包含一系列由可用于计算的操作及所述操作经结构化封装所构成的模块；

S30、将所述搜索空间划分为多个可堆叠的子搜索空间；

S40、在每个所述子搜索空间进行鹰鸽博弈，确定性能最优的鹰结构；

S50、将每个所述子搜索空间选出的性能最优的鹰结构进行堆叠，形成最终的深度学习结构；

S60、运用搜索得出的所述深度学习结构对待分类的图像数据集进行图像分类。

进一步地，步骤S10包括如下步骤：

S100、将所述图像数据集中全部图像分成a个类别；

S101、从a个类别中分别选择b张图像作为一个测试批次，将剩余图像划分为c个训练批次；

S102、将所述测试批次、c个所述训练批次分别划分成d等份，形成若干个所述子图像数据集。

进一步地，步骤S40包括如下步骤：

S400、确定鹰结构与鸽结构，对确定的所述鹰结构、鸽结构初始化；

S401、从所述训练批次中选择所述子图像数据集对所述鹰结构、鸽结构进行演化博弈；所述演化博弈包括采用性能评价指标对所述鹰结构进行评估，形成评估结果；

S402、博弈次数是否到达限定轮次，如是，执行步骤S403；否则，返回步骤S401；

S403、根据所述评估结果，对大于预设值的所述鹰结构确定最为性能最优的所述鹰结构。

进一步地，步骤S400包括如下步骤：

S4000、从所述训练批次中选取2个所述子图像数据集；

S4001、将选取的所述子图像数据集代入所述子搜索空间的模块进行性能指标评估，根据评估结果优劣进行排序，将评估结果最优占比为e的所述模块均设定为鹰结构，其余占比为1-e的所述模块均设定为鸽结构；

S4002、所述鹰结构的战力值均初始化为Combat_hawk、所述鸽结构的战力值均初始化为Combat_dove，设定所述鹰结构变异为鸽结构的鹰鸽变异阈值为Combat_T1、鸽结构变异为鹰结构的鸽鹰变异阈值为Combat_T2。

进一步地，步骤S4002中，各数值之间的关系为：

Combat_T2>Combat_hawk>Combat_dove>Combat_T1>0。

进一步地，步骤S401包括如下步骤：

S4010、从初始化的所述鹰结构、鸽结构中任意选取2个结构；

S4011、选取的结构是否均为所述鹰结构，如是，执行步骤S4012；否则，执行步骤S4013；

S4012、根据鹰鸽博弈收益矩阵，更新所述鹰结构的战斗力收益；从所述训练批次中随机选取1个所述子图像数据集，代入每个所述鹰结构进行性能指标评估，存储评估结果；将2个所述鹰结构的年龄分别增加1岁；执行步骤S4016；

S4013、选取的结构是否为所述鹰结构与所述鸽结构，如是，执行步骤S4014；否则，执行步骤S4015；

S4014、根据鹰鸽博弈收益矩阵，更新所述鹰结构、鸽结构的战斗力收益；仅为所述鹰结构从所述训练批次中选取1个所述子图像数据集进行性能指标评估，存储评估结果；将所述鹰结构的年龄增加1岁；执行步骤S4016；

S4015、根据鹰鸽博弈收益矩阵，更新2个所述鸽结构的战斗力收益；执行步骤S4016；

S4016、对所述鹰结构、鸽结构分别进行变异与淘汰。

进一步地，所述鸽博弈收益矩阵中，鹰鹰相遇对应的收益、鹰鸽相遇对应的收益、鸽鹰相遇对应的收益以及鸽鸽相遇对应的收益分别为：（D/2-C，D/2-C）、（D，0）、（0，D）、（D/2，D/2）；其中，D、C均为正数，D/2-C<0。

进一步地，步骤S4012中，所述鹰结构的战斗力收益均更新为：

Combat_hawk=Combat_hawk+D/2-C；

步骤S4014中，所述鹰结构的战斗力收益更新为：

Combat_hawk=Combat_hawk+D；

所述鸽结构的战斗力收益更新为：

Combat_dove=Combat_dove；

步骤S4015中，所述鸽结构的战斗力收益均更新为：

Combat_dove=Combat_dove+D/2。

进一步地，步骤S4016中，当更新后的所述鹰结构的战斗力收益小于所述鹰鸽变异阈值Combat_T1时，所述鹰结构变异为所述鸽结构；当更新后的所述鸽结构的战斗力收益大于所述鸽鹰变异阈值Combat_T2时，所述鸽结构变异为所述鹰结构；当所述鹰结构的年龄大于成熟年限，且本轮次及之前所有轮次的所述评估结果的平均值小于设定标准时，所述鹰结构淘汰，不再参与后续的博弈；当所述鹰结构的年龄大于衰老年限时，所述鹰结构淘汰，不再参与后续的博弈。

进一步地，在执行步骤S60前，还包括运用测试批次中d等份的所述子图像数据集对最终的所述深度学习结构进行测试，测试通过后，运用最终的所述深度学习结构对待分类的图像数据集进行图像分类。

实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

1) 本发明通过随机选择子图像数据集的方式对候选子结构进行性能评估，节省了训练模型的时间和资源消耗，简化了传统的评估和选择过程。通过自动化的方式实现复杂图像分类神经网络架构设计，以提高图像分类准确率。

2) 在对候选子结构进行评估的过程中，采用鹰鸽博弈模型进行博弈选择，只有比较有前途的候选子结构参与评估，而表现一般的结构不参与评估，这种无需对每个神经网络进行训练的策略，避免了用较大数据集去训练和验证所有的子网络，既能实现神经网络模型的选择工作，又节省了搜索资源。

3)本发明使用多目标优化方法，对模型的准确度和耗时指标综合分析，能够使得搜索的模型在准确率和耗时方面有更好的综合表现。

4)为了进一步降低资源消耗，本发明对经典的鹰鸽博弈过程进行改进，引入年龄机制来模拟模型训练过程中的早停机制，当某一鸽角色多次参与博弈而性能指标又比较差时，将该鸽结构淘汰。

5)本发明通过将演化博弈论引入神经网络结构搜索的过程，避免了对所有候选子模型都在数据集上进行穷举性能验证带来的巨大计算资源浪费。同时，以一种随机而又合理的方式，将用于验证的计算资源分配到所有候选子模型，以达到搜索优化模型和节省资源的双重目标。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明实施例的一种基于演化博弈论的神经网络架构搜索的图像分类方法的流程图；

图2是本发明实施例的一种基于演化博弈论的神经网络架构搜索的图像分类方法中步骤S10的流程图；

图3是本发明实施例的一种基于演化博弈论的神经网络架构搜索的图像分类方法中步骤S40的流程图；

图4是本发明实施例的一种基于演化博弈论的神经网络架构搜索的图像分类方法中步骤S400的流程图；

图5是本发明实施例的一种基于演化博弈论的神经网络架构搜索的图像分类方法中步骤S401的流程图；

图6是本发明实施例的神经网络搜索空间模块示意图；

图7是一种使用本发明实施例的方法选出的性能最优的鹰结构堆叠示意图；

图8是另一种使用本发明实施例的方法选出的性能最优的鹰结构堆叠示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行电路和功能上的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明的描述中，需要理解的是，术语“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相互作用关系。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例仅是一个特例，并不表明本发明就这样一种实现方式。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

总所周知，神经网络架构搜索非常耗时，为了解决搜索整体网络结构出现的弊端，本发明提出了基于单元结构搜索的方法，通过优化算法搜索子结构，再将若干个子结构通过叠加的方式得到最终的深度学习模型，这样就从搜索一个大型的网络架构变为搜索小规模的模型结构，极大地减少了计算空间。本算法先将整个网络搜索空间划分为若干个可叠加的子空间，然后将网络架构中各候选子网络的选择过程建模为演化博弈论中的鹰鸽博弈过程。在鹰鸽博弈中，所有参与选择的模型不再被全部训练和评估，而是通过若干轮次的随机博弈过程来选取目标模型结构。演化博弈论的经典案例是鹰鸽博弈，它模拟了鹰与鸽之间对可共享资源的竞争。其中，鹰角色属于强势一方，充满侵略性，除非身负重伤，否则绝不退却；鸽角色面对强势进攻会立即逃跑。如果两个同样强势进攻的鹰进行搏斗，两者之间必然会发生冲突，且两者都很有可能受伤，两只鹰冲突的代价是每人都受到一定程度的损伤；如果鹰角色与鸽角色相遇，鸽角色会立刻逃跑，而鹰角色则会占有资源；而如果两只鸽角色相遇，则它们将公平地分享资源。

实施例：

如图1-5所示，本发明提供了一种基于演化博弈论的神经网络架构搜索的图像分类方法的实施例，该图像分类方法提出了一种新的神经网络结构搜索算法，以减少当前神经网络架构搜索算法的计算资源、提高搜索效率，包括如下步骤：

S10、选取用于训练与评估的图像数据集，并对选取的图像数据集进行shuffer操作，划分为若干个子图像数据集。对于图像数据集的选择，可以选择公开数据集作为模型结构训练和评估的数据集，也可以通过人工标注的方式自建数据集，还可以通过生成对抗网络自动生成数据集。不管采用何种方式获取数据集，对于选取的数据集，要进行shuffle操作，并且要尽量使得图像数据集中各类别样本相对均衡。具体的：

S100、将图像数据集中全部图像分成a个类别；

S102、将测试批次、c个训练批次分别划分成d等份，形成若干个子图像数据集。

以上步骤中，S100-S101为shuffle操作主要步骤。本实施例采用神经网络公开的数据集Cifar-10数据集作为训练与评估的图像数据集。其中，Cifar-10数据集包含60000幅大小为32×32 的图像, 即50000张训练图像和10000张测试图像。所有图像被划分为10个类别，每个类包含6 000 幅图像，分别是airplane、automobile、bird、cat、deer、dog、frog、horse、ship 和truck。该数据集划分为5个训练批次和1个测试批次，每个批次包含10000张图像。测试批次包含从每个类别中随机选择的1 000张图像。在每次迭代中，数据加载器每次都会随机读取一小批量数据，并通过随机打乱所有样本的方式，保证可以无偏见地读取小批量。为进一步提高搜索速度，本发明采用微积分思想，将原始图像数据集的测试批次、c个训练批次均等划分为较小的d等份。如，Cifar-10数据集的测试批次包含10000张图像，本发明所采取的方法可以把它等分为50等份。

S20、构建搜索空间；搜索空间包含一系列由可用于计算的操作及操作经结构化封装所构成的模块。需说明的是，搜索空间(search space) 决定可搜索结构的范围，包含一系列可用的计算操作，如标准卷积(standard convolution)、池化(pooling) 和跳跃连接(skip connection) 等。由此可见，搜索空间的规模极大限制搜索策略的表现。尤其在理想状态下，希望搜索空间越大越好，只有这样才能评估更多结构的性能表现。然而，过大的搜索空间不利于神经结构搜索算法的收敛，无法保证得到性能最优的网络结构。因此，需要精心考虑搜索空间的规模，并选择最适合的结构模块集合。在本发明的实施例中，可以根据实际工程需要设定搜索空间并初始化结构模块参数，构建搜索空间的具体方法可以多种多样。例如，参见附图6所示，在搜索空间中可以包含不同类型的候选模块，例如普通卷积模块、通道注意力SE模块、空间注意力STN模块、残差模块、深度可分离卷积模块等。对于每一类别的某一块，又可以根据层数、卷积核的大小、卷积核数量、卷积层宽度、卷积步长、各类模块数量等参数变化出若干种不同的模块。

S30、将搜索空间划分为多个可堆叠的子搜索空间。由于搜索空间层数较多，如果进行整体搜索，搜索量会比较大。在本实施例中，为了提升搜索效率，对整个搜索空间进行单元划分，划分成若干个可叠加的子搜索空间，这种基于单元结构的搜索空间平衡了局部结构的搜索复杂度和整体结构的搜索复杂度。划分子空间有多种方法，一种可行的方法为根据候选子结构的功能进行划分。例如，整个搜索空间可以划分为数据预处理子空间、原始特征处理子空间、抽象特征处理子空间、后特征处理子空间等。

S40、在每个子搜索空间进行鹰鸽博弈，确定性能最优的鹰结构。具体的：

S400、确定鹰结构与鸽结构，对确定的鹰结构、鸽结构初始化。该步骤进一步的步骤为：

S4000、从训练批次中选取2个子图像数据集。其中，一种选取子图像数据集的方法为采用轮盘赌算法来选取子图像数据集。

S4001、将选取的子图像数据集代入子搜索空间的模块进行性能指标评估，根据评估结果优劣进行排序，将评估结果最优占比为e的模块均设定为鹰结构，其余占比为1-e的模块均设定为鸽结构。一般地，鹰结构的比例小于鸽结构的比例，如e=0.33，对应的鸽结构的比例为0.67。

S4002、鹰结构的战力值均初始化为Combat_hawk、鸽结构的战力值均初始化为Combat_dove，设定鹰结构变异为鸽结构的鹰鸽变异阈值为Combat_T1、鸽结构变异为鹰结构的鸽鹰变异阈值为Combat_T2。进一步地，各数值之间的关系为：Combat_T2>Combat_hawk>Combat_dove>Combat_T1>0。

需说明的是，上述性能评估，即在目标数据集上评估网络结构的性能好坏。本实施例中涉及的性能评估指标为多目标综合指标，可以包括模型的精度、误差、参数量、收敛速度等。例如，可以包括两个，即准确度指标和耗时指标。本发明所说的多目标可以是但不限于以下2个指标。具体的，性能指标中的准确度指标描述如下：

图片分类准确率：图片分类准确率是图像分类问题中常用的评价指标，用来评价模型的分类准确率，分类精度的计算方法比较简单，将测试集中正确分类的图片数量除以测试集的图片数量就是模型的分类精度，即：

图片分类准确率 =正确分类图片数量/所有参与分类的图片数量；

Top_K图片分类准确率：Top-K图片分类准确率是指，只要在分类概率排名中前 k个标签与真实标签匹配，就认为分类正确。例如，如果K值取5，则Top_5准确率就是分类可能性中前五的标签中是否匹配正确标签，即：

Top_K图片分类准确率 = Top_K中正确分类图片数量/所有参与分类的图片数量。

本实施中，性能指标中的耗时指标一般选择FLOPs来表示。FLOPs是floatingpoint of operations的缩写，是浮点运算次数，可以用来衡量算法/模型复杂度，它是模型推理时间的一个参考量。在实际应用问题中，许多优化问题所求解的值是不唯一的，所以该领域研究者提出了一系列多目标演化算法，主要包括两种类型。一类是基于支配的多目标演化算法，例如NSGA-II使用帕累托支配和拥挤度距离等排序方法对个体之间的优先级进行排序，再从中选出较好的个体；另一类是基于分解的多目标演化算法，把原始的拥有多个目标的任务拆分到每一个维度上，再对这些不同维度上的子目标一起求解。在本发明中，可以根据需求选取一个综合指标。

S401、从训练批次中选择子图像数据集对鹰结构、鸽结构进行演化博弈；演化博弈包括采用性能评价指标对鹰结构进行评估，形成评估结果。具体的：

S4010、从初始化的鹰结构、鸽结构中任意选取2个结构；

S4011、选取的结构是否均为鹰结构，如是，执行步骤S4012；否则，执行步骤S4013；

S4012、根据鹰鸽博弈收益矩阵，更新鹰结构的战斗力收益；从训练批次中随机选取1个子图像数据集，代入每个鹰结构进行性能指标评估，存储评估结果；将2个鹰结构的年龄分别增加1岁；执行步骤S4016。本步骤中，鹰结构的初始年龄可设置为0，以下同此。

S4013、选取的结构是否为鹰结构与鸽结构，如是，执行步骤S4014；否则，执行步骤S4015；

S4014、根据鹰鸽博弈收益矩阵，更新鹰结构、鸽结构的战斗力收益；仅为鹰结构从训练批次中选取1个子图像数据集进行性能指标评估，存储评估结果；将鹰结构的年龄增加1岁；执行步骤S4016；

S4015、根据鹰鸽博弈收益矩阵，更新2个鸽结构的战斗力收益；执行步骤S4016；

S4016、对鹰结构、鸽结构分别进行变异与淘汰。具体的，当更新后的鹰结构的战斗力收益小于鹰鸽变异阈值Combat_T1时，鹰结构变异为鸽结构；当更新后的鸽结构的战斗力收益大于鸽鹰变异阈值Combat_T2时，鸽结构变异为鹰结构；当鹰结构的年龄大于成熟年限，且本轮次及之前所有轮次的评估结果的平均值小于设定标准时，鹰结构淘汰，不再参与后续的博弈；当鹰结构的年龄大于衰老年限时，鹰结构淘汰，不再参与后续的博弈。

本实施例中，一种鹰鸽博弈收益矩阵如下表1所示。

表1 鹰鸽博弈收益矩阵

	鹰	鸽
			鹰	（D/2-C，D/2-C）	（D，0）
鸽	（0，D）	（D/2，D/2）

其中，D、C均为正数，D/2-C<0。

步骤S4012中，鹰结构的战斗力收益均更新为：

Combat_hawk=Combat_hawk+D/2-C；

步骤S4014中，鹰结构的战斗力收益更新为：

Combat_hawk=Combat_hawk+D；

鸽结构的战斗力收益更新为：

Combat_dove=Combat_dove；

步骤S4015中，鸽结构的战斗力收益均更新为：

Combat_dove=Combat_dove+D/2。

需说明的是，在本实施例引入两个年龄机制对标准的鹰鸽博弈进行改进。第一，为了让尽量多的结构获取在数据集上训练和验证的机会且防止部分结构占用过多的数据，在初始化状态，将每个角色的年龄都设置为Begin_age(例如0)岁。由于博弈过程中，只有鹰结构会选择数据集进行验证，所以，在经过一轮博弈后，设定只有当前结构是鹰结构，才会进行年龄增长。如果参与博弈的角色的年龄超过衰老年限Threshold_age（Threshold_age为正整数）,则判定这个角色个体死亡，不再参与之后的博弈。第二，借鉴深度学习网络训练过程中的早停机制来模拟自然界中凶猛好斗的鹰意外死亡现象, 设定成熟年限Growth_age（Growth_age<Threshold_age）。具体来说，如果某一个鹰结构在年龄达到Growth_age后，其之前所有轮次性能验证的平均指标低于某一设定值，则判定“意外”死亡。

S403、根据评估结果，对大于预设值的鹰结构确定最为性能最优的鹰结构。在N轮博弈结束后，从变异与年龄达到阈值淘汰后的鹰结结构中，选出性能最优的鹰结构，需要注意的是，此步骤的选择范围包含那些因为年龄大于Threshold_age而被淘汰的鹰结构。即，那些训练过足够多数据的鹰结构也参与评估性能指标的评定。

S50、将每个子搜索空间选出的性能最优的鹰结构进行堆叠，形成最终的深度学习结构。堆叠指的是将不同子结构连接成一个完整的网络架构模型。具体示意图参见附图7-8所示。一般来说，搜索空间包含了能够由神经网络架构搜索算法生成的每一个架构设计(通常是无限多的)。搜索空间中可能涉及堆叠在一起的所有层配置集(图7)或包含跳过连接的更复杂的体系结构(图8)。为了减少搜索空间的维数，可以进行子模块的设计。随后子模块堆叠在一起就可以生成模型架构。如，要生成一种类似Yolov5的图像分类网络结构，可以有输入端预处理子空间、Backbone子空间、Neck子空间、Prediction子空间，在每个子空间搜索出一个或若干个鹰结构后，再进行堆叠，形成完整的网络结构模型架构。

S60、运用搜索得出的深度学习结构对待分类的图像数据集进行图像分类。在执行本步骤前，还包括运用测试批次中d等份的子图像数据集对最终的深度学习结构进行测试，测试通过后，运用最终的深度学习结构对待分类的图像数据集进行图像分类。

综上所述，本发明通过将演化博弈论引入神经网络结构搜索的过程，避免了对所有候选子模型都在数据集上进行穷举性能验证带来的巨大计算资源浪费。同时，以一种随机而又合理的方式，将用于验证的计算资源分配到所有候选子模型，以达到搜索优化模型和节省资源的双重目标。除了精度外，还引入其他模型性能指标作为搜参策略的约束，并且引入参数来调整二者之间的权重和幅值，使得模型结构在保证精度的同时沿着性能最好的方向演进。

以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims

1.一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，包括如下步骤：

S30、将所述搜索空间划分为多个可堆叠的子搜索空间；

2.根据权利要求1所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S10包括如下步骤：

S100、将所述图像数据集中全部图像分成a个类别；

3.根据权利要求2所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S40包括如下步骤：

4.根据权利要求3所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S400包括如下步骤：

S4000、从所述训练批次中选取2个所述子图像数据集；

5.根据权利要求4所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S4002中，各数值之间的关系为：

Combat_T2>Combat_hawk>Combat_dove>Combat_T1>0。

6.根据权利要求4所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S401包括如下步骤：

S4010、从初始化的所述鹰结构、鸽结构中任意选取2个结构；

S4016、对所述鹰结构、鸽结构分别进行变异与淘汰。

7.根据权利要求6所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，所述鸽博弈收益矩阵中，鹰鹰相遇对应的收益、鹰鸽相遇对应的收益、鸽鹰相遇对应的收益以及鸽鸽相遇对应的收益分别为：（D/2-C，D/2-C）、（D，0）、（0，D）、（D/2，D/2）；

其中，D、C均为正数，D/2-C<0。

8.根据权利要求7所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S4012中，所述鹰结构的战斗力收益均更新为：

Combat_hawk=Combat_hawk+D/2-C；

步骤S4014中，所述鹰结构的战斗力收益更新为：

Combat_hawk=Combat_hawk+D；

所述鸽结构的战斗力收益更新为：

Combat_dove=Combat_dove；

步骤S4015中，所述鸽结构的战斗力收益均更新为：

Combat_dove=Combat_dove+D/2。

9.根据权利要求7所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，步骤S4016中，当更新后的所述鹰结构的战斗力收益小于所述鹰鸽变异阈值Combat_T1时，所述鹰结构变异为所述鸽结构；

当更新后的所述鸽结构的战斗力收益大于所述鸽鹰变异阈值Combat_T2时，所述鸽结构变异为所述鹰结构；

当所述鹰结构的年龄大于成熟年限，且本轮次及之前所有轮次的所述评估结果的平均值小于设定标准时，所述鹰结构淘汰，不再参与后续的博弈；

当所述鹰结构的年龄大于衰老年限时，所述鹰结构淘汰，不再参与后续的博弈。

10.根据权利要求2所述的一种基于演化博弈论的神经网络架构搜索的图像分类方法，其特征在于，在执行步骤S60前，还包括运用测试批次中d等份的所述子图像数据集对最终的所述深度学习结构进行测试，测试通过后，运用最终的所述深度学习结构对待分类的图像数据集进行图像分类。