CN114168320B - 基于隐式空间映射的端到端边缘智能模型搜索方法和系统 - Google Patents

Abstract

本发明公开了一种基于隐式空间映射的端到端边缘智能模型搜索方法和系统，本发明方法包括随机选择搜索种子；获取在隐空间内的连续表征表示e_i；计算超参数；计算搜索种子的模型精度、模型参数量的梯度；在隐空间内开展神经网络结构搜索，得到新搜索种子在隐空间内的连续表征表示e′_i并解码重构为新搜索种子；重复上述步骤直至满足预设的终止条件。本发明能够协同处理模型精度和模型复杂度，可沿多种维度进行模型结构搜索，独立性也高，可通过端到端的训练和搜索，使得该过程可以高效、便捷的实施，满足多种应用场景下神经网络结构的搜索，亦可扩展至其他维护的搜索条件。

Description

基于隐式空间映射的端到端边缘智能模型搜索方法和系统

技术领域

本发明涉及计算机边缘计算和人工智能领域，具体涉及一种基于隐式空间映射的端到端边缘智能模型搜索方法和系统。

背景技术

随着人工智能(AI)技术的广泛应用，越来越多的场景需要将基于深度学习的AI模型运行在计算资源受限的边缘设备上，以满足减少计算时延、降低数据传输带宽、缓解计算中心压力、提高业务可用性、保护数据安全和隐私等需求。因此，边缘智能(EI)这种计算模式得到了快速的发展，而高精度且小规模的神经网络模型对EI就显得尤为重要。然而，限于边缘设备的计算能力和计算资源，以及计算任务实时性等的要求，高精度、高效率、小规模神经网络模型的设计工作是非常困难的。传统的设计方法，是通过对现有的神经网络模型进行压缩、剪枝和参数量化等操作，使得这些规模庞大的神经网络模型能够适应EI的要求。如今，随着神经网络结构搜索(NAS)技术的发展，已经越发展示出其在神经网络设计方面的优势和潜力。分析现有方法，可以发向利用NAS技术进行面向EI的神经网络模型自动化设计过程还是比较复杂，主要表现为现有NAS技术的设计模式和EI应用的需求不匹配上，即NAS技术主要面向的是高性能神经网络结构的搜索工作，其设计初衷并未考虑模型规模这一因素。此外，现有的NAS技术在实际使用时还需要同其他方法结合起来共同使用，才能够实现神经网络模型的自动化搜索。

根据搜索方式的不同，目前的NAS方法主要可以分为两类，一类是基于强化学习的搜索方法，另一类是基于梯度优化的搜索方法。基于强化学习的搜索方法通过逐层迭代的方式来获得最终的网络结构，将每一层的卷积核宽度、高度、通道数、步长等，均预设一定的候选值，然后控制器会将每一层的参数选择当成一个分类任务进行处理，每迭代一次会输出目标神经网络一层的结构。迭代完成后，将生成的神经网络的性能评测结果(如，模型精度)作为反馈信息，反向传播回控制器，并基于此来更新控制器的搜索策略，从而使得搜索到的结果是满足任务需求的。不同于强化学习这种基于离散表征的搜索方法，基于梯度优化的方法将离散的神经网络结构映射至连续空间，从而实现对离散的网络结构进行参数化连续表示，从而利用梯度信息对结构参数进行优化搜索。

无论是基于强化学习的搜索方法，还是基于梯度优化的搜索方法，虽然都能够针对特定的应用场景给出超越人工设计高精度神经网络模型，但是对于EI这一应用领域所需要的模型，还是不能保证输出的结果能够直接运行于资源受限的边缘设备上。大部分情况下，还需要人工辅助进行模型压缩和适应性优化处理，才可以满足EI应用场景。这主要是由于在执行NAS搜索的过程，现有方法都只能在一个维度上进行搜索，即只能保证模型精度，无法协同处理模型精度和模型复杂度这一对相互影响且又相互对立的因素。

综上所述，现有搜索方法无法协同处理模型精度和模型复杂度、只能沿单一维度进行模型结构搜索，且使用过程依赖于其他方法。

发明内容

本发明要解决的技术问题：针对现有搜索方法无法协同处理模型精度和模型复杂度、只能沿单一维度进行模型结构搜索，且使用过程依赖于其他方法的问题，提供一种基于隐式空间映射的端到端边缘智能模型搜索方法和系统，本发明能够协同处理模型精度和模型复杂度，可沿多种维度进行模型结构搜索，独立性也高。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于隐式空间映射的端到端边缘智能模型搜索方法，包括：

1)随机选择指定数量的神经网络结构作为搜索种子；

2)针对搜索种子，获取在隐空间内的连续表征表示e_i；

3)计算搜索步长δ_i和搜索方向偏置λ_i两个超参数；基于隐空间内的连续表征表示计算搜索种子的模型精度、模型参数量的梯度；

4)基于搜索步长δ_i和搜索方向偏置λ_i两个超参数以及搜索种子的模型精度、模型参数量的梯度在隐空间内开展神经网络结构搜索，得到新搜索种子在隐空间内的连续表征表示e′_i；

5)对新搜索种子在隐空间内的连续表征表示e′_i解码重构为新搜索种子；

6)将新搜索种子与搜索种子进行对比，若相同则判定搜索失败，跳转执行步骤4)以重新搜索；否则，跳转执行下一步；

7)将新搜索种子加入搜索结果集合；

8)判断是否满足预设的终止条件，若不满足则更新搜索种子，跳转执行步骤2)；否则，返回最终得到的搜索结果集合并退出。

可选地，步骤2)包括：

2.1)提取神经网络结构的内部拓扑结构信息；

2.2)基于内部拓扑结构信息构建神经网络结构的有向无环图DAG；

2.3)基于神经网络结构的有向无环图DAG，分别提取出邻接矩阵M_adj和操作向量V_opt；

2.4)检查邻接矩阵M_adj和操作向量V_opt的维度，若维度符合要求，则跳转执行下一步；否则对邻接矩阵M_adj和操作向量V_opt进行维度填充处理，跳转执行步骤2.4)；

2.5)基于邻接矩阵M_adj和操作向量V_opt计算神经网络结构的编码向量V_nae；

2.6)基于神经网络结构的编码向量V_nae通过预先训练好的特征提取网络进行神经网络结构的特征提取，得到搜索种子在隐空间内的连续表征表示e_i。

可选地，步骤3)中计算搜索步长δ_i和搜索方向偏置λ_i两个超参数包括：

3.1A)随机初始化搜索步长δ_i和搜索方向偏置λ_i；

3.2A)根据搜索步长δ_i和搜索方向偏置λ_i，得到新搜索种子在隐空间内的连续表征表示e′_i；

3.3A)根据原始的搜索种子在隐空间内的连续表征表示e_i、新搜索种子在隐空间内的连续表征表示e′_i分别计算模型数量r_gen、模型精度r_acc和模型参数量r_par；

3.4A)若模型数量r_gen大于等于1则动态调整搜索步长δ_i，跳转执行步骤3.2A)；若模型精度r_acc和模型参数量r_par两者之和r_pre大于等于1则动态调整搜索方向偏置λ_i，跳转执行步骤3.2A)；否则，跳转执行下一步；

3.5A)计算模型数量r_gen、模型精度r_acc和模型参数量r_par三者之和，若三者之和满足终止条件，则输出最终得到的搜索步长δ_i和搜索方向偏置λ_i；否则，为搜索步长δ_i和搜索方向偏置λ_i两者中的至少一者添加扰动以更新取值，跳转执行步骤3.2A)。

可选地，步骤3.3A)中模型数量r_gen、模型精度r_acc和模型参数量r_par的计算函数为：

上式中，

为搜索到的神经网络结构数量，ε是一个用于防止0作为除数的小量，f_acc(e′_i)为新搜索种子在隐空间内的连续表征表示e′_i的模型精度，f_acc(e_i)为原始的搜索种子在隐空间内的连续表征表示e_i的模型精度，f_par(e′_i)为新搜索种子在隐空间内的连续表征表示e′_i的模型参数量，f_par(e_i)为原始的搜索种子在隐空间内的连续表征表示e_i的模型参数量。

可选地，步骤3)中计算搜索种子的模型精度、模型参数量的梯度包括：

3.1B)分别根据下式计算搜索种子的模型精度、模型参数量；

acc＝f_acc(e_i)，par＝f_par(e_i)，

上式中，f_acc为模型精度预测器，f_par为模型参数量预测器，其中模型精度预测器和模型参数量预测器均为机器学习分类器；

3.2B)分别根据下式计算搜索种子的模型精度、模型参数量的梯度；

上式中，

为搜索种子的模型精度的梯度，

为搜索种子的模型参数量的梯度。

可选地，所述模型精度预测器和模型参数量预测器均为多层感知机，且所述多层感知机在训练时采用的损失函数为：

上式中，

为损失函数，α∈[0,1]为权重系数，

为设计损失函数，

为设计限制条件，且设计损失函数的函数表达式为：

上式中，

表示设计损失函数

ω为端到端搜索模型的参数，

为拼接器的输出结果，y_ij为融合标签；其中，

和y_ij的函数表达式为：

其中，Softmax为激活函数，Cat为拼接函数，可以将两个向量拼接成一个向量，f(e_i)和f(e_j)分别为拼接器的输入，是搜索种子i与搜索种子j所对应神经网络模型的预测结果，该结果在模型精度预测器训练过程中为模型精度预测结果，在模型参数量预测器训练过程中为模型参数量预测结果，y_i和y_j为种子i与种子j所对应神经网络结构的标签，在模型精度预测器训练过程中为模型精度，在模型参数量预测器训练过程中为模型参数量；

设计限制条件的函数表达式为：

上式中，

为设计限制条件

为(∈(e_i)-∈(e_j))×σ(y_ij)的变种Sigmoid函数，σ(y_ij)为y_ij的变种Sign函数，∈(e_i)和∈(e_j)分别为多层感知机中间层的输出特征，分别与搜索种子i和搜索种子j相对应，也是数据对组件的输入，数据对组件选择；且有：

上式中，

为变种Sigmoid函数，x和y分别为函数自变量。

可选地，步骤4)中在隐空间内开展神经网络结构搜索时，得到新搜索种子在隐空间内的连续表征表示e′_i的函数表达式为：

上式中，e_i为搜索种子，δ_i为搜索步长，λ_i为搜索方向偏置，

为搜索种子的模型精度的梯度，

为模型参数量的梯度。

可选地，步骤5)中对新搜索种子在隐空间内的连续表征表示e′_i解码重构为新搜索种子包括：

5.1)将新搜索种子在隐空间内的连续表征表示e′_i解码获得神经网络结构的编码向量V_nae；

5.2)根据基于邻接矩阵M_adj和操作向量V_opt计算神经网络结构的编码向量V_nae时邻接矩阵上三角矩阵最后一列元素在编码向量V_nae中位置的位置向量V_pos，检查位置向量V_pos在解码获得的神经网络结构的编码向量V_nae中对应位置的元素是否为0，若为0，说明对应节点与输出结点之间没有连接关系，继续保持0元素不变；如果不为0，说明对应节点与输出结点之间存在连接关系，且该节点的元素类型一定为输出节点对应的映射值，于是将该位置的元素值强制置为输出节点对应的映射值；

5.3)根据位置向量V_pos，将解码获得的神经网络结构的编码向量V_nae拆分成不同的向量，并按顺序将拆分之后的向量组合成上三角矩阵，完成上三角矩阵的重组；

5.4)逐列分析上三角矩阵列向量的非零元素，从中提取出操作向量对应位置的元素，且原则是所占比例超过设定值的元素为该位置的对应的操作类型；将上三角矩阵的非零元素重置为1，得到了对应的邻接矩阵M_adj，再结合操作向量V_opt，重构出该神经网络结构对应的有向无环图DAG；

5.5)基于有向无环图DAG重构出该神经网络结构。

此外，本发明还提供一种基于隐式空间映射的端到端边缘智能模型搜索系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于隐式空间映射的端到端边缘智能模型搜索方法的步骤。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于隐式空间映射的端到端边缘智能模型搜索方法的计算机程序。

和现有技术相比，本发明具有下述优点：

1)本发明方法可以利用神经网络结构搜索方法实现满足EI(企业智能)计算需求的神经网络模型的自动化设计，即利用EdgeNAS自动搜索得到高精度、小规模的神经网络模型，可以直接部署于资源受限的边缘设备上。

2)本发明方法在神经网络结构搜索的过程中，控制搜索方向沿着模型精度上升和参数规模下降两个方向同时进行，提高了神经网络模型搜索效果，简化了EI计算的模型设计过程。

附图说明

图1为本发明实施例方法的原理框架示意图。

图2为本发明实施例中二元分类问题的构造方式图。

图3为本发明实施例中状态自适应的感知方法

的流程图。

图4为本发明实施例中方法的搜索流程图。

具体实施方式

以下将结合附图和具体实施例对本发明作进一步详细说明。

为了简便，下文将本发明基于隐式空间映射的端到端边缘智能模型搜索方法命名为EdgeNAS(Edge Neural Architecture Serach)。

参见图1和图4，本实施例基于隐式空间映射的端到端边缘智能模型搜索方法包括：

1)随机选择指定数量的神经网络结构作为搜索种子；

2)针对搜索种子，获取在隐空间内的连续表征表示e_i；

3)计算搜索步长δ_i和搜索方向偏置λ_i两个超参数；基于隐空间内的连续表征表示计算搜索种子的模型精度、模型参数量的梯度；

4)基于搜索步长δ_i和搜索方向偏置λ_i两个超参数以及搜索种子的模型精度、模型参数量的梯度在隐空间内开展神经网络结构搜索，得到新搜索种子在隐空间内的连续表征表示e′_i；

5)对新搜索种子在隐空间内的连续表征表示e′_i解码重构为新搜索种子；

6)将新搜索种子与搜索种子进行对比，若相同则判定搜索失败，跳转执行步骤4)以重新搜索；否则，跳转执行下一步；

7)将新搜索种子加入搜索结果集合；

8)判断是否满足预设的终止条件，若不满足则更新搜索种子，跳转执行步骤2)；否则，返回最终得到的搜索结果集合并退出。

参见图1，本实施例方法包含了用于完成隐式空间映射的特征提取模块(AFE模块)、用于获得梯度的模型精度预测模块、神经网络结构解码模块、二元分类构造器和两类损失函数。各个模块的主要功能描述如下：AFE模块用于将离散化的神经网络结构数据转化为隐空间内的连续表征。模型精度预测模块主要负责利用隐空间内的连续特征，预测该特征对应的神经网络结构的模型精度和参数量。神经网络结构解码模块主要负责将隐空间内的连续特征状态，解码重构成神经网络结构，组成最终的神经网络模型。二元分类构造器主要负责将预测器的输出结构构造成一个新的二元分类数据对<e_i|e_j>，包含两个来自不同神经网络结构的预测值，以及该二元分类数据对的分类标签y_ij。本实施例中二元分类问题的构造方式如图2所示。包含预测器的直接输出结果f(e_i)以及预测器生成的特征∈(e_i)。二元分类问题以预测器的输出结果f(e_i)为输入，利用一个拼接操作Cat(·)将来自两个不同神经网络结构的预测结果拼接成一个二分类问题的输出向量，即长度为2的向量。然后，利用分类损失函数对其进行训练。二元分类问题的约束操作，以预测器生成的特征∈(e_i)为输入，通过计算不同神经网络结构特征之间的距离d(h_i-h_j)＝∈(e_i)-∈(e_j)，来达到约束的目的。这里的d(·)与范数的计算过程不同，这里要保留运算结果符号，即保留两个特征之间的大小关系。

常见的神经网络结构表示方法均为离散的，通常采用“网络连接拓扑结构+具体操作类型”这种方式进行表示，在输入神经网络结构搜索系统之前需要对其进行连续化处理。传统的方法对于模型结构的连续化处理过程较为简单，直接将其转换成向量或者张量，然后输入到卷积神经网络(CNN)或循环神经网络(LSTM)中，这种方式会引入一些限制条件而破搜索过程中各个组件之间独立同分布的前提。本实施例中，采用多空间自适应神经网络结构编码表征以获取在隐空间内的连续表征表示e_i；得到离散神经网络结构的连续型表征，即e_i∈ε，ε为连续、可微分的隐空间。从而，完成将神经网络结构由离散状态至隐空间的映射。具体地，本实施例中步骤2)包括：

2.1)提取神经网络结构的内部拓扑结构信息；

2.2)基于内部拓扑结构信息构建神经网络结构的有向无环图DAG；

2.3)基于神经网络结构的有向无环图DAG，分别提取出邻接矩阵M_adj和操作向量V_opt；

2.4)检查邻接矩阵M_adj和操作向量V_opt的维度，若维度符合要求，则跳转执行下一步；否则对邻接矩阵M_adj和操作向量V_opt进行维度填充处理，跳转执行步骤2.4)；

2.5)基于邻接矩阵M_adj和操作向量V_opt计算神经网络结构的编码向量V_nae；

2.6)基于神经网络结构的编码向量V_nae通过预先训练好的特征提取网络进行神经网络结构的特征提取，得到搜索种子在隐空间内的连续表征表示e_i。

步骤2.4)用于检查邻接矩阵和操作向量的维度。如果维度不满足要求，需要对邻接矩阵M_adj和操作向量V_opt进行填充。本实施例中，步骤4)中对邻接矩阵M_adj和操作向量V_opt进行维度填充处理时，对邻接矩阵M_adj进行维度填充的步骤包括：在邻接矩阵M_adj的最后一列之前，填充全零列向量，直到维度满足要求为止；在邻接矩阵M_adj的最后一行之前，填充全零行向量，直到维度满足要求为止。步骤4)中对邻接矩阵M_adj和操作向量V_opt进行维度填充处理时，对操作向量V_opt进行维度填充的步骤包括：在操作向量V_opt的最后一个元素之前按位进行填充，每一位都随机填充搜索空间的一种操作类型的映射值，直到维度满足要求为止。

本实施例中，步骤2.5)包括：

2.5.1)针对邻接矩阵M_adj的行向量进行遍历，针对遍历得到的任意第i行，将邻接矩阵的行向量M_adj[i]和操作向量V_ont进行逐元素乘法得到

然后用得到的新向量

替换邻接矩阵对应的行向量M_adj[i]即：

最终，可得到新的邻接矩阵；

2.5.2)将新的邻接矩阵的上三角部分逐行展开，即将每行前面的全零元素去除掉，并将展开结果按逐行顺序拼接成一个向量，这个向量即为神经网络结构的编码向量V_nae。

由于邻接矩阵是一个上三角矩阵，所以做完上一步操作之后得到的新的邻接矩阵仍然是上三角矩阵。将新邻接矩阵的上三角部分逐行展开，即将每行前面的全零元素去除掉，并将展开结果按逐行顺序拼接成一个向量，这个向量就是神经网络结构的编码向量V_nae；为了重构的需要，步骤2.5.2)中还包括记录邻接矩阵上三角矩阵最后一列元素在编码向量V_nae中的位置信息，并保存到位置向量V_pos中。

经过上一步的操作，不同搜索空间的神经网络结构都被转化成了维度一样的神经网络结构编码向量V_nae。针对统一结构的输入数据，可通过预先训练好的特征提取网络来提取特征表征e_i。步骤2.6)中预先训练好的特征提取网络为卷积神经网络CNN、长短期记忆网络LSTM或基于Transformer的特征提取器。本实施例中，采用基于Transformer的特征提取器，通过基于Transformer的特征提取器获得来自不同搜索空间的神经网络结构的特征表达，表示为：

e_i＝E(V_nae)，

上式中，E则表示基于Transformer的特征提取器。V_nae是神经网络结构的编码向量，神经网络结构可以来自任意搜索空间，e_i是该神经网络结构的特征表达。于是，可以利用该结果构建“网络结构-精度数据”数据对，来对设计好的精度预测器进行训练，也可以利用训练好的精度预测器对该神经网络结构的精度进行预测。本实施例基于Transformer的特征提取器包括嵌入器和多个特征编码器(本实施例中具体包括特征编码器1～特征编码器4共四个特征编码器，此外可以根据需要选择更多或更少数量的特征编码器)，嵌入器和多个特征编码器依次级联连接，且所有特征编码器的输出最终合并得到特征表征e_i。

本实施例中，步骤3)中计算搜索步长δ_i和搜索方向偏置λ_i两个超参数包括：

3.1A)随机初始化搜索步长δ_i和搜索方向偏置λ_i；

3.2A)根据搜索步长δ_i和搜索方向偏置λ_i，得到新搜索种子在隐空间内的连续表征表示e′_i；

3.3A)根据原始的搜索种子在隐空间内的连续表征表示e_i、新搜索种子在隐空间内的连续表征表示e′_i分别计算模型数量r_gen、模型精度r_acc和模型参数量r_par；

3.4A)若模型数量r_gen大于等于1则动态调整搜索步长δ_i，跳转执行步骤3.2A)；若模型精度r_acc和模型参数量r_par两者之和r_pre大于等于1则动态调整搜索方向偏置λ_i，跳转执行步骤3.2A)；否则，跳转执行下一步；

3.5A)计算模型数量r_gen、模型精度r_acc和模型参数量r_par三者之和，若三者之和满足终止条件，则输出最终得到的搜索步长δ_i和搜索方向偏置λ_i；否则，为搜索步长δ_i和搜索方向偏置λ_i两者中的至少一者添加扰动以更新取值，跳转执行步骤3.2A)。

本实施例中，步骤3.3A)中模型数量r_gen、模型精度r_acc和模型参数量r_par的计算函数为：

上式中，

为搜索到的神经网络结构数量，ε是一个用于防止0作为除数的小量，f_acc(e′_i)为新搜索种子在隐空间内的连续表征表示e′_i的模型精度，f_acc(e_i)为原始的搜索种子在隐空间内的连续表征表示e_i的模型精度，f_par(e′_i)为新搜索种子在隐空间内的连续表征表示e′_i的模型参数量，f_par(e_i)为原始的搜索种子在隐空间内的连续表征表示e_i的模型参数量。

本实施例中，步骤3)中计算搜索种子的模型精度、模型参数量的梯度包括：

3.1B)分别根据下式计算搜索种子的模型精度、模型参数量；

acc＝f_acc(e_i)，par＝f_par(e_i)，

上式中，f_acc为模型精度预测器，f_par为模型参数量预测器，其中模型精度预测器和模型参数量预测器均为机器学习分类器；

3.2B)由于神经网络结构连续型表征e_i所在的隐空间ε是连续且可微分的，于是可以获得隐空间中e_i关于模型精度(acc)和模型参数量(par)的梯度，分别根据下式计算搜索种子的模型精度、模型参数量的梯度；

上式中，

为搜索种子的模型精度的梯度，

为搜索种子的模型参数量的梯度。

本实施例中，得到离散神经网络结构的连续表征之后，我们利用一个简单的多层感知机(MLP)来预测该网络结构组成的神经网络模型的精度(Accuracy)以及模型参数量(Parameter Amount)。因此，模型精度预测器和模型参数量预测器均为多层感知机(MLP)，且所述多层感知机在训练时采用的损失函数为：

上式中，

为损失函数，α∈[0,1]为权重系数，

为设计损失函数，

为设计限制条件，且设计损失函数的函数表达式为：

上式中，

表示设计损失函数

ω为端到端搜索模型的参数，

为拼接器的输出结果，y_ij为融合标签；其中，

和y_ij的函数表达式为：

其中，Softmax为激活函数，Cat为拼接函数，可以将两个向量拼接成一个向量，f(e_i)和f(e_j)分别为拼接器的输入，是搜索种子i与搜索种子j所对应神经网络模型的预测结果，该结果在模型精度预测器训练过程中为模型精度预测结果，在模型参数量预测器训练过程中为模型参数量预测结果，y_i和y_j为种子i与种子j所对应神经网络结构的标签，在模型精度预测器训练过程中为模型精度，在模型参数量预测器训练过程中为模型参数量；

设计限制条件的函数表达式为：

上式中，

为设计限制条件

为(∈(e_i)-∈(e_j))×σ(y_ij)的变种Sigmoid函数，σ(y_ij)为y_ij的变种Sign函数，∈(e_i)和∈(e_j)分别为多层感知机中间层的输出特征，分别与搜索种子i和搜索种子j相对应，也是数据对组件的输入，数据对组件选择；且有：

上式中，

为变种Sigmoid函数，x和y分别为函数自变量。

本实施例中，步骤4)中在隐空间内开展神经网络结构搜索时，得到新搜索种子在隐空间内的连续表征表示e′_i的函数表达式为：

上式中，e_i为搜索种子，δ_i为搜索步长，λ_i为搜索方向偏置，

为搜索种子的模型精度的梯度，

为模型参数量的梯度。

本实施例方法(EdgeNAS)在进行神经网络结构搜索时，是在隐空间内进行的，即由初始状态(e_i)出发，沿着搜索路径按搜索步长搜索到新的状态(e′_i)，即新的神经网络结构的特征表达；由于神经网络结构搜索的目标是获得高精度、小规模的神经网络模型，即搜索到的e′_i应满足：

搜索需要兼顾模型精度和模型规模，所以在搜索路径的规划需要同时考虑两个维度，使得搜索过程能够沿着模型精度上升和模型参数量下降的这两个方向同时前进，即：

其中，搜索步长δ_i和方向偏置λ_i的选择非常重要，对于搜索结果的影响也非常大，于是我们给出了一种状态自适应的感知方法

用于根据搜索状态实时调整这两个参数的大小，即：

图3是本实施例状态自适应的感知方法R(·)的流程图，主要步骤包括：首先，随机初始化搜索步长δ_i和方向偏置λ_i，利用步骤3.3计算新的神经网络结构表征e′_i；接下来，分别计算r_gen，r_acc和r_par。r_gen用于标志搜索结果的数量，r_acc用于标志搜索结果的精度，r_par用于标志搜索结果的参数量。然后，判断r_gen是否小于1，如果小于1说明当前搜索参数是有效的，可以搜索到新的神经网络结构，如果大于1说明当前的搜索参数无法搜索到新的神经网络结构，需要调整搜索步长δ_i。同时，判断r_pre＝r_acc+r_par的结果是否小于1，若小于1则说明搜索到的神经网络结构精度比当前结构有提升，同时参数量有下降，否则需要调整方向偏置λ_i。如果r_gen和r_pre均小于1，则计算r_gen+r_acc+r_par的值，判断是否满足终止条件。如果满足，则返回δ_i和λ_i作为搜索参数，开始神经网络结构搜索；如果不满足，则加入扰动后更新δ_i和λ_i的值，重复上述步骤，直到获得满足条件的δ_i和λ_i为止。

步骤5)中对新搜索种子在隐空间内的连续表征表示e′_i解码重构为新搜索种子包括：

5.1)将新搜索种子在隐空间内的连续表征表示e′_i解码获得神经网络结构的编码向量V_nae；

5.2)根据基于邻接矩阵M_adj和操作向量V_opt计算神经网络结构的编码向量V_nae时邻接矩阵上三角矩阵最后一列元素在编码向量V_nae中位置的位置向量V_pos，检查位置向量V_pos在解码获得的神经网络结构的编码向量V_nae中对应位置的元素是否为0，若为0，说明对应节点与输出结点之间没有连接关系，继续保持0元素不变；如果不为0，说明对应节点与输出结点之间存在连接关系，且该节点的元素类型一定为输出节点对应的映射值，于是将该位置的元素值强制置为输出节点对应的映射值；

5.3)根据位置向量V_pos，将解码获得的神经网络结构的编码向量V_nae拆分成不同的向量，并按顺序将拆分之后的向量组合成上三角矩阵，完成上三角矩阵的重组；

5.4)逐列分析上三角矩阵列向量的非零元素，从中提取出操作向量对应位置的元素，且原则是所占比例超过设定值的元素为该位置的对应的操作类型；将上三角矩阵的非零元素重置为1，得到了对应的邻接矩阵M_adj，再结合操作向量V_opt，重构出该神经网络结构对应的有向无环图DAG；

5.5)基于有向无环图DAG重构出该神经网络结构。

本实施例中，步骤5.1)中解码采用通过预先训练好的解码器来将新搜索种子在隐空间内的连续表征表示e′_i解码获得神经网络结构的编码向量V_nae；该解码器为预训练好的神经网络结构编码生成网络，可以为卷积神经网络CNN、长短期记忆网络LSTM或基于Transformer的神经网络结构解码器。本实施例中，采用基于Transformer的神经网络结构解码器，通过基于Transformer的解码器完成来自不同搜索空间的神经网络结构的解码过程。本实施例中，针对该解码器，采用的训练损失函数为：

上式中，

表示解码器采用的训练损失函数，CrossEntropy表示通用的交叉熵损失函数，计算公式为：

上式中，f_dec(·)为解码器，A_i为e_i对应的神经网络结构。且构建端到端的训练损失函数为：

上式中，

为端到端的训练损失函数，该损失函数由三个部分组成。其中，

为模型精度预测器的训练损失函数，计算方法如步骤6所述；

为模型参数量预测器的训练损失函数，计算方法同前；

为解码器的训练损失函数。λ_acc、λ_par和λ_dec权重系数，均为区间(0，1)内的实数。利用多任务学习的方式，根据训练情况动态调整(λ_acc,λ_par,λ_dec)的值，最终训练得到端到端的搜索算法。

参见前文可知，对神经网络结构解码与重构的过程中，首先对神经网络结构的特征表征e_i的解码获得神经网络结构的编码向量V_nae；接下来，需要对编码向量进行校验。校验完成后，按得到的位置向量V_pos对编码向量进行拆分。将拆分得到的向量按顺序重组成上三角矩阵。接下来，根据得到的上三角矩阵，重构出该候选神经网络结构对应的有向无环图DAG。最后，基于神经网络结构内部连接关系信息的提取方式，由有向无环图DAG重构出对应的神经网络结构，返回解码和重构结果。

综上所述，本实施例方法首先在搜索空间内随机选择一定数量的神经网络结构作为搜索种子，利用获取搜索种子在隐空间内的连续特征表示；接下来，利用步骤2计算出精度梯度

和参数量梯度

利用计算出搜索步长δ_i和搜索方向偏置λ_i；然后，利用在隐空间内开展神经网络结构搜索，对于搜索到的新神经网络结构特征表达，利用解码器对其进行解码与重构；将重构的结果与搜索种子进行对比，如果相同则搜索失败，需要重新搜索，如果不同，则形成搜索集合；在此基础上，判断是否满足终止条件，如果满足则返回搜索结果，否则利用搜索到的结果更新搜索种子集合，再次重复上述步骤，开展新的搜索，直到满足终止条件，返回最终搜索结果。本发明方法包括神经网络结构内部结构的特征信息提取，基于提取到的特征信息构建出连续、可微分且足够规则的隐式映射空间；利用多层感知机(MLP)在隐式空间中预测神经网络结构所对应的神经网络模型的精度(Accuracy)以及该模型的参数量(Parameter Amount)；在隐式空间中隐式空间中构建神经网络结构关于模型精度(Accuracy)和模型参数量(Parameter Amount)的梯度信息，即模型精度梯度

和模型参数量梯度

利用梯度下降方法构建隐式空间中搜索路径，控制搜索进程朝着模型精度提升且模型参数量下降的方向进行；最后设计了一种端到端的训练和搜索算法，使得该过程可以高效、便捷的实施。本发明能够同时满足多种应用场景下神经网络结构的搜索，亦可扩展至其他维护的搜索条件。本实施例方法可以利用神经网络结构搜索方法实现满足EI(企业智能)计算需求的神经网络模型的自动化设计，即利用本实施例方法自动搜索得到高精度、小规模的神经网络模型，可以直接部署于资源受限的边缘设备上。本实施例方法在神经网络结构搜索的过程中，控制搜索方向沿着模型精度上升和参数规模下降两个方向同时进行，提高了神经网络模型搜索效果，简化了EI计算的模型设计过程。

此外，本实施例还提供一种基于隐式空间映射的端到端边缘智能模型搜索系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述基于隐式空间映射的端到端边缘智能模型搜索方法的步骤。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于隐式空间映射的端到端边缘智能模型搜索方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，包括：

1)随机选择指定数量的神经网络结构作为搜索种子；

2)针对搜索种子，获取在隐空间内的连续表征表示e_i；

3)计算搜索步长δ_i和搜索方向偏置λ_i两个超参数；基于隐空间内的连续表征表示计算搜索种子的模型精度、模型参数量的梯度；

4)基于搜索步长δ_i和搜索方向偏置λ_i两个超参数以及搜索种子的模型精度、模型参数量的梯度在隐空间内开展神经网络结构搜索，得到新搜索种子在隐空间内的连续表征表示e′_i；

5)对新搜索种子在隐空间内的连续表征表示e′_i解码重构为新搜索种子；

6)将新搜索种子与搜索种子进行对比，若相同则判定搜索失败，跳转执行步骤4)以重新搜索；否则，跳转执行下一步；

7)将新搜索种子加入搜索结果集合；

8)判断是否满足预设的终止条件，若不满足则更新搜索种子，跳转执行步骤2)；否则，返回最终得到的搜索结果集合并退出。

2.根据权利要求1所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，步骤2)包括：

2.1)提取神经网络结构的内部拓扑结构信息；

2.2)基于内部拓扑结构信息构建神经网络结构的有向无环图DAG；

2.3)基于神经网络结构的有向无环图DAG，分别提取出邻接矩阵M_adj和操作向量V_opt；

2.4)检查邻接矩阵M_adj和操作向量V_opt的维度，若维度符合要求，则跳转执行下一步；否则对邻接矩阵M_adj和操作向量V_opt进行维度填充处理，跳转执行步骤2.4)；

2.5)基于邻接矩阵M_adj和操作向量V_opt计算神经网络结构的编码向量V_nae；

2.6)基于神经网络结构的编码向量V_nae通过预先训练好的特征提取网络进行神经网络结构的特征提取，得到搜索种子在隐空间内的连续表征表示e_i。

3.根据权利要求1所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，步骤3)中计算搜索步长δ_i和搜索方向偏置λ_i两个超参数包括：

3.1A)随机初始化搜索步长δ_i和搜索方向偏置λ_i；

3.2A)根据搜索步长δ_i和搜索方向偏置λ_i，得到新搜索种子在隐空间内的连续表征表示e′_i；

3.3A)根据原始的搜索种子在隐空间内的连续表征表示e_i、新搜索种子在隐空间内的连续表征表示e′_i分别计算模型数量r_gen、模型精度r_acc和模型参数量r_par；

3.4A)若模型数量r_gen大于等于1则动态调整搜索步长δ_i，跳转执行步骤3.2A)；若模型精度r_acc和模型参数量r_par两者之和r_pre大于等于1则动态调整搜索方向偏置λ_i，跳转执行步骤3.2A)；否则，跳转执行下一步；

3.5A)计算模型数量r_gen、模型精度r_acc和模型参数量r_par三者之和，若三者之和满足终止条件，则输出最终得到的搜索步长δ_i和搜索方向偏置λ_i；否则，为搜索步长δ_i和搜索方向偏置λ_i两者中的至少一者添加扰动以更新取值，跳转执行步骤3.2A)。

4.根据权利要求3所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，步骤3.3A)中模型数量r_gen、模型精度r_acc和模型参数量r_par的计算函数为：

上式中，

为搜索到的神经网络结构数量，ε是一个用于防止0作为除数的小量，f_acc(e′_i)为新搜索种子在隐空间内的连续表征表示e′_i的模型精度，f_acc(e_i)为原始的搜索种子在隐空间内的连续表征表示e_i的模型精度，f_par(e′_i)为新搜索种子在隐空间内的连续表征表示e′_i的模型参数量，f_par(e_i)为原始的搜索种子在隐空间内的连续表征表示e_i的模型参数量。

5.根据权利要求1所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，步骤3)中计算搜索种子的模型精度、模型参数量的梯度包括：

3.1B)分别根据下式计算搜索种子的模型精度、模型参数量；

acc＝f_acc(e_i)，par＝f_par(e_i)，

上式中，f_acc为模型精度预测器，f_par为模型参数量预测器，其中模型精度预测器和模型参数量预测器均为机器学习分类器；

3.2B)分别根据下式计算搜索种子的模型精度、模型参数量的梯度；

上式中，

为搜索种子的模型精度的梯度，

为搜索种子的模型参数量的梯度。

6.根据权利要求5所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，所述模型精度预测器和模型参数量预测器均为多层感知机，且所述多层感知机在训练时采用的损失函数为：

上式中，

为损失函数，α∈[0，1]为权重系数，

为设计损失函数，

为设计限制条件，且设计损失函数的函数表达式为：

上式中，

表示设计损失函数

ω为端到端搜索模型的参数，

为拼接器的输出结果，y_ij为融合标签；其中，

和y_ij的函数表达式为：

其中，Softmax为激活函数，Cat为拼接函数，可以将两个向量拼接成一个向量，f(e_i)和f(e_j)分别为拼接器的输入，是搜索种子i与搜索种子j所对应神经网络模型的预测结果，该结果在模型精度预测器训练过程中为模型精度预测结果，在模型参数量预测器训练过程中为模型参数量预测结果，y_i和y_j为种子i与种子j所对应神经网络结构的标签，在模型精度预测器训练过程中为模型精度，在模型参数量预测器训练过程中为模型参数量；

设计限制条件的函数表达式为：

上式中，

为设计限制条件

为(∈(e_i)-∈(e_j))×σ(y_ij)的变种Sigmoid函数，σ(y_ij)为y_ij的变种Sign函数，∈(e_i)和∈(e_j)分别为多层感知机中间层的输出特征，分别与搜索种子i和搜索种子j相对应，也是数据对组件的输入，数据对组件选择；且有：

上式中，

为变种Sigmoid函数，x和y分别为函数自变量。

7.根据权利要求1所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，步骤4)中在隐空间内开展神经网络结构搜索时，得到新搜索种子在隐空间内的连续表征表示e′_i的函数表达式为：

上式中，e_i为搜索种子，δ_i为搜索步长，λ_i为搜索方向偏置，

为搜索种子的模型精度的梯度，

为模型参数量的梯度。

8.根据权利要求1所述的基于隐式空间映射的端到端边缘智能模型搜索方法，其特征在于，步骤5)中对新搜索种子在隐空间内的连续表征表示e′_i解码重构为新搜索种子包括：

5.1)将新搜索种子在隐空间内的连续表征表示e′_i解码获得神经网络结构的编码向量V_nae；

5.2)根据基于邻接矩阵M_adj和操作向量V_opt计算神经网络结构的编码向量V_nae时邻接矩阵上三角矩阵最后一列元素在编码向量V_nae中位置的位置向量V_pos，检查位置向量V_pos在解码获得的神经网络结构的编码向量V_nae中对应位置的元素是否为0，若为0，说明对应节点与输出结点之间没有连接关系，继续保持0元素不变；如果不为0，说明对应节点与输出结点之间存在连接关系，且该节点的元素类型一定为输出节点对应的映射值，于是将该位置的元素值强制置为输出节点对应的映射值；

5.3)根据位置向量V_pos，将解码获得的神经网络结构的编码向量V_nae拆分成不同的向量，并按顺序将拆分之后的向量组合成上三角矩阵，完成上三角矩阵的重组；

5.4)逐列分析上三角矩阵列向量的非零元素，从中提取出操作向量对应位置的元素，且原则是所占比例超过设定值的元素为该位置的对应的操作类型；将上三角矩阵的非零元素重置为1，得到了对应的邻接矩阵M_adj，再结合操作向量V_opt，重构出该神经网络结构对应的有向无环图DAG；

5.5)基于有向无环图DAG重构出该神经网络结构。

9.一种基于隐式空间映射的端到端边缘智能模型搜索系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述基于隐式空间映射的端到端边缘智能模型搜索方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述基于隐式空间映射的端到端边缘智能模型搜索方法的计算机程序。

Images