CN113962391A - 神经网络架构搜索方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及神经网络技术领域，公开了一种神经网络架构搜索方法、装置、设备及存储介质。包括：定义神经网络架构搜索空间；基于搜索网络生成候选模型架构；将数据集和候选模型架构秘密共享至计算服务器，以使计算服务器进行隐私保护神经网络训练，反馈训练精度；根据训练精度更新预测网络和搜索网络，根据更新后的搜索网络继续搜索候选模型架构，直到预测网络的模型误差达到阈值；根据更新后的预测网络对最终候选模型架构进行精度预测，对最终候选模型架构进行候选架构评估。由数据拥有者发起模型架构搜索任务，利用秘密共享方式发送数据集，将模型训练等计算任务外包给计算服务器，保证了模型隐私性，解决由于架构搜索带来模型结构泄露的问题。

Description

神经网络架构搜索方法、装置、设备及存储介质

技术领域

本发明涉及神经网络技术领域，尤其涉及一种神经网络架构搜索方法、装置、设备及存储介质。

背景技术

现有技术为实现密态模型自适应适配，通常训练每个候选模型，根据其性能好坏来决定候选模型评分，但密态数据模型训练非常耗时，使得模型自适应适配难以实际应用。并且在实际过程中，模型结构和参数都是数据拥有者的数字资产，直接进行模型架构搜索会使用到模型的明文结构，导致模型结构泄露，影响到合理使用密态模型适配。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种神经网络架构搜索方法、装置、设备及存储介质，旨在解决由于架构搜索带来模型结构泄露的技术问题。

为实现上述目的，本发明提供了一种神经网络架构搜索方法，所述方法包括以下步骤：

定义神经网络架构搜索空间；

基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构；

将目标数据集以及所述候选模型架构秘密共享至目标计算服务器，以使所述目标计算服务器基于预设预测网络根据所述目标数据集以及所述候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；

根据所述训练精度对目标预测网络进行更新；

根据所述训练精度对所述目标搜索网络进行更新，并根据更新后的所述目标搜索网络返回执行基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤，直到所述目标预测网络的模型误差小于或等于预设阈值；

根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；

基于所述精度预测结果对所述最终候选模型架构进行候选架构评估。

可选地，所述根据所述训练精度对目标预测网络进行更新，包括：

计算目标数据集对应的数据摘要；

确定所述候选模型架构对应的架构摘要；

根据所述数据摘要、所述架构摘要以及所述训练精度对目标预测网络进行更新。

可选地，所述计算目标数据集对应的数据摘要，包括：

利用训练好的VGG16卷积神经网络对目标数据集进行高阶特征提取，得到数据摘要。

可选地，所述根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果，包括：

确定最终候选模型架构对应的目标架构摘要；

基于更新后的所述目标预测网络根据所述数据摘要以及所述目标架构摘要进行精度预测，得到精度预测结果。

可选地，所述目标预测网络包括第一长短期记忆网络、第二长短期记忆网络以及全连接网络，所述第一长短期记忆网络以及所述第二长短期记忆网络与所述全连接网络连接；

所述基于更新后的所述目标预测网络根据所述数据摘要以及所述目标架构摘要进行精度预测，得到精度预测结果，包括：

将所述目标架构摘要输入至所述第一长短期记忆网络，并将所述数据摘要输入至所述第二长短期记忆网络，以对所述最终候选模型架构进行精度预测，得到所述全连接网络输出的精度预测结果。

可选地，所述架构摘要包括所述候选模型架构对应的神经网络层数、神经网络每层类型、神经网络超参数以及跃层连接特征。

可选地，所述基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构之前，所述方法还包括：

获取当前搜索次数；

判断所述当前搜索次数是否达到预设迭代次数；

在所述当前搜索次数未达到所述预设迭代次数时，执行所述基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤。

此外，为实现上述目的，本发明还提出一种神经网络架构搜索装置，所述神经网络架构搜索装置包括：

定义模块，用于定义神经网络架构搜索空间；

模型搜索模块，用于基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构；

计算模块，用于将目标数据集以及所述候选模型架构秘密共享至目标计算服务器，以使所述目标计算服务器基于预设预测网络根据所述目标数据集以及所述候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；

更新模块，用于根据所述训练精度对目标预测网络进行更新；

迭代模块，用于根据所述训练精度对所述目标搜索网络进行更新，并根据更新后的所述目标搜索网络返回执行基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤，直到所述目标预测网络的模型误差小于或等于预设阈值；

预测模块，用于根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；

评估模块，用于基于所述精度预测结果对所述最终候选模型架构进行候选架构评估。

此外，为实现上述目的，本发明还提出一种神经网络架构搜索设备，所述神经网络架构搜索设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络架构搜索程序，所述神经网络架构搜索程序配置为实现如上文所述的神经网络架构搜索方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有神经网络架构搜索程序，所述神经网络架构搜索程序被处理器执行时实现如上文所述的神经网络架构搜索方法。

本发明通过定义神经网络架构搜索空间；基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构；将目标数据集以及候选模型架构秘密共享至目标计算服务器，以使目标计算服务器基于预设预测网络根据目标数据集以及候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；根据训练精度对目标预测网络进行更新；根据训练精度对目标搜索网络进行更新，并根据更新后的目标搜索网络返回执行基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构的步骤，直到目标预测网络的模型误差小于或等于预设阈值；根据更新后的目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；基于精度预测结果对最终候选模型架构进行候选架构评估。通过上述方式，由数据拥有者发起模型架构搜索任务，利用秘密共享方式向计算服务器发送数据集，将模型训练等计算任务外包给计算服务器，在目标预测网络的模型误差达到阈值时，无需继续发送候选模型架构给计算服务器，即计算服务器未获取到最终模型架构，保证了模型架构隐私，解决了由于架构搜索带来模型结构泄露的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的神经网络架构搜索设备的结构示意图；

图2为本发明神经网络架构搜索方法第一实施例的流程示意图；

图3为本发明神经网络架构搜索方法一实施例的系统模型示意图；

图4为本发明神经网络架构搜索方法第二实施例的流程示意图；

图5为本发明神经网络架构搜索方法一实施例的网络架构示意图；

图6为本发明神经网络架构搜索方法一实施例的预测网络结构示意图；

图7为本发明神经网络架构搜索装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的神经网络架构搜索设备结构示意图。

如图1所示，该神经网络架构搜索设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对神经网络架构搜索设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及神经网络架构搜索程序。

在图1所示的神经网络架构搜索设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明神经网络架构搜索设备中的处理器1001、存储器1005可以设置在神经网络架构搜索设备中，所述神经网络架构搜索设备通过处理器1001调用存储器1005中存储的神经网络架构搜索程序，并执行本发明实施例提供的神经网络架构搜索方法。

本发明实施例提供了一种神经网络架构搜索方法，参照图2，图2为本发明神经网络架构搜索方法第一实施例的流程示意图。

本实施例中，所述神经网络架构搜索方法包括以下步骤：

步骤S10：定义神经网络架构搜索空间。

步骤S20：基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构。

可以理解的是，本实施例的执行主体为神经网络架构搜索设备，所述神经网络架构搜索设备可以为计算机、服务器等设备，还可以为其他具备相同或相似功能的设备，具体地，本实施例的神经网络架构搜索设备为模型结构、参数以及数据集等数字资产的数据拥有者。

需要说明的是，数据拥有者定义神经网络架构搜索任务，形式化为F(D,S,L)，其中，D表示目标数据集，S表示搜索空间，L表示损失函数，具体地，神经网络架构搜索空间定义了本实施例的神经网络架构搜索方法原则上可能发现的神经体系结构，利用预先设置好的目标搜索网络根据搜索空间产生候选模型架构。

进一步地，所述步骤S20之前，所述方法还包括：获取当前搜索次数；判断所述当前搜索次数是否达到预设迭代次数；在所述当前搜索次数未达到所述预设迭代次数时，执行步骤S20。

可以理解的是，预设迭代次数为提前设置的最大迭代次数，如果当前搜索次数未达到最大迭代次数，则基于目标搜索网络根据定义好的神经网络架构搜索空间搜索候选模型架构，根据计算服务器反馈的训练精度对目标搜索网络进行更新，在下一次迭代过程中，基于更新后的目标搜索网络根据定义好的神经网络架构搜索空间重新生成候选模型架构。

步骤S30：将目标数据集以及所述候选模型架构秘密共享至目标计算服务器，以使所述目标计算服务器基于预设预测网络根据所述目标数据集以及所述候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度。

应当理解的是，在根据损失函数L确定数据拥有者的目标预测模型对应的模型误差较大时，将计算任务发送至目标计算服务器，在数据拥有者的目标预测模型对应的模型误差较小时，直接利用数据拥有者的目标预测模型对候选模型架构的训练精度进行预测，这种方式在网络架构迭代搜索进行后期时，数据拥有者不再发送候选模型架构至目标计算服务器，进一步保证模型架构的隐私性。

需要说明的是，参照图3，图3为本发明神经网络架构搜索方法一实施例的系统模型示意图，本实施例的数据拥有者设置有搜索网络φ以及预测网络ψ，数据拥有者根据搜索网络φ搜索得到候选架构λ，但是其计算能力有限，将计算任务分发至服务器，即将数据集D和候选架构λ秘密共享至计算服务器sever0以及sever1，秘密共享方式可以为：数据拥有者产生数据集D，将数据集D拆分为D'和D''，加密后分别发送至server0服务器和server1服务器。在具体实现中，server0服务器和server1服务器进行数据交互，完成数据拥有者分配的计算任务，即目标计算服务器通过秘密共享的方式获取目标数据集和候选模型架构，基于预设预测网络根据目标数据集以及候选模型架构进行隐私保护神经网络训练，反馈对应的训练精度。当网络架构搜索进入后期时，使用预测网络ψ的预测精度进行候选架构评估，不再发送候选架构给计算服务器，保证模型架构隐私。

步骤S40：根据所述训练精度对目标预测网络进行更新。

应当理解的是，本实施例中数据拥有者将模型训练的任务分配至目标计算服务器，在目标计算服务器根据目标数据集以及候选模型架构进行隐私保护神经网络训练后，向数据拥有者反馈模型与数据间的映射关系，可选地，目标计算服务器向数据拥有者共享候选架构训练性能指标，数据拥有者根据共享得到的候选架构训练性能指标对目标预测网络进行更新。在下一次迭代过程中，判断更新后的目标预测网络对应的模型误差是否大于预设阈值，如果更新后的目标预测网络对应的模型误差大于预设阈值，则再次向目标计算服务器分配计算任务。

步骤S50：根据所述训练精度对所述目标搜索网络进行更新，并根据更新后的所述目标搜索网络返回执行基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤，直到所述目标预测网络的模型误差小于或等于预设阈值。

可以理解的是，预设阈值为提前设置的固定数值，为用于区分目标预测网络的训练精度是否达标的临界值，在目标预测网络对应的模型误差大于预设阈值时，表征目标预测网络未训练好，此时数据拥有者将目标数据集和候选模型架构秘密共享至目标计算服务器，将计算任务分配给目标计算服务器。在目标预测网络对应的模型误差小于或等于预设阈值时，表征目标预测网络已训练好，直接根据目标预测网络对候选模型架构进行精度预测。进一步地，提前定义好损失函数L，根据损失函数L确定目标预测网络的模型误差。

步骤S60：根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果。

需要说明的是，在目标预测网络对应的模型误差小于或等于预设阈值时，表征目标预测网络已训练好，此时根据数据拥有者的目标预测网络执行网络架构训练精度预测的任务，利用预先训练好的VGG16卷积神经网络对目标数据集进行高阶特征提取，得到数据摘要，提取候选模型架构对应的神经网络层数、神经网络每层类型、神经网络超参数以及跃层连接特征。根据目标预测网络结构将数据摘要以及架构摘要作为输入，输出对应的精度预测结果，预测神经网络模型拟合数据后的模型性能。

可以理解的是，本实施例中提前设置有最大迭代次数，在当前搜索次数未达到最大迭代次数时，根据搜索网络产生候选架构，判断目标预测网络对应的模型误差是否达到预设阈值，如果模型误差大于预设阈值，向目标计算服务器分配计算任务，通过目标计算服务器反馈的模型与数据间的匹配关系，对数据拥有者的目标预测模型进行网络映射，实现目标预测模型的更新，确定更新后的目标预测模型的模型误差仍然大于预设阈值，在下一次迭代过程中再次向目标计算服务器分配计算任务，如果更新后的目标预测模型的模型误差小于或等于预设阈值，则在下一次迭代过程中利用更新后的目标预测模型对当前候选模型架构的训练精度进行预测，以此类推，迭代该过程直到满足终止条件，终止条件如达到最大迭代次数或变异后的网络模型架构性能不再上升，得到经过多次更新后的搜索网络产生的候选模型架构，实现了神经网络架构搜索，得到训练精度高的神经网络模型架构。

步骤S70：基于所述精度预测结果对所述最终候选模型架构进行候选架构评估。

本实施例通过定义神经网络架构搜索空间；基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构；将目标数据集以及候选模型架构秘密共享至目标计算服务器，以使目标计算服务器基于预设预测网络根据目标数据集以及候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；根据训练精度对目标预测网络进行更新；根据训练精度对目标搜索网络进行更新，并根据更新后的目标搜索网络返回执行基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构的步骤，直到目标预测网络的模型误差小于或等于预设阈值；根据更新后的目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；基于精度预测结果对最终候选模型架构进行候选架构评估。通过上述方式，由数据拥有者发起模型架构搜索任务，利用秘密共享方式向计算服务器发送数据集，将模型训练等计算任务外包给计算服务器，在目标预测网络的模型误差达到阈值时，无需继续发送候选模型架构给计算服务器，即计算服务器未获取到最终模型架构，保证了模型架构隐私，解决了由于架构搜索带来模型结构泄露的技术问题。

参考图4，图4为本发明神经网络架构搜索方法第二实施例的流程示意图。

基于上述第一实施例，本实施例神经网络架构搜索方法的所述步骤S40，包括：

步骤S401：计算目标数据集对应的数据摘要。

可以理解的是，本实施例中利用计算数据摘要将目标数据集转化为可输入至预测网络的特征信息，进一步简化数据，使得计算能力较弱的数据拥有者也能通过数据摘要进行精度预测等计算。

具体地，所述步骤S401，包括：利用训练好的VGG16卷积神经网络对目标数据集进行高阶特征提取，得到数据摘要。

步骤S402：确定所述候选模型架构对应的架构摘要。

需要说明的是，对候选模型架构进行特征提取，简化模型输入数据，进一步满足数据拥有者的计算需求。

具体地，所述架构摘要包括所述候选模型架构对应的神经网络层数、神经网络每层类型、神经网络超参数以及跃层连接特征。

应当理解的是，确定候选模型架构对应的架构摘要是指模型序列特征提取。本实施例中设置的架构摘要包括：（1）神经网络的层数n；(2)神经网络中每层的类型，包括池化、卷积或者其他高级操作，例如深度可分离卷积、空洞卷积等；(3)神经网络的超参数，包括卷积核的数量、核大小、卷积步长和全连接层的数量等。前3种特征以不定长序列作为架构摘要。(4)跃层连接特征，使用one-hot矩阵的方式进行表示。

在具体实现中，参照图5，图5为本发明神经网络架构搜索方法一实施例的网络架构示意图，以图5中的前5层网络架构为例对跃层连接特征进行说明，如表1，表1为图4中的前5层网络架构的模型序列特征，根据非循环式神经网络的结构，该模型序列特征对角线及左下角的元素全部为0，因此，可以截取上半部分的元素作为最终的跃层连接特征，表示为：[1,0,1,1,1,0,0,1,0,1]。

表1：

	1	2	3	4	5
						1	0	1	0	1	1
2	0	0	1	0	0
						3	0	0	0	1	0
4	0	0	0	0	1
						5	0	0	0	0	0

步骤S403：根据所述数据摘要、所述架构摘要以及所述训练精度对目标预测网络进行更新。

相应地，所述步骤S60，包括：

步骤S601：确定最终候选模型架构对应的目标架构摘要。

需要说明的是，最终候选模型为网络架构搜索进入后期，目标搜索网络生成的候选模型，目标架构摘要包括最终候选模型架构对应的神经网络层数、神经网络每层类型、神经网络超参数以及跃层连接特征。

步骤S602：基于更新后的所述目标预测网络根据所述数据摘要以及所述目标架构摘要进行精度预测，得到精度预测结果。

具体地，所述目标预测网络包括第一长短期记忆网络、第二长短期记忆网络以及全连接网络，所述第一长短期记忆网络以及所述第二长短期记忆网络与所述全连接网络连接；

所述步骤S602，包括：将所述目标架构摘要输入至所述第一长短期记忆网络，并将所述数据摘要输入至所述第二长短期记忆网络，以对所述最终候选模型架构进行精度预测，得到所述全连接网络输出的精度预测结果。

参照图6，图6为本发明神经网络架构搜索方法一实施例的预测网络结构示意图，本实施例中目标预测网络包括第一网络层、第二网络层以及第三网络层，其中第一网络层和第二网络层均使用LSTM架构，分别对应输入不定长的神经网络架构特征和训练数据集特征，第三网络层使用全连接网络，在具体实现中，目标预测网络对应的损失函数采用均方误差损失函数，第三网络层根据第一网络层和第二网络层产生的高阶特征计算最终的模型性能预测结果。

需要说明的是，以图像分类对应的神经网络架构搜索过程作为场景进行说明：

步骤一：数据拥有者定义神经网络架构搜索任务，将数据集D通过秘密分享的方式拆分为D'和D''，分别发送给计算服务器server0和计算服务器server1；初始化搜索网络和预测网络，初始化迭代次数i，即令i=0。

步骤二：计算数据集D对应的数据摘要，即利用预训练好的VGG16计算数据集D对应的高阶特征。

步骤三：判断当前迭代此时i是否达到最大迭代次数Iter，如果是，停止迭代；如果否，则根据搜索网络产生候选网络架构。

步骤四：判断预测网络误差是否达到阈值，如果是，则利用预测网络根据数据摘要和架构摘要对候选网络架构的训练精度进行预测；如果否，则发送计算任务到计算服务器计算训练精度，计算候选网络架构对应的架构摘要，并根据数据摘要、架构摘要和训练精度更新预测网络。

步骤五：根据训练精度更新搜索网络，并将迭代次数i加1。根据更新后的预测网络和搜索网络返回执行步骤三，以此类推，迭代步骤三至步骤五直到满足终止条件。

本实施例通过定义神经网络架构搜索空间；基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构；将目标数据集以及候选模型架构秘密共享至目标计算服务器，以使目标计算服务器基于预设预测网络根据目标数据集以及候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；计算目标数据集对应的数据摘要；确定候选模型架构对应的架构摘要；根据数据摘要、架构摘要以及训练精度对目标预测网络进行更新；根据训练精度对目标搜索网络进行更新，并根据更新后的目标搜索网络返回执行基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构的步骤，直到目标预测网络的模型误差小于或等于预设阈值；确定最终候选模型架构对应的目标架构摘要；基于更新后的目标预测网络根据数据摘要以及目标架构摘要进行精度预测，得到精度预测结果；基于精度预测结果对最终候选模型架构进行候选架构评估。通过上述方式，由数据拥有者发起模型架构搜索任务，利用秘密共享方式向计算服务器发送数据集，将模型训练等计算任务外包给计算服务器，在目标预测网络的模型误差达到阈值时，无需继续发送候选模型架构给计算服务器，即计算服务器未获取到最终模型架构，保证了模型架构隐私，解决了由于架构搜索带来模型结构泄露的技术问题，在利用数据拥有者的目标预测网络进行精度预测时，获取目标数据集对应的数据摘要以及候选模型架构对应的架构摘要，简化了模型输入数据，减小计算量，使得计算能力较弱的数据拥有者也能进行精度预测，提升了神经网络架构搜索效率。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有神经网络架构搜索程序，所述神经网络架构搜索程序被处理器执行时实现如上文所述的神经网络架构搜索方法。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图7，图7为本发明神经网络架构搜索装置第一实施例的结构框图。

如图7所示，本发明实施例提出的神经网络架构搜索装置包括：

定义模块10，用于定义神经网络架构搜索空间。

模型搜索模块20，用于基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构。

计算模块30，用于将目标数据集以及所述候选模型架构秘密共享至目标计算服务器，以使所述目标计算服务器基于预设预测网络根据所述目标数据集以及所述候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度。

更新模块40，用于根据所述训练精度对目标预测网络进行更新。

迭代模块50，用于根据所述训练精度对所述目标搜索网络进行更新，并根据更新后的所述目标搜索网络返回执行基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤，直到所述目标预测网络的模型误差小于或等于预设阈值。

预测模块60，用于根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果。

评估模块70，用于基于所述精度预测结果对所述最终候选模型架构进行候选架构评估。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例通过定义神经网络架构搜索空间；基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构；将目标数据集以及候选模型架构秘密共享至目标计算服务器，以使目标计算服务器基于预设预测网络根据目标数据集以及候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；根据训练精度对目标预测网络进行更新；根据训练精度对目标搜索网络进行更新，并根据更新后的目标搜索网络返回执行基于目标搜索网络根据神经网络架构搜索空间生成对应的候选模型架构的步骤，直到目标预测网络的模型误差小于或等于预设阈值；根据更新后的目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；基于精度预测结果对最终候选模型架构进行候选架构评估。通过上述方式，由数据拥有者发起模型架构搜索任务，利用秘密共享方式向计算服务器发送数据集，将模型训练等计算任务外包给计算服务器，在目标预测网络的模型误差达到阈值时，无需继续发送候选模型架构给计算服务器，即计算服务器未获取到最终模型架构，保证了模型架构隐私，解决了由于架构搜索带来模型结构泄露的技术问题。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的神经网络架构搜索方法，此处不再赘述。

在一实施例中，所述更新模块40，还用于计算目标数据集对应的数据摘要；确定所述候选模型架构对应的架构摘要；根据所述数据摘要、所述架构摘要以及所述训练精度对目标预测网络进行更新。

在一实施例中，所述更新模块40，还用于利用训练好的VGG16卷积神经网络对目标数据集进行高阶特征提取，得到数据摘要。

在一实施例中，所述预测模块60，还用于确定最终候选模型架构对应的目标架构摘要；基于更新后的所述目标预测网络根据所述数据摘要以及所述目标架构摘要进行精度预测，得到精度预测结果。

在一实施例中，所述目标预测网络包括第一长短期记忆网络、第二长短期记忆网络以及全连接网络，所述第一长短期记忆网络以及所述第二长短期记忆网络与所述全连接网络连接；

所述预测模块60，还用于将所述目标架构摘要输入至所述第一长短期记忆网络，并将所述数据摘要输入至所述第二长短期记忆网络，以对所述最终候选模型架构进行精度预测，得到所述全连接网络输出的精度预测结果。

在一实施例中，所述架构摘要包括所述候选模型架构对应的神经网络层数、神经网络每层类型、神经网络超参数以及跃层连接特征。

在一实施例中，所述模型搜索模块20，还用于获取当前搜索次数；判断所述当前搜索次数是否达到预设迭代次数；在所述当前搜索次数未达到所述预设迭代次数时，执行所述基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种神经网络架构搜索方法，其特征在于，所述神经网络架构搜索方法包括：

定义神经网络架构搜索空间；

基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构；

将目标数据集以及所述候选模型架构秘密共享至目标计算服务器，以使所述目标计算服务器基于预设预测网络根据所述目标数据集以及所述候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；

根据所述训练精度对目标预测网络进行更新；

根据所述训练精度对所述目标搜索网络进行更新，并根据更新后的所述目标搜索网络返回执行基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤，直到所述目标预测网络的模型误差小于或等于预设阈值；

根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；

基于所述精度预测结果对所述最终候选模型架构进行候选架构评估。

2.如权利要求1所述的神经网络架构搜索方法，其特征在于，所述根据所述训练精度对目标预测网络进行更新，包括：

计算目标数据集对应的数据摘要；

确定所述候选模型架构对应的架构摘要；

根据所述数据摘要、所述架构摘要以及所述训练精度对目标预测网络进行更新。

3.如权利要求2所述的神经网络架构搜索方法，其特征在于，所述计算目标数据集对应的数据摘要，包括：

利用训练好的VGG16卷积神经网络对目标数据集进行高阶特征提取，得到数据摘要。

4.如权利要求2所述的神经网络架构搜索方法，其特征在于，所述根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果，包括：

确定最终候选模型架构对应的目标架构摘要；

基于更新后的所述目标预测网络根据所述数据摘要以及所述目标架构摘要进行精度预测，得到精度预测结果。

5.如权利要求4所述的神经网络架构搜索方法，其特征在于，所述目标预测网络包括第一长短期记忆网络、第二长短期记忆网络以及全连接网络，所述第一长短期记忆网络以及所述第二长短期记忆网络与所述全连接网络连接；

所述基于更新后的所述目标预测网络根据所述数据摘要以及所述目标架构摘要进行精度预测，得到精度预测结果，包括：

将所述目标架构摘要输入至所述第一长短期记忆网络，并将所述数据摘要输入至所述第二长短期记忆网络，以对所述最终候选模型架构进行精度预测，得到所述全连接网络输出的精度预测结果。

6.如权利要求2所述的神经网络架构搜索方法，其特征在于，所述架构摘要包括所述候选模型架构对应的神经网络层数、神经网络每层类型、神经网络超参数以及跃层连接特征。

7.如权利要求1-6中任一项所述的神经网络架构搜索方法，其特征在于，所述基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构之前，所述方法还包括：

获取当前搜索次数；

判断所述当前搜索次数是否达到预设迭代次数；

在所述当前搜索次数未达到所述预设迭代次数时，执行所述基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤。

8.一种神经网络架构搜索装置，其特征在于，所述神经网络架构搜索装置包括：

定义模块，用于定义神经网络架构搜索空间；

模型搜索模块，用于基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构；

计算模块，用于将目标数据集以及所述候选模型架构秘密共享至目标计算服务器，以使所述目标计算服务器基于预设预测网络根据所述目标数据集以及所述候选模型架构进行隐私保护神经网络训练，并反馈对应的训练精度；

更新模块，用于根据所述训练精度对目标预测网络进行更新；

迭代模块，用于根据所述训练精度对所述目标搜索网络进行更新，并根据更新后的所述目标搜索网络返回执行基于目标搜索网络根据所述神经网络架构搜索空间生成对应的候选模型架构的步骤，直到所述目标预测网络的模型误差小于或等于预设阈值；

预测模块，用于根据更新后的所述目标预测网络对最终候选模型架构进行精度预测，得到精度预测结果；

评估模块，用于基于所述精度预测结果对所述最终候选模型架构进行候选架构评估。

9.一种神经网络架构搜索设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络架构搜索程序，所述神经网络架构搜索程序配置为实现如权利要求1至7中任一项所述的神经网络架构搜索方法。

10.一种存储介质，其特征在于，所述存储介质上存储有神经网络架构搜索程序，所述神经网络架构搜索程序被处理器执行时实现如权利要求1至7任一项所述的神经网络架构搜索方法。

Images