CN110046706B - 模型生成方法、装置及服务器 - Google Patents

模型生成方法、装置及服务器 Download PDF

Info

Publication number
CN110046706B
CN110046706B CN201910312989.2A CN201910312989A CN110046706B CN 110046706 B CN110046706 B CN 110046706B CN 201910312989 A CN201910312989 A CN 201910312989A CN 110046706 B CN110046706 B CN 110046706B
Authority
CN
China
Prior art keywords
optimized
model
controller
data
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910312989.2A
Other languages
English (en)
Other versions
CN110046706A (zh
Inventor
郑胤
陈晓爽
国雍
赵沛霖
黄俊洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910312989.2A priority Critical patent/CN110046706B/zh
Publication of CN110046706A publication Critical patent/CN110046706A/zh
Application granted granted Critical
Publication of CN110046706B publication Critical patent/CN110046706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种模型生成方法、装置及服务器，其中方法可包括：获取用于对网络模型进行训练的参考数据；根据所述参考数据确定用于构建候选网络结构的目标控制器，并调用所述目标控制器生成与所述参考数据相关联的候选网络结构；获取与所述目标控制器关联的目标参考权重，并采用所述目标参考权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型；根据所述参考数据中包括的训练数据和验证数据对所述待优化网络模型进行优化训练，得到目标网络模型。采用本发明实施例，可提高生成模型的效率。

Description

模型生成方法、装置及服务器
技术领域
本发明涉及计算机技术领域，尤其涉及一种模型生成方法、装置及服务器。
背景技术
随着科技的发展，神经网络模型在计算机视觉、自然语言处理、语音识别 以及游戏智能等应用领域得到广泛应用。所谓神经网络模型(以下简称为网络 模型)是指通过将多个单一的神经元节点连接在一起并为每两个节点之间的连 接分配权重，形成的能够用于图像识别、文字识别以及自然语言处理的网络模 型。现有生成网络模型的方法是人工根据经验和应用场景手动设计适用于当前 应用场景的网络结构；再采用训练集和验证集对网络结构进行优化，得到网络 模型，采用该种方法生成神经网络模型的效率较低，因此如何提高生成神经网 络模型的效率称为当今研究的热点问题。
发明内容
本发明实施例提供一种模型生成方法、装置及服务器，可提高网络模型的 生成效率。
一方面，本发明实施例提供了一种模型生成方法，包括：
获取用于对网络模型进行训练的参考数据；
根据所述参考数据确定用于构建候选网络结构的目标控制器，并调用所述 目标控制器生成与所述参考数据相关联的候选网络结构；
获取与所述目标控制器关联的目标参考权重，并采用所述目标参考权重对 所述候选网络结构进行权重值初始化处理，得到待优化网络模型；
根据所述参考数据中包括的训练数据和验证数据对所述待优化网络模型进 行优化训练，得到目标网络模型。
另一方面，本发明实施例还提供了一种模型生成装置，包括获取单元和处 理单元：
获取单元，用于获取用于对网络模型进行训练的参考数据；
处理单元，用于根据所述参考数据确定用于构建候选网络结构的目标控制 器，并调用所述目标控制器生成与所述参考数据相关联的候选网络结构；
所述获取单元，还用于获取与所述目标控制器关联的目标参考权重；
所述处理单元，还用于采用所述目标参考权重对所述候选网络结构进行权 重值初始化处理，得到待优化网络模型；
所述处理单元，还用于根据所述参考数据中包括的训练数据和验证数据对 所述待优化网络模型进行优化训练，得到目标网络模型。
又一方面，本发明实施例提供了一种服务器，包括：处理器和存储器，所 述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被 配置用于调用所述程序指令，执行上述模型生成方法。
相应地，本发明实施例还提供了一种计算机存储介质，所述计算机存储介 质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行 上述模型生成方法。
本发明实施例中针对参考数据确定用于构建候选网络结构的目标控制器， 并调用目标控制器生成与参考数据相关联的候选网络结构；进一步的，采用与 所述目标控制器关联的目标参考权重对候选网络结构进行权重值初始化处理， 得到待优化网络模型；再根据参考数据中包括的训练数据和验证数据对待优化 网络模型进行优化训练，得到目标网络模型。在上述的模型生成过程中，无需 用户指定网络模型的网络结构，通过目标控制器和参考数据可以自动生成目标 网络模型，提升了用户体验，也提高了网络模型的生成效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种模型生成方法应用的系统图；
图1b是本发明实施例提供的一种用户界面的示意图；
图1c是本发明实施例提供的一种模型生成方法的示意图；
图2是本发明实施例提供的一种模型生成方法的流程示意图；
图3是本发明实施例提供的一种生成候选网络结构的示意图；
图4是本发明实施例提供的一种候选网络结构的有向图；
图5是本发明实施例提供的另一种模型生成方法的流程示意图；
图6是本发明实施例提供的一种控制器优化的示意图；
图7是本发明实施例提供的另一种控制器优化的示意图；
图8是本发明实施例提供的一种模型生成装置的结构示意图；
图9是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述。
本发明实施例提供了一种模型生成方法，所述模型生成方法可以根据参考 数据确定出用于构建候选网络结构的目标控制器，以及与所述目标控制器关联 的目标参考权重，并基于目标参考权重和参考数据对目标控制器生成的候选网 络结构进行优化处理，得到适用于所述参考数据的目标网络模型。本发明实施 例提供的模型生成方法可以应用于自动化机器学习产品中，负责根据用户的参 考数据自动生成适合该参考数据的网络模型，例如，参考数据为图像数据，生 成的适合参考数据的网络模型为图像识别网络模型；参考数据为语音数据，生 成的适合参考数据的网络模型为语音识别模型。下面通过图1a-图1c具体介绍 本发明实施例提供的模型生成方法。
参考图1a为本发明实施例提供的一种模型生成方法应用的系统图，在图1 所示的系统中包括终端101和机器学习平台102，用户103可以通过终端101访 问机器学习平台102。如果用户103想要通过机器学习平台102生成网络模型， 可向终端101输入关于访问机器学习平台的访问操作；响应于用户103的访问 操作，终端101向机器学习平台102发送访问请求；响应于终端101的访问请 求，机器学习平台102可以对访问请求进行验证，比如验证终端101或者用户 103是否有访问权限等，如果对所述访问请求验证通过，则向终端101发送用户 界面，所述用户界面可如图1b所示，可包括第一区域104和第二区域105，所 述第一区域104包括信息录入区域和提示信息显示区域，所述信息录入区域用 于提供给用户以使用户输入参考数据，所述提示信息显示区域用于显示信息录 入规则。例如，用户输入的参考数据的数据类型为图像数据，信息录入规则可 以为对图像大小和/或图像分辨率的要求等；用户103输入的参考数据的数据类 型为语音数据，信息录入规则可以为对语音时长和/或语音清晰度的要求等。所 述第二区域105以供用户输入关于网络模型的生成操作。
用户103通过用户界面的第二区域105输入关于网络模型的生成操作，终 端101响应于所述生成操作，基于在第一区域104接收到的参考数据生成关于 网络模型的生成请求，并将所述生成请求发送给机器学习平台102。机器学习平 台102响应于所述生成请求，获取生成请求中包括的参考数据；根据参考数据 确定用于构建候选网络结构的目标控制器，并调用所述目标控制器生成与所述 参考数据相关联的候选网络结构。其中，所述根据参考数据确定用于构建候选 网络结构的目标控制器可以指从存储控制器的数据库中查找与所述参考数据的 数据类型相匹配的控制器，或者所述根据参考数据确定用于构建候选网络结构 的目标控制器还可以指基于参考数据训练得到一个与参考数据相匹配的控制器。
进一步的，获取与所述目标控制器关联的目标参考权重，并采用所述目标 参考权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型； 再根据参考数据中包括的训练数据和验证数据对所述待优化网络模型进行优化 训练，得到目标网络模型。
在一个实施例中，机器学习平台可包括网络结构搜索模块，上述机器学习 平台生成目标网络模型的各个步骤可以由所述网络结构搜索模块执行，所述网 络结构搜索模块可以集成于机器学习平台的服务器中，也可以是独立的模块。 网络结构搜索模块执行上述生成目标网络模型的框图可参见图1c，图1c中涉及 到的可选的实施方案已在上述具体描述，在此不再赘述。
由上述描述可知，用户103通过图1a所示的系统生成模型时，机器学习平 台102会根据用户输入的参考数据生成适合参考数据的目标网络模型，直接将 目标网络模型输出以供用户使用。可见，采用本发明实施例提供的模型生成方 法，用户不需要具备相关的机器学习和神经网络的专业知识，只需要准备好参 考数据，机器学习平台便会采用本发明实施例提供的模型生成方法根据参考数 据自动生成适合参考数据的目标网络模型，在很大程度上较低了用户使用机器 学习的门槛，同时相比于手工设计网络模型，自动进行网络模型搜索和训练， 节省了网络模型的生成时间，从而提高了网络模型的生成效率。
请参考图2，为本发明实施例提供的一种模型生成方法的流程示意图，所述 模型生成方法可由模型生成平台执行，具体地，可由模型生成平台的处理器执 行，所述模型生成平台可包括图1a-图1c中所述的机器学习平台，也可以包括 其他的用于生成网络模型的平台，图2所示的模型生成方法可包括如下步骤：
步骤S201、获取用于对网络模型进行训练的参考数据。
其中，所述参考数据可包括训练数据和验证数据，所述训练数据是指用于 对网络模型进行训练的数据，所述验证数据是指用于确定网络模型的模型性能 指标的数据。所述模型的性能指标是用于评价模型好坏的指标，所述性能指标 可包括准确率、误检以及精确率等中的任意一个或多个。
所述准确率是指在验证数据中预测正确的数据量与验证数据总量之间的比 值，所述误检率是指在验证数据中预测错误的数据量与验证数据总量之间的比 值，例如，验证数据为：10张图像，对每张图像中包括的对象的预测结果包括 猫和狗2类，验证数据总量为20；预测正确是指将包括猫的图像中的猫识别为 猫，将包括的狗的图像中的狗识别为狗，预测错误是指将包括狗的图像中的狗 识别为猫，将包括猫的图像中的猫识别为狗；假设预测正确的数据量为15，准 确率为15/20＝75％，假设预测错误的数据量为5，误检率为5/20＝25％。所述精 确率是指针对验证数据中的某个类别预测结果来说，正确预测出属于该类别的 验证数据的数据量和验证数据中包括的属于该类别的验证数据的数据量之间的 比值，例如，在上述例子中，所述正确预测出属于该类别的验证数据的数据量 是指：正确的预测出图像中包括的对象为狗的图像有多少张，所述验证数据中 包括的属于该类别的验证数据的数据量是指：在10张图像中包括狗的图像有多 少张，假设正确的预测出图像中包括的对象为狗的图像有8张，在10张图像中 包括狗的图像有9张，精确率即为8/9＝89％。
在一个实施例中，在步骤S201中可以根据数据标识区分参考数据中包括的 哪些数据属于训练数据，哪些数据为验证数据，例如，将参考数据中数据标识 为第一标识的数据确定为训练数据，将参考数据中数据标识为第二标识的数据 确定为验证数据。所述数据标识可以是用户或者终端为参考数据添加的，或者 所述数据标识也可以是机器学习平台在获取到参考数据之后，为参考数据添加 的。
在一个实施例中，模型生成平台在步骤S201中获取用于网络模型训练的参 考数据的方式可以为：响应于终端在用户界面中接收到的关于网络模型的生成 操作时发送的生成请求，获取所述生成请求中包括的参考数据，也即终端在向 模型生成平台发送生成请求时，将用户输入的参考数据携带在所述生成请求中， 模型生成平台可以直接从生成请求中提取参考数据。上述用户界面是响应于终 端发送的访问请求后模型生成平台发送给终端的，所述用户界面可以包括第一 区域和第二区域，所述第一区域包括信息录入区域和提示信息显示区域，所述 信息录入区域用于接收用户输入的参考数据，所述提示信息显示区域用于向用 户提示信息录入规则，以便于用户输入符合信息录入规则的参考数据，避免了由于录入的参数数据不满足信息录入规则导致的重新录入，节省了信息录入时 间。所述第二区域用于接收用户关于网络模型的生成操作。
所述第二区域可以包括提交按钮，如果检测到用户对所述提交按钮的点击、 按压等操作，则确定用户输入了关于网络模型的生成操作；或者，所述第二区 域可以包括滑动区域，如果检测到用户对所述滑动区域输入了预设滑动操作， 则确定用户输入了关于网络模型的生成操作。在检测到用户输入的关于网络模 型的生成操作后，终端获取用户在信息录入区域输入的参考数据，向模型生成 平台发送携带有参考数据的生成请求。
步骤S202、根据所述参考数据确定用于构建候选网络结构的目标控制器， 并调用所述目标控制器生成与所述参考数据相关联的候选网络结构。
所述目标控制器是指能够用来生成与参考数据相关联的候选网络结构的控 制器，在一个实施例中，所述目标控制器可以是模型生成平台基于所述参考数 据对控制器优化得到的，所述控制器是指模型生成平台提供的随机初始化后的 控制器，应当理解的，通过参考数据训练得到目标控制器，再利用所述目标控 制器生成候选网络结构，可以使得生成的候选网络结构是关于参考数据较优的， 进而对候选网络结构进行优化处理后可得到较优的目标网络模型。
在其他实施例中，所述目标控制器是基于参考数据和所述参考数据的关联 数据对所述控制器优化得到的。其中，所述关联数据可以指模型生成平台存储 数据的数据库中，数据类型与参考数据的数据类型相同的数据，通过参考数据 和关联数据对控制器进行优化训练可以保证采用足够的训练样本对控制器进行 训练，完善控制器的性能，以使其生成更适合参考数据的目标网络模型。
在其他实施例中，所述目标控制器可以是从存储控制器的数据库中确定的 与所述参考数据的数据类型对应的控制器，存储控制器的数据库中可以存储多 个类型的控制器，多个类型的控制器可以是模型平台预先基于训练样本对控制 器优化得到的，不同类型的控制器可用于生成不同类型的网络模型，例如，图 像控制器用于生成图像识别模型，语音控制器用于生成语音识别模型。模型生 成平台获取到参考数据后分析参考数据所属的数据类型，在存储控制器的数据 库中查找与所述数据类型相同的控制器作为目标控制器。
在一个实施例中，所述目标控制器可以为递归神经网络(Recurrent NeuralNetwork，RNN)，所述调用所述目标控制器生成与所述参考数据相关联的候选 网络结构的实施方式可包括：目标控制器对参考数据进行采样处理，确定出用 于生成候选网络结构的构建块；目标控制器通过采样确定出构建块之间的连接， 以及每个构建块上所需的运算；所述目标控制器按照确定出的构建块之间的连 接依次连连各个构建块以构成候选网络结构。其中，构建块可以是由网络单元 构成的，由于不同类型的参考数据所需要的网络模型不同，不同的网络模型对 应的网网络单元也不相同。例如，用于图像识别的网络模型对应的网络单元可 包括卷积单元和池化单元，用于语音识别的网络模型对应的网络单元可包括循 环单元。所述目标控制器对参考数据进行采样处理，确定用于生成候选网络结 构的构建块实质上是指：根据参考数据所属的数据类型确定出网络单元，对网 络单元进行采样处理得到构建块。
例如，参考图3为本发明实施例提供的一种目标控制器生成候选网络结构 的示意图，假设参考数据为图像数据，目标控制器通过对参考数据采样确定出 卷积单元和池化单元，假设通过对卷积单元和消减单元进行采样处理，得到构 建块，每个构建块可包括多个卷积单元和一个池化单元，将构建块连接得到候 选网络结构，每个构建块可以看做是候选网络结构的每层，如图3中所示，301 表示候选网络结构的构建块。
步骤S203、获取与所述目标控制器关联的目标参考权重，并采用所述目标 参考权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型。
所述目标参考权重又称为目标元权重，所述目标元权重是指使用该权重值 对目标控制器生成的候选网络结构进行权重初始化后，采用优化算法对所述候 选网络结构进行优化后可以较快的得到性能较好的待优化网络模型。在基于样 本数据对控制器进行优化得到目标控制器的过程中，每执行一次优化步骤都会 生成多个候选样本网络结构，采用参考权重对每次的候选样本网络结构进行权 重值优化处理，得到多个待优化样本模型，在采用优化算法和样本数据对待优 化样本模型进行优化处理，所述目标参考权重是基于优化处理后的每个待优化 样本模型的权重参数对参考权重进行优化训练得到的。
所述目标参考权重中包括组成候网络结构的多个构建块中每个构建块的参 考权重值，也就是说目标参考权重中包括候选网络的每个层的参考权重值，针 对某个候选网络结构中的目标构建块来说，所述采用目标参考权重对所述候选 网络结构进行权重值初始化处理是指：从所述目标参考权重中选择目标参考权 重值，将所述目标参考权重值确定为目标构建块的权重参数。例如，参考图4 为本发明实施例提供的一种候选网络结构的有向图，在图4中假设每个节点表 示一个构建块(也就是一个层)以及构建块中所需的运算，每个节点可以对传 递过来的信息进行加工处理，节点之间的连线表示信息的传递方式。实线箭头 表示信息流的传递方向，节点1表示输入节点，节点2和节点3表示中间节点， 节点4和节点5表示输出节点。假设目标参考权重中包括构建块2的参考权重 值为w2，构建块3的参考权重值为w3，采用目标参考权重对图4所示的候选 网络结构进行权重值初始化的方式即为：将图4中构建块2的权重值设置为w2， 将构建块3的权重值设置为w3。
步骤S204、根据所述参考数据中包括的训练数据和验证数据对所述待优化 网络模型进行优化训练，得到目标网络模型。
应当理解的，通过目标参考权重对候选网络结构进行权重值初始化之后， 模型生成平台在训练数据中采用优化算法比如梯度下降算法对待优化网络模型 进行优化训练，由前述可知，采用目标参考权重初始化后的待优化网络模型， 经过几次优化之后便可使模型性能达到较优，因此，此处所述采用优化算法对 待优化网络模型优化训练后，便可使得各个待优化网络模型的性能通过较短的 训练达到最优，如此一来提高了对待优化网络模型的训练效率，从而提高模型 生成平台的模型生成效率。
本发明实施例中针对参考数据确定用于构建候选网络结构的目标控制器， 并调用目标控制器生成与参考数据相关联的候选网络结构；进一步的，采用与 所述目标控制器关联的目标参考权重对候选网络结构进行权重值初始化处理， 得到待优化网络模型；再根据参考数据中包括的训练数据和验证数据对待优化 网络模型进行优化训练，得到目标网络模型。在上述的模型生成过程中，通过 目标控制器和参考数据可以自动生成目标网络模型，提高了网络模型的生成效 率。
请参考图5，为本发明实施例提供的另一种模型生成方法的流程示意图。图 5所示的模型生成方法可包括以下步骤：
步骤S501、获取用于对网络模型进行训练的参考数据。
步骤S502、根据所述参考数据确定用于构建候选网络结构的目标控制器， 并调用所述目标控制器生成与所述参考数据相关联的候选网络结构。
步骤S503、获取与所述目标控制器关联的目标参考权重，并采用所述目标 参考权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型。
由前述可知，所述目标控制器可以是基于样本数据对控制器进行优化训练 得到的，所述目标参考权重是基于样本数据对参考权重进行优化训练得到的， 下面具体介绍基于样本数据对控制器和参考权重的优化过程。
在一个实施例中，常用的基于样本数据对控制器进行优化训练的过程可包 括：调用控制器生成与样本数据关联的候选样本网络结构；随机对候选样本网 络结构进行权重值初始化，得到待优化样本模型；基于样本数据对待优化样本 模型进行优化训练，并评估各个待优化样本模型的性能；将各个待优化样本模 型的性能和各个待优化样本对应的生成概率等数据反馈给控制器，通过优化函 数和反馈的数据对控制器进行优化，得到目标控制器。上述对控制器的优化过 程可参见图6所示。在上述对控制器的优化训练过程中，对控制器生成的候选 样本网络结构的权重初始化时使用的是随机权重值，各个候选样本网络结构之 间的权重值互相独立，在每次生成一个候选样本网络结构后，都需要重新对该 候选样本网络结构进行权重初始化，然后再训练；这样一来，使得训练过程需 要消耗大量的资源，且评估待优化样本模型性能的效率低。
为了解决上述问题，可以将权重共享技术应用在对控制器的训练过程中， 具体地，假设控制器每次生成的候选样本网络结构都可以看做一个有向无环图 的子图，子图每条边都有一个对应的权重，这些权重是被所有子图共享的。举 例来说，参考图4为本发明实施例提供的一种有向无环图，在图4中节点1-节 点2-节点5组成一个子图，也即一个候选样本网络结构，同理的可知，节点1- 节点3-节点4也组成了一个候选样本网络结构，权重共享技术可以理解为：如 果在节点1-节点2-节点5的候选样本网络结构中使用到了节点1和节点2之间 的权重，那么对于其他候选样本网络中如果也使用到了节点1和节点2之间的 权重，则两个候选样本网络中使用的节点1和节点2之间的权重是相同的。
虽然，通过权重共享技术可以节省计算资源，提高评估待优化样本模型性 能的效率，但是不同的候选样本网络结构之间使用相同的权重值可能导致不能 准确评估待优化样本模型的性能，进而影响对控制器的训练。
考虑到对控制器进行优化训练时，如果能够同时训练得到一个权重使其能 够为各个候选样本网络结构提供初始化的权重值，并保证采用该权重初始化得 到的各个待优化样本模型在几次优化后达到性能最优，这样一来，不但可以节 省了计算资源，还能够提高对待优化样本模型性能评估的准确性，从而提高了 模型生成效率。
具体地，参考图7为本发明实施例提供的一种控制器和参考权重优化的示 意图，结合图7，所述基于样本数据对控制器和参考权重进行优化训练的步骤可 包括：(1)获取控制器和参考权重，以及用于训练的样本数据；(2)采用参 考权重对所述控制器生成的候选样本网络结构进行初始化处理，得到待优化样 本模型；(3)根据优化算法和所述样本数据对所述待优化样本模型进行优化处 理，得到优化处理后的待优化样本模型的性能指标；(4)基于所述优化处理后 的待优化样本模型的性能指标对所述控制器进行优化处理；(5)获取所述优化 处理后的待优化样本模型的权重参数，并基于优化后的待优化样本模型的权重 参数对所述参考权重进行优化处理；(6)迭代上述步骤，得到目标控制器和目 标参考权重。应当理解的，在步骤(6)所述迭代上述步骤是指迭代上述步骤(2) -(5)。
在步骤(1)中，所述控制器和所述参考权重可以是通过随机初始化得到的， 所述用于训练的样本数据可以包括参考数据，或者，所述样本数据还可以包括 参考数据和与参考数据关联的关联数据，或者所述样本数据是模型生成平台随 机选取的用于训练的数据。所述样本数据中可包括训练样本和测试样本，所述 训练样本用于对后续的待优化样本模型进行优化训练，所述测试样本用于评估 待优化样本模型的模型性能，以确定待优化样本模型的性能指标。
在步骤(2)中，首先调用控制器生成与样本数据相关联的候选样本网络结 构，再采用参考权重对候选样本网络结构进行权重值初始化处理，得到待优化 样本模型。应当理解的，候选样本网络结构的每一层都对应一个权重值，因此， 参考权重中可包括多个参考权重值，每个参考权重值对应候选样本网络结构的 一层，所述采用参考权重对候选样本网络结构进行权重值初始化处理可以理解 为：将候选样本网络结构的每层的权重值设置为在参考权重中该层对应的参考 权重值。
在步骤(3)中，候选网络结构的数量为至少一个，待优化样本模型的数量 与候选网络结构的数量相同，所述根据优化算法和所述样本数据对所述待优化 样本模型进行优化处理，得到优化处理后的优化处理后的待优化样本模型的性 能指标的是指：采用优化算法和样本数据中包括的训练样本对各个待优化样本 模型进行优化处理，得到优化处理后的各个待优化样本模型，此处用到的优化 算法可以包括梯度下降算法比如随机梯度下降算法、批量梯度下降算法以及动 量梯度下降算法等；调用优化处理后的各个待优化样本模型对样本数据中包括 的测试样本进行识别处理，得到的识别结果；基于识别结果中包括的各个识别 结果，确定优化处理后的各个待优化样本模型的性能指标。所述性能指标可包括准确率，精确率以及误检率中的任意一个或多个。
在确定优化处理后的待优化样本模型的性能指标之后，通过步骤(4)对控 制器进行优训练，也即将优化处理后的待优化样本模型的性能指标反馈给控制 器，根据反馈的数据优化控制器，比如优化控制器的参数。可选的，步骤(4) 的实施方式可包括：获取所述控制器对应的控制器优化函数；获取所述控制器 的控制器参数和所述优化处理后的待优化样本模型对应的候选样本网络结构的 生成概率；基于所述优化处理后的待优化样本模型的性能指标、所述控制器参 数和所述优化处理后的待优化样本模型对应的候选样本网络结构的生成概率确 定控制器优化函数的值；按照减小所述控制器优化函数的值的原则，对所述控 制器进行优化。
由前述可知，待优化样本模型是通过采用参考权重对候选样本网络结构进 行权重值初始化得到的，根据优化算法和样本数据对所述待优化样本模型进行 优化处理只是优化了待优化样本模型的各层的权重参数，或者其他模型参数， 待优化样本模型中的网络结构是不变的，所以可以理解的，每个优化处理后的 待优化网络对应一个候选样本网络结构且该种对应关系是固定不变的，候选样 本网络结构是控制器生成的，由此可知，所述优化处理后的待优化样本模型对 应的候选样本网络结构的生成概率是指控制器生成该候选样本网络结构的概率， 例如，控制器生成3个与样本数据相关联的候选样本网络结构，针对每一个候 选样本网络结构来说，控制器生成该候选样本网络结构的生成概率为1/3。
可以采用强化学习的方法对所述控制器进行优化，此时所述控住器对应的 控制器优化函数可以表示为公式(1)所示：
argminθ∑i-logP(αi；θ)R(αi) (1)
其中，θ表示控制器的控制器参数，αi表示第i个候选样本网络结构，R(αi)表 示第i个候选样本网络结构对应的第i个待优化样本模型的性能指标，P(αi；θ)表 示第i个候选样本网络结构的生成概率。在已知优化处理后的待优化样本模型的 性能指标、所述控制器参数和所述候选样本网络结构的生成概率的情况下，可 计算出公式(1)的值，按照减小公式(1)的值的方向，对控制器进行优化训 练。
待优化样本模型中每层的权重值等于参考权重中包括的相应层对应的参考 权重值，例如，待优化样本模型中第一层的权重值等于参考权重中包括的第一 层对应的第一参考权重值。
由前述可知，目标参考权重中包括多个目标参考权重值，参考权重中包括 多个参考权重值，所述对参考权重进行优化处理以得到目标参考权重是指对参 考权重中的各个参考权重值进行训练得到各个参考权重值对应的各个目标参考 权重值，各个目标参考权重值组成了目标参考权重，例如，参考权重中包括的 第一参考权重和第二参考权重值，分别对第一参考权重值和第二参考权重值进 行训练，可得到第一参考权重值对应的第一目标参考权重值和第二参考权重值 对应的第二目标参考权重值，第一目标参考权重值和第二目标参考权重值组成 了目标参考权重。应当理解的，对参考权重中各个参考权重值的优化过程是相 同的，下面以优化参考权重中包括的第一参考权重值为例，介绍对参考权重的优化过程：获取所述第一参考权重值对应的权重优化函数；基于所述优化处理 后的待优化样本模型的权重参数中与所述第一参考权重关联的权重参数确定权 重优化函数的值；按照减小所述权重优化函数的值的原则，对所述第一参考权 重值进行优化。
由前述可知，待优化样本模型是通过参考权重对候选样本网络结构进行权 重值初始化得到的，候选样本网络结构与待优化样本模型之间的关系是：将待 优化样本网络结构的每层赋予该层对应的参考权重值，便得到待优化样本模型； 因此，候选样本网络结构的每层对应的参考权重值，也可以理解为待优化样本 模型相应层对应的参考权重。在步骤(5)所述优化参考权重值是指优化待优化 样本模型的每层对应的参考权重值。根据优化算法和样本数据对所述待优化样 本模型进行优化处理，优化处理后的待优化样本模型中每层的权重值(即下述 的每层的权重参数)发生改变，在步骤(5)中所述基于所述优化处理后的待优 化样本模型的权重参数对所述参考权重进行优化处理实质上是基于优化处理后的待优化样本模型的各层对应的权重参数对相应层的参考权重进行优化，例如， 针对待优化网络的第一层对应的第一参考权重值来说，通过优化处理后的各个 待优化样本模型的第一层的权重参数对该第一参考权重值进行优化处理。由此 可知，优化处理后的待优化样本模型的权重参数中与所述第一参考权重值关联 的权重参数是指优化处理后的待优化样本模型中第一层的权重参数。
应当理解的，各层对应的参考权重优化函数是相同的，下面以优化第一层 对应的第一参考权重值为例来说明，可选的，第一层的第一参考权重值对应的 权重优化函数如公式(2)所示：
Figure BDA0002032125810000131
其中，ω表示第一层的第一参考权重值，
Figure BDA0002032125810000132
表示损失函数，
Figure BDA0002032125810000133
表示在训练样 本上采用优化算法对第i个待优化样本模型进行优化处理后，优化处理后的第i 个待优化样本模型的第一层的权重参数，
Figure BDA0002032125810000134
可以通过公式(3)计算得到，在 公式(3)中∈表示学习率，
Figure BDA0002032125810000136
表示对第一参考权重值求梯度。
Figure BDA0002032125810000135
通常情况下，学习率的取值在0-1之间，学习率的大小对训练对过程影响较 大，如果学习率过大，训练前期使得参考权重加速学习，更容易接近局部或全 局最优解。但是在后期会有较大波动，甚至出现损失函数的值围绕最小值徘徊 始终难以达到最优的现象；如果学习率过小，容易导致参考权重学习较慢，因 此，在优化训练参考权重的过程中，学习率可以不采用固定值，随着迭代次数 增加，学习率可以逐渐进行减小，保证在训练后期不会出现较大波动，从而更 加接近最优解。
在迭代执行步骤(2)-步骤(5)的过程中，根据公式(2)和公式(3)可 以实现对参考权重中各个参考权重值的优化，各个优化后的参考权重值组成了 目标参考权重。
步骤S504、采用优化算法和所述训练数据对所述待优化网络模型进行优化 处理，得到候选网络模型。
步骤S505、调用所述候选网络模型中的各个候选网络模型对所述验证数据 进行识别处理，得到识别结果。
可选的，在步骤S504中所述优化算法可以包括梯度优化算法，比如批量随 机梯度优化算法、随机梯度优化算法等。在采用训练数据优化得到候选网络模 型之后，可通过步骤S505调用候选网络模型中的各个候选网络模型对所述验证 数据进行识别处理得到识别结果，所述识别结果用于指示候选网络模型对验证 数据的预测情况，例如验证数据为图像数据，所述识别结果用于指示候选网络 预测的图像数据所属的图像类别。
步骤S506、基于所述识别结果包括的各个识别结果确定所述各个候选网络 模型的准确率。
假设各个候选网络模型中包括目标候选网络模型，下面以目标候选网络模 型为例，介绍步骤S506的实施方式：获取验证数据的总数据量，以及根据所述 目标候选网络模型的识别结果确定目标候选网络模型对验证数据预测过程中预 测正确的数据量，将预测正确的数据量和验证数据的总数据量的比值确定为所 述目标候选网络模型的准确率。例如，验证数据为图像数据，图像数据的总数 据量为20，假设调用目标候选网络模型对图像数据进行识别处理得到的识别结 果，根据识别结果确定出目标候选网络模型对图像数据预测过程中预测正确的 数据量为18，目标候选网络模型的准确率为18/20＝90％。对于候选网络模型中 除目标候选网络模型以外的其他候选网络模型采用上述相同的方法可确定出各 个候选网络模型相对应的准确率。
步骤S507、从所述各个候选网络模型中选择满足预设准确率条件的准确率 对应的候选网络模型为目标网络模型。
所述预设准确率条件可以指一个准确率阈值，从各个候选网络模型中选择 准确率大于所述准确率阈值的候选网络模型作为目标网络模型，如果大于所述 准确率阈值的候选网络模型有至少两个，可以选择准确率较大的候选网络模型 作为目标网络模型；或者，也可以在验证数据中确定出上述至少两个候选网络 模型的其他性能指标，比如误检率和/或精确率，综合评估准确率和其他性能指 标，从至少两个候选网络模型中选择最优的候选网络模型作为目标网络模型。 在其他实施例中，所述预设准确率条件还可以是将各个候选网络模型的准确率 按照由高到低进行排序，位于第一位的准确率。
本发明实施例中针对参考数据确定用于构建候选网络结构的目标控制器， 并调用目标控制器生成与参考数据相关联的候选网络结构；进一步的，采用与 所述目标控制器关联的目标参考权重对候选网络结构进行权重值初始化处理， 得到待优化网络模型；采用优化算法和所述训练数据对所述待优化网络模型进 行优化处理，得到候选网络模型；调用所述候选网络模型中的各个候选网络模 型对所述验证数据进行识别处理，得到识别结果；基于所述识别结果包括的各 个识别结果确定所述各个候选模型的准确率；从所述各个候选网络模型中选择 满足预设准确率条件的准确率对应的候选网络模型为目标网络模型。在上述的 模型生成过程中，通过目标控制器可以自动生成适合参考数据的候选网络模型，并基于参数数据对候选网络模型进行优化训练以得到与参考数据对应的目标网 络模型，可见，本发明实施例提供的模型生成方法可以适用于任何用户，无需 用户具备相关模型知识，只需要将用于训练的参考数据输入到模型生成平台， 模型生成平台便能自动输出与参考数据相匹配的目标网络模型，提升了用户体 验；另外，与现有的人工设计网络相比，提高了网络模型的生成效率。
基于上述模型生成方法实施例的描述，本发明实施例还公开了一种模型生 成装置，该模型生成装置可以执行图2和图5所示的方法。请参见图8，所述模 型生成装置可运行如下单元：
获取单元801，用于获取用于对网络模型进行训练的参考数据；
处理单元802，用于根据所述参考数据确定用于构建候选网络结构的目标控 制器，并调用所述目标控制器生成与所述参考数据相关联的候选网络结构；
所述获取单元801，还用于获取与所述目标控制器关联的目标参考权重；
所述处理单元802，还用于采用所述目标参考权重对所述候选网络结构进行 权重值初始化处理，得到待优化网络模型；
所述处理单元802，还用于根据所述参考数据中包括的训练数据和验证数据 对所述待优化网络模型进行优化训练，得到目标网络模型。
在一个实施例中，所述处理单元802在根据所述参考数据中包括的训练数 据和验证数据对所述待优化网络模型进行优化训练，得到目标网络模型时，， 执行如下操作：采用优化算法和所述训练数据对所述待优化网络模型进行优化 处理，得到候选网络模型；调用所述候选网络模型中的各个候选网络模型对所 述验证数据进行识别处理，得到识别结果；基于所述识别结果包括的各个识别 结果确定所述各个候选网络模型的准确率；从所述各个候选网络模型中选择满 足预设准确率条件的准确率对应的候选网络模型为目标网络模型。
在一个实施例中，所述目标控制器是基于所述参考数据对控制器优化得到 的；或者，所述目标控制器是从存储控制器的数据库中确定的与所述参考数据 的数据类型对应的控制器；或者，所述目标控制器是基于所述参考数据和所述 参考数据的关联数据对所述控制器优化得到的。
在一个实施例中，所述获取单元801，还用于获取控制器和参考权重，以及 用于训练的样本数据；所述处理单元802，还用于采用所述参考权重对所述控制 器生成的候选样本网络结构进行初始化处理，得到待优化样本模型；所述处理 单元802，还用于根据优化算法和所述样本数据对所述待优化样本模型进行优化 处理，得到所述优化处理后的待优化样本模型的性能指标；所述处理单元802， 还用于基于所述优化处理后的待优化样本模型的性能指标对所述控制器进行优 化处理；所述处理单元802，还用于获取所述优化处理后的待优化样本模型的权 重参数，并基于所述优化处理后的待优化样本模型的权重参数对所述参考权重 进行优化处理；所述处理单元802，还用于迭代上述步骤，得到所述目标控制器 和所述目标参考权重。
在一个实施例中，所述参考权重包括第一参考权重值，所述处理单元802 在基于所述优化处理后的待优化样本模型的权重参数对所述参考权重进行优化 处理时，执行如下步骤：获取所述第一参考权重值对应的权重优化函数；基于 所述优化处理后的待优化样本模型的权重参数中与所述第一参考权重值关联的 权重参数确定权重优化函数的值；按照减小所述权重优化函数的值的原则，对 所述第一参考权重值进行优化。
在一个实施例中，所述处理单元802在基于所述优化处理后的待优化样本 模型的性能指标对所述控制器进行优化处理时，执行如下步骤：获取所述控制 器对应的控制器优化函数；获取所述控制器的控制器参数和所述优化处理后的 待优化样本模型对应的候选样本网络结构的生成概率；基于所述优化处理后的 待优化样本模型的性能指标、所述控制器参数和所述优化处理后的待优化样本 模型对应的候选样本网络结构的生成概率确定控制器优化函数的值；按照减小 所述控制器优化函数的值的原则对所述控制器进行优化。
在一个实施例中，所述获取单元801在获取用于对网络模型进行训练的参 考数据时，执行如下操作：响应于终端在用户界面中接收到的关于网络模型的 生成操作时发送的生成请求，获取所述生成请求中包括的参考数据；所述用户 界面是响应于所述终端发送的访问请求后发送给所述终端的，所述用户界面包 括第一区域和第二区域；所述第一区域包括信息录入区域和提示信息显示区域； 所述信息录入区域用于接收参考数据，所述提示信息显示区域用于提示信息录 入规则；所述第二区域用于接收关于网络模型的生成操作。
根据本发明的一个实施例，图2或图5所示的方法所涉及的各个步骤均可 以是由图8所示的模型生成装置中的各个单元来执行的。例如，图2所示的步 骤S201可由图8中所示的获取单元801来执行，步骤S202-S204所示的步骤可 由图8中所示的处理单元802来执行；又如，图5中所示的步骤S501可由图8 中所示的获取单元来执行，步骤S502-S507可由图8中处理单元802来执行。
根据本发明的另一个实施例，图8所示的模型生成装置中的各个单元可以 分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单 元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而 不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的， 在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功 能由一个单元实现。在本发明的其它实施例中，基于模型生成装置也可以包括 其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由 多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随 机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例 如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉 及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的模型生成 装置设备，以及来实现本发明实施例的模型生成方法。所述计算机程序可以记 载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算 设备中，并在其中运行。
本发明实施例中针对参考数据确定用于构建候选网络结构的目标控制器， 并调用目标控制器生成与参考数据相关联的候选网络结构；进一步的，采用与 所述目标控制器关联的目标参考权重对候选网络结构进行权重值初始化处理， 得到待优化网络模型；再根据参考数据中包括的训练数据和验证数据对待优化 网络模型进行优化训练，得到目标网络模型。在上述的模型生成过程中，无需 用户指定网络模型的网络结构，通过目标控制器和参考数据可以自动生成目标 网络模型，提升了用户体验，也提高了网络模型的生成效率。
基于上述方法实施例以及装置实施例的描述，本发明实施例还提供一种服 务器。请参见图9，该服务器至少包括处理器901和计算机存储介质902。所述 处理器901和所述计算机存储介质902可通过总线903连接。
所述存储器902可以包括易失性存储器(volatile memory)，如随机存取存 储器(random-access memory，RAM)；存储器802也可以包括非易失性存储器 (non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器902还可以包括上述种类的存储器的组合。
所述处理器901可以是中央处理器(Central Processing Unit，CPU)。所述 处理器901还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路 (application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理 器801也可以为上述结构的组合。
本发明实施例中，所述存储器902用于存储计算机程序，所述计算机程序 包括程序指令，所述处理器901用于执行存储器902存储的程序指令，用来实 现上述方法实施例中的相应方法的步骤。
在一个实施例中，所述处理器901被配置调用所述程序指令用于：获取用 于对网络模型进行训练的参考数据；根据所述参考数据确定用于构建候选网络 结构的目标控制器，并调用所述目标控制器生成与所述参考数据相关联的候选 网络结构；获取与所述目标控制器关联的目标参考权重，并采用所述目标参考 权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型；根据 所述参考数据中包括的训练数据和验证数据对所述待优化网络模型进行优化训 练，得到目标网络模型。
在一个实施例中，所述处理器901在执行根据所述参考数据中包括的训练 数据和验证数据对所述待优化网络模型进行优化训练得到目标网络模型时，执 行如下操作：采用优化算法和所述训练数据对所述待优化网络模型进行优化处 理，得到候选网络模型；调用所述候选网络模型中的各个候选网络模型对所述 验证数据进行识别处理，得到识别结果；基于所述识别结果包括的各个识别结 果确定所述各个候选网络模型的准确率；从所述各个候选网络模型中选择满足 预设准确率条件的准确率对应的候选网络模型为目标网络模型。
在一个实施例中，所述目标控制器是基于所述参考数据对控制器优化得到 的；或者，所述目标控制器是从存储控制器的数据库中确定的与所述参考数据 的数据类型对应的控制器；或者，所述目标控制器是基于所述参考数据和所述 参考数据的关联数据对所述控制器优化得到的。
在一个实施例中，所述处理器901被配置调用所述程序指令用于：获取控 制器和参考权重，以及用于训练的样本数据；采用所述参考权重对所述控制器 生成的候选样本网络结构进行初始化处理，得到待优化样本模型；根据优化算 法和所述样本数据对所述待优化样本模型进行优化处理，得到优化处理后的待 优化样本模型的性能指标；基于所述优化处理后的待优化样本模型的性能指标 对所述控制器进行优化处理；获取所述优化处理后的待优化样本模型的权重参 数，并基于所述优化处理后的待优化样本模型的权重参数对所述参考权重进行 优化处理；迭代上述步骤，得到所述目标控制器和所述目标参考权重。
在一个实施例中，所述参考权重包括第一参考权重值，所述处理器901在 基于所述优化处理后的待优化样本模型的权重参数对所述参考权重进行优化处 理时，执行如下操作：获取所述第一参考权重值对应的权重优化函数；基于所 述优化处理后的待优化样本模型的权重参数中与所述第一参考权重值关联的权 重参数确定权重优化函数的值；按照减小所述权重优化函数的值的原则，对所 述第一参考权重值进行优化。
在一个实施例中，所述处理器901在基于所述优化处理后的待优化样本模 型的性能指标对所述控制器进行优化处理时，执行如下操作：获取所述控制器 对应的控制器优化函数；获取所述控制器的控制器参数和所述优化处理后的待 优化样本模型对应的候选样本网络结构的生成概率；基于所述优化处理后的待 优化样本模型的性能指标、所述控制器参数和所述优化处理后的待优化样本模 型对应的候选样本网络结构的生成概率确定控制器优化函数的值；按照减小所 述控制器优化函数的值的原则对所述控制器进行优化。
在一个实施例中，所述处理器901在获取用于对网络模型进行训练的参考 数据时，执行如下操作：响应于终端在用户界面中接收到的关于网络模型的生 成操作时发送的生成请求，获取所述生成请求中包括的参考数据；所述用户界 面是响应于所述终端发送的访问请求后发送给所述终端的，所述用户界面包括 第一区域和第二区域；所述第一区域包括信息录入区域和提示信息显示区域； 所述信息录入区域用于接收参考数据，所述提示信息显示区域用于提示信息录 入规则；所述第二区域用于接收关于网络模型的生成操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之 权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种模型生成方法，其特征在于，包括：
获取控制器和参考权重，以及用于训练的样本数据；
采用所述参考权重对所述控制器生成的候选样本网络结构进行初始化处理，得到待优化样本模型，根据优化算法和所述样本数据对所述待优化样本模型进行优化处理，得到优化处理后的待优化样本模型的性能指标，基于所述优化处理后的待优化样本模型的性能指标对所述控制器进行优化处理，获取所述优化处理后的待优化样本模型的权重参数，并基于所述优化处理后的待优化样本模型的权重参数对所述参考权重进行优化处理，迭代该步骤，得到目标控制器和目标参考权重；
获取用于对网络模型进行训练的参考数据；
根据所述参考数据的数据类型确定用于构建候选网络结构的目标控制器，并调用所述目标控制器生成与所述参考数据相关联的候选网络结构；
获取与所述目标控制器关联的目标参考权重，并采用所述目标参考权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型；
根据所述参考数据中包括的训练数据和验证数据对所述待优化网络模型进行优化训练，得到目标网络模型。
2.如权利要求1所述的方法，其特征在于，所述根据所述参考数据中包括的训练数据和验证数据对所述待优化网络模型进行优化训练，得到目标网络模型，包括：
采用优化算法和所述训练数据对所述待优化网络模型进行优化处理，得到候选网络模型；
调用所述候选网络模型中的各个候选网络模型对所述验证数据进行识别处理，得到识别结果；
基于所述识别结果包括的各个识别结果确定所述各个候选网络模型的准确率；
从所述各个候选网络模型中选择满足预设准确率条件的准确率对应的候选网络模型为目标网络模型。
3.如权利要求1所述的方法，其特征在于，所述目标控制器是基于所述参考数据对控制器优化得到的；或者，所述目标控制器是从存储控制器的数据库中确定的与所述参考数据的数据类型对应的控制器；或者，所述目标控制器是基于所述参考数据和所述参考数据的关联数据对所述控制器优化得到的。
4.如权利要求1所述的方法，其特征在于，所述参考权重包括第一参考权重值，所述基于所述优化处理后的待优化样本模型的权重参数对所述参考权重进行优化处理，包括：
获取所述第一参考权重值对应的权重优化函数；
基于所述优化处理后的待优化样本模型的权重参数中与所述第一参考权重值关联的权重参数确定权重优化函数的值；
按照减小所述权重优化函数的值的原则，对所述第一参考权重值进行优化。
5.如权利要求1所述的方法，其特征在于，所述基于所述优化处理后的待优化样本模型的性能指标对所述控制器进行优化处理，包括：
获取所述控制器对应的控制器优化函数；
获取所述控制器的控制器参数和所述优化处理后的待优化样本模型对应的候选样本网络结构的生成概率；
基于所述优化处理后的待优化样本模型的性能指标、所述优化处理后的待优化样本模型对应的候选样本网络结构的生成概率确定控制器优化函数的值；
按照减小所述控制器优化函数的值的原则对所述控制器进行优化。
6.如权利要求1所述的方法，其特征在于，所述获取用于对网络模型进行训练的参考数据，包括：
响应于终端在用户界面中接收到的关于网络模型的生成操作时发送的生成请求，获取所述生成请求中包括的参考数据；
所述用户界面是响应于所述终端发送的访问请求后发送给所述终端的，所述用户界面包括第一区域和第二区域；所述第一区域包括信息录入区域和提示信息显示区域；所述信息录入区域用于接收参考数据，所述提示信息显示区域用于提示信息录入规则；所述第二区域用于接收关于网络模型的生成操作。
7.一种模型生成装置，其特征在于，包括：
获取单元，用于获取用于对网络模型进行训练的参考数据；
处理单元，用于根据所述参考数据的数据类型确定用于构建候选网络结构的目标控制器，并调用所述目标控制器生成与所述参考数据相关联的候选网络结构；
所述获取单元，还用于获取与所述目标控制器关联的目标参考权重；
所述处理单元，还用于采用所述目标参考权重对所述候选网络结构进行权重值初始化处理，得到待优化网络模型；
所述处理单元，还用于根据所述参考数据中包括的训练数据和验证数据对所述待优化网络模型进行优化训练，得到目标网络模型；
其中，所述获取单元，还用于获取控制器和参考权重，以及用于训练的样本数据；
所述处理单元，还用于采用所述参考权重对所述控制器生成的候选样本网络结构进行初始化处理，得到待优化样本模型，根据优化算法和所述样本数据对所述待优化样本模型进行优化处理，得到优化处理后的待优化样本模型的性能指标，基于所述优化处理后的待优化样本模型的性能指标对所述控制器进行优化处理，获取所述优化处理后的待优化样本模型的权重参数，并基于所述优化处理后的待优化样本模型的权重参数对所述参考权重进行优化处理，迭代该步骤，得到目标控制器和目标参考权重。
8.一种服务器，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的模型生成方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-6任一项所述的模型生成方法。
CN201910312989.2A 2019-04-18 2019-04-18 模型生成方法、装置及服务器 Active CN110046706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910312989.2A CN110046706B (zh) 2019-04-18 2019-04-18 模型生成方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910312989.2A CN110046706B (zh) 2019-04-18 2019-04-18 模型生成方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN110046706A CN110046706A (zh) 2019-07-23
CN110046706B true CN110046706B (zh) 2022-12-20

Family

ID=67277675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910312989.2A Active CN110046706B (zh) 2019-04-18 2019-04-18 模型生成方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN110046706B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428046B (zh) * 2019-08-28 2023-12-15 腾讯科技（深圳）有限公司 神经网络结构的获取方法及装置、存储介质
CN112446462B (zh) * 2019-08-30 2024-06-18 华为技术有限公司 目标神经网络模型的生成方法和装置
CN110782015B (zh) * 2019-10-25 2024-10-15 腾讯科技（深圳）有限公司 神经网络的网络结构优化器的训练方法、装置及存储介质
CN113742991B (zh) * 2020-05-30 2024-09-06 华为技术有限公司 模型和数据联合优化方法及相关装置
CN111950702A (zh) * 2020-07-16 2020-11-17 华为技术有限公司 一种神经网络结构确定方法及其装置
CN112465042B (zh) * 2020-12-02 2023-10-24 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置
CN112508723B (zh) * 2021-02-05 2024-02-02 北京淇瑀信息科技有限公司 基于自动择优建模的金融风险预测方法、装置和电子设备
CN114037660A (zh) * 2021-10-26 2022-02-11 国药集团基因科技有限公司 Oct视网膜病变图像识别方法及系统
CN114021707B (zh) * 2022-01-06 2022-04-05 中兴通讯股份有限公司 模型获取方法、系统、电子设备和存储介质
CN114755993B (zh) * 2022-06-13 2022-11-22 深圳市玄羽科技有限公司 应用于工业互联网的协同控制方法、系统及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206936A1 (zh) * 2016-06-02 2017-12-07 腾讯科技（深圳）有限公司 基于机器学习的网络模型构造方法及装置
CN109063829A (zh) * 2018-06-22 2018-12-21 泰康保险集团股份有限公司 神经网络构建方法、装置、计算机设备和存储介质
CN109165664A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
CN109376844A (zh) * 2018-10-30 2019-02-22 银河水滴科技（北京）有限公司 基于云平台和模型推荐的神经网络自动训练方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110178967A1 (en) * 2001-05-24 2011-07-21 Test Advantage, Inc. Methods and apparatus for data analysis
US10776697B2 (en) * 2017-04-18 2020-09-15 Huawei Technologies Co., Ltd. System and method for training a neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017206936A1 (zh) * 2016-06-02 2017-12-07 腾讯科技（深圳）有限公司 基于机器学习的网络模型构造方法及装置
CN109063829A (zh) * 2018-06-22 2018-12-21 泰康保险集团股份有限公司 神经网络构建方法、装置、计算机设备和存储介质
CN109165664A (zh) * 2018-07-04 2019-01-08 华南理工大学 一种基于生成对抗网络的属性缺失数据集补全与预测方法
CN109376844A (zh) * 2018-10-30 2019-02-22 银河水滴科技（北京）有限公司 基于云平台和模型推荐的神经网络自动训练方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Modulation recognition using hierarchical deep neural networks;Krishna Karra 等;《2017 IEEE International Symposium on Dynamic Spectrum Access Networks (DySPAN)》;20170508;1-3 *
Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets;Yong Guo 等;《https://arxiv.org/pdf/2103.00219.pdf》;20210227;1-10 *
基于神经网络的助力搬运装置自适应控制方法研究;张蕊 等;《机床与液压》;20190131;第47卷(第2期);139-144 *

Also Published As

Publication number Publication date
CN110046706A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110046706B (zh) 模型生成方法、装置及服务器
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
TW201909112A (zh) 圖像特徵獲取
CN109978060B (zh) 一种自然语言要素抽取模型的训练方法及装置
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
US20220383627A1 (en) Automatic modeling method and device for object detection model
CN111340054A (zh) 数据标注方法、装置及数据处理设备
CN112183166A (zh) 确定训练样本的方法、装置和电子设备
CN110197213B (zh) 基于神经网络的图像匹配方法、装置和设备
CN112529020A (zh) 基于神经网络的动物识别方法、系统、设备及存储介质
CN115034315B (zh) 基于人工智能的业务处理方法、装置、计算机设备及介质
CN111382572A (zh) 一种命名实体识别方法、装置、设备以及介质
JP2022507144A (ja) 人工画像生成用コンピュータアーキテクチャ
CN109978058B (zh) 确定图像分类的方法、装置、终端及存储介质
CN114139636A (zh) 异常作业处理方法及装置
CN114511095A (zh) 数据处理方法及装置、计算设备、存储介质
CN111144243A (zh) 基于对抗学习的户型图识别方法和装置
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
CN112529009B (zh) 一种图像特征的挖掘方法、装置、存储介质及电子设备
KR102245896B1 (ko) 인공 지능 모형 기반의 어노테이션 데이터 검증 방법 및 그 시스템
CN112742026B (zh) 游戏控制方法、装置、存储介质和电子设备
CN109657710B (zh) 数据筛选方法、装置、服务器及存储介质
CN112348045B (zh) 神经网络的训练方法、训练装置和电子设备
CN113779159A (zh) 模型训练、论元检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant