CN112101553B - 网络结构搜索方法及装置、设备、存储介质 - Google Patents

网络结构搜索方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN112101553B
CN112101553B CN202011243717.0A CN202011243717A CN112101553B CN 112101553 B CN112101553 B CN 112101553B CN 202011243717 A CN202011243717 A CN 202011243717A CN 112101553 B CN112101553 B CN 112101553B
Authority
CN
China
Prior art keywords
network structure
ith
data set
historical data
searching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011243717.0A
Other languages
English (en)
Other versions
CN112101553A (zh
Inventor
陈鸿基
刘永恒
傅海裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202011243717.0A priority Critical patent/CN112101553B/zh
Publication of CN112101553A publication Critical patent/CN112101553A/zh
Application granted granted Critical
Publication of CN112101553B publication Critical patent/CN112101553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及机器学习领域，公开了一种网络结构搜索方法及装置、设备、计算机可读存储介质。本发明通过将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中，其中历史数据集包括各网络结构及其对应的正确率值，i为正整数，进而根据历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对第i个网络结构进行训练得到实际正确率值，再利用实际正确率值替换历史数据集中第i个网络结构对应的预估正确率值；解决了相关技术中网络结构搜索不够合理，造成网络结构搜索效率低的问题。

Description

网络结构搜索方法及装置、设备、存储介质
技术领域
本发明涉及机器学习领域，尤其涉及一种网络结构搜索方法及装置、设备、计算机可读存储介质。
背景技术
相关技术中，自动机器学习中的网络结构搜索分为两个阶段，其一是搜索阶段，其二是训练阶段；其中：
在搜索阶段，需要根据历史网络结构的训练正确率、网络结构本身通过特定搜索算法，找到预期正确率最优的网络结构，这一过程由CPU端计算完成；
在训练阶段，对搜索到的最新网络结构进行训练，得到正确率，并将网络结构和正确率加入历史数据集中进行迭代，这一过程由GPU端计算完成。
但是这整个网络结构搜索过程是串行过程，即CPU端搜索网络结构时，GPU端必须等待CPU端搜索结束才能开始训练，而CPU端又必须等待GPU端训练结束才能开始下一轮搜索。
由此可见，相关技术中针对自动机器学习的网络结构搜索并不合理，造成网络结构搜索效率低。
发明内容
本发明的主要目的在于提供网络结构搜索方法及装置、设备、计算机可读存储介质，旨在提升网络结构搜索效率。
为实现上述目的，本发明提供一种网络结构搜索方法，所述网络结构搜索方法包括：
将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中；其中，所述历史数据集包括各网络结构及其对应的正确率值，i为正整数；
根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值；
利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值。
可选的，所述利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值的步骤之后，还包括：
执行i=i+1，并返回执行步骤将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中，直至接收到网络结构搜索停止指令。
可选的，所述将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中的步骤之前，还包括：
接收设置指令；
根据所述设置指令设置所述第i个网络结构的预估正确率值。
可选的，所述将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中的步骤之前，还包括：
对所述第i个网络结构进行预处理，得到预处理后的第i个网络结构。
可选的，所述根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值的步骤包括：
网络搜索子进程从主控制进程获取所述历史数据集，并将所述历史数据集中包括的各网络结构加入至缓存栈中，进行网络结构搜索得到第i+1个网络结构；
同时，网络训练子进程并行对所述第i个网络结构进行训练得到实际正确率值。
可选的，所述利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值的步骤包括：
网络训练子进程将训练得到的实际正确率值返回至主控制进程，所述主控制进程将所述历史数据集中第i个网络结构对应的正确率值，由预估正确率值替换为实际正确率值。
此外，为实现上述目的，本发明还提出一种网络结构搜索装置，应用于遥控设备，所述网络结构搜索装置包括：
添加模块，用于将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中；其中，所述历史数据集包括各网络结构及其对应的正确率值，i为正整数；
处理模块，用于根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值；
更新模块，用于利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值。
可选的，所述处理模块，还用于执行i=i+1，并返回添加模块，执行步骤将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中，直至接收到网络结构搜索停止指令。
此外，为实现上述目的，本发明还提出一种网络结构搜索设备，所述网络结构搜索设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行网络结构搜索程序，所述网络结构搜索程序被所述处理器执行时实现如上文所述的网络结构搜索方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有网络结构搜索程序，所述网络结构搜索程序被处理器执行时实现如上文所述的网络结构搜索方法的步骤。
本发明提供的技术方案，通过将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中，其中历史数据集包括各网络结构及其对应的正确率值，i为正整数，进而根据历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对第i个网络结构进行训练得到实际正确率值，再利用实际正确率值替换历史数据集中第i个网络结构对应的预估正确率值；解决了相关技术中网络结构搜索不够合理，造成网络结构搜索效率低的问题。
也即本发明提供的技术方案，通过先将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中，这样，便可根据该历史数据集并行执行网络结构搜索得到第i+1个网络结构，以及对第i个网络结构进行训练得到实际正确率值的步骤，进而再利用训练得到的第i个网络结构的实际正确率值替换历史数据集中第i个网络结构的预估正确率值。实现了网络结构搜索过程中搜索阶段和训练阶段能够并行执行，充分利用了计算资源，避免了相关技术中，搜索阶段GPU计算资源闲置，训练阶段CPU计算资源闲置，造成的网络结构搜索效率低的现象发生，提升了网络结构搜索的合理性，从而提升了网络结构搜索的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例方案涉及的硬件运行环境的网络结构搜索设备结构示意图；
图2为本发明网络结构搜索方法第一实施例的流程示意图；
图3为本发明网络结构搜索方法第二实施例的流程示意图；
图4为本发明网络结构搜索方法第二实施例的流程示意图；
图5为本发明网络结构搜索方法第三实施例的流程示意图；
图6为本发明网络结构搜索装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的网络结构搜索设备结构示意图。
网络结构搜索设备包括：至少一个处理器101、存储器102以及存储在所述存储器上并可在所述处理器上运行的网络结构搜索程序，所述网络结构搜索程序配置为实现如下任一实施例所述的网络结构搜索方法的步骤。
处理器101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。处理器101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关网络结构搜索方法操作，使得网络结构搜索方法模型可以自主训练学习，提高效率和准确度。
存储器102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器101所执行以实现本申请中方法实施例提供的网络结构搜索方法。
在一些实施例中，网络结构搜索设备还可选包括有：通信接口103和至少一个外围设备。处理器101、存储器102和通信接口103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与通信接口103相连。具体地，外围设备包括：射频电路104、显示屏105和电源106中的至少一种。
通信接口103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器101和存储器102。在一些实施例中，处理器101、存储器102和通信接口103被集成在同一芯片或电路板上；在一些其他实施例中，处理器101、存储器102和通信接口103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏105是触摸显示屏时，显示屏105还具有采集在显示屏105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器101进行处理。此时，显示屏105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏105可以为一个，网络结构搜索设备的前面板；在另一些实施例中，显示屏105可以为至少两个，分别设置在网络结构搜索设备的不同表面或呈折叠设计；在再一些实施例中，显示屏105可以是柔性显示屏，设置在网络结构搜索设备的弯曲表面上或折叠面上。甚至，显示屏105还可以设置成非矩形的不规则图形，也即异形屏。显示屏105可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
电源106用于为网络结构搜索设备中的各个组件进行供电。电源106可以是交流电、直流电、一次性电池或可充电电池。当电源106包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图1中示出的结构并不构成对网络结构搜索设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
基于上述硬件结构，提出本发明的各实施例。
参照图2，图2为本发明网络结构搜索方法第一实施例的流程示意图，
网络结构搜索方法包括以下步骤：
步骤S20：将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中；其中，历史数据集包括各网络结构及其对应的正确率值，i为正整数。
需要说明的是，本实施例中的网络结构可以是针对各神经网络(neuralnetworks，NN)；其中，可以理解的是，神经网络是由大量的、简单的处理单元广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统；具体地：
在一些示例中，神经网络可以是深度神经网络(deep neural network，DNN)，其具有多层隐含层的神经网络，按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为输入层，隐含层，输出层三类，其中第一层是输入层，最后一层是输出层，中间的层数都是隐含层，层与层之间是全连接的。
在一些示例中，神经网络可以是卷积神经网络(convolutional neural network，CNN) ，其是一种带有卷积结构的深度神经网络，包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积；卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层，在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。
在一些示例中，神经网络可以是循环神经网络(recurrent neural networks，RNN)，其目的是用来处理序列数据，之所以称为循环神经网路，是因为序列当前的输出与前面的输出也有关，具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNNs能够对任何长度的序列数据进行处理。
应当明确的是，本实施例中的第i个网络结构表征的是第几个网络结构；例如当i=1时，其表示第1个网络结构，当i=2时，其表示第2个网络结构，依此类推，这里不再赘述。
应当明确的是，本实施例中针对每个网络结构均为其设置有对应的预估正确率；例如针对第1个网络结构，设置的预估正确率值为K1，针对第2个网络结构，设置的预估正确率为K2，依此类推，这里不再赘述。
可以理解的是，本实施例中在网络结构搜索的最开始时，其历史数据集中并无相关数据，此时需要将第1个网络结构及其对应的预估正确值K1添加至历史数据集中，从而后续可以并行执行搜索阶段和训练阶段对应的步骤。
步骤S21：根据历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对第i个网络结构进行训练得到实际正确率值。
在本实施例中，根据历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对第i个网络结构进行训练得到实际正确率值的步骤，包括至少以下步骤：
网络搜索子进程从主控制进程获取历史数据集，并将历史数据集中包括的各网络结构加入至缓存栈中，进行网络结构搜索得到第i+1个网络结构；
同时，网络训练子进程并行对第i个网络结构进行训练得到实际正确率值。
应当明确的是，本实施例中网络结构搜索时，由主控制进程进行控制，其中主控制进程在不同阶段会启动对应的子进程来执行相关操作；例如在搜索阶段主控制进程控制启动网络搜索子进程执行搜索步骤，在训练阶段主控制进程控制启动网络训练子进程执行训练步骤。
具体地，本实施例中在网络结构结构的搜索阶段可以由网络搜索子进程从主控制进程获取历史数据集，并将历史数据集中包括的各网络结构加入至缓存栈中，从而再进行网络结构搜索以得到第i+1个网络结构；其中，将历史数据集中包括的各网络结构加入至缓存栈中，可以进一步提升网络结构搜索的效率。
具体地，本实施例中在网络结构结构的训练阶段可以由网络训练子进程对第i个网络结构进行训练得到实际正确率值。
值得注意的是，本实施例中网络搜索子进程根据历史数据集进行网络结构搜索得到的是第i+1个网络结构，网络训练子进程是对第i个网络结构进行训练得到实际正确率值；因此，两者可以并行执行，也即网络搜索子进程与网络训练子进程是通过异步并行的方式从而来提升网络结构搜索的效率。
为了更好地理解，这里以一个具体示例进行说明；例如，设历史数据集中包括第1个网络结构及其对应的预估正确率值K1，此时根据历史数据集中包括的第1个网络结构及其对应的预估正确率值K1进行网络结构搜索得到第2个网络结构，同时并行对第1个网络结构进行训练得到第1个网络结构的实际正确率K1’。
步骤S22：利用实际正确率值替换历史数据集中第i个网络结构对应的预估正确率值。
在本实施例中，利用实际正确率值替换历史数据集中第i个网络结构对应的预估正确率值的步骤，包括至少以下步骤：
网络训练子进程将训练得到的实际正确率值返回至主控制进程，主控制进程将历史数据集中第i个网络结构对应的正确率值，由预估正确率值替换为实际正确率值。
可以理解的是，本实施例中当网络搜索子进程根据历史数据集进行网络结构搜索得到第i+1个网络结构后，还可以将搜索得到的第i+1个网络结构加入至缓存栈中，从而主控制进程从缓存栈中获取该第i+1个网络结构，以添加到历史数据集中；其中，将搜索得到的第i+1个网络结构加入至缓存栈中，可以进一步提升网络结构搜索的效率。
可以理解的是，本实施例中当网络训练子进程对第i个网络结构进行训练得到第i个网络结构的实际正确率值后，其会将第i个网络结构的实际正确率值回传至主控制进程，从而主控制进程将历史数据集中第i个网络结构对应的正确率值，由预估正确率值替换为实际正确率值。
为了更好地理解，这里以一个具体示例进行说明；例如，承接上述示例，将历史数据集中包括第1个网络结构对应的预估正确率值K1替换为实际正确率值K1’。
本实施例中，通过先将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中，这样，便可根据该历史数据集并行执行网络结构搜索得到第i+1个网络结构，以及对第i个网络结构进行训练得到实际正确率值的步骤，进而再利用训练得到的第i个网络结构的实际正确率值替换历史数据集中第i个网络结构的预估正确率值。也即，本实施例提供的网络结构搜索方法更为合理，实现了网络结构搜索过程中搜索阶段和训练阶段能够并行执行，充分利用了计算资源；避免了相关技术中，搜索阶段GPU计算资源闲置，训练阶段CPU计算资源闲置，造成的网络结构搜索效率低的现象发生，在极大程度上提升了网络结构搜索的效率。
基于第一实施例，提出本发明网络结构搜索方法的第二实施例，参照图3所示，在本实施例中，利用实际正确率值替换历史数据集中第i个网络结构对应的预估正确率值的步骤之后，网络结构搜索方法还可以包括至少以下步骤：
步骤S30：执行i=i+1，并返回执行步骤将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中，即循环执行步骤S20~S22，直至接收到网络结构搜索停止指令。
其中，在实际应用中，用户可以根据具体的网络结构搜索情况下发网络结构搜索停止指令，从而在接收到网络结构搜索停止指令，停止循环执行步骤S20~S22。
可以理解的是，本实施例中也可以循环执行步骤S20~S22，直至i达到预设阈值；其中，在实际应用中，用户可以根据具体的网络结构搜索情况设置预设阈值，从而在i达到预设阈值时，停止循环执行步骤S20~S22。
为了更好地理解，这里以一个具体示例进行说明；例如，承接上述示例，
历史数据集以Q表示，其中Q={(1，K1’)}，i=i+1=2，此时返回执行步骤S20~S22；即首先将第2个网络结构及其对应的预估正确率值K2添加到历史数据集中，其中Q={(1，K1’)(2，K2)}，然后根据Q={(1，K1’)(2，K2)} 进行网络结构搜索得到第3个网络结构，同时并行对第2个网络结构进行训练得到第2个网络结构的实际正确率K2’，再将Q中包括第2个网络结构对应的预估正确率值K2替换为实际正确率值K2’，其中Q={(1，K1’)(2，K2’)}，i=i+1=3；以此类推，这里不再赘述；同时参照图4所示，图4为一种网络结构搜索过程的示意图。
本实施例中，通过执行i=i+1，并返回循环执行步骤S20~S22，直至接收到网络结构搜索停止指令；这样在整个网络结构搜索过程中搜索阶段和训练阶段是异步并行执行，最大化利用了计算资源，提升了网络结构搜索的效率；并且可以通过接收到网络结构搜索停止指令或在i达到预设阈值时，停止循环执行步骤S20~S22，这样更加人性化、智能化。
基于上述各实施例，提出本发明网络结构搜索方法的第三实施例，参照图5所示，在本实施例中，将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中的步骤之前，网络结构搜索方法还可以包括至少以下步骤：
步骤S50：接收设置指令；
步骤S51：根据设置指令设置第i个网络结构的预估正确率值。
可以理解的是，本实施例中可以接收设置指令，从而根据设置指令对第i个网络结构的预估正确率值进行设置；其中，在实际应用中，用户可以根据具体的网络结构搜索情况下发设置指令。
可以理解的是，本实施例中可以预先设置第i个网络结构的预估正确率值；例如当前i=1时，则根据设置指令设置第1个网络结构的预估正确率值K1，当前i=2时，则根据设置指令设置第2个网络结构的预估正确率值K2，依次类推，这里不再赘述。
在一些示例中，也可以根据设置指令，预先设置好多个预估正确率值，这样便可直接将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中，无需每次都对网络结构的预估正确率进行设置，进一步提升网络结构搜索的效率；其中：
多个预估正确率值个数可以与预先设置的i需达到的预设阈值相匹配，当然，其个数也可以无需与预先设置的i需达到的预设阈值相匹配；例如预先设置的i需达到的预设阈值为20，则可以预先设置20个预估正确率值，具体地，针对第1个网络结构设置其对应的预估正确率值为K1，针对第2个网络结构设置其对应的预估正确率值为K2，以此类推，这里不再赘述。
本实施例中，通过接收设置指令并根据设置指令设置第i个网络结构的预估正确率值，这样能够灵活设置网络结构的预估正确率值，更加人性化、智能化。
基于上述各实施例，提出本发明网络结构搜索方法的第四实施例，在本实施例中，将第i个网络结构，以及第i个网络结构的预估正确率值添加到历史数据集中的步骤之前，网络结构搜索方法还可以包括至少以下步骤：
对第i个网络结构进行预处理，得到预处理后的第i个网络结构。
可以理解的是，本实施例中可以先对第i个网络结构进行预处理，得到预处理后的第i个网络结构，进而将预处理后的第i个网络结构以及其对应的预估正确率值添加到历史数据集中。
本实施例中，通过先对第i个网络结构进行预处理，得到预处理后的第i个网络结构，进而在网络结构搜索过程中搜索阶段和训练阶段均利用的是预处理后的第i个网络结构；这样在保证网络结构搜索的效率的同时，提升了网络结构搜索的准确率。
此外，参照图6所示，本发明实施例在前述网络结构搜索方法的基础上，还提出一种网络结构搜索装置，网络结构搜索装置包括：
添加模块60，用于将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中；其中，所述历史数据集包括各网络结构及其对应的正确率值，i为正整数；
处理模块61，用于根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值；
更新模块62，用于利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值。
具体实现中，处理模块61还可以用于执行i=i+1，并返回添加模块，执行步骤将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中，直至接收到网络结构搜索停止指令。
需要说明的是，本实施例中网络结构搜索装置还可选的包括有对应的其他模块，以实现前述网络结构搜索方法的步骤。
本发明的网络结构搜索装置采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质上存储有网络结构搜索程序，网络结构搜索程序被处理器执行时实现如前述的网络结构搜索方法的步骤。
该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM（Random Access Memory，随机存取存储器），ROM（Read-Only Memory，只读存储器）, EEPROM（Electrically EraableProgrammable read only memory，带电可擦可编程只读存储器）、闪存或其他存储器技术、CD-ROM（Compact Disc Read-Only Memory，光盘只读存储器），数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件（可以用计算装置可执行的计算机程序代码来实现）、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种网络结构搜索方法，其特征在于，所述网络结构搜索方法包括：
将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中；其中，所述历史数据集包括各网络结构及其对应的正确率值，i为正整数；
根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值；
利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值。
2.如权利要求1所述的网络结构搜索方法，其特征在于，所述利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值的步骤之后，还包括：
执行i=i+1，并返回执行步骤将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中，直至接收到网络结构搜索停止指令。
3.如权利要求1所述的网络结构搜索方法，其特征在于，所述将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中的步骤之前，还包括：
接收设置指令；
根据所述设置指令设置所述第i个网络结构的预估正确率值。
4.如权利要求1所述的网络结构搜索方法，其特征在于，所述将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中的步骤之前，还包括：
对所述第i个网络结构进行预处理，得到预处理后的第i个网络结构。
5.如权利要求1-4中任一项所述的网络结构搜索方法，其特征在于，所述根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值的步骤包括：
网络搜索子进程从主控制进程获取所述历史数据集，并将所述历史数据集中包括的各网络结构加入至缓存栈中，进行网络结构搜索得到第i+1个网络结构；
同时，网络训练子进程并行对所述第i个网络结构进行训练得到实际正确率值。
6.如权利要求1-4中任一项所述的网络结构搜索方法，其特征在于，所述利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值的步骤包括：
网络训练子进程将训练得到的实际正确率值返回至主控制进程，所述主控制进程将所述历史数据集中第i个网络结构对应的正确率值，由预估正确率值替换为实际正确率值。
7.一种网络结构搜索装置，其特征在于，所述网络结构搜索装置包括：
添加模块，用于将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中；其中，所述历史数据集包括各网络结构及其对应的正确率值，i为正整数；
处理模块，用于根据所述历史数据集进行网络结构搜索得到第i+1个网络结构，同时并行对所述第i个网络结构进行训练得到实际正确率值；
更新模块，用于利用所述实际正确率值替换所述历史数据集中所述第i个网络结构对应的预估正确率值。
8.如权利要求7所述的网络结构搜索装置，其特征在于，所述处理模块，还用于执行i=i+1，并返回添加模块，执行步骤将第i个网络结构，以及所述第i个网络结构的预估正确率值添加到历史数据集中，直至接收到网络结构搜索停止指令。
9.一种网络结构搜索硬件设备，其特征在于，所述网络结构搜索硬件设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行网络结构搜索程序，所述网络结构搜索程序被所述处理器执行时实现如权利要求1-6中任一项所述的网络结构搜索方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有网络结构搜索程序，所述网络结构搜索程序被处理器执行时实现如权利要求1-6中任一项所述的网络结构搜索方法的步骤。
CN202011243717.0A 2020-11-10 2020-11-10 网络结构搜索方法及装置、设备、存储介质 Active CN112101553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011243717.0A CN112101553B (zh) 2020-11-10 2020-11-10 网络结构搜索方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011243717.0A CN112101553B (zh) 2020-11-10 2020-11-10 网络结构搜索方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN112101553A CN112101553A (zh) 2020-12-18
CN112101553B true CN112101553B (zh) 2021-02-23

Family

ID=73785045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011243717.0A Active CN112101553B (zh) 2020-11-10 2020-11-10 网络结构搜索方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN112101553B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962391B (zh) * 2021-12-22 2022-03-01 鹏城实验室 神经网络架构搜索方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533179A (zh) * 2019-07-15 2019-12-03 北京地平线机器人技术研发有限公司 网络结构搜索方法和装置、可读存储介质、电子设备
CN111159489A (zh) * 2019-12-05 2020-05-15 中国科学院深圳先进技术研究院 一种搜索方法
CN111553480A (zh) * 2020-07-10 2020-08-18 腾讯科技（深圳）有限公司 神经网络搜索方法、装置、计算机可读介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785886B1 (en) * 2017-04-17 2017-10-10 SparkCognition, Inc. Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US20190286984A1 (en) * 2018-03-13 2019-09-19 Google Llc Neural architecture search by proxy
US20200043579A1 (en) * 2018-08-06 2020-02-06 David McEwing Diagnositic and treatmetnt tool and method for electronic recording and indexing patient encounters for allowing instant search of patient history
CN109344959A (zh) * 2018-08-27 2019-02-15 联想(北京)有限公司 神经网络训练方法、神经网络系统和计算机系统
CN109272164B (zh) * 2018-09-29 2021-09-28 清华大学深圳研究生院 学习行为动态预测方法、装置、设备及存储介质
CN113272908B (zh) * 2018-12-24 2024-04-12 皇家飞利浦有限公司 用于利用感官刺激增强rem睡眠的系统和方法
CN111898766B (zh) * 2020-07-31 2023-02-24 平安科技（深圳）有限公司 基于自动机器学习的以太坊燃料限制预测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533179A (zh) * 2019-07-15 2019-12-03 北京地平线机器人技术研发有限公司 网络结构搜索方法和装置、可读存储介质、电子设备
CN111159489A (zh) * 2019-12-05 2020-05-15 中国科学院深圳先进技术研究院 一种搜索方法
CN111553480A (zh) * 2020-07-10 2020-08-18 腾讯科技（深圳）有限公司 神经网络搜索方法、装置、计算机可读介质及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A fault diagnosis method of Smart Grid based on rough sets combined with genetic algorithm and tabu search;Sun, Qiuye;《NEURAL COMPUTING & APPLICATIONS》;20120818;第23卷;第2023-2029页 *
Efficient Architecture Search for Deep Neural Networks;Gottapu R D 等;《Procedia Computer Science》;20200513;第168卷;第1-7页 *
Learning to Index for Nearest Neighbor Search;Chiu, Chih-Yi 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20200801;第24卷(第8期);第1942-1956页 *
Optimal object detection and tracking in occluded video using DNN and gravitational search algorithm;T. Mahalingam 等;《Soft Computing》;20201105;第24卷;第18301–18320页 *
基于神经网络和时间序列的汽车销量预测研究;刘永恒;《中国优秀硕士学位论文全文数据库 基础科学辑》;20200215(第2期);第1-58页 *

Also Published As

Publication number Publication date
CN112101553A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
US10970854B2 (en) Visual target tracking method and apparatus based on deep adversarial training
US11307864B2 (en) Data processing apparatus and method
CN108304921B (zh) 卷积神经网络的训练方法及图像处理方法、装置
CN111782102B (zh) 窗口的显示方法及相关装置
CN109726353B (zh) 卷积运算装置和方法
CN112215227B (zh) 图像目标检测模型攻击方法、装置、终端设备及存储介质
CN112101553B (zh) 网络结构搜索方法及装置、设备、存储介质
CN109598250A (zh) 特征提取方法、装置、电子设备和计算机可读介质
CN114841315A (zh) 混合专家模型实现方法、系统、电子设备及存储介质
CN112528160A (zh) 智能推荐、模型训练方法、装置、电子设备及存储介质
CN109754084A (zh) 网络结构的处理方法、装置及相关产品
CN112634823B (zh) 显示屏箱体边缘参数校正方法及装置、设备、存储介质
CN112530428A (zh) 语音交互方法及装置、终端设备、计算机可读存储介质
CN114528893A (zh) 机器学习模型训练方法、电子设备及存储介质
CN115098262B (zh) 一种多神经网络任务处理方法及装置
CN108388943B (zh) 一种适用于神经网络的池化装置及方法
CN116521088A (zh) 数据处理方法、装置、设备及存储介质
CN116189277A (zh) 训练方法和装置、手势识别方法、电子设备及存储介质
CN114723024A (zh) 用于存算一体芯片的基于线性规划的神经网络映射方法
CN113888669A (zh) 绕线版图绘制方法、装置、设备及存储介质
CN112926952A (zh) 结合云计算的大数据办公业务处理方法及大数据服务器
CN112346885A (zh) 电子设备控制方法、装置、设备以及计算机可读存储介质
CN113780515B (zh) 数据处理方法、图像处理方法、装置、存储介质与设备
CN113741215B (zh) 基于关联特征数据的设备控制方法及装置
US20230081957A1 (en) Motion search method and apparatus, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant