CN113743606A - 一种神经网络的搜索方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明实施例提供了一种神经网络的搜索方法、装置、计算机设备和存储介质，该方法包括：确定对车辆上的一个或多个传感器设置的主节点、冗余节点，主节点上部署有应用传感器感知的主神经网络，设置与主神经网络相邻的网络结构，作为邻域空间，针对冗余节点生成用于评价副神经网络的条件，作为评价条件，以满足评价条件为目标，在邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在冗余节点应用传感器感知，可以减少神经网络结构搜索的搜索时间、减少计算资源的消耗，高效寻找局部最优解，神经网络结构搜索针对冗余节点的特性，设计出相应的评价条件，从而搜索出适于部署在冗余节点的副神经网络，保证副神经网络可以正常在冗余节点运行。

Description

一种神经网络的搜索方法、装置、计算机设备和存储介质

技术领域

本发明实施例涉及自动驾驶的技术领域，尤其涉及一种神经网络的搜索方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的快速发展，自动驾驶技术也取得了新的突破，在自动驾驶从学术界到工业界落地，到逐步融入人们的日常生活的进程中，自动驾驶的安全性和稳定性的问题日益凸现。

在自动驾驶中设置冗余节点，具备独立的车规级硬件，可部署感知环境的算法，感知环境的算法广泛使用了神经网络，其复杂度和对算力的要求也越来越高，而现有的车规级的硬件算力较弱，在冗余节点上运行完整的感知环境的算法越来越困难。

发明内容

本发明实施例提出了一种神经网络的搜索方法、装置、计算机设备和存储介质，以解决在自动驾驶的冗余节点运行完整的感知环境的算法越来越困难的问题。

第一方面，本发明实施例提供了一种神经网络的搜索方法，包括：

确定对车辆上的一个或多个传感器设置的主节点、冗余节点，所述主节点上部署有应用所述传感器感知的主神经网络；

设置与所述主神经网络相邻的网络结构，作为邻域空间；

针对所述冗余节点生成用于评价副神经网络的条件，作为评价条件；

以满足所述评价条件为目标，在所述邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在所述冗余节点应用所述传感器感知。

第二方面，本发明实施例还提供了一种神经网络的搜索装置，包括：

节点确定模块，用于确定对车辆上的一个或多个传感器设置的主节点、冗余节点，所述主节点上部署有应用所述传感器感知的主神经网络；

邻域空间设置模块，用于设置与所述主神经网络相邻的网络结构，作为邻域空间；

评价条件生成模块，用于针对所述冗余节点生成用于评价副神经网络的条件，作为评价条件；

网络搜索模块，用于以满足所述评价条件为目标，在所述邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在所述冗余节点应用所述传感器感知。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的神经网络的搜索方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的神经网络的搜索方法。

在本实施例中，确定对车辆上的一个或多个传感器设置的主节点、冗余节点，主节点上部署有应用传感器感知的主神经网络，设置与主神经网络相邻的网络结构，作为邻域空间，针对冗余节点生成用于评价副神经网络的条件，作为评价条件，以满足评价条件为目标，在邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在冗余节点应用传感器感知，以主神经网络作为先验知识设计邻域空间，保证搜索空间的有效性的情况下，收敛了搜索空间，可以减少神经网络结构搜索的搜索时间、减少计算资源的消耗，高效寻找局部最优解，神经网络结构搜索针对冗余节点的特性，设计出相应的评价条件，从而搜索出适于部署在冗余节点的副神经网络，保证副神经网络可以正常在冗余节点运行。

附图说明

图1为本发明实施例一提供的一种神经网络的搜索方法的流程图；

图2为本发明实施例一提供的一种车辆的结构示意图；

图3A至图3D为本发明实施例一提供的一种邻域空间的示例图

图4是本发明实施例二提供的一种神经网络的搜索方法的流程图；

图5为本发明实施例三提供的一种神经网络的搜索装置的结构示意图；

图6为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种神经网络的搜索方法的流程图，本实施例可适用于自动驾驶中，以主节点的神经网络为基础进行神经网络结构搜索，得到冗余节点的神经网络的情况，该方法可以由神经网络的搜索装置来执行，该神经网络的搜索装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、个人电脑、工作站，等等，具体包括如下步骤：

步骤101、确定对车辆上的一个或多个传感器设置的主节点、冗余节点。

本实施例中的车辆配置有自动驾驶系统，可支持自动驾驶，所谓自动驾驶，可以指车辆本身拥有环境感知、路径规划并且自主实现车辆控制的能力，也就是用电子技术控制车辆进行的仿人驾驶。

根据对车辆操控任务的把握程度，自动驾驶车辆可以分为L0非自动化(NoAutomotion)、L1驾驶人辅助(Driver Assistance)、L2部分自动化(Partial Automation)、L3有条件自动化(Conditional Automation)、L4高自动化(High Automation)、L5全自动化(Full Automation)。

本实施例中自动驾驶的车辆，可以指满足L1-L5中任一要求的车辆，其中，系统在L1-L3起辅助功能，当到达L4，车辆驾驶将交给系统，因此，自动驾驶的车辆可选为满足L4、L5中任一要求的车辆。

如图2所示，车辆200可以包括驾驶控制设备201，车身总线202，ECU(ElectronicControl Unit，电子控制单元)203、ECU 204、ECU 205，传感器206、传感器207、传感器208和执行器件209、执行器件210、执行器件211。

驾驶控制设备(又称为车载大脑)201负责整个车辆200的总体智能控制。驾驶控制设备201可以是单独设置的控制器，例如，可编程逻辑控制器(ProgrammableLogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备可以对从车身总线202上接收到的各个ECU发来的数据和/或各个传感器发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到车身总线。

车身总线202可以是用于连接驾驶控制设备201，ECU 203、ECU 204、ECU 205，传感器206、传感器207、传感器208以及车辆200的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此目前机动车中常用的车身总线为CAN总线。当然，可以理解的是车身总线也可以是其他类型的总线。

车身总线202可以将驾驶控制设备201发出的指令发送给ECU 203、ECU 204、ECU205，ECU 203、ECU 204、ECU 205再将上述指令进行分析处理后发给相应的执行器件执行。

传感器206、传感器207、传感器208包括但不限于激光雷达、摄像头，等等。

应该理解，图2中的车辆、驾驶控制设备、车身总线、ECU、执行器件和传感器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的车辆、驾驶控制设备、车身总线、ECU和传感器。

针对一个传感器或者多个(两个或两个以上)传感器的组合，在车辆上设置互为独立的主节点、冗余节点，主节点上部署有应用传感器感知的主神经网络，冗余节点部署有应用传感器感知的副神经网络，主神经网络的结构与副神经网络的结构并不相同，例如，LaneNet与H-Net的组合、PolyLaneNet、VPGNet、3D-LaneNet等。

一般情况下，主节点为算力更强的硬件，冗余节点为算力更弱的硬件，因此，副神经网络一般为轻量级的模型、主神经网络一般为大尺寸的模型，即，副神经网络的结构通常比主神经网络的结构简单，副神经网络对传感器的数据的学习能力和泛化能力较弱，主神经网络对传感器的数据具备更强的学习能力和泛化能力，此外，副神经网络的精确度低于主神经网络的精确度。

主神经网络为自动驾驶提供的服务与副神经网络为自动驾驶提供的服务相同或相似，例如，检测车道线、检测交通信号灯、检测交通标志、检测其他车辆，等等，此时，主神经网络的输入与副神经网络的输入均为传感器采集的数据，主神经网络的输出与副神经网络的输出相同。

所谓冗余，就是为了系统的可用性，采用两套或者两套以上的相同或相似且相对独立配置并可切换使用的设计。简而言之，当一套系统出现问题时，另一套系统能够迅速切换，在不改变系统运行状态的条件下保障系统仍然可用。

在本实施例中，对自动驾驶的感知进行了冗余设计，车辆在自动驾驶时，应用主神经网络的优先级高于副神经网络的优先级，即，正常状态下，启动主节点的主神经网络与冗余节点的副神经网络，但职权在初始情况下交给主节点，即，使用主节点的主神经网络为自动驾驶提供服务，在主节点异常(如宕机)或主神经网络异常(如严重超时、crash)时，控制权交给冗余节点，即，使用副节点的副神经网络为自动驾驶提供服务。

步骤102、设置与主神经网络相邻的网络结构，作为邻域空间。

在本实施例中，应用神经网络结构搜索(Neural Architecture Search，NAS)为冗余节点设计副神经网络，即在不需要人工干预的情况下能够针对冗余节点检测出有效的网络结构，作为副神经网络。

一般情况下，神经网络结构搜索是全局搜索，搜索空间大，对计算资源消耗较多，搜索时间长，搜索出来的结果不一定最优。

而在本实施例中，可以以主神经网络作为基础，寻找与主神经神经相邻的网络结构，即，与主神经神经相同或相似的网络结构，从而组成邻域空间，作为神经网络结构搜索(Neural Architecture Search，NAS)的搜索空间，实现邻域搜索。

首先，和全局搜索相比，邻域搜索的搜索空间更小，所以搜索时间更短，消耗的计算资源也会更少。

其次，主神经网络已经验证感知的结果，为性能较高的模型，得以部署在主节点，为自动驾驶提供服务，因此，可以把主节点的主神经网络作为一种先验知识，认为它是在表现上相对比较优秀的模型，那么，基于主神经网络来设计邻域的搜索空间并执行神经网络结构搜索，搜索的结果就是主神经网络邻域上、带约束条件的局部最优。

最后，全局搜索有更大的搜索空间，虽然理论上包含更多的局部最优解，甚至是全局最优解，但是，因为神经网络结构搜索本身具有一定的局限性，在过大的搜索空间内，搜索难度也会更大，有可能陷入一些相对较差的局部最优解。

在本发明的一个实施例中，步骤102包括如下步骤：

步骤1021、在主神经网络中查找骨干网络。

主神经网络作为感知环境的算法，在设计时会考虑使用怎样的骨干网络backbone，骨干网络backbone为主神经网络的基本的网络结构，例如，是一阶段检测one-stage还是二阶段检测two-stage，是否是anchor free的检测，等等。

一般情况下，骨干网络backbone确定下来之后，就可以定性地解释这个主神经网络属于哪种类型，用到哪些检测方法。

步骤1022、查询在骨干网络中设置的第一参数。

骨干网络中中设置有多种网络结构，比如，深度、宽度、算子类型等，记为第一参数，这些第一参数也是执行神经网络结构搜索考虑的搜索维度。

步骤1023、在维持骨干网络的架构不变的条件下，将与第一参数相邻的第二参数设置为邻域空间。

一般情况下，神经网络结构搜索并不改变骨干网络backbone，因此，可以在维持骨干网络的架构不变的条件下，寻找与第一参数相邻(相同或相似)的其他网络结构，记为第二参数，从而将第二参数组成邻域空间，即，第二参数可以替代第一参数，融入骨干网络的架构中。

在一个示例中，第一参数包括第一算子、第二参数包括第二算子，在本示例中，可以确定在骨干网络backbone的一层或多层网络中应用的第一算子，将类型与第一算子相同的第二算子设置为邻域空间。

例如，如图3A所示，若第一算子为普通的卷积Conv(convolution)，则可以使用分组卷积Group Conv、可分离卷积Seq Conv等第二算子替换卷积Conv。

在另一个示例中，第一参数包括第一数量、第二参数包括第二数量，在本示例中，可以确定骨干网络backbone中通道的第一数量，生成包含第一数量的范围，将位于范围内的、且适用于通道的第二数量设置为邻域空间。

通道channel的数量，也是神经网络的宽度，神经网络各层网络的通道的数量随着特征(如图像数据)的尺寸的减小而增加，一般地，特征的尺寸减半，通道的数量随之翻倍。

在神经网络结构搜索的搜索空间(邻域空间)中，可以打破这个约束，为每一层网络计算设计一个合理通道的数量的范围，让搜索过程可以尝试更多可能，考虑到计算优化和效率问题，通道的数量一般为8或者16的倍数。

例如，骨干网络backbone的某一层的channel的第一数量是128，那么，可以设计第二数量为[64，72，96，128，144]，如果某一层的channel的第一数量是512，那么，可以设计第二数量为[448，480，512，576]。

再如，如图3B所示，某一层网络的通道的第二数量设置为[16，24，32]，下一层网络的通道的第二数量设置为[32，40，48]，再下一层网络的通道的第二数量设置为[64，80，96]。

在另一个示例中，第一参数包括卷积核的体积(又称尺寸、大小)、第二参数包括卷积核的体积(又称尺寸、大小)，在本示例中，可以确定骨干网络backbone中存在卷积核，基于使用的频率对卷积核设置多个体积，作为邻域空间。

一般情况下，如图3C所示，使用的频率最高的卷积核的体积为1x1(图上未示出)，3x3，5x5，7x7，那么，可以将第二参数设置为1x1，3x3，5x5，7x7。

在另一个示例中，第一参数包括第一深度、第二参数包括第二深度，在本示例中，可以确定骨干网络的第一深度，从而将第一深度降低至第二深度，作为邻域空间。

一般情况下，冗余节点的副神经网络的深度更低，因此，可以在主节点的主神经网络的骨干网络backbone的第一深度的基础上进行下降，得到第二深度。

进一步地，对于采用ResNet、MobileNet或其他类似以Block(块)为基本单元的骨干网络backbone，每个Block(块)内部的第一深度，同样可以降低至第二深度进行神经网络结构搜索。

例如，如图3D所示，某一个Block的第二深度设置为[1，2，3，4]，下一个Block的第二深度设置为[1，2，3，4]，再下一个Block的第二深度设置为[1，2，3，4]。

当然，上述设计邻域空间的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其它设计邻域空间的方式，例如，在骨干网络的基础上设计是否加入残差、是否加入se结构、mbblock的扩展因子的取值作为邻域空间，等等，本发明实施例对此不加以限制。另外，除了上述设计邻域空间的方式外，本领域技术人员还可以根据实际需要采用其它设计邻域空间的方式，本发明实施例对此也不加以限制。

步骤103、针对冗余节点生成用于评价副神经网络的条件，作为评价条件。

在本实施例中，可以对价副神经网络设置一个或多个用于评价的条件，记为评价条件，将评价条件用于针对冗余节点进行神经网络结构搜索，实现带有特定约束条件下的神经网络结构搜索，搜索出适于部署在冗余节点的副神经网络。

在具体实现中，可以生成用于评价副神经网络的精确度的条件，作为第一级的评价条件，以及，生成用于评价副神经网络的总延时、计算量、内存消耗值中的至少一种条件，作为第二级的评价条件。

其中，第一级的评价条件的优先级高于第二级的评价条件的优先级，即，神经网络结构搜索以精确度作为主要的搜索目标，以总延时、计算量、内存消耗值中的至少一种条件作为次要的搜索目标。

当然，上述评价条件只是作为示例，在实施本发明实施例时，可以根据实际情况设置其它评价条件，本发明实施例对此不加以限制。另外，除了上述评价条件外，本领域技术人员还可以根据实际需要采用其它评价条件，本发明实施例对此也不加以限制。

步骤104、以满足评价条件为目标，在邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在冗余节点应用传感器感知。

以邻域空间作为搜索空间，搜索空间决定了哪些网络结构会被评估，该搜索空间的范围内执行神经网络结构搜索，搜索出副神经网络。

评价条件将提供一些数字，这些数字可以反映搜索空间中所有网络结构的效率，以该评价条件对副神经网络进行评估，搜索出满足该评价条件的副神经网络，从而部署在冗余节点中，应用与主神经网络同一套的传感器进行环境的感知。

在本发明的一个实施例中，步骤104包括如下步骤：

步骤1041、在邻域空间中执行神经网络结构搜索，以获得网络结构。

神经网络结构搜索依赖于搜索方法(又称搜索策略)，可以在邻域空间中，使用合适的搜索方法执行神经网络结构搜索，搜索相应的网络结构，该网络结构用于副神经网络。

其中，搜索方法包括但不限于基于超网采样的One-shot搜索方法，基于强化学习的网络搜索方法，基于贝叶斯的超参数搜索方法，等等。

进一步地，搜索方法与搜索维度相关，为了选择合适的搜索方法，提高搜索的效率，可以确定与邻域空间中的网络结构适配的搜索维度，设置与搜索维度适配的搜索方法，从而应用搜索方法在邻域空间中执行神经网络结构搜索，以获得网络结构。

例如，基于贝叶斯的超参数搜索方法适合连续空间的超参数搜索，如通道的第二数量、第二深度等。

又如，基于超网采样的One-shot搜索方法，适合不影响网络组网下的第二算子、卷积核的体积、第二深度等。

在一次神经网络结构搜索中往往包含多个搜索纬度，对于不同的搜索纬度，可以在同一次神经网络结构搜索中搜索，也可以分别在不同的神经网络结构搜索中搜索。

例如，可以利用贝叶斯超参数搜索方法搜索通道的第二数量，从而设置为副神经网络的通道的数量，在确定通道的数量之后，然后再次利用贝叶斯方法搜索第二深度，作为副神经网络的深度，最后利用基于超网的One-shot搜索方法，同时搜索第二算子、卷积核的体积，作为副神经网络中各层网络应用的算子、各个卷积核的体积，得到副神经网络。

步骤1042、统计用于网络结构的指标，作为评价指标。

在本实施例中，针对用于评价副神经网络的评价条件，可以对组成副神经网络的网络结构生成同一类型的指标，记为评价指标。

在一个示例中，评价条件用于评价副神经网络的精确度，则可以对组成副神经网络的网络结构生成精确度，作为评价指标。

在另一个示例中，评价条件用于评价副神经网络的总延时，则可以对组成副神经网络的网络结构生成总延时，作为评价指标。

进一步地，对于总延迟的评估，如果采用实时在线测量，通常请求额外的硬件专门用来评估，若针对冗余节点设计副神经网络，则相应请求冗余节点评估副神经网络的总延时，而且执行神经网络结构搜索的过程中请求的量较大，造成排队，从而执行神经网络结构搜索的效率。

在本示例中，可以计量在网络结构中每层网络处理数据的子延时，例如，利用网络结构中每层网络应用的算子的计算量来近似估算子延时，等等，将子延时记录在预设的表格中，将表格中所有子延时相加，计算表格中所有子延时之和，获得网络结构的总延时。

虽然预测的总延时与真实的总延时存在一定的差异，但是能提现不同网络结构在总延迟上的相对差异，即可帮助神经网络结构搜索收敛，无需在冗余节点上评估真实的总延迟值，大大提高了评估总延时的效率。

在另一个示例中，评价条件用于评价副神经网络的计算量，则可以对组成副神经网络的网络结构生成计算量，作为评价指标。

在另一个示例中，评价条件用于评价副神经网络的内存消耗值，则可以对组成副神经网络的网络结构生成内存消耗值，作为评价指标。

当然，上述评价指标只是作为示例，在实施本发明实施例时，可以根据实际情况设置其它评价指标，本发明实施例对此不加以限制。另外，除了上述评价指标外，本领域技术人员还可以根据实际需要采用其它评价指标，本发明实施例对此也不加以限制。

步骤1043、若评价指标未满足评价条件，则允许在神经网络结构搜索中对网络结构进行惩罚。

步骤1044、若评价指标满足评价条件，则禁止在神经网络结构搜索中对网络结构进行惩罚。

将网络结构的评价指标与评价条件进行比较。

如果评价指标未满足评价条件，则在神经网络结构搜索的过程中，可以在用于优化的目标函数中对网络结构进行惩罚，如果评价指标满足评价条件，则在神经网络结构搜索的过程中，可以禁止在用于优化的目标函数中对网络结构进行惩罚，这样子会倾向搜索出满足评价指标的网络结构。

例如，评价条件为副神经网络的总延迟值低于100ms，那么在神经网络结构搜索的过程中，对于总延迟值超过100ms的网络结构，在目标函数上做出相应的惩罚，而对于总延迟值低于100ms的网络结构不做出惩罚，这样就会倾向于搜索出总延迟值低于100ms的网络结构。

在本实施例中，确定对车辆上的一个或多个传感器设置的主节点、冗余节点，主节点上部署有应用传感器感知的主神经网络，设置与主神经网络相邻的网络结构，作为邻域空间，针对冗余节点生成用于评价副神经网络的条件，作为评价条件，以满足评价条件为目标，在邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在冗余节点应用传感器感知，以主神经网络作为先验知识设计邻域空间，保证搜索空间的有效性的情况下，收敛了搜索空间，可以减少神经网络结构搜索的搜索时间、减少计算资源的消耗，高效寻找局部最优解，神经网络结构搜索针对冗余节点的特性，设计出相应的评价条件，从而搜索出适于部署在冗余节点的副神经网络，保证副神经网络可以正常在冗余节点运行。

实施例二

图4为本发明实施例二提供的一种神经网络的搜索方法的流程图，本实施例以前述实施例为基础，进一步增加训练副神经网络的操作，该方法具体包括如下步骤：

步骤401、确定对车辆上的一个或多个传感器设置的主节点、冗余节点。

其中，主节点上部署有应用传感器感知的主神经网络。

步骤402、设置与主神经网络相邻的网络结构，作为邻域空间。

步骤403、针对冗余节点生成用于评价副神经网络的条件，作为评价条件。

步骤404、以满足评价条件为目标，在邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在冗余节点应用传感器感知。

步骤405、获取由传感器采集的数据。

步骤406、以数据作为样本，训练副神经网络。

在本实施例中，通过神经网络结构搜索得到副神经网络，则可以获取由传感器采集的数据，如图像数据、音频数据、点云数据等，将该数据作为样本，重新训练副神经网络，副神经网络的性能，从而提高自动驾驶决策的准确性，保证自动驾驶的安全性。

针对不同类型的任务，如目标检测、分类等，训练副神经网络可以是有监督训练，也可以是无监督训练，本实施例对此不加以限制。

进一步地，对于有监督训练，可以对传感器采集的数据标注标签，例如，对于交通信号灯检测，该标签为检测框、信号灯的类别。

一般情况下，为了保证样本的准确性，该标签可以为人工标注，即，人工通过客户端针对传感器采集的数据输入标签，若传感器采集的数据在先已标注标签，则可以直接标注该标签。

当然，考虑到主神经网络的输出具有较高的准确性，为了提高标注的速度，也可以使用主神经网络的输出作为标签，等等，本实施例对此不加以限制。

在一种训练方式中，可以重新训练学生网络。

在本训练方式中，可以将传感器采集的数据作为样本更新至预设的训练集中，针对指定的学习目标，使用数据集训练适副神经网络。

在另一种训练方式中，考虑到副神经网络是以主神经网络为基础设计的(如保持了骨干网络)，副神经网络与主神经网络的部分结构相同，可以将主神经网络作为源网络，确定在主神经网络的骨干网络中的部分或全部权重，在副神经网络的骨干网络中继承部分或全部权重，若继承完成，则以传感器采集的数据作为样本，训练副神经网络，加速收敛到接近主神经网络的局部最优解。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例三

图5为本发明实施例三提供的一种神经网络的搜索装置的结构框图，具体可以包括如下模块：

节点确定模块501，用于确定对车辆上的一个或多个传感器设置的主节点、冗余节点，所述主节点上部署有应用所述传感器感知的主神经网络；

邻域空间设置模块502，用于设置与所述主神经网络相邻的网络结构，作为邻域空间；

评价条件生成模块503，用于针对所述冗余节点生成用于评价副神经网络的条件，作为评价条件；

网络搜索模块504，用于以满足所述评价条件为目标，在所述邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在所述冗余节点应用所述传感器感知。

在本发明的一个实施例中，所述主神经网络的输入与所述副神经网络的输入均为所述传感器采集的数据；

所述主神经网络的输出与所述副神经网络的输出相同；

所述车辆在自动驾驶时，应用所述主神经网络的优先级高于所述副神经网络的优先级。

在本发明的一个实施例中，所述邻域空间设置模块502包括：

骨干网络查找模块，用于在所述主神经网络中查找骨干网络；

第一参数查询模块，用于查询在所述骨干网络中设置的第一参数；

第二参数设置模块，用于在维持所述骨干网络的架构不变的条件下，将与所述第一参数相邻的第二参数设置为邻域空间。

在本发明实施例的一个示例中，所述第二参数设置模块包括：

算子确定模块，用于确定在所述骨干网络的一层或多层网络中应用的第一算子；

算子设置模块，用于将类型与所述第一算子相同的第二算子设置为邻域空间；

和/或，

数量确定模块，用于确定所述骨干网络中通道的第一数量；

范围生成模块，用于生成包含所述第一数量的范围；

数量设置模块，用于将位于所述范围内的、且适用于所述通道的第二数量设置为邻域空间；

和/或，

卷积核确定模块，用于确定所述骨干网络中存在卷积核；

体积设置模块，用于基于使用的频率对所述卷积核设置多个体积，作为邻域空间；

和/或，

深度确定模块，用于确定所述骨干网络的第一深度；

深度降低模块，用于将所述第一深度降低至第二深度，作为邻域空间。

在本发明的一个实施例中，所述评价条件生成模块503包括：

第一级生成模块，用于生成用于评价副神经网络的精确度的条件，作为第一级的评价条件；

第二级生成模块，用于生成用于评价副神经网络的总延时、计算量、内存消耗值中的至少一种条件，作为第二级的评价条件；

其中，所述第一级的评价条件的优先级高于所述第二级的评价条件的优先级。

在本发明的一个实施例中，所述网络搜索模块504包括：

网络结构搜索模块，用于在所述邻域空间中执行神经网络结构搜索，以获得网络结构，所述网络结构用于副神经网络；

评价指标统计模块，用于统计用于评价所述网络结构的指标，作为评价指标；

惩罚允许模块，用于若所述评价指标未满足所述评价条件，则允许在所述神经网络结构搜索中对所述网络结构进行惩罚；

惩罚禁止模块，用于若所述评价指标满足所述评价条件，则禁止在所述神经网络结构搜索中对所述网络结构进行惩罚。

在本发明的一个实施例中，所述网络结构搜索模块包括：

搜索维度确定模块，用于确定与所述邻域空间中的网络结构适配的搜索维度；

搜索方法设置模块，用于设置与所述搜索维度适配的搜索方法；

搜索方法应用模块，用于应用所述搜索方法在所述邻域空间中执行神经网络结构搜索，以获得网络结构。

在本发明的一个实施例中，所述评价指标统计模块包括：

子延时计算模块，用于计量在所述网络结构中每层网络处理数据的子延时；

子延时记录模块，用于将所述子延时记录在预设的表格中；

子延时求和模块，用于计算所述表格中所有所述子延时之和，获得所述网络结构的总延时。

在本发明的一个实施例中，还包括：

感知数据获取模块，用于获取由所述传感器采集的数据；

网络训练模块，用于以所述数据作为样本，训练所述副神经网络。

在本发明的一个实施例中，所述网络训练模块包括：

权重确定模块，用于确定在所述主神经网络的骨干网络中的部分或全部权重；

权重继承模块，用于在所述副神经网络的骨干网络中继承部分或全部所述权重；

继承训练模块，用于若继承完成，则以所述数据作为样本，训练所述副神经网络。

本发明实施例所提供的神经网络的搜索装置可执行本发明任意实施例所提供的神经网络的搜索方法，具备执行方法相应的功能模块和有益效果。

实施例四

图6为本发明实施例四提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的神经网络的搜索方法。

实施例五

本发明实施例五还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述神经网络的搜索方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种神经网络的搜索方法，其特征在于，包括：

确定对车辆上的一个或多个传感器设置的主节点、冗余节点，所述主节点上部署有应用所述传感器感知的主神经网络；

设置与所述主神经网络相邻的网络结构，作为邻域空间；

针对所述冗余节点生成用于评价副神经网络的条件，作为评价条件；

以满足所述评价条件为目标，在所述邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在所述冗余节点应用所述传感器感知。

2.根据权利要求1所述的方法，其特征在于，所述主神经网络的输入与所述副神经网络的输入均为所述传感器采集的数据；

所述主神经网络的输出与所述副神经网络的输出相同；

所述车辆在自动驾驶时，应用所述主神经网络的优先级高于所述副神经网络的优先级。

3.根据权利要求1所述的方法，其特征在于，所述设置与所述主神经网络相邻的网络结构，作为邻域空间，包括：

在所述主神经网络中查找骨干网络；

查询在所述骨干网络中设置的第一参数；

在维持所述骨干网络的架构不变的条件下，将与所述第一参数相邻的第二参数设置为邻域空间。

4.根据权利要求3所述的方法，其特征在于，所述将与所述第一参数相邻的第二参数设置为邻域空间，包括：

确定在所述骨干网络的一层或多层网络中应用的第一算子；

将类型与所述第一算子相同的第二算子设置为邻域空间；

和/或，

确定所述骨干网络中通道的第一数量；

生成包含所述第一数量的范围；

将位于所述范围内的、且适用于所述通道的第二数量设置为邻域空间；

和/或，

确定所述骨干网络中存在卷积核；

基于使用的频率对所述卷积核设置多个体积，作为邻域空间；

和/或，

确定所述骨干网络的第一深度；

将所述第一深度降低至第二深度，作为邻域空间。

5.根据权利要求1所述的方法，其特征在于，所述针对所述冗余节点生成用于评价副神经网络的条件，作为评价条件，包括：

生成用于评价副神经网络的精确度的条件，作为第一级的评价条件；

生成用于评价副神经网络的总延时、计算量、内存消耗值中的至少一种条件，作为第二级的评价条件；

其中，所述第一级的评价条件的优先级高于所述第二级的评价条件的优先级。

6.根据权利要求1所述的方法，其特征在于，所述以满足所述评价条件为目标，在所述邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在所述冗余节点应用所述传感器感知，包括：

在所述邻域空间中执行神经网络结构搜索，以获得网络结构，所述网络结构用于副神经网络；

统计用于评价所述网络结构的指标，作为评价指标；

若所述评价指标未满足所述评价条件，则允许在所述神经网络结构搜索中对所述网络结构进行惩罚；

若所述评价指标满足所述评价条件，则禁止在所述神经网络结构搜索中对所述网络结构进行惩罚。

7.根据权利要求6所述的方法，其特征在于，所述在所述邻域空间中执行神经网络结构搜索，以获得网络结构，包括：

确定与所述邻域空间中的网络结构适配的搜索维度；

设置与所述搜索维度适配的搜索方法；

应用所述搜索方法在所述邻域空间中执行神经网络结构搜索，以获得网络结构。

8.根据权利要求6所述的方法，其特征在于，所述统计用于所述网络结构的指标，作为评价指标，包括：

计量在所述网络结构中每层网络处理数据的子延时；

将所述子延时记录在预设的表格中；

计算所述表格中所有所述子延时之和，获得所述网络结构的总延时。

9.根据权利要求1-8中任一项所述的方法，其特征在于，还包括：

获取由所述传感器采集的数据；

以所述数据作为样本，训练所述副神经网络。

10.根据权利要求9所述的方法，其特征在于，所述以所述数据作为样本，训练所述副神经网络，包括：

确定在所述主神经网络的骨干网络中的部分或全部权重；

在所述副神经网络的骨干网络中继承部分或全部所述权重；

若继承完成，则以所述数据作为样本，训练所述副神经网络。

11.一种神经网络的搜索装置，其特征在于，包括：

节点确定模块，用于确定对车辆上的一个或多个传感器设置的主节点、冗余节点，所述主节点上部署有应用所述传感器感知的主神经网络；

邻域空间设置模块，用于设置与所述主神经网络相邻的网络结构，作为邻域空间；

评价条件生成模块，用于针对所述冗余节点生成用于评价副神经网络的条件，作为评价条件；

网络搜索模块，用于以满足所述评价条件为目标，在所述邻域空间中执行神经网络结构搜索，获得副神经网络、以部署在所述冗余节点应用所述传感器感知。

12.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一项所述的神经网络的搜索方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的神经网络的搜索方法。

Images