CN113779366A - 用于自动驾驶的神经网络架构自动优化部署方法及装置 - Google Patents

Abstract

本发明实施例公开一种用于自动驾驶的神经网络架构自动优化部署方法及装置。该方法包括：获取客户端发送的初始数据，根据初始数据得到训练数据集和测试数据集；接收客户端发送的搜索配置条件；从与搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据训练数据集对各候选网络架构进行预设数量的训练得到各候选网络模型，根据测试数据集计算各候选网络模型的回报值；确定回报值从高到低排列的前N个候选网络模型，对各候选网络模型进行训练得到目标网络模型，并根据测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署最终网络模型。应用本发明实施例提供的方案，能够提高模型优化效率。

Description

用于自动驾驶的神经网络架构自动优化部署方法及装置

技术领域

本发明涉及自动驾驶技术领域，具体而言，涉及一种用于自动驾驶的神经网络架构自动优化部署方法及装置。

背景技术

在自动驾驶领域，通常会用到各种神经网络模型。随着算法的更新或数据量的增加，需要对神经网络模型进行优化以达到更好的使用效果。

目前自动驾驶领域里，有关对神经网络模型优化大多采用手工设计模型和对已有模型进行手工微调的方式来进行优化，非常耗费时间和精力然而，模型优化效率较低。因此，为了提高神经网络模型优化效率，亟需一种模型优化方法。

发明内容

本发明提供了一种用于自动驾驶的神经网络架构自动优化部署方法及装置，以提高神经网络架构优化效率。具体的技术方案如下。

第一方面，本发明实施例提供一种用于自动驾驶的神经网络架构自动优化部署方法，所述方法应用于服务端，所述方法包括：

获取客户端发送的初始数据，对所述初始数据进行结构化得到结构化数据，并将所述结构化数据划分为训练数据集和测试数据集；

接收所述客户端发送的搜索配置条件；所述搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；所述模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗；

按照预设抽样方式，从与所述搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与所述搜索算法对应的已知网络模型确定各所述候选网络架构的各权重，并根据所述训练数据集对所述各候选网络架构进行预设数量的训练得到各候选网络模型，根据所述测试数据集计算各候选网络模型的回报值；

确定回报值从高到低排列的前N个候选网络模型，根据所述训练数据集对各候选网络模型进行训练得到目标网络模型，并根据所述测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署所述最终网络模型。

可选的，所述根据所述测试数据集计算各候选网络模型的回报值的步骤包括：

根据以下公式计算任一候选网络模型的回报值reward：

acc为该候选网络模型在所述测试数据集的准确率，constrain为模型参数量或模型延时对应的测试值，λ_i为模型参数量或模型延时对应的权重。

可选的，对所述初始数据进行结构化得到结构化数据之后，所述方法还包括：

接收所述客户端发送的数据增广和配置代理数据集请求；所述数据增广包括以下至少其一：随机裁切、平移、镜像翻转、增加噪声；

对所述结构化数据进行数据增广处理，并对处理后的数据进行采样，将采样得到的预设数量的数据作为所述结构化数据。

可选的，所述方法还包括：

存储所述最终网络模型的各权重。

可选的，所述搜索算法包括：高效神经网络架构搜索ENAS或一次训练满足多种场景约束的架构选择OFA。

第二方面，本发明实施例提供一种用于自动驾驶的神经网络架构自动优化部署装置，所述装置应用于服务端，所述装置包括：

数据获取模块，用于获取客户端发送的初始数据，对所述初始数据进行结构化得到结构化数据，并将所述结构化数据划分为训练数据集和测试数据集；

条件配置模块，用于接收所述客户端发送的搜索配置条件；所述搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；所述模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗；

架构搜索模块，用于按照预设抽样方式，从与所述搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与所述搜索算法对应的已知网络模型确定各所述候选网络架构的各权重，并根据所述训练数据集对所述各候选网络架构进行预设数量的训练得到各候选网络模型，根据所述测试数据集计算各候选网络模型的回报值；

模型优化模块，用于确定回报值从高到低排列的前N个候选网络模型，根据所述训练数据集对各候选网络模型进行训练得到目标网络模型，并根据所述测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署所述最终网络模型。

可选的，所述架构搜索模块，具体用于根据以下公式计算任一候选网络模型的回报值reward：

acc为该候选网络模型在所述测试数据集的准确率，constrain为模型参数量或模型延时对应的测试值，λ_i为模型参数量或模型延时对应的权重。

可选的，所述装置还包括：

请求接收模块，用于接收所述客户端发送的数据增广和配置代理数据集请求；所述数据增广包括以下至少其一：随机裁切、平移、镜像翻转、增加噪声；

数据处理模块，用于对所述结构化数据进行数据增广处理，并对处理后的数据进行采样，将采样得到的预设数量的数据作为所述结构化数据。

可选的，所述装置还包括：

参数存储模块，用于存储所述最终网络模型的各权重。

可选的，所述搜索算法包括：高效神经网络架构搜索ENAS或一次训练满足多种场景约束的架构选择OFA。

由上述内容可知，本发明实施例提供的用于自动驾驶的神经网络架构自动优化部署方法及装置，可以获取客户端发送的初始数据，对初始数据进行结构化得到结构化数据，并将结构化数据划分为训练数据集和测试数据集；接收客户端发送的搜索配置条件；搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗；按照预设抽样方式，从与搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与搜索算法对应的已知网络模型确定各候选网络架构的各权重，并根据训练数据集对各候选网络架构进行预设数量的训练得到各候选网络模型，根据测试数据集计算各候选网络模型的回报值；确定回报值从高到低排列的前N个候选网络模型，根据训练数据集对各候选网络模型进行训练得到目标网络模型，并根据测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署最终网络模型，因此在针对自动驾驶场景神经网络架构优化过程中，从数据输入到架构搜索和模型部署，均无需人工干预，能够节省大量的人工和时间，从而能够提高模型优化效率。并且，还提供了针对自动驾驶领域训练好的可以迁移的模型，从而在模型优化过程中，直接根据已知的模型确定网络架构的权重，能够进一步提高模型优化效率。架构优化和模型部署无缝衔接，直接部署到服务端，减少了人工介入，提高了模型优化效率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、在针对自动驾驶场景神经网络架构优化过程中，从数据输入到架构搜索和模型部署，均无需人工干预，能够节省大量的人工和时间，从而能够提高模型优化效率。并且，还提供了针对自动驾驶领域训练好的可以迁移的模型，从而在模型优化过程中，直接根据已知的模型确定网络架构的权重，能够进一步提高模型优化效率。架构优化和模型部署无缝衔接，直接部署到服务端，减少了人工介入，提高了模型优化效率。

2、对数据进行增广处理，能够提高优化后模型的泛化能力。配置代理数据集，能够在模型优化过程中，使用较少数量的数据进行模型训练，进而提高模型优化效率。

3、优化得到最终网络模型后，存储最终网络模型的各权重，从而可以在后续相关模型优化过程中，直接迁移该最终网络模型的各权重，从而提高模型优化效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的用于自动驾驶的神经网络架构自动优化部署方法的一种流程示意图；

图2为本发明实施例的用于自动驾驶的神经网络架构自动优化部署装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种用于自动驾驶的神经网络架构自动优化部署方法及装置，能够提高神经网络架构优化效率。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的用于自动驾驶的神经网络架构自动优化部署方法的一种流程示意图。该方法应用于服务端。该方法具体包括以下步骤。

S110：获取客户端发送的初始数据，对初始数据进行结构化得到结构化数据，并将结构化数据划分为训练数据集和测试数据集。

在本发明实施例中，当需要对待优化的搜索算法对应的神经网络模型进行优化时，用户可以通过客户端向服务端发送模型优化所需的初始数据。该初始数据例如可以包括图像、以及对应的标注信息。根据对应算法的不同，上述标注数据例如可以为检测框坐标、目标类别等，本发明实施例对此不作限定。

服务端接收到初始数据后，可以对初始数据进行预处理。具体的，由于需要将初始数据处理成结构化的数据才能完成后面的流程，因此，服务端可以对初始数据进行结构化得到结构化数据，并将结构化数据划分为训练数据集和测试数据集。训练数据集和测试数据集中所包含的结构化数据均不相同。例如，可以将所有的结构化数据随机划分为两部分，其中一部分为训练数据集，另一部分为测试数据集。本发明实施例不对训练数据集和测试数据集中所包含结构化数据的数量作限定。

在一种实现方式中，服务端还可以接收客户端发送的数据增广和配置代理数据集请求；数据增广包括以下至少其一：随机裁切、平移、镜像翻转、增加噪声；对结构化数据进行数据增广处理，并对处理后的数据进行采样，将采样得到的预设数量的数据作为结构化数据。

如果用户的目标数据集很大，也即上述初始数据较多的情况下，搜索的代价会变得很高，那么可以配置相对小的代理数据集用来进行搜索。代理数据集的意思是提供一个类似、但是数量较小的数据集，可以从当前数据集中进行裁切和抽样得到。

对数据进行增广处理，能够提高优化后模型的泛化能力。配置代理数据集，能够在模型优化过程中，使用较少数量的数据进行模型训练，进而提高模型优化效率。

S120：接收客户端发送的搜索配置条件；搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗。

在模型优化时，用户可以根据具体的需求设置模型的约束条件，例如模型参数量大小、模型延时要求、和硬件功耗等；然后可以选择不同的搜索算法，如ENAS(EfficientNeural Architecture Search，高效神经网络架构搜索)或OFA(Once-For-All，一次训练即可满足多种场景约束下的架构选择)等；不同的算法有不同的宏观架构搜索空间范围。宏观架构即为模型具体的网络层数和每层网络的大小。

S130：按照预设抽样方式，从与搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与搜索算法对应的已知网络模型确定各候选网络架构的各权重，并根据训练数据集对各候选网络架构进行预设数量的训练得到各候选网络模型，根据测试数据集计算各候选网络模型的回报值。

得到训练数据集和测试数据集，以及设定好搜索配置条件后，即可从搜索空间内搜索得到符合条件的网络模型。

在实际应用中，搜索空间内包括的网络架构数据量很大，为了提高模型优化效率，在本发明实施例中，服务端可以利用带策略的引导式搜索，从与搜索空间范围匹配的搜索空间中抽样得到候选网络架构。例如，使用强化学习算法、进化算法等在搜索空间中抽样，作为候选网络架构。

在本发明实施例中，可以根据已存储的与搜索算法对应的已知网络模型确定各候选网络架构的各权重。也就是说，可以保存搜索中模型的各权重，用于做参数共享而减少搜索时间，本方法包含一些针对自动驾驶领域预训练过的权重，从而可以直接迁移这些权重，加速搜索速度。

进一步的，可以根据给定的搜索配置条件生成搜索目标，也即在根据训练数据集对各候选网络架构进行预设数量的训练得到各候选网络模型后，根据测试数据集计算各候选网络模型的回报值。例如，可以根据以下公式计算任一候选网络模型的回报值reward：

acc为该候选网络模型在测试数据集的准确率，constrain为模型参数量或模型延时对应的测试值，λ_i为模型参数量或模型延时对应的权重。

acc可以通过训练好的模型在验证数据集上验证得到，constrain直接测试可以得到。λ_i表示对某个限制给定的权重，权重越大，这一限制的占比越大。如果没有限制constrain的情况下，回报reward的大小即为acc；违反搜索配置条件时，constrain的大小为负，reward的大小会比acc要小。

S140：确定回报值从高到低排列的前N个候选网络模型，根据训练数据集对各候选网络模型进行训练得到目标网络模型，并根据测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署最终网络模型。

得到各候选网络模型的回报值后，可以选取最优的N个候选网络模型，也即可以选取回报值从高到低排列的前N个候选网络模型。并且，可以根据训练数据集对各候选网络模型进行训练得到目标网络模型，并根据测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署最终网络模型。

在一种实现方式中，得到最终网络模型后，可以存储最终网络模型的各权重，从而，可以在后续模型优化过程中，直接迁移该最终网络模型的各权重，从而提高模型优化效率。

由上述内容可知，本实施例可以在针对自动驾驶场景神经网络架构优化过程中，从数据输入到架构搜索和模型部署，均无需人工干预，能够节省大量的人工和时间，从而能够提高模型优化效率。并且，还提供了针对自动驾驶领域训练好的可以迁移的模型，从而在模型优化过程中，直接根据已知的模型确定网络架构的权重，能够进一步提高模型优化效率。架构优化和模型部署无缝衔接，直接部署到服务端，减少了人工介入，提高了模型优化效率。

图2示出了本发明实施例的用于自动驾驶的神经网络架构自动优化部署装置的一种结构示意图，所述装置应用于服务端，所述装置包括：

数据获取模块210，用于获取客户端发送的初始数据，对所述初始数据进行结构化得到结构化数据，并将所述结构化数据划分为训练数据集和测试数据集；

条件配置模块220，用于接收所述客户端发送的搜索配置条件；所述搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；所述模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗；

架构搜索模块230，用于按照预设抽样方式，从与所述搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与所述搜索算法对应的已知网络模型确定各所述候选网络架构的各权重，并根据所述训练数据集对所述各候选网络架构进行预设数量的训练得到各候选网络模型，根据所述测试数据集计算各候选网络模型的回报值；

模型优化模块240，用于确定回报值从高到低排列的前N个候选网络模型，根据所述训练数据集对各候选网络模型进行训练得到目标网络模型，并根据所述测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署所述最终网络模型。

可选的，所述架构搜索模块230，具体用于根据以下公式计算任一候选网络模型的回报值reward：

acc为该候选网络模型在所述测试数据集的准确率，constrain为模型参数量或模型延时对应的测试值，λ_i为模型参数量或模型延时对应的权重。

可选的，所述装置还包括：

请求接收模块，用于接收所述客户端发送的数据增广和配置代理数据集请求；所述数据增广包括以下至少其一：随机裁切、平移、镜像翻转、增加噪声；

数据处理模块，用于对所述结构化数据进行数据增广处理，并对处理后的数据进行采样，将采样得到的预设数量的数据作为所述结构化数据。

可选的，所述装置还包括：

参数存储模块，用于存储所述最终网络模型的各权重。

可选的，所述搜索算法包括：高效神经网络架构搜索ENAS或一次训练满足多种场景约束的架构选择OFA。

由上述内容可知，本实施例可以在针对自动驾驶场景神经网络架构优化过程中，从数据输入到架构搜索和模型部署，均无需人工干预，能够节省大量的人工和时间，从而能够提高模型优化效率。并且，还提供了针对自动驾驶领域训练好的可以迁移的模型，从而在模型优化过程中，直接根据已知的模型确定网络架构的权重，能够进一步提高模型优化效率。架构优化和模型部署无缝衔接，直接部署到服务端，减少了人工介入，提高了模型优化效率。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种用于自动驾驶的神经网络架构自动优化部署方法，其特征在于，所述方法应用于服务端，所述方法包括：

获取客户端发送的初始数据，对所述初始数据进行结构化得到结构化数据，并将所述结构化数据划分为训练数据集和测试数据集；

接收所述客户端发送的搜索配置条件；所述搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；所述模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗；

按照预设抽样方式，从与所述搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与所述搜索算法对应的已知网络模型确定各所述候选网络架构的各权重，并根据所述训练数据集对所述各候选网络架构进行预设数量的训练得到各候选网络模型，根据所述测试数据集计算各候选网络模型的回报值；

确定回报值从高到低排列的前N个候选网络模型，根据所述训练数据集对各候选网络模型进行训练得到目标网络模型，并根据所述测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署所述最终网络模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述测试数据集计算各候选网络模型的回报值的步骤包括：

根据以下公式计算任一候选网络模型的回报值reward：

acc为该候选网络模型在所述测试数据集的准确率，constrain为模型参数量或模型延时对应的测试值，λ_i为模型参数量或模型延时对应的权重。

3.根据权利要求1所述的方法，其特征在于，对所述初始数据进行结构化得到结构化数据之后，所述方法还包括：

接收所述客户端发送的数据增广和配置代理数据集请求；所述数据增广包括以下至少其一：随机裁切、平移、镜像翻转、增加噪声；

对所述结构化数据进行数据增广处理，并对处理后的数据进行采样，将采样得到的预设数量的数据作为所述结构化数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

存储所述最终网络模型的各权重。

5.根据权利要求1-3任一项所述的方法，其特征在于，

所述搜索算法包括：高效神经网络架构搜索ENAS或一次训练满足多种场景约束的架构选择OFA。

6.一种用于自动驾驶的神经网络架构自动优化部署装置，其特征在于，所述装置应用于服务端，所述装置包括：

数据获取模块，用于获取客户端发送的初始数据，对所述初始数据进行结构化得到结构化数据，并将所述结构化数据划分为训练数据集和测试数据集；

条件配置模块，用于接收所述客户端发送的搜索配置条件；所述搜索配置条件包括：模型约束、搜索算法、模型宏观架构、以及搜索空间范围；所述模型约束包括以下至少一项：模型参数量大小、模型延时要求、和硬件功耗；

架构搜索模块，用于按照预设抽样方式，从与所述搜索空间范围匹配的搜索空间中抽样得到候选网络架构，根据已存储的与所述搜索算法对应的已知网络模型确定各所述候选网络架构的各权重，并根据所述训练数据集对所述各候选网络架构进行预设数量的训练得到各候选网络模型，根据所述测试数据集计算各候选网络模型的回报值；

模型优化模块，用于确定回报值从高到低排列的前N个候选网络模型，根据所述训练数据集对各候选网络模型进行训练得到目标网络模型，并根据所述测试数据集计算各目标网络模型的准确率，将准确率最高的目标网络模型作为最终网络模型，并自动部署所述最终网络模型。

7.根据权利要求6所述的装置，其特征在于，所述架构搜索模块，具体用于根据以下公式计算任一候选网络模型的回报值reward：

acc为该候选网络模型在所述测试数据集的准确率，constrain为模型参数量或模型延时对应的测试值，λ_i为模型参数量或模型延时对应的权重。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

请求接收模块，用于接收所述客户端发送的数据增广和配置代理数据集请求；所述数据增广包括以下至少其一：随机裁切、平移、镜像翻转、增加噪声；

数据处理模块，用于对所述结构化数据进行数据增广处理，并对处理后的数据进行采样，将采样得到的预设数量的数据作为所述结构化数据。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述装置还包括：

参数存储模块，用于存储所述最终网络模型的各权重。

10.根据权利要求6-8任一项所述的装置，其特征在于，

所述搜索算法包括：高效神经网络架构搜索ENAS或一次训练满足多种场景约束的架构选择OFA。

Images