CN116249989A - 用于网络架构搜索的设备和计算机实现的方法 - Google Patents

Abstract

用于网络架构搜索的设备和计算机实现的方法，其中为定义人工神经网络的架构的至少一部分的参数提供(302)第一组值，其中所述架构的该部分包括所述人工神经网络的多个层和/或所述人工神经网络的多个运算，其中针对所述参数的第一组值确定(304)函数的第一值，当目标系统执行由所述参数的第一组值定义的人工神经网络部分的任务时，所述第一值表征所述目标系统的特性。

Description

用于网络架构搜索的设备和计算机实现的方法

技术领域

本发明涉及用于网络架构搜索的设备和计算机实现的方法。

背景技术

在深度神经网络中，人工神经网络架构的搜索空间已经非常庞大。特别适合于预给定目的的网络架构搜索已经非常复杂。通过网络架构搜索，即神经架构搜索NAS，可以根据成本函数来自动设定人工神经网络的架构。架构搜索是依赖于成本函数的多目标优化问题，其中在所述成本函数中例如除了算法的准确性之外还考虑了诸如人工神经网络中的参数数量或运算数量的目标。

如果人工神经网络的特定部分应当在目标系统中实现，这会额外增加架构搜索的工作量。一方面可以选择人工神经网络的不同部分，这些部分要么由所述目标系统代表，要么不由所述目标系统代表。另一方面，可以使用具有不同特性的目标系统来实现人工神经网络的同一部分。

发明内容

通过下面描述的过程为高效且可伸缩的自动架构搜索提供了硬件感知的成本函数。由此在针对特定目标系统使用面向硬件的优化技术时也可以进行自动的网络架构搜索。

通过根据独立权利要求的计算机实现的方法和设备确定人工神经网络的网络架构，所述网络架构特别适合于执行计算任务。

用于网络架构搜索的计算机实现的方法规定，为定义人工神经网络的架构的至少一部分的参数提供第一组值，其中所述架构的该部分包括所述人工神经网络的多个层和/或所述人工神经网络的多个运算，其中针对所述参数的第一组值确定函数的第一值，当目标系统执行由所述参数的第一组值定义的人工神经网络部分的任务时，所述第一值表征所述目标系统的特性。所述函数将所述人工神经网络的选择的参数映射为说明由所述目标系统执行所述任务的成本的值。所述任务包括计算来自由多个层或多个运算组成的人工神经网络的变量。所述函数表示用于架构搜索的目标系统的模型。所述参数表示跨越架构搜索的搜索空间的维度。由此，在架构搜索中可以考虑层或运算组合的比较值，可以考虑层和运算的组合在给定目标系统(例如给定硬件加速器)的硬件成本(例如等待时间)方面的比较值。这种可比性不仅对优化是存在的，而且通常对所述目标系统的行为也是存在的。

在一个方面，所述函数的第一值通过在所述目标系统处检测所述目标系统的特性来加以确定。利用第一组值检测相应目标系统的特征并将所述特征作为模型中的支持点来考虑。

在一个方面，所述函数的第一值通过在所述目标系统的仿真中确定所述目标系统的特性来加以确定。在这种情况下没有必要测量目标系统本身。

优选地，所述特性优选地是等待时间(特别是计算时间的持续时间)、功率(特别是每个时间段消耗的能量)或存储器带宽。在该示例中，计算时间的持续时间是在测量或仿真的目标系统中出现的时间。在该示例中，存储器带宽、功率或每个时间段消耗的能量涉及测量或仿真的目标系统。这些是特别适合于架构搜索的特性。

优选地规定，所述参数之一定义所述人工神经网络中的突触或神经元或过滤器的大小和/或所述参数之一定义所述人工神经网络中的过滤器数量和/或所述参数之一定义所述人工神经网络的合并在可由所述目标系统执行的任务中的层的数量，特别是无需将所述任务的部分结果传输到所述目标系统外部的存储器或从所述目标系统外部的存储器传输。这些是特别适合于架构搜索的超参数，特别是深度神经网络的超参数。

在一个方面，为定义所述人工神经网络的第二架构的至少一部分的参数确定第二组值，其中针对所述第二组值确定所述函数的第二值，当所述目标系统执行由所述参数的第二组值定义的人工神经网络部分的任务时，所述第二值表征所述目标系统的特性。

优选地规定，所述函数的第一支持点由所述第一组值和所述函数的第一值定义，其中所述函数的第二支持点由所述第二组值和所述函数的第二值定义，以及其中所述函数的第三支持点由所述第一支持点和所述第二支持点之间的插值确定。也可以考虑多个支持点来用于插值。

在一个方面规定，对于来自所述函数的大量支持点中的至少一个支持点，确定与所述第一支持点的相似性度量，其中从所述大量支持点中确定所述第二支持点，对所述第二支持点而言所述相似性度量满足条件。

优选地，确定所述函数的以下支持点，在该支持点处所述函数的梯度满足条件，其中所述支持点为所述人工神经网络的第二架构的一部分的参数定义第二组值，其中所述架构的该部分包括所述人工神经网络的多个层和/或所述人工神经网络的多个运算，其中针对所述参数的第二组值确定所述函数的第二值，当所述目标系统执行由所述参数的第二组值定义的人工神经网络部分的任务时，所述第二值表征所述目标系统的特性。

可以规定，针对所述函数的大量支持点确定所述函数的梯度，其中从所述大量支持点中确定以下支持点，该支持点的梯度大于所述函数在所述大量支持点中其他支持点处所具有的梯度，以及其中该支持点定义了所述参数的第二组值。

可以规定，针对所述大量支持点确定所述函数在所述大量支持点中的一个支持点处的值，其中确定使得所述值满足条件的支持点，并且其中该支持点定义了网络架构搜索的结果。

在一个方面，独立于所述函数确定所述人工神经网络的另外的参数的另外的值，并且其中根据所述另外的值确定所述人工神经网络的架构。

一种用于网络架构搜索的设备被构造为执行该方法。

附图说明

进一步的有利实施方式从以下描述和附图中得出。在附图中：

图1示出了用于网络架构搜索的设备的示意图，

图2示出了二维搜索空间的函数图，

图3示出了用于确定架构的方法中的步骤。

具体实施方式

图1示意性地示出了用于网络架构搜索的设备100。设备100包括至少一个处理器和至少一个存储器，它们被构造为彼此协作以执行下述方法。网络架构搜索是一种方法或一种算法。所述处理器是可用于执行网络架构搜索的计算单元。所述处理器可以是计算系统的一部分，例如个人计算机。在该示例中，针对目标系统(例如硬件加速器)执行网络架构搜索。进一步的描述使用硬件加速器作为目标系统。该过程也可应用于其他目标系统。

设备100被构造为确定硬件加速器102的特性。硬件加速器102被构造为执行用于人工神经网络的一部分的计算的一个或多个任务。硬件加速器102例如是适配于所述任务的专用硬件。人工神经网络的该部分在该示例中包括人工神经网络的多个层和/或人工神经网络的多个运算。这意味着硬件加速器102被构造为执行为此所需的计算。在该示例中设置了第一处理器104，所述第一处理器被构造为将计算所需的数据从第一存储器106传输到第二存储器108。在该示例中，第一处理器104被构造为将表示计算结果的数据从第二存储器108传输到第一存储器106。在该示例中，第一存储器106布置在硬件加速器102外部。在该示例中，第二存储器108布置在硬件加速器102内部。

在该示例中，第一存储器106和第二存储器108至少为了传输这些数据而经由第一数据线路108连接。

设备100可以被构造为对硬件加速器102执行测量或者执行硬件加速器102的仿真。在该示例中，所述测量由第二处理器112控制和/或执行。在对硬件加速器仿真的情况下，取消了硬件加速器102、第一存储器106和第一处理器104。在这种情况下借助于第二处理器112来对硬件加速器仿真。

在该示例中，第一处理器104和第二处理器112至少暂时彼此通信以用于测量。在该测量中检测硬件加速器102的特性。该特性可以包括等待时间(特别是由硬件加速器102导致的计算时间的持续时间)、功率(特别是每个时间段由硬件加速器102消耗的能量)或者用于传输数据的存储器带宽。

硬件加速器102的仿真可以基于硬件加速器102的模型确定相同的特性。

人工神经网络的结构由人工神经网络的架构定义。人工神经网络的架构由参数定义。参数描述了人工神经网络的一部分，例如人工神经网络的运算或层之一或运算或层的一部分。这种参数的子集描述了人工神经网络的架构的一部分。人工神经网络的架构可以附加地也通过其他参数来定义。这些其他参数可以附加地定义架构。

例如，一个参数定义了人工神经网络中过滤器的大小。

例如，一个参数定义了人工神经网络中的过滤器数量。

例如，一个参数定义了人工神经网络的合并在一个任务中的层的数量。在本示例中，该任务可以由硬件加速器102执行，而不需要将该任务的部分结果从第二存储器108传输到第一存储器106和/或从第一存储器106传输到第二存储器108。

下面描述的方法包括解决优化问题，其中优化问题的解定义了深度人工神经网络或其一部分的架构。

该解包括来自定义了人工神经网络的架构的参数集合中的参数的值。该架构还可以由独立于优化问题的解定义的其他参数来定义。

优化问题是根据成本函数定义的。下面描述了一个示例，其中成本函数由来自定义了人工神经网络的参数集合中的参数子集定义。在该示例中，成本函数的值定义了硬件加速器102在执行由所述参数子集定义的任务时具有的硬件成本，例如等待时间或能量消耗。

所述成本函数也可以由大量这种子集来定义。由此，架构的多个部分一起成为架构搜索的主题。

参数集合可以在手动步骤中根据专家知识设定。使用参数的目的是评估架构的无法由各个运算和/或层评估的方面，因为该方面要经过多个层或运算才会发挥作用。该方面可以解释为搜索空间中的维度。可以借助于专家知识来设定与架构搜索相关的方面。

参数子集可以在手动步骤中根据专家知识设定。在本示例中，该子集包括可以用来实现人工神经网络的算法的典型特性，以及所述算法在硬件加速器102上的执行。

例如，为卷积层设定一个参数，该参数说明卷积层的一个滤波器的大小k，例如k∈{1，3，5，7}。此外或替代地，可以为卷积层设定一个参数，该参数说明卷积层的过滤器的数量nb，例如nb∈{4，8，16，32，64，128，256}。

对于全连接层可以设定一个参数，该参数说明全连接层的神经元的数量，例如n∈{4，8，16，32}。

可以为跳连接(Skip Connection)设定一个参数，该参数定义长度l，该长度说明人工神经网络的被跳过的层的数量。例如，为具有整流线性单元ReLU的人工神经网络设置了长度l∈{1，3，5，7，9}。

根据这些参数，在该示例中创建了覆盖这些参数的骨架。这可以是依赖于专家知识而执行的手动步骤。骨架s的示例在下面列出：

s(config，k，nb，n，l)：

for depth\in{1 to l}：

if config.conv：add conv layer(k,nb)

if config.fc：add fc layer(o)

if config.activationadd ReLU layer()

if config.skip：add skip connection(layer 0，layer n-1)

骨架s定义了搜索空间中参数的所有可能值组的集合和形状，并且特别是定义了它们的长度。

可以从参数子集中选择参数的子集合——未选择的参数要么不在成本函数中加以考虑，要么在求解优化问题时不被改变。

所选择的参数的子集合，即n个可变参数，定义了优化问题的n维搜索空间——每个可变参数都是这些维度之一。

这些选择的参数例如是根据专家知识来选择的。该步骤是可选的。

在一个方面，所述骨架被创建为，使得可以可选地或单独地评估搜索空间的各个维度。在一个示例中，可以停用用于网络架构搜索的可选或单独可评估的维度。在一个示例中，可以将用于网络架构搜索的可选或单独可评估的维度设置为标准值，例如通过对应的config表达式。

在许多情况下，这已经可以通过使用专家知识设定搜索空间的各个维度来显著减小搜索空间。例如，如果已知用于加速计算卷积神经网络(即convolutional neuralnetwork，CNN)的硬件加速器102是基于多个3x3过滤器的本地硬件结构，则过滤器的大小k在架构搜索中不必加以考虑并且可以提前设定为3。

可以通过确定不变的维度来提供减小。

该选择可以自动进行，其方式是改变各个参数并评估由此引起的成本函数的变化。在这种情况下，使得成本函数不变的参数在用于求解优化问题的示例中被设置为标准值。

该选择还用于减小搜索空间并且基于以下认识，即并非每个维度都与硬件加速器102相关。可以规定，通过有针对性地改变n维搜索空间的单个维度来检查该维度的影响，而无需进一步的专家知识。如果影响(例如成本函数的变化)很小，则在网络架构搜索中忽略该维度。这可以全自动地进行。

可以规定，动态地确定成本函数的支持点。在该示例中，以受控方式确定成本函数的支持点。

在一个方面，通过支持点之间的插值确定成本函数的进一步支持点。

例如，为搜索空间的在先前选择之后留下来的维度产生成本函数的进一步支持点。

在一个示例中，在为此而跨越的n维搜索空间中预给定许多这种支持点。在该示例中，动态地产生进一步支持点。

这将基于图2示出。

图2示意性地示出了二维搜索空间的成本函数。在图2中，空心圆圈表示成本函数的预给定支持点。在图2中，实心圆圈表示进一步支持点。进一步支持点在搜索空间中的位置是基于不确定性度量来确定的。在该示例中，不确定性度量由预给定支持点之间的梯度定义。在该示例中，大梯度意味着大的不确定性。在该示例中，小梯度意味着小的不确定性。

在图2所示的示例中，使用每个进一步支持点通过插值产生越来越准确的进一步成本函数。

在该示例中，进一步支持点是从相邻的支持点中导出的。此外或替代地，可以通过以下方式执行进一步支持点的添加，即进一步支持点主要被添加在具有大的不确定性的区域中，即在具有高梯度的区域中。

该步骤也可以全自动地进行，例如通过硬件在环(Hardware in the loop)或通过仿真器在环(Simulatorin the loop)。

为了求解具有n个参数的优化问题可以规定，通过为变化的所述数量的参数预给定不同的值来确定搜索空间中的一个点。搜索空间中的一个点由n个参数的n个值定义。成本函数在该点所具有的值表示一种度量，基于所述度量可通过求解优化问题来选择架构。

对于用于给定任务的深度人工神经网络，以这种方式定义的搜索空间明显大于用于该任务的单个深度人工神经网络的运算数量，但明显小于用于该任务的所有可能深度人工神经网络的数量。

在一个方面，基于生成的成本函数执行架构搜索。例如，根据成本函数确定使成本函数最小化的架构。

可以为架构的不同部分确定附加的可变参数和搜索空间中的附加点。由此增加了搜索空间的维度。在成本函数的插值中可以考虑搜索空间的附加点。

下面基于图3描述用于确定架构的计算机实现的方法。

在步骤302中，确定参数的第一组值。这些参数定义了人工神经网络的架构的至少一部分。

在该示例中，参数之一定义了突触或神经元的大小。

在该示例中，参数之一定义了人工神经网络中过滤器的大小。

在该示例中，参数之一定义了人工神经网络中过滤器的数量。

在该示例中，参数之一定义了人工神经网络的合并在任务中的层的数量。这意味着这些层在该示例中应当可由硬件加速器102执行，而无需将任务的部分结果传输到硬件加速器外部的存储器或从硬件加速器外部的存储器传输。

在步骤304中，确定通过成本函数与参数的第一组值相关联的函数的第一值。

所述第一值表征架构的特性。

在该示例中，函数的第一值通过在硬件加速器102处检测硬件加速器102的特性来确定。

取而代之地可以规定，函数的第一值通过在仿真中确定硬件加速器102的特性来确定。

所述特性可以是等待时间(特别是计算时间的持续时间)、功率(特别是每个时间段消耗的能量)或存储器带宽。

在该示例中将等待时间定义为硬件加速器102开始任务的时间点与硬件加速器102完成所述任务的时间点之间的时间差。该任务包括计算以及在计算之前和之后将数据传输到下一个更高的存储器层级，在该示例中是在第一存储器106和第二存储器108之间的存储器层级。

在一个方面中规定，成本函数的第一支持点由第一组值和成本函数的第一值定义。

第一组值在该示例中是为定义例如人工神经网络的一到四层的参数预给定的。成本函数向这组值分配一个值，该值说明硬件成本，例如等待时间。成本函数本身在该示例中作为表格存储，在该表格中存储了已知的支持点。在该示例中，该表格包含已测量的硬件成本。

可以重复步骤302和304。例如，在重复步骤302时，为定义人工神经网络的第二架构的至少一部分的参数确定第二组值。在该示例中，当特别是随后重复步骤304时确定通过所述函数与第二组值相关联的函数的第二值。

在步骤306中，确定所述架构。

例如，执行架构搜索，特别是网络架构搜索NAS。

架构搜索是复杂的优化问题。该复杂的优化问题尤其是考虑了人工神经网络的涉及其准确性的参数。该复杂的优化问题尤其是考虑了人工神经网络的以下参数，这些参数考虑了由于架构而预期的硬件成本。影响准确性和硬件成本的参数的示例是例如上面提到的参数，特别是神经元的数量或突触的数量或滤波器大小。

该架构是根据通过求解复杂的优化问题而定义的参数来定义的。在该示例中，由支持点确定的参数定义了架构的至少一部分。

可以独立于成本函数来提供或确定人工神经网络的另外的参数的另外的值。在该方面中，可以根据所述另外的值选择或配置架构。

在步骤308中，使用硬件加速器102或其仿真来运行人工神经网络。例如，用硬件加速器102训练人工神经网络以用于计算机视觉和/或用于评估雷达信号，或者人工神经网络在训练之后用于计算机视觉和/或用于评估雷达信号。

可以在迭代中重复执行步骤302和304以探索搜索空间。优选地在最后迭代之后在步骤306中确定所述架构。在相对较早的迭代中，可以根据成本函数的现有支持点为成本函数创建新支持点。例如，在成本函数的不准确性大的区域中确定成本函数的新支持点。新支持点例如也存储在所述表格中。

例如，通过第一支持点和第二支持点之间的插值来确定新支持点。

对于所述插值可以规定，确定数量例如为2、3或4的彼此相似的支持点，并且将这些支持点用于插值。插值可以规定使用插值出的支持点的函数值的平均值。通过形成不同支持点的相同参数的值的平均值，可以将参数的值组用于向新支持点分配参数之一的值。

可以规定，为来自成本函数的大量支持点中的至少一个支持点确定与第一支持点的相似性度量。在该方面，从所述大量支持点中确定第二支持点，对于该第二支持点而言相似性度量满足条件。

例如，可以在参数的各组值方面来定义支持点的相似性。

也可以使用专家已设定的参数值。该参数例如可以是卷积层的核大小。

例如，确定参数之一的各自值的差。对于多个参数可以对各自的差求和。可以规定将各个差标准化，然后求和。

取而代之地也可以规定，针对成本函数的大量支持点确定成本函数的梯度。在这种情况下，确定成本函数的以下支持点，在该支持点处成本函数的梯度满足条件。在这方面，该支持点定义了第二支持点或新支持点。

例如从大量支持点中确定以下支持点，该支持点的梯度比成本函数在所述大量支持点中的其他支持点处所具有的梯度更大。

取而代之地也可以规定，针对大量支持点确定成本函数的值。在这方面，确定其值满足条件的支持点。在这方面，该支持点定义了第二支持点或新支持点。

Claims (14)

1.一种用于网络架构搜索的计算机实现的方法，其特征在于，为定义人工神经网络的架构的至少一部分的参数提供(302)第一组值，其中所述架构的该部分包括所述人工神经网络的多个层和/或所述人工神经网络的多个运算，其中针对所述参数的第一组值确定(304)函数的第一值，当目标系统(102)执行由所述参数的第一组值定义的人工神经网络部分的任务时，所述第一值表征所述目标系统(102)的特性。

2.根据权利要求1所述的方法，其特征在于，所述函数的第一值通过在所述目标系统(102)处检测所述目标系统(102)的特性来加以确定(304)。

3.根据权利要求1所述的方法，其特征在于，所述函数的第一值通过在所述目标系统(102)的仿真中确定所述目标系统(102)的特性来加以确定(304)。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述特性是等待时间、功率或存储器带宽，所述等待时间特别是计算时间的持续时间，所述功率特别是每个时间段消耗的能量。

5.根据前述权利要求中任一项所述的方法，其特征在于，所述参数之一定义所述人工神经网络中的突触或神经元或过滤器的大小和/或所述参数之一定义所述人工神经网络中的过滤器数量和/或所述参数之一定义所述人工神经网络的合并在能由所述目标系统(102)执行的任务中的层的数量，特别是无需将所述任务的部分结果传输到所述目标系统外部的存储器或从所述目标系统外部的存储器传输。

6.根据前述权利要求中任一项所述的方法，其特征在于，为定义所述人工神经网络的第二架构的至少一部分的参数确定(302)第二组值，其中针对所述第二组值确定(304)所述函数的第二值，当所述目标系统(102)执行由所述参数的第二组值定义的人工神经网络部分的任务时，所述第二值表征所述目标系统(102)的特性。

7.根据权利要求6所述的方法，其特征在于，所述函数的第一支持点由所述第一组值和所述函数的第一值定义，其中所述函数的第二支持点由所述第二组值和所述函数的第二值定义，以及其中所述函数的第三支持点由所述第一支持点和所述第二支持点之间的插值确定。

8.根据权利要求6所述的方法，其特征在于，对于来自所述函数的大量支持点中的至少一个支持点，确定与所述第一支持点的相似性度量，其中从所述大量支持点中确定所述第二支持点，对所述第二支持点而言所述相似性度量满足条件。

9.根据权利要求1至5中任一项所述的方法，其特征在于，确定所述函数的以下支持点，在所述支持点处所述函数的梯度满足条件，其中所述支持点为所述人工神经网络的第二架构的一部分的参数定义第二组值，其中所述架构的该部分包括所述人工神经网络的多个层和/或所述人工神经网络的多个运算，其中为所述参数的第二组值确定(304)所述函数的第二值，当所述目标系统(102)执行由所述参数的第二组值定义的人工神经网络部分的任务时，所述第二值表征所述目标系统(102)的特性。

10.根据权利要求9所述的方法，其特征在于，针对所述函数的大量支持点确定所述函数的梯度，其中从所述大量支持点中确定以下支持点，该支持点的梯度大于所述函数在所述大量支持点中其他支持点处所具有的梯度，以及其中该支持点定义了所述参数的第二组值。

11.根据权利要求7至10中任一项所述的方法，其特征在于，针对所述大量支持点确定所述函数在所述大量支持点中的一个支持点处的值，其中确定使得所述值满足条件的支持点，并且其中该支持点定义了所述网络架构搜索的结果。

12.根据前述权利要求中任一项所述的方法，其特征在于，独立于所述函数确定所述人工神经网络的另外的参数的另外的值，并且其中根据所述另外的值确定所述人工神经网络的架构。

13.一种用于网络架构搜索的设备(100)，其特征在于，所述设备被构造为执行根据权利要求1至12中任一项所述的方法。

14.一种计算机程序，其特征在于，所述计算机程序包括计算机可读指令，当由计算机执行所述计算机可读指令时执行根据权利要求1至12中任一项所述的方法。

Images