CN112055863A - 用于确定神经网络的网络配置的方法和设备 - Google Patents

用于确定神经网络的网络配置的方法和设备 Download PDF

Info

Publication number
CN112055863A
CN112055863A CN201980027847.XA CN201980027847A CN112055863A CN 112055863 A CN112055863 A CN 112055863A CN 201980027847 A CN201980027847 A CN 201980027847A CN 112055863 A CN112055863 A CN 112055863A
Authority
CN
China
Prior art keywords
network
network configuration
configurations
network configurations
current set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980027847.XA
Other languages
English (en)
Inventor
J·H·麦岑
T·埃尔斯肯
F·胡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112055863A publication Critical patent/CN112055863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Manipulator (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及用于确定神经网络的对于预先给定的应用来说合适的网络配置的方法，所述预先给定的应用以训练数据的形式来被确定；其中所述网络配置说明了所述神经网络的架构，所述方法具有如下步骤：a)提供（S1）具有网络配置的当前的网络配置集合，其中所述当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；b)提供（S2）网络配置变型的集合；c)根据所述当前的网络配置集合的网络配置关于所述至少一个其它的优化目标方面的概率分布来从网络配置变型的集合中选择网络配置（S3）；d)对所选择的网络配置中的每个网络配置的神经网络进行训练（S4）并且确定相对应的预测误差（error(N)）；e)根据网络配置集合的所述预测误差和所述至少一个其它的优化目标以及所选择的网络配置来对所述当前的网络配置集合进行更新（S5）；并且f)从所述当前的网络配置集合中选择合适的网络配置。

Description

用于确定神经网络的网络配置的方法和设备
技术领域
本发明涉及神经网络，尤其是用于实现技术系统、尤其是机器人、车辆、工具或工作机（Werkmaschine）的功能的神经网络。本发明还涉及神经网络的架构搜索，以便针对特定应用找出神经网络的关于预测误差方面并且关于一个或多个优化目标方面经优化的配置。
背景技术
神经网络的特性在很大程度上由其架构所决定。神经网络的架构例如通过其网络配置来限定，该网络配置尤其通过神经元层的数目、神经元层的类型（线性变换、非线性变换、归一化、与其它神经元层的连结等等）以及诸如此类的来给出。尤其是在应用或所要解决的任务的复杂性增加的情况下，随机找出合适的网络配置花费高，因为网络配置的每个候选者都必须首先被训练，以便能够对其工作能力进行评估。
为了改善对合适的网络配置的找出，通常应用专家知识，以便在对可能的网络配置的候选者进行训练之前减少这些候选者的数目。以这种方式，可以在合理的网络架构的子集中进行搜索。
尽管采用了该方案，可能的网络配置的数量仍极大。因为对网络配置的评价只是在训练之后例如通过分析误差值来被确定，所以这在较复杂的任务并且相对应地复杂的网络配置的情况下导致针对合适的网络配置的巨大的搜索时长。
此外，对于大多数实际应用来说，需要如下神经网络，所述神经网络不仅关于预测误差方面而且关于至少一个其它的优化目标方面都被优化，该至少一个其它的优化目标例如由硬件限制以及诸如此类的来得出。
发明内容
按照本发明，规定了一种按照权利要求1所述的用于基于给定应用的训练数据来确定神经网络的网络配置的方法以及一种相对应的按照并列权利要求所述的设备。
其它的设计方案在从属权利要求中说明。
按照第一方面，规定了一种用于确定神经网络的对于预先给定的应用来说合适的网络配置的方法，所述应用尤其是用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能，其中所述应用以训练数据的形式来被确定；其中所述网络配置说明了所述神经网络的架构，所述方法具有如下步骤：
a) 提供具有网络配置的当前的网络配置集合，其中所述当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；
b) 根据这些网络配置在当前的网络配置集合中的概率分布来提供网络配置变型的集合；
c) 根据所述当前的网络配置集合的网络配置关于所述至少一个其它的优化目标方面的概率分布来从网络配置变型的集合中选择网络配置；
d) 针对所选择的网络配置中的每个网络配置确定预测误差；
e) 根据所选择的网络配置的预测误差和其它优化目标来对当前的网络配置集合进行更新；并且
f) 从当前的网络配置集合中选择合适的网络配置。
上述方法的目的在于：找到选择可能性被改善的网络配置集合；找出神经网络关于预先给定的应用方面经优化的网络配置。尤其是，为此值得期望的是：选择可考虑的网络配置，使得这些网络配置关于预测误差和一个或多个其它的优化目标方面被优化，从而可以根据判断从所找出的网络配置集合中选择合适的网络配置。上述方法的核心在于：以尽可能节省资源的方式来确定关于预测误差和一个或多个其它的优化目标方面合适的网络配置的经优化的帕累托集合。
网络配置的帕累托集合对应于其中相关的神经网络不是关于所有优化目标方面都被其它网络配置主导的那些网络配置。换言之，网络配置的帕累托集合对应于如下那些网络配置，所述那些网络配置被选择为使得这些网络配置中的每个网络配置都至少关于该预测误差方面或关于所述一个或多个其它的优化目标中的至少一个优化目标方面比其余的网络配置中的每个网络配置都更好。在本发明中尤其应该确定关于预测误差方面并且关于至少一个其它的优化目标方面的帕累托集合，以便获得网络配置的被减小的选择集合。
上述方法能够实现：选择对关于预测误差方面并且关于一个或多个其它的优化目标方面经优化的可能的网络配置的选择，以便针对给定应用找到对于神经网络合适的网络配置。因为对预测误差的确定需要根据网络配置候选者数据来对神经网络进行相应的训练，所以上述方法还规定：以合适的方式按照预选来选择用于该训练的网络配置候选者。在此，根据概率分布来进行该选择，以针对一个或多个优化目标的成本值来优选（präferieren）网络配置，对于所述成本值来说关于预测精度方面还没有网络配置被评估到或还没有更好的网络配置被评估到。以这种方式，得到沿着帕累托集合的网络配置变型，该帕累托集合提供了关于具体应用方面经优化的选择可能性。在此，专家可以根据优化目标的权重来做出对合适的网络配置的相对应的选择。
此外，步骤a)至e)可以迭代地多次被执行。
尤其是当满足中断条件时，可以使该方法结束，其中该中断条件包含如下事件中的至少一个事件的发生：
- 达到了预先确定的迭代次数；
- 达到了由这些网络配置变型中的至少一个网络配置变型引起的预先确定的预测误差值。
可以规定：从网络配置变型的集合中选择如下那些网络配置，所述那些网络配置根据当前的网络配置集合的网络配置的概率分布具有最低的概率。
例如，可以根据从当前的网络配置集合中确定的密度估计、尤其是核密度估计来从网络配置变型的集合中选择网络配置。
按照一个实施方式，可以通过输入参量矢量和被分配给这些输入参量矢量的输出参量矢量来预先给定训练数据，其中相应的网络配置的预测误差被确定为一个量度，所述量度从在通过由所述相应的网络配置所确定的神经网络基于所述输入参量矢量得到的模型值与被分配给所述输入参量矢量的输出参量矢量之间的相应偏差得出。
还可以在共同的预先确定的训练条件的情况下通过利用训练数据进行训练来确定所选择的网络配置的预测误差，其中这些共同的预先确定的训练条件预先给定了训练过程的次数和/或训练时间和/或训练方法。
还可以基于总成本函数来从当前的网络配置集合中选择合适的网络配置，该总成本函数取决于预测误差和关于至少一个优化目标方面的资源成本。
按照一个实施方式，对当前的网络配置集合的更新可以被执行为使得被更新的网络配置集合只包含来自当前的网络配置集合和来自所选择的网络配置中的那些网络配置，所述那些网络配置关于预测误差和所述一个或多个优化目标中的至少一个优化目标方面比其余的网络配置中的任何一个都更好。
还可以以如下方式来执行对当前的网络配置集合的更新：向当前的网络配置集合添加所选择的网络配置，以便获得经扩展的网络配置集合，并且紧接着从经扩展的网络配置集合中除去如下那些网络配置，所述那些网络配置关于预测误差和所述一个或多个优化目标中的所有优化目标方面都比其余的网络配置中的至少一个网络配置更差，以便获得被更新的网络配置集合。
按照另一方面，规定了一种用于提供具有网络配置的神经网络的方法，该网络配置是利用上述方法来确定的，其中神经网络尤其被设计用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能。
按照另一方面，规定了具有网络配置的神经网络用于预先给定的应用的用途，该网络配置是利用上述方法针对预先给定的应用来创建的，其中神经网络尤其被设计用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能。
按照另一方面，规定了一种用于确定神经网络的对于预先给定的应用来说合适的网络配置的设备，所述应用尤其是技术系统、尤其是机器人、车辆、工具或工作机的功能，其中该应用以训练数据的形式来被确定；其中该网络配置说明了神经网络的架构，其中该设备被构造用于执行如下步骤：
a) 提供具有网络配置的当前的网络配置集合，其中当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；
b) 提供网络配置变型的集合；
c) 根据当前的网络配置集合的网络配置关于该至少一个其它的优化目标方面的概率分布来从网络配置变型的集合中选择网络配置；
d) 对所选择的网络配置中的每个网络配置的神经网络进行训练并且确定相对应的预测误差；
e) 根据对网络配置集合的预测误差和至少一个其它的优化目标以及所选择的网络配置来对当前的网络配置集合进行更新；并且
f) 从当前的网络配置集合中选择合适的网络配置。
按照另一方面，规定了一种具有神经网络的控制设备、尤其是用于控制技术系统、尤其是机器人、车辆、工具或工作机的功能的控制设备，该神经网络借助于上述方法来配置。
附图说明
实施方式随后依据随附的附图进一步予以阐述。其中：
图1示出了示例性的神经网络的示意图；
图2示出了神经网络的可能的网络配置；
图3示出了用来图示用于为了确定对于预先给定的应用来说合适的网络配置候选者来确定网络配置的帕累托最优的集合的方法的流程图；
图4示出了网络配置的取决于预测误差和其它优化参数、尤其是资源使用参数的帕累托前沿（Pareto-Front）的示意图。
具体实施方式
图1基本上示出了神经网络1的构造，该神经网络通常具有多个级联的神经元层2，这些神经元层分别有多个神经元3。神经元层2具有：用于施加输入数据的输入层2E；多个中间层2Z；和用于输出计算结果的输出层2A。
在此，神经元层2的神经元3可以对应于常规的神经元函数
Figure DEST_PATH_IMAGE001
，
其中Oj对应于神经元的神经元输出，
Figure 175518DEST_PATH_IMAGE002
对应于激活函数，xi对应于神经元的相应的输入值，wi,j对应于第i个神经元输入在第j个神经元层的权重参数，并且θj对应于激活阈。权重参数、激活阈以及对激活函数的选择可以作为神经元参数存储在神经元的寄存器中。
神经元3的神经元输出可以分别作为神经元输入被转交给其余的神经元层、也就是说随后的或先前的神经元层2之一的神经元3，或者如果涉及输出层2A的神经元3则作为计算结果被输出。
这样形成的神经网络1可以作为软件或借助于计算硬件来实现，该计算硬件将一部分或整个神经网络映像成电子（集成）电路。通常，如果计算应该非常快地进行（这就软件的实现方案而言无法实现），则选择这种计算硬件，用来构造神经网络。
相对应的软件或硬件的结构通过网络配置来预先给定，该网络配置通过多个配置参数来确定。网络配置决定了神经网络的计算规则。在如例如在图1中示意性示出的常规的网络配置的情况下，配置参数包括：神经元层的数目；在每个神经元层中的神经元的相应的数目；网络参数，这些网络参数通过权重、激活阈以及激活函数来给出；关于神经元与输入和输出神经元的耦合的说明；以及诸如此类的。
除了上文所描述的网络配置之外，神经网络的其它配置是可能的，其中设置神经元，这些神经元在输入侧与来自不同神经元层的神经元耦合并且在输出侧与不同神经元层的神经元耦合。此外，关于此尤其也可以设置如下神经元层，这些神经元层设置反馈，也就是说这些神经元层在输入侧与关于数据流在相关的神经元层的输出侧所设置的神经元层耦合。关于此，图2示意性示出了具有多个层L1至L6的神经网络的可能的配置，这些层首先以本身公知的方式、如在图1中示意性示出的那样彼此耦合，也就是说神经元输入端与先前的神经元层的神经元输出端连接。神经元层L3还具有如下区域，该区域在输入侧与神经元层L5的神经元输出端耦合。也可以设置神经元层L4，该神经元层在输入侧与神经元层L2的输出端连接。
在下文，应该执行一种用于基于预先确定的应用来确定针对神经网络经优化的网络配置的方法。该应用基本上通过输入参量矢量和被分配给这些输入参量矢量的输出参量矢量的大小来被确定，这些输入参量矢量和这些输出参量矢量是训练数据，所述训练数据限定了所希望的网络特性或特定的任务。
在图3中描述了用于关于所希望的应用来确定对于神经网络来说合适的网络配置的集合的方法。这样获得的集合应该用于：使针对所希望的应用对网络配置的选择变得容易。因而，网络配置应该说明如下神经网络，该神经网络能用于并且适合于特定应用而且关于预测误差方面并且附加地关于至少一个其它的优化目标方面被优化。尤其是，网络配置集合应该对应于如下网络配置的帕累托前沿或帕累托集合，这些网络配置关于预测误差和至少一个其它的优化目标方面被优化。
本发明的目的是逼近函数
Figure DEST_PATH_IMAGE003
的帕累托前沿。在此，N是神经网络，error(N)是神经网络关于描述应用的验证数据的预测误差，而f(N)是任意的N维函数，该N维函数描述了神经网络N的以相应的资源的成本（资源成本）为形式的所需的资源，也就是说是关于一个或多个附加于预测误差的优化目标方面的资源成本。这些附加的优化目标可涉及用于计算硬件等等的资源的特性，诸如：存储器大小、分析速度、关于专用硬件方面的兼容性、分析能耗以及诸如此类的。该方法考虑到：对预测误差的分析花费很高，因为这需要对这些网络配置的神经网络进行训练。而关于至少一个附加的优化目标来对f(N)进行分析的花费明显更低，因为为此并不需要对神经网络N的训练。
随后结合图3来描述的方法以迭代的方式逼近上述函数的帕累托前沿。
在步骤S1中，提供网络配置集合，该网络配置集合是网络配置的预先给定的初始帕累托前沿P1、也就是说当前的网络配置集合。这些网络配置分别对应于具有特定的网络架构的神经网络。相关的神经网络可包括常规的神经网络、卷积神经网络或任意其它有学习能力的网络，诸如递归神经网络。
在步骤S2中，从当前的网络配置集合出发，可以一并确定其它/新的网络配置，也就是说网络配置变型。这些网络配置变型例如可以通过将不同的网络态射（Netzwerkmorphismen）应用于这些网络配置中的一个或多个网络配置变型来被确定或者随机地被选择。原则上，可以以基本上任意的方式来生成网络配置变型。
网络态射对应于预先确定的规则，这些规则可借助于运算器来确定。一般来说，网络态射是运算器T，该运算器将神经网络N映像到网络TN，其中适用：
Figure 810768DEST_PATH_IMAGE004
其中
Figure DEST_PATH_IMAGE005
，
在此，w是神经网络N的网络参数（权重），而
Figure 59346DEST_PATH_IMAGE006
是发生变化的神经网络TN的网络参数。X对应于在其上应用神经网络的空间。
通过步骤S2的当前的网络配置集合的网络配置的变化，获得k个网络配置变型。这些网络配置变型也可以以其它方式来产生，尤其是也与分别当前的网络配置集合无关地来产生。
在步骤S3中，从数目k个网络配置变型中选择j个网络配置的子集。该选择可以基于密度估计、尤其是核密度估计（Kernel Density Estimator）pkde根据当前的帕累托前沿Pi针对
Figure DEST_PATH_IMAGE007
来被计算。替选的密度估计方法包括参数密度模型（例如高斯混合模型（gaussian mixture model））或直方图。
核密度估计是用于估计随机变量的概率分布的统计方法。这里，核密度估计相对应地是函数pkde，利用该函数基于概率分布来说明特定的网络配置出现的概率量度，该概率分布通过当前的网络配置集合的网络配置来被确定。
接着，对网络配置的子集的选择根据与pkde成反比的概率分布p随机地被选择，也就是说神经网络N属于所述k个网络配置的概率对应于：
Figure 657818DEST_PATH_IMAGE008
其中c仅仅是用于使概率分布归一化的常数。替代上述关系式，也可以使用其它关系式，该其它关系式满足如下条件：
Figure DEST_PATH_IMAGE009
。
如果核密度估计
Figure 408210DEST_PATH_IMAGE010
的核密度估计值对于网络配置变型N*中的所选择的网络配置变型来说大（当已经有当前的网络配置集合的多个网络配置具有大致为f(N)的相同的值时情况如此），则相关的网络配置变型N*大概不会进一步改善该值。如果核密度估计
Figure 496252DEST_PATH_IMAGE010
的核密度估计值对于网络配置变型N*中的所选择的网络配置变型来说小（当当前的网络配置集合的很少的网络配置具有大致为f(N)的相同的值时情况如此），则相关的网络配置变型N*改善该值的概率大。也就是说，从这些网络配置变型中选择如下网络配置，这些网络配置具有更高的概率属于当前的网络配置集合的帕累托前沿或对逼近进行改善。
对f(N)的分析能非常简单并且计算花费低地被执行，使得网络配置变型的分别当前的集合可以被选择得很大。其中对从中选择的网络配置的选择在很大程度上决定了计算花费，因为这些网络配置必须被训练以便确定相应的预测误差。
在随后的步骤S4中，在预先确定的训练条件下利用相同的训练数据来对所选择的网络配置进行训练并且确定相对应的预测误差。
在对通过网络配置变型来预先给定的神经网络进行训练时，应该获得相同的评价量度。因而，针对预先确定的数目的训练周期以及预先确定的训练算法来对所有网络配置的神经网络进行训练。
在步骤S5中，根据所确定的预测误差和关于一个或多个其它的优化目标方面的资源成本来执行对帕累托前沿的更新。对具有当前的网络配置集合的网络配置的帕累托前沿Pi进行更新，使得向当前的网络配置集合添加所选择的网络配置，以便获得经扩展的网络配置集合，并且紧接着从经扩展的网络配置集合中除去如下那些网络配置，所述那些网络配置关于预测误差和所述一个或多个优化目标中的所有优化目标方面都比其余的网络配置中的至少一个网络配置更差。
在随后的步骤S6中，检查是否满足中断条件。如果情况如此（二选一：是），则以步骤S7来继续该方法，否则（二选一：否）跳回到步骤S2。中断条件可包括：
- 达到了预先确定的迭代次数；
- 达到了由这些网络配置变型中的至少一个网络配置变型引起的预先确定的预测误差值。
以这种方式，可以使适合于相关应用的分别当前的网络配置集合迭代地逼近经优化的网络配置的帕累托前沿。
在图4中，例如示出了关于预测误差error(N)方面的网络配置和关于至少一个其它的优化目标f(N)方面的资源成本的集合的帕累托前沿的变化过程。
现在，当前的网络配置集合的在最后一个迭代周期之后所确定的网络配置是选择对于通过训练数据所确定的应用来说合适的网络配置的基础。这例如可以通过预先给定总成本函数来实现，该总成本函数考虑到预测误差和资源成本。在实践中会基于相关的应用来判断当前的网络配置集合（当前的帕累托集合）中的哪个网络配置最适合于所选择的应用。这可以依据限制性预先规定来实现。作为示例情形，可以从帕累托前沿中选择不超过例如1GB存储器的网络大小的网络配置。
上述方法能够经改善地加快对网络配置的架构搜索，因为可以明显更快地进行对网络配置变型的工作能力/预测误差的评估。
这样确定的网络配置可以被用于选择神经网络的对于预先给定的任务来说合适的配置。对网络配置的优化与所提出的任务密切相关。该任务通过对训练数据的预先规定来得到，使得在真正的训练之前首先必须对训练数据进行限定，根据这些训练数据来确定对于所提出的任务来说经优化/合适的网络配置。例如，可以通过如下训练数据来限定图像识别或分类方法，这些训练数据包含输入图像、对象分配、对象分类。原则上，以这种方式可以针对所有通过训练数据所限定的任务来确定网络配置。
这样，可以在技术系统的控制设备中、尤其是在机器人、车辆、工具或工作机中使用这样来配置的神经网络，以便根据输入参量来确定输出参量。输出参量例如可以包括输入参量的分类（也就是说例如输入参量到可预先给定的多个类别中的一个类别的分配）并且在输入数据包括图像数据的情况下包括对这些图像数据的尤其是逐像素的语义分割（也就是说例如图像数据的片段到可预先给定的多个类别中的一个类别的逐区域或逐像素的分配）。尤其可以考虑传感器数据或根据传感器数据所确定的参量作为神经网络的输入参量。传感器数据可来自技术系统的传感器或者由技术系统从外部接收。传感器尤其可包括至少一个视频传感器和/或至少一个雷达传感器和/或至少一个激光雷达（LiDAR）传感器和/或至少一个超声传感器。根据神经网络的输出参量，可以通过技术系统的控制设备的计算单元利用操控信号来操控技术系统的至少一个执行器。例如，这样可以控制机器人或车辆的运动或者控制车辆的驱动单元或驾驶员辅助系统。

Claims (16)

1.用于确定神经网络的对于预先给定的应用来说合适的网络配置的方法，所述应用尤其是用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能，其中所述预先给定的应用以训练数据的形式来被确定；其中所述网络配置说明了所述神经网络的架构，所述方法具有如下步骤：
a) 提供（S1）具有网络配置的当前的网络配置集合，其中所述当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；
b) 提供（S2）网络配置变型的集合；
c) 根据所述当前的网络配置集合的网络配置关于所述至少一个其它的优化目标方面的概率分布来从网络配置变型的集合中选择网络配置（S3）；
d) 对所选择的网络配置中的每个网络配置的神经网络进行训练（S4）并且确定相对应的预测误差（error(N)）；
e) 根据网络配置集合的所述预测误差和所述至少一个其它的优化目标以及所选择的网络配置来对所述当前的网络配置集合进行更新（S5）；并且
f) 从所述当前的网络配置集合中选择合适的网络配置。
2.根据权利要求1所述的方法，其中步骤a)至e)迭代地多次被执行。
3.根据权利要求2所述的方法，其中当满足中断条件时（S6），使所述方法结束（S6），其中所述中断条件包含如下事件中的至少一个事件的发生：
- 达到了预先确定的迭代次数；
- 达到了由所述网络配置变型中的至少一个网络配置变型引起的所述预测误差（error(N)）的预先确定的值。
4.根据权利要求1至3中任一项所述的方法，其中从网络配置变型的集合中选择如下那些网络配置，所述那些网络配置根据所述当前的网络配置集合的网络配置的概率分布具有最低的概率。
5.根据权利要求4所述的方法，其中根据从所述当前的配置集合中确定的密度估计、尤其是核密度估计来从网络配置变型的集合中选择网络配置。
6.根据权利要求1至5中任一项所述的方法，其中通过输入参量矢量和被分配给所述输入参量矢量的输出参量矢量来预先给定所述训练数据，其中相应的网络配置的预测误差被确定为一个量度，所述量度从在通过由所述相应的网络配置所确定的神经网络基于所述输入参量矢量得到的模型值与被分配给所述输入参量矢量的输出参量矢量之间的相应偏差得出。
7.根据权利要求1至6中任一项所述的方法，其中在共同的预先确定的训练条件的情况下通过利用所述训练数据进行训练来确定所选择的网络配置的预测误差，其中所述训练条件预先给定了训练过程的次数和/或训练时间和/或训练方法。
8.根据权利要求1至7中任一项所述的方法，其中基于总成本函数来从所述当前的网络配置集合中选择合适的网络配置，所述总成本函数取决于所述预测误差和关于所述至少一个优化目标方面的资源成本。
9.根据权利要求1至8中任一项所述的方法，其中对所述当前的网络配置集合的更新被执行为使得被更新的网络配置集合只包含来自所述当前的网络配置集合和来自所选择的网络配置的那些网络配置，所述那些网络配置关于所述预测误差和所述一个或多个优化目标中的至少一个优化目标方面比其余的网络配置中的任何一个都更好。
10.根据权利要求1至9中任一项所述的方法，其中以如下方式来执行对所述当前的网络配置集合的更新：向所述当前的网络配置集合添加所选择的网络配置，以便获得经扩展的网络配置集合，并且紧接着从所述经扩展的网络配置集合中除去如下那些网络配置，所述那些网络配置关于所述预测误差和所述一个或多个优化目标中的所有优化目标方面都比其余的网络配置中的至少一个网络配置更差，以便获得被更新的网络配置集合。
11.用于提供具有网络配置的神经网络的方法，所述网络配置是利用根据权利要求1至10中任一项所述的方法来创建的，其中所述神经网络尤其被设计用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能。
12.具有网络配置的神经网络用于预先给定的应用的用途，所述网络配置是利用根据权利要求1至10中任一项所述的方法针对所述预先给定的应用来创建的，其中所述神经网络尤其被设计用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能。
13.用于确定神经网络的对于预先给定的应用来说合适的网络配置的设备，所述应用尤其是用于实现技术系统、尤其是机器人、车辆、工具或工作机的功能，其中所述应用以训练数据的形式来被确定；其中所述网络配置说明了所述神经网络的架构，其中所述设备被构造用于执行如下步骤：
a) 提供（S1）具有网络配置的当前的网络配置集合，其中所述当前的网络配置集合对应于关于预测误差和至少一个其它的优化目标方面的帕累托集合；
b) 提供（S2）网络配置变型的集合；
c) 根据所述当前的网络配置集合的网络配置关于所述至少一个其它的优化目标方面的概率分布从网络配置变型的集合中选择（S3）网络配置；
d) 对所选择的网络配置中的每个网络配置的神经网络进行训练（S4）并且确定相对应的预测误差（error(N)）；
e) 根据对网络配置集合的所述预测误差和所述至少一个其它的优化目标以及所选择的网络配置来对所述当前的网络配置集合进行更新（S5）；并且
f) 从所述当前的网络配置集合中选择适合的网络配置。
14.具有神经网络的控制设备，尤其是用于控制技术系统、尤其是机器人、车辆、工具或工作机的功能的控制设备，所述神经网络借助于根据权利要求1至10中任一项所述的方法来配置。
15.计算机程序，其被设立为实施根据权利要求1至10中任一项所述的方法的所有步骤。
16.电子存储介质，在其上存储有根据权利要求15所述的计算机程序。
CN201980027847.XA 2018-04-24 2019-04-17 用于确定神经网络的网络配置的方法和设备 Pending CN112055863A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018109835.9A DE102018109835A1 (de) 2018-04-24 2018-04-24 Verfahren und Vorrichtung zum Ermitteln einer Netzkonfiguration eines neuronalen Netzes
DE102018109835.9 2018-04-24
PCT/EP2019/059991 WO2019206775A1 (de) 2018-04-24 2019-04-17 Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neurona-len netzes

Publications (1)

Publication Number Publication Date
CN112055863A true CN112055863A (zh) 2020-12-08

Family

ID=66251771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980027847.XA Pending CN112055863A (zh) 2018-04-24 2019-04-17 用于确定神经网络的网络配置的方法和设备

Country Status (5)

Country Link
US (1) US20210012183A1 (zh)
EP (1) EP3785177B1 (zh)
CN (1) CN112055863A (zh)
DE (1) DE102018109835A1 (zh)
WO (1) WO2019206775A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240109A (zh) * 2021-05-17 2021-08-10 北京达佳互联信息技术有限公司 网络训练的数据处理方法、装置、电子设备、存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853726B2 (en) * 2018-05-29 2020-12-01 Google Llc Neural architecture search for dense image prediction tasks
US11637417B2 (en) * 2018-09-06 2023-04-25 City University Of Hong Kong System and method for analyzing survivability of an infrastructure link
US20200104715A1 (en) * 2018-09-28 2020-04-02 Xilinx, Inc. Training of neural networks by including implementation cost as an objective
CN112785481A (zh) * 2019-11-07 2021-05-11 英特尔公司 动态分割激活和核以提高存储器效率
CN112884118A (zh) * 2019-11-30 2021-06-01 华为技术有限公司 神经网络的搜索方法、装置及设备
WO2021213644A1 (en) * 2020-04-22 2021-10-28 Nokia Technologies Oy A coordination and control mechanism for conflict resolution for network automation functions
CN111582482B (zh) * 2020-05-11 2023-12-15 抖音视界有限公司 用于生成网络模型信息的方法、装置、设备和介质
DE102021109756A1 (de) 2021-04-19 2022-10-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen
DE102021109754A1 (de) 2021-04-19 2022-10-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen
DE102021109757A1 (de) 2021-04-19 2022-10-20 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ermitteln von Netzkonfigurationen eines neuronalen Netzes unter Erfüllung einer Mehrzahl von Nebenbedingungen

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214746A (en) * 1991-06-17 1993-05-25 Orincon Corporation Method and apparatus for training a neural network using evolutionary programming
US20040093315A1 (en) * 2001-01-31 2004-05-13 John Carney Neural network training
CA2433929A1 (en) * 2003-07-16 2005-01-16 George Fierlbeck Artificial neural network structure optimizer
CN103548375A (zh) * 2010-12-03 2014-01-29 华为技术有限公司 通信方法及装置
US20150106306A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways
CN104700153A (zh) * 2014-12-05 2015-06-10 江南大学 基于模拟退火优化BP神经网络的pH值预测方法
CN107657243A (zh) * 2017-10-11 2018-02-02 电子科技大学 基于遗传算法优化的神经网络雷达一维距离像目标识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561741A (en) * 1994-07-22 1996-10-01 Unisys Corporation Method of enhancing the performance of a neural network
DE19610849C1 (de) * 1996-03-19 1997-10-16 Siemens Ag Verfahren zur iterativen Ermittlung einer optimierten Netzarchitektur eines Neuronalen Netzes durch einen Rechner
US6289329B1 (en) * 1997-11-26 2001-09-11 Ishwar K. Sethi System for converting neural network to rule-based expert system using multiple-valued logic representation of neurons in feedforward network
US6401082B1 (en) * 1999-11-08 2002-06-04 The United States Of America As Represented By The Secretary Of The Air Force Autoassociative-heteroassociative neural network
JP2004506261A (ja) * 2000-06-13 2004-02-26 ペーアーツェーテー　イクスペーペー　テクノロジーズ　アクチエンゲゼルシャフト パイプラインｃｔプロトコルおよびｃｔ通信
US8775341B1 (en) * 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9146546B2 (en) * 2012-06-04 2015-09-29 Brain Corporation Systems and apparatus for implementing task-specific learning using spiking neurons
US9208432B2 (en) * 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
CN106096727B (zh) * 2016-06-02 2018-12-07 腾讯科技（深圳）有限公司 一种基于机器学习的网络模型构造方法及装置
CN108133222B (zh) * 2016-12-01 2021-11-02 富士通株式会社 为数据库确定卷积神经网络cnn模型的装置和方法
US20200125945A1 (en) * 2018-10-18 2020-04-23 Drvision Technologies Llc Automated hyper-parameterization for image-based deep model learning
US11361225B2 (en) * 2018-12-18 2022-06-14 Microsoft Technology Licensing, Llc Neural network architecture for attention based efficient model adaptation
DE102019200565A1 (de) * 2019-01-17 2020-07-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Klassifizierung von Daten insbesondere für ein Controller Area Netzwerk oder ein automotive Ethernet Netzwerk.
KR102140996B1 (ko) * 2020-02-21 2020-08-04 광주과학기술원 바이너리 뉴럴 네트워크를 위한 뉴럴 아키텍처 서치 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214746A (en) * 1991-06-17 1993-05-25 Orincon Corporation Method and apparatus for training a neural network using evolutionary programming
US20040093315A1 (en) * 2001-01-31 2004-05-13 John Carney Neural network training
CA2433929A1 (en) * 2003-07-16 2005-01-16 George Fierlbeck Artificial neural network structure optimizer
CN103548375A (zh) * 2010-12-03 2014-01-29 华为技术有限公司 通信方法及装置
US20150106306A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways
CN104700153A (zh) * 2014-12-05 2015-06-10 江南大学 基于模拟退火优化BP神经网络的pH值预测方法
CN107657243A (zh) * 2017-10-11 2018-02-02 电子科技大学 基于遗传算法优化的神经网络雷达一维距离像目标识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEAN C. SMITHSON ET AL: "Neural networks designing neural networks: Multi-objective hyper-parameter optimization", 《2016 IEEE/ACM INTERNATIONAL CONFERENCE ON COMPUTER-AIDED DESIGN (ICCAD)》, 7 November 2016 (2016-11-07), pages 1 - 8, XP033048930, DOI: 10.1145/2966986.2967058 *
THOMAS ELSKEN ET AL: "Simple And Efficient Architecture Search for Convolutional Neural Networks", 《ARXIV》, 13 November 2017 (2017-11-13), pages 1 - 14 *
张健;刘定一;: "一种应用PSO优化RBF神经网络的方法", 计算机仿真, no. 11, 15 November 2014 (2014-11-15), pages 269 - 272 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240109A (zh) * 2021-05-17 2021-08-10 北京达佳互联信息技术有限公司 网络训练的数据处理方法、装置、电子设备、存储介质

Also Published As

Publication number Publication date
EP3785177B1 (de) 2023-07-05
DE102018109835A1 (de) 2019-10-24
US20210012183A1 (en) 2021-01-14
WO2019206775A1 (de) 2019-10-31
EP3785177A1 (de) 2021-03-03

Similar Documents

Publication Publication Date Title
CN112055863A (zh) 用于确定神经网络的网络配置的方法和设备
JP6808093B2 (ja) システムを制御する予測コントローラ、車両及び方法
Cheng et al. Human motion prediction using semi-adaptable neural networks
KR102139083B1 (ko) 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치
US11861467B2 (en) Adaptive quantization for execution of machine learning models
CN116438570A (zh) 用于图像分割的方法和装置
CN110941272A (zh) 自动驾驶控制方法和设备
CN114722995A (zh) 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法
CN112381227A (zh) 神经网络生成方法、装置、电子设备及存储介质
Oh et al. Hcnaf: Hyper-conditioned neural autoregressive flow and its application for probabilistic occupancy map forecasting
CN111969979A (zh) 一种最小误差熵cdkf滤波器方法
US20210333764A1 (en) Electronic control device and neural network update system
CN114723097A (zh) 用于为基于注意力的轨迹预测方法确定权重的方法和系统
US20200293864A1 (en) Data-aware layer decomposition for neural network compression
Cheng et al. Human motion prediction using adaptable neural networks
Strohbeck et al. Deep kernel learning for uncertainty estimation in multiple trajectory prediction networks
US20200410347A1 (en) Method and device for ascertaining a network configuration of a neural network
CN110728359B (zh) 搜索模型结构的方法、装置、设备和存储介质
US20240143975A1 (en) Neural network feature extractor for actor-critic reinforcement learning models
US20210252711A1 (en) Method and device for controlling a robot
CN111325343B (zh) 神经网络的确定、目标检测、智能行驶控制方法及装置
US11651282B2 (en) Learning method for learning action of agent using model-based reinforcement learning
CN115687912A (zh) 预测对象的轨迹数据的方法和系统及训练机器学习方法来预测对象的轨迹数据的方法和系统
Calvo-Gallego et al. Low-cost dedicated hardware IP modules for background subtraction in embedded vision systems
WO2020115903A1 (ja) 学習装置、学習方法、および学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination