CN113454655A - 针对在硬件上的高效实施来训练神经网络 - Google Patents

Abstract

用于训练人工神经网络KNN（1）的方法（100），所述人工神经网络KNN（1）包括多个神经元（2），所述方法（100）具有步骤：•确定（110）针对所述KNN（1）在过去的时段之内总共已实现的质量（11）的度量；•依据针对一个或者多个神经元（2）对所确定的质量（11）的相应定量贡献（21）的度量，评价（120）所述一个或者多个神经元（2）；•依据所述神经元（2）的评价（120a），规定（130）用来在训练的进一步的进程中分别训练被评价的神经元（2）的措施（22），和/或规定（130）所述神经元（2）在KNN（1）中的位值（23）。根据权利要求11所述的方法（200），其中选择（205a）算术部件（4），该算术部件（4）具有针对预先给定的数目的神经元（2）、神经元（2）的层（3a，3b）和/或在神经元（2）之间的连接（25）的硬件资源，并且其中选择（205b）KNN（1）的如下模型（1a）：所述模型（1a）的神经元（2）、神经元（2）的层（3a，3b）和/或在神经元（2）之间的连接（25）的数目超过预先给定的数目。

Description

针对在硬件上的高效实施来训练神经网络

技术领域

本发明涉及怀着如下目标来训练神经网络：例如针对车辆的车载使用，能够在硬件上高效地实施这些神经网络。

背景技术

人工神经网络KNN包括一个输入层、多个处理层和一个输出层。输入变量在输入层处被读入到KNN中，并在其穿过处理层到输出层的路径上依据通常参数化的处理链被处理。在训练KNN时，确定针对处理链的参数的如下那些值：处理链利用所述值将针对输入变量的一组学习值最优地映射到针对输出变量的所属组的学习值。

KNN的优点在于，它们可以大规模地并行处理非常高维度的数据、如比方说高分辨率图像。并行处理的代价是用于实施KNN的高硬件开销。典型地，需要具有大的存储器配置的图形处理器 (GPUs)。基于深度KNN中的大部分神经元对由KNN供应的最终结果做较少贡献或者根本不做贡献的认知，US 5,636,326A公开了，在训练完成的KNN中的神经元之间的连接的权重遭受读出过程（“剪枝（pruning）”）。以此，可以极大地减少连接和神经元的数目，而没有大的精度损失。

发明内容

在本发明的范围中，已开发了一种用于训练人工神经网络KNN的方法。以此追求如下目标：能够在硬件上高效地实施KNN。在本上下文中，“高效”可以例如被理解为，KNN以有限的硬件资源配置而够用。但是，“高效”例如也可以被理解为，最优地使用和/或充分利用网络架构（和/或KNN的一个或者多个层中的神经元）。“高效”的准确定义因此从其中采用KNN的具体应用中得出。

在本方法中，在否则以任意已知的方式进行的训练期间，在任意时间点确定针对KNN（和/或KNN的子区域）在过去的时段之内总共已实现的质量的度量。质量例如可以包括训练进展、KNN的一层或者另外的子区域的神经元的利用率、KNN的神经元总共的利用率以及也包括由此构成的任意的（例如经加权的）组合。因此，“质量”的准确定义同样从具体应用中得出。

因此，针对质量的度量例如可以包括针对KNN的训练进展的度量、针对KNN的一层或者另外的子区域的神经元的利用率的度量和/或针对KNN的神经元总共的利用率的度量。

依据针对一个或者多个神经元对所确定的质量的相应定量贡献的度量，评价所述一个或者多个神经元。依据神经元的评价，规定用来在训练的进一步的进程中分别训练被评价的神经元的措施，和/或规定这些神经元在KNN中的位值。那么，可以在进一步训练中实施这些措施。KNN中的神经元的所规定的位值也可以继续适用（fortgelten）于推断阶段，亦即继续适用于KNN在训练之后的稍后的有效运行。

尤其是，例如针对质量的度量可以被看作对各个神经元的定量贡献的经加权的或者未经加权的总和。

已认识到，以这种方式已经在训练期间可以考虑如下愿望：最优地充分利用KNN的神经元以及在这些神经元之间的连接。例如，该愿望可以归入用于训练KNN的优化目标。如果在训练期间应证实的是，尽管有明确的愿望但没有最优地充分利用确定的神经元或者在神经元之间的连接，则这些神经元或连接已经可以在训练期间被停用。相对于在训练结束之后的事后“剪枝”，这具有各种好处。

如果在训练期间已经在早先时间点应证实，确定的神经元或者在神经元之间的连接不太相关，则可以及早地停用这些神经元或连接。从该时间点起，在训练期间对于这些神经元或连接不产生其他计算开销。已认识到，为了每次最终停用或者去除神经元或者连接，要以已经投入到该神经元或该连接的训练中的计算开销的形式来付出代价。从停用或去除起，在该神经元中（或在该连接中）体现的来自训练的认识不再被使用，也就是说已经投入的开销被摒弃。类似于在学术或者职业培训中的实践，有利地减少这种开销的量，以尽可能及早地筛出针对该专业不适合的候选人。因此，可以比较快地获得所期望的最终结果、即训练完成的和同时限于实际上相关的神经元和连接的KNN。

对于在硬件上高效地实施训练完成的KNN，限制到实际上相关的神经元和连接又是重要的。尤其是在针对车辆的控制设备中使用KNN时，例如在针对驾驶辅助系统或者用于至少部分自动化驾驶的系统使用KNN时，在开始训练KNN之前，常常已经建立了关于可用硬件的规范。那么，完成的KNN在其尺寸和复杂度方面限于这些给定的硬件资源。同时，在推断时，亦即在有效运行中评估输入变量时，利用这些硬件资源必须够用，以便在针对相应的应用而预先给定的响应时间内供应被提问的输出变量。每个被停用的神经元和每个被停用的连接在每次进一步推断中都节省了计算开销，并且因此节省了响应时间。

神经元或者连接的停用原则上表示对KNN的侵犯。通过在正在进行中的训练过程期间进行这种侵犯，训练过程可以对该侵犯作出反应。这样，可以明显减少侵犯的副作用，如比方说过拟合到训练数据上、根据未知情形对KNN的较差的概括或者由于呈送“对抗性的例子”而针对操纵推断的提高的易感性。不同于例如在训练期间使确定百分比的神经元随机停用（“随机丢弃（Dropout）”），这不会随着如下内容而出现：与该百分比相对应的份额的所学习的信息永久地保持未使用。对此的原因是，由于牵涉到的神经元或连接与质量缺少相关，一开始就激励神经元或连接的停用。

最后，超出仅仅停用这些神经元地扩展如下这些可能的措施的范围：响应于确定的神经元对质量的低定量贡献，可能采取这些可能的措施。这样，例如其他训练可以有针对性地聚焦于这样的“弱”神经元，以便这些神经元可能还是可以对质量做出有成效的贡献。这与如下情况是可比较的：在学校教育中，在确定的专业有问题时，大多应用辅导作为第一措施，而不是立即否定学生针对该专业的天赋。

有利地，过去的时段包括训练的至少一个时期（Epoche），也就是说每个可用学习数据记录已被使用一次的时段，这些可用学习数据记录分别包括针对输入变量的学习值和针对输出变量的所属的学习值。那么，可更好地比较神经元对质量的所确定的定量贡献。这样绝对可能的是，KNN的确定的神经元“专门”良好地处理在输入变量中出现的确定的情形，也就是说这些情形特别“适合”这些神经元。如果考虑主要出现这些情形的时段，则这些神经元的性能被评价得比在实际情况中更高，因为在另外的情形中，另外的神经元的性能可能明显更好。在学术培训的类似情况中，这对应于如下考试：候选人已选择性地在考试材料的确定的子领域对所述考试有准备，并且“幸运”的是，选择性地正好提问该子领域。那么，该评价使另外的候选人不利，这些另外的候选人的知识不太深入细节，但是明显更好地覆盖了考试材料的整个范围。考虑至少一个时期对应于具有来自考试材料的全部范围的广泛散布的问题的更公平合理的考试。

在特别有利的构建方案中，成本函数（损失函数（Loss-Funktion））的改变在过去的时段期间进入到针对质量的度量中，所述KNN的训练对准所述成本函数的优化。这确保了，响应于神经元的评价而采取的措施与如下目标没有矛盾：利用对KNN的训练最终追求所述目标。

在其他特别有利的构建方案中，神经元对质量的定量贡献的提供在时间上过去得越短，这些贡献就越高地被加权。以这种方式可以考虑，被KNN学到的知识（如任何另外的知识也）可能过时，使得新知识必须替代它。

如果例如从当前的迭代步骤t开始考虑追溯N个迭代步骤的时段，则KNN的第k层在该时段内对KNN的质量（比方说迭代进展）总共已做出的定量贡献可以被累积和/或被聚集。在此，尤其是也可以经由丢弃张量（Dropout-Tensor）

来考虑，在给定的迭代步骤t-n中，究竟在第k层中的哪些神经元曾是活动的。例如，对于KNN的完全交联的第k层，分别活动的神经元在所有过去的N个迭代步骤期间对质量的贡献可以被综合成“激活品质（Aktivierungsguete）”

，所述“激活品质”

例如可以被写作

。

包含第k层中的所有单个神经元的相对应的质量，并且取决于时间步骤t。

在这一点上，L是成本函数（损失函数）。与此相应地，

是在时间步骤t-n和时间步骤t之间的成本函数的差。通过衰减参数γ，归一化在时间上过去不同长度的迭代步骤的作用。丢弃张量

针对KNN的每个第k层并且针对每个迭代步骤t-n都说明，第k层的哪些神经元在迭代步骤t-n中分别曾是活动的，或者曾不是活动的。因此，

用于针对各个迭代步骤（丢弃法（Dropout））考虑可能暂时性停用单个神经元。不一定在训练KNN时使用丢弃法。

视第k层的类型而定，

和/或

可以是向量或者矩阵。

所描述的“激活品质”

也可以替选地被表达为针对第k层的所有神经元的信号

和权重

的函数。从最广义上看，信号

是神经元的激活，如比方说如下输入的用权重

来加权的总和：这些输入被输送给相应的神经元。那么，

例如可以利用

被写作

。

在这一点上，x_t标明作为整体被输送给KNN的输入。

在每个迭代步骤中，按照成本函数和所使用的训练策略（如比方说随机梯度下降法（Stochastic Gradient Descent），SGD），分配给KNN中的神经元的权重被改变了确定的量。在其他特别有利的构建方案中，这些量利用乘积因子被放大，该乘积因子对于对质量有较高定量贡献的神经元比对于对质量有较低定量贡献的神经元更低。因此，具有当前较低的性能的神经元怀着如下目标遭受较强的学习步骤：类似于辅导课程，借此积极改进性能。例如，可以按照规则

来执行权重

的迭代步骤。

在其他特别有利的构建方案中，神经元在训练期间暂时以如下概率被停用：该概率对于对质量有较高定量贡献的神经元比对于对质量有较低定量贡献的神经元更高。

该措施也用于有针对性地要求如下神经元：所述神经元对质量的定量贡献当前是低的。暂时停用恰好性能强的神经元迫使KNN，也使较弱的神经元参与形成最后的输出变量。与此相应地，这些较弱的神经元也从如下比较中增加地获得反馈：所述比较为输出变量与呈针对输出变量的学习值的形式的“地面真值（ground truth）”的比较。结果，这些神经元的性能借此按趋势变得更好。该情形与在能力水平参差不齐的班级中引导学校课程是可比较的。如果教师始终只向强学生提问，则较弱的学生对此没有学习，使得强学生与较弱的学生之间的差距被保持旧状或者甚至还进一步被扩大。

作为其他后续作用，通过该措施，KNN也更稳健地对抗性能强的神经元的故障，因为通过暂时停用而由KNN练习正好这种情形。

例如，经由伯努利函数，可以针对t>0对丢弃张量

进行采样。这又取决于在先前的迭代步骤的激活品质

。借此得出针对激活第k层的神经元的概率p^k为

。

在本发明的其他特别有利的构建方案中，与对质量有较低定量贡献的神经元相比，给对质量有较高定量贡献的神经元分配更高的在KNN中的位值。例如，该位值在其中可以显示，以何种权重考虑相关神经元的输出，或神经元是否完全被激活。

该构建方案尤其是可以被使用，以便将KNN压缩到与其相关的部分。为此，可以在KNN中停用如下神经元：所述神经元对质量的定量贡献满足预先给定的标准。例如，该标准可以表述为绝对标准，如比方说表述为阈值。但是，该标准也可以例如表述为相对标准，如比方说表述为对质量的定量贡献与另外的神经元的定量贡献或者与其综合的统计的偏差。综合的统计例如可以包含平均值、中值和/或标准偏差。

不同于其输出仅被加权不足（untergewichtet）的神经元，在硬件上实施训练完成的KNN时，可以完全节省被停用的神经元。KNN被压缩得越厉害，最终实施所需的硬件资源就越少。

如果在KNN中的神经元之间的不重要的连接被停用，则类似的情况适用。在KNN运行中推断时，这些连接中的每个连接花费额外的计算时间，因为在连接的一端处的神经元的输出必须乘以连接的权重，并且接着进入到对在连接的另一端处的神经元的激活中。如果连接的权重不同于零，则发生计算运算，并且这些计算运算总是持续相同时长，而无论权重可能与零有多接近，并且无论最终在KNN 的输出中引起多么少的对这种连接的考虑。因而，在其他特别有利的构建方案中，在KNN中停用在如下神经元之间的连接：所述神经元的权重满足预先给定的标准。类似于针对神经元的定量贡献的标准，可以绝对地或者相对地表述该标准。

在其他特别有利的构建方案中，通过停用具有最低定量贡献的神经元，在KNN中（和/或在KNN的子区中）激活的神经元的数目从第一数目被减少到预先给定的第二数目。这样，例如通过所使用的硬件，可以预先给定KNN的最大复杂度。

本发明也涉及一种用于在预先给定的算术部件上实施KNN的方法。在该方法中，利用前面所描述的方法，在算术部件之外的训练环境中训练KNN的模型。在训练结束时，在算术部件上实施被激活的神经元和在神经元之间的连接。

预先给定的算术部件例如可以构造为，被安装到针对车辆的控制设备中，和/或可以构造为，从车辆的车载网络中被供给能量。控制设备中的可用空间和热量预算（或可用电量）那么限制了可用于KNN的推断的硬件资源。

与此相对，训练环境可以配备有明显较强的资源。例如，可以使用具有有能力的图形处理器（GPU）的物理的或者虚拟的计算机。仅需要少量直至不需要事先构思，以便能够开始训练；该模型仅仅应具有一定的最小尺寸，以该最小尺寸，可以大概可能足够精确地描绘要解决的问题。

通过前面描述的方法，可以在训练环境之内确定，哪些神经元和哪些在神经元之间的连接是重要的。基于此，针对在算术部件上的实施，可以压缩KNN。如前面所描述的那样，这也可以直接自动地在训练环境之内进行。

从预先给定的算术部件出发，该算术部件具有针对预先给定数目的神经元、神经元的层和/或在神经元之间的连接的硬件资源，因此可能一般有利地选择KNN的如下模型：所述模型的神经元、神经元的层和/或在神经元之间的连接的数目超过预先给定的数目。压缩负责，经过训练的KNN最终和预先给定的硬件相配。在这种情况下，力求的是，最终在硬件上实施的那些神经元和在神经元之间的连接也是针对在KNN运行中的推断最重要的神经元和在神经元之间的连接。

本发明也涉及其他方法。在该方法中，人工神经网络KNN首先利用前面所描述的用于训练的方法进行训练，和/或利用前面所描述的用于在算术部件上进行实施的方法来实施。紧接着，通过给KNN输送一个或者多个输入变量，使KNN运行。根据由KNN供应的输出变量，操控车辆、机器人、质量控制系统和/或用于基于传感器数据对区域进行监控的系统。

在所描述的方法的情况下，尤其是可以选择如下KNN：所述KNN构造为针对利用至少一个传感器采集的物理测量数据的分类器和/或回归器。那么，在仅提供有限的硬件、有限的能量量或者有限的安装空间的应用中，也能够实现通过人工智能对物理测量数据进行有说服力的和可一般化到许多情形上的评估。传感器例如可以是成像传感器、雷达传感器、激光雷达传感器（Lidar-Sensor）或者超声波传感器。

尤其是，这些方法可以完全或者部分地用如下软件来实施：该软件带来直接的客户利益，即KNN相对于硬件开销和相对于针对在其运行中的推断的能量消耗供应较好的结果。因而，本发明也涉及一种具有机器可读的指令的计算机程序，当在计算机上、和/或在控制设备上、和/或在嵌入式系统上实施这些机器可读的指令时，这些机器可读的指令促使计算机、控制设备和/或嵌入式系统，实施所描述的方法之一。因此，控制设备和嵌入式系统至少在如下意义上可能要被视为计算机：它们的行为完全或者部分地通过计算机程序来表征。因此，术语“计算机”包括用于执行可预先给定的计算规则的任意设备。这些计算规则可以以软件形式存在，或者可以以硬件形式存在，或者也可以以由软件和硬件构成的混合形式存在。

本发明也同样涉及一种具有计算机程序的机器可读的数据载体或者下载产品。下载产品是可以经由数据网络传输的数字产品，也就是说可以由数据网络的用户下载的数字产品，所述数字产品例如可以在在线商店中被出售用于立即下载。

此外，计算机可以装备有计算机程序，装备有机器可读的数据载体或装备有下载产品，和/或以任意别的方式特定地设立为，实施所描述的方法之一。例如，可以利用现场可编程门阵列（FPGAs）和/或专用集成电路（ASICs）来实现这种特定装置。

附图说明

以下与对本发明的优选实施例的描述一起，依据附图更详细地示出其他改进本发明的措施。

其中：

图1示出了用于训练KNN 1的方法100的实施例；

图2示出了用于在算术部件4上实施KNN 1的方法200的实施例；

图3示出了KNN 1的示例性压缩。

具体实施方式

图1示出了方法100的实施例。该方法100嵌入到KNN 1的以已知方式进行的训练中，该训练此外包括：给KNN 1加载有针对输入变量的学习值，将由KNN 1形成的输出变量与针对输出变量的学习值进行比较，以及按照成本函数改变在KNN之内的参数。为了清楚起见，这些步骤未在图1中绘出。

在步骤110中，在训练过程的任意时间点和任意阶段中，确定针对KNN在预先给定的过去的时段之内已实现的质量11的度量。根据块111，在训练KNN 1时使用的成本函数的改变尤其是可以进入到针对质量11的度量中。

在步骤120中，依据针对多个神经元2对前面确定的质量11的相应定量贡献21的度量，评价所述多个神经元2。在此，尤其是根据块121，贡献21的提供在时间上过去得越短，这些贡献21就可以越高地被加权。例如从前面详细描述的激活品质

中，可以确定这些贡献21。尤其是，激活品质

的值可以直接被用作贡献21。

依据在这种情况下形成的评价120a，在步骤130中规定用于进一步训练被评价的神经元2的措施22，和/或规定这些被评价的神经元2在KNN 1中的位值23。

详细而言，神经元2的权重在至少一个训练步骤中被改变的量可以根据块131利用乘积因子被放大，所述乘积因子对于对质量11有较强贡献的神经元2比对于对质量11有较弱贡献的神经元2更低。

根据块132，神经元2可以在训练期间暂时被停用，其中对于对质量11有较高定量贡献21的神经元2而言，这种停用的概率比对于对质量11有较低定量贡献21的神经元2更高。

根据块133，与具有较低定量贡献21的神经元2相比，在KNN 1中可以给对质量11有较高定量贡献21的神经元2分配更高的位值。

这例如可以包含，根据子块133a，使其定量贡献21满足预先给定的标准的神经元2停用。根据子块133b，也可以停用在其权重满足预先给定的标准的神经元2之间的连接25。根据子块133c，通过停用对质量11有最低定量贡献21的神经元2，可以将被激活的神经元的数目有针对性地减少到预先给定的数目。

图2示出了用于在预先给定的算术部件4上实施KNN 1的方法200的实施例。在可选步骤205a中，可以预先选择关于该数目的神经元2、具有神经元2的层3a、3b和/或在神经元2之间的连接25具有有限资源的算术部件4。接着，可以选择KNN的模型1a，使得该模型1a具有如下数目的神经元 2、层3a、3b和/或连接25：所述数目在算术部件4的相应界限之上。尤其是，根据可选步骤206，可以选择如下算术部件4：该算术部件4构造为，被安装到针对车辆的控制设备中，和/或从车辆的车载网络中被供给能量。

在步骤210中，根据前面所描述的方法100来训练KNN 1。在训练210结束时，在步骤220中，在算术部件4上实施被激活的神经元2和在神经元2之间的连接25。如前面所描述的那样，在训练210期间的压缩可以针对有限的硬件资源将过大的KNN“改得合适”。如果这还不够，则可以在训练210结束之后进一步读出神经元2、层3a、3b和/或连接25。

图3示出了在示例性的KNN 1处的压缩的效果。该KNN 1包括分别具有四个神经元2的两层3a和3b，分别说明了这些神经元2对KNN 1的质量11总共的示例性定量贡献21。

在图3a中所示的状态下，这两层3a和3b还完全相互交联，也就是说，第一层3a的每个神经元2都与第二层3b的每个神经元2连接，并且所有神经元2还是活动的。

在图3b中所示的状态中，已应用了如下规则：定量贡献21小于0.5的所有神经元2以及通向这些神经元2的连接25被停用。为该规则牺牲了第一层3a中的加上划成虚线的边的神经元。由此，还活动的连接25的数量从16已被减半到8，这相对应地减少了针对在KNN 1运行中的推断的计算开销。

Claims (18)

1.一种用于训练人工神经网络KNN（1）的方法（100），所述人工神经网络KNN（1）包括多个神经元（2），所述方法（100）具有步骤：

• 确定（110）针对所述KNN（1）和/或所述KNN（1）的子区域在过去的时段之内总共已实现的质量（11）的度量；

• 依据针对一个或者多个神经元（2）对所确定的质量（11）的相应定量贡献（21）的度量，评价（120）所述一个或者多个神经元（2）；

• 依据所述神经元（2）的所述评价（120a），规定（130）用来在所述训练的进一步的进程中分别训练被评价的神经元（2）的措施（22），和/或规定（130）所述神经元（2）在所述KNN（1）中的位值（23）。

2.根据权利要求1所述的方法（100），其中，针对所述质量的所述度量包括针对所述KNN（1）的训练进展的度量、针对所述KNN（1）的一层或者另外的子区域的所述神经元的利用率的度量和/或针对所述KNN（1）的所述神经元总共的利用率的度量。

3.根据权利要求1至2中任一项所述的方法（100），其中，针对所述质量（11）的所述度量被看作对各个神经元（2）的定量贡献（21）的经加权的或者未经加权的总和。

4.根据权利要求1至3中任一项所述的方法（100），其中，在所述过去的时段期间，成本函数的改变进入（111）到针对所述质量（11）的所述度量中，所述KNN（1）的所述训练对准到所述成本函数的优化。

5.根据权利要求1至4中任一项所述的方法（100），其中，神经元（2）对所述质量（11）的定量贡献（21）的提供在时间上过去得越短，所述贡献（21）就越高地被加权（121）。

6.根据权利要求1至5中任一项所述的方法（100），其中，分配给所述KNN（1）中的神经元（2）的权重在至少一个训练步骤中被改变的量利用乘积因子被放大（131），所述乘积因子针对具有较高定量贡献（21）的神经元（2）比针对具有较低定量贡献（21）的神经元（2）更低。

7.根据权利要求1至6中任一项所述的方法（100），其中，神经元（2）在所述训练期间以如下概率暂时被停用（132）：所述概率对于具有较高定量贡献（21）的神经元（2）比对于具有较低定量贡献（21）的神经元（2）更高。

8.根据权利要求1至7中任一项所述的方法（100），其中，所述过去的时段包括所述训练的至少一个时期。

9.根据权利要求1至8中任一项所述的方法（100），其中，与具有较低定量贡献（21）的神经元（2）相比，给具有较高定量贡献（21）的神经元（2）分配（133）在所述KNN（1）中的更高的位值。

10.根据权利要求9所述的方法（100），其中，在所述KNN（1）中停用（133a）如下神经元（2）：所述神经元（2）的定量贡献（21）满足预先给定的标准。

11.根据权利要求9至10中任一项所述的方法（100），其中，在所述KNN（1）中停用（133b）在如下神经元（2）之间的连接（25）：所述神经元（2）的权重满足预先给定的标准。

12.根据权利要求9至11中任一项所述的方法（100），其中，通过使具有所述最低定量贡献（21）的神经元（2）停用（133c），在所述KNN（1）中和/或在所述KNN（1）的子区中被停用的所述神经元（2）的数目从第一数目被减小到预先给定的第二数目。

13.一种用于在预先给定的算术部件（4）上实施KNN（1）的方法（200），其具有步骤：

• 利用根据权利要求1至12中任一项所述的方法（100），在所述算术部件（4）之外的训练环境（5）中，训练（210）所述KNN（1）的模型（1a）；

• 在所述训练（210）结束时，在所述算术部件（4）上实施（220）被激活的神经元（2）和在神经元（2）之间的连接（25）。

14.根据权利要求13所述的方法（200），其中，选择（205a）如下算术部件（4）：所述算术部件（4）具有针对预先给定数目的神经元（2）、神经元（2）的层（3a，3b）和/或在神经元（2）之间的连接（25）的硬件资源；和其中选择（205b）所述KNN（1）的模型（1a），所述模型（1a）的神经元（2）、神经元（2）的层（3a，3b）和/或在神经元（2）之间的连接（25）的数目超过预先给定的数目。

15.一种方法，其具有步骤：

• 利用根据权利要求1至12中任一项所述的方法（100），训练人工神经网络KNN（1），和/或利用根据权利要求13至14中任一项所述的方法（200），实施人工神经网络KNN（1）；

• 通过向所述KNN（1）输送一个或者多个输入变量，使所述KNN（1）运行；

•根据由所述KNN（1）供应的输出变量，操控车辆、机器人、质量控制系统和/或用于基于传感器数据对区域进行监控的系统。

16.一种计算机程序，其包含机器可读的指令，当在计算机上和/或在控制设备上和/或在嵌入式系统上实施所述机器可读的指令时，所述机器可读的指令促使所述计算机、所述控制设备和/或所述嵌入式系统，实施根据权利要求1至15中任一项所述的方法。

17.一种机器可读的数据载体和/或下载产品，其具有根据权利要求16所述的计算机程序。

18.一种计算机，其装备有根据权利要求16所述的计算机程序，装备有根据权利要求17所述的机器可读的数据载体和/或装备有根据权利要求17所述的下载产品，和/或以别的方式特定地设立为，实施根据权利要求1至15中任一项所述的方法（100，200）。

Images