CN111914990A - 机器学习系统以及用于创建机器学习系统的方法和设备 - Google Patents

Abstract

机器学习系统以及用于创建机器学习系统的方法和设备。本发明涉及一种机器学习系统（10），其包括至少一个时间滤波器（21）。包括图像的时间序列的输入变量借助机器学习系统（10）在使用所述滤波器（21）的情况下被处理。所述机器学习系统（10）被配置为将所述滤波器（21）应用于像素的序列，所述像素都处于所述图像的分别相同的坐标处或处于中间结果的分别相同的坐标处。所述滤波器（21）的滤波器系数是量化的。此外，本发明涉及用于创建机器学习系统（10）的方法、计算机程序以及设备。

Description

机器学习系统以及用于创建机器学习系统的方法和设备

技术领域

本发明涉及一种具有量化的参数的机器学习系统。此外，本发明涉及用于创建机器学习系统的方法和计算机程序以及设备。

背景技术

未预先公开的文献 DE 10 2017 218 889.8公开了一种人工智能模块，该人工智能模块被构成为通过内部处理链将一个或多个输入变量处理成一个或多个输出变量。内部处理链通过一个或多个参数来规定。设置有分配模块，该分配模块被构成为根据至少一个统计分布确定参数。

未预先公开的文献DE 10 2018 216 471.1公开了一种量化神经网络。

可能的是，创建具有极其强的量化的量化神经网络，如例如由 Hubara等人的“Quantized neural networks: Training neural networks with low precisionweights and activations”（The Journal of Machine Learning Research，2017, 18年度，第1期，第6869-6898页）所示出的那样。

递归神经网络（RNN，英语 recurrent neural networks）具有如下优点：这些递归神经网络也能够处理包含在传感器数据的时间维度中的信息。然而RNN的缺点是这些RNN不能被强量化。

但是值得想望的是，量化RNN的参数，以便能够以更足够的性能（performanter）在移动计算单元上运行RNN。

发明内容

根据独立权利要求1提出，代替RNN使用具有时间卷积的神经网络。这具有如下优点：这些神经网络尽管卷积是计算耗费的但在保持RNN的上面提到的优点的情况下令人意外地在其参数的量化方面能够比类似的RNN更节约能量。

在第一方面中提出一种特别是存储器和能量有效的用于处理时间数列/序列的机器学习系统。

具有根据权利要求1的特征的机器学习系统、尤其神经网络包括至少一个滤波器，其中至少滤波器的滤波器系数是量化的。也可设想的是，除了滤波器系数之外机器学习系统的其他参数也是量化的。替代地或附加地，至少激活可以是量化的。如果激活的数量超过机器学习系统的参数（例如权重）的数量，则激活的量化可能是有意义的。

机器学习系统被配置为根据输入变量在使用滤波器的情况下确定输出变量。输入变量包括图像的时间序列。替代地，可以使用多个时间上相继所检测到的变量、诸如一维传感器数据。此外，机器学习系统被配置为将滤波器应用于像素的序列，所述像素都处于图像的分别相同的坐标处或处于机器学习系统的中间结果、尤其中间处理的图像的分别相同的坐标处。对于代替图像使用所检测到的变量的情况，将滤波器应用于所检测到的变量或中间结果的分别处于相同位置的数据点。中间结果例如是神经网络的层的激活。

也可设想的是，滤波器系数和优选地机器学习系统的其他参数分别具有来自可预先给定的量化的值域的值。可预先给定的量化的值域可以通过可预先给定数量的量化等级和/或通过可预先给定数量的位来限定。

量化可以被理解为，滤波器系数只能采用十进制表示的量化值、优选地浮点、定点或整数数字格式的量化值。优选地，滤波器系数以最高32位、尤其以最高16位或8位以及优选地以4位或1位来量化。量化此外可以被理解为，滤波器系数被向上舍入或向下舍入到了多个可预先给定的量化等级的最接近的量化等级上。滤波器系数于是分别具有多个量化等级的值，其中这些值存放在存储器中。对此有利的是，量化等级能够以存储器有效的方式存放。量化等级的数量与被用于量化的位的数量有关。替代地，所训练的机器学习系统可以被量化，其中所述机器学习系统的参数在训练中在全分辨率的情况下被适配了并且于是被量化了。

可预先给定的量化的值域也可以是列表。可设想的是，滤波器系数具有降低的分辨率，其中分辨率借助量化被降低了。

该分辨率可以表征：借助多少不同的可能的、尤其量化的值分别表示参数和/或中间结果。

应用滤波器可以被理解为，滤波器与所有具有相同坐标的数据点或区段进行数学卷积。

根据第一方面的机器学习系统具有如下优点：通过量化需要更少的用于存储滤波器系数的位，因此需要更少的存储位置。由此可以使用更小的存储器，其允许机器学习系统在硬件方面更紧凑的结构。由于用于存储和读取参数以及激活的能量消耗与位的数量成比例和用于乘法的能量消耗与参数和激活的分辨率（位的数量）至少成平方关系，所以位的数量的减少（尤其通过量化）特别是计算机资源有效的。即使当机器学习系统以软件实现时，这些优点也起作用，因为需要更少的存储器。

因为除了高分辨率的输入变量、诸如图像之外滤波器对能量消耗有最大影响，所以滤波器的量化是有利的。因为通过由此得到的节省计算机资源的交互，机器学习系统不仅可用于固定的应用（例如在计算中心中）而且可用于移动应用（例如移动数据处理设备或嵌入式系统）。这种量化的机器学习系统特别适合于处理在传感器附近或在传感器本身中所测量到的数据，由此可以压缩并且以带宽更有效的方式传输所测量到的数据。

图像可以是激光雷达图像、雷达图像、超声图像或摄像机图像。

提出：输入变量是张量，所述张量包括多个所检测到的变量或图像的序列。所检测到的变量或图像沿着张量的第一维度布置。滤波器于是至少沿着第一维度被应用。滤波器沿着表征时间序列的第一维度的应用因此被称为时间卷积。

该机器学习系统的优点是，沿着时间轴所包含的信息通过时间滤波被一起处理。由此，该机器学习系统具有递归特性。然而，不需要递归关联（rekurrenten Verknüpfungen），其典型地不能被强量化。但是，通过量化的滤波器与利用RNN相比实现输入变量的序列的更有效的处理。

此外提出：滤波器是多维的，并且机器学习系统此外被配置为将滤波器应用于区段的序列，所述区段都处于图像的分别相同的坐标处或处于中间结果的分别相同的坐标处。

区段包括多个数据点或像素，所述数据点或像素处于所检测到的变量或图像或中间结果的相应的坐标处。所述区段可以是一维/多维的，相应地必须选择滤波器的维度的数量。应注意的是，由此附加地在沿着第一维度滤波时考虑多个像素或数据点，所述像素或数据点都沿着、尤其平行于第一维度。

例如，该区段可以是线或矩形。区段在图像之内的不同的定向是可设想的，例如竖直地或水平地或对角地。

此外提出：该机器学习系统此外被配置为附加地将滤波器应用于其他区段的序列，所述其他区段分别处于图像之内的不同的坐标处或分别处于中间结果之内的不同的坐标处。

在此情况下优点是，借助滤波器分别沿着所检测到的变量的附加应用将附加信息加入输出变量中。即，将滤波器应用于张量的其他维度。这可以被称为时间和空间卷积。

此外提出：除了滤波器系数之外也量化机器学习系统的中间结果、尤其激活。

此外可设想的是，中间结果分别具有来自所述可预先给定的量化的值域或另一可预先给定的量化的值域的值。

此外提出：滤波器系数和/或中间结果是二元的或三元的。其被理解为，相应的滤波器系数和/或中间结果可以采用最多2或3个不同的值。有利地，这些不同的值借助最多一位或两位表示。理想地，通过一位表示，因为于是存在二元神经网络，这特别是计算和存储器有效的。

此外提出：滤波器在滤波时尤其沿着时间维度省略各个数据点。这具有如下优点：借助更少的滤波器系数实现滤波器的更大的视野并且由此可以进一步回顾过去。

此外提出：机器学习系统包括直接布置在滤波器之后的舍弃操作（英语pooling（池化））。

舍弃操作被理解为，各个经滤波的数据点或经滤波的像素被忽略、尤其被舍弃。优选地，使用本地舍弃（英语local pooling（本地池化）），其中群集之内的如下数据点被忽略，所述数据点的值处于零附近。替代地，可以使用平均舍弃（英语：average pooling（平均池化））。

此外提出：图像或所检测到的变量根据可预先给定的顺序连续地、尤其根据图像的或所检测到的变量的相应的所检测到的时间点布置。优选地，所述布置根据检测的时间点上升地或下降地进行。

应注意的是，机器学习系统不仅可以仅仅以硬件而且可以以软件或以软件和硬件的混合实现，由此分别必须提供更少的用于存放参数的存储器，所以根据本发明的第一方面的机器学习系统也可以被安装和使用在最小的技术系统中。

在本发明的第二方面中，提出用于运行本发明的第一方面的机器学习系统的尤其计算机实现的方法。该方法包括如下步骤：

将多个所检测到的变量分组成机器学习系统的输入变量。随后在使用滤波器的情况下根据输入变量确定输出变量。在此情况下，使用机器学习系统的滤波器，并且尤其实施对输入变量或中间结果的时间滤波。

针对本发明的第二方面提出，分别在直接随后的时间点相继地检测图像。如果确定了输出变量，则将所检测到的新图像添加到输入变量并且从输入变量中去除包含的图像之一、尤其包含最长时间的图像。

优选地，输入变量的图像沿着张量的第一维度被移动一位置，其中所检测到的新图像被添加到变为空闲的部位处并且从张量中去除输入变量的所检测到的最旧图像。

此外提出：变量、尤其图像分别被分配给时间点序列的一个时间点，在该时间点检测到了相应的变量，其中在每个时间点检测新变量并且所检测到的新变量除了在直接在前的时间点所检测到的变量之外被添加到输入变量并且从输入变量中去除所检测到的、被分配给最长的过去的时间点的变量。

在本发明的另一方面中，提出用于训练第一方面的机器学习系统的方法。训练至少包括提供训练数据的步骤。训练数据至少包括多个图像序列或所检测到的变量的时间序列。接着针对图像序列或时间序列的每个分别确定至少一个输出变量。接着根据所确定的输出变量和训练数据确定成本函数。紧接着，根据成本函数适配机器学习系统的参数，使得成本函数在可预先给定的标准方面变为最优。接着，量化参数、尤其滤波器系数。

有利地，从一开始就使用量化并且在考虑该量化的情况下训练机器学习系统。

在另一方面中，第一方面的机器学习系统或根据第二方面产生的机器学习系统可以根据传感器的所检测到的传感器变量、尤其图像确定输出变量，所述输出变量接着被用于借助控制单元确定控制变量。

控制变量可以被用于控制技术系统的执行器。技术系统例如可以是至少部分自主的机器、至少部分自主的车辆、机器人、工具、工厂机器或飞行物、如无人机。输入变量例如可以根据所检测到的传感器数据来确定并且提供给机器学习系统。传感器数据可以由技术系统的传感器、诸如摄像机检测或替代地从外部接收。

在另一方面中提出一种计算机程序。该计算机程序被配置为实施本发明的第二方面的在前的所提到的方法之一。该计算机程序包括指令，当计算机程序在计算机上运行时所述指令促使计算机实施具有所有其步骤的所提到的方法之一。此外提出一种机器可读的存储模块，在该存储模块上存储有计算机程序。

附图说明

上面所提到的方面的实施例在附图中被示出并且在随后的描述中更详细地被解释。在此：

图1示出示例性地针对两个不同的分别用于处理时间序列的神经网络关于量化分辨率所绘制的能量消耗的示意图；

图2示出包括用于时间卷积的滤波器的深度神经网络的示意图；

图3示出时间卷积的示意图；

图4示出用于运行包括用于时间卷积的滤波器的神经网络的方法的流程图的示意图；

图5示出包括用于时间卷积的滤波器的神经网络针对机器人的使用的示意图。

具体实施方式

图1示出图表的示意图，在该图表中关于量化分辨率Q绘制出具有时间滤波的神经网络（NN-temp）的所测量的能量消耗E和RNN的所测量的能量消耗E。注意到，这两个网络在相同的数据集上获得相似的结果。y轴说明能量消耗E，所述能量消耗在该图表的原点中最低并且随着到原点的距离增大而升高。在x轴上绘制了量化分辨率Q，所述量化分辨率朝该图表的原点的方向增大。即越靠近原点，量化分辨率、尤其用于表示参数的位的数量就越高。在下文中，考虑示例性的情况：具有时间滤波的神经网络（NN-temp）针对高量化分辨率与在相同量化分辨率的情况下类似的RNN相比具有明显更大的能量消耗。

如果两个神经网络的参数的分辨率降低，则两个神经网络的能量消耗分别下降。如果将具有时间滤波的神经网络（NN-temp）的最小量化分辨率与RNN的最小量化分辨率比较，则发觉：在两个神经网络的结果的质量基本上保持不变的条件下，具有时间滤波的神经网络（NN-temp）的最小量化分辨率明显低于RNN的最小量化分辨率。这导致，由于强量化，具有时间滤波的神经网络（NN-temp）比RNN消耗更少能量。

图2示出机器学习系统（10）、尤其深度神经网络的示意图。机器学习系统（10）包括多个层（11），所述层按可预先给定的顺序彼此连接。机器学习系统（10）根据输入变量（12）确定输出变量y。

机器学习系统（10）可以输出输入变量（12）的分类、图像之一的或最当前的所检测到的图像之一的分割作为输出变量y。替代地，输出变量y可以是回归。

输入变量（12）在该实施例中是张量。该张量包括多个相继所检测到的图像（13）。所述图像在此沿着张量的第一维度布置。

所述层可以是全连接层（英语fully connected），其中所述层中的至少一个层被配置为执行时间滤波。在输入变量（12）传播通过机器学习系统时使用时间滤波。时间滤波在随后的图3中更详细地被解释。

图3示出时间卷积、换言之时间滤波的示意图。

图3中所描绘的张量（20）可以是机器学习系统（10）的输入变量（12）或中间变量。中间变量例如是所述层（11）之一的输出变量。

在张量（20）之下在左侧示意性地描绘出坐标系（23）。坐标系（23）示例性地包括三个维度（h，t，w），张量（20）沿着所述三个维度延伸。应注意的是，图像（13）沿着“时间”维度t连续地布置在张量（20）中。维度h和w示例性地是空间维度，图像（13）在所述空间维度中延伸。

借助滤波器（21）现在对张量（20）进行时间滤波。这如下发生：其中滤波器沿着“时间”维度t沿着张量（20）执行滤波。滤波器（21）与张量（20）的时间卷积、尤其时间卷积的示例性变化借助虚线箭头（22）示意性示出。

时间滤波替代地可以利用其他滤波器（21a，21b，21c）之一执行。其他滤波器彼此的区别在于，这些滤波器具有不同的多个维度。例如，其他滤波器（21c）是三维滤波器。三维滤波器（21c）与张量（20）的卷积的可能的曲线示例性地通过在三维滤波器（21c）旁边的虚线箭头（22b）来描绘。应注意的是，如果根据虚线箭头（22b）实施卷积，则三维滤波器（21c）与张量（20）的滤波不仅是时间滤波而且是空间滤波。

图4示出用于运行机器学习系统（10）的方法的示意性流程图。

在第一实施方式中，方法以步骤S40开始。在该步骤中，将输入变量（12）提供给机器学习系统（10）。

在接着的步骤S41中，使所提供的输入变量（12）传播通过机器学习系统（10）。在传播时，对机器学习系统（10）的输入变量（12）或中间变量借助滤波器（21）进行时间滤波，参见关于图3的解释。滤波器具有量化的滤波器系数。优选地，同样量化机器学习系统（10）的所有其他参数。

在接着的步骤S42中，输出机器学习系统的输出变量。

于是，在随后的步骤S43中检测新图像并且添加给输入变量（12）并从输入变量（12）中去除输入变量（12）的包含的图像。

于是，该方法以所有其步骤S40至S43重复地实施。

在用于运行机器学习系统（10）的方法的另一实施方式中，使用步骤S40至S43来训练机器学习系统（10）。在训练时，附加地在步骤S43之后根据成本函数（英语loss function（损失函数））优化机器学习系统的参数。成本函数在此情况下表征机器学习系统（10）的所确定的输出变量与分别所使用的输入变量的所分配的训练输出变量之间的偏差。在确定输出变量时，可以使用已经量化的参数。成本函数关于机器学习系统的参数的优化例如可以借助梯度降低方法、诸如“backpropagation-(through-time)（（通过时间的）反向传播）”执行。在此，使用梯度降低方法，以便根据参数使成本函数最小化或最大化。在优化参数之后，将参数、尤其滤波器系数量化。有利地，为了优化所述参数，使用至少32位的参数的分辨率。在量化时，然后降低分辨率，例如降低到8位或甚至降低到1位。

在用于运行机器学习系统（10）的方法的第一实施方式的改进方案中，可选地在步骤S43结束之后可以使用机器学习系统（10）的输出变量，以便根据所述输出变量操控至少部分自主的机器人。至少部分自主的机器人在随后的图5中示例性地示出。

图5示出至少部分自主的机器人的示意图，所述机器人在第一实施例中通过至少部分自主的车辆（100）给定。在另一实施例中，至少部分自主的机器人可以是服务机器人、装配机器人或固定生产机器人，替代地是自主的飞行物、如无人机。

至少部分自主的车辆（100）可以包括检测单元（30）。检测单元（30）例如可以是摄像机，该摄像机检测车辆（100）的环境。检测单元（30）可以与机器学习系统（10）连接。机器学习系统（10）根据所提供的、例如由检测单元（30）提供的输入变量并且根据机器学习系统（10）的多个参数确定输出变量。输出变量可以被转发给控制单元（40）。

控制单元（40）根据机器学习系统（10）的输出变量控制执行器，优选地控制执行器，使得车辆（100）实施无碰撞的机动动作。在第一实施例中，执行器可以是车辆（100）的发动机或制动系统。

在另一实施例中，部分自主的机器人可以是工具、工厂机器或生产机器人。工件的材料可以借助机器学习系统（10）来分类。执行器在此情况下例如可以是运行磨头的电动机。

此外，车辆（100）、尤其部分自主的机器人包括计算单元（50）和机器可读的存储元件（60）。在存储元件（60）上可以存储计算机程序，该计算机程序包括指令，所述指令在所述指令在计算单元（50）上实施时导致：借助计算单元（50）运行机器学习系统（10）。

Claims (13)

1.一种机器学习系统（10），尤其具有卷积层的深度神经网络，包括至少一个滤波器（21），

其中所述机器学习系统（10）被配置为根据输入变量（12）在使用所述滤波器（21）的情况下确定输出变量，

其中所述输入变量（12）包括图像的时间序列，

其中所述机器学习系统（10）被配置为将所述滤波器（21）应用于像素的序列，所述像素都处于所述图像的分别相同的坐标处或处于所述机器学习系统（10）的中间结果的分别相同的坐标处，

其中所述滤波器（21）的滤波器系数是量化的。

2.根据权利要求1所述的机器学习系统（10），

其中所述滤波器（21）是三维的，以及

其中所述机器学习系统（10）被配置为将所述滤波器（21）应用于区段的序列，所述区段都处于所述图像的分别相同的坐标处或处于所述中间结果的分别相同的坐标处。

3.根据权利要求2所述的机器学习系统（10），

其中所述机器学习系统（10）此外被配置为附加地将所述滤波器（21）应用于其他区段的序列，所述其他区段分别处于所述图像之内的不同的坐标处或分别处于所述中间结果之内的不同的坐标处。

4.根据上述权利要求中任一项所述的机器学习系统（10），

其中除了所述滤波器系数之外所述中间结果也是量化的。

5.根据权利要求4所述的机器学习系统（10），

其中所述滤波器系数和/或所述中间结果是二元的或三元的。

6.根据上述权利要求中任一项所述的机器学习系统（10），

其中所述滤波器（21）被配置为在使用所述滤波器（21）时省略所述图像或所述中间结果的各个像素。

7.根据上述权利要求中任一项所述的机器学习系统（10），

其中所述机器学习系统（10）包括直接布置在所述滤波器（21）之后的舍弃操作（英语pooling）。

8.根据上述权利要求中任一项所述的机器学习系统（10），

其中所述图像根据可预先给定的顺序连续地布置，

其中将所述滤波器（21）应用于像素或区段的序列，所述像素或区段分别处于相同的坐标处，并且所述序列的像素或区段根据所述顺序布置。

9.一种用于运行根据上述权利要求中任一项所述的机器学习系统（10）的方法，包括如下步骤：

将图像的序列分组成所述机器学习系统（10）的输入变量；

在使用所述滤波器（21）的情况下根据所述输入变量确定输出变量。

10.根据权利要求9所述的方法，

其中分别在直接随后的时间点相继地检测所述图像，

其中如果确定了所述输出变量，则将所检测到的新图像添加到所述输入变量并且从所述输入变量中去除所述输入变量的包含的图像之一、尤其包含最长时间的图像，

其中接着在使用所述滤波器的情况下根据所述输入变量确定另一输出变量。

11.一种用于训练根据权利要求1至8中任一项所述的机器学习系统（10）的方法，包括如下步骤：

提供训练数据，所述训练数据至少包括多个图像序列和所分配的训练输出变量；

针对所述图像序列的每个分别确定至少一个输出变量；

根据所确定的输出变量和训练输出变量确定成本函数；

根据所述成本函数适配所述机器学习系统（10）的参数，使得所述成本函数在可预先给定的标准方面变为最优；以及

量化所述机器学习系统（10）的参数、尤其滤波器系数。

12.一种计算机程序，该计算机程序包含指令，所述指令被配置为在借助计算机实施所述指令时促使所述计算机实施根据权利要求9至11中任一项所述的方法。

13.一种机器可读的存储元件，在所述存储元件上存储有根据权利要求12所述的计算机程序。

Images