CN110928292A

CN110928292A - 用于预测多个对象的停留地点的方法、设备和计算机程序

Info

Publication number: CN110928292A
Application number: CN201910813290.4A
Authority: CN
Inventors: V.S.普拉巴卡兰; J.M.德林格尔; M.斯皮斯
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-08-31
Filing date: 2019-08-30
Publication date: 2020-03-27
Anticipated expiration: 2039-08-30
Also published as: DE102018214828A1; DE102018214828B4; CN110928292B

Abstract

本发明涉及用于预测多个对象的停留地点的方法、设备和计算机程序。本发明涉及用于分别预测多个对象的停留地点的方法。提供了地图，所述地图包括对象的活动空间并且划分成多个单元。为每个单元都配属有第一变量，所述第一变量表征所述对象中的至少一个是否处于相应的单元之内的概率。根据为在其之内放置有相应的虚构对象的单元所配属的那个第一变量来分别为多个虚构对象配属权重。机器学习系统根据所提供的地图测定多个不同的离散速度。根据离散速度之一来重新放置虚构对象。根据放置在相应的单元之内的那些虚构对象的权重来测定单元的第一变量。此外，本发明涉及用于实施该方法的计算机程序和设备以及其上存储有计算机程序的机器可读的存储元件。

Description

用于预测多个对象的停留地点的方法、设备和计算机程序

技术领域

本发明涉及一种用于借助机器学习系统来预测多个对象的停留地点的方法。本发明同样涉及一种设备和一种计算机程序，所述设备和计算机程序分别设立成实施该方法。

背景技术

未提前公开的DE 10 2017 217412.9公开了用于运行机器人控制系统的方法，所述机器人控制系统包括机器学习系统。该机器学习系统根据表示机器人的活动空间的地图来测定（ermitteln）至少一个对象在该机器人的活动空间中的运动走向（Bewegungsverlauf）。

未提前公开的DE 10 2018 201570.8公开了一种多目标对象跟踪（Multiple-Target-Object-Tracking）方法。首先，借助速度转移分布（Geschwindigkeitsübergangsverteilung）测定速度分布。接着，计算转移概率信息，所述转移概率信息针对对象说明到达可能的相邻网格单元的概率。紧接着，基于转移概率信息来测定每个网格单元的占用概率（Belegtheitswahrscheinlichkeit）。

发明内容

在第一方面，介绍了一种（尤其是计算机实施的）用于分别预测多个对象的停留地点、尤其是运动走向的方法。首先，提供如下地图：所述地图包括对象的活动空间并且划分成多个单元。为每个单元都配属（zuordnen）第一变量，所述第一变量（尤其是概率）表征所述对象中的至少一个对象是否处于相应的单元之内。多个虚构对象放置在地图上，并且根据为在其之内放置有相应的虚构对象的单元所配属的那个第一变量，为每个虚构对象配属权重。接着，机器学习系统根据所提供的地图、尤其是活动空间的几何结构和/或外形和/或形状来测定多个不同的离散速度，尤其是针对每个单元来测定多个不同的离散速度。紧接着，根据多个不同的离散速度中的所选出的离散速度，测定虚构对象的新位置，并且依据新位置在地图上放置虚构对象。根据放置在相应的单元之内的那些虚构对象的权重来测定单元的第一变量。

该方法具有如下优点：在任意数目和未知数目的对象的情况下可执行该方法，并且可以同时预测这些对象的停留地点，因为相应的对象不必被配属给数据点、如单元或者虚构对象。此外，该方法具有如下优点：通过机器学习系统学到的关于对象与环境交互的知识可被用于进行预测。例如，借助机器学习系统可以从活动空间的形状导出对象的运动，所述对象的运动紧接着被用于测定虚构对象的新位置。停留地点的预测被理解为，在随后的时刻预报停留地点。

建议了，尤其是随机地和多次地，根据所配属的权重选出虚构对象，并且所选出的虚构对象被放置在其内放置有所选出的虚构对象的相应的单元之内。

对此有利的是，通过根据虚构对象的权重选出虚构对象，虚构对象分布在地图上（如所期望的那样），使得布置有对象。这允许以资源高效的方式估计对象的暂时布局。此外，该措施具有如下优点：可以描绘非确定性的动态的多种形态。因此，借助虚构对象不必判定，例如在十字路口，走上哪条道路，而是按照概率和随机初始化沿着可能的道路分配虚构对象。优选地，通过根据瓮模型（Urnenmodel）的有放回的取出（ein Ziehen mit Zurück-legen）来实现选出，其中取出虚构对象的概率与虚构对象的权重有关。

此外还建议了，机器学习系统针对不同离散速度、尤其是针对先前时刻的虚构对象的每个离散速度测定多个概率。

此外还建议了，根据放置在相应的单元之内的虚构对象的权重的乘积来测定单元的第一变量。

在这种情况下有利的是，依据该措施，可以计算高效地和时间高效地测定在将虚构对象放置在其新位置处之后的第一变量，其中真实对象的非确定性的行为被一起模拟（mitmodelliert）。

此外还建议了，执行测量、尤其是对象的检测，其中根据测量来测定、尤其是适配（anpassen）这些单元的多个第一变量。

优点是，通过测量，来自环境的信息涌入，由此第一变量附加地可以根据测量来适配。测量可以对该方法产生修正作用，并且以此提高该方法的精度。因为该方法可以随机地被初始化，所以依据测量可以更可靠地确定对象的真实布局。

此外还建议了，机器学习系统是卷积神经网络（英语为：Convolutional NeuralNetwork）。针对每个单元，机器学习系统分别测定多个不同的离散速度、尤其是速度分布。

速度分布被理解为，给不同的离散速度分别分配如下概率：所述概率说明了在该单元之内的对象多大可能具有相应的离散速度。在这种情况下有利的是，可以执行针对虚构对象精确确定所选出的速度，并且可以提高该方法的稳健性（Robustheit）。

此外还介绍了，根据单元的第一变量测定用于控制机器人的控制变量。替选地，控制变量可被用于控制技术系统的执行机构。技术系统例如可以是至少部分自主的机器、至少部分自主的车辆或者飞行物、如无人机。

在另一方面，建议了一种计算机程序。该计算机程序设立成实施先前所述的方法之一。该计算机程序包括如下指示：当计算机程序在计算机上运行时，所述指示促使计算机实施所述的具有所有他的步骤的方法之一。此外还建议了一种机器可读的存储模块，在该机器可读的存储模块上存储有计算机程序。此外，还建议了一种设备，该设备设立成实施所述方法之一。

附图说明

上文所述的方面的实施例在附图中示出，并且在随后的描述中予以更为详细地阐述。在此：

图1示出了机器人的示意图；

图2A示出了机器人和两个对象所处的空间的地图的示意图；

图2B示出了该空间的地图的示意图，其中该地图划分成单元；

图3示出了用于预测对象的停留地点的方法的实施形式的示意图。

具体实施方式

图1示出了至少部分自主的机器人的示意图，所述机器人在第一实施例中通过至少部分自主的车辆（10）来给出。在其他实施例中，至少部分自主的机器人可以是服务机器人、装配机器人或者固定的生产机器人，替选地可以是自主的飞行物、如无人机。

至少部分自主的车辆（10）可以包括检测单元（11）。检测单元（11）例如可以是摄像机或者雷达，所述摄像机检测车辆（10）的环境，所述雷达检测距在该车辆（10）的环境中的对象的距离。在其他实施形式中，检测单元（11）可以是深度传感器（Tiefensensor）。检测单元（11）可以与预测模块（12）连接。预测模块（12）根据所提供的地图并且优选地根据所提供的输入变量来测定输出变量，为此参见图3，其中所述输入变量例如由检测单元（11）来提供。输出变量例如表征，在车辆（10）的环境中的对象在随后的时刻处于哪个地点处。输出变量接着可以被转交给控制单元（13）。

控制单元（13）根据预测模块（12）的输出变量控制执行机构，优选地，所述控制单元（13）控制所述执行机构来使得车辆（10）实施无碰撞的操作。在第一实施例中，执行机构可以是车辆（10）的发动机或者制动系统。替选地，根据预测模块（12）的输出变量，可以测定车辆（10）或者对象的轨迹。

此外，车辆（10）、尤其是部分自主的机器人包括计算单元（14）和机器可读的存储元件（15）。在存储元件（15）上可以存储有计算机程序，该计算机程序包括指令，在所述指令在计算单元（14）上实施时，所述指令导致计算单元（14）实施如例如在图3中示出的用于预测对象的停留地点的方法。也可设想的是，可分别包括该计算机程序的下载产品或者人工生成的信号在车辆（10）的接收器处接收之后促使计算单元（14）实施该方法。

在替选的实施例中，预测模块（12）可以用于建筑物控制，所述预测模块（12）如在第一实施例中那样与检测单元（11）连接。用户行为借助传感器来检测，例如借助摄像机或者运动检测器来检测，并且控制单元例如根据预测模块（12）的输出变量来控制自动门。那么，预测模块（12）可以设立成，基于所检测到的用户行为来预报，用户将运动到何处，以便有针对性地例如操控门。替选地，预测模块（12）可以使用在生产车间中，以便监控：没有人员靠近生产机器，并且必要时将该生产机器关断。

在其他实施例中，预测模块（12）可以用于辅助系统，例如用于停车辅助系统，该停车辅助系统根据预报对象在环境中的运动的预测模块（12）来实施停车操作。可设想的是，代替检测单元（11），在该实施例中将固定的传感器布置在辅助系统的环境中。

预测模块（12）可以包括深度神经网络、尤其是卷积神经网络（英语为：Convolutional Neural Network）。例如，深度神经网络可以是来自开头所述的文献之一的经过训练的深度神经网络。

图2A示出了地图（20）的示意图，所述地图（20）在该实施例中表示空间的平面布置图。在该地图上绘出了两个对象（P1，P2），所述对象例如可以朝向在右上方绘出的门运动。此外，绘出了机器人（R），该机器人（R）可以是按照图1的至少部分自主的车辆（10）。预测模块（12）例如可以根据地图（20）来预测对象（P1，P2）在随后的时刻的停留地点。

图2B示出了地图（20）的示意图，所述地图（20）划分成多个单元（21）。如在图2B中所示出的那样，给这些单元（21）分别分配有出现概率（Auftrittswahrscheinlichkeit）（22）。出现概率（22）表征，两个对象（P1，P2）中的至少一个多大可能处于相应的单元之内。由于对象（P2）在空间上处于在该空间中部的狭窄部附近，所以给那个单元分配有值为0.9的出现概率。例如，由于不得当地选择的单元划分，所以可能的是，处于其下的相邻单元具有值为0.67的出现概率。

应注意的是，单元变量、尤其是单元形状（例如圆形或者三角形）的选择可以任意来选择。此外应注意的是，地图（20）替选地或者附加地可以表示地理情况、如例如道路走向或者建筑物布局。

图3示出了用于预测对象（P1，P2）尤其是在地图（20）上的停留地点的方法（30）的示意图。

该方法（30）以步骤31开始。在步骤31中，提供了地图（20），所述地图（20）例如描绘机器人的环境。地图（20）紧接着分解成单元（21）。在开始时，最初给每一个单元都分配所估计的或随机的出现概率（22）。

出现概率（22）可以表征，对象中的一个是否处于相应的单元之内，或对象中的一个多大可能处于相应的单元之内，为此参见图2B。此外，在步骤31中可以初始化可预给定数目的虚构对象。优选地，虚构对象的可预给定数目为大约1000到1000000。此外，为每个虚构对象最初可以配属速度和在地图上的位置。位置和速度可以随机配属，替选地速度可以以1m/s来初始化。

在步骤31完成之后，跟随的是步骤32。在步骤32中，虚构对象尤其是根据其所配属的位置被放置在地图上。

在随后的步骤33中，虚构对象分别被配备有权重。在此，相应的权重根据出现概率（22）来测定，所述出现概率（22）已被分配给相应的虚构对象处于其内的相应单元。例如，虚构对象之一的权重可以是虚构对象处于其内的相应单元的出现概率的值。

在步骤33结束之后，执行步骤34。在本发明，根据虚构对象的权重，借助带放回的取出来取出可预给定数目的虚构对象，被取出的虚构对象的数目适宜地等于被初始化的虚构对象的数目。例如如果在地图上放置有1000个虚构对象并且这些虚构对象中的每个虚构对象都具有权重，则从这1000个虚构对象中在放回的情况下又随机地取出1000个虚构对象，由此可能的是，各个虚构对象尤其是当他们具有大权重的时候被多次取出。紧接着，被取出的虚构对象被放置在地图上。放置依据分配给这些虚构对象的位置来进行。优选地，被取出的虚构对象采纳（übernehmen）相应的虚构对象的速度。

接着，可以执行步骤35。在这种情况下，虚构对象的权重根据处于相同单元之内的虚构对象的数目来适配。例如，全部处于相同单元之内的虚构对象的每个权重都可以被除以处于该单元之内的虚构对象的数目。

在随后的步骤36中，可以将配属给虚构对象的速度（v）归一化。例如，所配属的速度可以是向量，所述向量根据该向量的数值来归一化。

（1）。

紧接着，跟随的是步骤37。在步骤37中，为经过训练的机器学习系统提供地图（20）作为输入变量。根据地图、尤其是对象和/或机器人（10）的活动空间的外形或者几何结构，经过训练的机器学习系统接着针对每个单元分别测定速度分布。速度分布例如可以是矩阵，所述矩阵的维度分别对应于对象在地图上运动的方向，并且分别可以为列和/或行配属速度。矩阵的录入项可以说明，虚构对象以何种概率具有带有相应速度的相应方向。紧接着，根据虚构对象的所测定的速度分布和分别配属的速度，从所测定的速度分布中为每个虚构对象配属更新过的速度，优选地随机取出更新过的速度（参见随后的等式4）。

应注意的是，用于此的机器学习系统可能如在开头所述的文献中那样已经经过训练。此外应注意的是，机器学习系统附加地根据（尤其是虚构的）对象的速度来测定速度分布。

更新过的速度的配属例如可以利用随后的等式来执行，其中按照等式4随机地取出更新过的速度：

（2）

（3）

（4）

其中索引i表明机器学习系统的所测定的速度，并且σ优选地具有为0.3的值。

在步骤38中，根据所测定的速度分布，接着确定速度的变化，尤其是确定加速度。为此例如参见DE 102018201570.8。在该文献中，在给定的更新过的速度的情况下，根据来自速度分布中的至少两个速度值的差来测定加速度。替选地，可以通过如下方式从速度分布中导出加速度分布：从所述差中确定来自概率分布的相应方向的速度，其中所述概率分布表征相应的加速度以何种概率出现。从加速度分布中可以例如随机取出速度的变化。

替选地，机器学习系统此外可以已经经过训练，使得所述机器学习系统根据地图（20）测定加速度分布，在给定的更新过的速度的情况下从所述加速度分布中确定加速度。

在步骤38完成之后，可以跟随的是步骤39。在本发明，根据（如在步骤36中所示出的）带有

的速度归一化来缩放速度的变化。

在步骤40中，根据更新过的速度

和速度的变化a，测定各个虚构对象的新速度v’。这例如可以利用等式5来执行：

（5）。

紧接着，在步骤40中，根据虚构对象的新速度（v’）分别测定虚构对象的新位置（r’）。这例如可以利用等式6来执行：

（6）

其中r是虚构对象的当前位置。

接着，在步骤41中，根据处于相应单元之内的那些虚构对象的权重，更新单元的出现概率。示例性地利用等式：

（7）

其中P（O_cp）是在单元c中的第p个虚构对象的权重。应注意的是，权重在步骤35中已被分配给虚构对象。P（O_c）是第c个单元的对象（P1，P2）的出现概率（22）。

可选地，在随后的步骤中可以执行周围环境测量，其中例如检测对象的位置。根据该周围环境测量可以适配单元的出现概率。这例如可以利用随后的等式来执行：

（8）

其中来自周围环境测量的所确定的出现概率为：

（9）

其中w_Z表征测量的噪声，并且o_c对应于用对象（P1，P2）之一来占据的单元。

以此，方法（30）结束。有利地，该方法（30）循环地以步骤33又开始。在这种情况下，在步骤34中取出虚构对象时，可以保持所述虚构对象的所测定的位置，并且主要是保持所述虚构对象的所测定的速度。应注意的是，步骤序列可以以想得到的任意顺序来执行。

根据单元的出现概率，可以测定对象（P1，P2）在随后的时刻的位置。例如，各个单元的出现概率对于其相邻单元相对高，由此可以导出，对象在随后的时刻将处于这些单元之内。

Claims

1.一种用于分别预测多个对象（P1，P2）的停留地点、尤其是运动走向的方法（30），

其中提供了如下地图（20）：所述地图包括所述对象（P1，P2）的至少一个活动空间并且划分成多个单元（21），

其中为每个单元（21）都配属第一变量（22），所述第一变量（22）、尤其是概率（P（O_C））表征所述对象（P1，P2）中的至少一个对象是否处于相应的单元之内，

其中在所述地图（20）上放置有多个虚构对象，并且其中根据为在其之内放置有相应的虚构对象的单元所配属的那个第一变量（22），分别为所述虚构对象配属权重，

其中机器学习系统根据所述地图（20）来测定多个不同的离散速度，

其中根据所述多个不同的离散速度中的所选出的离散速度，测定所述虚构对象的新位置（r’），并且依据所述新位置（r’）在所述地图（20）上放置所述虚构对象，

其中根据放置在所述相应的单元之内的那些虚构对象的权重，测定所述单元的所述第一变量（22）。

2.按照上述权利要求中任一项所述的方法，其中，根据所述单元的更新过的第一变量（22），预测所述对象（P1，P2）的所述停留地点。

3.按照上述权利要求中任一项所述的方法，其中，尤其是随机地和多次地，根据所配属的权重选出所述虚构对象，并且所选出的虚构对象被放置在如下相应的单元之内：在所述相应的单元之内已放置有所述所选出的虚构对象。

4.按照上述权利要求中任一项所述的方法，其中，为每个虚构对象都配属有位置（r）和速度（v），

其中根据所述相应的虚构对象的所配属的速度和所述所选出的离散速度，分别针对每个虚构对象测定新速度（v’），

其中根据所述新速度（v’）来测定所述虚构对象的所述新位置（r’）。

5.按照上述权利要求中任一项所述的方法，其中，根据放置在所述相应的单元之内的所述虚构对象的所述权重（P（O_cp））的乘积，测定所述单元的所述第一变量。

6.按照上述权利要求中任一项所述的方法，其中，执行测量、尤其是所述对象的检测，其中根据所述测量来测定、尤其是适配所述单元（21）的多个第一变量（22）。

7.按照上述权利要求中任一项所述的方法，其中，所述虚构对象的所述速度是向量，并且所述速度根据相应的向量的数值（

）来归一化。

8.按照上述权利要求中任一项所述的方法，其中，根据所述相应的虚构对象的所述多个不同的离散速度和所述所选出的离散速度，针对每个虚构对象分别测定所述速度的变化，尤其是测定加速度（a），

其中此外根据所述速度的所述变化，分别测定所述虚构对象的所述新位置（r’）。

9.按照权利要求7和8所述的方法，其中，根据所述相应的虚构对象的速度向量的数值（

）来缩放所述速度的所测定的变化。

10.按照上述权利要求中任一项所述的方法，其中，根据所述对象的数目来减小放置在相同单元之内的那些所选出的虚构对象的所述权重。

11.按照上述权利要求中任一项所述的方法，其中，所述机器学习系统是卷积神经网络（英语为：Convolutional Neural Network），

其中所述机器学习系统针对每个单元分别测定多个不同的离散速度，并且根据先前的离散速度来为每个离散速度配属出现概率。

12.按照权利要求4至11中任一项所述的方法，其中，测定在所述所配属的速度与所测定的离散速度之间的差（

），

其中根据所述所测定的离散速度之一的差来随机选出所述虚构对象的所述所选出的离散速度。

13.按照权利要求4至12中任一项所述的方法，其中，检测所述对象的速度，其中根据所述对象的所检测到的速度来测定所述虚构对象的所述所配属的速度。

14.按照上述权利要求中任一项所述的方法，其中，根据所述单元的所述第一变量来测定用于控制机器人的控制变量。

15.计算机程序，其包括指令，在通过计算机实施所述指令时，所述指令引起所述计算机实施按照上述权利要求中任一项所述的方法。

16.计器可读的存储元件，在所述机器可读的存储元件上存放有按照权利要求15所述的计算机程序。

17.一种设备，其设立成实施按照权利要求1至14中任一项所述的方法。