CN112585616A - 用于预测行人的至少一个将来的速度矢量和或将来的姿态的方法 - Google Patents

Abstract

本发明涉及一种用于预测（30）在预测区域内的行人的至少一个将来的速度矢量和/或将来的姿态的方法。在该预测（30）的情况下考虑行人的周围环境的地图和在该预测区域内的其他行人的当前的速度矢量。

Description

用于预测行人的至少一个将来的速度矢量和或将来的姿态的 方法

技术领域

本发明涉及一种用于预测在预测区域内的行人的至少一个将来的速度矢量和/或将来的姿态的方法。本发明还涉及：一种计算机程序，该计算机程序实施该方法的每个步骤；以及一种存储该计算机程序的机器可读存储介质。最后，本发明涉及一种电子控制设备，该电子控制设备被设立为实施该方法。

背景技术

为了防止自动驾驶车辆或者机器人与行人碰撞，使用预测行人的将来的速度矢量和姿态的方法。

在US 9233659 B2中描述了一种碰撞报警系统，该碰撞报警系统使用安装在车辆上的摄像机以及处理器。基于行人的被摄像机检测到的图像的尺寸变化来输出对车辆与行人碰撞的报警。为了进一步验证该报警，考虑该图像的随时间的变化和在该图像中检测到的道路标线。在此，当行人经过道路标线或者路边石时，可以识别出该行人的横向移动。

在WO 2015/177648 A1中描述了一种用于探测行人的方法，该方法可以在图像中识别出行人。在此，分析是否存在行人和车辆相撞的危险。为此，从行人和车辆的相应的移动方向和速度来外推出该行人和该车辆的将来的位置。

US 2007/0230792 A1描述了一种可用来识别行人是否可能会进入车辆的行驶范围的方法。为此，在借助于摄像机来记录的图像之内标识出行人。对这些行人进行分类，其方式是他们的所在地点和他们的轨迹与路边石的走向进行比较。如果该分类得出行人处在道路上，则输出碰撞报警。

发明内容

用于预测在预测区域内的行人的至少一个将来的速度矢量和/或将来的姿态的方法规定：在该预测的情况下不仅考虑关于相关行人的数据，而且在该预测的情况下考虑该预测区域的静态地图和在该预测区域内的其他行人的当前的速度矢量。为了可以有效防止与行人的碰撞，需要不仅知道该行人的当前位置和该行人的当前的速度矢量（该当前位置和该当前的速度矢量可以借助于传感器来确定），而且要预测行人的速度矢量和姿态将来会如何发生变化，以便可以及时输出碰撞报警。尤其是当使用该方法来避免高速移动的自动驾驶车辆与行人的碰撞时，知道关于该行人的当前所在地点以及该行人的当前的移动方向和速度的信息并不足够。该行人的速度矢量的将来的变化可能导致：到目前为止被归为无危险的情况变成潜在的碰撞情形。在这种情况下，必须还有足够的时间供支配，以便在车辆与行人发生碰撞之前使该车辆制动或者允许实施避让移动。

现有技术的方法仅考虑速度矢量的由于在静态地图中的静态障碍物而引起的将来的变化或者社交信息而没有考虑关于周围环境的信息，而本方法规定：不仅地图而且其他行人的移动都被包括在该预测之内。在此，这些尤其不仅被视为移动障碍物，而且可以将行人之间的另外的互动包括在该预测之内。

优选地，对于该预测来说，将在预测区域内的行人组成组。在此，根据一组的所有成员的当前的姿态和当前的速度矢量，可以确定该组的当前的姿态和当前的速度矢量。尤其是当根据行人的当前的速度矢量能得出这些行人成组移动时，将这些行人组成一组。尤其是当所有组成员的速度矢量彼此间最多相差预先给定的阈时，推断出这一点。如果所有组成员在该预测中都可以通过共同的姿态和共同的速度矢量统一被看待，则在电子计算设备或控制设备上执行该方法变得容易。

还优选的是：在该预测的情况下考虑行人之间的社交互动。在行人是同一组的成员的情况下，这种社交互动尤其可能存在于有吸引力的互动中，这些有吸引力的互动导致该组的成员绝不与该组的中心、紧挨着的组成员或者该组的领头人远离得超过可预先给定的距离。这可能导致：这些组成员在他们必须避让障碍物时没有选择尽可能短的路线，而是作为替代选择该组的凝聚性被确保的较长的路线。在不属于一组的部分的行人之间，社交互动也可能对于该预测来说重要。这样，行人例如可能短暂停留，以便让另一行人经过或者该行人可以避让该另一行人。在避让移动时的社交互动尤其也可能在于：不是这些行人之一未受影响地继续其路线而另一行人避让，而是两个行人都进行避让移动。

还优选的是：给每个行人都分派目的地。该分派尤其可基于该行人的当前的速度矢量来进行。在该预测的情况下，考虑行人正朝着该目的地移动。即使该行人例如由于在一组之内的社交互动或者由于与不属于他的组的部分的行人的互动或者由于其它因素、诸如静态障碍物而暂时放弃到该目的地的直接路线，在该预测中也仍假定该行人长期来看总是又回到向着该目的地的路线上。

优选地，分多个随时间的子步骤来执行该预测。在这些子步骤中的每个子步骤中，所有在预测速度矢量的情况下被考虑的值都被重新计算。这种值例如是其他行人的速度矢量和姿态以及与这些行人中的每个行人的社交互动。以这种方式，在每个随时间的子步骤中都获得预测，其中前面的子步骤的预测还非常精确，而随着预测向将来进一步发展，精度降低。

在这些子步骤中的每个子步骤中都可以确定行人的将来的姿态。根据所有被确定的将来的姿态，尤其可能的是创建行人的移动地图，该移动地图可以被用于计划自动驾驶车辆或机器人的移动。

行人的当前的姿态和当前的速度矢量尤其可以借助于至少一个传感器来确定，该传感器从由单眼传感器、立体声传感器和深度传感器组成的组中选择。例如，激光雷达（LIDAR）传感器或RGB-D摄像机适合作为深度传感器。

该预测的结果尤其被用于控制自动驾驶车辆或机器人，使得避免与行人的碰撞。在这种情况下，预测区域优选地被选择为使得该预测区域对应于车辆或机器人将来会移动经过的区域。

该计算机程序被设立为：尤其是当该计算机程序在计算设备上或在电子控制设备上运行时，执行该方法的每个步骤。该计算机程序尤其具有预测模块，该预测模块具有移动计划、轨迹片段以及社交情境信息，这些移动计划、轨迹片段以及社交情境信息被用于该预测。该计算机程序能够在电子控制设备中实现该方法的不同的实施方式，而在这方面不必进行结构上的变化。为此，该计算机程序存储在该机器可读存储介质上。

通过将该计算机程序加载到传统的电子控制设备上，得到如下电子控制设备，该电子控制设备被设立用于借助于该方法来预测行人的将来的速度矢量和/或将来的姿态。该电子控制设备尤其是还被设立用于控制自动驾驶车辆和/或机器人，使得避免与行人的碰撞。

附图说明

本发明的实施例在附图中示出并且在随后的描述中进一步予以阐述。

图1示意性示出了自动驾驶车辆的系统架构，该自动驾驶车辆借助于按照本发明的方法的实施例来预测行人的至少一个将来的速度矢量和将来的姿态。

图2示意性示出了在按照本发明的方法的实施例中预测行人的将来的速度矢量和将来的姿态的过程。

图3示意性示出了多个行人之间的社交互动，这些社交互动在按照本发明的方法的实施例中被用于预测行人的至少一个将来的速度矢量和将来的姿态。

图4示意性示出了在按照本发明的实施例的方法中行人组相对于自动驾驶车辆的移动。

图5以图表示出了按照比较示例和本发明的实施例在仿真中作为预测时长的函数的负对数概率。

图6以图表示出了按照比较示例和本发明的实施例在仿真中作为预测时长的函数的修正Hausdorff距离（Modified Hausdorff Distance）。

具体实施方式

在用于预测行人的至少一个将来的速度矢量和将来的姿态以便避免该行人与自动驾驶车辆的碰撞的方法的实施例中，由车辆的传感器来创建车辆将来会移动经过的区域的地图11。地图11包含该区域的所有地理特征。应该做出关于在该区域内行人是否可能会进入车辆的移动路径使得存在碰撞危险的预测。因此，该区域在下文被称作预测区域。借助于传感器来创建预测区域的图像，并且在这些图像之内进行对人员的识别12。在预测模块20中，现在根据地图11来创建移动计划21，在该移动计划中能看出行人可以在不被障碍物阻挡的预测区域的哪些部分内移动。关于各个行人所检测到的数据被分成轨迹片段22和社交情境信息23。轨迹片段22包括行人的当前的速度矢量和当前的姿态。在此，每个速度矢量都包含关于行人的移动方向及其移动速度的信息。姿态说明了该行人的取向。社交情境信息23通过图像分析来获得并且能够实现关于哪些单独的行人是具有共同目的地的组的部分的结论。移动计划21、轨迹片段22和社交情境信息23都供预测30支配。一方面，该预测的结果被转交给自动驾驶车辆的控制器40，以便避免与行人的碰撞。另一方面，该结果也被用于下一次执行在所拍摄的图像中对行人的识别12时简化该识别12。

在图2中详细示出了预测30如何进行。在步骤31中，检测移动计划21、轨迹片段22和社交情境信息23，其中各个行人基于社交情境信息23而被组成组。在下一个步骤32中，基于行人的当前的速度矢量来外推出这些行人的目的地。为此，考虑这些行人的多个可能的移动路线和目的地。在下一个步骤33中，这些移动路线和目的地在使用移动计划21的情况下被修正，使得只保留基于地图11而合理的目的地。在下一个步骤34中，关于每个行人的当前的速度矢量、当前的姿态和目的地所收集的数据被转交给预测功能50。该预测功能具有四个子步骤。在第一子步骤51中，确定每个行人在预先给定的时间段内基于该行人的目的地、该行人的当前的速度矢量和该行人的当前的姿态而可能会在预测区域内选择哪条路线。在第二子步骤52中，对该路线进行修正，其方式是考虑每个行人与相邻行人的社交互动。这些社交互动基于行人的典型的移动模式是避免与其他行人碰撞的可能方式。在第三子步骤53中，基于组成员之间的社交互动进行重新修正。这些社交互动影响移动，使得组不分裂。在第四子步骤54中，基于前三个子步骤51、52、53的结果，在该时间段结束时由所预测的将来的姿态和将来的速度矢量来替代当前的姿态和当前的速度矢量。这样确定的将来的姿态在移动地图35中被录入并且在那里与该预测所基于的时间段相关联。接着，重新执行子步骤51至54，其中替代根据步骤34所转交的当前的速度矢量和当前的姿态，现在使用行人的在步骤54中确定的将来的速度矢量和将来的姿态。而步骤34中的行人的目的地保持不变。利用对子步骤51至54的每次遍历，在移动地图35中针对新的时间段产生其它录入项。最后，将移动地图35转交给控制器40，使得该控制器可以针对每个时间段读取在预测区域内的所有人员的最可能的所在地点。

在图3中进一步阐明了子步骤51至53的过程。在该图3中，示出了六个人员61至66的移动。前三个人员61至63构成一组。该组环绕着中心70被编组。在预测区域80内，该组的成员当前在图3中竖直向上移动。在图3中通过箭头来示出其他行人64至66的当前的速度矢量V_64-66 ^akt。在该组之内，有吸引力的社交互动F_61-63 ^att对组成员有影响，这些组成员由于这些有吸引力的社交互动朝着中心70移动。这些有吸引力的社交互动F_61-63 ^att可以按照公式1针对每个行人i被计算：

　　　　　（公式1）

在此，α表示组吸引力的强度而U_i是从行人i指向中心70的单位矢量。值q是阈值，该阈值说明了有吸引力的社交互动究竟是否有效。如果行人i与中心70之间的距离小于该阈值，则适用F_i ^att = 0。即，只有当行人i远离中心70得超过该阈值时，组吸引力才起作用。

其它社交互动F_61-62 ^vis导致：该组的前两个行人61、62降低他们的速度，以便第三个行人63不失去与该组的接触。这些其它社交互动F_61-62 ^vis可以按照公式2针对每个行人i被计算：

　　　　　（公式2）

在此，β表示在该组之内的互动的强度。行人i的当前的速度矢量v_i ^akt与该行人的视线方向之间的角度用γ_i来表示。

所有行人61至66沿着他们当前的速度矢量的继续移动不可能在此不发生碰撞。因此，排斥性社交互动F_61-66 ^soc发挥作用，这些排斥性社交互动使行人61至66中的每个行人移动以避让其他行人。这些排斥性社交互动F_i,j ^soc可以按照公式3针对每个行人i相对于另一行人j被计算：

　　　　　（公式3）

在此，a_j > 0表示排斥性社交互动的强度而b_j > 0表示排斥性社交互动的方向。两个行人i、j之间的距离被表示为d_i,j，而r_i,j表示这些行人的半径之和。各向异性因子λ∈[0,1]使排斥性社交互动沿行人i的移动方向缩放。当从行人i指向行人j的归一化矢量n_i,j与行人i的当前的速度矢量v_i ^akt之间的角度

为零时，互动达到其最大值。当

时，该互动变得最小。

在考虑所有这些因素的情况下，确定行人61至66的将来的速度矢量v_61-66 ^zuk，这些将来的速度矢量不同于这些行人的当前的速度矢量。在此，所有行人61至66的将来的移动都通过虚线来呈现。能看出：将来的速度矢量v_61-66 ^zuk会在各个时间段内发生变化，使得每个行人61至66都会在经过另一行人之后重新向他原来的目的地移动。

图4示出了是该组的成员的行人61至63的当前的移动可以如何通过从该组的中心70出发的共同的当前的速度矢量v₇₀ ^akt来呈现。在图4中示出的状况下已经计划向左水平移动的自动驾驶车辆90可以借助于在当前情况下实施为RGB-D摄像机的传感器91来识别行人61至63。在该自动驾驶车辆的电子控制设备92中，该电子控制设备借助于按照本发明的方法来预测这些组成员的移动，以便使该自动驾驶车辆的移动方向匹配，以便必要时降低该自动驾驶车辆的速度或者以便停下并且这样来避免与这些组成员的碰撞。本身不可能会进入车辆90的移动方向的其他行人仍然被传感器91检测并且在该预测的情况下被考虑，因为这些其他行人可能通过社交互动影响这些组成员的将来的移动。

基于在D. Brscic，T. Kanda，T. Ikeda，T. Miyashita的“Person Position andbody direction tracking in large public spaces using 3D range sensors”，IEEETransactions on Human-Machine Systems，第43卷，第6期，第522-534页，2013年中描述的在日本大阪的ATC百货商店的仿真环境，执行按照本发明的预测B1和按照比较示例VB1、VB2的两个预测。在此，对于比较示例VB1来说，使用了按照V. Karasev，A. Ayvaci，B.Heisele，S. Soatto的“Intent-aware longterm prediction of pedestrian motion”，in2016 IEEE International Conference on Robotics and Automation (ICRA)，2016年5月的预测方法。在该预测方法中，虽然考虑到预测区域80的地图11。但是，在该预测的情况下并没有考虑在预测区域80内的其他行人61-66的当前的速度矢量（v_61-66 ^akt）。在此，对于比较示例VB2来说，使用了按照J. Elfring，R. Van De Molengraft，M. Steinbuch的“Learning intentions for improved human motion prediction”，Robotics andAutonomous Systems，第62卷，第4期，第591-602页，2014年的预测方法。在该方法中，在该预测的情况下考虑在预测区域80内的其他行人61-66的当前的速度矢量v_61-66 ^akt。但是没有考虑预测区域80的地图11。

在按照本发明的示例B1中以及在比较示例VB1、VB2中，仿真了总共具有172个人员的21个场景，其中90个行人成组，总共有15个不一样地可能的目的地。在为12秒的时间段t内进行预测。在图6中示出了在相应的仿真中平均获得的负对数概率NLP，而在图7中示出了平均获得的修正Hausdorff距离MHD。能看出：按照本发明的方法与比较示例VB1、VB2相比提供了NLP和MHD的更低的值。因此，按照本发明的方法更精确。

Claims (13)

1.一种用于预测（30）在预测区域（80）内的行人（61-66）的至少一个将来的速度矢量（v_61-66 ^zuk）和/或将来的姿态的方法，其特征在于，在所述预测的情况下考虑所述预测区域（80）的地图（11）和在所述预测区域（80）内的其他行人（61-66）的当前的速度矢量（v_61-66 ^akt）。

2.根据权利要求1所述的方法，其特征在于，对于所述预测（30）来说，在所述预测区域（80）内的行人（61-63）被组成（53）组，其中根据一组的所有成员的当前的姿态和当前的速度矢量（v_61-63 ^akt）来确定所述组的当前的姿态和当前的速度矢量（v₇₀ ^akt）。

3.根据权利要求1或2所述的方法，其特征在于，在所述预测（30）的情况下分别考虑（52）所述行人（61-66）之间的社交互动（F_61-66 ^soc、F_61-63 ^att、F_61-62 ^vis）。

4.根据权利要求1至3中任一项所述的方法，其特征在于，给每个行人（61-66）分派（34）目的地并且在所述预测（30）的情况下考虑所述行人朝着所述目的地移动。

5.根据权利要求1至4中任一项所述的方法，其特征在于，分多个随时间的子步骤来执行所述预测（30），其中对于每个子步骤来说所有在预测所述速度矢量（v_61-66 ^zuk）的情况下被考虑的值都被重新计算。

6.根据权利要求5所述的方法，其特征在于，在每个子步骤中都确定所述行人（61-66）的将来的姿态，并且根据所有被确定的将来的姿态来创建（35）所述行人（61-66）的移动地图。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述行人（61-66）的当前的姿态和当前的速度矢量（v_61-66 ^akt）借助于至少一个传感器（91）来确定，所述传感器从由单眼传感器、立体声传感器和深度传感器组成的组中选择。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述预测（30）的结果被用于控制自动驾驶车辆（90）或机器人，使得避免（40）与所述行人（61-66）的碰撞。

9.一种计算机程序，其被设立为执行根据权利要求1至8中任一项所述的方法的每个步骤。

10.根据权利要求9所述的计算机程序，所述计算机程序具有预测模块（20），所述预测模块具有移动计划（21）、轨迹片段（22）以及社交情境信息（23），所述移动计划、轨迹片段以及社交情境信息被用于所述预测（30）。

11.一种机器可读存储介质，在其上存储有根据权利要求9或10所述的计算机程序。

12.一种电子控制设备（93），所述电子控制设备被设立用于借助于根据权利要求1至8中任一项所述的方法来预测行人（61-66）的将来的速度矢量（v_61-66 ^zuk）和/或将来的姿态。

13.根据权利要求12所述的电子控制设备（93），其特征在于，所述电子控制设备还被设立用于控制根据权利要求8所述的自动驾驶车辆（90）或机器人，使得避免（40）与所述行人（61-66）的碰撞。

Images