CN110867095A - 用于协调和监控对象的方法 - Google Patents

Abstract

本发明涉及用于协调和监控在预设的空间区域中的对象的方法，所述空间区域包括多个子区域，给所述子区域分别分配子区域计算系统，其中借助相应的子区域计算系统在使用传感器单元的情况下确定在相应的子区域中的对象的位置和运动信息，其中借助相应的子区域计算系统在使用相应的子区域的相应的环境地图和位置和运动信息的情况下创建相应的子区域的相应的当前环境地图，其中相应的当前环境地图被传送给共同的上级计算系统，其中借助上级计算系统创建预设的空间区域的当前的环境地图并且基于此在确定运动预设的情况下协调自动化的移动对象在空间区域中的运动，以及其中将运动预设传送给子区域计算系统和由此传送给自动化的移动对象。

Description

用于协调和监控对象的方法

技术领域

本发明涉及一种用于协调和监控在预设的空间区域中的对象的方法以及一种用于执行所述方法的系统和计算机程序。

背景技术

在工业制造环境中的系统或计算机系统通常并不或至少并不任意或并不灵活地彼此联网。当铺设联网时，则链接通常是星形的，其方式是各个制造设备或检验系统与中央计算机连接。如果应该从特定的网络用户或单系统或单计算机获得信息，则通常经由中央计算机访问单系统的信息。

用于监控生产设备的安全系统通常同样仅仅本地地（lokal）联接到分别所属的设备或制造设备。

发明内容

根据本发明，提出具有独立专利权利要求的特征的用于协调和监控对象的方法以及用于执行所述方法的系统和计算机程序。有利的扩展方案是从属权利要求以及随后描述的主题。

根据本发明的方法用于尤其借助联网的计算系统的系统协调和监控在预设的空间区域中的对象。空间区域尤其可以是尤其在建筑物内或外的面，或是具有或不具有外表面的一个或多个建筑物，诸如是工业制造车间或工厂环境等等。在此情况下，作为对象尤其将制造设备、机器人、车辆而且人员考虑在内。预设的空间区域在此包括多个子区域，尤其是所述区域可以划分成这些子区域，但是即使子区域部分重叠也是适宜的。给子区域分别分配子区域计算系统。这样的子区域计算系统可以是单个计算单元或单个计算机，但也可以设想由多个联网的计算单元构成的系统。

借助相应的子区域计算系统现在在使用传感器单元的情况下确定并且尤其持续地更新在相应的子区域中的对象的位置和运动信息。在此，可以确定静态对象、例如固定的制造设备的位置信息。相反地可以确定移动对象、例如车辆和人员的位置和运动信息（即例如也确定速度和运动方向）。作为传感器单元例如将摄像机、尤其是摄影机和立体摄像机、超声波传感器、麦克风、接近传感器、RADAR单元、飞行时间摄像机、LIDAR单元、无线电模块、尤其WLAN单元和蓝牙单元、惯性传感器和距离传感器考虑在内。也即可以使用所有存在的用于检测在相应的子区域中的对象的位置和运动信息的可能性，所述位置和运动信息于是被收集在子区域计算系统上。

借助相应的子区域计算系统于是在使用相应的子区域的相应环境地图和位置和运动信息的情况下创建相应的子区域的相应的当前环境地图。作为环境地图在此首先尤其考虑具有静态信息的地图，所述地图可以基于鸟瞰图、车间平面图、CAD文件等，优选也考虑已经具有固定的对象、例如制造设备的位置的地图。在此情况下特别适宜的是3D环境地图。利用先前提及的位置和运动信息，从这样的（静态）环境地图中于是可以创建具有对象的当前位置和尤其也具有移动对象的运动或运动方向的当前环境地图。

相应的当前环境地图被传送给共同的上级计算系统并且此外也优选地被抽象。这样的上级计算系统尤其同样可以是单个计算单元或单个计算机，但也可以设想由分布式计算单元构成的系统。抽象当前环境地图在此尤其可以理解为，降低环境地图的详细度。减小详细度例如可以通过从3D地图过渡到2D地图进行，所述3D地图也包含三维对象轮廓，所述2D地图仅还包含静态的和/或可运动的对象的粗略鸟瞰图和/或轮廓线。在最上面的层面上，可运动的对象例如也仅仅还可以以二维方式显示为标记，而较大的对象显示为多边体。

当前环境地图在此可以直接被传送给上级计算系统，但也可设想的是具有排在中间的（zwischengeordnet）计算系统的一个或多个层面，借助所述计算系统汇总在从子区域计算系统到上级计算系统的通路上的当前环境地图并且优选地在中间等级中对所述当前环境地图进行抽象。因为形成一定的层级层面，所以以此方式尤其可以更有效地检测较大的区域。然而在较小的区域情况下，中间层面或从子区域计算系统直接传送给上级计算系统也可以是足够的。

借助上级计算系统于是创建预设的区域的当前环境地图并且基于此在确定运动预设的情况下协调在该区域中的自动化的移动对象的运动。各个当前环境地图因此（尤其在抽象的水平上）被汇总，使得在上级计算系统上存在关于在该区域、也即例如制造车间中的所有对象的概览。由此，特别简单地和快速地协调自动化的移动对象是可能的，并且可以进行运动预设，即例如预设路线。自动化的移动对象在此尤其可理解为自动化的可运动的（无驾驶员的）运输车辆。对于这样的协调，抽象的环境地图、也就是说具有较小的细节深度的环境地图通常是足够的，这导致更高效的处理。因此，为了确定行驶路线例如不需要获知：哪个当前位置具有其他固定的制造设备的机器人臂。更确切地说，例如重要的是，其他移动对象停留在哪些位置处和/或所述其他移动对象具有何种运动方向，以避免碰撞。此外适宜的是，在此进行对象的优先化，使得所述对象比其他对象有优先地位。

优选地，静态的和/或非自动化的移动对象（也即例如人员）在确定针对自动化的移动对象的运动预设时被作为障碍物加以考虑。这在障碍物对象情况下是特别有利的，所述障碍物对象本身并不拥有通信可能性、例如无线电模块，而是只能被动地被检测。这例如特别适用于人员。

运动预设于是必要时经由排在中间的计算系统被传送给子区域计算系统并且由此被传送给自动化的移动对象。在子区域计算系统上存在具有较高的或高的详细度的当前环境地图，使得由此可以对移动对象进行特别精确的控制。

优选地，在此可以从预设的区域的借助上级计算系统创建的当前环境地图中创建子区域的当前环境地图，并且传送给对应的子区域计算系统。因此，例如可以考虑从一个子区域运动到另一子区域的对象。在最下面的层面上存在的环境地图可以以此方式被更新。

随后应该用其他措辞和以更具体的示例为例概括本发明。因此提出具有不同层面的分布式网络、例如边缘服务器网络，所述分布式网络从先验数据、也即已存在的或保存的数据（例如3D-CAD数据、车间平面图等）中以及从传感器单元的数据中创建工厂车间或制造车间的尽可能无缝的3D环境地图并且对其进行管理。制造车间在此细分成监控单元意义上的不同的彼此毗邻的或也部分重叠的子区域，所述子区域装备有传感器单元，所述传感器单元尤其也用作监控传感器（例如立体摄像机），使得无缝地监控各个子区域和由此整个区域是可能的。

对3D数据的聚集和分析以及对在各个子区域中的对象的交通和碰撞监控由在最下面的层面上的对此主管的子区域计算系统、例如边缘服务器执行。这些子区域计算系统分别创建其自己的子区域的详细的3D环境地图，该3D环境地图基于传感器单元的数据可以持续地被更新。由此，所有可运动的或不可运动的对象包括其瞬间运动状态在内在子区域计算系统中是已知的。

最下面的层面的子区域的详细的3D环境地图根据网络层级分级地向上传递并且在每个层面上尤其进一步抽象一段（Stück）。由此实现信息减少。在最高的层面上，将所有信息聚集在上级计算系统、也即为在超级边缘服务器中，然而具有相对高的抽象度。该上级计算系统现在拥有整个区域、诸如同样可以持续地被更新的制造车间的粗略环境地图。

上级计算系统可以借助所述环境地图提前规划并且以合适方式协调在该区域中的所有自动化的移动对象（尤其自主机器人或车辆）的整个交通流。在此，尤其注意优化交通流以及避免碰撞。尤其是，在交通中未联网的对象（也即人员或职员）可以被保护免遭事故。

用于各个自动化的移动对象的轨迹规划或一般而言运动预设现在以相反方式向下在网络层级中被递送。在此情况下，上级计算系统以及中间层面上的所有计算系统可以在其他计算系统和必要时还有对象之间进一步分派特定的信息。自动化的移动对象的具体的监控以及本地协调最后由最下面的层面上的子区域计算系统接管。所述子区域计算系统控制最下面的层面上的自动化的对象。自动化的移动对象本身由此仅仅还需要非常简单的、有限的传感器装备和导航功能性，所述导航功能性对于所述移动对象而言例如仅仅用作紧急制动或紧急避让功能以及用于在近区中的精细导航（例如在对接到线路的站上时，用以分派产品、半成品或原材料）。

以此方式，通过交通流优化（尤其在具有不进行通信的对象的混合场景中使用多个联网的自主运输系统的情况下）实现整个制造车间（或工厂）的性能的改善。此外，所有对象、尤其未联网的人类对象的安全性的提高通过实现安全功能（例如在自主运输系统情况下的避免碰撞、人员警告、通过识别闯入设备的安全区域中的对象对机器监控的安全功能的辅助）来实现。此外，在自动化的移动对象的传感器和计算机装备方面的节约是可能的。

具有多个计算系统的根据本发明的系统尤其在程序技术上被设立用于执行根据本发明的方法。

该方法以计算机程序形式的实施也是有利的，因为尤其当进行实施的控制设备还被用于其他任务并且因此反正存在时，这引起特别小的成本。用于提供计算机程序的合适的数据载体尤其是磁性的、光学的和电的存储器，诸如硬盘、闪速存储器、EEPROM、DVD等。经由计算机网络（互联网、内联网等）下载程序也是可能的。

本发明的其他优点和扩展方案从说明书和所附的附图中得出。

根据附图中的实施例示意性地示出并且在下文中参照附图描述本发明。

附图说明

图1示意性地示出在一种优选的实施形式中处于环境中的根据本发明的系统。

图2示意性示出在一种优选的实施形式中的根据本发明的方法的流程。

具体实施方式

在图1中示意性地示出了在一种优选的实施形式中处于空间区域200中的根据本发明的系统100，所述系统具有大量计算系统，利用所述计算系统可以执行根据本发明的方法。

在图2中示意性地示出了在一种优选的实施形式中的如能够在如图1中所示的系统上被执行的根据本发明的方法的流程。

在下文中应该根据图1和图2全面地描述该系统和该方法。

网络或联网的计算系统意义上的系统100由多个层面和多个计算系统、尤其所谓的边缘服务器构成，其可以越过不同的网络层面分布并且链接。存在最高层面，其具有上级计算系统130（尤其所谓的超级边缘服务器（Super-Edge-Server）），其本身也可以是分布式系统。该上级计算系统130在所示的示例中将所有其他计算系统120的信息聚集到下级中间层面上并且必要时面向需求地将所述信息进一步分派给有关的计算系统。

最下面的网络层面由多个子区域计算系统110构成并且与位于其上的中间层面的计算系统120联网。最下面的网络层面的特点在于，所述最下面的网络层面将在当前为制造车间的区域200中分布的传感器单元联接到整个网络或系统上用以识别和跟踪所有位于制造车间中的对象。系统的中间层面的架构和数目面向（orientieren sich an）区域200的大小以及遵循（orientieren sich nach）要连接的计算系统的数量。移动对象本身也可以临时或永久地是整个网络或系统的一部分。在此情况下尤其是认为，所有（联网的）对象和计算系统是可明确标识的（例如经由明确的IP或MAC地址）。

此外，适宜地认为：该系统拥有制造车间的全局环境地图（尤其以3D的方式）和其到子区域的细分，所述子区域这里构造为监控单元。在图1中示例性地示出了两个子区域201和202，所属的（静态）地图在图2中用K₁和K₂表示。其中尤其是也存在各个子区域计算系统的位置以及传感器单元的位置和定向。在已创建了区域200的环境地图之后，所有传感器单元（例如摄像机）的位置和必要时定向是已知的。

在此分别可明确标识的子区域计算系统主管每个子区域。只要该系统100不获得新环境地图，则可以认为，迄今为止的环境地图具有有效性。在图1中示例性地示出了几个无线电模块250和几个摄像机251作为在区域200或子区域201、202中的传感器单元，所述传感器单元检测在相应的子区域中的对象的位置和运动信息，这在图2中用I₁或I₂表示。对象本身在图1中用201、211和212表示，其中210表示固定的或静态的对象，而211表示自动化的移动对象，对于所述移动对象绘出所规划的路线。用212表示作为对象的人员。

区域200的在时间上可变的自适应（当前）环境地图（在图2中用K表示）的结构和管理分布式地在系统100中的不同的层面上进行。在分辨最下面的网络层面上的子区域计算系统110首先仅拥有其自己的本地子区域（即根据图1子区域201或202）的详细的环境地图，所述子区域计算系统本身主管所述子区域。在图2中，这些环境地图用K₁和K₂表示。这些环境地图在使用位置和运动信息I₁、I₂的情况下变成当前的环境地图K'₁或K'₂。

在系统100中的中间层面上可以存在具有更低的详细化或更高的抽象性的上级环境地图。相应的环境地图的抽象水平在此尤其对应于系统100中的主管其（sie）的计算系统的中间层面的相应层级等级（Hierarchiestufe）。在最下面的层面上的环境地图以最大的详细化可用。整个区域的上级环境地图K在处于最上面的网络层面上的上级计算系统（即尤其是所谓的超级边缘服务器）中以粗粒度或在高抽象水平上被构建和管理。

整个区域的环境地图首先仅在那里是已知的。但在需要时，上级计算系统也可以将这些环境地图（或来自其的特定信息）进一步分派给（不仅在中间层面中而且在最下面的层面上的）其他下级计算系统。此外，上级计算系统130也可以有针对性地询问和（例如在从监控单元或子区域中询问相邻的子区域的信息时）进一步分派或必要时甚至处理下级计算系统的子区域的详细的环境地图（或来自其的特定信息）。

区域200划分成子区域，所述子区域理想地可以彼此无缝地毗邻或必要时也相互重叠。如所提到的那样，在图1中示例性地示出了两个子区域201、202。子区域的形状、布置和大小可以是任意的。每个子区域计算系统主管特定的子区域并且将监控同一子区域或存在于那里的所有传感器单元的信息链接、合并和压缩，并且利用所述信息用以创建或更新子区域的其详细的本地环境地图。

根据整个区域200的最后形成的环境地图、也即最终的总地图，上级计算系统130也能够标识在监控系统中的未被监控的区域或缝隙，并且将其例如显示给操作者。

上级计算系统130因此尤其接管用于所有接入网络中的自动化的移动对象的总协调（优先化、轨迹规划等等），也就是说为这些对象进行运动预设V，如在图2中所标明的那样。未联网的移动对象（也就是说尤其人员）被考虑作为可运动的（或动态的）干扰参量或障碍物，以便避免危险状况、诸如碰撞。

在相应区域中的对象方面尤其在如下类别之间加以区分：

- 固定对象（例如机器、设备、车间结构的部分、底架等），其中在此情况下又在具有通信能力的固定对象（例如应该由移动对象驶向的特定机器和设备）以及不具有通信能力的固定对象（例如车间结构的部分、障碍物等）之间加以区分，所述具有通信能力的固定对象本身拥有至网络、也即尤其至子区域的相应的计算系统的通信连接并且因此本身是网络用户，所述不具有通信能力的固定对象不拥有网络连接。

- 可运动的或移动对象，更确切而言在此情况下一方面为具有通信能力的可运动的对象（例如自主的运输系统、带有RFID标签的工件运载系统等等），所述具有通信能力的可运动的对象本身拥有至网络、也即尤其至子区域的相应的计算系统的通信连接并且因此本身是网络用户，以及另一方面为不具有通信能力的可运动的对象（例如人员），所述不具有通信能力的可运动的对象不拥有网络连接。然而这些尤其可以被标识、观察并且被考虑为系统中的干扰因素或障碍物。

借助区域的无缝3D环境方式以及借助对象的位置和运动信息例如可以实施如下任务：

- 尤其在考虑交通参与者意义上的大量自主的非人类对象（移动机器人）的情况下，在此情况下尤其通过应用预设的交通规则（例如先行规则）、对交通参与者进行优先化、识别可通行的无碰撞的路径（例如在考虑交通参与者的大小，包括其装载物在内的情况下）和在考虑相应的状况的情况下寻找最优路线进行全局路线规划（利用交通规则和优先化）。

- 优化在该区域中、尤其在制造车间中的交通流，连同优化具有通信能力的移动对象的路线，用以使所使用的资源最小化（例如使经过的路程或行驶时间最小化）。

- 从对象的运动信息中提前计算潜在碰撞，连同例如通过重新规划路线或通过有针对性地使各个对象停住（Anhalten）和主动等待，并且警告其他对象，以便所述其他对象局部地改变其轨迹或路线或停住来主动避免碰撞。

- 利用处于该区域中的对象的地点和运动数据，用以辅助机器和设备的其他安全功能（例如识别例如进入机器人的安全区域的对象和尤其人员）。在此，可以借助上级计算系统提前警告待监控的设备：对象不久将闯入其监控区域中。借助上级计算系统的信息可以检验：对象是否在特定的方向上再次离开了设备的监控区域，由此例如可以导出用于从安全状态重新开动设备的指令。上级计算系统在其中可以辅助：标识闯入设备的监控区域中的对象。

- 在上级网络中的各个传感器单元故障的情况下或在移动对象的情况下利用监控网络中的冗余。

所有移动对象的总协调在最上面的网络层面上进行，这尤其包括优先化和总路线规划。上级计算系统知道所有对象（包括障碍物在内）的位置和运动状态和在该区域中自动化的移动对象的所有所规划的通路或线路。

上级计算系统可以通过反馈实时数据持续地更新3D环境地图和总路线规划并且符合状况地改变或适配自动化的移动对象的运动规划或运动预设。在图2中，这通过运动预设V₁或V₂表明，所述运动预设针对各个子区域或针对对应的计算系统而设置。由此例如可以优化交通流并且避免对象彼此间的可预见的妨碍。总路线规划接着除了各个子区域的最下面的层面之外（bis auf…）被分解（herunterbrechen）并且被分派给分别主管的子区域计算系统。

该最下面的层面现在附加地也接管碰撞监控和避免碰撞形式的安全功能。由于也分析在最下面的层面上的传感器数据，所以为此所有所需要的信息以最大分辨率和带宽可供使用。在最下面的层面上的子区域计算系统由此现在可以有针对性地起动（ansprechen）在其子区域中的自动化的移动对象并且改变或符合状况地影响其轨迹和速度。因此，例如可以使具有低优先级的对象停住，以便让具有较高优先级的另一对象通过。避让机动或障碍物绕行形式的轨迹或路线的改变或速度的降低也是对所识别出的碰撞风险的可能的反应。

自动化的移动对象获得包括紧急制动或紧急避让功能在内的精细导航，当上级计算系统例如失灵或不再足以对移动对象导航时，所述紧急制动或紧急避让功能例如起动（ansprechen）。在这样的状况下，移动对象上的本地导航系统起了作用。为此，在移动对象上优选本身同样设置传感器或传感器单元和安全功能。然而，这些传感器或传感器单元和安全功能适宜地仅仅具有短的有效距离并且由此优选地用于备用解决（Backup-Lösung）或紧急制动或紧急避让功能或用于在近区中进行精细导航（例如发现到线路（Linie）的站（Station）上的正确的对接位置）。

与全局安全功能相比，自动化的移动对象的本地安全功能可以仅仅监控围绕自动化的移动对象的小的子区域，其中所述全局安全功能可以经由网络动用在其相应的子区域中、在相邻的子区域中或也在整个系统中所有可运动的对象的运动信息并且基本上由在最下面的层面上、也就是说在子区域中的计算系统控制，所述本地安全功能仅仅本地地在自动化的移动对象的计算单元上运行。只要它们（sie）不从上级网络获得其他信息，则它们合理地只能在低的安全速度的情况下被运行。通过使用在相应的子区域中或在上级系统中所有可运动的对象的运动信息，自动化的移动对象在利用全局安全功能的情况下允许以高得多的速度运动，因为因此可能的碰撞已经能够早得多地被识别和避免。

全局路线的规划不仅包括轨迹协调，而且包括沿着轨迹要行经的子区域和分别对此主管的子区域计算系统或其彼此间的链接。如果上级计算系统已规划了路线，则该上级计算系统将该规划（包括优先化和必要时时间分量在内）不仅分派给有关的移动对象，而且分派给沿着要行经的路线的子区域计算系统。由此，本地子区域可以在时间上对将进入其影响区域中的不同的可运动的对象分类（分级）并且由此优化碰撞监控和运动的本地影响。

在未联网的对象的情况下，上级层面上的上级计算系统最大地知道位置和运动方向，尤其瞬时速度向量（在本地层面上，3D姿态也可以是可用的）。这些信息可以借助来自下面的层面的子区域的传感器单元的数据持续地被更新。利用这些说明可以为短时段预测临时路径。利用这些信息，碰撞状况尤其根本不能首先形成，其方式是：指示自动化的移动对象（例如运输助手）停住、更缓慢地行驶、避让或采取完全不同的通路。

保护未联网的对象免遭可能的危险的其他可能性例如也在于，以声学或光学方式向所述未联网的对象警告提防面临的或逼近的危险。

Claims (11)

1.一种用于协调和监控在预设的空间区域（200）中的对象（210，211，212）的方法，所述空间区域包括多个子区域（201，202），给所述子区域分别分配子区域计算系统（110），

其中借助相应的子区域计算系统（100）在使用传感器单元（250，251）的情况下确定在所述相应的子区域（201，202）中的对象（210，211，212）的位置和运动信息（I₁，I₂），

其中借助所述相应的子区域计算系统（110）在使用所述相应的子区域的相应的环境地图（K₁，K₂）和所述位置和运动信息（I₁，I₂）的情况下创建所述相应的子区域的相应的当前环境地图（K'₁，K'₂），

其中所述相应的当前环境地图（K'₁，K'₂）被传送给共同的上级计算系统（130），

其中借助所述上级计算系统（130）创建所述预设的空间区域（200）的当前环境地图（K）并且基于此在确定运动预设（V，V₁，V₂）的情况下协调自动化的移动对象（211）在所述空间区域中的运动，以及

其中所述运动预设（V，V₁，V₂）被传送给所述子区域计算系统（110）和由此被传送给所述自动化的移动对象（211）。

2.根据权利要求1所述的方法，其中在使用传感器单元（250，251）的情况下借助所述相应的子区域计算系统（110）确定在所述相应的子区域（201，202）中的移动对象（211，212）的位置和运动信息以及静态对象（210）的位置信息。

3.根据权利要求1或2所述的方法，其中在确定用于所述自动化的移动对象（211）的运动预设的情况下将静态的和/或非自动化的移动对象（212）考虑为障碍物或动态干扰参量。

4.根据上述权利要求中任一项所述的方法，其中借助所述子区域计算系统（110）在所述自动化的移动对象（211）的运动方面对所述自动化的移动对象（211）进行监控。

5.根据上述权利要求中任一项所述的方法，其中所述传感器单元（250，251）选自：摄像机、尤其是摄影机和立体摄像机、超声波传感器、麦克风、接近传感器、RADAR单元、飞行时间摄像机、LIDAR单元、无线电模块、尤其WLAN单元和蓝牙单元、惯性传感器和距离传感器。

6.根据上述权利要求中任一项所述的方法，其中抽象所述相应的当前环境地图（K'₁，K'₂），所述当前环境地图被传送给所述共同的上级计算系统（130）。

7.根据上述权利要求中任一项所述的方法，其中设置具有排序于中间的计算系统（120）的一个或多个层面，借助所述计算系统汇总并且尤其是抽象在从所述子区域（201，202）的子区域计算系统（110）到上级计算系统（130）的通路上的当前环境地图（K'₁，K'₂）。

8.根据上述权利要求中任一项所述的方法，其中从所述预设的空间区域（200）的借助上级计算系统（130）创建的当前环境地图（K）中创建子区域的当前环境地图，并且传送给对应的和/或其他子区域计算系统（110）。

9.一种系统（100），其具有多个计算系统（110，120，130），所述系统被设立用于执行根据上述权利要求中任一项所述的方法。

10.一种计算机程序，当所述计算机程序在系统（100）上被实施时所述计算机程序促使所述系统（100）执行根据权利要求1至8中任一项所述的方法。

11.一种机器可读存储介质，其具有存储在其上的根据权利要求10所述的计算机程序。

Images