CN101512452A - 基于摄像机监控具有移动机器部件的机器以防碰撞 - Google Patents

Abstract

对于以相当大的速度移动的现代工业机器人，碰撞通常对机器人和碰撞对象产生严重的损坏。这可以导致受伤以及代价较大的生产停工。因此一种用于在具有移动机器部件的机器与位于其周围的对象之间无碰撞交互的方法涉及使用当前位置和动态行为的知识来确定并且监控安全区域。特别地，移动机器部件的图像数据由图像记录系统进行记录并且与数据库相关联，数据库是在训练阶段中使用至少一个移动机器部件的图像数据被建立的。数据库包含针对机器的移动周期内的多个移动阶段的图像数据。将当前记录的图像数据与该数据库相关联包括既确定移动机器部件的当前位置，又估计在停止时间内可达到的未来位置。该估计是优化机器在有碰撞危险的情况下的动态行为的基础。

Description

基于摄像机监控具有移动机器部件的机器以防碰撞

本发明涉及一种根据权利要求1和14的前序部分的用于基于摄像机监控具有移动机器部件的机器以防碰撞的方法和设备。

对于以相当大的速度移动的现代工业机器人，碰撞通常既对机器人又对它们所处理的工件引起严重的损坏。这可以导致代价较大的生产停工。与自动操作机器人进行交互的人员的安全也被给予最高的优先级。在具有移动机器部件的现代工业机器人或其它机器中，移动机器部件的移动代表对于人员和其它对象的危险，因此必须使用保护性设备来防止在移动机器部件与对象之间发生碰撞。为此，在发生偶然接触之前通常足以使机器静止。从关闭命令直到机器处于静止的时间被称为停止时间，停止时间确定要保持远离机器的距离。

从现有技术已知用于防护机器部件的各种传感器和估测方法。最简单的选择包括用固定笼来包围机器，所述固定笼的入口(例如门)耦合到传感器使得当进入笼时机器停止。如果在入口与移动机器之间存在足够的距离，则在人员可以与机器形成接触之前，机器已经处于静止。

被布置在移动机器周围的空间中的并且当光束被中断时将关闭信号发送给机器的挡光板和光帘(light curtain)是普遍的，但由于光发射器和传感器必须彼此精确地对准，因此设计费用相对较高。

德国公开的专利申请DE 103 58 770 A1描述了一种安全系统，使用所述安全系统可以通过包括多个摄像机的装置来监控机器及其附近。可以通过根据同步记录图像的三角测量来确定对象点在空间中的空间位置。如果一定数量的点位于预先定义的体积中，则机器将被关闭。与使用挡光板和阵列相对，实际上可以这种方式来监控任何体积。然而，这种体积是静态的，并且它们仅仅可以由程序控制进行激活或者禁用。

为了灵活地配置人员与移动机器之间的距离，德国公开的专利申请DE 102 26 140 A1提出确定各个单独机器人铰接的目前和先前的铰接设置以及铰接速度，并且据此推导与机器人在停止时间期间的移动路径的构造相关的预测。当推导停止时间期间中的移动路径时，还使用与移动机器部件的最大速度和最大负加速度相关的知识。尽管通常要考虑大量的参数，但为了实现系统的实时能力，提出了应该通过神经网络来确定当前的停止时间、并且因此确定当前的停止距离。通过传感器来记录在机器人的移动部分与其附近的人员/对象之间的距离，并且将所述距离与确定的停止时间或距离相关联，从而可以在有碰撞危险的情况下产生关闭信号。

德国公开的专利申请DE 103 24 627 A1描述了用于自动工作机器的另一安全系统。在此情况下，限定在机器周围的并且由机器上安装的传感器所监控的安全区域适合于已知的即时移动行为和未来移动行为。在人员进入安全区之一的情况下，根据他们观看的方向或根据他们的移动行为来估计进入安全区域是有意还是偶然的。在有意进入的情况下修改安全区域，有意进入通常与人员对工作机器的计划的干预相关。

为了能够在任何时间估计正确的停止时间或安全区域的尺寸定位，在现有技术的已知方法中必须使用由机器或其控制程序所提供的数据。这仅当机器具有适当的数据接口时才是可能的，通过所述数据接口可得到用于动态防护机器所需的所有数据。然而，通常没有这种接口。

鉴于现有技术，本发明的一个目的在于提供一种用于在具有移动机器部件的机器与其附近的对象之间无碰撞交互的方法和设备，所述方法和设备甚至可以在没有由机器及其控制程序进行的完全数据通信的情况下工作。

通过根据权利要求1和14的方法和设备来实现该目的。在从属权利要求中描述了本发明的有利配置和细化。

在用于机器与其附近的对象之间无碰撞交互的新颖方法中，使用机器的当前位置和动态行为的知识。使用该知识以及与从关闭直到机器部件处于静止的持续时间(停止时间)相关的信息，来估计移动机器部件可在该停止时间内达到的未来位置。在普通的标准工业机器人中，例如，第一铰接的最大速度和最大负加速度通常分别是240度/s和880度/s²，其给出在最大速度时大约33度的停止角度。

基于这个估计，然后确立机器和/或移动机器部件周围的安全区域的大小。通过传感器来监控这些安全区域以便检测对象的进入。如果对这些安全区域中的至少一个进行的这种监控的结果是检测到进入其中的对象，则控制机器和/或移动机器部件的驱动以便修改机器部件的动态移动行为。

通过图像获取系统来有利地记录移动机器部件的图像数据。将这些图像数据与数据库相关联，所述数据库是在训练阶段中使用机器和/或至少一个移动机器部件的图像数据编辑出的。特别地，该数据库包含既涉及移动机器部件的移动过程内的多个移动阶段又涉及该多个移动阶段的动态关系的图像数据。在将当前记录的图像数据与该数据库相关联的范围中，既确定了移动机器部件的当前位置，又估计了移动机器部件在停止时间内可达到的未来位置。

根据通过图像传感器所记录的数据来确定当前位置和未来位置并且将它们与对应的数据库相关联有利地实现了相对于由机器或其驱动所发送的信息的独立性。因此，即使由机器所提供的数据本身不充分，通过根据本发明的方法进行工作的设备也能够监控具有移动机器部件的机器。因此该方法可以灵活地用于各种机器。在较短的训练阶段之后，该方法和新颖设备可以用于对任何类型的机器进行碰撞监控而独立于机器的控制程序(无论由软件技术或是硬件技术加以实施)，在所述较短的训练阶段期间通过观测移动机器部件的移动过程来产生数据库。

优选地通过多目镜摄像机系统来记录图像数据。该摄像机系统有利地具有已定义的立体基础(stereobasis)，其使得可以通过立体视觉估测方法来确定摄像机系统与空间中的各个对象点之间的距离。

为了提供适合于位置确定和未来位置的估计的数据库，在机器或移动机器部件的移动过程的训练阶段中，应该存储尽可能多的移动阶段的图像数据。在这种情况下，有可能通过将数据库中存储的移动阶段的多个图像数据相关联(特别地，取平均)来确定该移动阶段的图像数据的信息。在产生了该数据库之后，接着将来自当前图像数据的信息和数据库中存储的与移动阶段相关的数据进行比较，并且移动机器部件的被确定为当前位置的位置是以下位置：该位置被分配给一移动阶段，该移动阶段的信息与通过图像数据被当前确定的信息最相似。

除了从单独的移动阶段的图像数据推导出用于确定至少一个移动机器部件的当前位置的信息之外，数据库还有利地包括与移动过程的该多个移动阶段的动态关系相关的信息。通过当前的移动阶段，有可能根据数据库不仅找出随后是哪个移动阶段，而且找出单独的移动阶段之间的改变按什么时间间隔发生。

很多可以想到的用于确定移动机器部件的当前位置的有利选择之一包括：通过模板匹配将当前记录的图像数据与数据库中存储的图像数据相关联。在此情况下，移动机器部件的被确定为当前位置的位置是以下位置：该位置被分配给一移动阶段，该移动阶段的存储的图像已经通过模板匹配被识别为与当前记录的图像数据最相似。

在另一方法中，当在训练阶段期间编辑数据库时由图像获取系统所记录的图像数据经受变换并且以此形式被存储，并且用于在经过相应的变换之后在未来与当前记录的图像数据相关联。在此情况下主轴变换(Hauptachsentransformation)是特别优选适合的，这是由于待存储在数据库中或者待关联的数据量可以由此显著减少。再次地，移动机器部件的被确定为当前位置的位置是以下位置：其变换后的图像被识别为与当前记录的图像数据的变换最相似的那个移动阶段所对应的位置。可以根据各个移动阶段的多个映射或这些映射的变换、特别是通过取平均来在训练阶段期间确定在多维空间内分配给移动阶段的位置。

为了在多维空间中最有利地应用相似性运算符，可推荐按照在多维空间中经过分别被分配给移动阶段的点的路径来映射移动阶段的序列。然后将变换后的当前图像数据分配给移动机器部件的一移动阶段，该移动阶段沿着多维空间中的路径的位置与当前计算出的位置最相似。

可以通过考虑路径在多维空间中的连续性来基于确定为当前移动阶段的移动阶段的位置而最佳地确定移动机器部件在停止时间内可达到的未来位置。

例如可以根据与机器部件的物理特性相关的先验知识来推导出机器部件在关闭之后将移动多远。然而，另一方面，还有可能基于先前通过图像数据记录下的多个移动阶段，进而在系统的训练阶段期间用实验方法确定这种在关闭的情况下的行为。

基于移动机器部件的确定出的当前位置，并且使用未来可达到的位置的知识，可以确立待分配给移动机器部件的安全区域。为此，有利地确定在停止时间期间机器部件行进通过的所有位置。在此基础上，这些位置扩展为区域，根据在移动机器部件的附近潜在地存在的或检测到的对象在停止时间内可行进的距离来限定区域的大小。例如，当在附近检测到人员时，显然他或她将不会进行巨大跳跃的移动；人员的最大速度和加速度也是已知的，并且如果适当的话当前也可以根据附加执行的移动分析相对于人员的方向对人员的最大速度和加速度进行非常好的估计。

通过对在停止时间期间为移动过程所确定的位置在所有侧扩展来标记至少一个安全区域的尺寸是尤其简单而有利的。

为了检测安全区域之一中的对象(尤其是人员)，多种非常不同的传感器是适合的，但尤其是激光雷达、雷达、或超声波传感器。摄像机传感器可以尤其有利地应用于此。因此，例如，用于记录移动机器部件的移动过程的图像获取系统也可以同时用于检测对象进入安全区域的至少一个中。

根据通常的定义，每当两个对象同时位于相同的空间区域中时，它们之间就发生碰撞。因此可以通过确定与由机器部件和对象所占据的空间相关的交集来非常简单地执行碰撞确定；如果存在这种交集，则发生碰撞。

根据Franke等人的工作(U.Franke，C.Rabe，H.Bardino，S.Gehrig；6D-Vision：Fusion of Stereo and Motion for Robust EnvironmentPerception，in Walter G.Kropatsch，Robert Sablatnig，Allan Hanbury(Eds.)：Pattern Recognition，27th DAGM Symposium，Wien，Osterreich，August 31-September 2，2005，Proceedings.Lecture Notes in ComputerScience 3663 Springer 2005，pages 216-223)，被转换为具有移动信息的三维图像数据的传感器信息尤其有利地适合于图像碰撞确定。在此情况下将卡尔曼(Kalman)滤波器分配给每个三维点，这预测其移动。如果足够大数量的三维点的预测路径经过预定安全区域，就预示着碰撞。

如果现在检测到由于对象被检测到进入安全区域的至少一个中而导致的碰撞危险，则控制机器和/或移动机器部件的驱动以修改机器部件的动态移动行为。在最简单的情况下，这种修改导致关闭移动机器部件的移动。但由于与碰撞相关的判决是纯二进制的，因此在危急情况下，尤其是例如当人员在机器前面移动时，关闭有时导致机器部件的急动运动。一方面，这样给机器的机械结构施加压力，而另一方面，这意味着其附近的人员难以理解其行为。

因此，在有可能碰撞的情况下，优选首先修改、尤其是减慢移动机器部件的移动速度；当碰撞发生的可能性较大时就应更大地修改、尤其是减慢移动机器部件的移动速度。为此，可推荐的是：速度的改变应该与对即将发生的碰撞的估计概率成比例地进行。这种碰撞概率的估计发生在检测到对象进入机器的安全区域之后，并且其描述移动机器部件随后将与位于安全区域中的对象真实碰撞的概率。

由于与估计碰撞概率相关的所有量都受到测量误差的影响，因此优选的是为这些量分配概率密度。由于在机器周围的可能性较小的区域中的测量仅导致速度减小，而不是完全关闭，因此这种方法形成相对较小的保护区域。

为了估计碰撞概率，优选地对移动机器部件在停止时间期间所经过的空间进行量化，为每个量化部分确定各自的碰撞概率。然后根据所有部分的各自概率之和推导出真实的碰撞概率。

为了在另一变型中估计碰撞概率，为所有相关的组件分配概率密度函数，并且根据贝叶斯(Bayes)定理将这些概率密度函数组合起来。为此，基于训练视频序列的图像数据来对移动机器部件的先验概率进行指定或者进行近似。

Claims (14)

1.一种用于在具有至少一个移动机器部件的机器与所述移动机器部件附近的对象之间无碰撞交互的方法，其中，使用所述移动机器部件的当前位置和动态行为的知识并且使用停止时间的知识来估计在所述机器部件处于静止之前的停止时间内所述机器部件可达到的未来位置，其中，根据估计出的可达到位置来确立所述机器部件周围的至少一个安全区域，其中，通过来自对象传感器的传感器数据来检测对象进入所述安全区域，以及其中，当检测到对象进入所述安全区域时控制所述机器部件的驱动以便修改所述机器部件的动态移动行为，其特征在于，通过图像获取系统来记录所述机器部件的图像数据，并且将所记录的图像数据与基于图像数据编辑出的数据库的数据相关联，所述数据库包含与所述机器部件的移动过程内的多个移动阶段相关的图像数据，并且根据所述数据库来估计所述机器部件的当前位置和在所述停止时间内可达到的位置。

2.根据权利要求1所述的方法，其特征在于，通过多目镜摄像机系统来记录所述图像数据。

3.根据前述权利要求之一所述的方法，其特征在于，通过将当前记录的图像数据与存储在所述数据库中的图像数据相关联来确定所述机器部件的当前位置，其中，所述当前位置被确定为所述移动机器部件的以下位置：该位置被分配给一移动阶段，该移动阶段的存储的图像被标识为与所述当前记录的图像数据最相似。

4.根据权利要求1至3之一所述的方法，其特征在于，使当前记录的图像数据经受变换、尤其经受主轴变换，并且与存储在所述数据库中的数据相关联以便确定所述机器部件的当前位置，其中，所述移动机器部件的当前位置被确定为以下位置：该位置与一移动阶段相对应，该移动阶段沿着由所述机器部件的移动过程所描述的路径在变换的坐标系统中的映射与所述当前记录的图像数据的变换最符合。

5.根据权利要求4所述的方法，其特征在于，通过使用在变换的坐标系统中描述机器部件的移动过程的路径来估计所述机器部件在从当前确定的位置开始的停止时间内达到的未来位置。

6.根据前述权利要求之一所述的方法，其特征在于，通过以下方式来确立所述安全区域：基于所述数据库来确定所述机器部件在所述停止时间期间可达到的多个位置，并且将所述多个可达到的位置扩展为区域，优选地根据在所述移动机器部件的附近检测到的对象能够在停止时间内行进的距离来执行所述扩展。

7.根据权利要求6所述的方法，其特征在于，在所有侧扩展所确定的位置以便建立所述安全区域。

8.根据前述权利要求之一所述的方法，其特征在于，通过至少一个摄像机传感器来获得用于检测对象进入所述安全区域的至少一个中的传感器数据。

9.根据权利要求8所述的方法，其特征在于，所述传感器数据被转换为包括移动信息的三维数据以便检测进入。

10.根据前述权利要求之一所述的方法，其特征在于，所述动态移动行为的修改包括停止所述机器部件的移动。

11.根据前述权利要求之一所述的方法，其特征在于，所述动态移动行为的修改包括所述机器部件的移动速度的改变。

12.根据权利要求11所述的方法，其特征在于，以相关联的方式、尤其与估计出的碰撞概率成比例地执行速度的改变，在检测到对象进入所述安全区域之后执行所述估计，并且所述碰撞概率描述所述机器部件随后将与位于所述安全区域中的对象真实碰撞的概率。

13.根据权利要求12所述的方法，其特征在于，对所述移动机器部件经过的空间进行量化，为每个量化部分确定各自的碰撞概率，以及根据所有部分的各自概率的总和来推导出真实的碰撞概率。

14.一种用于在具有至少一个移动机器部件的机器与所述移动机器部件附近的对象之间无碰撞交互的设备，所述设备包括：第一单元，用于确定所述移动机器部件的当前位置和动态行为；第二单元，用于基于所述当前位置并且使用从所述移动机器部件的关闭直到移动机器部件处于静止的停止时间的知识，来估计在所述机器部件处于静止之前的停止时间内所述机器部件可达到的未来位置；第三单元，用于根据估计出的可达到位置来确定至少一个安全区域；至少一个传感器，用于检测对象进入所述安全区域；以及第四单元，用于当检测到对象进入所述安全区域时控制所述机器部件，以便修改所述机器部件的动态移动行为，其特征在于，用于记录所述移动机器部件的图像数据的图像获取单元、数据库以及用于将所记录的图像数据与所述数据库的数据相关联的比较器单元，所述数据库包含与所述机器部件的移动过程内的多个移动阶段相关的图像数据，而所述比较器单元被设计用于估计所述机器部件的当前位置和所述机器部件在所述停止时间内可达到的未来位置。