CN112218745A - 控制设备、控制方法、机器人设备和程序 - Google Patents

Abstract

提供了一种控制设备，该控制设备包括：评定单元，被配置成评定从传感器获取的环境信息是否表示了相关元件；以及环境信息设定单元，被配置成在评定单元评定环境信息表示了相关元件的情况下，将环境信息切换成其中不包括相关元件的预先获取环境信息。

Description

控制设备、控制方法、机器人设备和程序

相关申请的交叉引用

本申请要求于2018年5月30日提交的日本优先权专利申请JP2018-103203的权益，其全部内容通过引用并入本文。

技术领域

本公开内容涉及控制设备、控制方法和程序。

背景技术

迄今为止，以下PTL1已经指出：由观察机器人(机器人的一部分)的操作单元的传感器单元输出的检测信号被否定。

引用列表

专利文献

PTL 1：JP 2009-255264A

发明内容

技术问题

然而，在以上PTL 1中描述的技术中，由于否定了与机器人的操作单元相对应的检测信号，因此存在操作单元所在的区域的状况和周围环境不能被掌握的问题。因此，不清楚机器人的周围环境的状况，并且难以基于机器人周围的障碍物的位置等来制定机器人的操作计划。在以上PTL 1中描述的技术中，由于否定了与机器人的操作单元相对应的检测信号，因此在否定之后不能掌握机器人的周围环境的状况，并且妨碍了机器人的安全运行。

因此，即使在环境信息中包括或者表示了与机器人有关的元件的情况下，也必须使得能够实现最佳操作。

问题的解决方案

本公开内容由所附权利要求书界定。

根据本公开内容的实施方式，提供了一种控制设备，该控制设备包括：评定单元，被配置成评定从传感器获取的环境信息中是否包括或者环境信息是否表示了相关元件(例如，机器人臂，尽管下面给出了其他示例)；以及环境信息设定单元，被配置成在评定单元评定从传感器获取的环境信息中包括相关元件的情况下，将环境信息切换成其中不包括相关元件的预先获取环境信息。

另外，根据本公开内容的实施方式，提供了一种控制方法，该方法包括：评定从传感器获取的环境信息中是否包括或者环境信息是否表示了相关元件；以及，在评定环境信息中包括或者环境信息表示了相关元件的情况下，将环境信息切换成其中不包括相关元件的预先获取环境信息。

另外，根据本公开内容的实施方式，提供了一种程序，该程序用于使计算机用作：被配置成评定从传感器获取的环境信息中是否包括或者环境信息是否表示了相关元件的装置；以及被配置成在评定环境信息中包括或者环境信息表示了相关元件的情况下将环境信息切换成其中不包括相关元件的预先获取环境信息的装置。

本发明的有益效果

如以上所描述的，根据本公开内容的实施方式，即使在相关元件包括在环境信息中的情况下，也能够实现操作。

注意，上面描述的效果并非是限制性的。利用以上效果或替代以上效果，可以实现在本说明书中描述的效果或可以根据本说明书而掌握的其他效果中的任何效果。

附图说明

[图1]图1是示出根据本公开内容的实施方式的机器人设备沿箭头方向运动的状态的示意图；

[图2]图2是示出包围盒的示例的示意图；

[图3]图3是示出相关元件包括在包围盒中的情况下的处理的示意图；

[图4A]图4A是示出其中切换了环境信息的切换范围的示意图；

[图4B]图4B是示出其中切换了环境信息的切换范围的示意图；

[图5A]图5A是基于时间序列示出在当前时间获取和预先获取的环境信息的使用示例的示意图；

[图5B]图5B是基于时间序列示出在当前时间获取和预先获取的环境信息的使用示例的示意图；

[图5C]图5C是基于时间序列示出在当前时间获取和预先获取的环境信息的使用示例的示意图；

[图6]图6是示出机器人设备中的处理的流程的流程图；

[图7]图7是示出其中获得包括抓握对象的包围盒的示例的示意图；

[图8]图8是示出其中两个臂存在以在机器人设备和壁之间交叠的示例的示意图；

[图9A]图9A是示出预测移动障碍物的运动轨迹的处理的示例的示意图；

[图9B]图9B是示出预测移动障碍物的运动轨迹的处理的示例的示意图；

[图9C]图9C是示出预测移动障碍物的运动轨迹的处理的示例的示意图；

[图9D]图9D是示出预测移动障碍物的运动轨迹的处理的示例的示意图；

[图10]图10是示出通过叉车的卸载的示例的示意图；

[图11]图11是示出控制机器人设备的控制设备的配置的框图；

[图12]图12是示出方法的示意性流程图；

[图13]图13是示出数据处理设备的示意图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本上相同功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

注意，按以下顺序给出描述。

1.外部世界信息在自主运动技术中的意义

2.机器人设备的概述

3.被相关元件遮挡的区域的信息替换

3.1.关于包围盒

3.2.包围盒的具体示例

3.3.包围盒中的环境信息的删除

3.4.环境信息的切换

3.5.信息切换的时序流程

4.机器人设备中的处理流程

5.相关元件包括抓握对象的情况

6.相关元件交叠的情况的示例

7.环境信息的动态预测处理

8.其中使用预先获取环境信息的其他示例

8.1.通过货物装卸车如叉车的传送工作期间的行动计划

8.2.安装有机器人臂的自主运动体的行动计划

1.外部世界信息在自主运动技术中的意义

为了使运动体如机器人自主地运动，必须时刻掌握运动体自身当前在何处以及在运动体附近是否存在阻碍运动的障碍物。对于自主运动体而言，存在两种障碍物。一种是不会随时间变化的静态障碍物，例如建筑物的墙壁。另一种是其位置和姿态可以随时间变化的移动障碍物，例如椅子。关于这些障碍物的信息是通过附接至自主运动体的外部传感器获取的。外部传感器在更新自主运动体的位置和姿态信息的同时，起到使自主运动体到达目的地而不会碰到障碍物的重要作用。

然而，如果附接至机器人的机器人的构成部件等即使仅覆盖或遮挡外部传感器的周围环境的一部分，则获取的外部世界信息受损，从而外部世界不能被正确地识别。结果，出现将机器人自身的构成部件错误地识别为障碍物的问题，从而到达目的地变得困难。因此，即使外部传感器感测到机器人自身的构成部件，也必须防止错误地识别为障碍物。此外，在构成部件是涉及与外部世界中的对象接触的构成部件如机器人臂的情况下，必须处理一些事物，包括传送期间的物体，以免被视为障碍物。

2.机器人设备的概述

现在将基于图1来描述根据本公开内容的实施方式的机器人设备(自主运动体)1000的整体的概略构造。下面参照图11来论述进一步的细节。

图1是示出根据本实施方式的机器人设备1000沿箭头方向运动的状态的示意图。机器人设备1000包括通过检测或获取或捕获环境信息来检测外部世界的状态的外部传感器200，并且在避开利用外部传感器200检测到的障碍物的同时朝向目的地运动。外部传感器200是对象识别传感器，该对象识别传感器(例如，通过用作被配置成测量距物体的距离的距离测量传感器)在距传感器200一定距离和/或相对于传感器200的一定方向上识别或至少检测作为物体的对象或者至少物体的存在，并且检测外部世界的环境信息，其中，传感器例如为摄像装置、ToF(飞行时间)传感器、光检测和测距(LIDAR)、深度传感器或RGB(成像)传感器。环境信息可以包括例如机器人设备1000周围存在的对象的位置信息。作为示例，如果外部传感器200是摄像装置，则环境信息可以包括图像信息；如果外部传感器200是ToF传感器，则环境信息是示出对象的深度位置的距离测量信息。在外部传感器200是摄像装置的情况下，与在ToF传感器中一样，可以通过使用3D摄像装置来获取对象的深度位置的信息。

如图1所示，机器人设备1000包括臂100。臂100用于抓握对象、检测对象的状态或执行其他事情。

在机器人设备1000运动时，存在外部传感器200感测机器人设备1000自身的构成部件的情况。例如，在臂100包括在外部传感器200的检测范围内并且外部传感器200已经感测到臂100的情况下，臂100自身由环境信息表示，并且因此通常被识别为是机器人设备1000的障碍物。由于臂100被错误地识别为障碍物，因此臂100存在的区域被判定成运动风险高的区域。在这种情况下，机器人设备1000的操作被确定成使得机器人设备1000不与臂100触碰。

如果将臂100识别为障碍物并且机器人设备1000的操作被确定成使得机器人设备1000不与臂100触碰，则对本来不是障碍物的臂100对机器人设备1000的操作施加了限制。因此，存在机器人设备1000的操作被过度限制的情况。

因此，在本实施方式中，在外部传感器200已经感测到与机器人设备1000自身有关的元件(在下文中，被称为相关元件)的情况下，外部传感器200不将该相关元件识别为障碍物，从而使得机器人设备1000的操作能够继续。在该上下文中的相关元件包括机器人设备1000自身中包括的构成部件比如臂100、臂100抓握的抓握对象、腿、轮、推进器、探针、工具、武器等。从而，可以抑制机器人设备1000的操作被过度限制。

具体地，在自主运动体如机器人设备1000运动时的障碍物感测中，即使感测到与自主运动体有关的相关元件，该相关元件也不会被识别为障碍物，并且运动继续。从而，即使在外部传感器的检测范围被相关元件遮挡的情况下，也可以执行运动而不会由于相关元件而受到限制。

在这种情况下，根据机器人设备1000的内部信息(例如，预编程信息、由机器人设备得出的信息、配置信息等)生成通过对相关元件的位置和/或形状在根据环境信息获得或检测到的空间中进行近似而获得的三维形状的形状近似信息(例如包围盒)；从而，相关元件的形状、位置和姿态信息从环境信息中被去除，并且解决了识别为障碍物的错误识别。在这些示例中，(例如，由下面将描述的评定单元530执行的)有关环境信息中是否包括或者环境信息是否表示了相关元件的评定被配置成基于以下信息来评定环境信息中是否包括或者环境信息是否表示了相关元件：其中对相关元件的位置和形状进行了近似的形状近似信息；以及环境信息。

形状近似信息可以是例如包括相关元件的简单形状的信息，其中，(如下面所论述的，例如由评定单元执行的)评定处理包括在环境信息中检测表示包括相关元件的简单形状的形状近似的存在。例如，它可以是通过扩大相关元件的轮廓而获得的信息，使得形状近似信息表示被裕量区域围绕的相关元件的轮廓的物理形状。

环境信息设定单元可以被配置成选择预先获取环境信息作为其中对相关元件的位置和形状进行了近似的形状近似信息的区域的环境信息，以替代其中相关元件被评定为被包括的环境信息。

另外，通过将去除了相关元件的形状、位置和姿态信息的环境信息切换(或选择替代)成预先获取的并且不包括相关元件的预先获取环境信息，推测被相关元件遮住的区域的环境信息。

因此，在一些示例中，环境信息设定单元被配置成选择预先获取环境信息作为被相关元件遮住的区域的环境信息。在一些示例中，其中，环境信息设定单元被配置成选择预先获取环境信息作为被评定为包括相关元件的区域和被相关元件遮住的区域的环境信息。

此外，通过结合三维形状的形状近似信息和环境信息来计划机器人设备1000的行动，抑制了相关元件与障碍物之间的无意接触。

通过以上，即使在机器人设备1000的相关元件遮挡了外部传感器的情况下，也可以在推测外部世界的环境的同时继续机器人设备1000的操作和运动。另外，相关元件不仅包括机器人设备1000的构成部件，而且包括例如在机器人设备1000的臂100保持并传送物体的情况下机器人设备1000所作用于的物体，从而可以用于宽广范围，而不仅仅是运动。

3.被相关元件遮挡的区域的信息替换

3.1.关于包围盒

为了使机器人设备1000掌握相关元件的位置，使用了作为覆盖整个物体的几何形状的包围盒的概念。基于机器人设备1000在其内部(或至少其构造和/或功能的一部分)具有的内部信息(相关元件的尺寸、关节角度等)来计算包围盒。具体地，包围盒是根据基于内部信息计算出的相关元件的形状、位置和姿态信息生成的。

图2是示出包围盒的示例的示意图。图2示出了其中针对臂100找到包围盒的示例，并且以通过虚线示出的长方体的区域示出了臂100的包围盒30。如图2所示，包围盒30是其中相关元件的形状被近似成简单几何形状比如长方体、立方体、圆柱、球体、圆锥体或角锥体的形状。另一方面，包围盒30可以是臂100的正好形状，或者可以是其中臂100的形状向外扩大规定量的形状。包围盒30的区域被设定成与原始臂100的区域相同的区域或者比原始臂100的区域大的区域。

另外，在相关元件包括如在机器人设备1000的臂100中的多个构成部件的情况下，例如，可以针对每个构成部件生成包围盒。

除了响应于限定包围盒的形状(和尺寸)的形状信息或相关元件100的其他形状近似之外，有关相关元件是否包括在环境信息中的评定还可以响应于限定相关元件相对于传感器的当前位置的信息(该信息可以由要在下面论述的操作计划单元570提供)。

在至少一些示例中，相关元件是与机器人设备有关的元件(例如，机器人设备的构成元件或构成部件，例如臂100)，并且能够根据相对于机器人设备的当前元件位置(例如，通过要在下面论述的一个或更多个致动器582)关于机器人设备进行运动并且由机器人设备控制；传感器200具有相对于机器人设备的当前传感器位置(该当前传感器位置可以是固定的或者例如能够通过一个或更多个致动器582运动)；以及有关相关元件是否包括在环境信息中的评定涉及响应于当前元件位置和当前传感器位置来检测限定相关元件相对于传感器的当前位置的信息(该信息例如可以从操作计划单元570经由示出为点线572的数据连接被供应至评定单元530)。注意，如以上所论述的，如果当前位置信息未知，则可以通过环境信息自身中的形状和/或对象检测来检测相关元件的位置。

3.2.包围盒的具体示例

具有其中可以包括整个相关元件的尺寸的长方体被用作包围盒的形状；从而，可以容易地执行关于与相关元件有关的环境信息是否包括在包围盒中的计算。

另一方面，对包围盒的形状没有特别限制。通过使用相关元件的CAD模型，可以生成最符合实际形状的包围盒。另一方面，在使用CAD模型的情况下，存在与相关元件对应的环境信息将偏离包围盒的内部的可能性。这可能是由于CAD模型的误差或内部信息如关节角度的误差引起的(使得实际的相关元件可以占据没有通过形状信息预测的空间中的区域)。通过将包围盒设定成简单的形状如长方体，并且以比相应的相关元件的尺寸大的尺寸生成包围盒(使得包围盒提供裕量区域)，可以防止对应于相关元件的环境信息由于内部信息如关节角度的误差而偏离包围盒的内部，从而可以提高鲁棒性。

作为用于使用CAD模型生成包围盒的另一种方法，可以通过将CAD模型扩大一定程度或来生裕量来生成其中可以考虑内部信息的误差同时形状保持沿相关元件的实际形状的包围盒。另外，可以针对一个构成部件生成多个包围盒。例如，包围盒可以通过组合多个立方体以覆盖一个相关元件而形成。在图2所示的臂100的包围盒的情况下，可以通过关于臂主体102和抓握单元104中的每一个生成包围盒并且将两者组合来生成臂100的包围盒。

3.3.包围盒中的环境信息的删除

接下来，描述包围盒中的环境信息的删除。如以上所描述的，可以根据机器人设备1000的内部信息获取包围盒的尺寸和位置。例如，如果将臂100的包围盒当作示例，则在针对臂100设置包围盒时，预先获取包围盒的尺寸(长度、宽度等)。另外，包围盒的姿态(角度)是根据设置在臂100的可移动单元(关节)中的编码器的检测值获取的。因此，可以根据由机器人设备1000获取的内部信息来掌握包围盒的尺寸和位置。

另一方面，通过外部传感器200获取示出机器人设备1000周围存在的对象的位置信息的环境信息。在外部传感器200的检测范围中包括相关元件并且外部传感器200正在捕获相关元件的情况下，相关元件的信息包括在环境信息中。

在基于在机器人设备1000侧掌握的包围盒的尺寸和位置发现包围盒中存在环境信息的情况下，环境信息对应于相关元件的信息。因此，在获取环境信息之后，首先，调查与相关元件相对应的环境信息是否包括在存在包围盒的空间中。

然后，在与相关元件相对应的环境信息包括在包围盒的空间中的情况下，可以通过从包围盒的空间内部去除或删除以上提及的环境信息来获得其中排除了相关元件的环境信息。换言之，一旦已经评定相关元件存在于环境信息中或包括在环境信息中，则删除来自与用于做出该评定的与包围盒相对应和/或被包围盒遮住或遮挡的区域的环境信息。

图3是示出相关元件包括在包围盒中的情况下的处理的示意图。图3示出了长方体的包围盒30，并且示出了由点群40示出相关元件的情况。如果利用外部传感器200检测到对象如相关元件或障碍物，则对象的空间形状和位置可以被表示为点群40的坐标的集合。

作为该处理的概述，所谓的“点云”中的点表示例如在3D空间中该点的3D位点或位置处存在某物的检测。在存在特定对象处，与该对象的检测相对应的点将趋于形成形状大致类似于被检测的对象的点群(图3的点群40是该点群的示例)。由于诸如检测的分辨率(点对点距离)、噪声、检测误差、对象或对象的一部分相对于传感器200的遮蔽等因素，点群的形状(与正在被检测的物理对象的形状相比)可以是近似的。

可以使用各种技术来进行环境信息中“是否存在相关元件以及在何处存在相关元件”的检测。在示例技术中，(例如，使用机器人设备通过其控制运动从而控制臂100的当前位置的运动控制信息)得出相关元件相对于传感器的物理位置的物理位置，并且环境数据中的位置至少是根据该信息预测的。在另一示例中，将对相关元件的大小和形状进行了近似的包围盒与在各种可能的位置和/或方向处检测到的点云进行比较，例如，各种可能的位置和/或方向通过相关元件相对于传感器的预定运动范围或可配置运动范围被限制为一组可能性，并且与包围盒具有最大相关性(例如，通过包围盒限定的体积或区域内的最大点数)的位置和方向被选择为相关元件的评定位置。第二种技术不需要相关元件相对于传感器的当前位置的知识。可以结合这两种技术，使得例如可以在预测位置处或靠近预测位置处检测包围盒的相关性。

在一些示例中，一旦进行了这样的检测，就将点云中与包围盒的内部相对应的点从环境信息中删除或去除。在至少一些示例中，这还将包括由包围盒关于传感器遮住的对象或检测的点的删除(如果确实检测到这些点)。注意，在至少一些示例中，包围盒可以大于实际的物理对象，这可以包括删除可能与或可能不与实际的物理对象相对应的一些点。

在图3的上侧的图示出了点群40包括在包围盒30中的状态。包括在包围盒30中的点群40对应于相关元件的环境信息。因此，如在图3的下侧的图中所示，通过去除包括在包围盒30中的点群40来擦除与相关元件相对应的环境信息。因此，当基于环境信息识别障碍物时，与包围盒30相对应的相关元件未被识别为障碍物，从而可以防止有关障碍物存在于机器人设备1000附近的错误识别。

如上所述，通过删除包围盒中的环境信息，环境信息中不包括相关元件的信息。因此，不会将相关元件错误地识别为障碍物，并且可以基于不包括相关元件的信息的环境信息来控制机器人设备1000。

3.4.环境信息的切换或选择

在基于环境信息控制机器人设备1000的操作、运动等的情况下，不能将环境信息用于被相关元件遮住的区域。换言之，包围盒的从外部传感器200的一侧起的另一侧上的区域被与包围盒相对应的相关元件遮住，因此不能针对该区域获取环境信息。因此，在被遮住的区域中存在障碍物的情况下，不能获取与障碍物有关的环境信息。

因此，对于被相关元件遮住的区域，使用或选择预先获取的环境信息(在下文中，也称为预先获取环境信息)。具体地，将在某个时间点处被相关元件遮住的区域的环境信息切换成在该时间点之前获取的预先获取环境信息。从而，可以关于针对其已经由传感器获取了环境信息的包括被相关元件遮住的区域的整个区域来获得环境信息。

预先获取环境信息是在某个时间点处已经获取的环境信息，并且基本上是不包括相关元件的环境信息的信息。因此，通过将被相关元件遮住的区域的环境信息切换成预先获取环境信息，也可以针对被相关元件遮住的区域获得不包括相关元件的信息的环境信息。

图4A和图4B是示出用于向预先获取环境信息切换的切换范围35的示意图。图4A是示出从正面观察机器人设备1000的状态的正视图。另外，图4B是示出从上方(从图4A所示的箭头AA1的方向)观察图4A的机器人设备1000的状态的俯视图。同样在图4A和图4B所示的示例中，机器人设备1000的臂100被当作相关元件，并且针对臂100设置了包围盒30。

如图4A和图4B所示，包围盒30距外部传感器200相反侧的区域是被相关元件遮住的区域，并且被当作其中执行了向预先获取环境信息的切换的切换范围35。切换范围35是被连接外部传感器200的中心与包围盒30的顶点50、52和54的直线40、42和44，示出外部传感器200的可检测范围的直线46，以及示出距离限制的直线48包围的范围(在图4A和图4B中用点标记的范围)。示出外部传感器200的可检测范围的直线46示出了其中外部传感器200可以检测环境信息的范围；在图4A中，在直线46的左侧区域中不能检测到环境信息。

切换范围35基本上由连接外部传感器200的中心与包围盒30的顶点的直线界定。另一方面，在图4A所示的示例中，在连接外部传感器200的中心与包围盒30的顶点的直线中，连接外部传感器200的中心与包围盒30的顶点56的直线47位于示出外部传感器200的可检测范围的直线46的外侧(左侧)。因此，在被直线47和直线46夹在中间的区域中不能检测到环境信息。因此，使用直线46而不是直线47界定切换范围35。

通过如上所述设定切换范围35，在图4A所示的高度方向和图4B所示的水平方向两者上设定切换范围35，以使得在最宽范围内执行切换，并且包括被相关元件遮住的整个区域。

另外，可以设置示出距离限制的直线48，以在不妨碍后续行动计划的程度上对切换范围35提供限制。通过示出距离限制的直线48来缩小切换范围35的原因是：试图尽可能地使用在当前时间点处获取的环境信息，从而使得能够根据实际情况执行机器人设备1000的行动。

然而，在由于某种原因如计算负荷而难以缩小切换范围的情况下，以及在不必缩小切换范围的情况下，可以在包围盒30中检测到相关元件时的时间点处在整个范围内执行向预先获取的环境信息的切换。

如上所述，对于被相关元件遮住的切换范围35，不能使用当前时间处的环境信息，因此，执行向过去获取的最新的预先获取环境信息的切换。因此，对于切换范围35，可以使用最晚、最新的(最近的)预先获取环境信息来替代当前时间处的环境信息。另一方面，对于包围盒的内部，可以通过删除相关元件的信息来获得其中去除了相关元件的环境信息。因此，可以生成其中不包括相关元件的信息的具有高精度的环境信息。

因此，在这样的实施方式中，(可以由下面要论述的环境信息设定单元550执行的)环境信息设定处理被配置成选择以下信息来替代从传感器新获取的或最近获取的环境信息的至少一部分：评定单元针对其评定环境信息的一部分中未包括相关元件或者环境信息的一部分不表示相关元件的最近的预先获取环境信息(即，在获取新获取的环境信息之前获取的最近的环境信息)的相应的部分。例如，相应的部分可以被选择成提供新获取的环境信息的所述至少一部分的环境信息，例如替换新获取的环境信息中由于相关元件的存在(或存在的评定)不可用的环境信息。可以关于(相对于环境的)相同的传感器位置获取预先获取环境信息，但是这不一定是必须的，只要使用的预先获取环境信息针对新获取的环境信息中的被替换的环境信息提供了替代环境信息即可。注意，可能存在预先获取环境信息的单个实例不一定提供要替代新获取的环境信息的至少一部分的所有环境信息的情况，在这种情况下，使用来自不止一次获取的预先获取环境信息。还请注意，不要求使用最近的预先获取环境信息；而是，可以使用除了最近获取的环境信息以外的环境信息的实例。然而，使用最近的预先获取环境信息意味着替代信息将是尽可能最新的。

术语“至少一部分”可以仅指被检测为表示相关元件的这部分(注意，如参照图2和图3所论述的，检测处理自身可以(但不是必须)包括相关元件周围的裕量)。或者该术语可以意指在替换操作中应用了检测到的相关元件周围的另外的裕量。或者在其他示例中，该术语实际上可以适用于丢弃全部新获取的环境信息并且将其替换为预先获取环境信息。

因此，在示例中，“部分”可以是以下各项中的一项或更多项：其中对相关元件的位置和形状进行了近似的形状近似信息的区域；被相关元件遮住的区域；被评定为包括相关元件的区域和被相关元件遮住的区域；或由传感器获取的环境数据的全部实例。

可选地，新获取的环境信息中被替换的“至少一部分”可以如下所论述地被删除，并且选择替换环境信息以对其进行替换。

例如，环境信息删除单元(将在下面论述的)可以被配置成删除新获取的环境信息中的至少一部分的环境信息。在一些示例中，环境信息设定单元被配置成选择预先获取环境信息来替换被删除的环境信息。

因此，可以针对包围盒30的内部和切换范围35两者获取不包括相关元件的信息的环境信息。

另外，还可以针对包围盒30的区域执行向预先获取环境信息的切换。在这种情况下，针对切换范围35和包围盒30的区域两者执行向预先获取环境信息的切换。因此，在这种情况下，删除包围盒30中的环境信息的处理是不必要的，并且可以更简单地执行处理。另外，可以针对已经由外部传感器200获取了环境信息的整个区域执行向预先获取环境信息的切换。

此外，还可以仅针对包围盒30的区域执行向预先获取环境信息的切换。在这种情况下，尽管向预先获取环境信息的切换仅限于一部分，但是可以针对包围盒30的区域获取当前时间处更准确的环境信息。

另一方面，在与包围盒30的区域相对应的预先获取环境信息中包括障碍物的情况下，预先获取环境信息不反映当前时间处的状态；因此，是通过去除包围盒30中的环境信息来实现表示包围盒30中不存在障碍物的最新环境信息的获取。在这种情况下，如以上所描述的，期望针对被相关元件遮住的切换范围35执行向预先获取环境信息的切换，并且针对包围盒30的内部删除环境信息。

3.5.信息切换的时序流程

图5A、图5B和图5C是基于时间序列示出在当前时间获取和预先获取的环境信息的使用示例的示意图。图5A、图5B和图5C示出了在矩形区域的中心的机器人设备1000，并且示意性示出了其中从上方观察机器人设备1000的俯视图。另外，图5A、图5B和图5C示出了机器人设备1000与使用环境信息的区域之间的关系。

图5A示出了在时间t_0处的情况，并且示出了外部传感器200未被相关元件覆盖或遮挡的情况。即，在环境信息中不存在包围盒，并且在由外部传感器200检测到的整个区域(图5A中用阴影标记的区域)的环境信息中不包括相关元件的信息。机器人设备1000基于或根据由外部传感器200检测到的环境信息来制定操作计划(作为控制功能的执行的示例)，而无需执行以上描述的包围盒中的环境信息的删除或者针对被相关元件遮住的切换范围35的向预先获取环境信息的切换。然后，基于操作计划，机器人设备1000控制其自身的运动、臂100的操作等。另外，机器人设备1000(例如，环境信息设定单元540)将在该时间t_0处检测到的所有环境信息更新为预先获取环境信息。

图5B示出了在时间t_0之后的时间t_1处的情况，并且示出了相关元件300覆盖或遮挡外部传感器200的检测范围的一部分的情况。在这种情况下，图5B中用阴影标记的区域A1是被相关元件300遮住的区域，并且针对该区域在该时间t_1的时间点处不能获取环境信息。因此，在时间t_0处获取的预先获取环境信息被用于被相关元件300遮住的区域A1。在图5B中，利用与图5A的阴影相同的阴影标记区域A1，从而表示在时间t_0处获取的预先获取环境信息被用于区域A1中。另一方面，可以将未被相关元件300遮挡的区域(在图中用点标记的区域B1)的环境信息用作时间t_1处的最新的环境信息。因此，在时间t_1处检测到的环境信息被用于未被相关元件300遮挡的区域。

另外，机器人设备1000将未被相关元件300遮挡的区域B1的环境信息更新为在时间t_1处的预先获取环境信息。在这种情况下，可以将使用了在时间t_0处的环境信息(预先获取环境信息)的区域A1的环境信息当作时间t_1处的最新的预先获取环境信息。

在其中使用了在时间t_0处的环境信息(预先获取环境信息)的区域A1的环境信息被当作时间t_1处的最新的预先获取环境信息的情况下，对于区域A1，时间t_0处的预先获取环境信息被更新为时间t_1处的预先获取环境信息。另外，对于未被相关元件300遮挡的区域B1，时间t_1处的环境信息被更新为预先获取环境信息。

另外，图5C示出了在时间t_1之后的时间t_2的情况，并且示出了其中相关元件300和相关元件310覆盖或遮挡外部传感器200的情况。在这种情况下，图5C中用阴影标记的区域A1是被相关元件300遮住的区域，并且针对该区域在该时间t_2的时间点处不能获取环境信息。另外，图5C中用点标记的区域A2是被相关元件310遮住的区域，并且针对该区域在该时间t_2的时间点处不能获取环境信息。

注意，图5C的示例提供了一种其中由处理生成的复合环境信息包括来自多于一个预先获取环境信息的实例的一些新获取的环境信息和一些替代环境信息的情况的示意性表示。在每种情况下，在该示例中，最近的预先获取环境信息用于每个部分。

因此，在时间t_0处获取的预先获取环境信息用于被相关元件300遮住的区域A1，并且在时间t_1处获取的预先获取环境信息用于被相关元件310遮住的区域A2。在图5C中，利用与图5A的阴影相同的阴影标记区域A1，从而表示在时间t_0处获取的预先获取环境信息被用于区域A1中。另外，利用与图5B的区域B1的点相同的点标记区域A2，从而表示在时间t_1处获取的预先获取环境信息被用于区域A2中。另一方面，可以将未被相关元件300或相关元件310遮挡的区域的环境信息(在图中用点标记的区域B2)用作时间t_2处的最新的环境信息；因此，在时间t_2处检测到的环境信息被用于未被相关元件300或相关元件310遮挡的区域。

另外，机器人设备1000将(例如，存储在下面要论述的存储单元560中的)未被相关元件300或相关元件310遮挡的区域的环境信息更新为预先获取环境信息。在这种情况下，类似于图5B，使用时间t_0处的传感器信息的区域A1的环境信息和时间t_1处的传感器信息的区域A2的环境信息可以被视为在时间t_2处的最新的预先获取环境信息。

在使用时间t_0处的传感器信息的区域A1的环境信息和时间t_1处的传感器信息的区域A2的环境信息被视为时间t_2处的最新的预先获取环境信息的情况下，对于区域A1，时间t_0处的预先获取环境信息被更新为时间t_2处的预先获取环境信息，并且对于区域A2，时间t_1处的预先获取环境信息被更新为时间t_2处的预先获取环境信息。另外，对于未被相关元件300遮挡的区域B2，时间t_2处的环境信息被更新为预先获取环境信息。

在图5B和图5C中，对于相关元件300和相关元件310的区域，从分别与相关元件300和相关元件310相对应的包围盒的内部去除环境信息。在图5B和图5C中，其中去除了环境信息的包围盒可以被用作预先获取环境信息。例如，在更新图5B所示的时间t_1的时间点处的预先获取环境信息时，可以将其中从包围盒的内部去除了环境信息的信息当作相关元件300的区域中的预先获取环境信息。类似地，在更新图5C所示的时间t_2的时间点处的预先获取环境信息时，可以将其中从包围盒的内部去除了环境信息的信息当作相关元件310的区域中的预先获取环境信息。

因此，在这些示例中，(将在下面描述的)环境信息设定单元被配置成将预先获取环境信息顺序地更新成在传感器的检测范围中不存在相关元件的时间序列基础上获取的信息，并且环境信息设定单元被配置成选择通过更新获得的最近的预先获取环境信息作为环境信息。

4.机器人设备中的处理流程

图6是示出本实施方式的机器人设备1000中的处理流程的流程图。以下，基于图6来说明在机器人设备1000中执行的处理。图6所示的处理分成处理1和处理2。处理1是去除包围盒中的由外部传感器200检测到的关于相关元件的信息并且向预先获取的预先获取环境信息切换的处理。另外，处理2是关于机器人设备1000的运动和相关元件的操作的处理。

通过结合以上两种处理，即使在外部传感器已经检测到相关元件的情况下，也抑制了将相关元件识别为障碍物的错误识别，此外，可以制定基于关于三维形状的相关元件的位置和姿态信息来避免与障碍物接触的行动计划。在下文中，描述了具体的处理流程。

由机器人设备1000的控制设备500在每个规定的控制时段中重复执行图6的处理。首先，在步骤S10中，由用户向机器人设备1000发布任务的命令。可以设想各种任务作为任务，例如使机器人设备1000朝向目的地运动的任务以及使利用臂100保持的对象被传送的任务。如果发出了任务的命令，则机器人设备1000根据任务开始操作。

在接下来的步骤S12中，获取由外部传感器200检测到的环境信息。在步骤S12中，获取包括相关元件的所有环境信息。另外，与由外部传感器检测到的环境信息分开地访问已经获取并保存在存储器等中并且不包括相关元件的预先获取环境信息。机器人设备1000保存所获取的环境信息以及机器人设备1000的位置和姿态信息，同时将所获取的环境信息与机器人设备1000的位置和姿态信息关联在一起。机器人设备1000的位置和姿态信息包括关于包围盒的位置和姿态的信息。针对每个控制时段持续地执行步骤S12的处理，从而更新环境信息和预先获取环境信息。

注意，在通过本处理的第一迭代中，可以获取“预先获取”环境信息的第一实例。可替选地，该处理可以从“预先获取”环境信息的第一实例开始，该“预先获取”环境信息的第一实例预安装在机器人处、或者例如通过无线数据连接从相同位置的另一机器人获得、或者从基于云或基于服务器的数据源获得。

在接下来的步骤S14中，评定包围盒中是否存在与相关元件相对应的环境信息；在评定包围盒中存在与相关元件相对应的环境信息的情况下，过程进行至步骤S16。在步骤S16中，从环境信息中擦除属于相关元件的信息。即，在外部传感器200已经检测到包围盒中的环境信息的情况下，包围盒中的环境信息等同于相关元件的信息，因此擦除包围盒中的环境信息。从而，抑制了包围盒中的相关元件被错误地识别为障碍物。另一方面，在步骤S14中评定包围盒中不存在环境信息的情况下，过程进行至步骤S20，以便制定操作计划。

注意，如以上所描述的，可以在不执行步骤S16的处理的情况下执行步骤S18的处理。即，可以将包括包围盒中的信息的信息切换成预先获取的预先获取环境信息。

在步骤S16之后，过程进行至步骤S18。在步骤S18中，推断被相关元件遮住的区域的环境信息，该区域由于相关元件覆盖或遮挡了外部传感器200而不能被测量。具体地，在步骤S18中，针对被相关元件遮住的切换范围35，执行向在先前的控制时段中在步骤S12中预先获取的预先获取环境信息的切换。

以上面的方式，执行步骤S16和步骤S18的处理；从而，可以关于包围盒的内部和切换范围35两者获得不包括相关元件的信息的环境信息。因此，可以基于不包括相关元件的信息的环境信息来制定机器人设备1000的操作计划。

在接下来的步骤S20及后续步骤的处理中，基于如以上获得的不包括相关元件的信息的环境信息，制定机器人设备1000的操作计划并且控制机器人设备1000。操作计划包括关于机器人设备1000的运动和相关元件如臂100的操作的计划。首先，在步骤S20中，评定根据不包括相关元件的信息的环境信息获得的障碍物的位置与机器人设备1000的位置是否靠近。然后，在评定根据环境信息获得的障碍物的位置与机器人设备1000的位置靠近的情况下，过程进行至步骤S22，并且计算障碍物与机器人设备1000之间的距离。可以将机器人设备1000的原点——例如，机器人1000的中心的坐标(质心等的位置)——用作机器人设备1000的位置。另外，可以将外部传感器200的位置用作原点，以作为机器人设备1000的位置。可以通过使用原点作为参考来计算障碍物与机器人设备1000之间的距离，以便还获取环境信息。

在步骤S20的评定中，优选地，使用已经由机器人设备1000获取的每个包围盒的信息来评定障碍物与每个包围盒之间的距离是否小。测量距离时的包围盒侧的参考可以是包围盒的中心或包围盒的表面、轮廓等，并且没有特别限制。在障碍物与任何包围盒之间的距离小于或等于预定阈值的情况下，过程进行至步骤S22，并且计算障碍物与包围盒之间的距离。在通过图3所示的点群表示环境信息的情况下，计算表示障碍物的每个点与包围盒之间的距离。

另外，在执行某些含义的附接从而可以将表示障碍物的点群视为整体的情况下，可以使用给出了含义的集合的中心来评定障碍物与任何包围盒之间的距离。例如，在预先已经知道障碍物的尺寸和形状的情况下，可以通过使用表示障碍物的点群的中心并且考虑障碍物的尺寸和形状来评定障碍物与包围盒之间的距离。此外，为了抑制计算成本，可以在将点群的高度方向压缩成二维之后计算距离。注意，环境信息不限于点群。

在接下来的步骤S24中，表示根据环境信息执行控制功能的示例，基于在步骤S22中计算出的障碍物与机器人设备1000之间的距离来制定机器人设备1000沿其运动的路径的计划或机器人设备1000的相关元件比如臂100的操作的计划。在使用机器人设备1000的中心的坐标来计算障碍物与机器人设备1000之间的距离的情况下，在障碍物与中心的坐标相对靠近的情况下，将机器人设备1000的路径计划成远离障碍物。另外，在障碍物与中心的坐标之间的距离相对较小的情况下，将相关元件比如臂100的操作的计划成远离障碍物。另外，在障碍物与中心的坐标之间的距离大的情况下，计划机器人设备1000的运动路径和相关元件的操作，而无需特别考虑障碍物。

优选地，在步骤S24中，使用障碍物与包围盒之间的距离的信息来计划运动路径和相关元件的操作。例如，在障碍物与包围盒之间的距离相对较小的情况下，将机器人设备1000的路径计划成远离障碍物。另外，在障碍物与包围盒之间的距离相对较小的情况下，将相关元件如臂100的操作计划成远离障碍物。从而，可以考虑机器人设备1000的构成部件和相关元件如抓握对象的位置和状态的来制定操作计划；因此，可以制定更安全的操作计划。

另外，在由于某些原因而不必考虑障碍物与包围盒之间的距离的情况下，例如在障碍物与包围盒之间的距离大的情况下，可以在不使用距离的信息或包围盒的信息的情况下来计划机器人设备1000的运动路径和相关元件的操作。在步骤S24之后，过程进行至步骤S26或步骤S28。

在步骤S26中，机器人设备1000基于机器人设备1000沿其运动的路径的在步骤S24中设计的计划来执行行进或停止。具体地，在步骤S26中，通过机构如下面的轮来执行机器人设备1000的运动或停止。停止还包括由于某种外部因素或内部因素而执行紧急停止的情况。

另外，在步骤S28中，基于在步骤S24中设计的相关元件的操作计划来执行相关元件比如臂100的操作或停止。停止还包括由于某种外部因素或内部因素而紧急停止的情况。

5.相关元件包括抓握对象的情况

如以上所描述的，相关元件广泛地包括与机器人设备1000相关的元件比如臂100抓握的物体，以及包括在机器人设备1000自身中的构成部件比如臂100。机器人设备1000的臂100与物体接触并抓握该物体，并且执行传送工作等。因此，在预先知道物体的情况下，准备用于物体的包围盒；在臂100与物体接触的情况下，执行与上面的处理类似的处理，同时将物体视为机器人设备1000的一部分。因此，也考虑物体的处理变得可能。

例如可以通过检测用于抓握对象的机器人臂的钳口的宽度并且将该宽度映射至具有相应宽度的一组对象中的一个或者将其映射至具有等于该宽度的一个维度的一组包围盒中的一个来检测物体自身。或者，传感器200可以与对象识别电路或软件相关联，以检测即将被拾取的对象。在缺乏识别的情况下，于是可以使用与由机器人可以拾取的最大的对象一样大的悲观包围盒。

图7是示出其中获得包括抓握对象的包围盒的示例的示意图，并且示出了从正面观察机器人设备1000的状态。在图7示的示例中，臂100包括连杆110、连杆120和抓握单元122。此外，设置有分别与连杆110和连杆120相对应的包围盒32和包围盒34。另外，设置有与在臂100的末端处的抓握单元122相对应的包围盒36和与由抓握单元122保持的抓握对象60相对应的包围盒38。

将连杆110与连杆120接合在一起的关节以及将抓握单元122与连杆120接合在一起的关节中的每一个设置有检测关节的旋转角度的编码器。预先在机器人设备1000侧掌握包围盒32、包围盒34和包围盒36的尺寸和形状，并且基于编码器的检测值来评定包围盒32、包围盒34和包围盒36的位置和姿态。

另外，假定抓握对象60被握持在抓握单元104的规定位置。因此，抓握对象60相对于抓握单元104的位置被唯一地确定；因此，还可以预先在机器人设备1000侧获取抓握对象60的包围盒38的位置和姿态。

因此，通过去除包围盒38中的环境信息，可以防止将抓握对象60识别为障碍物。另外，针对从外部传感器200观察时被包围盒38遮住的切换范围35执行向预先获取环境信息的切换，从而可以基于通过向预先获取环境信息切换获得的环境信息来控制机器人设备1000。注意，对于连杆110、连杆120和抓握单元122，包围盒32、包围盒34和包围盒36中的环境信息也被类似地删除。

抓握对象60的示例包括PET瓶、玻璃、TV的遥控器等。这些抓握对象的包围盒的三维数据预先在机器人设备1000侧被获取，从而可以防止将抓握对象60识别为障碍物。

另外，即使没有预先准备包围盒，也可以通过从环境信息中提取具有某些含义的部分并且将含义与环境信息的该部分联系为一个整体来自动生成包围盒。注意，图7所示的臂100、连杆110、连杆120、抓握单元122等的构造仅是示例，并且机器人设备1000不限于该构造。例如，机器人设备1000可以包括更多数目的连杆，并且可以包括形状和方式与图7的连杆和抓握单元的形状和方式不同的连杆和抓握单元。

6.相关元件交叠的情况的示例

图8是示出其中两个臂130和140在机器人设备1000与壁62之间存在交叠的示例的示意图，并且示出了从上方观察机器人设备1000的状态。如图8所示，臂130包括连杆132、连杆134和抓握单元136。另外，臂140包括连杆142、连杆144和抓握单元146。另外在图8中，设置了与连杆132相对应的包围盒72、与连杆134相对应的包围盒74以及与抓握单元136相对应的包围盒76。另外，设置了与连杆142相对应的包围盒82、与连杆144相对应的包围盒84以及与抓握单元146相对应的包围盒86。

在由外部传感器200获取环境信息的情况下，首先，从臂130的包围盒72、包围盒74和包围盒76的靠近外部传感器200一侧的内部去除环境信息。由此，抑制了臂130被识别为障碍物。

另外，从包围盒82、包围盒84和包围盒86的远离外部传感器200的一侧的内部去除环境信息。在这种情况下，当从外部传感器200侧观察时，包围盒82、包围盒84和包围盒86被包围盒72、包围盒74和包围盒76遮住；因此，在包围盒82、包围盒84或包围盒86中与臂140相对应的环境信息不多。然而，在未被包围盒72、包围盒74或包围盒76遮住的范围内，包围盒82、包围盒84和包围盒86中存在环境信息；因此，这些包围盒的环境信息被去除。

从而，对应于臂130和臂140的环境信息被去除。然后，针对被臂130和臂140两者遮住的切换范围35，执行向预先获取环境信息的切换。因此，在图8所示的状态下，去除了与臂130和臂140相对应的环境信息，并且机器人设备1000仅将包括在预先获取环境信息中的壁62识别为障碍物。因此，机器人设备1000处于可以看透臂130和臂140的后方的状态，并且可以在仅考虑壁62作为障碍物的情况下制定操作计划。

如上所述，即使由于相关元件的交叠而存在不能由外部传感器200检测到的相关元件，也根据机器人设备1000的内部数据生成每个包围盒，并且从每个包围盒删除环境信息。另外，预先获取的信息被用作障碍物的信息。因此，像图7中一样，可以获得其中排除了相关元件的环境信息，并且可以基于环境信息来控制机器人设备1000。

7.环境信息的动态预测处理

在存在移动障碍物的情况下，在使用预先获取的预先获取环境信息时，存在移动障碍物将已经从预先获取的最后时间处的位置移动了的可能。因此，根据预先获取环境信息中的移动障碍物的位置的变化量来预测移动障碍物的运动轨迹，从而可以考虑移动障碍物的运动来制定运动计划和操作计划。

图9A至图9D是示出预测移动障碍物的运动轨迹的处理的示例的示意图，并且示出了从上方观察机器人设备1000的状态。图9A至图9D是基于时间序列分别示出在时间t_10、时间t_11、时间t_12和时间t_13处机器人设备1000与移动障碍物70之间的位置关系的俯视图。如图9A和图9B所示，移动障碍物70在图上向上运动。即，在时间t_10之后的时间t_11处，移动障碍物70比时间t_10处的移动障碍物70向上方运动得更多。

如图9C所示，假定在时间t_11之后的时间t_12处相关元件320覆盖或遮挡外部传感器200的检测范围的一部分。在这种情况下，在机器人设备1000的操作计划中使用预先获取环境信息，并且通过使用在时间t_10和时间t_11两者处的信息来计划机器人设备1000的路径，以掌握移动障碍物70已经移动的事实并且预测移动障碍物70的后续运动轨迹。

具体地，在图9C所示的时间t_12的时间点处，基本上将时间t_11处的最新的预先获取环境信息用于被相关元件320遮住的切换范围。另一方面，在使用时间t_11处的预先获取环境信息的情况下，移动运动体70从时间t_11至时间t_12的运动未反映在预先获取环境信息中。因此，通过使用在时间t_10和时间t_11两者处的环境信息来预测移动运动体70从时间t_11至时间t_12的运动，并且使(通过图9C中的虚线示出的)移动运动体70在时间t_12的时间点处的预测位置反映在时间t_11处的预先获取环境信息中。

从而，如图9C所示，可以基于时间t_11处的预先获取环境信息和时间t_12的时间点处的移动运动体70的预测位置来设计机器人设备1000的运动计划78。

图9D示出了在时间t_13处机器人设备1000基于在时间t_12处做出的移动运动体70的运动计划78来运动的状态。尽管图9A至图9D描述了其中根据用于移动障碍物70的运动轨迹的预测来生成不与移动障碍物70接触的路径的示例，但是也可以在识别出移动障碍物70的存在的时间点处做出使机器人设备1000停止的判断。

如上所述，在执行向预先获取环境信息切换的情况下，基于预先累积的过去的转变来预测将来的情况；从而，可以根据其中预测了未来的预先环境信息和机器人设备1000当前时间处的状况来制定操作计划。

8.其中使用预先获取环境信息的其他示例

8.1.通过货物装卸车如叉车的传送工作期间的行动计划

如以上所描述的，在本实施方式中，即使在相关元件遮挡了外部传感器200的情况下，也可以通过使用预先获取环境信息来推断外部世界的状况，并且外部世界的状况可以被用于操作计划。在下文中，描述了在应用于货物装卸车如叉车的情况下的具体示例。

在利用货物装卸车如叉车传送货物的情况下，存在将出现以下情况的可能性：货物以及用于举起和放下货物的相关元件的信息包括在环境信息中并且环境信息未被充分获得。因此，设想在放下货物的情况下，不能充分掌握作为放下货物的目的地的桌子或地板的状况，这将导致出现意外事故等。

图10是示出通过叉车1010的卸载的示例的示意图。叉车1010是机器人设备1000的示例。图10示出了以下状况：如果叉车1010到达平台82的前部，则叉车1010从左侧沿箭头AA2的方向运动，并且叉车1010放下正在平台82上传送的货物80。

在传送期间，由叉车1010传送的货物80在由一长两短交替的虚线所示的位置处被臂400抬起。在货物80被这样抬起的状态下，叉车1010的相关元件比如货物80、臂400以及使臂400上下运动的运动机构402包括在外部传感器200的检测范围内。然后，平台82的周围环境的信息被这些相关元件遮住。

因此，如果试图在图10所示的状态下将货物80放到平台82上而不使用预先获取环境信息，则从外部传感器200获得的环境信息中不包括平台82附近的信息；因此，出现无法准确掌握叉车1010与平台82之间在水平方向上的位置关系、用于使货物80放下的竖直运动量等的状况。

因此，在叉车1010接近平台82之前，获取平台82的环境信息，并且保存为预先获取环境信息。在叉车1010接近平台82之前的状态下，平台82的周围环境包括在外部传感器的检测范围内。因此，在叉车1010接近平台82之前获取的环境信息被用作预先获取环境信息。

从而，当叉车1010运动并接近平台82时，可以掌握叉车1010与平台82之间在水平方向上的位置关系，因此可以使叉车1010停在图10所示的最佳位置处。另外，可以基于预先获取环境信息来掌握用于使货物80放下的竖直运动量，因此可以通过使货物80基于所掌握的竖直运动量放下而将货物80准确地安置在平台82上。如上所述，可以通过使用在叉车1010放下货物80之前获取的预先获取环境信息来推断要放下货物80的目的地附近的环境状态，并且可以执行稳定的传送工作。

如上所述，即使在平台82及其周围环境在任务期间不可避免地被遮住的情况下，在机器人设备1000远离平台82时，平台82及其周围环境的状况也被获取作为预先获取环境信息，从而可以在机器人设备1000接近平台82的情况下执行期望的操作。

8.2.安装有机器人臂的自主运动体的行动计划

包括臂100的机器人设备1000不仅可以用于传送的用途，而且还可以用于通过手势如挥手等与人或机器执行通信的目的。在机器人设备1000接近人或物体同时挥动手(臂100)的情况下，可能会出现外部传感器200不断地继续检测臂100的情况；然而，根据本实施方式，机器人设备1000可以在推断被臂100遮住的环境信息的同时安全地接近人或物体。

本公开内容的实施方式的应用目的范围广泛，并且不取决于自主运动体的运动方式或者相关元件的形状或作用。因此，机器人设备1000的运动方式不仅可以是旋转机构如轮或履带，而且可以是有腿机构或包括转子叶片的有翼机构，例如无人机。另外，其中在机器人设备1000不运动的情况下相关元件如臂100工作的构造是可能的。

9.控制设备的配置示例

图11是示出控制机器人设备1000的控制设备500的配置的框图，机器人设备还包括(如所绘制的)向控制设备500提供环境信息的传感器200以及由控制设备500控制并且被配置成使机器人设备基于操作计划运动的一个或更多个运动致动器582。控制设备500基本上设置在机器人设备1000的内部(或者至少作为机器人设备1000的功能的一部分)，但是也可以设置在机器人设备1000的外部，并且可以例如是设置在云上并且执行与机器人设备1000的通信的设备。如图11所示，控制设备500包括包围盒信息保存单元510、位置和姿态信息获取单元520、评定单元530、环境信息设定单元540(例如，被配置成基于时间序列顺序地更新预先获取环境信息)、环境信息存储单元560、环境信息删除单元550、操作计划单元570和操作控制单元580。注意，图11所示的构成元件中的每一个均包括电路(硬件)或中央算术处理装置如CPU以及用于使该装置工作的程序(软件)。

包围盒信息保存单元510保存相关元件的包围盒的信息，比如机器人设备1000的构成部件比如臂100的包围盒和抓握对象60的包围盒的信息。位置和姿态信息获取单元520例如从设置在关节中的编码器等获取臂100等的关节的角度，从而获取每个包围盒的位置和姿态的信息。

评定单元530评定从外部传感器200获取的环境信息中是否包括相关元件。更具体地，评定单元530从包围盒信息保存单元510获取关于包围盒的形状和尺寸的三维信息，并且从位置和姿态信息获取单元520获取包围盒的位置和姿态的信息。然后，评定单元530根据包围盒中是否包括环境信息来评定环境信息中是否包括相关元件。在包围盒中包括环境信息的情况下，评定单元530评定环境信息中包括相关元件；在包围盒中不包括环境信息的情况下，评定单元530评定环境信息中不包括相关元件。

在评定单元530已经评定从外部传感器200获取的环境信息中包括相关元件的情况下，环境信息设定单元540将环境信息切换成其中不包括相关元件的预先获取环境信息。环境信息存储单元560是存储预先获取环境信息、并且针对每个控制时段更新和存储预先获取环境信息(或至少被评定为包括环境信息的部分以外的环境信息)的构成元件。环境信息设定单元540执行向存储在环境信息存储单元560中的预先环境信息的切换。此外，在预先获取环境信息中包括或者预先获取环境信息表示了移动障碍物的情况下，环境信息设定单元540通过图9A至图9D所示的技术来预测移动障碍物的运动，并且使预测的运动反映在预先获取环境信息中。

在包围盒中包括环境信息的情况下，环境信息删除单元550执行删除包围盒中的环境信息的处理。环境信息设定单元540使用其中删除了环境信息的包围盒的信息作为环境信息。

操作计划单元570根据或基于(例如，由外部传感器200新检测到的环境信息和预先获取环境信息形成的)环境信息来制定机器人设备1000的操作计划(作为执行控制功能的示例)。操作计划单元570基于由外部传感器200检测到的环境信息和预先获取环境信息来计算距障碍物的距离，并且基于距障碍物的距离来制定或生成操作计划。操作控制单元580基于操作计划单元570的操作计划来控制机器人设备1000的操作。机器人设备1000的操作还包括(例如，通过操作控制单元580控制一个或更多个运动致动器582比如一个或更多个马达使设备机器人运动)使机器人设备1000自身运动的运动机构如轮和腿的操作，使得操作控制单元被配置成基于操作计划来控制一个或更多个运动致动器582的操作，该操作计划可以包括使整个机器人运动的操作和/或使相关元件比如臂100运动的操作。操作计划单元570使用例如计划器、机器学习、样条插值或贝塞尔曲线来制定机器人设备1000的操作计划。

操作计划单元还可以被配置成基于从传感器获取的环境信息和预先获取环境信息来计算其中对相关元件的位置和形状进行了近似的形状近似信息与障碍物之间的距离，并且基于该距离生成操作计划。

注意，一个或更多个运动致动器可以是控制机器人的整体运动如平移或旋转的运动致动器、和/或控制机器人的一部分或部件比如臂100相对于机器人设备的其余部分的运动的运动致动器。

一个或更多个致动器582例如可以驱动轮584和/或相关元件100。

因此，图11提供了包括以下单元的控制设备500的示例：评定单元530，被配置成评定从传感器新获取的环境信息中是否包括相关元件；环境信息设定单元540，被配置成在评定单元已经评定环境信息中的一部分中包括相关元件的情况下，选择其中相关元件被评定为不被包括的预先获取环境信息来替代从传感器新获取的环境信息中的至少所述一部分；以及控制单元570、控制单元580，被配置成根据环境信息执行控制功能(例如，对一个或更多个运动致动器582的控制和/或生成提供这样的控制的操作计划)。

图11的配置例如在以比如图1所示的物理形式实现时，提供了包括控制设备500和被配置成提供环境信息的传感器200的机器人设备1000的示例；其中，传感器是被配置成识别物体的对象识别传感器。

图12是示出包括以下操作的控制方法的示意性流程图：(在步骤1200处)评定从传感器新获取的环境信息中是否包括相关元件；在评定步骤评定环境信息中的一部分中包括相关元件的情况下，(在步骤1210处)选择(或切换至)其中相关元件被评定为不被包括的预先获取环境信息来替代从环境传感器新获取的环境信息中的至少所述一部分；以及(在步骤1220处)根据环境信息执行控制功能。

如所提及的，图12的处理或方法可以由适合的计算机或数据处理设备执行，该计算机或数据处理设备通过执行适当的计算机软件来执行该方法，在这种情况下，这样的软件和/或存储这样的软件的机器可读非暂态存储介质将被视为本公开内容的实施方式。

图13是示出这样的计算机或数据处理设备1300的示意图，该计算机或数据处理设备1300包括：中央处理单元(CPU)1310；只读存储器(ROM)1320，例如，其用作存储由CPU1310执行的这样的软件的机器可读非暂态存储介质的示例；随机存取存储器1330；和输入/输出(I/O)接口，例如，用于与传感器200和/或致动器582交互。CPU 1310、ROM 1320、随机存取存储器1330和输入/输出(I/O)接口都通过示意性总线结构1350互连。例如，设备1300可以(在软件控制下)实现图11的除了传感器200和致动器582以及相关联的机械装置以外的功能。

如上文所描述的，根据本实施方式，生成与相关元件相对应的包围盒，并且去除包围盒中的环境信息。另外，将相关元件的区域或被相关元件遮住的区域的环境信息切换成预先获取环境信息。从而，抑制了基于环境信息将相关元件识别为障碍物，并且可以最佳地控制机器人设备1000的运动和操作。

本领域技术人员应该理解，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求书或其等同物的范围内即可。

另外，在本说明书中描述的效果仅仅是说明性或示例性效果，而不是限制性的。即，连同以上效果或代替以上效果，根据本公开内容的技术可以实现根据本说明书的描述对于本领域技术人员而言是清楚的其他效果。

另外，本技术还可以如下面在以下编号段落中陈述的那样配置：

(1)一种控制设备，包括：

评定单元，被配置成评定从传感器获取的环境信息中是否包括相关元件；以及

环境信息设定单元，被配置成在评定单元已经评定所述环境信息中包括相关元件的情况下，将所述环境信息切换成其中不包括所述相关元件的预先获取环境信息。

(2)根据(1)所述的控制设备，

其中，所述评定单元基于其中对所述相关元件的位置和形状进行了近似的形状近似信息和所述环境信息，来评定所述环境信息中是否包括所述相关元件。

(3)根据(2)所述的控制设备，

其中，在所述环境信息包括在通过所述形状近似信息示出的空间中的情况下，所述评定单元评定所述环境信息中包括所述相关元件。

(4)根据(2)或(3)所述的控制设备，

其中，所述形状近似信息是包括所述相关元件的简单形状的信息。

(5)根据(2)至(4)中任一项所述的控制设备，

其中，所述形状近似信息是通过扩大所述相关元件的轮廓获得的信息。

(6)根据(1)至(5)中任一项所述的控制设备，

其中，所述环境信息设定单元在所述传感器的检测范围内不存在所述相关元件的状态下将所述环境信息切换成预先获取的最新的预先获取环境信息，并且设定其中在切换的目标范围内不存在所述相关元件的新环境信息。

(7)根据(1)至(5)中任一项所述的控制设备，

其中，在所述传感器的检测范围内不存在所述相关元件的状态下，将所述预先获取环境信息顺序地更新为基于时间序列获取的信息；以及

所述环境信息设定单元将所述环境信息切换成通过所述更新获得的最新的预先获取环境信息。

(8)根据(1)至(7)中任一项所述的控制设备，

其中，所述环境信息设定单元将存在相关元件的区域的环境信息切换成所述预先获取环境信息。

(9)根据(8)所述的控制设备，

其中，所述环境信息设定单元将其中对所述相关元件的位置和形状进行了近似的形状近似信息的区域的环境信息切换成所述预先获取环境信息。

(10)根据(1)至(9)中任一项所述的控制设备，

其中，所述环境信息设定单元将被所述相关元件遮住的区域的环境信息切换成所述预先获取环境信息。

(11)根据(1)至(9)中任一项所述的控制设备，

其中，所述环境信息设定单元将存在所述相关元件的区域和被所述相关元件遮住的区域的环境信息切换成所述预先获取环境信息。

(12)根据(1)至(11)中任一项所述的控制设备，

其中，所述环境信息设定单元将整个区域的环境信息切换成所述预先获取环境信息。

(13)根据(11)所述的控制设备，包括：

环境信息删除单元，被配置成删除存在所述相关元件的区域的环境信息。

(14)根据(13)所述的控制设备，

其中，所述环境信息设定单元删除其中对所述相关元件的位置和形状进行了近似的形状近似信息的空间中的环境信息。

(15)根据(13)所述的控制设备，

其中，所述环境信息设定单元执行向通过删除过去的环境信息获得的预先获取环境信息的切换。

(16)根据(1)至(15)中任一项所述的控制设备，

其中，所述传感器是被配置成识别物体的对象识别传感器。

(17)根据(16)所述的控制设备，

其中，所述传感器是被配置成测量距所述物体的距离的距离测量传感器。

(18)根据(1)至(17)中任一项所述的控制设备，包括：

操作计划单元，被配置成基于从所述传感器获取的环境信息和所述预先获取环境信息来制定操作计划。

(19)根据(18)所述的控制设备，

其中，所述操作计划单元基于从所述传感器获取的环境信息和所述预先获取环境信息来计算距障碍物的距离，并且基于所述距障碍物的距离来制定所述操作计划。

(20)根据(18)所述的控制设备，

其中，所述操作计划单元基于从所述传感器获取的环境信息和所述预先获取环境信息来计算其中对所述相关元件的位置和形状进行了近似的形状近似信息与障碍物之间的距离，并且基于该距离来制定所述操作计划。

(21)根据(18)所述的控制设备，包括：

控制单元，被配置成基于所述操作计划来控制机器人的操作。

(22)根据(1)至(21)中任一项所述的控制设备，

其中，在所述预先获取环境信息中包括移动障碍物的情况下，所述环境信息设定单元预测所述移动障碍物的运动并且使所预测的运动反映在所述预先获取环境信息中。

(23)根据(1)至(22)中任一项所述的控制设备，

其中，所述控制设备控制机器人，并且所述相关元件是与所述机器人相关的元件。

(24)根据(23)所述的控制设备，

其中，所述相关元件是所述机器人中包括的构成部件或所述机器人所作用的物体。

(25)一种控制方法，包括：

评定从传感器获取的环境信息中是否包括相关元件；以及

在评定所述环境信息中包括所述相关元件的情况下，将所述环境信息切换成其中不包括所述相关元件的预先获取环境信息。

(26)一种程序，其用于使计算机用作：

被配置成评定从传感器获取的环境信息中是否包括相关元件的装置；以及

被配置成在评定所述环境信息中包括所述相关元件的情况下将所述环境信息切换成其中不包括所述相关元件的预先获取环境信息的装置。

通过下面的编号条目限定了另外的示例配置：

1.一种控制设备，包括：

评定单元，被配置成评定从传感器新获取的环境信息是否表示相关元件；

环境信息设定单元，被配置成：在所述评定单元已经评定所述环境信息的一部分表示所述相关元件的情况下，选择其中所述相关元件被评定为不被包括的预先获取环境信息来替代从所述传感器新获取的所述环境信息的至少所述一部分；以及

控制单元，被配置成根据所述环境信息执行控制功能。

2.根据条目1所述的控制设备，

其中，所述评定单元被配置成基于所述环境信息和其中对所述相关元件的位置和形状进行了近似的形状近似信息，来评定所述环境信息是否表示所述相关元件。

3.根据条目2所述的控制设备，

其中，所述评定单元响应于限定所述相关元件相对于所述传感器的当前位置的信息；以及

其中，在所述环境信息由处于取决于限定所述相关元件相对于所述传感器的当前位置的信息的位置处的所述形状近似信息限定的空间表示的情况下，所述评定单元被配置成评定所述环境信息表示所述相关元件。

4.根据条目2所述的控制设备，

其中，所述评定单元被配置成在所述环境信息中检测表示包括所述相关元件的简单形状的形状近似的存在。

5.根据条目2所述的控制设备，

其中，所述形状近似信息表示被裕量区域围绕的所述相关元件的轮廓的物理形状。

6.根据条目1所述的控制设备，

其中，所述环境信息设定单元被配置成选择如下最近的预先获取环境信息来替代从所述传感器新获取的环境信息的至少所述一部分：针对所述最近的预先获取环境信息，所述评定单元评定所述相关元件未被所述环境信息的所述一部分表示。

7.根据条目1所述的控制设备，

其中，所述环境信息设定单元被配置成将所述预先获取环境信息顺序地更新为基于时间序列获取的信息，针对该信息，所述相关元件不存在于所述传感器的检测范围内，以及

所述环境信息设定单元被配置成选择通过所述更新获得的最近的预先获取环境信息作为所述环境信息。

8.根据条目1所述的控制设备，

其中，所述环境信息的所述一部分是其中对所述相关元件的位置和形状进行了近似的形状近似信息的区域。

9.根据条目1所述的控制设备，

其中，所述环境信息的所述一部分是被所述相关元件遮住的区域。

10.根据条目1所述的控制设备，

其中，所述环境信息的所述一部分是其中所述相关元件被评定为被包括的区域和被所述相关元件遮住的区域。

11.根据条目1所述的控制设备，

其中，所述环境信息的所述一部分是针对其已经由所述传感器获取了环境信息的整个区域。

12.根据条目10所述的控制设备，包括：

环境信息删除单元，被配置成删除所述新获取的环境信息的至少所述一部分的环境信息。

13.根据条目12所述的控制设备，

其中，所述环境信息设定单元被配置成选择所述预先获取环境信息来替换所删除的环境信息。

14.一种机器人设备，包括：

根据条目1所述的控制设备；以及

传感器，被配置成提供环境信息；

其中，所述传感器是被配置成识别物体的对象识别传感器。

15.根据条目14所述的机器人设备，

其中，所述传感器是被配置成测量距所述物体的距离的距离测量传感器。

16.根据条目14所述的机器人设备，包括：

操作计划单元，被配置成，作为根据所述环境信息的所述控制功能，生成用于所述机器人设备的操作计划。

17.根据条目16所述的机器人设备，

其中，所述操作计划单元被配置成基于从所述传感器获取的所述环境信息和所述预先获取环境信息来计算距障碍物的距离，并且基于距所述障碍物的距离来生成所述操作计划。

18.根据条目16所述的机器人设备，

其中，所述评定单元响应于限定所述相关元件相对于所述传感器的当前位置的信息；以及

其中，所述操作计划单元被配置成基于从所述传感器获取的所述环境信息和所述预先获取环境信息，来计算其中对所述相关元件的位置和形状进行了近似的形状近似信息与障碍物之间的距离，并且被配置成基于所述距离生成所述操作计划。

19.根据条目16所述的机器人设备，包括：

一个或更多个运动致动器，使所述机器人设备运动；

所述控制单元被配置成基于所述操作计划来控制所述一个或更多个运动致动器的操作以使所述机器人设备运动。

20.根据条目14所述的机器人设备，

其中，在所述预先获取环境信息表示移动障碍物的情况下，所述环境信息设定单元被配置成预测所述移动障碍物的运动并且使所预测的运动反映在所述预先获取环境信息中。

21.根据条目14所述的机器人设备，

其中：

所述相关元件是与所述机器人设备相关、能够根据相对于所述机器人设备的当前元件位置相对于所述机器人设备进行运动并且由所述机器人设备控制的元件；

所述传感器具有相对于所述机器人设备的当前传感器位置；以及

所述评定单元被配置成响应于所述当前元件位置和所述当前传感器位置，来检测限定所述相关元件相对于所述传感器的当前位置的信息。

22.根据条目21所述的机器人设备，

其中，所述相关元件是所述机器人设备的构成部件。

23.一种控制方法，包括：

评定从传感器新获取的环境信息是否表示相关元件；

在评定步骤评定所述环境信息中的一部分表示所述相关元件的情况下，选择其中所述相关元件被评定为不被包括的预先获取环境信息来替代从所述环境传感器新获取的所述环境信息的至少所述一部分；以及

根据所述环境信息来执行控制功能。

24.一种计算机软件，当由计算机执行时，使所述计算机执行条目23所述的方法。

25.一种非暂态机器可读介质，其存储根据条目24所述的计算机软件。

附图标记列表

500 控制设备

530 评定单位

540 环境信息设定单元

570 操作计划单位

580 操作控制单元

Claims (25)

1.一种控制设备，包括：

评定单元，被配置成评定从传感器新获取的环境信息是否表示相关元件；

环境信息设定单元，被配置成：在所述评定单元已经评定所述环境信息的一部分表示所述相关元件的情况下，选择其中所述相关元件被评定为不被包括的预先获取环境信息来替代从所述传感器新获取的所述环境信息的至少所述一部分；以及

控制单元，被配置成根据所述环境信息执行控制功能。

2.根据权利要求1所述的控制设备，

其中，所述评定单元被配置成基于所述环境信息和其中对所述相关元件的位置和形状进行了近似的形状近似信息，来评定所述环境信息是否表示所述相关元件。

3.根据权利要求2所述的控制设备，

其中，所述评定单元响应于限定所述相关元件相对于所述传感器的当前位置的信息；以及

其中，在所述环境信息由处于取决于限定所述相关元件相对于所述传感器的当前位置的信息的位置处的所述形状近似信息限定的空间表示的情况下，所述评定单元被配置成评定所述环境信息表示所述相关元件。

4.根据权利要求2所述的控制设备，

其中，所述评定单元被配置成在所述环境信息中检测表示包括所述相关元件的简单形状的形状近似的存在。

5.根据权利要求2所述的控制设备，

其中，所述形状近似信息表示被裕量区域围绕的所述相关元件的轮廓的物理形状。

6.根据权利要求1所述的控制设备，

其中，所述环境信息设定单元被配置成选择如下最近的预先获取环境信息来替代从所述传感器新获取的环境信息的至少所述一部分：针对所述最近的预先获取环境信息，所述评定单元评定所述相关元件未被所述环境信息的所述一部分表示。

7.根据权利要求1所述的控制设备，

其中，所述环境信息设定单元被配置成将所述预先获取环境信息顺序地更新为基于时间序列获取的信息，针对该信息，所述相关元件不存在于所述传感器的检测范围内，以及

所述环境信息设定单元被配置成选择通过所述更新获得的最近的预先获取环境信息作为所述环境信息。

8.根据权利要求1所述的控制设备，

其中，所述环境信息的所述一部分是其中对所述相关元件的位置和形状进行了近似的形状近似信息的区域。

9.根据权利要求1所述的控制设备，

其中，所述环境信息的所述一部分是被所述相关元件遮住的区域。

10.根据权利要求1所述的控制设备，

其中，所述环境信息的所述一部分是其中所述相关元件被评定为被包括的区域和被所述相关元件遮住的区域。

11.根据权利要求1所述的控制设备，

其中，所述环境信息的所述一部分是针对其已经由所述传感器获取了环境信息的整个区域。

12.根据权利要求10所述的控制设备，包括：

环境信息删除单元，被配置成删除所述新获取的环境信息的至少所述一部分的环境信息。

13.根据权利要求12所述的控制设备，

其中，所述环境信息设定单元被配置成选择所述预先获取环境信息来替换所删除的环境信息。

14.一种机器人设备，包括：

根据权利要求1所述的控制设备；以及

传感器，被配置成提供环境信息；

其中，所述传感器是被配置成识别物体的对象识别传感器。

15.根据权利要求14所述的机器人设备，

其中，所述传感器是被配置成测量距所述物体的距离的距离测量传感器。

16.根据权利要求14所述的机器人设备，包括：

操作计划单元，被配置成，作为根据所述环境信息的所述控制功能，生成用于所述机器人设备的操作计划。

17.根据权利要求16所述的机器人设备，

其中，所述操作计划单元被配置成基于从所述传感器获取的所述环境信息和所述预先获取环境信息来计算距障碍物的距离，并且基于距所述障碍物的距离来生成所述操作计划。

18.根据权利要求16所述的机器人设备，

其中，所述评定单元响应于限定所述相关元件相对于所述传感器的当前位置的信息；以及

其中，所述操作计划单元被配置成基于从所述传感器获取的所述环境信息和所述预先获取环境信息，来计算其中对所述相关元件的位置和形状进行了近似的形状近似信息与障碍物之间的距离，并且被配置成基于所述距离生成所述操作计划。

19.根据权利要求16所述的机器人设备，包括：

一个或更多个运动致动器，使所述机器人设备运动；

所述控制单元被配置成基于所述操作计划来控制所述一个或更多个运动致动器的操作以使所述机器人设备运动。

20.根据权利要求14所述的机器人设备，

其中，在所述预先获取环境信息表示移动障碍物的情况下，所述环境信息设定单元被配置成预测所述移动障碍物的运动并且使所预测的运动反映在所述预先获取环境信息中。

21.根据权利要求14所述的机器人设备，

其中：

所述相关元件是与所述机器人设备相关、能够根据相对于所述机器人设备的当前元件位置相对于所述机器人设备进行运动并且由所述机器人设备控制的元件；

所述传感器具有相对于所述机器人设备的当前传感器位置；以及

所述评定单元被配置成响应于所述当前元件位置和所述当前传感器位置，来检测限定所述相关元件相对于所述传感器的当前位置的信息。

22.根据权利要求21所述的机器人设备，

其中，所述相关元件是所述机器人设备的构成部件。

23.一种控制方法，包括：

评定从传感器新获取的环境信息是否表示相关元件；

在评定步骤评定所述环境信息中的一部分表示所述相关元件的情况下，选择其中所述相关元件被评定为不被包括的预先获取环境信息来替代从所述环境传感器新获取的所述环境信息的至少所述一部分；以及

根据所述环境信息来执行控制功能。

24.一种计算机软件，当由计算机执行时，使所述计算机执行权利要求23所述的方法。

25.一种非暂态机器可读介质，其存储根据权利要求24所述的计算机软件。

Images