CN112775961A

CN112775961A - 控制装置、控制装置的控制方法以及控制系统

Info

Publication number: CN112775961A
Application number: CN202011164574.4A
Authority: CN
Inventors: 安藤俊之
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-11-06
Filing date: 2020-10-27
Publication date: 2021-05-11
Also published as: JP2021074799A; JP7424800B2; US20210129342A1; DE102020126519A1; US11717970B2

Abstract

本发明提供控制装置、控制装置的控制方法以及控制系统。该控制装置识别对象物的位置并控制处理对象物的机器或机器人的动作，具备：传感器信号取得部，其取得来自输出包含对象物的被摄体的三维点群数据和与之对应的照相机图像的传感器的信号；区域取得部，其取得从三维点群数据得到的被摄体的高度低于预定值的区域；对象物外区域设定部，其将与区域对应的上述照相机图像的区域设定为对象物外区域；互补色设定部，其将对象物的颜色的互补色设定为对象物外区域的颜色；对象物位置识别部，其从将对象物外区域所对应的区域的颜色作为互补色的照相机图像中识别对象物相对于被摄体的位置及动作控制部，其至少使用位置来控制机器或机器人的动作。

Description

控制装置、控制装置的控制方法以及控制系统

技术领域

本发明涉及控制装置、控制装置的控制方法以及控制系统，特别涉及通过传感器求出对象物的三维点群数据和与之对应的照相机图像，并控制处理该对象物的机器或机器人的动作的控制装置、控制装置的控制方法以及控制系统。

背景技术

已知一种机器人系统，在照相机图像中区别成为对象物的工件和工件的背景，基于被区别出的工件的图像来控制机器人的动作。

例如，在专利文献1中记载有：使用摄像部对搭载了散装的工件的作业空间进行三维测量，基于所取得的三维测量数据，生成表示除去了工件的背景区域部分后的工件的形状的工件模型。另外，在专利文献1中记载有设定模型坐标系，设定由工件模型的握持位置以及机器人的握持部的姿势构成的握持数据，依次变更工件的姿势，并且重复模型坐标系的设定以及握持数据的设定，按照每个工件模型对应地存储多个握持数据。并且，在专利文献1中记载有对所取得的三维测量数据进行三维搜索处理，基于在工件模型中设定的握持数据来控制机器人的握持部的动作。

另外，例如在专利文献2、3和4中记载了在照相机图像中区别对象物和对象物的背景的技术。

在专利文献2中记载有在生成距离图像和亮度图像双方时能够生成高分辨率的亮度图像的测距装置。具体地，在专利文献2中记载有测距光照射部将以预定周期进行强度调制后的测距光照射到被摄体(成为对象物)上，排列有多个受光元件的CCD接受被摄体的测距光的反射光，输出与受光量对应的信号。此时，摄像控制部通过由预定数量的受光元件组成的受光元件单位，在测距光的调制周期的相互不同的多个相位中分别接收反射光，控制CCD以对多个相位的每一个取得信号。距离图像生成部基于多个相位的每一个的信号，以受光元件单位计算表示到被摄体的距离的距离信息，生成将距离信息作为各像素的信息的距离图像。亮度图像生成部基于多个相位的每一个的信号，以受光元件单位计算多个表示被摄体的亮度的亮度信息，生成将各亮度信息作为各像素的信息的亮度图像。

在专利文献3中记载有不需要照相机的焦点调整等繁琐的操作，并且能够容易地切换以不同焦距配置的被摄体并发送的图像通信装置。具体地，在专利文献3中记载有基于由第一照相机和第二照相机拍摄投影到通话者的投影图案而得到的距离图像，由亮度区域提取部从亮度图像中提取通话者的图像区域。

现有技术文献

专利文献1：日本特开2018-144144号公报

专利文献2：日本特开2009-085705号公报

专利文献3：日本特开2001-268532号公报

发明内容

在对处理工件等对象物的机器或控制机器人的动作进行控制的控制装置的情况下，当对象物被放置在污染的面上时，在要使用照相机图像来确定对象物的形状的情况下，会有污染的区域与放置对象物的区域重叠且对象物的轮廓变得不清楚而错误识别对象物的形状的情况。另外，如果放置对象物的面是网眼，则在照相机图像中难以区别对象物和网眼的部分，有时会错误识别对象物的位置。进而，在对象物为黑色且放置对象物的面接近黑色的情况下，或者对象物为白色且放置对象物的面接近白色的情况下，在照相机图像中难以区别对象物和放置对象面的面，有时会错误识别对象物的形状。

为了消除这些错误识别，可以将检测对象物的功能的检索参数的阈值，例如轮廓图案在多大程度上一致的阈值设定得较高，但是如果阈值过高，则难以检测对象物。

另外，虽然可以使用图像滤波器来消除错误识别，但是如果使用图像滤波器也会影响对象物自身的图像。

因此，希望在照相机图像上通过简单的结构或方法明确地区分对象物和对象物的背景。

(1)本公开第一方式的控制装置是识别对象物的位置并控制处理上述对象物的机器或机器人的动作的控制装置，具备：

传感器信号取得部，其取得来自传感器的信号，该传感器输出包含上述对象物的被摄体的三维点群数据和与之对应的照相机图像；

区域取得部，其取得从上述三维点群数据得到的上述被摄体的高度低于预定值的区域；

对象物外区域设定部，其将与上述区域对应的上述照相机图像的区域设定为对象物外区域；

互补色设定部，其将上述对象物的颜色的互补色设定为上述对象物外区域的颜色；

对象物位置识别部，其从将上述对象物外区域所对应的区域的颜色作为互补色的上述照相机图像中识别上述对象物相对于上述被摄体的位置；以及

动作控制部，其至少使用上述位置来控制上述机器或机器人的动作。

(2)本公开的第二方式的控制系统具备：

上述(1)记载的控制装置；

机器人，其处理对象物的动作被该控制装置控制；以及

传感器，其将包含上述对象物的被摄体的三维点群数据和与之对应的照相机图像输出到上述控制装置。

(3)本公开的第三方式的控制方法是识别对象物的位置并控制处理上述对象物的机器或机器人的动作的控制装置的控制方法，在该方法中，

取得来自传感器的信号，该传感器输出包含上述对象物的被摄体的三维点群数据和与之对应的照相机图像，

取得从上述三维点群数据得到的上述被摄体的高度低于预定值的区域，

将与上述区域对应的上述照相机图像的区域设定为对象物外区域，

将上述对象物的颜色的互补色设定为上述对象物外区域的颜色，

从将与对象物外区域对应的区域的颜色作为互补色的上述照相机图像中识别上述对象物的位置，

至少使用上述位置来控制上述机器或机器人的动作。

发明的效果

根据本发明的方式，可以在照相机图像上通过简单的结构或方法明确地区分对象物和对象物的背景。

附图说明

图1是表示包含本发明第一实施方式的控制装置的机器人系统的整体结构的示意图。

图2是表示控制装置的一个结构例的框图。

图3是成为托盘的一部分的网眼的局部放大图。

图4是表示工件的颜色是接近黑色的灰色并且工件外区域为网眼时的二维照相机图像，表示错误识别工件的位置时的说明图。

图5表示二维照相机图像，该二维照相机图像表示互补色设定部将图4的二维照相机图像的工件外区域的颜色变成白色的情况。

图6表示二维照相机图像，该二维照相机图像表示互补色设定部将工件外区域的颜色变成黑色的情况。

图7是表示本实施方式的图像处理装置的动作的流程图。

附图标记的说明

10：机器人系统、100：传感器、200：机器人、300：控制装置、310：图像处理部、311：传感器信号取得部、312：区域取得部、313：工件外区域设定部、314：互补色设定部、315：工件位置识别部、316：工件颜色保存部、320：机器人控制部、321：动作控制部、330：显示部、400：托盘、500：工件(对象物)。

具体实施方式

以下，使用附图详细说明本发明的实施方式。

图1是表示包含本发明的一个实施方式的控制装置的机器人系统的整体结构的示意图。图2是示出控制装置的一个结构例的框图。

如图1所示，机器人系统10具备取得被摄体的三维点群和二维照相机图像的传感器100、机器人200、基于从传感器100输出的三维点群和二维照相机图像来控制机器人200的控制装置300、托盘400以及放置在托盘400上的工件500。传感器100的照相机图像的被摄体为放置有工件500的托盘400。机器人200使用安装在机械臂上的机械手抓住工件500来进行搬运。工件500成为由机器人200处理的对象物。

控制装置300与传感器100和机器人200可通信地连接。

工件500可以不放在托盘400上，而是放在带式传送机等传送机上或工作台上。

工件500只要是可以由安装在机器人200的机械臂上的机械手来握持的工件即可，其形状等没有特别限定。

首先，对机器人系统10的动作的概要进行说明。

传感器100在托盘400上间隔一定距离配置，取得放置了工件500的托盘400的三维点群数据和二维照相机图像，并发送给控制装置300。二维照相机图像可以是彩色图像或灰度图像。在将工件500放置在传送机上的情况下，为了在相同时间取得三维点群数据和二维照相机图像，优选暂时停止传送机，取得三维点群数据和二维照相机图像。

控制装置300从被摄体的三维点群数据取得比预定高度低的三维点的区域，进一步取得与该区域对应的二维照相机机图像作为配置有工件500的区域之外的区域(以下称为工件外区域)。可以预先设定预定的高度，也可以根据三维点群数据的直方图来求出。

并且，控制装置300取得预先保存的工件500的颜色，将照相机图像的工件外区域的颜色设定为工件500的颜色的互补色。所谓互补色，是在色相环(color circle)中位于相反位置的关系的颜色，但也包含接近相反位置的颜色，例如在色相环中与位于相反位置的颜色相邻的颜色。

另外，一般在工件500的颜色是白色、灰色、黑色等非彩色的情况下不存在互补色，但是将白色的互补色作为黑色，将黑色的互补色作为白色来处理。另外，白色的互补色中也包含接近黑色的灰色，黑色的互补色中也包含接近白色的灰色。具体地说，当工件500的颜色是白色或接近白色的灰色时，工件外区域的颜色是黑色或接近黑色的灰色，当工件500的颜色是黑色或接近黑色的灰色时，工件外区域的颜色是白色或接近白色的灰色。

控制装置300从工件外区域的颜色被设定为工件500的颜色的互补色的二维照相机图像中识别工件500相对于托盘400的轮廓、位置。

此外，控制装置300根据三维点群数据来识别工件500的高度，设定机器人200的机械手抓住工件500的高度。

如上所述，控制装置300根据被摄体的三维点群数据设定工件外区域，将二维照相机图像的工件外区域的颜色设定为工件500的颜色的互补色。其结果，无论是工件500的颜色与工件外区域的颜色是接近的颜色，还是工件被放置在网眼或表面污染了的托盘上，控制装置300都能够准确识别工件500相对于托盘400的轮廓、位置。

控制装置300识别工件500相对于托盘400的位置和机器人200的机械手抓住工件500的高度，将控制机器人200的机械臂及机械手的控制信号发送给机器人200。

然后，机器人200基于控制装置300生成的控制信号，使用机械手抓住工件500来进行工件500的搬运。

通过上述结构，可以消除机器人系统10错误识别托盘400上的工件500的位置而机器人200无法抓住工件500的错误动作。

以上，对机器人系统10的整体结构及动作的概要进行了说明。接着，将详细描述机器人系统10中包含的传感器100、机器人200和控制装置300。

传感器100是取得三维点群和二维照相机图像的传感器。传感器例如具备两台照相机和一台投影仪。关于三维点群，可以将诸如条纹或网格等图案的光从投影仪照射到放置有工件500的托盘400上，并且通过三角测量从两台照相机的图像中获得。可以从一台照相机的图像或两台照相机的图像得到二维照相机图像。二维相机图像可以是彩色图像，也可以是灰度图像。以下，说明工件500的颜色是接近黑色的灰色或白色，二维照相机图像是灰度图像的情况。

机器人200是基于控制装置300的控制而进行动作的机器人。机器人200具备用于以垂直方向的轴为中心旋转的基座部、进行移动及旋转的机械臂以及为了握持工件500而安装在臂上的机械手。

机器人200根据控制装置300输出的控制信号，驱动机械臂或机械手，使机械手移动到放置了工件500的位置，握持工件500来进行搬运。

另外，机器人200不限于进行工件500的搬运的机器人，也可以是进行部件的组装、工件的加工等的机器人。

关于机器人200的具体结构，本领域技术人员非常熟知，因此省略详细说明。

如图2所示，控制装置300包括图像处理部310、机器人控制部320以及显示部330。

<图像处理部>

图像处理部310具备传感器信号取得部311、区域取得部312、工件外区域设定部313、互补色设定部314、工件位置识别部315以及工件颜色保存部316。

传感器信号取得部311从传感器100取得包含放置了工件500的托盘400(成为被摄体)的三维点群数据和二维照相机图像的传感器信号，并输出到区域取得部312。

区域取得部312根据被摄体的三维点群数据判断是否有预定高度以上的区域，在没有预定高度以上的区域的情况下，判断为在托盘400上没有放置工件500。如图3所示，在托盘400的表面的一部分是网眼401的情况下，可以在网眼401内形成空间(图3中被虚线包围的区域)。在该空间中，不能取得三维点群数据。因此，区域取得部312基于周围的三维点群数据来推定该空间的位置的高度。

区域取得部312在根据三维点群数据推定出有预定高度以上的区域的情况下，从三维点群数据取得比预定高度低的三维点的区域，将比预定高度低的三维点的区域的特定信息、二维照相机图像和三维点群数据输出到工件外区域设定部313。

工件外区域设定部313基于三维点的区域的特定信息，将比预定高度低的三维点的区域所对应的二维照相机图像的图像区域设定为工件外区域。并且，将工件外区域的特定信息、二维照相机图像和三维点群数据输出到互补色设定部314。

互补色设定部314从工件颜色保存部316取得工件500的颜色，将与工件外区域相应的图像区域的颜色作为工件500的颜色的互补色。

工件颜色保存部316中预先保存了工件500的颜色

例如，当二维相机图像是灰度图像并且工件500的颜色是接近黑色的灰色时，互补色设定部314将工件外区域的颜色设为白色。另外，当二维相机图像是灰度图像并且工件500的颜色是白色时，互补色设定部314将工件外区域的颜色设为黑色。互补色设定部314也可以根据二维照相机图像判断颜色，决定工件外区域的颜色，在这种情况下，也可以没有工件颜色保存部316。

图4是表示工件的颜色是接近黑色的灰色，工件外区域是网眼时的二维照相机图像，表示工件的位置被错误识别时的说明图。托盘400是网眼，工件500的颜色是接近黑色的灰色。图4的二维照相机图像P1的放置了工件的区域(以下称为工件区域)P11的颜色是接近黑色的灰色，工件外区域P12的图4的虚线所包围的区域表示被误认为配置有工具500的区域。例如，在网眼的一部分由于照明关系而被拍得很暗的情况下，有时会被误认为是四边形的工件。

图5表示二维照相机图像，该二维照相机图像表示互补色设置部将图4的二维照相机图像的工件外区域的颜色改变为白色的情况。

图5所示的二维照相机图像P1与图4相同，工件区域P11的颜色是接近黑色的灰色，工件外区域P12是网眼。

互补色设定部314将图5所示的二维照相机图像P1的网眼的工件外区域P12改变为白色的工件外区域P13，作为图5所示的二维照相机图像P2。

图6是表示二维照相机图像的图，该二维照相机图像表示互补色设定部将工件外区域的颜色改变为黑色的情况。

图6所示的二维照相机图像P3的工件500的颜色是白色，工件区域P31的颜色是白色，工件外区域P32是网眼。

互补色设定部314将图6所示的二维照相机图像P3的网眼的工件外区域P32改变为黑色的工件外区域P33，作为图6所示的二维照相机图像P4。

互补色设定部314将与工件外区域相应的图像区域的颜色被作为互补色的二维照相机图像和三维点群数据输出到工件位置识别部315。

另外，由于在互补色设定部314中不进行使用了三维点群数据的处理，所以工件外区域设定部313也可以不通过互补色设定部314将三维点群数据输出到后述的工件位置识别部315。

工件位置识别部315从互补色设定部314得到以与工件外区域相应的图像区域的颜色为互补色的二维照相机图像和三维点群数据。

工件位置识别部315从二维照相机图像识别工件500相对于托盘400的位置。

另外，工件位置识别部315根据三维点群数据识别工件500的高度，设定机器人200的机械手抓住工件500的高度。

工件位置识别部315向机器人控制部320的动作控制部321输出工件500相对于托盘400的位置和机器人200的机械手抓住工件500的高度。

＜机器人控制部＞

如图2所示，机器人控制部320具备动作控制部321。

动作控制部321根据从工件位置识别部315输出的工作台500相对于托盘400的位置、机器人200的机械手抓住工件500的高度来生成控制机器人200的机械臂和机械手的控制信号，将控制信号发送到机器人200。

另外，动作控制部321通过预先进行的校准，将用于控制机器人200的机器坐标系与表示工件500的位置的照相机坐标系对应起来。

<显示部>

显示部330在画面上显示图5所示的二维照相机图像P1和P2或者图6所示的二维照相机图像P3和P4。显示部330例如是液晶显示装置。用户观看显示部330的画面，能够准确识别工件区域，确认工件外区域的颜色是否被改变为工件500的颜色的互补色。显示部330可以在画面上仅显示二维照相机图像P2或图6所示的二维照相机图像P4。在这种情况下，用户可以确认工件外区域的颜色是否是工件500的颜色的互补色。

另外，在用户不进行图像的确认的情况下可以不设置显示部330。

以上说明了控制装置300中包含的功能块。

为了实现这些功能块，控制装置300具备CPU(Central Processing Unit中央处理单元)等运算处理装置。另外，图像处理装置10a具备存储应用软件、OS(Operating System操作系统)等各种控制用程序的HDD(Hard Disk Drive硬盘驱动器)等辅助存储装置、用于存储运算处理装置执行程序时临时所需的数据的RAM(Random Access Memory随机存取存储器)等主存储装置。

并且，在控制装置300中，运算处理装置从辅助存储装置读入应用软件和OS，在主存储装置中展开所读入的应用软件和OS，并且进行基于这些应用软件和OS的运算处理。另外，基于其运算结果，控制各装置所具备的各种硬件。由此，实现本实施方式的功能块。也就是说，可以通过硬件和软件协作来实现本实施方式。

作为具体例，控制装置300可以通过在普通的个人计算机或服务器装置中嵌入用于实现本实施方式的应用软件来实现。

但是，在运算量较多的情况下，控制装置300可以通过例如在计算机上搭载GPU(Graphics Processing Units图案处理单元)，并被称为GPGPU(General-Purposecomputing Graphics Processing Units通用计算图形处理单元)这一技术，在将GPU用于运算处理时能够进行高速处理。另外，如果在计算机上搭载FPGA(Field-Programble GateAray现场可编程门阵列)，并将FPGA用于运算处理，则可以进行高速处理。

进而，为了进行更高速的处理，也可以使用多台搭载了这样的GPU、FPGA的计算机来构建计算机集群，通过该计算机集群中包含的多台计算机进行并行处理。

<控制装置的动作>

接着，参照图7的流程图，说明本实施方式的控制装置的动作。图7是表示本实施方式的控制装置的动作的流程图。

在步骤S10，传感器信号取得部311从传感器100取得包含三维点群数据和二维照相机图像的传感器信号，并输出到区域取得部312。

在步骤S11，区域取得部312根据三维点群数据判断是否存在预定高度以上的区域。在没有预定高度以上的区域时(“否”的情况)，判断为工件500没有被放置在托盘400上，返回到步骤S10。

在根据三维点群数据判断为有预定高度以上的区域的情况下(“是”的情况)，转移到步骤S12。

在步骤S12，区域取得部312从三维点群数据取得比预定高度低的三维点的区域。

在步骤S13中，工件外区域设定部313将比预定高度低的三维点的区域所对应的二维照相机图像的图像区域设定为工件外区域。

在步骤S14中，互补色设定部314从工件颜色保存部316取得工件500的颜色，将与工件外区域相应的图像区域的颜色作为工件500的颜色的互补色。

在步骤S15中，工件位置识别部315从将工件外区域所相应的图像区域的颜色作为互补色的二维照相机图像中识别工件500相对于托盘400的位置，根据三维点群数据识别工件500的高度，并设定机器人200的机械手抓住工件500的高度。

在步骤S16中，动作控制部321根据工件500相对于托盘400的位置和机器人200的机械手抓住工件500的高度来生成控制机器人200的机械臂及机械手的控制信号，将控制信号发送给机器人200。

<硬件与软件的协作>

另外，上述机器人系统中包含的各装置分别可以通过硬件、软件或它们的组合来实现。另外，通过上述机器人系统中包含的各装置的各自协作而进行的控制方法也可以通过硬件、软件或它们的组合来实现。这里，通过软件实现意味着通过计算机读入程序并执行程序来实现。

可以使用各种类型的非临时计算机可读介质(non-transitory computerreadable medium)来存储程序并提供给计算机。非临时计算机可读介质包括各种类型的实体记录介质(tangible storage medium)。非临时计算机可读介质的示例是磁记录介质(例如，硬盘驱动器)、光磁记录介质(例如，光磁盘)、CD-ROM(Read Only Memory只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(Programmable可编程ROM)、EPROM(Erasable可擦除PROM)、快闪ROM、RAM(random access memory随机存取存储器))。另外还可以通过各种类型的临时计算机可读介质(transitory computer readable medium)将程序提供给计算机。

另外，上述各实施方式是本发明的优选实施方式，但本发明的范围不是仅限定于上述实施方式，能够以组合了各实施方式的方式、不脱离本发明主旨的范围内实施各种变更的方式来实施。

例如，在上述各实施方式中，图像处理部310和机器人控制部320构成为一个控制装置300，但构成控制装置的图像处理部310和机器人控制部320也可以构成为另一个装置。在这种情况下，构成图像处理部310的装置和构成机器人控制部320的装置可以通过LAN(Local Area Network局域网)或者因特网等网络连接。

另外，在上述各实施方式中，对控制装置识别机器人进行的工件(被加工物)的搬运中的工件的位置的情况进行了说明，但本发明不特别限定用途，例如也适用于控制装置通过机床进行加工时的工件的位置识别或机器人进行的工件组装等的工作台上的部件的位置识别等情况。机器不限于机床，也可以是工业机械。

因此，控制系统不限于机器人系统，也适用于机床系统或工业机械系统。

本公开的控制装置、控制装置的控制方法和控制系统可以包含上述实施方式，采取具有以下结构的各种各样的实施方式。

(1)本公开的第一方式为识别对象物的位置并控制处理上述对象物的机器或机器人的动作的控制装置(例如控制装置300)，该控制装置具备：

传感器信号取得部(例如，传感器信号取得部311)，其取得来自传感器(例如，传感器100)的信号，该传感器输出包含上述对象物的被摄体的三维点群数据和与之对应的照相机图像；

区域取得部(例如，区域取得部312)，其取得从上述三维点群数据得到的上述被摄体的高度低于预定值的区域；

对象物外区域设定部(例如工件外区域设定部313)，其将与上述区域对应的上述照相机图像的区域设定为对象物外区域；

互补色设定部(例如互补色设定部314)，其将上述对象物的颜色的互补色设定为上述对象物外区域的颜色；

对象物位置识别部(例如工件位置识别部315)，其从将上述对象物外区域所对应的区域的颜色作为互补色的上述照相机图像中识别上述对象物相对于上述被摄体的位置；以及

动作控制部(例如动作控制部321)，其至少使用上述位置来控制上述机器或机器人(例如机器人200)的动作。

根据本公开的控制装置，可以在照相机图像中用简单的方法明确地区分对象物和对象物的背景。

(2)在上述(1)所述的控制装置中，上述对象物是被加工物(例如工件500)，上述被摄体是放置有上述被加工物的托盘(例如托盘400)或传送机。

(3)在上述(1)或(2)所述的控制装置中，上述区域取得部基于周围的三维点群数据来推定关于三维点群数据的未能取得部分的高度。

(4)在上述(1)至(3)中任意一项所述的控制装置中，具备保存上述对象物的颜色的保存部(例如工件颜色保存部316)，

上述互补色设定部基于上述保存部中保存的上述对象物的颜色来设定上述对象物的颜色的互补色。

(5)本公开的第二方式为控制系统，具备：

上述(1)至(4)中任意一项所述的控制装置(例如，控制装置300)；

机器或机器人(例如机器人200)，其处理对象物的动作被该控制装置控制；以及

传感器(例如传感器100)，其将包含上述对象物的被摄体的三维点群数据和与之对应的照相机图像输出到上述控制装置。

根据本公开的控制系统，在照相机图像中可以用简单的方法明确地区分对象物和对象物的背景，能够准确地进行机器或机器人对对象物的动作。

(6)本公开的第三方式为控制装置(例如控制装置300)的控制方法，识别对象物的位置并控制处理上述对象物的机器或机器人的动作，

取得来自传感器(例如传感器100)的信号，该传感器输出包含上述对象物的被摄体的三维点群数据和与之对应的照相机图像，

从将对象物外区域所对应的区域的颜色作为互补色的上述照相机图像中识别上述对象物的位置，

至少使用上述位置来控制上述机器或机器人(例如，机器人200)的动作。

根据本公开的控制方法，可以通过简单的方法在照相机图像中明确地区分对象物和对象物的背景。

Claims

1.一种控制装置，识别对象物的位置并控制处理上述对象物的机器或机器人的动作，其特征在于，

该控制装置具备：

2.根据权利要求1所述的控制装置，其特征在于，

上述对象物是被加工物，上述被摄体是放置有上述被加工物的托盘或传送机。

3.根据权利要求1或2所述的控制装置，其特征在于，

上述区域取得部基于周围的三维点群数据来推定关于三维点群数据的未取得部分的高度。

4.根据权利要求1～3中任意一项所述的控制装置，其特征在于，

该控制装置具备保存上述对象物的颜色的保存部，

5.一种控制系统，其特征在于，

该控制系统具备：

权利要求1至4中任意一项所述的控制装置；

处理对象物的动作被该控制装置控制的机器或机器人；以及

6.一种控制装置的控制方法，识别对象物的位置并控制处理上述对象物的机器或机器人的动作，其特征在于，

从将上述对象物外区域所对应的区域的颜色作为互补色的上述照相机图像中识别上述对象物的位置，

至少使用上述位置来控制上述机器或机器人的动作。