CN105729466B

CN105729466B - 机器人识别系统

Info

Publication number: CN105729466B
Application number: CN201510702226.0A
Authority: CN
Inventors: 天方康裕
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2014-12-25
Filing date: 2015-10-26
Publication date: 2017-08-08
Anticipated expiration: 2035-10-26
Also published as: DE102015016530B4; DE102015016530A1; JP6068429B2; US9905016B2; US20160184998A1; CN105729466A; JP2016120585A

Abstract

本发明提供一种机器人识别系统。机器人识别系统具备：具有能转动的臂的机器人；对机器人进行摄像的摄像装置；检测臂的转动角度的角度检测部；基于由角度检测部检测出的转动角度，生成表示机器人的形态的机器人模型的模型生成部；以及对由摄像装置得到的图像与由模型生成部生成的多个机器人模型进行比较，识别图像中的机器人图像的图像识别部。

Description

机器人识别系统

技术领域

本发明涉及对由摄像装置所摄的图像所包含的机器人图像进行识别的机器人识别系统。

背景技术

近年来，涉及在由摄像装置所摄的图像中附加由计算机生成的信息而显示的扩张现实的技术普及开来。作为将该扩张现实应用于机器人图像的例子，已知在日本特开2014-180707号公报中所记载的装置。

顺便地。例如在由摄像装置对多台机器人所处的作业环境进行摄像，在图像上附加与各个机器人对应的信息的情况下，需要识别与图像所含的各个机器人对应的机器人图像。但是，机器人伴随姿势变化，因此，难以识别图像所含的机器人图像。

发明内容

根据本发明的第一方案，提供一种机器人识别系统，其具备：具有能转动的臂的机器人；对机器人进行摄像的摄像装置；检测臂的转动角度的角度检测部；基于由角度检测部检测出的转动角度，生成表示机器人的形态的机器人模型的模型生成部；以及对由摄像装置得到的图像与由模型生成部生成的多个机器人模型进行比较，识别图像中的机器人图像的图像识别部。

根据本发明的第二方案，提供一种第一方案的机器人识别系统，

模型生成部基于由角度检测部检测出的转动角度，生成表示从多处观察机器人时的机器人的形态的多个机器人模型，

图像识别部对由摄像装置得到的图像与由模型生成部生成的多个机器人模型进行比较，识别图像中的机器人图像。

根据本发明的第三方案，提供一种第一或第二方案的机器人识别系统，

机器人具有：具有能转动的臂的第一机器人；以及具有能转动的臂的第二机器人，

角度检测部具有检测第一机器人的臂的转动角度的第一角度检测部和检测第二机器人的臂的转动角度的第二角度检测部，

模型生成部基于由第一角度检测部检测出的第一机器人的臂的转动角度，生成表示第一机器人的形态的第一机器人模型，并且，基于由第二角度检测部检测出的第二机器人的臂的转动角度，生成表示第二机器人的形态的第二机器人模型，

图像识别部对由摄像装置得到的图像与由模型生成部生成的第一机器人模型及第二机器人模型进行比较，识别表示图像中的第一机器人的第一机器人图像及表示第二机器人的第二机器人图像。

根据本发明的第四方案，提供一种第一至第三方案中的任一种机器人识别系统，

还具备位置姿势特定部，其基于与由图像识别部识别的机器人图像对应的上述机器人模型，特定机器人相对于摄像装置的相对的位置及姿势。

根据本发明的第五方案，提供一种第一至第四任一方案中的机器人识别系统，

还具备模型修正部，其在由摄像装置对机器人进行摄像的时点与由模型生成部生成多个机器人模型的时点偏离时，根据其偏离时间，修正由模型生成部生成的多个机器人模型。

本发明的效果如下。

本发明的机器人识别系统比较由摄像装置得到的图像与机器人模型，识别图像中的机器人图像。因此，不论机器人的姿势如何，都能容易地识别图像中的机器人图像。

通过附图所示的本发明的优选的实施方式的详细说明，本发明的这些目的、特征及优点及其他目的、特征及优点更明确。

附图说明

图1是概略地表示本发明的实施方式的机器人识别系统的结构的图。

图2是表示构成图1的机器人识别系统的机器人的结构的立体图。

图3是表示本发明的实施方式的机器人识别系统的控制结构的方框图。

图4是表示由图3的模型生成部生成的机器人模型的一例的图。

图5是表示由图3的图像处理装置执行的处理的一例的流程图。

图6A是表示由图3的摄像机所摄的摄像图像的一例的图。

图6B是表示与图6A的摄像图像一致的标准图像的图。

图7是表示机器人模型的变形例的图。

图8是表示图3的变形例的方框图。

图9是表示图1的变形例的图。

图10是表示图3的另一变形例的方框图。

图11是说明由摄像机所摄的时点与生成机器人模型的时点不同的场合的机器人模型的生成方法的图。

具体实施方式

下面，参照图1～图6B说明本发明的实施方式的机器人识别系统。本发明的实施方式的机器人识别系统适用于在由摄像装置对现实空间进行摄像而得到的图像上附加由计算机生成的信息并显示的、所谓的扩张现实的显示装置。这种显示装置对在机器人的生产现场对实际的机器人进行摄像而得到的图像上重叠与该机器人相关的信息并显示。在该情况下，当在生产现场存在多台机器人时，需要对在所摄的图像中是否存在机器人图像、当存在机器人图像时是与哪个机器人对应的机器人图像进行识别。

关于这一点，具有通过在各机器人上安装固体设别用记号，由摄像装置对记号进行摄像，对机器人图像进行识别的方法。但是，机器人伴随姿势变化，因此，根据机器人的姿势，有时无法对记号进行摄像。另外，即使能对记号进行摄像，当从摄像装置到机器人的距离长时，记号的图像小，难以识别机器人图像。当想要通过使摄像装置的数量增加来应对这些问题时，成本增加。在各机器人上安装记号也会导致成本增加。因此，在本实施方式中，如下那样构成机器人识别系统。

图1是概略地表示本发明的实施方式的机器人识别系统的结构的图。该机器人识别系统具有机器人1、对机器人1进行摄像的摄像机2、控制机器人1的机器人控制装置3。机器人1包括互相邻接地配置的第一机器人1A及第二机器人1B。机器人控制装置3包括控制第一机器人1A的第一机器人控制装置3A、控制第二机器人1B的第二机器人控制装置3B。第一机器人1A与第二机器人1B的结构及第一机器人控制装置3A与第二机器人控制装置3B的结构互相相同。另外，它们的结构也可以互相不同。

图2是表示机器人1的结构的立体图。如图2所示，机器人1是具有能通过关节部11转动地设置的臂10的垂直多关节机器人，在臂10的前端部安装工具13。在关节部11上设有伺服马达12，通过伺服马达12的驱动，臂10转动。在关节部11上设有检测距基准位置的臂10的转动角度(臂角度)的角度检测器14。角度检测器14能由例如内置于伺服马达12的旋转编码器构成。另外，将设于第一机器人1A的角度检测器14称为第一角度检测器，将设于第二机器人1B的角度检测器14称为第二角度检测器。

图1所示的摄像机2例如是具有CCD等摄像元件的电子摄像机，是具有通过摄像并在摄像面(CCD阵列面)上检测二次元图像的功能的周知的受光装置。摄像机2由用户保持，从任意的位置对摄像区域4所含的机器人1进行摄像，获得摄像区域4的动画(摄像图像)。与由摄像机2获得的摄像图像对应的图像信号输出至图像处理装置5(图3)。

机器人控制装置3根据预定的动作程序向伺服马达12输出控制信号，使机器人1进行动作。另外，也能通过未图示的示教操作盘以手动向伺服马达12输出控制信号。向机器人控制装置3输入来自角度检测器14的信号。

图3是表示本发明的实施方式的机器人识别系统的控制结构的方框图。如图3所示，各机器人控制装置3(3A、3B)分别具有生成与各机器人1A、1B对应的机器人模型的模型生成部31。图像处理装置5包括通过包括具有CPU、ROM、RAM、其他周边电路等的运算处理装置构成的计算机。在图像处理装置5上连结模型生成部31、摄像机2及显示部6。图像处理装置5具有识别摄像图像中的机器人图像的图像识别部51及控制显示部6的显示控制部52。图像处理装置5基于来自模型生成部31与摄像机2的输入信号执行后述的处理，以在显示部6显示规定的图像的方式输出控制信号。

在机器人控制装置3的存储器中预先存储对生成三次元机器人模型必要的各机器人1A、1B的机种信息(例如各臂的长度或宽度、关节位置等信息)。模型生成部31基于该机种信息、由角度检测器14检测的臂角度特定各机器人1A、1B的姿势。并且，如图1所示，生成与第一机器人1A的姿势对应的第一机器人模型MA、与第二机器人1B的姿势对应的第二机器人模型MB。更具体地说，机器人生成部31将三次元的机器人模型向规定方向的平面投影，生成表示从三次元空间的多处观察相同姿势的机器人1时的机器人1的形态的多个二次元机器人模型M(多个第一机器人模型MA与多个第二机器人模型MB)。

图4是表示机器人模型M的一例的图。如图4所示定义机器人1的前后方向、左右方向及上线方向。此时，模型生成部31生成从前方观察机器人1时的、从后方观察机器人1时的、从左方观察机器人1时的、从右方观察机器人1时的、从上方观察机器人1时的及从下方观察机器人1时的、表示各个机器人1的形态的前机器人模型M1、后机器人模型M2、左机器人模型M3、右机器人模型M4、上机器人模型M5及下机器人模型M6。

省略图示，但这些机器人模型M1～M6分别根据从摄像机2到机器人1的距离生成多个。例如，在生成前机器人模型M1的情况下，模型生成部31在机器人1的前方以规定间隔设定第一地点、第二地点、第三地点…，生成与假定为从各地点对机器人1进行摄像时的摄像图像对应的多个前机器人模型M1。即，模型生成部31生成从不同的方向的地点及不同的距离的地点观察机器人1时的多个机器人模型M。在该情况下，距机器人1的距离越短，机器人模型M越大。

以上的机器人模型M1～M6例如在每个规定时间根据机器人1的姿势生成。即，生成动态的机器人模型M1～M6，存储在机器人控制装置3内的存储器。存储器所存储的机器人模型M1～M6在每个规定时间更新。

图5是由图像处理装置5执行的处理的一例的流程图。该流程图所示的处理例如在使机器人控制装置3的电源接通的状态下，开始利用摄像机2的摄像时开始。

在步骤S1中，从摄像机2获得图像信号。图6A表示由获得的图像信号得到的摄像图像8的一例。该摄像图像8包括机器人1、人、机器人1与人以外的障碍物(机器人控制装置等)的图像(机器人图像81、人图像82、障碍物图像83)。另外，图6A与图1不同，在摄像图像8中未表示多个，表示一台机器人1。

在步骤S2中，从机器人控制装置3获得多个机器人模型M。即，获得表示从多处(多个方向及位置)观察机器人1时的各机器人1的形态的多个机器人模型M。所获得的机器人模型M如图6A所示，作为标准图像8M存储在存储部中。

在步骤S3中，比较该标准图像8M与在步骤S1中获得的摄像图像8。即，进行标准图像8M与摄像图像8的标准匹配。

在步骤S4中，判断标准匹配的结果、是否存在与摄像图像8一致的标准图像8M、即有无机器人图像81。图6B表示与摄像图像8一致的标准图像8M1。当步骤S4为肯定时，进入步骤S5。当步骤S4为否定时，判断为在摄像图像8中不存在机器人图像81，结束处理。

在步骤S5中，判断为与标准图像8M1一致的摄像图像8的一部分表示机器人图像81，特定摄像图像8中的机器人图像81。在图6B中，包括机器人图像81的区域由矩形的框84表示。通过以上，能识别摄像图像8上的机器人图像81。

在步骤S6中，向显示部6输出控制信号，控制显示部6的显示图像。例如，以在摄像图像8上附加与机器人图像81对应的规定信息并显示的方式控制显示部6。通过以上，结束图像处理装置5的处理。以上的处理在每个规定时间反复执行。

另外，如图1所示，当在摄像图像8中存在多个(两个)机器人图像8(第一机器人图像81A、第二机器人图像81B)时，在步骤S4中，判断为具有与摄像图像8一致的两个标准图像8M1、即第一机器人模型MA的第一标准图像8M1及第二机器人模型MB的第二标准图像8M1。

在该情况下，在步骤S5中，判断为，与第一标准图像8M1一致的摄像图像8的一部分表示第一机器人图像81A，与第二标准图像8M1一致的摄像图像8的一部分表示第二机器人图像，特定摄像图像8中的第一机器人图像81A及第二机器人图像81B。在图1中，包括在步骤S5中特定的第一机器人图像81A及第二机器人图像81B的区域分别由矩形的框84A、84B表示。

根据本实施方式，能起到以下的作用效果。

(1)机器人识别系统具备：模型生成部31，其基于由角度检测器14检测的转动角度生成表示从多处观察机器人1时的机器人1的形态的多个机器人模型M；以及图像识别部51，其对由摄像机2得到的摄像图像8与由模型生成部31生成的多个机器人模型M(标准图像8M)进行比较，识别摄像图像8中的机器人图像81。由此，不论机器人1的姿势变化如何，都能容易地识别摄像图像8中的机器人图像81，能良好地适用使用计算机在机器人图像81上附加信息的、所谓的扩张现实。另外，不需要准备多个摄像机2，也不需要在机器人1上安装固体识别用记号，因此，能减少机器人识别系统整体的成本。

(2)当在摄像机2的摄像区域4包括多个机器人1A、1B时，第一机器人控制装置3A的模型生成部31基于由第一角度检测器14检测的第一机器人1A的臂角度，生成表示从多处观察第一机器人1A时的第一机器人1A的形态的多个第一机器人模型MA，第二机器人控制装置3B的模型生成部31基于由第二角度检测器14检测的第二机器人1B的臂角度，生成表示从多处观察第二机器人1B时的第二机器人1B的形态的多个第二机器人模型MB。另外，图像识别部51对摄像图像8与多个第一机器人模型MA及多个第二机器人模型MB进行比较，识别摄像图像8中的第一机器人图像81A及第二机器人图像81B。因此，即使是在摄像图像8中存在多个机器人图像81的情况下，也能容易地识别各个机器人图像81A、81B。

(3)模型生成部31根据距机器人1的距离，生成大小不同的多个机器人模型M。机器人模型M将机器人1的整体或一部分模型化，因此，不论摄像图像8中的机器人图像81的大小如何，都能容易地识别机器人图像81。

变形例

上述实施方式能进行以下那样的变形。机器人模型M未限于图4所示的形态。即，机器人模型M只要能识别机器人1即可，也可以不是对机器人1的形状详细地进行模型化的形态。图7是表示机器人模型M的变形例的图。在图7中，从在前方观察机器人1的前机器人模型M1抽出特征点(关节部等)，以直线连结特征点而形成简单的机器人模型M11。在该情况下，进行摄像图像8与机器人模型M11的图案匹配，通过判断在摄像图像8中是否存在具有机器人模型M11的特征点的图像，能识别摄像图像8中的机器人图像81。另外，特征点的抽出具有多种方法，作为一例，具有利用Harris作用元素的方法。

图8是表示图3的变形例的方框图。图8所示的图像处理装置5除了图像识别部51与显示控制部52，具有特定机器人1相对于摄像机2的相对的位置及姿势的位置姿势特定部53。位置姿势特定部53当由图像识别部51判断为在摄像图像8中存在机器人图像81时(图5的步骤S4)，参照与该机器人图像81对应的机器人模型M的标准图像8M。并且，判断标准图像8M与从哪个方向及位置观察的机器人模型M对应。由此，如图9所示，能特定各机器人1A、1B相对于摄像机2的相对的位置及姿势。

图10是表示图3的另一变形例的方框图。在摄像机2在第一时点对机器人1进行摄像，模型生成部31使用第二时点的机器人1的臂角度生成机器人模型M时，第一时点从第二时点偏离，当机器人1在从第一时点至第二时点期间姿势变化时，有可能无法进行摄像图像8与标准图像8M的良好的标准匹配。考虑这一点的方框图是图10。图10所示的图像处理装置5除了图像识别部51与显示部控制部52之外，具有模型修正部54。另外，也还能具有位置姿势特定部53(图8)。

机器人控制装置3与摄像机2分别内置计时器，各计时器的时刻预先同步。模型修正部54在由摄像机2摄像的第一时点与生成机器人模型M的第二时点偏离的情况下，如图11所示，获得第一时点t1的前后两个时点t2、t3的机器人1的关节位置。使用这些不同的时点t2、t3的关节位置，例如利用下式(I)计算第一时点t1的机器人1的关节位置。

时点t1的关节位置＝(t1-t2)/(t3-t2)X(时点t3的关节位置)

+(t3-t1)/(t3-t2)X(时点t2的关节位置)…(I)

另外，使用计算出的关节位置生成机器人模型M。由此，修正由模型生成部31生成的时点t2、t3的机器人模型M，能生成与摄像机2的摄像时点t1相同时点的机器人模型M。图像识别部51使用由模型修正部54修正后的机器人模型M，进行与摄像图像8的标准匹配。或者，求出机器人模型M的特征点，进行与摄像图像8的图案匹配。由此，即使是由摄像机1摄像的第一时点与由机器人生成部31生成机器人模型M的第二时点偏离的情况下，也能进行良好的图案匹配，正确地识别摄像图像8中的机器人图像81。

另外，在上式(I)中，由线形插补计算第一时点t1的机器人1的关节位置，但也能够应用样条插补等多种插补方法推断第一时点t1的关节位置。使用第一时点t1的前后两个时点t2、t3的机器人1的关节位置，推断第一时点t1的关节位置，但两个时点t2、t3也可以均比第一时点t1靠前或比第一时点t1靠后。

在上述实施方式中，利用单一的摄像机2对机器人1进行摄像，但摄像装置的结构未限定于此。例如，可以利用具有一对摄像透镜的立体摄像机等构成摄像装置。因此，作为与机器人模型M比较的图像，除了二次元的彩色图像以外，也能使用距离(深度)图像、立体图像等多种图像。在使用距离图像的情况下，例如使用称为ICP算法的周知的方法，通过对距离图像与三次元的机器人模型进行比较，能识别图像中的机器人图像。在使用立体图像的情况下，通过比较立体图像与三次元的机器人模型，能识别图像中的机器人图像。或者，也能够根据立体图像生成距离图像，使用ICP算法的方法。

这样，本发明不仅是比较二次元的机器人模型与图像识别机器人图像的场合，还包括比较三次元的机器人模型与图像识别机器人图像的场合。因此，只要基于由角度检测器检测的转动角度生成表示机器人的形态的机器人模型，则模型生成部的结构是任意的，只要比较由摄像装置得到的图像与由模型生成部生成的机器人模型，识别图像中的机器人图像，则图像识别部的结构是任意的。另外，摄像装置不仅由用户把持，也可以安装于台架等。检测臂10的转动角度的角度检测部的结构可以考虑多种结构，未限于上述的角度检测器14。

在上述实施方式中，模型生成部31基于臂10的转动角度生成机器人模型M，但可以进一步考虑安装于臂前端部的工具13的三次元形状或安装位置的信息、机器人1的颜色信息等生成机器人模型M。由此，能明确地区别不同的机器人1的模型而生成。在上述实施方式中，在机器人控制装置3上设置模型生成部31，但也能够在图像处理装置5、其他装置上设置模型生成部。

在上述实施方式中，在图像处理装置5上设有图像识别部51，但也能在机器人控制装置3或其他装置上设置图像识别部。在上述实施方式中，使用标准匹配比较摄像图像8与标准图像8M，但图像处理的方式根据所摄的图像的种类不同，可以使用标准匹配以外。具有能转动的臂10的机器人1的结构未限定于上述。当在摄像区域4配置三台以上的机器人1的场合也能同样地应用本发明。

以上的说明只不过是一个例子，只要不损坏本发明的特征，则本发明并不被上述实施方式及变形例限定。上述实施方式及变形例的结构要素中包括维持发明的同一性、能转换且置换自明的结构要素。即，即使在本发明的即使思想的范围内考虑的其他方式，也包含于本发明的范围内。另外，也能任意地组合上述实施方式与变形例的一个或多个。

Claims

1.一种机器人识别系统，其特征在于，

具备：

具有能转动的臂的第一机器人；

具有能转动的臂的第二机器人；

对上述第一机器人以及上述第二机器人进行摄像的摄像装置；

检测上述第一机器人的臂的转动角度的第一角度检测部；

检测上述第二机器人的臂的转动角度的第二角度检测部；

第一机器人控制装置，其控制上述第一机器人，并具有基于由上述第一角度检测部检测出的上述第一机器人的臂的转动角度，生成表示上述第一机器人的形态的多个第一机器人模型的模型生成部；

第二机器人控制装置，其控制上述第二机器人，并具有基于由上述第二角度检测部检测出的上述第二机器人的臂的转动角度，生成表示上述第二机器人的形态的多个第二机器人模型的模型生成部；以及

对由上述摄像装置得到的图像与上述多个第一机器人模型以及上述多个第二机器人模型进行比较，识别上述图像中的表示上述第一机器人的第一机器人图像以及表示上述第二机器人的第二机器人图像的图像识别部。

2.根据权利要求1所述的机器人识别系统，其特征在于，

还具备位置姿势特定部，其基于与由上述图像识别部识别的各机器人图像对应的各上述机器人模型，特定各上述机器人相对于上述摄像装置的相对的位置及姿势。

3.根据权利要求1或2所述的机器人识别系统，其特征在于，

还具备模型修正部，其在由上述摄像装置对上述机器人进行摄像的时点与由各上述机器人控制装置的模型生成部生成多个上述机器人模型的时点偏离时，根据其偏离时间，修正由该模型生成部生成的多个机器人模型。