CN107921643A - 机器人系统 - Google Patents

Abstract

机器人系统(10)按照通过相机得到的信息相对于对象物进行机器人手臂的驱动控制，机器人系统(10)具有：具备作业部(2)的机器人(1)；在作业部的附近安装于机器人(1)上的相机(3)；及一边基于相机(3)的拍摄数据确认对象物一边控制机器人(1)的驱动的控制装置(5)，在使作业部(2)相对于对象物(30)而按照预先设定的轨道(20)移动时，控制装置(5)对相机(3)执行：对对象物(30)进行拍摄的多次的拍摄控制、和对于通过该拍摄控制而进行的多次拍摄中的预定拍摄进行对焦的对焦控制。

Description

机器人系统

技术领域

本发明涉及一边参照由搭载的相机拍摄到的拍摄数据一边相对于对象物进行机器人的驱动控制的机器人系统。

背景技术

在通过末端执行器对元件进行处理的机器人手臂等中，当进行设定好的作业时，进行用于使末端执行器移动到适当位置的驱动控制。在下述专利文献1的机器人手臂中，将由前端部的相机拍摄到的图像信息送入到计算机，指定在监视器上显示的画面上的对象物，由此，以使对象物与末端执行器的相对关系成为预定状态的方式控制机器人手臂的驱动。具体而言，通过预先准备的相机的校准数据将得到的像素信息转换成以公尺为单位的位置信息，将该位置信息向驱动控制装置传送而转换为机器人手臂的驱动控制信息。

在先技术文献

专利文献

专利文献1：日本特开2005-074600号公报

专利文献2：日本特开平10-031151号公报

发明内容

发明要解决的课题

所述现有例的机器人手臂分阶段地进行驱动处理和由相机拍摄到的拍摄数据的处理。因此，不适用于一边对机器人手臂进行驱动一边按照拍摄数据来控制末端执行器的移动位置的情况。尤其是为了通过相机拍摄对象物必须进行对焦，但是在移动速度快的情况下，自动对焦控制无法追随与对象物的相对变化。关于这一点，在下述专利文献2中，将与镜头位置及景深对应的光圈开度的信息对应拍摄的各对象物而记录于表，按照该表进行自动对焦控制。然而，该文献记载的技术不适用于对象物与相机的距离较大地变化的机器人手臂等的驱动。

因此，本发明目的在于提供一种一边参照相机的拍摄数据一边相对于对象物进行机器人的驱动控制的机器人系统。

用于解决课题的方案

本发明的一形态的机器人系统具有：机器人，具备对对象物进行作业的作业部；相机，在所述作业部的附近安装于所述机器人上；及控制装置，一边基于所述相机的拍摄数据确认对象物一边控制所述机器人的驱动，在使所述作业部相对于所述对象物而按照预先设定的轨道移动时，所述控制装置对所述相机执行：对对象物进行拍摄的多次的拍摄控制和对于通过该拍摄控制而进行的多次拍摄中的预定拍摄进行对焦的对焦控制。

发明效果

根据本发明，在通过机器人进行把持对象物而使对象物移动等作业的情况下，为了使作业部相对于对象物按照预先设定的轨道移动，一边参照通过相机反复拍摄而得到的拍摄数据，一边进行机器人的驱动控制。此时，对于进行的多次拍摄中的预定拍摄进行对焦，因此即使未对全部拍摄进行对焦，也能够使作业部通过适当的位置地移动而不会偏离设定好的轨道。

附图说明

图1是概念性地表示机器人系统的一实施方式的图。

图2是表示机器人系统的一实施方式的框图。

图3是相机的拍摄控制的影像图，示出抓取电子元件时的轨迹和拍摄画面。

图4是表示在相机的对焦控制中使用的对焦控制表的图。

图5是表示机器人系统的拍摄控制、对焦控制及焦点位置的关系的图。

具体实施方式

接下来，关于本发明的机器人系统的一实施方式，以下参照附图进行说明。本实施方式的机器人系统是例如在电子元件安装机中使用的机器人手臂，取出从元件供给装置送出的电子元件，将该电子元件向电路基板的预定部位装配。图1是概念性地表示这样的机器人系统的图。该机器人系统10是由多关节的机器人手臂1构成的结构，在手臂前端部设置的末端执行器2是能够以抓取电子元件的方式进行处理的作业部。

机器人手臂1包括转动台、多个关节机构等，装入有伺服电动机、驱动关节轴旋转的促动器等。通过该伺服电动机、各促动器的驱动控制，末端执行器2能够在三维空间中移动。该末端执行器2包括把持电子元件的卡盘机构等。而且，在机器人手臂1上，在末端执行器2所在的手臂前端部安装有相机3。相机3是用于对末端执行器2的作业进行支持的结构，是用于取得末端执行器2与电子元件等对象物的相对位置信息的结构。该相机3使用CCD图像传感器或CMOS图像传感器等，安装在末端执行器2的附近。

机器人系统10设有用于进行机器人手臂1及末端执行器2的驱动控制、相机3的拍摄控制的控制装置5。在此，图2是表示本实施方式的机器人系统10的框图。在机器人手臂1(包括末端执行器2)及相机3上连接有控制装置5。该控制装置5由微处理器、主存储器构成，且构成有驱动控制部11、图像处理部12、轨道生成部13及存储部14。

在装入有本实施方式的机器人系统10的电子元件安装机中，将如前所述由机器人手臂1抓取的电子元件向电路基板的预定部位装配。此时，预先决定用于执行基板生产的各作业，预先设定机器人手臂1的动作、即末端执行器2的移动位置。由此，在控制装置5的存储部14存储有使机器人手臂1及末端执行器2进行预定动作的元件安装程序。

通过元件安装程序来控制驱动的机器人手臂1使末端执行器2按照决定的轨道移动，但是在与对象物的相对关系中会产生由各种原因引起的微妙的误差。例如，从元件供给装置供给的元件的位置、向电路基板的装配位置未必始终固定而会产生位置偏差。而且，机器人手臂1自身也会由于构造性的原因而相对于设定了末端执行器2的移动位置的轨道微妙地产生偏差。

因此，在控制装置5中，为了能够准确地进行末端执行器2对电子元件的抓取、向电路基板的装配作业，而采取对末端执行器2的移动进行支持的结构。即，在本实施方式中，一边参照通过相机3得到的拍摄数据而对末端执行器2的移动所产生的误差进行校正处理，一边进行对于机器人手臂1的驱动控制。由此，在控制装置5的驱动控制部11中，为了执行对于机器人手臂1的预定的驱动控制而进行使相机3执行拍摄的拍摄控制、使镜头的焦点对准作为对象物的电子元件等的对焦控制。

此外，在控制装置5的图像处理部12中，根据通过相机3的拍摄而得到的拍摄数据，算出末端执行器2相对于电子元件的相对位置。而且，在图像处理部12中，例如根据拍摄到的拍摄数据而求出电子元件的边缘位置，除了该电子元件的配置方向(姿势)、中心位置之外，还生成该中心位置与末端执行器2的基准点的相对位置等所谓空间数据。并且，在轨道生成部13中，生成用于使末端执行器2向电子元件等目标位置移动的轨道。此外，在存储部14中存储有各种数据、程序，例如，存储有电子元件相对于某基板生产的取出、装配中的、用于使末端执行器2移动的轨道信息、用于使机器人手臂1驱动的驱动控制程序等。

因此，在机器人手臂1的作业中，从轨道生成部13向驱动控制部11发送轨道信息，沿着该轨道来控制末端执行器2的移动。通过执行机器人手臂1的驱动，将移动的末端执行器2的位置数据从驱动控制部11向轨道生成部13发送。另一方面，伴随着末端执行器2的移动而通过相机3拍摄对象物(电子元件或电路基板的装配位置等)，并将拍摄数据向图像处理部12发送。在图像处理部12中，根据拍摄数据来生成空间数据，算出与存储于存储部14的设定轨道的误差。并且，通过校正处理来修正误差，将新生成的校正后的轨道信息向驱动控制部11发送。在驱动控制部11中，基于进一步校正后的轨道信息继续进行机器人手臂1的驱动控制。

如前所述，为了生成轨道信息而通过相机3拍摄对象物，并将拍摄数据向图像处理部12发送。在此，图3是相机3的拍摄控制的影像图，示出抓取电子元件30时的轨迹和拍摄画面。机器人手臂1进行用于使末端执行器2沿着轨道20向电子元件30的位置移动的驱动控制。在该移动过程中的第一～第九点处通过相机3拍摄对象物。需要说明的是，第一～第九点是拍摄间隔被设定为10ms的位置。相对于此，所使用的相机3的性能是镜头的对焦所需的对焦时间为30ms的性能。

通常，驱动速度快的机器人的轨道修正需要将拍摄间隔设为1ms～10ms左右，但是关于搭载的相机的性能，使用对焦时间为几十ms左右的性能。因此，拍摄间隔比对焦时间短，用于使镜头进行对焦的对焦控制比拍摄的定时慢。由此，基于始终未进行最佳对焦的状态的拍摄数据，来进行用于对机器人手臂1进行轨道修正的校正处理。因此，本实施方式的机器人系统10是即使在拍摄的间隔比对焦时间短的情况下也能够进行适当的轨道修正的结构。

首先，如图3所示，在轨道20上的第一点至第九点处，进行相机3对电子元件30的拍摄。如前所述，从末端执行器2的移动开始起，以10ms间隔反复进行相机3的拍摄。然而，在本实施方式中，并不是在这样全部的点处对相机3进行对焦控制，而是对特定的点进行用于镜头的对焦的对焦控制。

在此，图4是表示在相机3的对焦控制中使用的对焦控制表的图。该对焦控制表在上栏示出与第一点至第九点对应的拍摄次数。即，在各点处各进行一次拍摄，因此上栏的数值表示点的位置并表示在移动开始后进行的拍摄次数。另一方面，在下栏示出通过对焦控制进行镜头的对焦的焦点位置。尤其是对焦控制以距电子元件30的高度H为基准来进行镜头的对焦，因此下栏的数值是表示距电子元件30的高度的数值。

在图4的对焦控制表中，预先将焦点位置(焦点高度)设定为100mm。这是因为，第一次的拍摄位置是距电子元件30为100mm的位置。并且，对应于第一点即第一次的拍摄的上栏的“1”而示出“60”的值。这表示对相机3的镜头进行对焦控制使得与第一次的拍摄结束同时地在高度为60mm的位置进行对焦。即使按照驱动控制部11的对焦控制指令进行了相机3的对焦控制，如前所述至镜头的焦点对准为止也需要30ms的对焦时间。因此，在以10ms间隔反复拍摄的本实施方式中，在从对焦控制指令后的拍摄起四次后的拍摄时，对焦完成。

因此，开始了对焦的相机3为了在向电子元件30移动的移动方向前方的移动位置即在几次后的拍摄时通过的高度进行对焦，而在几次(几点)前的拍摄中进行用于对焦的对焦控制。在本实施方式中，将这样的对焦控制称为“预约对焦”。在进行了镜头的对焦的高度处进行了拍摄之后，进行该预约对焦。因此，由驱动控制部11进行的对相机3的拍摄控制与对焦控制(预约对焦)同步。并且，在本实施方式中，同步进行拍摄控制与对焦控制的是进行的九次拍摄中的第一次拍摄和第五次拍摄。

如图4所示，在本实施方式中，在进行的九次拍摄中的第一次拍摄和第五次拍摄的定时进行预约对焦。首先，与第一次的拍摄同步地进行的预约对焦由于在四次后即第五次的拍摄时相机3移动的位置(图3所示的第五点)距电子元件30为60mm的高度H1，因此成为对应于该高度而设定的对焦控制。同样，与第五次的拍摄同步地进行的预约对焦由于在四次后即第九次的拍摄时相机3移动的位置(图3所示的第九点)距电子元件30为10mm的高度H2，因此成为对应于该高度而设定的对焦控制。

另外，在预约对焦中，虽然对于几次前的拍摄进行对焦，但并不是说在此期间进行的拍摄中不进行对焦。这是因为，根据相机3的镜头的景深，关于对焦的焦点范围而认可一定的容许量。在图4所示的第二次至第四次、或者第六次至第八次的拍摄中，相机3的镜头处于朝向高度H1、H2而分别正在对焦的执行期间。此时，也存在相机3自身也朝向对应高度移动的情况，即使作为对象物的电子元件30不在焦点范围的中心，也会收于景深的范围内。由此，即使在未成为预约对焦的对象的点的拍摄中，也能得到充分清晰地成像的拍摄数据。

在此，图5是表示机器人系统10的拍摄控制、对焦控制及焦点位置的关系的图，示出与图3及图4相同的控制模式。由此，在本例的机器人系统10中，如下控制末端执行器2的移动。首先，相机3预先在100mm的高度进行对焦。然后，末端执行器2沿着轨道20移动，在距电子元件30为100mm的高度H0的第一点处进行相机3的第一次的拍摄。此时，从控制装置5的驱动控制部11向相机3输入拍摄指令信号(触发信号)，在相机3中按下快门而进行电子元件30的拍摄。因此，得到图3所示的点1图像。

并且，按照图4所示的对焦控制表，与第一次的拍摄指令信号同步地，从驱动控制部11向相机3输入对焦控制指令信号。在相机3中，按照在第一次的拍摄后输入的对焦控制指令信号，进行在距对象物为60mm的高度进行镜头的对焦的驱动调整。并且，此时机器人手臂1驱动而末端执行器2及相机3的移动继续，第二次、第三次以及第四次的拍摄通过从驱动控制部11向相机3输入的触发信号来执行。在该拍摄中，如图5所示，处于正在对焦的执行期间且处于焦点位置变化的过程中，但是如前所述电子元件30收于景深的范围内，因此能得到图3所示的点3图像(点2图像及点4图像省略)。

接下来，第五次即第五点处的拍摄在相机3的移动位置通过距电子元件30为高度H1即60mm的位置时进行。相机3在该时刻在高度为60mm的位置进行镜头的对焦，因此正好以焦点的中心对准电子元件30的状态进行拍摄。此时，得到图3所示的点5图像。并且，按照图4所示的对焦控制表，与第五次的拍摄指令信号同步地从驱动控制部11向相机3输入对焦控制指令信号，在相机3中进行用于在距电子元件30的高度为10mm的位置进行镜头的对焦的驱动调整。

继续移动的相机3的进一步的第六次、第七次及第八次的拍摄如图5所示在焦点位置变化的状况下执行，得到图3所示的点7图像(点6图像及点8图像省略)。并且，第九次即第九点的拍摄在相机3的高度H2距电子元件30为10mm的位置、即即将把持电子元件30的位置进行。在该时刻在高度为10mm的位置进行镜头的对焦，因此以焦点对准电子元件30的状态进行拍摄，得到图3所示的点9图像。

由此，根据本实施方式的机器人系统10，即使在相机3的对焦时间比拍摄间隔长的情况下，通过进行预约对焦也能够使末端执行器2及相机3通过适当的位置地移动而不会偏离轨道20。即，在多次的拍摄次数中不是对于全部拍摄而是对于几次拍摄进行预约对焦，由此能够得到可靠地进行了对焦的拍摄数据，通过校正处理能够修正设定好的轨道20的位置与末端执行器2的移动位置的误差。并且，即使是未成为预约对焦的对象的次数的拍摄，也按照相机3的移动进行对焦，因此电子元件30处于景深的范围内，因此能够以对焦了的状态得到大致全部次数的拍摄数据。

以上，说明了本发明的一实施方式，但是本发明没有限定于此，能够在不脱离其主旨的范围内进行各种变更。

例如，在前述实施方式中，以由多关节的机器人手臂1构成的机器人系统为例进行了说明，但是除了机器人手臂之外，也可以是水平多关节型或XYZ正交型的机器人等。

另外，图4所示的对焦控制表是一例，可以根据相机3的性能、末端执行器2的移动距离等进行各种设定。

附图标记说明

1…机器人手臂2…末端执行器3…相机5…控制装置11…驱动控制部12…图像处理部13…轨道生成部14…存储部20…轨道30…电子元件。

Claims (4)

1.一种机器人系统，具有：机器人，具备对对象物进行作业的作业部；相机，在所述作业部的附近安装于所述机器人上；及控制装置，一边基于所述相机的拍摄数据确认对象物一边控制所述机器人的驱动，所述机器人系统的特征在于，

在使所述作业部相对于对象物而按照预先设定的轨道移动时，所述控制装置对所述相机执行：对对象物进行拍摄的多次的拍摄控制、和对于通过该拍摄控制而进行的多次拍摄中的预定拍摄进行对焦的对焦控制。

2.根据权利要求1所述的机器人系统，其特征在于，

所述拍摄控制是以一定的时间间隔进行的，

所述对焦控制是以在所述轨道上的特定的预定位置处进行所述相机的对焦的方式进行的。

3.根据权利要求2所述的机器人系统，其特征在于，

所述控制装置使所述多次拍摄中的对焦于对象物的拍摄位置处的拍摄与用于在与该拍摄位置相比在所述作业部朝着所述对象物移动的移动方向上处于前方的移动位置处进行所述相机的对焦的所述对焦控制同步地进行。

4.根据权利要求1～3中任一项所述的机器人系统，其特征在于，

所述机器人是多关节的机器人手臂，在所述机器人手臂的前端部分设置手机构作为所述作业部，且安装有所述相机。