CN114800484B

CN114800484B - 机器人系统的控制方法及机器人系统

Info

Publication number: CN114800484B
Application number: CN202210096563.XA
Authority: CN
Inventors: 吉井宏治
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2021-01-28
Filing date: 2022-01-26
Publication date: 2023-06-02
Anticipated expiration: 2042-01-26
Also published as: JP2022115328A; CN114800484A; US20220234201A1

Abstract

本发明提供机器人系统的控制方法及机器人系统，能够一边跟随由输送装置输送的对象物一边高精度地进行作业。机器人系统的控制方法是具有输送对象物的输送装置、以及一边跟随由所述输送装置输送的所述对象物一边进行作业的机器人的机器人系统的控制方法，所述机器人系统的控制方法包括：图像获取步骤，多次拍摄由所述输送装置输送的所述对象物而获取多个图像；往复位移信息获取步骤，基于所述多个图像得到表示向与所述对象物的输送方向正交的宽度方向周期性地往复位移的往复位移信息；以及校正步骤，基于所述往复位移信息校正所述机器人的位置指令。

Description

机器人系统的控制方法及机器人系统

技术领域

本发明涉及机器人系统的控制方法及机器人系统。

背景技术

在专利文献1中公开了一种机器人的控制方法，利用相机拍摄由带式输送机等输送装置输送的工件，基于其拍摄结果和输送装置的输送速度，计算由输送装置输送的工件被拣选装置拣选得到的拣选预测位置及该位置处的工件的姿态。

专利文献1：日本特开2019-025618号公报

然而，在上述的机器人的控制方法中，仅计算拣选预测位置及该位置处的工件的姿态。因此，进行在拣选预测位置拾取由输送装置输送的工件这样的瞬时的作业较好，但例如在一边跟随由输送装置输送的工件一边进行连续的作业的情况下，各时刻的工件的位置、姿态不明，存在无法高精度地进行作业的问题。

发明内容

本发明的机器人系统的控制方法的特征在于，所述机器人系统具有输送对象物的输送装置、以及一边跟随由所述输送装置输送的所述对象物一边进行作业的机器人，所述机器人系统的控制方法包括：图像获取步骤，多次拍摄由所述输送装置输送的所述对象物而获取多个图像；往复位移信息获取步骤，基于所述多个图像得到表示向与所述对象物的输送方向正交的宽度方向周期性地往复位移的往复位移信息；以及校正步骤，基于所述往复位移信息校正所述机器人的位置指令。

本发明的机器人系统的特征在于，具有：输送装置，输送对象物；机器人，一边跟随由所述输送装置输送的所述对象物一边进行作业；拍摄部，拍摄由所述输送装置输送的所述对象物；以及控制装置，基于由所述拍摄部拍摄到的多个图像得到表示向与所述对象物的输送方向正交的宽度方向周期性地往复位移的往复位移信息，并基于所述往复位移信息校正所述机器人的位置指令。

附图说明

图1是优选实施方式所涉及的机器人系统的整体结构图。

图2是表示工件的输送的俯视图。

图3是表示机器人系统的控制工序的流程图。

图4是详细地表示图3的控制工序的流程图。

附图标记说明

100…机器人系统；200…机器人；210…末端执行器；211…爪部；212…爪部；220…机械手；230…基座；300…拍摄部；400…控制装置；600…输送装置；620…带；630…输送辊；640…输送量传感器；A…输送方向；B…宽度方向；D…输送轨道；E…拍摄区域；E1…编码器；E2…编码器；E3…编码器；E4…编码器；E5…编码器；E6…编码器；E7…编码器；G…图像；J…往复位移信息；J1…关节；J2…关节；J3…关节；J4…关节；J5…关节；J6…关节；M1…电机；M2…电机；M3…电机；M4…电机；M5…电机；M6…电机；M7…电机；L…长度；Q…插入物；S1…图像获取步骤；S2…错误报告步骤；S3…往复位移信息获取步骤；S4…判断步骤；S5…校正步骤；S6…作业步骤；W…工件；W1…孔；f…周期；h…振幅；h1…振幅；h2…振幅；h3…振幅；hn…振幅；p1…位置；p2…位置；p3…位置；pn…位置。

具体实施方式

以下，基于附图所示的实施方式对本发明的机器人系统的控制方法及机器人系统进行详细说明。

图1是优选实施方式所涉及的机器人系统的整体结构图。图2是表示工件的输送的俯视图。图3是表示机器人系统的控制工序的流程图。图4是详细地表示图3的控制工序的流程图。

图1所示的机器人系统100具有机器人200、拍摄部300、控制装置400、以及输送装置600。在机器人系统100中，输送装置600沿着输送方向A输送作为对象物的工件W，控制装置400基于由拍摄部300获取的图像检测工件W的输送状况，机器人200基于工件W的输送状况一边跟随输送中的工件W一边进行作业。作为对工件W进行的作业，没有特别限定，例如可列举出开孔、与其他部件的连接(插入、螺钉紧固、螺合等)、清洗、检查等。以下，以将插入物Q插入形成于工件W的孔W1的作业为代表进行说明。另外，作为工件W，可列举出能够通过机器人200进行作业的所有物体，例如打印机、汽车这样的工业产品或其部件等。

机器人200具有固定于地面的基座230、支承于基座230的机械手(Manipulator)220、支承于机械手220的末端执行器210。机械手220是多个臂转动自如地连结而成的机械臂，在本实施方式中是具备六个关节J1至J6的六轴臂。其中，关节J2、J3、J5是弯曲关节，关节J1、J4、J6是扭转关节。但是，作为机械手220，只要能够进行上述插入作业，则没有特别限定。

在机械手220的前端部即关节J6上经由机械接口安装有末端执行器210。末端执行器210具有一对爪部211、212，通过一对爪部211、212开闭来把持、放开插入物Q。但是，作为末端执行器210，只要能够把持、放开插入物Q，则没有特别限定，例如，也可以是能够通过气动卡盘、电磁卡盘等吸附把持插入物Q的结构。

另外，在关节J1、J2、J3、J4、J5、J6上分别设置有电机M1、M2、M3、M4、M5、M6、以及检测电机M1、M2、M3、M4、M5、M6的旋转量的编码器E1、E2、E3、E4、E5、E6。另外，在末端执行器210上设置有开闭一对爪部211、212的电机M7、以及检测电机M7的旋转量的编码器E7。在机器人系统100的运转中，控制装置400执行反馈控制，该反馈控制使由编码器E1至E6的输出所表示的关节J1至J6的旋转角度及由编码器E7的输出所表示的爪部211、212的间隔距离与从未图示的主机发送的位置指令一致。由此，能够使机器人200进行与位置指令相应的作业。

输送装置600是带式输送机，具有带620、对带620进行传送的输送辊630、驱动输送辊630的未图示的电机、以及将与输送辊630的旋转量相应的信号输出至控制装置400的输送量传感器640。在机器人系统100的运转中，控制装置400执行反馈控制，该反馈控制使由输送量传感器640的输出所表示的工件W的输送速度与作为控制目标的目标输送速度一致。由此，能够以期望的速度稳定地输送工件W。

拍摄部300是从输送装置600的上方拍摄工件并将拍摄到的图像输出至控制装置400的相机。拍摄部300的拍摄区域E位于比机器人200的作业区域更靠输送方向A的上游侧。如图1中的虚线所示，拍摄部300具有视场角，该视场角包括在带620上输送的工件W。从拍摄部300输出的图像中的位置通过控制装置400与输送路径上的位置相关联。因此，在拍摄部300的视场角内存在工件W的情况下，能够基于拍摄部300的图像内的工件W的位置来确定工件W的坐标。

控制装置400分别控制机器人200、拍摄部300、以及输送装置600的驱动。这样的控制装置400例如由计算机构成，具有处理信息的处理器(CPU)、以能够通信的方式与处理器连接的存储器、以及进行与外部装置的连接的外部接口。在存储器中保存有能够由处理器执行的各种程序，处理器能够读取并执行存储于存储器中的各种程序等。需要说明的是，控制装置400的构成要素的一部分或全部也可以配置于机器人200的壳体的内侧。另外，控制装置400也可以由多个处理器构成。

以上，对机器人系统100的结构进行了简单说明。接着，对控制装置400控制机器人系统100的方法进行说明。

在此，输送装置600被设计成沿着输送方向A直线地输送工件W，机器人200的位置指令也以此为前提而生成。然而，在实际设备中，由于各种因素，如图2所示那样，工件W有时在描绘正弦曲线的输送轨道D上被输送。也就是说，工件W有时一边朝向与输送方向A正交的宽度方向B周期性地往复位移(蛇形)一边沿着输送方向A被输送。在正弦曲线状的输送轨道D上输送工件W的情况下，若基于以沿着输送方向A直线地输送工件W为前提的位置指令来控制机器人200的驱动，则可能无法对工件W进行高精度的作业。

因此，在对工件W进行作业之前，控制装置400检测工件W的输送轨道D，基于检测到的输送轨道D校正机器人200的位置指令，基于校正后的位置指令控制机器人200的驱动。由此，能够对沿着输送轨道D输送的工件W顺畅且高精度地进行作业。

需要说明的是，作为工件W朝向宽度方向B周期性地往复位移(以下，也简称为“向宽度方向B的位移”。)的主要原因，可以考虑各种因素，其中特别是由输送辊630引起的原因较大。因此，以下，以因输送辊630而产生工件W向宽度方向B位移的情况为代表进行说明。

为了顺畅地对带620进行输送，输送辊630设计成圆柱形，但根据其形成精度，例如有时整体形状偏离圆柱。若输送辊630的形状偏离圆柱，则带620有时会由于该偏离因输送辊630的旋转而在宽度方向B上周期性地往复位移。这样，带620自身在宽度方向B上周期性地往复位移，由此产生载置于带620上的工件W向宽度方向B的位移。另外，即使输送辊630的旋转轴相对于宽度方向B倾斜，或输送辊630的旋转轴相对于中心轴倾斜，有时也会产生同样的现象。

以下，基于图3所示的流程图对控制装置400控制机器人系统100的方法进行说明。如图3所示，控制装置400控制机器人系统100的方法包括图像获取步骤S1、错误报告步骤S2、往复位移信息获取步骤S3、判断步骤S4、校正步骤S5、以及作业步骤S6。以下，基于图4所示的流程图对这些各步骤进行详细说明。

＜图像获取步骤S1＞

当输送装置600开始输送工件W时，在工件W通过拍摄区域E的期间，通过拍摄部300以规定的帧率连续拍摄工件W，获取拍摄有工件W的多个图像G。图像G的数量没有特别限定，但越多越优选。图像G的数量越多，越能够以短时间间隔得知各时刻的工件W的坐标。因此，在之后的往复位移信息获取步骤S3中，能够高精度地检测输送轨道D。

需要说明的是，在将必要的图像G的张数设为X[张]、将输送辊630的直径设为R[mm]、将圆周率设为π、将输送装置600的工件W向输送方向A的输送速度设为V[mm/s]、将拍摄部300的帧率设为F[frame/s]时，输送速度V能够由式X＜F×π×R/V设定。

在此，如图1所示，拍摄区域E的输送方向A上的长度L为输送辊630的圆周以上。也就是说，L≥π×R。如上所述，工件W向宽度方向B的位移是由输送辊630引起的。因此，输送轨道D的周期f相当于输送辊630的一周即圆周。因此，通过将拍摄区域E的长度L设为输送辊630的圆周以上，能够使拍摄区域E内包含一周期以上的输送轨道D。其结果，在往复位移信息获取步骤S3中，能够高精度地检测输送轨道D。但是，作为长度L没有特别限定，也可以小于输送辊630的圆周。也就是说，也可以是L＜π×R。

＜错误报告步骤S2＞

在错误报告步骤S2中，在图像获取步骤S1中得到的图像G的数量比规定值少的情况下报告错误。首先，判断在图像获取步骤S1中获取的图像G的数量是否为规定值以上。需要说明的是，上述规定值由使用者等事先存储于控制装置400。在图像G的数量为规定值以上的情况下，转移至接下来的往复位移信息获取步骤S3。另一方面，在图像G的数量小于规定值的情况下，将该情况作为“错误”报告给使用者。然后，跳过往复位移信息获取步骤S3、判断步骤S4、以及校正步骤S5，转移至作业步骤S6。通过向使用者报告错误，使用者能够容易地注意到检测输送轨道D所需的图像G的数量不足。需要说明的是，作为报告方法没有特别限定，例如，既可以显示在监视器上进行报告，也可以通过声音、警告音进行报告，还可以通过点亮、闪烁警告灯进行报告。

＜往复位移信息获取步骤S3＞

在往复位移信息获取步骤S3中，基于在图像获取步骤S1中获取的图像G来计算工件W的输送轨道D，生成包含输送轨道D的往复位移信息J。

具体而言，首先，根据全部图像G求出各时刻的工件W的坐标，基于求出的坐标计算工件W向宽度方向B的位移的振幅h和周期f，根据计算出的振幅h和周期f计算输送轨道D，生成往复位移信息J。作为振幅h和周期f的计算方法，没有特别限定。在本实施方式中，首先，从全部图像G中提取宽度方向B上的间隔距离最大的两个工件W。换言之，从全部图像G中提取位于最靠宽度方向B的一侧的工件W和位于最靠宽度方向B的另一侧的工件W。接着，基于提取出的两个工件W的坐标来计算振幅h和周期f。振幅h能够计算为提取出的两个工件W的宽度方向B上的间隔距离的一半，周期f能够计算为提取出的两个工件W的输送方向A上的间隔距离的两倍。然后，根据计算出的振幅h和周期f来计算输送轨道D，生成往复位移信息J。根据这样的方法，能够以简单的运算得到往复位移信息J。

＜判断步骤S4＞

在判断步骤S4中，基于输送辊630的圆周判断在往复位移信息获取步骤S3中生成的往复位移信息J是否适当。如上所述，工件W向宽度方向B的位移是由输送辊630引起的，输送轨道D的周期f与输送辊630的圆周几乎一致。因此，假设在周期f与输送辊630的圆周之间存在较大的偏离，则能够判断为输送轨道D不是由输送辊630引起的，或者在其计算过程中存在错误。

因此，在判断步骤S4中，对输送辊630的圆周与输送轨道D的周期f进行比较，并在考虑了些许的偏差的基础上，判定周期f相对于输送辊630的圆周是否处于规定范围内，在本实施方式中为±5％以内。需要说明的是，偏差的考虑适当设定即可。若周期f在规定范围内，则判断输送轨道D是由输送辊630引起的适当的轨道，并转移至接下来的校正步骤S5。另一方面，若周期f在规定范围外，则判断为输送轨道D不是由输送辊630引起的不适当的轨道，并跳过校正步骤S5转移至作业步骤S6。

通过进行判断步骤S4，例如，能够排除突发性地产生的工件W向宽度方向B的位移等不是由输送辊630引起的位移。另外，也能够重新进行往复位移信息获取步骤S3中的错误计算。因此，在之后的校正步骤S5中，能够基于适当的往复位移信息J校正位置指令。

＜校正步骤S5＞

在校正步骤S5中，将往复位移信息J与工件W的输送方向A上的位置对应起来校正位置指令。具体而言，如图2所示，对位置指令进行如下校正：针对工件W的输送方向A上的每个位置p1、p2、p3、…pn，使机器人200的轨道在宽度方向B上错开该位置处的振幅h1、h2、h3、…hn的量。由此，以沿着输送方向A直线地输送工件W为前提而生成的位置指令校正为以沿着输送轨道D输送工件W为前提的位置指令。根据这样的方法，能够高精度地校正位置指令。

＜作业步骤S6＞

在作业步骤S6中，基于校正后的位置指令控制机器人200的驱动来进行对工件W的作业。由此，能够对沿着输送轨道D输送的工件W进行顺畅且准确的作业。但是，由于在错误报告步骤S2中报告了错误的情况下以及在判断步骤S4中判断为往复位移信息J不适当的情况下，未得到往复位移信息J，因此不对位置指令进行校正，而是直接基于位置指令控制机器人200的驱动来进行对工件W的作业。

需要说明的是，若在对最初的工件W进行作业时校正了位置指令，则对之后的工件W进行作业时，也能够重复使用相同的位置指令。因此，在本实施方式中，在结束对规定数量的工件W的作业之前，重复使用校正后的位置指令。另外，在错误报告步骤S2中报告了错误的情况下以及在判断步骤S4中判断为往复位移信息J不适当的情况下，只要在每次输送新的工件W时，从图像获取步骤S1重新进行即可，直到位置指令被校正。

以上，对机器人系统100及机器人系统100的控制方法进行了说明。如上所述，这样的机器人系统100的控制方法是具有输送装置600以及机器人200的机器人系统100的控制方法，其中，输送装置600输送作为对象物的工件W，机器人200一边跟随由输送装置600输送的工件W一边进行作业，控制方法包括：图像获取步骤S1，多次拍摄由输送装置600输送的工件W而获取多个图像G；往复位移信息获取步骤S3，基于多个图像G，得到表示向与工件W的输送方向A正交的宽度方向B周期性的往复位移的往复位移信息J；以及校正步骤S5，基于往复位移信息J校正机器人200的位置指令。由此，能够在宽度方向B上位移的同时对在输送方向A输送的工件W进行高精度的作业。

另外，如上所述，在往复位移信息获取步骤S3中，从全部的图像G中提取宽度方向B上的间隔距离最大的两个工件W，并基于提取出的两个工件W的位置得到往复位移信息J。根据这样的方法，能够以简单的运算得到往复位移信息J。

另外，如上所述，在校正步骤S5中，将往复位移信息J与工件W的输送方向A的位置对应起来校正位置指令。由此，能够高精度地校正位置指令。

另外，如上所述，在机器人系统100的控制方法中，通过输送辊630的旋转来驱动带620，从而进行输送装置600的输送。另外，机器人系统100的控制方法包括基于输送辊630的圆周来判断往复位移信息是否适当的判断步骤S4，判断步骤S4在往复位移信息获取步骤S3之后且在校正步骤S5之前进行。由此，能够抑制位置指令被不适当的往复位移信息J校正。

另外，如上所述，在图像获取步骤S1中拍摄图像的范围即拍摄区域E的输送方向A上的长度L为输送辊630的圆周以上。由此，在拍摄区域E内，能够产生一周期以上的输送轨道D。因此，能够更准确地获取往复位移信息J。

另外，如上所述，机器人系统100的控制方法包括错误报告步骤S2，该错误报告步骤S2在图像获取步骤S1之后进行，在图像获取步骤S1中得到的图像G的数量比规定值少的情况下报告错误。由此，使用者能够容易地意识到图像G的数量不足。

另外，如上所述，机器人系统100具有：输送装置600，输送作为对象物的工件W；机器人200，一边跟随由输送装置600输送的工件W一边进行作业；拍摄部300，拍摄由输送装置600输送的工件W；以及控制装置400，基于由拍摄部300拍摄到的多个图像G，得到表示向与工件W的输送方向A正交的宽度方向B周期性的往复位移的往复位移信息J，并基于往复位移信息J校正机器人的位置指令。由此，能够向宽度方向B上位移的同时对在输送方向A输送的工件W进行高精度的作业。

以上，基于图示的实施方式对本发明的机器人系统的控制方法及机器人系统进行了说明，但本发明并不限定于此，各部分的构成能够置换为具有相同功能的任意构成。另外，也可以在本发明中附加其他任意的构成物。另外，也可以适当组合各实施方式。

另外，在上述实施方式中，机器人200固定于地面，通过机械手220的驱动而跟随工件W，但并不限定于此，例如，也可以是基座230固定于无人输送车(AGV)等移动部，该移动部与由输送装置600输送的工件W并行，由此对工件W进行作业。

Claims

1.一种机器人系统的控制方法，其特征在于，所述机器人系统具有输送对象物的输送装置、以及一边跟随由所述输送装置输送的所述对象物一边进行作业的机器人，

所述机器人系统的控制方法包括：

图像获取步骤，多次拍摄由所述输送装置输送的所述对象物而获取多个图像；

往复位移信息获取步骤，基于所述多个图像得到表示向与所述对象物的输送方向正交的宽度方向周期性地往复位移的往复位移信息；以及

校正步骤，基于所述往复位移信息校正所述机器人的位置指令。

2.根据权利要求1所述的机器人系统的控制方法，其特征在于，

在所述往复位移信息获取步骤中，从全部的所述图像中提取所述宽度方向上的间隔距离最大的两个所述对象物，并基于提取出的两个所述对象物的位置得到所述往复位移信息。

3.根据权利要求1或2所述的机器人系统的控制方法，其特征在于，

在所述校正步骤中，将所述往复位移信息与所述对象物的所述输送方向上的位置对应起来校正所述位置指令。

4.根据权利要求1所述的机器人系统的控制方法，其特征在于，

所述机器人系统的控制方法包括判断步骤，在所述判断步骤中，通过输送辊的旋转来驱动带，从而进行所述输送装置的输送，并基于所述输送辊的圆周来判断所述往复位移信息是否适当，

所述判断步骤在所述往复位移信息获取步骤之后且在所述校正步骤之前进行。

5.根据权利要求4所述的机器人系统的控制方法，其特征在于，

在所述图像获取步骤中，拍摄所述图像的范围在所述输送方向上的长度为所述输送辊的圆周以上。

6.根据权利要求1所述的机器人系统的控制方法，其特征在于，

所述机器人系统的控制方法包括错误报告步骤，所述错误报告步骤在所述图像获取步骤之后进行，在所述图像获取步骤中得到的所述图像的数量比规定值少的情况下报告错误。

7.一种机器人系统，其特征在于，具有：

输送装置，输送对象物；

机器人，一边跟随由所述输送装置输送的所述对象物一边进行作业；

拍摄部，拍摄由所述输送装置输送的所述对象物；以及

控制装置，基于由所述拍摄部拍摄到的多个图像得到表示向与所述对象物的输送方向正交的宽度方向周期性地往复位移的往复位移信息，并基于所述往复位移信息校正所述机器人的位置指令。