CN111496776B - 机器人系统、机器人控制方法、机器人控制器及记录介质 - Google Patents

Abstract

机器人系统、机器人控制方法、机器人控制器及记录介质，即使在从取得图像起到机器人的末端执行器到达目标位置为止的延迟时间内，机器人的末端执行器与工件的相对位置发生了变化的情况下也能够追随相对位置的变化，使末端执行器更准确且高速地接近工件。机器人系统具有：机器人，其通过末端执行器对工件进行规定作业；视觉传感器，其拍摄工件；目标位置生成部，其根据拍摄到的图像，按照生成周期来生成表示末端执行器应移动的位置的目标位置；估计部，其至少根据与相对位置相关联的相对位置信息，按照估计周期来估计末端执行器与工件的相对位置的变化量；以及控制部，其根据所生成的目标位置和估计出的变化量，对机器人进行控制。

Description

机器人系统、机器人控制方法、机器人控制器及记录介质

技术领域

本公开涉及机器人系统、机器人控制方法、机器人控制器及记录介质。

背景技术

以往，公知有根据由视觉传感器或外界传感器拍摄到的图像来控制机器人的位置和姿势的被称为视觉反馈(VFB：Visual Feed Back)的技术(例如，参照专利文献1～3)。

专利文献1：日本特许第4222338号

专利文献2：日本特开2007-011978号公报

专利文献3：日本特许第5306313号

但是，在使用以往的视觉反馈对相对位置发生变化的工件进行定位的控制中，由于无法追踪因末端执行器到达目标位置之前的延迟时间中的末端执行器与工件的相对位置的变化而引起的目标位置的变化，所以存在无法使末端执行器高速地接近工件的问题点。

发明内容

因此，本公开是鉴于上述课题而完成的，其目的在于，提供即使在从取得图像起到机器人的末端执行器到达目标位置为止的延迟时间内，机器人的末端执行器与工件的相对位置发生了变化的情况下，也能够追随相对位置的变化，能够使末端执行器更准确且高速地接近工件的机器人系统、机器人控制方法、机器人控制器以及程序。

本公开的第1特征是一种机器人系统，其主旨是，该机器人系统具有：机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；视觉传感器，其对所述工件进行拍摄；目标位置生成部，其根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动的位置的目标位置；估计部，其至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及控制部，其根据所述目标位置生成部所生成的所述目标位置和所述估计部所估计出的所述变化量，对所述机器人进行控制。

本公开的第2特征是一种机器人控制方法，其主旨是，该机器人控制方法在机器人系统中对机器人进行控制，该机器人系统具有：所述机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；以及视觉传感器，其对所述工件进行拍摄，其中，该机器人控制方法具有如下的工序：工序A，根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动的位置的目标位置；工序B，至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及工序C，根据在所述工序A中生成的所述目标位置和在所述工序B中估计出的所述变化量，对所述机器人进行控制。

本公开的第3特征是一种机器人控制器，其主旨是，该机器人控制器在机器人系统中对机器人进行控制，该机器人系统具有：所述机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；以及视觉传感器，其对所述工件进行拍摄，其中，该机器人控制器具有：目标位置生成部，其根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动的位置的目标位置；估计部，其至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及控制部，其根据所述目标位置生成部所生成的所述目标位置和所述估计部所估计的所述变化量，对所述机器人进行控制。

本公开的第4特征是一种记录介质，其中记录有程序，其主旨是，该程序使用在构成机器人系统的机器人控制器中，该机器人系统具有：机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；以及视觉传感器，其对所述工件进行拍摄，其中，该程序使计算机执行如下的工序：工序A，根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动的位置的目标位置；工序B，至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及工序C，根据在所述工序A中生成的所述目标位置和在所述工序B中估计的所述变化量，对所述机器人进行控制。

根据本公开，能够提供即使在从取得图像起到机器人的末端执行器到达目标位置为止的延迟时间内，机器人的末端执行器与工件的相对位置发生了变化的情况下，也能够追随相对位置的变化，能够使末端执行器更准确且高速地接近工件的机器人系统、机器人控制方法、机器人控制器以及程序。

附图说明

图1是示出一个实施方式的机器人系统的整体结构的一例的说明图。

图2是示出一个实施方式的机器人系统的机器人控制器的功能结构的一例的图。

图3是示出一个实施方式的机器人系统的传感器的配置的一例的图。

图4是示出一个实施方式的机器人控制方法的一例的流程图。

图5是示出一个实施方式的机器人系统的机器人控制器的硬件结构的一例的说明图。

标号说明

1：机器人系统；3：视觉传感器；35：视觉传感器控制器；7：末端执行器；10：机器人；15：机器人控制器；151：目标位置生成部；152：估计部；153：控制部；153A：假想目标位置计算部；153B：机器人控制部；154：追踪延迟时间设定部；155：延迟时间计算部；20：移动体；21：壳体；22：车轮；30：移动体控制器；40：工作台；51：移动体振动传感器；52：机器人振动传感器；W：工件。

具体实施方式

以下，参照附图对一个实施方式进行说明。

＜机器人系统的整体结构＞

首先，参照图1对实施方式的机器人系统1的整体结构的一例进行说明。在本实施方式中，机器人系统1能够一边通过移动体20使机器人10移动一边进行规定作业。

如图1所示，本实施方式的机器人系统1具有机器人10、机器人控制器15、视觉传感器3、视觉传感器控制器35、移动体20以及移动体控制器30。

在本实施方式中，机器人10通过末端执行器7对相对位置发生变化的工件W进行规定作业。例如，机器人10是具有6个关节部的垂直多关节型的6轴机器人。另外，机器人10也可以是6轴以外(例如，5轴或7轴等)的机器人。另外，机器人10也可以是水平多关节型、并联连杆机器人等垂直多关节型以外的机器人。

这里，在本实施方式中，也可以在机器人10的末端安装末端执行器7。例如，末端执行器7也可以是机械手、焊枪、工具等。

在本实施方式中，上述的规定作业例如也可以是通过末端执行器7对工作台40上的工件W进行把持并移动到移送目的地工作台的工件W的移送作业。另外，该规定作业并不限定于工件W的移送作业，例如，也可以是将多个工件W组合起来而执行部件组装等的作业。另外，在适当变更了末端执行器7的种类的情况下，该规定作业例如也可以是涂装、打铆钉、打钉子、点焊、缝合、螺栓紧固等作业。

在本实施方式中，视觉传感器3按照规定的拍摄周期对工件W进行拍摄。这里，视觉传感器3也被称为视觉感测器(vision sensor)，是以二维或三维的方式捕捉对象物的影像并进行图像处理，从而计算对象物的特征量并以图像等的形式输出的传感器。作为视觉传感器3的一例，列举了二维照相机、三维照相机等。另外，视觉传感器3可以在时间上连续地进行拍摄，也可以断续地进行多次拍摄。视觉传感器3与设置于移动体20的视觉传感器控制器35连接，由视觉传感器3拍摄到的图像被发送到视觉传感器控制器35。

为了实时地检测机器人10进行规定作业时的工件W的三维位置，例如，视觉传感器3也可以在机器人10的手腕部以将末端执行器7的指尖侧作为视野的姿势设置。另外，视觉传感器3也可以安装在机器人10的其他部位或移动体20上。另外，视觉传感器3的设置台数并不限定于1台，也可以是2台以上。

在本实施方式中，移动体20装载着机器人10而相对于工件W移动。另外，以下，为了方便说明移动体20等的结构，适当使用了上下左右前后等方向，但并不限定移动体20等的各结构的位置关系。另外，前和后的方向对应于移动体20的行进方向上的前方和后方。

例如，移动体20可以是通过移动体控制器30的控制而例如能够在工厂内等无轨道地移动的所谓的无人搬运车(AGV)，也可以是传送带等。

如图1所示，移动体20例如具有长方体状的壳体21，在壳体21的内部内置有移动体控制器30。在图1的例子中，在壳体21的上表面21a的例如靠后侧的位置搭载有机器人10，在例如靠前方右侧的位置搭载有视觉传感器控制器35。在壳体21的下表面的四个角设置有车轮22。

如图1所示，在移动体20中，也可以在比机器人10靠行进方向的前侧(前方)的位置配置检测移动体20的振动的移动体振动传感器51。另外，如图1所示，在机器人10中，也可以配置检测机器人10的振动的机器人振动传感器。

在本实施方式中，如图1所示，机器人控制器15例如安装在机器人10的基台101上，对机器人10进行控制。另外，机器人控制器15也可以配置成与机器人10分离。

如图2所示，机器人控制器15具有目标位置生成部151、估计部152、控制部153、追踪延迟时间设定部154以及延迟时间计算部155。

目标位置生成部151构成为根据视觉传感器3所拍摄到的图像，按照规定的生成周期，生成表示末端执行器7应移动的位置的目标位置(图4中的“Xt(i)a”)。这里，该生成周期也可以是与图像的拍摄周期相等的周期。

追踪延迟时间设定部154构成为设定追踪延迟时间dta，该追踪延迟时间dta表示机器人10对位置指令的响应延迟。具体来说，追踪延迟时间设定部154根据机器人10的加速减速信息来计算追踪延迟时间dta。例如，通过将机器人10的频率响应近似于滤波器，能够根据时间常数来确定追踪延迟时间dta。

另外，位置指令是用于以使末端执行器7能够移动到该位置指令所包含的指令位置的方式对机器人10的各轴的电机进行控制的指令。

这里，追踪延迟时间设定部154也可以构成为设定追踪延迟时间dta，该追踪延迟时间dta至少在机器人10的动作开始状态与机器人10的动作稳定状态之间不同。

延迟时间计算部155构成为计算由目标位置生成部151生成目标位置所需的图像处理时间dta以上的延迟时间。这里，延迟时间可以仅是图像处理时间dtb，也可以是图像处理时间dtb和追踪延迟时间dta的合计。

另外，该图像处理时间dtb可以是预先设定的，也可以另外计测。另外，该图像处理时间dtb能够通过时间戳来计测。

估计部152构成为至少根据与末端执行器7和工件W的相对位置相关联的相对位置信息，按照规定的估计周期来估计末端执行器7与工件W的相对位置的变化量(即，偏移)。

这里，相对位置信息可以是末端执行器7与工件W的相对位置，也可以是末端执行器7与工件W的相对速度V。

具体来说，估计部152根据从视觉传感器控制器35取得的图像的时间序列数据，在作为当前时刻的时刻t(i)下估计工件W与末端执行器7的相对速度V的时间变化。

然后，估计部152通过在时刻t(i)与时刻t(i)+dta+dtb之间对该相对速度V的时间变化进行积分，计算作为末端执行器7与工件W的相对位置的变化量的偏移Off(t(i)+dt(n))。

换言之，估计部152通过对与将图像处理时间dtb和追踪延迟时间dta相加后的时间相对应的相对速度V的时间变化进行积分，来计算偏移Off(t(i)+dt(n))。

即，估计部152也可以根据机器人10与工件W的相对速度V和由延迟时间计算部155计算出的延迟时间dtb来估计上述变化量。

另外，估计部152可以结合着非视觉传感器信息(与移动体20的速度、加速度相关的信息等)，通过卡尔曼滤波器等估计器来提高该估计的可靠度。或者，估计部152也可以利用已知的移动体20的移动模式，从估计结果中除去噪声成分。

如上述那样，估计部152在计算上述相对位置的变化量(偏移)时，需要在时刻t(i)与时刻t(i)+dta+dtb之间对相对速度V的时间变化进行积分，因此需要预测未来的移动体20的速度。

因此，在存在已知的移动体20的速度的时间序列数据(即，已知的移动体20的移动模式)的情况下，估计部152积极地活用该时间序列数据。

在不存在该时间序列数据的情况下，估计部152对过去的移动体20的速度的时间序列数据进行频率分析，在提取了低频成分(即，机器人10能够追踪的频率成分)之后，将当前的估计速度作为直流成分而对低频成分进行合成，从而预测未来的时间序列数据。该预测处理是期望移动体20的速度的变动由于旋转机构或摩擦的原因而基本上成为周期性的处理。

这里，估计部152还可以构成为根据与移动体振动传感器51所检测到的移动体20的振动相关联的移动体振动信息，估计上述的变化量。

另外，估计部152也可以构成为根据与移动体振动传感器51所检测到的移动体20的振动相关联的移动体振动信息和与机器人振动传感器52所检测到的机器人10的振动相关联的机器人振动信息，来估计上述的变化量。

估计部152在使用与振动相关联的信息来估计变化量的情况下，如图3所示，即使直接使用移动体振动传感器51所检测到的移动体振动信息，由于在该移动体振动信息被反映到控制之前产生延迟，所以认定为不稳定。

因此，估计部152需要将预测到系统延迟的振动的预测值(即，向控制反映的定时下的振动)用于控制，而不是将由移动体振动传感器51实时取得的移动体振动信息用于控制。即，估计部152需要根据当前的信息来预测未来的信息。

因此，如图3所示，从移动体振动传感器51所检测到的移动体振动信息来看，与机器人振动传感器52所检测到的机器人10的振动相关联的机器人振动信息是未来的信息，因此，估计部152通过将移动体振动信息和机器人振动信息结合起来而估计变化量，从而能够实现高精度的预测。

或者，在存在比变化量的估计对象的移动体20先行的移动体的情况下，估计部152通过使用由先行的移动体取得的非视觉传感器信息，同样能够实现高精度的预测。

这里，估计部152也可以构成为按照比由目标位置生成部151生成目标位置的生成周期短的估计周期来估计上述的变化量。

另外，估计部152的一部分或全部功能也可以被设置成机器人控制器15的外部的功能。

控制部153构成为根据目标位置生成部151所生成的目标位置和估计部152所估计的变化量，对机器人10进行控制。

具体来说，如图2所示，控制部153具有假想目标位置计算部153A和机器人控制部153B。

假想目标位置计算部153A构成为，在由目标位置生成部151按照上述的生成周期生成的目标位置中加上由估计部152按照上述的估计周期估计出的变化量，从而计算末端执行器7的假想目标位置。

机器人控制部153B构成为以使假想目标位置计算部153A所计算出的假想目标位置与末端执行器7的指令位置一致的方式对机器人10进行控制。

＜机器人控制方法＞

接着，参照图4对控制机器人系统1的机器人控制方法的一例进行说明。

如图4所示，在步骤S1001中，机器人控制器15(目标位置生成部151)从视觉传感器控制器35取得工件W的图像P(t(i))。该图像P(t(i))是在时刻t(i)由视觉传感器3拍摄到的图像。这里，i＝1，2，3…。

另外，图像的拍摄周期是t(i+1)-t(i)。

在步骤S1002中，机器人控制器15(目标位置生成部151)判定工件坐标系(识别对象坐标)中的末端执行器7的目标位置Xgw是否被登记。这里，在被登记的情况下，本方法进入到步骤S1004，在未被登记的情况下，本方法进入到步骤S1003。

这里，工件坐标系是指固定于工件的坐标系。因此，即使工件W与末端执行器7的相对位置发生了变化，从工件坐标系来看，工件W的位置始终处于相同位置。

在步骤S1003中，机器人控制器15(目标位置生成部151)根据图像P(t(i))来计算工件坐标系中的末端执行器7的目标位置Xgw。

例如，机器人控制器15(目标位置生成部151)被预先登记已判明的工件W的图像P(t(i))和末端执行器7相对于工件W的接近点(把持位置)，从图像P(t(i))中判别工件W，并将图像P(t(i))的接近点计算为目标位置Xgw。

机器人控制器15(目标位置生成部151)例如可以使用将图像P(t(i))作为输入而输出接近点的神经网络来进行该一系列的处理，也可以使用神经网络仅进行该工件W的判别。

在步骤S1004中，机器人控制器15(目标位置生成部151)根据图像P(t(i))来计算工件坐标系中的时刻t(i)的末端执行器7的当前位置Xt(i)w。

在步骤S1005中，机器人控制器15(目标位置生成部151)在工件坐标系统中计算控制量p。这里，机器人控制器15通过“(目标位置Xgw)-(当前位置Xt(i)w)”来计算控制量p。

在步骤S1006中，机器人控制器15(目标位置生成部151)判定控制量p是否比规定阈值(偏差)小。这里，在判定为小的情况下，本方法结束，在未判定为小的情况下，本方法进入到步骤S1007。

在步骤S1007中，机器人控制器15(目标位置生成部151)将控制量p转换为绝对坐标系中的末端执行器7的目标位置Xt(i)a。这里，绝对坐标系是可固定在任意场所的坐标系。在本实施方式中，设为(工作台40被固定而移动体20移动)固定于地面。

在步骤S1008中，机器人控制器15(追踪延迟时间设定部154)根据机器人10的加速减速信息，计算表示机器人10对位置指令的响应延迟的追随延迟时间dta。

在步骤S1009中，机器人控制器15(延迟时间计算部155)根据图像处理所花费的时间，计算从取得图像P(t(i))起到计算出控制量p为止的图像处理时间dtb。

在步骤S1010中，机器人控制器15(估计部152)取得时刻t(i)+dt(n)下的非视觉传感器信息V(t(i)+dt(n))。该非视觉传感器信息例如是移动体20的速度、加速度。这里，t(i)≤t(i)+dt(n)＜t(i+1)(n＝0，1，2，3…、t(0)＝0)的关系成立。

这里，dt(n)是非视觉传感器信息的取得周期。在本实施方式中，非视觉传感器信息的取得周期是图像的拍摄周期以下的周期。

在步骤S1011中，机器人控制器15(估计部152)根据非视觉传感器信息V(t(i)+dt(n))、P(t(i))和图像Pt(i)，预测从时刻t(i)起的工件W与末端执行器7的相对速度V的时间变化。

例如，机器人控制器15(估计部152)通过对非视觉传感器的输出波形进行外推等，预测非视觉传感器信息V(t(i)+dt(n))和P(t(i))，从而预测从时刻t(i)起的工件W与末端执行器7的相对速度V的时间变化。

在步骤S1012中，机器人控制器15(估计部152)通过在时刻t(i)与时刻t(i)+dta+dtb之间对相对速度V的时间变化进行积分，计算偏移Off(t(i)+dt(n))。

在步骤S1013中，机器人控制器15(假想目标位置计算部153A)通过在绝对坐标系中的末端执行器7的目标位置Xt(i)a中加上偏移Off(t(i)+dt(n))，来计算末端执行器7的假想目标位置X’t(i)a。

在步骤S1014中，机器人控制器15(机器人控制部153B)计算末端执行器7的假想目标位置X’t(i)a与当前时刻的末端执行器7的指令位置Xo(t(i)+dt(n)+ddt(m))之间的偏差dX。这里，t(i)+dt(n)≤t(i)+dt(n)+ddt(m)＜t(i)+dt(n+1)(m＝1，2，3…)的关系成立。

这里，ddt(m)是机器人10的控制周期。

在步骤S1015中，机器人控制器15(机器人控制部153B)通过对偏差dX乘以增益G，计算末端执行器7的指令位置Xo(t(i)+dt(n)+ddt(m))。

在步骤S1016中，机器人控制器15(机器人控制部153B)根据末端执行器7的指令位置Xo(t(i)+dt(n)+ddt(m))来控制机器人10。

在步骤S1017中，机器人控制器15判定视觉传感器3对图像的拍摄周期是否到来。在判定为到来的情况下，设为i＝i+1，本方法返回到步骤S1001，在判定为未到来的情况下，本方法进入到步骤S1018。

在步骤S1018中，机器人控制器15判定非视觉传感器信息V(t(i)+dt(n))的取得周期是否到来。在判定为到来的情况下，设为n＝n+1，本方法返回到步骤S1010，在判定为未到来的情况下，本方法进入到步骤S1019。

在步骤S1019中，机器人控制器15判定机器人10的控制周期是否到来。在判定为到来的情况下，设为m＝m+1，本方法返回到步骤S1014，在判定为未到来的情况下，本方法返回到步骤S1017。

＜本实施方式的效果＞

如以上说明的那样，本实施方式的机器人系统1具有：机器人10，其通过末端执行器7对工件W进行规定作业；视觉传感器3，其对工件W进行拍摄；目标位置生成部151，其根据拍摄到的图像，按照生成周期来生成表示末端执行器7应移动的位置的目标位置；估计部152，其至少根据与相对位置相关联的相对位置信息，按照估计周期来估计末端执行器7与工件W的相对位置的变化量；以及控制部153，其根据生成的目标位置和估计的变化量，对机器人10进行控制。

根据该结构，即使在从取得图像起到机器人10的末端执行器7到达目标位置为止的延迟时间(包括图像处理时间、控制延迟时间等)内，机器人10的末端执行器7与工件W的相对位置发生了变化的情况下，由于进行与该相对位置的变化量对应的控制，因此也能够追随该相对位置的变化。因此，能够使末端执行器7更准确且高速地接近工件W。

另外，在本实施方式的机器人系统1中，估计部152按照比上述的生成周期短的估计周期来估计上述的变化量。

根据该结构，能够按照比上述的目标位置的生成早的周期来估计变化量，并且能够将估计出的变化量反映在机器人10的控制中，因此，能够对上述生成周期的间隔中的延迟时间适当地进行校正，能够使末端执行器7更准确且高速地接近工件W。

另外，在本实施方式的机器人系统1中，估计部152根据作为上述相对位置信息的末端执行器7与工件W的相对速度和目标位置生成部151生成目标位置所需的图像处理时间以上的延迟时间，来估计上述变化量。根据该结构，至少能够补充与图像处理所需的时间相对应的延迟，能够使末端执行器7更准确地接近工件W。

另外，本实施方式的机器人系统1还具有：追踪延迟时间设定部154，其设定表示机器人10对位置指令的响应延迟的追踪延迟时间；以及延迟时间计算部155，其至少根据图像处理时间和追踪延迟时间来计算上述延迟时间，估计部152根据上述相对速度和由延迟时间计算部155计算出的延迟时间来估计上述变化量。根据该结构，不仅能够补充图像处理所需的时间，还能够补充机器人10对位置指令的响应延迟，能够使末端执行器7更准确地接近工件W。

另外，在本实施方式的机器人系统1中，追踪延迟时间设定部154设定至少在机器人10的动作开始状态与机器人10的动作稳定状态之间不同的追踪延迟时间。根据该结构，即使在追踪延迟时间根据机器人10的状态而发生变化的情况下，通过按照机器人10的状态来变更设定在机器人系统1中的追踪延迟时间，也能够使末端执行器7高速地接近工件W。

另外，本实施方式的机器人系统1还具有：移动体20，其装载着机器人10而相对于工件W移动；以及移动体振动传感器51，其在移动体20中配置在比机器人10靠行进方向的前侧的位置，对移动体20的振动进行检测，估计部152还根据与移动体振动传感器51所检测到的移动体20的振动相关联的移动体振动信息来估计上述的变化量。

另外，本实施方式的机器人系统1还具有机器人振动传感器52，该机器人振动传感器52配置于机器人10，对机器人10的振动进行检测，估计部152根据移动体振动传感器51所检测到的移动体振动信息和与机器人振动传感器52所检测到的机器人10的振动相关联的机器人振动信息，来估计上述的变化量。

根据该结构，由于能够根据当前的信息和未来的信息来估计末端执行器7与工件W的相对位置的变化量，因此能够更高精度地估计变化量。

此外，在本实施方式的机器人系统1中，控制部153具有：假想目标位置计算部153A，其在由目标位置生成部151按照上述的生成周期生成的目标位置中加上由估计部152按照上述估计周期估计出的变化量，从而计算末端执行器7的假想目标位置；以及机器人控制部153B，其以使该假想目标位置与针对机器人10的指令位置一致的方式对机器人10进行控制。

根据该结构，以使指令位置与加上变化量后的假想目标位置一致的方式对机器人10进行控制。也就是说，指令位置追踪着假想目标位置，实际的机器人10的位置追踪着指令位置。因此，即使在变化量为离散的值时，机器人10也能够使末端执行器7更顺利地接近工件W。

＜机器人控制器15的硬件结构例＞

接着，参照图5对在上述中说明的机器人控制器15的硬件结构例进行说明。

如图5所示，机器人控制器15例如具有CPU 901、ROM 903、RAM 905、ASIC或FPGA等面向特定用途而构建的专用集成电路907、输入装置913、输出装置915、记录装置917、驱动器919、连接端口921以及通信装置923。这些结构经由总线909和输入输出接口911以能够相互传递信号的方式连接。

程序例如可被记录在ROM 903、RAM 905、记录装置917等中。记录装置917例如是硬盘等，作为储存部等来发挥功能。

另外，程序例如可临时或非临时(永久)地记录在软盘等磁盘、各种CD·MO盘·DVD等光盘、半导体存储器等可移动的记录介质925中。这样的记录介质925可提供为所谓的封装软件。在该情况下，记录在这些记录介质925中的程序可以由驱动器919读出，并经由输入输出接口911和总线909等记录在记录装置917中。

另外，程序例如可以被记录在下载网站·其他计算机·其他记录装置等(未图示)中。在该情况下，程序经由LAN或因特网等网络NW来传送，通信装置923接收该程序。然后，通信装置923接收到的程序也可以经由输入输出接口911和总线909等记录在记录装置917中。

另外，程序例如可以被记录在适当的外部连接设备927中。在该情况下，程序可以经由适当的连接端口921来传送，并经由输入输出接口911和总线909等记录在记录装置917中。

然后，CPU 901根据记录在记录装置917中的程序来执行各种处理，由此，实现基于目标位置生成部151、估计部152、控制部153(假想目标位置计算部153A及机器人控制部153B)、追踪延迟时间设定部154以及延迟时间计算部155等的处理。即，CPU 901根据记录在记录装置917中的程序来执行各种处理，由此实现图4所示的机器人控制方法的处理。

此时，CPU 901例如可以从记录装置917直接读出程序并执行该程序，也可以将该程序暂时下载到RAM 905中之后执行该程序。并且，CPU 901例如在经由通信装置923、驱动器919、连接端口921接收到程序的情况下，也可以直接执行接收到的程序而不记录在记录装置917中。

另外，CPU 901也可以根据需要，例如基于从鼠标、键盘、麦克风(未图示)等输入装置913输入的信号和信息来进行各种处理。

然后，CPU 901例如可以从显示装置或声音输出装置等输出装置915输出执行了上述处理后的结果，并且，CPU 901可以根据需要而经由通信装置923或连接端口921来发送该处理结果，也可以记录在记录装置917或记录介质925中。

另外，在以上的说明中，在存在“垂直”、“平行”、“平面”等记载的情况下，该记载不是严格的限定。即，这些“垂直”、“平行”、“平面”允许设计上、制造上的公差、误差，是指“实质上垂直”、“实质上平行”、“实质上平面”的意思。

另外，在以上的说明中，当外观上的尺寸、大小、形状、位置等存在“同一”、“相同”、“相等”、“不同”等记载的情况下，该记载并不是严格的限定。即，这些“同一”、“相同”、“相等”“不同”允许设计上、制造上的公差、误差，是指“实质上同一”、“实质上相同”、“实质上相等”、“实质上不同”的意思。

另外，除了以上已经叙述的方法以外，还可以将上述实施方式的方式适当组合起来而使用。此外，虽然没有一一例示，但上述实施方式可以在不脱离其主旨的范围内施加各种变更而实施。

Claims (13)

1.一种机器人系统，该机器人系统具有：

机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；

视觉传感器，其对所述工件进行拍摄；

目标位置生成部，其根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

估计部，其至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及

控制部，其根据由所述目标位置生成部生成的所述目标位置和由所述估计部估计的所述变化量，对所述机器人进行控制，

其中，所述估计部按照比所述生成周期短的所述估计周期来估计所述变化量，

所述估计部根据作为所述相对位置信息的所述末端执行器与所述工件的相对速度和所述目标位置生成部生成所述目标位置所需的图像处理时间以上的延迟时间，来估计所述变化量。

2.根据权利要求1所述的机器人系统，其中，

所述机器人系统还具有：

追踪延迟时间设定部，其设定表示所述机器人对位置指令的响应延迟的追踪延迟时间；以及

延迟时间计算部，其至少根据所述图像处理时间和所述追踪延迟时间，计算所述延迟时间，

所述估计部根据所述相对速度和由所述延迟时间计算部计算出的所述延迟时间，来估计所述变化量。

3.根据权利要求2所述的机器人系统，其中，

所述追踪延迟时间设定部设定至少在所述机器人的动作开始状态与所述机器人的动作稳定状态之间不同的追踪延迟时间。

4.根据权利要求1所述的机器人系统，其中，

所述控制部具有：

假想目标位置计算部，其在所述目标位置生成部按照所述生成周期生成的所述目标位置中加上所述估计部按照所述估计周期估计出的所述变化量，来计算所述末端执行器的假想目标位置；以及

机器人控制部，其以使所述假想目标位置与所述末端执行器的指令位置一致的方式对所述机器人进行控制。

5.一种机器人系统，该机器人系统具有：

机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；

视觉传感器，其对所述工件进行拍摄；

目标位置生成部，其根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

估计部，其至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及

控制部，其根据由所述目标位置生成部生成的所述目标位置和由所述估计部估计的所述变化量，对所述机器人进行控制其中，

所述机器人系统还具有：

移动体，其装载着所述机器人并相对于所述工件移动；以及

移动体振动传感器，其配置在所述移动体中的比所述机器人靠行进方向的前侧的位置，对所述移动体的振动进行检测，

所述估计部还根据与所述移动体振动传感器所检测到的所述振动相关联的移动体振动信息，来估计所述变化量。

6.根据权利要求5所述的机器人系统，其中，

所述机器人系统还具有机器人振动传感器，该机器人振动传感器配置于所述机器人，对所述机器人的振动进行检测，

所述估计部根据所述移动体振动传感器所检测到的所述移动体振动信息以及与所述机器人振动传感器所检测到的所述振动相关联的机器人振动信息，来估计所述变化量。

7.根据权利要求5所述的机器人系统，其中，

所述控制部具有：

假想目标位置计算部，其在所述目标位置生成部按照所述生成周期生成的所述目标位置中加上所述估计部按照所述估计周期估计出的所述变化量，来计算所述末端执行器的假想目标位置；以及

机器人控制部，其以使所述假想目标位置与所述末端执行器的指令位置一致的方式对所述机器人进行控制。

8.一种机器人控制方法，其在机器人系统中对机器人进行控制，该机器人系统具有：所述机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；以及视觉传感器，其对所述工件进行拍摄，其中，

所述机器人控制方法具有如下的工序：

工序A，根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

工序B，至少根据与所述相对位置相关联的相对位置信息和根据生成所述目标位置所需的图像处理时间以上的延迟时间，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量，其中，所述估计周期比所述生成周期短，所述相对位置信息包括所述末端执行器与所述工件的相对速度；以及

工序C，根据在所述工序A中生成的所述目标位置和在所述工序B中估计出的所述变化量，对所述机器人进行控制。

9.一种机器人控制器，其在机器人系统中对机器人进行控制，该机器人系统具有：所述机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；以及视觉传感器，其对所述工件进行拍摄，其中，

所述机器人控制器具有：

目标位置生成部，其根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

估计部，其至少根据与所述相对位置相关联的相对位置信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及

控制部，其根据所述目标位置生成部所生成的所述目标位置和所述估计部所估计的所述变化量，对所述机器人进行控制，

其中，所述估计部按照比所述生成周期短的所述估计周期来估计所述变化量，

所述估计部根据作为所述相对位置信息的所述末端执行器与所述工件的相对速度和所述目标位置生成部生成所述目标位置所需的图像处理时间以上的延迟时间，来估计所述变化量。

10.一种记录介质，其中记录有程序，所述程序被用在构成机器人系统的机器人控制器中，该机器人系统具有：机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；以及视觉传感器，其对所述工件进行拍摄，其中，

所述程序使计算机执行如下的工序：

工序A，根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

工序B，至少根据与所述相对位置相关联的相对位置信息和根据生成所述目标位置所需的图像处理时间以上的延迟时间，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量，其中，所述估计周期比所述生成周期短，所述相对位置信息包括所述末端执行器与所述工件的相对速度；以及

工序C，根据在所述工序A中生成的所述目标位置和在所述工序B中估计出的所述变化量，对所述机器人进行控制。

11.一种机器人控制方法，其在机器人系统中对机器人进行控制，该机器人系统具有：所述机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；视觉传感器，其对所述工件进行拍摄；移动体，其装载着所述机器人并相对于所述工件移动；以及移动体振动传感器，其配置在所述移动体中的比所述机器人靠行进方向的前侧的位置，对所述移动体的振动进行检测，其中，

所述机器人控制方法具有如下的工序：

工序A，根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

工序B，至少根据与所述相对位置相关联的相对位置信息以及与所述移动体振动传感器所检测到的所述振动相关联的移动体振动信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及

工序C，根据在所述工序A中生成的所述目标位置和在所述工序B中估计出的所述变化量，对所述机器人进行控制。

12.一种机器人控制器，其在机器人系统中对机器人进行控制，该机器人系统具有：所述机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；视觉传感器，其对所述工件进行拍摄；移动体，其装载着所述机器人并相对于所述工件移动；以及移动体振动传感器，其配置在所述移动体中的比所述机器人靠行进方向的前侧的位置，对所述移动体的振动进行检测，其中，

所述机器人控制器具有：

目标位置生成部，其根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

估计部，其至少根据与所述相对位置相关联的相对位置信息以及与所述移动体振动传感器所检测到的所述振动相关联的移动体振动信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及

控制部，其根据所述目标位置生成部所生成的所述目标位置和所述估计部所估计的所述变化量，对所述机器人进行控制。

13.一种记录介质，其中记录有程序，所述程序被用在构成机器人系统的机器人控制器中，该机器人系统具有：机器人，其通过末端执行器对相对位置发生变化的工件进行规定作业；视觉传感器，其对所述工件进行拍摄；移动体，其装载着所述机器人并相对于所述工件移动；以及移动体振动传感器，其配置在所述移动体中的比所述机器人靠行进方向的前侧的位置，对所述移动体的振动进行检测，其中，

所述程序使计算机执行如下的工序：

工序A，根据所述视觉传感器所拍摄到的图像，按照生成周期来生成表示所述末端执行器应移动到的位置的目标位置；

工序B，至少根据与所述相对位置相关联的相对位置信息以及与所述移动体振动传感器所检测到的所述振动相关联的移动体振动信息，按照估计周期来估计所述末端执行器与所述工件的相对位置的变化量；以及

工序C，根据在所述工序A中生成的所述目标位置和在所述工序B中估计出的所述变化量，对所述机器人进行控制。

Images