CN111565895B - 机器人系统及机器人控制方法 - Google Patents

Abstract

机器人系统(1)包含机器人(10)、图象取得部(21)、图象预测部(22)及动作控制部(24)。图象取得部(21)取得机器人摄影机(31)拍摄的图象即当前图象，该机器人摄影机(31)以能与终端效应器(13)一起移动的方式配置。图象预测部(22)进行根据教学影像模型及当前图象来预测机器人摄影机(31)接着应拍摄的图象即下一图象的处理，其中，该教学影像模型通过将预测机器人摄影机(31)在可动部(12)进行调整动作时所拍摄的情况的影像作为教学影像进行机械学习而构建。动作控制部(24)运算用以使可动部(12)以机器人摄影机(31)拍摄的图象趋近下一图象的方式进行动作的指令值，且根据该指令值控制可动部(12)。

Description

机器人系统及机器人控制方法

技术领域

本发明主要涉及一种控制机器人的机器人系统。

背景技术

通常，为了在工厂等设施中使机器人进行预定的工作，需要预先制作描述有使机器人在工作时进行的动作的程式。

另外，专利文献1公开了一种机器人控制装置，其利用被称为视觉伺服的方法进行使机器人臂夹持工件的工作。专利文献1的机器人臂上安装有摄影机。并且，预先在机器人臂保持工件的位置和姿势下，通过机器人臂的摄影机取得图象作为目标数据。然后，在工作时，以机器人臂的摄影机取得的图象与预先取得的作为目标数据的图象成为相同的方式进行机器人臂的位置和姿势的反馈控制，由此使机器人臂到达目标位置及目标姿势。

[现有技术文献]

[专利文献]

专利文献1：日本特开2003-211382号公报

发明内容

然而，预先制作描述有使机器人进行的动作的程式的工作，需要由熟悉机器人的动作及程式等的技术人员花费时间进行。另外，在专利文献1的构成中，对如何移动机器人臂使其到达目标位置及目标姿势未作规定。因此，存在有不能灵活地应对环境变化的情况。

鉴于以上的情状，本發明的主要目的，在于提供一种机器人系统，其能够减少花费在与机器人动作的教学相关的程式上的工夫，且能灵活地应对环境变化。

本发明所要解决的问题，诚如上面的说明，下面对用以解决此问题的手段及其功效进行说明。

根据本发明的第一观点，提供以下构成的机器人系统。亦即，该机器人系统包含机器人、图象取得部、图象预测部及动作控制部。所述机器人具有工作工具及可动部，当所述工作工具对工件进行工作时，所述可动部进行用以调整该工作工具的位置及朝向的至少一者的调整动作。所述图象取得部取得摄影装置拍摄的图象即当前图象，该摄影装置以能与所述工作工具一起移动的方式配置、或以能拍摄包含所述工作工具的范围的方式配置。所述图象预测部，进行根据教学影像模型和所述当前图象来预测所述摄影装置接着应拍摄的图象即下一图象的处理，其中，该教学影像模型通过将预测所述摄影装置在所述可动部进行所述调整动作时所拍摄的情况的影像作为教学影像进行机械学习而构建。所述动作控制部，运算用以使所述可动部以所述摄影装置拍摄的图象趋近所述下一图象的方式进行动作的指令值，且根据该指令值控制所述可动部。

根据本發明的第二观点，提供以下的机器人控制方法。亦即，提供一种用于控制机器人的机器人控制方法，该机器人具有工作工具及可动部，当所述工作工具对工件进行工作时，所述可动部进行调整该工作工具的位置及朝向的至少一者的调整动作，该方法包含以下的工序。该机器人控制方法，重复进行包含图象取得工序、图象预测工序及动作控制工序的处理。在所述图象取得工序中，通过图象取得部取得摄影装置拍摄的图象即当前图象，该摄影装置以能与所述工作工具一起移动的方式配置、或以能拍摄包含所述工作工具的范围的方式配置。在所述图象预测工序中，进行根据教学影像模型和所述当前图象来预测所述摄影装置接着应拍摄的图象即下一图象的处理，其中，该教学影像模型通过将预测所述摄影装置在所述可动部进行所述调整动作时所拍摄的情况的影像作为教学影像进行机械学习而构建。在所述动作控制工序中，运算用以使所述可动部以所述摄影装置拍摄的图象趋近所述下一图象的方式进行动作的指令值，且根据该指令值控制所述可动部。

由此，由于可使用教学影像进行机器人动作的教学，因此不需要与机器人动作的教学相关的程式，可减少花费在程式上的工夫。另外，由于不是使机器人以预定的方式动作，而是根据通过机械学习获得的教学影像模型从当前图象预测下一图象，因而能够灵活地应对环境变化。

根据本發明，可以实现一种机器人系统，其能减少花费在与机器人动作的教学相关的程式上的工夫，且能够灵活地应对环境变化。

附图说明

图1是显示第一实施方式的机器人系统的结构的框图；

图2是显示构建教学影像模型的处理的流程图；

图3是显示工作人员使用教学操作器取得教学影像的状况的立体图；

图4是显示可变区域、收敛区域及可变容许范围的示意图；

图5是显示构建动作模型的处理的流程图；

图6是显示使用教学影像模型及动作模型进行调整动作的处理的流程图；和

图7是显示第二实施方式的机器人系统的结构的框图。

附图标记说明

10 机器人

11 支撑部

12 可动部

13 终端效应器(工作工具)

20 控制部

21 图象取得部

22 图象预测部

24 动作控制部

31 摄影装置

具体实施方式

下面，参照附图说明本发明的实施方式。首先，参照图1，对机器人系统1的概要进行说明。图1是显示第一实施方式的机器人系统1的结构的框图。

机器人系统1设在操作运输机械、电气设备或其他产品的工厂等中。机器人系统1包含机器人10和控制部20。控制部20根据人所教学的内容来控制机器人10，使机器人10进行各种的工作。作为使机器人10进行的工作，例如，对工作的对象物即工件进行诸如移动、焊接、涂敷和组装等工作。

如图1所示，机器人10包含支撑部11、可动部12、和终端效应器(工作工具)13。

支撑部11是作为可动部12和终端效应器13等的基座發挥作用的构件，且被固定于地板等上。

可动部12具有以多个关节连接的手臂，且各关节具备致动器。通过调整施加在这些致动器上的驱动力，各臂能以所期望的速度转动所需的角度。由此，可以调整终端效应器13的位置及朝向。再者，称为了使机器人10(终端效应器13)进行工作而调整终端效应器13的位置及朝向的动作为调整动作。

终端效应器13是具有直接作用在工件的功能的部分，且安装在可动部12的前端部。作为被安装的终端效应器13，可为各种类型的装置，例如，可为抓手或多指机械手等。从电动马达、控制装置等连接至终端效应器13的配线或管等，沿着可动部12的长边方向配置。由此，可将驱动力和电信号传送至终端效应器13。

在可动部12上安装有机器人摄影机31。机器人摄影机31是所谓高速摄影机，其能以较普通摄影机短的时间间隔进行摄影。本实施方式的机器人摄影机31的摄影时间间隔为1～2msec，但也可为10msec以下、5msec以下、或1msec以下。

在本实施方式的机器人系统1中，根据安装在可动部12的机器人摄影机31拍摄的图象使可动部12动作，来进行调整动作。在本实施方式中，机器人摄影机31安装在可动部12中的最前端侧(安装有终端效应器13的部分)。由此，若终端效应器13的位置及朝向改变，则机器人摄影机31的位置及朝向也会相应地变化，因此拍摄的图象会發生变化。关于机器人摄影机31拍摄的图象的详细利用方法，容待后述。再者，机器人摄影机31也可安装在较安装有终端效应器13的部分靠近基端侧的位置(支撑部11侧)。

控制部20是由公知的电脑构成，且具有CPU、ROM、RAM、HDD等的构成。另外，在所述HDD等中储存有各种程式。CPU读取并执行RAM等中的程式，使控制部20进行与机器人10相关的各种控制。由此，可使控制部20作为图象取得部21、图象预测部22和动作控制部24發挥作用(各部分的功能容待后述)。再者，这些功能是其中的一部分，除了这些功能外，控制部20还具有使可动部12及终端效应器13动作的功能、和用以进行后述的机械学习的功能。

其次，对用以使机器人系统1执行工作的预先处理(尤其是关于可动部12的预先处理)进行说明。在本实施方式的机器人系统1中，作为该预先处理，需要进行通过机械学习构建教学影像模型的第一预先处理、及通过机械学习构建动作模型的第二预先处理。首先，参照图2至图4，对该第一预先处理进行说明。

首先，对在本实施方式中使机器人系统1执行的工作简要地进行说明。在本实施方式中，机器人系统1进行使工件52移动的工作。具体而言，如图1所示，该工作是以终端效应器13夹持被载置于第一工件台51上的工件52，然后将工件52移载至设于另一位置的第二工件台55的工件载置面56上。

第一预先处理，是拍摄预测机器人摄影机31在工作中拍摄的情况的影像作为教学影像，且根据该教学影像进行机械学习而构建教学影像模型的处理。在本实施方式中，教学影像是在实际上不移动机器人10的状态下所拍摄。由此，能够以简单的处理拍摄教学影像。

具体而言，如图3所示，採用模彷机器人10的终端效应器13的教学操作器70。图3是显示进行教学的工作员(以下，称为教学工作人员)使用教学操作器70取得教学影像的状况的立体图。在教学操作器70上且在与机器人10相同的位置(对应的位置)安装有教学摄影机32。与机器人摄影机31相同，教学摄影机32是高速摄影机，且优选摄影的时间间隔也相同。教学影像通过该教学摄影机32所拍摄。

教学工作人员握持教学操作器70，一面使教学操作器70的位置及朝向依机器人10需执行的工作顺序进行变化，一面使教学摄影机32拍摄影像。如此，在使教学操作器70的位置及朝向变化的期间由教学摄影机32拍摄的影像即为教学影像。亦即，教学影像是指通过教学工作人员的动作实现了由安装在机器人10的机器人摄影机31在工作时拍摄的影像的影像。拍摄的教学影像数可为一个，但优选多个教学影像。

使用教学操作器70拍摄的教学影像，通过控制部20使用无线网络、有线网络或储存媒介等而取得(图2的流程中的S101)。另外，在教学影像中，将位置随教学操作器70的动作(亦即，机器人10在工作中的动作)而变化的要素作为特征点进行处理。在本实施方式中，控制部20将工件52的边缘部分、设于第一工件台51的第一标誌53、和设于工件52的第二标誌57作为特征点进行处理。

具体而言，控制部20确定这些特征点是如何根据工作的顺序而改变位置，且根据该确定结果来指定工作的状况及进度等，并将在工作顺序中进行位置控制的区域划分为可变区域与收敛区域(S102)。以下，参照图4，对可变区域及收敛区域进行说明。图4是显示可变区域、收敛区域及可变容许范围的示意图。

其中，在机器人10进行的工作中，存在有需精密控制位置及朝向的工序(以下，称为精密工序)、及无需精密控制位置及朝向的工序(以下，称为普通工序)。例如，在本实施方式的工作中，在夹持工件52的工序中位置及朝向稍有偏差，会导致不能夹持工件52、或者终端效应器13的前端接触至工件52。因此，夹持工件52的工序属于精密工序。与此相对，在使夹持的工件52移动至工件载置面56附近的工序中，即使位置及朝向稍有偏差仍无问题。因此，该工序属于普通工序。然后，在将工件52移载至工件载置面56的工序中，若位置及朝向稍有偏差，会变得不能载置于工件载置面56。因此，该工序属于精密工序。以下，以在精密工序中进行位置控制的区域成为收敛区域、且在普通工序中进行位置控制的区域成为可变区域的方式进行划分。

然而，由于控制部20不能直接把握何时为精密工序何时为普通工序，因此根据教学影像进行是属于收敛区域还是属于可变区域的划分。具体而言，由于教学工作人员在精密工序中每次皆会进行同样的动作，因此特征点的位置在多个教学影像中相似(特征点的一致度高)。另外，在精密工序中教学工作人员会谨慎地移动教学操作器70，因此，特征点的位置变化的速度变慢。由此，若特征点的一致度越高、或特征点的位置变化的速度越慢，则控制部20判断其越有可能属于精密工序(即收敛区域)。再者，也可仅对特征点的一致度及位置变化的速度的任一者进行该判断。通过以上方法，控制部20可将在工作工序中进行位置控制的区域划分为收敛区域及可变区域。

其次，控制部20使划分为可变区域的区域的可变容许范围增大(S103)。可变容许范围，是指即使在进行位置控制时产生偏差仍能容许的范围。另外，对于收敛区域，不进行增大可变容许范围的处理。或者，也可代替工序S103的处理、或在工序S103的处理之外，进行减小收敛区域的可变容许范围的处理。根据所述说明，在要求精度的精密工序中，由于终端效应器13的位置及朝向被精密控制，因此能够降低工作失败的几率。另一方面，在不要求精度的普通工序中，因为容易容许位置偏差等，因此例如，即使在产生环境变化等的情况下，只要是在可变容许范围的范围内仍可灵活地应对。再者，在本实施方式中，虽然将区域划分为收敛区域与可变区域的2个区域，但也可是划分为3个以上的区域的结构。

另外，教学影像包含有预测机器人摄影机31在工作流程中拍摄的情况的图象。并且，教学影像还包含与显示紧接在机器人摄影机31在某时间点拍摄的图象之后会拍摄哪种图象的图象变化趋势相关的信息。因此，通过机械学习该教学影像，可构建教学影像模型(S104)，该教学影像模型用以将机器人摄影机31最近拍摄的图象(当前图象)作为输入，输出机器人摄影机31接着需拍摄的图象(以下，称为下一图象)。换言之，下一图象是指在正常进行工作的情况下机器人摄影机31接着应取得的图象。作为用于该机械学习的方法，可使用适合于学习时序数据的公知机械学习方法(例如，递归神经网络、状态空间模型等)。

接着，参照图5对通过机械学习构建动作模型的第二预先处理进行说明。图5是显示用于构建动作模型的处理的流程图。第二预先处理，使用机器人10及机器人摄影机31而进行。第二预先处理，是用以构建根据所述当前图象及下一图象输出可动部12的指令值的动作模型的处理。

首先，控制部20通过安装在机器人10的机器人摄影机31开始进行拍摄(S201)。然后，使机器人10的可动部12具有的全部可动机构(关节)个别地进行动作(S202)。由此，制作显示可动部12的每个可动机构的动作与机器人摄影机31拍摄的图象(图象的变化)之间的相关关系的数据(相关数据)。控制部20储存该相关数据(S203)。

在该相关数据中，例如包含有显示图象的特征点是如何根据可动部12的可移动的关节、可移动的方向及可移动的量而移动的数据。因此，通过机械学习该相关数据，可构建动作模型(S204)，该动作模型将使图象的特征点朝某方向移动的情况作为输入(即，将当前图象及下一图象作为输入)，并且将为了实现此而应传送至可动部12的指令值作为输出。由此完成第二预先处理。通过使用该动作模型，不需使用检测可动部12的位置和姿势的传感器的检测值，而可控制可动部12。

接着，参照图6对使用教学影像模型及动作模型进行调整动作的处理的流程进行说明。图6是显示该处理的流程图。

在机器人10开始工作的前后，控制部20(图象取得部21)取得机器人摄影机31拍摄的当前图象(S301：图象取得工序)。接着，控制部20判定当前图象是否与目标图象一致(S302)。目标图象是指当可动部12完成调整动作时机器人摄影机31应取得的图象，且是根据调整动作完成时的教学影像制作的图象。

在当前图象与目标图象不一致时，控制部20(图象预测部22)根据教学影像模型及当前图象，预测下一图象即在当前图象之后应由机器人摄影机3拍摄的图象(图象取得部21应取得的图象)(S303：图象预测工序)。

接着，控制部20(动作控制部24)根据动作模型、当前图象及下一图象，运算用以使机器人摄影机31接着拍摄的图象趋近下一图象的指令值(S304)。控制部20(动作控制部24)使用算出的指令值控制可动部12(S305：动作控制工序)。

接着，控制部20再次进行工序S301的处理。亦即，控制部20在当前图象与目标图象达成一致之前，重复进行从当前图象中预测下一图象且以用以使机器人摄影机31拍摄的图象趋近下一图象的指令值来控制可动部12的处理，然后，在当前图象与目标图象达成一致时，完成调整动作(S306)。

另外，如上所述，机器人摄影机31是高速摄影机，每1～2msec可拍摄新的图象。与此相对应，从工序S301至工序S305的处理，是以1～2msec的周期进行。由此，通过极大地缩短控制周期，假定在产生有环境变化或过冲(overshoot)等的情况下，仍可立即进行修正。再者，在使机器人摄影机31取得的图象与下一图象达成一致需要花费该周期以上的时间的情况下，也可为以较该控制周期慢的周期进行工序S303的处理的构成。

接着，参照图7对第二实施方式进行明。图7是显示第二实施方式的机器人系统1的构成的框图。在以下的说明中，有时会对与所述实施方式相同或类似的构件赋予与图式相同的符号，并省略说明。

在第一实施方式中，其是在可动部12上安装机器人摄影机31的结构，但在第二实施方式中，在机器人10的外部安装有环境摄影机33。环境摄影机33被安装在例如工厂的天花板、立柱或用以安装环境摄影机33的专用构件等上。亦即，环境摄影机33被安装在即使在可动部12动作的情况下仍不移动的位置上。

环境摄影机33，以能拍摄包含终端效应器13的范围的方式配置。另外，环境摄影机33是与机器人摄影机31相同的高速摄影机。与机器人摄影机31相同，环境摄影机33用于拍摄用以取得用来构建动作模型的相关数据的图象、或在工作期间拍摄当前图象。另外，在第二实施方式中，与第一实施方式不同，环境摄影机33还被用于拍摄教学影像。

亦即，优选拍摄教学影像的角度，与在机器人10的工作时拍摄的图象的角度相同。因此，在第二实施方式中，使用环境摄影机33进行教学。具体而言，在通过环境摄影机33开始拍摄之后，与第一实施方式相同，握持教学操作器70且使教学操作器70的位置及朝向依照机器人10进行的工作顺序而变化。由此，可通过环境摄影机33拍摄教学影像。再者，在第二实施方式中，不需要在教学操作器70设置教学摄影机32。

当机器人10工作时，除了通过环境摄影机33拍摄当前图象、和预测的下一图象是环境摄影机33的视角等方面外，基本上与第一实施方式相同。如第二实施方式，通过使用环境摄影机33，则不需要在机器人10上安装机器人摄影机31。因此，在通过机器人摄影机31进行拍摄存在困难的情况下(例如，机器人摄影机31的镜头有可能因涂料等而汙染的情况)，第二实施方式更适合。

如以上说明，该机器人系统1，包含机器人10、图象取得部21、图象预测部22及动作控制部24。机器人10具有终端效应器13及可动部12，且当终端效应器13对工件52进行工作时，可动部12进行调整该终端效应器13的位置及朝向中的至少一者的调整动作。图象取得部21，用以取得机器人摄影机31拍摄的图象、或环境摄影机33拍摄的图象、即当前图象(图象取得工序)，其中，该机器人摄影机31以与终端效应器13一起移动的方式配置，该环境摄影机33以能拍摄包含终端效应器13的范围的方式配置。图象预测部22进行根据教学影像模型和当前图象来预测机器人摄影机31或环境摄影机33接着应拍摄的图象即下一图象的处理(图象预测工序)，其中，该教学影像模型，通过将预测机器人摄影机31或环境摄影机33在可动部12进行调整动作时所拍摄的情况的影像作为教学影像进行机械学习而构建。动作控制部24运算用以使可动部12以机器人摄影机31或环境摄影机33拍摄的图象趋近下一图象的方式进行动作的指令值，且根据该指令值控制可动部12(动作控制工序)。由此，控制部20如上所述执行控制机器人10的机器人控制方法。

由此，由于可使用教学影像进行对机器人的教学，因而不需要与机器人的教学相关的程式，可减少花费在程式上的工夫。另外，由于不是使机器人10以预定的方式动作，而是根据通过机械学习而获得的教学影像模型从当前图象预测下一图象，因此还能够灵活地应对环境的变化。

在本实施方式的机器人系统1中，动作控制部24根据动作模型、与当前图象及下一图象来运算指令值，该动作模型通过机械学习可动部12的动作与机器人摄影机31或环境摄影机33拍摄的图象之间的相关关系而构建。

因此，通过利用所述机械学习来构建动作模型，可对当前图象及下一图象的各种组合运算适宜的指令值。

另外，在本实施方式的机器人系统1中，教学影像包含有位置随调整动作而变化的特征点，且通过机械学习该特征点的位置变化来构建教学影像模型。

由此，由于机械学习的对象明确，因此即使在教学影像少的情况下，也可构建能预测适宜的下一图象的教学影像模型。

另外，在本实施方式的机器人系统1中，在教学影像模型中设定有可变区域及收敛区域，且在可变区域中控制可动部12的动作的情况，相较于收敛区域的情况，其特征点的位置变化的可变容许量(可变容许范围)更大。

由此，可以划分要求精密工作的部分及不要求的部分，进而可使机器人10以对应于此的精度进行工作。因此，即使在教学时及工作时环境稍有不同，只要是在容许特征点的位置变化的变动范围内，仍可使机器人10灵活地应对环境的变化进行工作。

另外，在本实施方式的机器人系统1中，可变区域及收敛区域，根据多个教学影像中的特征点的一致度、及教学影像中的特征点的位置变化速度中的至少任一者而被划分。

由此，由于可根据教学影像包含的特征来划分可变区域及收敛区域，因而与人为指定区域的划分的情况比较，可减轻工时负担。

另外，在本实施方式的机器人系统1中，教学影像是使与机器人10不同的教学操作器70依工作时的顺序移动时取得的影像。

由此，可以直观的方法取得教学影像而无需实际移动机器人10。

另外，在本实施方式的机器人系统1中，机器人摄影机31或环境摄影机33拍摄图象的周期、及动作控制部24运算指令值的周期的双方，皆为10msec以下。

由此，由于可一面以非常高速的周期取得图象一面运算指令值，因此可立即修正可动部12的位置偏差等，进而可使机器人10进行精密的工作。

在本实施方式的机器人系统1中，图象预测部22，根据当前图象来预测下一图象，而无需使用检测可动部12的位置和姿势的传感器的检测值。

因此，由于不使用传感器的检测值而根据图象进行教学，因此可考虑与进行工作的对象的相对位置来控制可动部12的位置，因而还可进一步灵活地应对环境的变化。

上面，对本發明的优选实施方式进行了说明，但所述结构例如可变更如下。

所述机器人10的结构仅是一示例而已，本發明还可应用在与所述实施方式的机器人10不同构成的机器人上。例如，可动部12也可为仅调整终端效应器13的位置及朝向中的一者的构成。另外，作为终端效应器13，可使用具有与机器人10进行的工作类型对应的构成者。

在所述实施方式中，其是由控制部20进行教学影像模型及动作模型的构建的构成，但也可为由除了控制部20外的机器(即，与机器人系统1不同的电脑)进行的构成。在该情况下，将由该不同的电脑构建的教学影像模型及动作模型利用于控制部20，且图象预测部22及动作控制部24根据这些进行处理。

在所述实施方式中，其为根据通过机械学习而构建的动作模型来运算可动部12的指令值的构成，但例如在可动部的关节数少等只进行更简单的动作的情况下，也可仅根据所述相关数据运算适当的指令值而无需进行机械学习。

图2、图5及图6的流程图的记载，仅为一示例而已，也可交换处理顺序、或省略部分处理、或添加其他处理，也可同步执行两个处理。

Claims (10)

1.一种机器人系统，其特征在于具备：

机器人，其具有工作工具及可动部，当所述工作工具对工件进行工作时，所述可动部进行用以调整该工作工具的位置及朝向的至少一者的调整动作；

图象取得部，其取得摄影装置拍摄的图象即当前图象，该摄影装置以能与所述工作工具一起移动的方式配置、或以能拍摄包含所述工作工具的范围的方式配置；

图象预测部，其进行根据教学影像模型及所述当前图象来预测所述摄影装置接着应拍摄的图象即下一图象的处理，其中，该教学影像模型通过将预测所述摄影装置在所述可动部进行所述调整动作时所拍摄的情况的影像作为教学影像进行机械学习而构建；及

动作控制部，其运算用以使所述可动部以所述摄影装置拍摄的图象趋近所述下一图象的方式进行动作的指令值，且根据该指令值控制所述可动部，

用于构建所述教学影像模型的所述教学影像包含其位置伴随调整动作而变化的特征点，并且通过机械学习该特征点的位置变化来构建所述教学影像模型，

所述教学影像模型基于与所述当前图象与所述下一图象之间的变化趋势的信息，将所述当前图象作为输入而输出所述下一图象。

2.根据权利要求1所述的机器人系统，其中，所述动作控制部，根据动作模型、与所述当前图象及所述下一图象来运算所述指令值，该动作模型通过机械学习所述可动部的动作与所述摄影装置拍摄的图象之间的相关关系而构建。

3.根据权利要求1或2所述的机器人系统，其中，所述教学影像包含有位置伴随所述调整动作而变化的特征点，且通过机械学习该特征点的位置变化来构建所述教学影像模型。

4.根据权利要求3所述的机器人系统，其中，在所述教学影像模型中设定有可变区域及收敛区域，且在所述可变区域中控制所述可动部的动作的情况相较于所述收敛区域的情况，其特征点的位置变化的可变容许量更大。

5.根据权利要求4所述的机器人系统，其中，所述可变区域及所述收敛区域，根据多个所述教学影像中的所述特征点的一致度、和所述教学影像中的所述特征点的位置变化速度中的至少任一者而被划分。

6.根据权利要求1所述的机器人系统，其中，所述教学影像是使与所述机器人不同的教学操作器依照工作时的顺序移动时取得的影像。

7.根据权利要求1所述的机器人系统，其中，所述摄影装置拍摄图象的周期、和所述动作控制部运算所述指令值的周期的双方，皆为10msec以下。

8.根据权利要求1所述的机器人系统，其中，所述图象预测部，根据所述当前图象来预测所述下一图象，而无需使用检测所述可动部的位置和姿势的传感器的检测值。

9.一种机器人控制方法，是用于控制机器人的方法，该机器人具有工作工具及可动部，当所述工作工具对工件进行工作时，所述可动部进行调整该工作工具的位置及朝向的至少一者的调整动作，该机器人控制方法的特征在于：

重复进行包含图象取得工序、图象预测工序及动作控制工序的处理，其中，

在所述图象取得工序中，通过图象取得部取得摄影装置拍摄的图象即当前图象，该摄影装置以能与所述工作工具一起移动的方式配置、或以能拍摄包含所述工作工具的范围的方式配置；

在所述图象预测工序中，进行根据教学影像模型及所述当前图象来预测所述摄影装置接着应拍摄的图象即下一图象的处理，其中，该教学影像模型通过将预测所述摄影装置在所述可动部进行所述调整动作时所拍摄的情况的影像作为教学影像进行机械学习而构建；及

在所述动作控制工序中，运算用以使所述可动部以所述摄影装置拍摄的图象趋近所述下一图象的方式进行动作的指令值，且根据该指令值控制所述可动部，

用于构建所述教学影像模型的所述教学影像包含其位置伴随调整动作而变化的特征点，且通过机械学习该特征点的位置变化来构建所述教学影像模型，

所述教学影像模型基于与所述当前图象与所述下一图象之间的变化趋势的信息，将所述当前图象作为输入而输出所述下一图象。

10.根据权利要求7所述的机器人系统，其中，所述图象预测部基于所述当前图象预测所述下一图象的周期为10msec以下。

Images