CN102049779A - 信息处理方法和装置 - Google Patents

Abstract

本发明涉及信息处理方法和装置，以高速、高精度、且作为控制系统稳定地使机械手移动到对象物。装置进行使安装有照相机的机器人臂移动到对象物的移动控制。即，在未检测出对象物的情况下，装置执行使机械手沿着到达根据对象物的位置预先设定的目标位置的路径移动的示教回放控制(步骤S1)。在检测出对象物的情况下，装置将比目标位置更接近对象物的位置作为新目标位置，设定到达新目标位置的新路径，在满足用于切换移动控制的切换条件之前的期间，执行使机械手沿着新路径移动的示教回放控制(步骤S3和S4)。在满足切换条件的情况下，装置执行视觉伺服控制(步骤S5)。

Description

信息处理方法和装置

技术领域

本发明涉及对机械手的动作进行控制的信息处理方法和装置。详细地说，涉及能以高速、高精度且作为控制系统稳定地使机械手移动到对象物的信息处理方法和装置。

背景技术

以往，在汽车等的生产线上配设具有机械手的机器人臂，将汽车的车门等作为工件，进行工件组装时的螺栓紧固作业。即，机器人臂将形成在工件表面上的多个螺栓孔中、接下来要进行螺栓紧固的螺栓孔作为对象物，移动到对象物，进行插入并旋入螺栓的作业。

作为使机器人臂移动到对象物的控制，广泛使用这样的示教回放控制：将根据对象物的位置预先设定的位置(以下称为“示教位置”)作为目标位置，使机器人臂沿着到达目标位置的预定路径移动。示教回放控制是这样的开环控制：事先示教使机器人臂沿着预定路径移动的动作，再现该动作。

然而，在实际作业中，由于生产线上工件输送的停止精度、用于在生产线上输送工件的工件托盘的个体差异等，使得工件的位置或姿势产生偏差。由于该偏差，使得示教位置与螺栓孔的实际位置之间产生误差。

因此，为了消除该误差，在专利文献1和2中公开了这样的方法：使用安装在机器人臂的前端的照相机，求出机器人臂的前端位置与螺栓孔实际位置之间的偏差，根据该偏差进行机器人臂的位置校正。该位置校正使用将基于偏差的值用作反馈值的预定反馈控制，例如PID控制。

【专利文献1】日本特开平8-174457号公报

【专利文献2】日本特开2001-246582号公报

然而，在应用包括专利文献1和2在内的现有方法的情况下，机器人臂当最初通过示教回放控制移动到示教位置时，在执行用于位置校正的反馈控制之前暂时静止。这样，产生这样的问题：由于机器人臂暂时静止，从机器人臂开始移动到结束位置校正相应地需要长时间。

因此，本申请人为了解决上述问题，开发出这样的方法：在通过示教回放控制使机器人臂移动的过程中，当由照相机等的视觉装置视觉识别到对象物时，切换成位置校正用反馈控制。

而且，本申请人认识到：在应用PID控制作为该方法的位置校正用反馈控制时，当切换成PID控制时，机器人臂有时产生不必要的振动。因此，本申请人发现，作为对该方法来说优选的位置校正用反馈控制是使用视觉阻抗控制。

视觉阻抗控制是基于现有的阻抗控制的控制，是如下的控制：在现有的阻抗控制中，取代根据实测所提供的外力，而使用根据照相机等的视觉装置的输出信息而提供的假想外力。

即，本申请人开发出这样的控制方法：在通过示教回放控制使机器人臂移动的过程中，当由照相机等的视觉装置视觉识别到对象物时，切换成视觉阻抗控制。以下，将该控制方法称为“基础控制方法”。

关于基础控制方法，本申请人已经提出了专利申请(日本特愿2008-310412)。在日本特愿2008-310412号的说明书中，视觉阻抗控制被称为“非接触型阻抗控制”。

通过应用基础控制方法，能抑制在示教回放控制过程中切换成反馈控制时的机器人臂的振动，并且能缩短位置校正所需的时间。

基础控制方法不仅能广泛地普遍应用于汽车车门的螺栓紧固作业，还能广泛地普遍应用于存在多个需要机械手移动的对象物的工件作业。

当前，期望一种与这样的基础控制方法相比能进一步高速、高精度、且作为控制系统稳定地使机器人臂移动到对象物的方法。

发明内容

本发明的目的在于提供一种对机械手的动作进行控制的信息处理方法和装置，该信息处理方法和装置与基础控制方法相比，能进一步高速、高精度、且作为控制系统稳定地使机械手移动到对象物。

本发明的第1信息处理方法，该信息处理方法由信息处理装置(例如实施方式中的控制装置15)执行，该信息处理装置进行使安装有能视觉识别对象物(例如实施方式中的螺栓孔21)的视觉装置(例如实施方式中的照相机13)的机械手(例如实施方式中构成机器人臂11的多关节机械手23)移动到所述对象物的移动控制，其特征在于，所述信息处理方法包含：

第1步骤(例如实施方式中的螺栓紧固处理的步骤S1)，在由所述视觉装置没有视觉识别到所述对象物的情况下，执行使所述机械手沿着根据所述对象物的位置预先设定的到达目标位置的路径移动的示教回放控制；

第2步骤(例如实施方式中的螺栓紧固处理的步骤S3和S4)，在由所述视觉装置视觉识别到所述对象物的情况下，将比所述目标位置更接近所述对象物的位置作为新目标位置，设定到达所述新目标位置的新路径，在满足用于切换所述移动控制的切换条件之前的期间，执行使所述机械手沿着所述新路径移动的所述示教回放控制；以及

第3步骤(例如实施方式中的螺栓紧固处理的步骤S5)，在满足所述切换条件的情况下，取得由所述视觉装置视觉识别到的所述对象物的位置信息，将所述位置信息用作反馈信息执行使所述机械手移动到所述对象物的视觉伺服控制。

根据本发明，在执行示教回放控制的第1步骤的处理中视觉识别到对象物的情况下，不是立即切换到执行视觉伺服控制的第3步骤，而是切换到继续执行如下示教回放控制的第2步骤。即，第2步骤是这样的步骤：将比目标位置更接近对象物的位置作为新目标位置，设定到达新目标位置的新路径，在满足用于切换移动控制的切换条件之前的期间，执行使机械手沿着新路径移动的示教回放控制。然后，当在执行第2步骤的示教回放控制的过程中满足切换条件时，切换到第3步骤。

由此，可以使机械手的速度等的状态落在一定范围内而开始视觉伺服控制。关于该“一定范围”，可以通过适当设定切换条件而容易地设为对视觉伺服控制来说适当的范围。在该情况下，可稳定且适当地执行视觉伺服控制。其结果，与在示教回放控制的执行中视觉识别到对象物的阶段立即切换到视觉伺服控制的情况相比较，能进一步高速、高精度且作为控制系统稳定地使机械手移动。

在该情况下，所述第2步骤可包含：

候选设定步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S11至S17)，设定所述新目标位置的1个以上的候选和所述新路径的1个以上的候选；

路径设定步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S18)，根据所述新目标位置的1个以上的候选和所述新路径的1个以上的候选中的至少一部分，设定所述新路径；

判定步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S20)，判定是否满足所述切换条件；

移动步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S19)，在不满足所述切换条件的情况下，通过所述示教回放控制，使所述机械手沿着所述新路径移动；以及

切换步骤(例如实施方式中的螺栓紧固处理的步骤S4)，在满足所述切换条件的情况下，将所述移动控制从所述示教回放控制切换到所述视觉伺服控制。

在该情况下，所述候选设定步骤可包含：

对象物检测步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S13)，检测由所述视觉装置视觉识别到的所述对象物的位置；

机械手检测步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S12)，检测所述机械手的位置；

目标位置候选设定步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S14)，根据所述对象物的位置和所述机械手的位置，设定所述新目标位置的候选之一；以及

路径候选设定步骤(例如实施方式中的示教回放控制的修正移动处理的步骤S15)，设定到达通过所述目标位置候选设定步骤的处理所设定的所述新目标位置的候选的路径，作为所述新路径的候选之一，

通过执行1次以上从所述对象物检测步骤到所述路径候选设定步骤的一系列处理，设定所述新目标位置的1个以上的候选和所述新路径的1个以上的候选。

在该情况下，所述切换条件既可包含所述机械手的速度为一定值以下的第1条件，也可包含所述机械手与所述对象物之间的位置偏差为一定值以下的第2条件。这里，该第1条件和第2条件由于是相互独立的条件，因而既可以各自单独使用，也可以组合起来使用。

本发明的第1信息处理装置(例如实施方式中的控制装置15)和程序(例如实施方式中的由CPU 101执行的程序)是与上述本发明的第1信息处理方法对应的装置和程序。因此，本发明的信息处理装置和程序也能取得与上述本发明的信息处理方法相同的效果。

本发明的第2信息处理方法，该信息处理方法由信息处理装置(例如实施方式中的控制装置15)执行，该信息处理装置进行使安装有能视觉识别到对象物(例如实施方式中的螺栓孔21)的视觉装置(例如实施方式中的照相机13)的机械手(例如实施方式中的构成机器人臂11的多关节机械手23)移动到所述对象物的移动控制，其特征在于，所述信息处理方法包含：

第1控制步骤(例如实施方式中的螺栓紧固处理的步骤S1)，在满足用于切换所述移动控制的切换条件之前的期间，执行使所述机械手沿着根据所述对象物的位置预先设定的到达目标位置的路径移动的示教回放控制；以及

第2控制步骤(例如实施方式中的螺栓紧固处理的步骤S5)，在满足所述切换条件的情况下，取得由所述视觉装置视觉识别到的所述对象物的位置信息，将所述位置信息作为反馈信息代入到包含1个以上系数的控制式进行运算，根据该运算结果执行使所述机械手移动到所述对象物的视觉伺服控制，

所述第2控制步骤包含系数变更步骤(例如实施方式中的视觉阻抗控制的移动处理的步骤S32、S33、S36、S37)，在该系数变更步骤中，根据所述机械手的预定状态变更所述1个以上系数中的至少一部分。

根据本发明，根据机械手的预定状态，变更视觉伺服控制的控制式所包含的1个以上系数中的至少一部分。由此，可以与机械手的速度等的状态无关地，稳定适当地执行视觉伺服控制。其结果，与固定1个以上系数的视觉伺服控制的情况相比较，能进一步高速、高精度且作为控制系统稳定地使机械手移动。

在该情况下，通过所述第2控制步骤的处理执行的视觉伺服控制可以是根据至少包含系数Fα和系数Dd的控制式(例如实施方式中的式(4))进行运算的视觉阻抗控制，所述系数Fα表示根据所述机械手与所述对象物之间的位置偏差可变的、施加给所述机械手的假想外力，所述系数Dd表示针对所述机械手的假想粘性，

作为所述系数变更步骤的处理，所述信息处理装置可根据当满足所述切换条件时的所述机械手的速度来变更所述系数Dd(例如实施方式中的视觉阻抗控制的移动处理的步骤S32、S33)。

在该情况下，作为所述系数变更步骤的处理，所述信息处理装置还可将认为所述机械手与所述对象物之间的位置偏差为一定值以下的条件作为偏差小条件，在满足所述偏差小条件的情况下，变更所述系数Fα和所述系数Dd中的至少一方(例如实施方式中的视觉阻抗控制的移动处理的步骤S33、S37)。

作为所述系数变更步骤的处理，所述信息处理装置可在满足所述偏差小条件的情况下，将所述系数Fα更新成大于原先的值。

作为所述系数变更步骤的处理，所述信息处理装置可在满足所述偏差小条件的情况下，将所述系数Dd变更成大于当满足所述切换条件时所更新的值。

在该情况下，所述偏差小条件既可包含所述机械手的速度为一定值以下的第1条件，也可包含所述机械手与所述对象物之间的位置偏差为一定值以下的第2条件。这里，该第1条件和第2条件由于是相互独立的条件，因而既可以各自单独使用，也可以组合起来使用。

本发明的第2信息处理装置(例如实施方式中的控制装置15)和程序(例如实施方式中的由CPU 101执行的程序)是与上述本发明的第2信息处理方法对应的装置和程序。因此，本发明的信息处理装置和程序也能取得与上述本发明的信息处理方法相同的效果。

根据本发明，能高速、高精度、且作为控制系统稳定地使机械手移动。

附图说明

图1是示出本发明一个实施方式的机器人系统的概略外观结构的立体图。

图2是示出图1的机器人系统的控制装置的功能结构例的功能框图。

图3是用于说明基础控制方法存在的问题的图，是示出应用了基础控制方法的机器人臂的概略结构的侧视图。

图4是用于说明基础控制方法存在的问题的图，是示出安装在应用了基础控制方法的机器人臂上的照相机的摄影图像例的图。

图5是用于说明基础控制方法存在的问题的图，是示出应用了基础控制方法的机器人臂的速度的时间推移的一例的时序图。

图6是用于说明应用本发明的3步骤移动控制方法的图，是示出图1的机器人系统的机器人臂的概略结构的侧视图。

图7是用于说明应用本发明的3步骤移动控制方法的图，是示出图1的机器人系统的机器人臂的速度的时间推移的一例的时序图。

图8是用于说明应用本发明的3步骤移动控制方法的图，是示出图1的机器人系统的机器人臂的位置与目标位置之间的偏差的时间推移的一例的时序图。

图9是用于说明应用本发明的视觉阻抗控制的参数可变设定方法的图，是示出图1的机器人系统的机器人臂的速度和初始制动量的关系的图。

图10是用于说明应用本发明的视觉阻抗控制的参数可变设定方法的图，是示出更新前加速量与更新后加速量之间的关系的图。

图11是用于说明应用本发明的视觉阻抗控制的参数可变设定方法的图，是示出图1的机器人系统的机器人臂的速度的时间推移的一例的时序图。

图12是用于说明应用本发明的视觉阻抗控制的参数可变设定方法的图，是示出图1的机器人系统的机器人臂的位置与目标位置之间的偏差的时间推移的一例的时序图。

图13是用于说明应用本发明的视觉阻抗控制的参数可变设定方法的图，是示出图1的机器人系统的机器人臂的速度与更新后的制动量之间的关系的图。

图14是示出图2的控制装置的硬件结构例的框图。

图15是示出图14的控制装置的螺栓紧固处理流程的一例的流程图。

图16是示出图15的螺栓紧固处理的示教回放控制的修正移动处理流程的一例的流程图。

图17是示出图15的螺栓紧固处理的视觉阻抗处理流程的一例的流程图。

具体实施方式

以下，根据附图说明本发明的一个实施方式。

图1是示出本发明一个实施方式的机器人系统1的概略外观结构的立体图。

例如，机器人系统1配设在汽车生产线上，以汽车的车门等作为工件2，进行组装工件2时的螺栓紧固。即，在工件2的表面，在N个预先规定的位置(以下称为“规定位置”)上分别形成有螺栓孔21-1至21-N(在图1中仅示出螺栓孔21-1至21-4)。其中，N是1以上的整数值，在图1的例子中是4以上的整数值。机器人系统1对螺栓孔21-1至21-N分别进行插入并旋入螺栓的作业。

另外，在下文中，在无需分别区分螺栓孔21-1至21-N的情况下，将它们总称为“螺栓孔21”。

机器人系统1具有：机器人臂11，末端执行器12，照相机13，机器人臂驱动装置14以及控制装置15。

机器人臂11具有：机器人基部22，以及可旋转地安装在该机器人基部22上的多关节机械手23。

多关节机械手23具有：关节31a至31d；连接部件32a至32e；使各关节31a至31d旋转的伺服电机(未图示)；以及对伺服电机的位置、速度、电流等各种状态进行检测的检测器(未图示)。

通过由各伺服电机进行的各关节31a至31d的旋转动作、和与这些旋转动作联动的各连接部件32a至32e的移动动作的组合，实现多关节机械手23的整体动作，即机器人臂11的整体动作。

末端执行器12安装在多关节机械手23的连接部件32e的前端，进行向螺栓孔21插入并旋入螺栓的动作。

照相机13固定安装在多关节机械手23的连接部件32e的外周部，以便能以末端执行器12的前端作为视场角的中心进行拍摄。

照相机13针对末端执行器12的前端方向，拍摄在视场角范围内的图像。以下，将由照相机13拍摄的图像称为“摄影图像”。这里，在本实施方式中，作为视场角中心的末端执行器12的前端位置被用作机器人臂11的位置。由此，由于摄影图像的中心位置为机器人臂11的位置，因而后述的控制装置15可以通过对摄影图像的图像数据实施图像处理，来容易地求出摄影图像所包含的各被摄体相对于机器人臂11的位置的相对位置。

从后述的控制装置15向机器人臂驱动装置14提供使机器人臂11移动到目标位置的指令(以下称为“移动指令”)。因此，机器人臂驱动装置14根据移动指令，将内置于多关节机械手23中的各检测器的检测值用作反馈值，对内置于多关节机械手23中的各伺服电机进行扭矩(电流)控制。由此，控制多关节机械手23的整体动作，即机器人臂11的整体动作。

在这样的控制中，机器人臂驱动装置14根据反馈值依次检测机器人臂11的位置、速度等的各种状态，将该检测结果作为状态信息提供给控制装置15。

控制装置15控制机器人系统1的整体动作。

图2是示出控制装置15的功能结构例的功能框图。

控制装置15具有机器人臂控制部41和末端执行器控制部42。

机器人臂控制部41经由机器人臂驱动装置14控制机器人臂11的移动。机器人臂11通过该控制移动到螺栓孔21。

当机器人臂11移动到螺栓孔21时，末端执行器控制部42控制末端执行器12。末端执行器12通过该控制，将螺栓插入并旋入到螺栓孔21内。

以下，说明机器人臂控制部41的详情。

机器人臂控制部41具有：示教回放控制部51，视觉伺服控制部52，控制切换部53，图像处理部54以及机器人臂状态取得部55。

示教回放控制部51执行使机器人臂11沿着预先设定的预定路径移动的示教回放控制。

示教回放控制部51具有：示教位置保持部61，目标位置确定部62以及移动指令生成部63。

示教位置保持部61保持在示教回放控制中使用的路径的信息。即，在示教回放控制中使用通过以下方式形成的路径：按预先设定的预定顺序对预先通过示教而设定的1个以上的示教位置进行连接。因此，在示教位置保持部61中保持与1个以上的示教位置相关的信息(例如表示其坐标和路径内的顺序的信息)。

目标位置确定部62根据示教位置保持部61的保持内容识别下次的示教位置。然后，目标位置确定部62根据下次的示教位置确定机器人臂11的下次的目标位置，并通知给移动指令生成部63。另外，参照图3至图8等的图在后面描述目标位置确定部62的目标位置确定方法的详情。

移动指令生成部63根据从目标位置确定部62通知的目标位置生成移动指令，并经由控制切换部53提供给机器人臂驱动装置14。于是，如上所述，机器人臂驱动装置14根据该移动指令使机器人臂11移动到目标位置。

当通过这样的示教回放控制使机器人臂11向目标位置移动的过程中满足预定条件时，控制切换部53将机器人臂11的动作控制从示教回放控制部51的示教回放控制切换到视觉伺服控制部52的视觉伺服控制。

另外，参照图7和图8在后面描述用于切换控制的预定条件(以下称为“控制切换条件”)的具体例。

视觉伺服控制部52通过将基于照相机13的摄影图像的信息用作反馈信息的预定的视觉伺服控制，生成移动指令，并经由控制切换部53提供给机器人臂驱动装置14。

在本实施方式中，使用视觉阻抗控制作为视觉伺服控制。视觉阻抗控制是指本申请人根据现有的阻抗控制开发出、且作为日本特愿2008-310412号已提出专利申请的非接触型阻抗控制。

现有的阻抗控制例如是指，将关于机器人的末端执行器的机械阻抗，(即质量(mass)、粘性(阻尼)以及弹性(弹簧))设定为期望值而进行的位置和力的控制。具体地说，阻抗控制使用下式(1)来进行。

【式1】

$\mathrm{Md}\frac{d^2}{{\mathrm{dt}}^2}X+\mathrm{Dd}(\frac{d}{\mathrm{dt}}X-\frac{d}{\mathrm{dt}}\mathrm{Xd})+\mathrm{Kd}(X-\mathrm{Xd})=F...\left(1\right)$

在式(1)中，Md、Dd、Kd分别表示质量(mass)、粘性(阻尼)以及弹性(弹簧)的各自的阻抗参数。X表示机器人的末端执行器的位置，Xd表示机器人的末端执行器的目标位置。F表示施加给机器人的末端执行器的外力。在以往的技术中，以软件的方式分别设定质量Md、粘性Dd、弹性Kd以获得期望的动态特性。

在以往的阻抗控制中，前提是机器人的末端执行器与物体接触。因此，由搭载在机器人的末端执行器上的传感器来实测外力F，该实测值被用作反馈值。以下，将这样的以接触物体为前提的以往的阻抗控制称为“接触型阻抗控制”。

与此相对，视觉伺服控制部52执行的视觉阻抗控制用于在针对螺栓孔21的螺栓紧固作业之前，使机器人臂11移动到螺栓孔21。在该情况下，机器人臂11在不与形成有螺栓孔21的工件2接触的状态下移动。这样，视觉阻抗控制是以不接触机器人臂11等物体为前提的阻抗控制。因此，在日本特愿2008-310412号的请求书所附的说明书中，视觉阻抗控制被称为“非接触型阻抗控制”。

在视觉阻抗控制中，由于不能进行外力F的实测，因而机器人臂11的位置X相对于目标位置Xd的偏差(X-Xd)被用作机器人臂11与工件2的假想接触量。然后，如式(2)所示，使用该假想接触量即偏差(X-Xd)，计算施加给末端执行器12的假想外力F。

【式2】

F＝f(X-Xd)                            …(2)

在式(2)中，右边的f表示将偏差(X-Xd)作为输入参数的预定函数。具体地说，例如在本实施方式中，采用下式(3)作为式(2)。其中，式(3)中的λ表示预定常数。

【式3】

F＝λ(X-Xd)

                                       …(3)

将式(3)代入式(1)进行变型，得到下式(4)。

【式4】

$\frac{d^2}{{\mathrm{dt}}^2}X=\frac{\mathrm{F\α}-\mathrm{DdV}}{\mathrm{Md}}...\left(4\right)$

式(4)中的Fα如下式(5)所示，是根据偏差(X-Xd)可变的参数，即，基于假想外力F的参数。

【式5】

Fα＝(λ-Kd)(X-Xd)                    

                                       …(5)

根据式(4)可知，参数Fα具有当值增加时使左边的加速度增加的功能，即，以汽车行驶为例则是所谓的加速功能。因此，以下将参数Fα称为“加速量Fα”。

另一方面，如上所述，参数Dd表示假想粘性(阻尼)，根据式(4)可知，参数Dd具有当值增加时使左边的加速度减少的功能，即，以汽车行驶为例则是所谓的制动功能。因此，以下将参数Dd称为“制动量Dd”。

V表示机器人臂11的速度。在本实施方式中，机器人臂11的速度V包含在从机器人臂驱动装置14提供给控制装置15的状态信息中。

这样，如式(4)所示，视觉阻抗控制的输出为机器人臂11的加速度。即，视觉阻抗控制是这样的控制：设定目标加速度使得不对机器人臂11施加振动，设定式(4)右边的各种参数使得式(4)左边的加速度与目标加速度一致。

式(4)右边的各种参数可以采用根据事前测试而预先设定的值，也可以采用根据机器人臂11通过视觉阻抗控制而移动中的运动状态可变的值。在本实施方式中，假想质量Md是预先设定的，而加速量Fα和制动量Dd根据机器人臂11通过视觉阻抗控制而移动中的运动状态可变。关于加速量Fα和制动量Dd的可变设定方法，参照图9至图13在后面描述。

视觉伺服控制部52为了执行视觉阻抗控制而具有：参数保持部64，参数设定部65，视觉伺服运算部66以及移动指令生成部67。

参数保持部64保持式(4)右边的各种参数或者用于导出这些参数的参数。即，在参数保持部64中保持式(4)右边的假想质量Md。并且，在本实施方式中，在参数保持部64中保持后述式(5)的参数λ、Kd、后述式(6)的参数S1、I1、后述式(7)的参数C1以及后述式(8)的参数C2，作为用于导出式(4)右边的加速量Fα或制动量Dd的参数。

参数设定部65设定式(4)右边的各种参数。为了该设定，使用参数保持部64的保持内容，即从后述的图像处理部54提供的偏差(X-Xd)、以及从后述的机器人臂状态取得部55提供的速度V。另外，关于加速量Fα和制动量Dd的设定方法，参照图9至图13在后面描述。

视觉伺服运算部66将由参数设定部65设定的各种参数代入式(4)进行运算，将该运算结果提供给移动指令生成部67。

移动指令生成部67根据视觉伺服运算部66的运算结果生成移动指令，经由控制切换部53提供给机器人臂驱动装置14。即，由于视觉伺服运算部66的运算结果如式(4)的左边所示是加速度，因而移动指令生成部67通过对该加速度进行积分，生成作为位置指令的移动指令，经由控制切换部53提供给机器人臂驱动装置14。

如上所述，被提供了移动指令的机器人臂驱动装置14根据该移动指令，使机器人臂11向螺栓孔21移动。当机器人臂11的位置与螺栓孔21的位置大致一致时，视觉伺服控制部52的视觉阻抗控制停止，机器人臂11的移动动作停止。于是，末端执行器控制部42控制末端执行器12，将螺栓插入并旋入到螺栓孔21内。

图像处理部54具有对象物识别部68和误差检测部69，以检测在视觉阻抗控制中使用的偏差(X-Xd)。

对象物识别部68根据从照相机13输出的图像数据，从摄影图像中识别对象物。在本实施方式中，对象物识别部68在将螺栓孔21识别为对象物时，将该识别结果和摄影图像的图像数据提供给误差检测部69。

误差检测部69通过对摄影图像的图像数据实施图像处理，来求出摄影图像内作为对象物包含的螺栓孔21相对于机器人臂11的位置X(图像的中心位置)的相对位置。这里，由于螺栓孔21的实际位置是机器人臂11的目标位置Xd，因而这样的相对位置相当于在视觉阻抗控制中使用的偏差(X-Xd)。向视觉伺服控制部52提供偏差(X-Xd)作为视觉阻抗控制的反馈信息，根据需要，作为控制切换条件之一而提供给控制切换部53。

机器人臂状态取得部55取得从机器人臂驱动装置14提供的状态信息。例如，状态信息中包含的速度V被提供给视觉伺服控制部52，以在视觉阻抗控制中使用，根据需要，作为控制切换条件之一而提供给控制切换部53。

以上说明了图2的控制装置15的功能结构例。

下面，参照图3至图8，说明由本申请人开发的、已经作为日本特愿2008-310412号提出专利申请的基础控制方法中存在的问题，接下来说明能解决该问题的方法。

首先，针对图1所示的机器人系统1，假定设有应用基础控制方法的控制装置(以下称为“基础控制装置”)而取代图2的控制装置15的机器人系统，参照图3至图5来说明基础控制方法中存在的问题。

如图3所示，在基础控制方法中的示教回放控制中，将预先设定的示教位置P1作为目标位置，机器人臂11逐渐移动。

其间，照相机13将摄影图像的图像数据依次输出到基础控制装置。在机器人臂11存在于图3中下方的位置的情况下，在照相机13的视场角内不存在螺栓孔21。因此，在这样的情况下，尽管未图示，然而由于在摄影图像中不包含螺栓孔21，因而基础控制装置检测不到螺栓孔21。

之后，当机器人臂11移动到示教位置P1的附近并到达例如图3中上方的位置时，螺栓孔21出现在照相机13的视场角内，如图4所示，作为摄影图像的被摄体包含有螺栓孔21。在这样的情况下，基础控制装置从摄影图像中识别出螺栓孔21，求出该螺栓孔21相对于中心位置的相对位置P3。另外，相对位置P3的坐标通过照相机13的视场角内的坐标系(以下称为“照相机坐标系”)来表达。

这里，如上所述，图4所示的摄影图像的中心位置是机器人臂11的位置X。并且，机器人臂11的真正目标位置不是示教回放控制的示教位置P1，而是螺栓孔21的位置P3。因此，摄影图像中的位置P3的坐标相当于在视觉阻抗控制中使用的偏差(X-Xd)。因此，在摄影图像内包含螺栓孔21的时刻(即，基础控制装置能检测到螺栓孔21的时刻)，理论上能执行视觉阻抗控制。

因此，在基础控制方法中，采用“检测出螺栓孔21”的条件作为从示教回放控制切换到视觉阻抗控制的控制切换条件。

即，在专利文献1或2等的现有控制方法中，在示教回放控制结束而机器人臂暂时停止后，执行用于校正位置误差的反馈控制(例如PID控制)。与此相对，在基础控制方法中，在基于示教回放控制的机器人臂11的移动动作中，可切换到视觉阻抗控制而不会如以往那样伴随无用的停止动作。

图5是示出在应用了基础控制方法的情况下的机器人臂11的速度V的时间推移的一例的时序图。

在图5中，横轴表示时间，纵轴表示机器人臂11的速度V。

如图5所示，在基础控制方法的示教回放控制中，在初始阶段，机器人臂11的速度V是恒定的速度，当经过一定阶段后，以一定的比例逐渐减速。

在该情况下，由于工件2的位置和姿势的偏差等各种因素，示教回放控制中的示教位置P1与螺栓孔21的实际位置之间的偏差量针对每个螺栓紧固而不同。由于该偏差量的不同，每次基础控制装置检测到螺栓孔21的时机不同，因而在基础控制方法中，每次切换到视觉阻抗控制的时机不同。其结果，每次切换到视觉阻抗控制的时刻的机器人臂11的速度V也不同。

这里，在基础控制方法的视觉阻抗控制中，针对机器人臂11的速度V等假定特定状况，把式(4)所示的各种参数设定为在该假定成立的情况下的最佳值。并且，视觉阻抗控制与作为开环控制的示教回放控制相比，响应速度慢。因此，在基础控制方法中产生这样的问题：当切换到视觉阻抗控制的时刻的机器人臂11的速度V与假定速度大为不同时，不能适当进行视觉阻抗控制。

具体地说，例如在图5a的例子中，在比假定时刻早的时刻ta检测出螺栓孔21，从示教回放控制切换到视觉阻抗控制(视觉伺服控制)。因此，在图5a的例子中，切换到视觉阻抗控制的时刻的机器人臂11的速度V成为比假定速度高的速度Va。以速度Va那样高的速度开始视觉阻抗控制意味着，在式(4)所示的各种参数的设定不适当的状态下，开始响应速度慢的控制。因此，在这样的情况下，产生位置控制发生过冲的问题。即，产生这样的问题：机器人臂11以高速度移动而超过了真正目标位置即螺栓孔21的实际位置。

另一方面，例如在图5b的例子中，在比假定时刻晚的时刻tb检测出螺栓孔21，从示教回放控制切换到视觉阻抗控制(视觉伺服控制)。因此，在图5b的例子中，切换到视觉阻抗控制的时刻的机器人臂11的速度V成为比假定速度低的速度Vb。以速度Vb那样低的速度开始视觉阻抗控制意味着，在式(4)所示的各种参数的设定不适当的状态下，开始响应速度慢的控制。因此，在这样的情况下，产生这样的问题：机器人臂11以低速度移动而怎么也到达不了真正目标位置即螺栓孔21的实际位置。

作为这种基础控制方法所具有的问题的解决方法，考虑使照相机13的视场角变窄的方法。通过使照相机13的视场角变窄，螺栓孔21出现在视场角内的时机的偏差得以减小，切换到视觉阻抗控制的时刻的机器人臂11的速度V的偏差也减小。然而，由于照相机13的视场角变窄，追随机器人臂11移动的照相机13很难拍摄到螺栓孔21，有可能发生不能检测到螺栓孔21的弊病。即，即使照相机13的视场角变窄，也不一定能解决基础控制方法中存在的问题。

因此，本发明人发明了能解决这种基础控制方法中存在的问题的如下2种控制方法。另外，在本实施方式中这2种控制方法应用于图2的控制装置15，因而在以下说明中，假定图2的控制装置15是动作主体。

图6至图8是说明应用本发明的第1种控制方法。

在第1种控制方法中，在初始阶段，将示教位置P1作为目标位置，通过示教回放控制使机器人臂11向目标位置移动。其间，照相机13持续地依次向控制装置15输出摄影图像的图像数据。

于是，在机器人臂11从图6下方所示的位置移动到上方所示的位置的阶段，图像处理部54从照相机13的摄影图像中检测到螺栓孔21。

至此的处理与应用基础控制方法的情况下的处理相同。

不过，在应用本发明的第1种控制方法中，在从照相机13的摄影图像中检测出螺栓孔21的阶段，不是如基础控制方法那样切换到视觉阻抗控制，而是在示教回放控制的状态下执行如下一系列处理。

即，示教回放控制部51的目标位置确定部62将示教回放控制的目标位置从示教位置P1变更为更接近螺栓孔21的位置P4。另外，以下，将位置P4称为“假想目标位置P4”。

然后，示教回放控制部51的移动指令生成部63设定从示教位置P1到假想目标位置P4的新路径PL，根据该新路径PL生成移动指令，经由控制切换部53提供给机器人臂驱动装置14。于是，机器人臂驱动装置14根据该移动指令，使机器人臂11沿着新路径PL移动。

在通过这样的示教回放控制使机器人臂11沿着新路径PL移动的过程中，当满足控制切换条件时，控制切换部53将机器人臂11的动作控制从示教回放控制切换到视觉阻抗控制。

这里，控制切换条件只要是表示机器人臂11接近作为真正目标位置的螺栓孔21的附近的条件，则可采用任意条件。

图7是说明控制切换条件的一例的图。

在图7中，横轴表示时间，纵轴表示机器人臂11的速度V。

例如，如图7所示，通过预先将预定速度定义为阈值thv1，由此可采用“机器人臂11的速度V为阈值thv1以下”的控制切换条件。

在该情况下，以机器人臂11的速度V始终是与阈值thv1大致相同的速度的方式，切换到视觉阻抗控制。这里，通过将阈值thv1定义在对视觉阻抗控制而言适当的范围内，由此可稳定且适当地执行视觉阻抗控制。其结果，与基础控制方法相比较，能容易进一步以高速、高精度且作为控制系统稳定地使机器人臂11移动到作为真正目标位置的螺栓孔21。

图8是控制切换条件的一例，是说明与图7的例子不同的例子的图。

在图8中，横轴表示时间，纵轴表示偏差(X-Xd)。

例如，如图8所示，可以通过预先将预定短距离定义为阈值thp1，由此采用“偏差(X-Xd)为阈值thp1以下”的控制切换条件。

在该情况下，以机器人臂11的偏差(X-Xd)始终为与阈值thp1大致相同的偏差的方式，切换到视觉阻抗控制。这里，通过将阈值thp1定义在对视觉阻抗控制而言适当的范围内，由此可稳定且适当地执行视觉阻抗控制。其结果，与基础控制方法相比较，能容易进一步高速、高精度且作为控制系统稳定地使机器人臂11移动到作为真正目标位置的螺栓孔21。

另外，在下文中，将从在照相机13的摄影图像中检测出螺栓孔21的时刻到切换到视觉阻抗控制的时刻的上述一系列处理，称为示教回放控制的修正移动处理。

即，基础控制方法是包含第1步骤和第3步骤的方法，该第1步骤通过示教回放控制执行机器人臂11的移动，该第3步骤通过视觉阻抗控制执行机器人臂的移动。

与此相对，应用本发明的第1种控制方法是在第1步骤与第3步骤之间还包含第2步骤的方法，该第2步骤执行示教回放控制的修正移动处理。因此，以下，将这样的控制方法称为“3步骤移动控制方法”。

这样，在3步骤移动控制方法中，由于在切换到视觉阻抗控制之前执行示教回放控制的修正移动处理，因而不用改变照相机13的视场角，即可将机器人臂11的速度V等状态收敛到一定范围内后，开始视觉阻抗控制。通过适当设定切换条件，可容易地将该“一定范围”设定在适于视觉阻抗控制的范围内。在该情况下，可稳定且适当地执行视觉阻抗控制。其结果，与基础控制方法相比较，能容易进一步高速、高精度且作为控制系统稳定地使机器人臂11移动到作为真正目标位置的螺栓孔21。

下面，说明应用本发明的第2种控制方法。

第2种控制方法是将机器人臂11的动作控制从示教回放控制切换到视觉阻抗控制之后的控制方法。

如上所述，基础控制方法中存在的问题之所以产生的因素之一是由于这样的情况：切换到视觉阻抗控制的时刻的机器人臂11的速度V等状态与在设定视觉阻抗控制的式(4)所示的各种参数时假定的状态大为不同。

因此，在第2种控制方法中，视觉伺服控制部52根据切换到视觉阻抗控制的时刻及其之后的机器人臂11的速度V等状态，可变地设定视觉阻抗控制的式(4)所示的加速量Fα或者制动量Dd。由此，可稳定且适当地执行视觉阻抗控制，而与机器人臂11的速度V等状态无关。其结果，与基础控制方法相比较，能容易进一步高速、高精度且作为控制系统稳定地使机器人臂11移动到螺栓孔21。

另外，在下文中，将应用这样的本发明的第2种方法称为“视觉阻抗控制的参数可变设定方法”。

参照图9至图13，进一步详细说明视觉阻抗控制的参数可变设定方法。

图9是说明切换到视觉阻抗控制时的制动量Dd的设定方法的图。

在图9中，横轴的V表示机器人臂11的速度，纵轴的Di表示切换到视觉阻抗控制时的制动量(以下特称为“初始制动量”)。

如图9所示，设定成：切换到视觉阻抗控制时的机器人臂11的速度V越高，初始制动量Di越大。具体地说，例如如式(6)所示运算初始制动量Di。

【式6】

Di＝V×S1+I1

                                         …(6)

在式(6)中，S1、I1分别是通过实验获得的参数。即，通过实验获得机器人臂11的相对于速度V的最佳制动量Dd，预先根据该实验分别求出参数S1、I1。

在切换到视觉阻抗控制的时刻，将根据这样的式(6)运算出的初始制动量Di设定为制动量Dd，代入式(4)进行运算，由此能适当执行刚切换后的视觉阻抗控制。即，按照切换到视觉阻抗控制时的机器人臂11的速度V越高，越减小视觉阻抗控制的加速度的方式，执行视觉阻抗控制。这样，能解决基础控制方法所存在的问题中的下述问题：由于切换到视觉阻抗控制的时刻的机器人臂11的速度V的偏差大而不能适当进行视觉阻抗控制。

而且，通过应用视觉阻抗控制的参数可变设定方法，不仅能解决基础控制方法所存在的问题中、在这样的视觉阻抗控制的开始时刻产生的问题，还能解决在视觉阻抗控制的结束时刻的附近产生的问题。

例如在基础控制方法中存在这样的问题：视觉阻抗控制的执行中，当偏差(X-Xd)逐渐减小时，收敛反应逐渐变慢。

如式(5)所示，在基础控制方法中，加速量Fα是与偏差(X-Xd)成比例的参数，因而当偏差(X-Xd)逐渐减小时，加速量Fα也相应地逐渐减小。其结果，机器人臂11的加速度也逐渐减小，因此产生收敛反应逐渐迟钝的问题。

图10是说明用于解决这种问题的加速量Fα的设定方法的图。

在图10中，横轴表示根据式(5)运算出的加速量Fα(即更新前的加速量Fα)。另外，以下，与图10的记载相一致，将根据式(5)运算出的加速量Fα特别称为“加速量Fαb”。纵轴表示更新后的加速量Fn。

当偏差(X-Xd)为一定值以下时，如图10所示，将更新后的加速量Fn设定为大于更新前的加速量Fαb。具体地说，例如如式(7)所示运算更新后的加速量Fn。

【式7】

Fn＝F_αb×C1

                                          …(7)

在式(7)中，C1是通过实验获得的参数。即，通过实验获得针对偏差(X-Xd)的最佳加速量Fα，根据该实验预先求出参数C1。

即，从开始视觉阻抗控制到满足表示偏差(X-Xd)为一定值以下的预定条件(以下称为“偏差小条件”)的期间，加速量Fα仍然设定为通过式(5)运算出的更新前的加速量Fαb。然后，在满足偏差小条件以后，设定式(7)所示的更新后的加速量Fn作为式(4)的加速量Fα。

这里，偏差小条件只要是表示偏差(X-Xd)为一定值以下的条件，则可采用任意条件。

图11是说明偏差小条件的一例的图。

在图11中，横轴表示时间，纵轴表示机器人臂11的速度V。

例如，如图11所示，预先将在偏差(X-Xd)为预定短距离的时刻所假定的速度，定义为阈值thv2，由此可采用“机器人臂11的速度为阈值thv2以下”的偏差小条件。

在图11中，曲线81表示在满足这样的偏差小条件之前设定更新前的加速量Fαb、在满足这样的偏差小条件之后设定更新后的加速量Fn的情况下的速度V与时间之间的关系。

另一方面，曲线82表示在设定更新前的加速量Fαb直到最后的情况下的速度V与时间之间的关系。

对曲线81和曲线82进行比较可知，通过在满足偏差小条件之后将加速量Fα从更新前的加速量Fαb变更为更新后的加速量Fn，由此视觉阻抗控制的加速度比更新前增高，因而能适当执行在偏差(X-Xd)为一定值以下之后的视觉阻抗控制，收敛反应变快。

图12是偏差小条件的一例，是说明与图11不同的例子的图。

在图12中，横轴表示时间，纵轴表示偏差(X-Xd)。

例如如图12所示，通过预先将预定的短距离定义为阈值thp2，由此可采用“偏差(X-Xd)为阈值thp2以下”的偏差小条件。

在图12中，曲线83表示在满足这样的偏差小条件之前设定更新前的加速量Fαb、在满足这样的偏差小条件之后设定更新后的加速量Fn的情况下的偏差(X-Xd)与时间之间的关系。

另一方面，曲线84表示在设定更新前的加速量Fαb直到最后的情况下的偏差(X-Xd)与时间之间的关系。

对曲线83和曲线84进行比较可以看出，通过在满足偏差小条件之后将加速量Fα从更新前的加速量Fαb变更为更新后的加速量Fn，由此视觉阻抗控制的加速度比更新前增大，因而能适当执行在偏差(X-Xd)为一定值以下之后的视觉阻抗控制，收敛反应变快。

这样，在满足预定的偏差小条件的情况下，将比更新前的加速量Fαb大的更新后的加速量Fn设定为式(4)的加速量Fα。由此，视觉阻抗控制的加速度比更新前高，因而能适当执行在偏差(X-Xd)为一定值以下之后的视觉阻抗控制，收敛反应变快。

并且，作为基础控制方法存在的问题中、在视觉阻抗控制的结束时刻附近所产生的其他问题，具有这样的问题：在偏差(X-Xd)减小的情况下，特别是在接近0、定位即将完成的情况下，机器人臂11的移动量会过大。

图13是说明用于解决这样的问题的制动量Dd的设定方法的图。

在图13中，横轴表示机器人臂11的速度V，纵轴表示更新后的制动量Dn。

如图13所示，当偏差(X-Xd)为一定值以下时，将比式(6)所示的初始制动量Di大的量设定为更新后的制动量Dn。具体地说例如，如式(8)所示来运算更新后的制动量Dn。

【式8】

Dn＝Di+(V×C2)

                                              …(8)

在式(8)中，C2是通过实验获得的参数。即，通过实验获得机器人臂11的相对于速度V的最佳制动量Dd，根据该实验预先求出参数C2。

即，在从开始视觉阻抗控制到偏差(X-Xd)变为一定值以下的期间，将式(4)的制动量Dd设定为根据式(6)运算出的初始制动量Di。然后，在偏差(X-Xd)变为一定值以后，将式(4)的制动量Dd设定为式(8)所示的更新后的制动量Dn。

另外，在本实施方式中，从式(6)所示的初始制动量Di切换到式(8)所示的更新后的制动量Dn的切换条件仍然采用偏差小条件。然而，这是例示，切换条件可以与偏差小条件不一致。

这样，在偏差(X-Xd)为一定值以下的情况下，将量比初始制动量Di大的更新后的制动量Dn设定为式(4)的制动量Di。由此，由于视觉阻抗控制的加速度比更新前低，因而能防止机器人臂11的移动量过大。

如以上说明那样，由于在控制装置15中应用3步骤移动控制方法、以及视觉阻抗控制的参数可变设定方法，因而能解决基础控制方法存在的各种问题。即，可以通过由控制装置15执行视觉阻抗控制来取得这样的效果：与应用了基础控制方法的情况下相比较，能容易进一步高速、高精度且作为控制系统稳定地使机器人臂11移动到作为真正目标位置的螺栓孔21。

另外，3步骤移动控制方法和视觉阻抗控制的参数可变设定方法是相互独立的方法，因而并不需要组合应用，可以只应用任一方。不过，通过如本实施方式那样组合应用，上述效果更显著。

下面，说明能取得这样的效果的控制装置15的硬件结构例。

图14是示出控制装置15的硬件结构例的框图。

控制装置15具有：CPU(Central Processing Unit：中央处理单元)101，ROM(Read Only Memory：只读存储器)102，RAM(Random AccessMemory：随机访问存储器)103，总线104，输入输出接口105，输入部106，输出部107，存储部108，通信部109以及驱动器110。

CPU 101根据记录在ROM 102内的程序执行各种处理。或者，CPU101根据从存储部108加载到RAM 103内的程序执行各种处理。在RAM103内还适当存储有CPU 101执行各种处理所需的数据等。

例如在本实施方式中，执行上述的图2的机器人臂控制部41和末端执行器控制部42的各功能的程序被存储在ROM 102或存储部108内。因此，CPU 101可以通过执行基于该程序的处理，来实现机器人臂控制部41和末端执行器控制部42的各功能。另外，以下，将基于该程序的处理称为螺栓紧固处理。关于螺栓紧固处理的一例，参照图15至图17的流程图在后面描述。

CPU 101、ROM 102以及RAM 103经由总线104相互连接。该总线104还与输入输出接口105连接。

输入输出接口105连接有：由键盘等构成的输入部106，由显示器件或扬声器等构成的输出部107，由硬盘等构成的存储部108，以及通信部109。通信部109分别控制：与照相机13之间进行的通信，与机器人臂驱动装置14之间进行的通信，以及经由包括互联网在内的网络与其它装置(未图示)之间进行的通信。另外，在图1的例子中，这些通信为有线通信，然而也可以是无线通信。

输入输出接口105根据需要还连接有驱动器110，并适当安装有由磁盘、光盘、光磁盘或者半导体存储器等构成的可移动介质111。并且，从它们中读出的程序根据需要被安装在存储部108内。

图15是示出图14的控制装置15的螺栓紧固处理流程的一例的流程图。

另外，图15示出对1个螺栓孔21进行螺栓紧固的一系列处理。即，在本实施方式中，由于在工件2中存在N个螺栓孔21-1至21-N，因而针对N个螺栓孔21-1至21-N的每一个，重复执行图15的螺栓紧固处理。

在步骤S1中，CPU 101通过示教回放控制，使机器人臂11向目标的示教位置P1移动。

即，CPU 101通过示教回放控制，根据示教位置P1生成移动指令，经由通信部109发送到机器人臂驱动装置14。于是，如上所述，机器人臂驱动装置14根据该移动指令，使机器人臂11向示教位置P1移动。

在步骤S2中，CPU 101判定是否检测出对象物。

即，在机器人臂11向示教位置P1移动期间，照相机13持续地依次向控制装置15发送摄影图像的图像数据。

CPU 101经由通信部109接收该图像数据，通过实施预定的图像处理来判定在摄影图像中是否包含有螺栓孔21。只要在摄影图像中不包含螺栓孔21，就判定为在步骤S2中未检测出对象物，处理回到步骤S1，重复其以后的处理。即，在摄影图像内包含螺栓孔21之前的期间，重复执行步骤S1、S2“否”的循环处理，通过示教回放控制使机器人臂11继续向示教位置P1移动。

当机器人臂11接近示教位置，螺栓孔21出现在照相机13的视场角内时，在摄影图像中包含螺栓孔21。在这样的情况下，CPU 101将该螺栓孔21检测为对象物。由此，在步骤S2中判定为“是”，处理进到步骤S3。

在步骤S3中，CPU 101执行示教回放控制的修正移动处理。

即，如使用图6说明的那样，CPU 101将示教回放控制的目标位置从示教位置P1变更为假想目标的位置P4。

CPU 101设定从示教位置P1到假想目标位置P4的新路径PL，根据该新路径PL生成移动指令，经由通信部109提供给机器人臂驱动装置14。于是，机器人臂驱动装置14根据该移动指令，使机器人臂11沿着新路径PL移动。

之后，CPU 101依次判定是否满足控制切换条件。

在满足控制切换条件之前的期间，通过示教回放控制使机器人臂11继续沿着新路径PL移动。

然后，当满足控制切换条件时，结束示教回放控制的修正移动处理，处理进到步骤S4。

另外，关于示教回放控制的修正移动处理的详细例子，参照图16的流程图在后面描述。

在步骤S4中，CPU 101将机器人臂11的动作控制从示教回放控制切换到视觉阻抗控制。

在步骤S5中，CPU 101根据照相机13的摄影图像的图像数据运算偏差(X-Xd)，通过将该偏差(X-Xd)用作反馈量的视觉阻抗控制来生成移动指令，经由通信部109发送到机器人臂驱动装置14。于是，如上所述，机器人臂驱动装置14根据该移动指令使机器人臂11移动。

另外，以下，将这样的步骤S5的处理称为“视觉阻抗控制的移动处理”。

关于视觉阻抗控制的移动处理的详细例子，参照图17的流程图在后面描述。

当机器人臂11移动到螺栓孔21而偏差(X-Xd)大致为0时，判定为定位完成，结束视觉阻抗控制的移动处理，处理进到步骤S6。

在步骤S6中，CPU 101控制螺栓紧固作业。即，CPU 101通过经由通信部109控制末端执行器12，将螺栓插入并旋入到螺栓孔21内。

由此，螺栓紧固处理结束。

下面，说明螺栓紧固处理中、步骤S3的示教回放控制的修正移动处理的详细例子。

图16是示出示教回放控制的修正移动处理流程的详细例子的流程图。

如上所述，当螺栓孔21被检测为对象物时，在步骤S2中判定为“是”，执行如下的步骤S11至S20的处理，作为示教回放控制的修正移动处理。

在步骤S11中，CPU 101设定数据生成数i＝0。

数据生成数i是指，作为新路径PL候选的数据(以下称为“新路径候选”)的生成完毕的个数。这里，将新路径候选的所需数据数设为n(n是1以上的任意整数值)，数据生成数i取1至n中的任一值。

在步骤S12中，CPU 101取得机器人臂11的位置P2i。

在本实施方式中，机器人臂11的位置P2i是指，工件2所处的空间坐标系(以下称为“世界坐标系”)中末端执行器12前端的坐标。在本实施方式中，由机器人臂驱动装置14检测机器人臂11的位置P2i，将其包含在状态信息中发送到控制装置15。因此，CPU 101经由通信部109接收状态信息，根据该状态信息取得机器人臂11的位置P2i。

在步骤S13中，CPU 101取得照相机内对象物的位置P3i。

在本实施方式中，照相机内对象物的位置P3i是指，作为对象物包含在照相机13的摄影图像中的螺栓孔21在照相机坐标系中的坐标。CPU101经由通信部109接收照相机13的摄影图像的图像数据，如上所述，通过对该图像数据实施图像处理，来取得照相机内对象物的位置P3i。

在步骤S14中，CPU 101根据位置P2i和位置P3i设定假想目标的位置P4i。

在步骤S15中，CPU 101生成从示教位置P1到假想目标位置P4i的新路径候选PLi。

由此，生成完毕的新路径候选PLi增加1个，因而在步骤S16中，CPU 101使数据生成数i增加1(i＝i+1)。

在步骤S17中，CPU 101判定数据生成数i是否为所需数据数n(是否是i＝n)。

在数据生成数i小于所需数据数n的情况下，在步骤S17中判定为“否”，处理回到步骤S12，重复其以后的处理。即，重复步骤S12至S17的循环处理，依次生成n个新路径候选PL1至PLn。

当生成了第n个新路径候选PLn，数据生成数i＝n时，在下一步骤S17中判定为“是”，处理进到步骤S18。

在步骤S18中，CPU 101根据新路径候选PL1至PLn来确定新路径PL。

另外，确定新路径PL的方法本身只要是使用新路径候选PL1至PLn的至少一部分的方法即可，不作特别限定。

例如，CPU 101可通过将对新路径候选PL1至PLn各自的假想目标位置P41至P4n进行平均后得到的位置设定为假想目标位置P4，由此生成从示教位置P1到假想目标位置P4的新路径PL。在该情况下，由于对假想目标位置P41至P4n求平均，因而可减小各自具有的误差量。

此外，例如，CPU 101可通过对新路径候选PL1至PLn各自的假想目标位置P41至P4n进行加权来执行预定运算，将该运算结果设定为假想目标位置P4，由此生成从示教位置P1到假想目标位置P4的新路径PL。

该情况下的加权方法虽未作特别限定，但例如当进行考虑了机器人臂11的速度V的加权时，可减小假想目标位置P41至P4n分别具有的误差量，因而是优选的。即，可判断为在机器人臂11的速度较慢的时刻获得的位置数据的误差小且可靠性高。在本实施方式中，分别设定假想目标位置P41至P4n的时刻的机器人臂11的速度V按该顺序逐渐变慢(参照图5或图7)。因此，按照从P41至P4n的顺序使假想目标位置P41至P4n的各自权重逐渐增大的方式进行加权，由此能减小假想目标位置P41至P4n分别具有的误差量。

当这样确定了新路径PL时，处理进到步骤S19。

在步骤S19中，CPU 101根据新路径PL，通过示教回放控制使机器人臂11移动。

即，CPU 101通过示教回放控制，根据新路径PL生成移动指令，经由通信部109发送到机器人臂驱动装置14。于是，如上所述，机器人臂驱动装置14根据该移动指令，使机器人臂11沿着新路径PL移动。

在步骤S20中，CPU 101判定是否满足控制切换条件。

作为控制切换条件，例如可采用图7所示的第1条件和图8所示的第2条件中的任一方、或者两条件的组合。在采用两条件的组合的情况下，可以采用“与”条件，也可以采用“或”条件。

在不满足控制切换条件的情况下，在步骤S20中判定为“否”，处理回到步骤S19，重复其以后的处理。即，在满足控制切换条件之前的期间，重复执行步骤S19、S20“否”的循环处理，由此通过示教回放控制使机器人臂11沿着新路径PL继续移动。

然后，当满足控制切换条件时，在步骤S20中判定为“是”，示教回放控制的修正移动处理结束，处理进到图15的步骤S4。

即，机器人臂11的动作控制从示教回放控制切换到视觉阻抗控制，执行步骤S5的视觉阻抗控制的移动处理。

下面，说明这样的步骤S5的视觉阻抗控制的移动处理的详细例子。

图17是示出视觉阻抗控制的移动处理流程的详细例子的流程图。

在步骤S31中，CPU 101取得机器人臂11的速度V。

在本实施方式中，由机器人臂驱动装置14检测出机器人臂11的速度V，将其包含在状态信息中发送到控制装置15。因此，CPU 101经由通信部109接收状态信息，根据该状态信息取得机器人臂11的速度V。

在步骤S32中，CPU 101根据速度V设定初始制动量Di。即，CPU101通过将步骤S31的处理所取得的速度V代入式(6)进行运算，来设定初始制动量Di。

在步骤S33中，CPU 101设定式(4)中的制动量Dd＝Di。

在步骤S34中，CPU 101通过视觉阻抗控制使机器人臂11移动。

即，CPU 101分别将机器人臂的速度V、加速量Fα、制动量Dd以及假想质量Md代入式(4)进行运算。

如上所述，机器人臂的速度V包含在从机器人臂驱动装置14发送来的状态信息内。加速量Fα是在将从照相机13的摄影图像中获得的偏差(X-Xd)代入式(5)的情况下的式(5)的运算结果即加速量Fαb。制动量Dd是通过步骤S33的处理所设定的初始制动量Di。假想质量Md被预先设定而预先存储在ROM 102等内。

CPU 101根据这样的式(4)的运算结果生成移动指令，经由通信部109发送到机器人臂驱动装置14。于是，如上所述，机器人臂驱动装置14根据该移动指令使机器人臂11移动。

在步骤S35中，CPU 101判定是否满足偏差小条件。

作为偏差小条件，例如可采用图11所示的条件和图12所示的条件中的任一方或者两条件的组合。在采用两条件的组合的情况下，可以采用“与”条件，也可以采用“或”条件。

在不满足偏差小条件的情况下，在步骤S35中判定为“否”，处理回到步骤S34，重复其以后的处理。即，在满足偏差小条件之前的期间，重复执行步骤S34、S35“否”的循环处理，由此通过视觉阻抗控制使机器人臂11继续移动。

在这里的视觉阻抗控制中，作为加速量Fα，设定在将从照相机13的摄影图像中获得的偏差(X-Xd)代入式(5)的情况下的式(5)的运算结果即加速量Fαb。作为制动量Dd，设定了初始制动量Di。

之后，当满足偏差小条件时，在步骤S35中判定为“是”，处理进到步骤S36。

在步骤S36中，CPU 101根据式(7)运算更新后的加速量Fn，根据式(8)运算更新后的制动量Dn。

在步骤S37中，CPU 101设定加速量Fα＝Fn，并设定制动量Dd＝Dn。

在步骤S38中，CPU 101通过视觉阻抗控制使机器人臂11移动。

在这里的视觉阻抗控制中，加速量Fα被设定为更新后的加速量Fn。制动量Dd被设定为更新后的制动量Dn。

在步骤S39中，CPU 101判定定位是否完成。

定位完成的判定条件虽未作特别限定，但是在本实施方式中，采用“偏差(X-Xd)大致为0时”的条件。

因此，在本实施方式中，在偏差(X-Xd)大致不为0的情况下，在步骤S39中判定为“否”，处理回到步骤S36，重复其以后的处理。即，在偏差(X-Xd)大致为0之前的期间，重复步骤S36至S39“否”的循环处理，由此通过视觉阻抗控制使机器人臂11继续移动。

在这里的视觉阻抗控制中，作为加速量Fα，设定了每次从步骤S36至S39“否”的循环处理所运算出的更新后的加速量Fn。作为加速量Dd，设定了每次从步骤S36至S39“否”的循环处理所运算出的更新后的制动量Dn。

之后，当偏差(X-Xd)大致为0时，在步骤S39中判定为“是”，视觉阻抗控制的移动处理结束，处理进到图15的步骤S6。即，通过末端执行器12将螺栓插入并旋入到螺栓孔21内。

根据本实施方式，具有以下效果。

(1)本实施方式的控制装置15可根据3步骤移动控制方法执行如下处理。

即，控制装置15在执行示教回放控制的第1步骤的处理中视觉识别到作为对象物的螺栓孔21的阶段，不是立即切换到执行视觉阻抗控制的第3步骤，而是切换到第2步骤。第2步骤是这样的步骤：将比目标位置更接近对象物的位置作为新目标位置，设定到达新目标位置的新路径，在满足控制切换条件之前的期间，执行使机器人臂11沿着新路径移动的示教回放控制。然后，当满足控制切换条件时，控制装置15切换到第3步骤。

由此，能使机器人臂11的速度等状态收在一定范围内，开始视觉阻抗控制。通过适当设定控制切换条件，可容易地使该“一定范围”处于对视觉阻抗控制而言适当的范围内。在该情况下，可稳定且适当地执行视觉阻抗控制。其结果，与基本控制方法的情况相比较，能进一步高速、高精度且作为控制系统稳定地使机器人臂11移动。

(2)本实施方式的控制装置15可根据视觉阻抗控制的参数可变设定方法执行如下处理。

即，控制装置15将偏差(X-Xd)作为反馈信息代入到包含阻抗参数等系数的式(4)的控制式进行运算，根据该运算结果使机器人臂11移动到螺栓孔21。在该情况下，控制装置15根据机器人臂11的预定状态，变更加速量Fα或制动量Dd的至少一部分。

由此，可稳定且适当地执行视觉阻抗控制，而与机器人臂11的速度V等状态无关。其结果，与基本控制方法的情况相比较，能容易进一步高速、高精度且作为控制系统稳定地使机械手移动。

另外，本发明不限于本实施方式，本发明还包含在可达到本发明目的的范围内的变型、改良等。

例如，在本实施方式中，将3步骤移动控制方法和视觉阻抗控制的参数可变设定方法组合起来使用，然而如上所述，由于这些方法是相互独立的，因而可仅使用任一方。

例如，在仅使用3步骤移动控制方法的情况下，可以采用基于基本控制方法的控制作为第3步骤中的视觉阻抗控制。进一步说来，第3步骤中的控制不限于视觉阻抗控制，可采用任意的视觉伺服控制。

并且例如，在仅执行视觉阻抗控制的参数可变设定方法的情况下，在图15的步骤S2的处理中判定为“是”的情况下，不执行步骤S3的处理，而执行步骤S4的处理。然后，作为步骤S5的处理，执行图17的视觉阻抗控制的移动处理。

进一步说来，也可以将与视觉阻抗控制的参数可变设定方法相同的方法应用于视觉阻抗控制以外的视觉伺服控制。例如，可将该方法应用于下述视觉伺服控制：将由安装在机械手上的视觉装置视觉识别到的对象物的位置信息作为反馈信息代入到包含1个以上系数的控制式进行运算，根据该运算结果使机械手移动到对象物。在该情况下，控制装置可以根据机械手的预定状态来变更1个以上系数的至少一部分。

由此，能稳定且适当地执行视觉伺服控制，而与机械手的速度等状态无关。其结果，与固定了1个以上系数的视觉伺服控制的情况相比较，能容易进一步高速、高精度且作为控制系统稳定地使机械手移动。

此外，例如，在本实施方式中，机械手安装在机器人臂11上，但不特别限于此，只要能移动到任意工件上的对象物即可。

并且，在本实施方式中，说明了通过软件和硬件(包含CPU 101的关联部分)的组合构成图2的机器人臂控制部41和末端执行器控制部42的方式，当然该结构是例示，本发明不限于此。例如，机器人臂控制部41和末端执行器控制部42的至少一部分可以由专用硬件构成，也可以由软件构成。

这样，本发明的一系列处理既可使用软件来执行，也可使用硬件来执行。

在使用软件执行一系列处理的情况下，构成该软件的程序可以经由网络、或者从记录介质安装在计算机等中。计算机既可以是安装有专用硬件的计算机，也可以是可通过安装各种程序来执行各种功能的例如通用个人计算机。

包含用于执行本发明的一系列处理的各种程序的记录介质可以是不同于信息处理装置(在本实施方式中是控制装置15)主体的、用于向用户提供程序的所发布的可移动介质，或者也可以是预先装入到信息处理装置主体内的记录介质等。可移动介质例如由磁盘(包含软盘)、光盘、或者光磁盘等构成。光盘例如由CDROM(Compact Disk-Read OnlyMemory：只读存储器光盘)、DVD(Digital Versatile Disk：数字通用盘)等构成。光磁盘由MD(Mini-Disk：小型盘)等构成。此外，作为预先装入到装置主体内的记录介质，例如可以是记录有程序的图5的ROM102、图5的存储部108所包含的硬盘等。

另外，在本说明书中，描述记录在记录介质内的程序的步骤当然包含按该顺序以时间序列方式执行的处理，还包含不一定以时间序列方式进行处理而是并列或者单独执行的处理。

并且，在本说明书中，系统表示由多个装置或处理部构成的装置整体。

标号说明

1：机器人系统；11：机器人臂；12：末端执行器；13：照相机；14：机器人臂驱动装置；15：控制装置；23：多关节机械手；41：机器人臂控制部；51：示教回放控制部；52：反馈控制部；53：控制切换部；54：图像处理部；55：机器人臂状态取得部；61：示教位置保持部；62：目标位置确定部；63：移动指令生成部；64：参数保持部；65：参数设定部；66：视觉伺服运算部；67：移动指令生成部；68：对象物识别部；69：误差检测部。

Claims (14)

1.一种信息处理方法，该信息处理方法由信息处理装置执行，该信息处理装置进行使安装有能视觉识别对象物的视觉装置的机械手移动到所述对象物的移动控制，其特征在于，所述信息处理方法包含：

第1步骤，在由所述视觉装置没有视觉识别到所述对象物的情况下，执行使所述机械手沿着根据所述对象物的位置预先设定的到达目标位置的路径移动的示教回放控制；

第2步骤，在由所述视觉装置视觉识别到所述对象物的情况下，将比所述目标位置更接近所述对象物的位置作为新目标位置，设定到达所述新目标位置的新路径，在满足用于切换所述移动控制的切换条件之前的期间，执行使所述机械手沿着所述新路径移动的所述示教回放控制；以及

第3步骤，在满足了所述切换条件的情况下，取得由所述视觉装置视觉识别到的所述对象物的位置信息，将所述位置信息用作反馈信息而执行使所述机械手移动到所述对象物的视觉伺服控制。

2.根据权利要求1所述的信息处理方法，其特征在于，所述第2步骤包含：

候选设定步骤，设定所述新目标位置的1个以上的候选和所述新路径的1个以上的候选；

路径设定步骤，根据所述新目标位置的1个以上的候选和所述新路径的1个以上的候选中的至少一部分，设定所述新路径；

判定步骤，判定是否满足所述切换条件；

移动步骤，在不满足所述切换条件的情况下，通过所述示教回放控制，使所述机械手沿着所述新路径移动；以及

切换步骤，在满足所述切换条件的情况下，将所述移动控制从所述示教回放控制切换到所述视觉伺服控制。

3.根据权利要求2所述的信息处理方法，其特征在于，所述候选设定步骤包含：

对象物检测步骤，检测由所述视觉装置视觉识别到的所述对象物的位置；

机械手检测步骤，检测所述机械手的位置；

目标位置候选设定步骤，根据所述对象物的位置和所述机械手的位置，设定所述新目标位置的候选之一；以及

路径候选设定步骤，设定到达通过所述目标位置候选设定步骤的处理所设定的所述新目标位置的候选的路径，作为所述新路径的候选之一，

通过执行1次以上从所述对象物检测步骤到所述路径候选设定步骤的一系列处理，设定所述新目标位置的1个以上的候选和所述新路径的1个以上的候选。

4.根据权利要求1所述的信息处理方法，其特征在于，所述切换条件包含所述机械手的速度为一定值以下的条件。

5.根据权利要求1所述的信息处理方法，其特征在于，所述切换条件包含所述机械手与所述对象物之间的位置偏差为一定值以下的条件。

6.一种信息处理装置，该信息处理装置进行使安装有能视觉识别对象物的视觉装置的机械手移动到所述对象物的移动控制，其特征在于，所述信息处理装置具有：

示教回放控制单元，其执行使所述机械手沿着预先设定的路径移动到目标位置的示教回放控制；

视觉处理单元，其根据所述视觉装置的输出信息检测所述对象物；

视觉伺服控制单元，其将由所述视觉处理单元检测到的所述对象物的位置信息作为反馈信息，执行使所述机械手移动到所述对象物的视觉伺服控制；以及

切换单元，其在满足预定切换条件的情况下，从所述示教回放控制切换到所述视觉伺服控制，作为所述移动控制，

在由所述视觉装置检测到所述对象物之前的期间，所述示教回放控制单元执行使所述机械手沿着根据所述对象物的位置预先设定的到达目标位置的路径移动的示教回放控制，

在由所述视觉装置检测到所述对象物的情况下，所述示教回放控制单元将比所述目标位置更接近所述对象物的位置作为新目标位置，设定到达所述新目标位置的新路径，在满足所述切换条件之前的期间，执行使所述机械手沿着所述新路径移动的所述示教回放控制。

7.一种信息处理方法，该信息处理方法由信息处理装置执行，该信息处理装置进行使安装有能视觉识别对象物的视觉装置的机械手移动到所述对象物的移动控制，其特征在于，所述信息处理方法包含：

第1控制步骤，在满足用于切换所述移动控制的切换条件之前的期间，执行使所述机械手沿着根据所述对象物的位置预先设定的到达目标位置的路径移动的示教回放控制；以及

第2控制步骤，在满足所述切换条件的情况下，取得由所述视觉装置视觉识别到的所述对象物的位置信息，将所述位置信息作为反馈信息代入到包含1个以上系数的控制式进行运算，根据该运算结果执行使所述机械手移动到所述对象物的视觉伺服控制，

所述第2控制步骤包含系数变更步骤，在该系数变更步骤中，根据所述机械手的预定状态变更所述1个以上系数中的至少一部分。

8.根据权利要求7所述的信息处理方法，其特征在于，通过所述第2控制步骤的处理而执行的视觉伺服控制是根据至少包含系数Fα和系数Dd的控制式进行运算的视觉阻抗控制，所述系数Fα表示根据所述机械手与所述对象物之间的位置偏差可变的、施加给所述机械手的假想外力，所述系数Dd表示针对所述机械手的假想粘性，

作为所述系数变更步骤的处理，所述信息处理装置根据当满足所述切换条件时的所述机械手的速度来变更所述系数Dd。

9.根据权利要求8所述的信息处理方法，其特征在于，作为所述系数变更步骤的处理，所述信息处理装置还将认为所述机械手与所述对象物之间的位置偏差为一定值以下的条件作为偏差小条件，在满足所述偏差小条件的情况下，变更所述系数Fα和所述系数Dd中的至少一方。

10.根据权利要求9所述的信息处理方法，其特征在于，作为所述系数变更步骤的处理，所述信息处理装置在满足所述偏差小条件的情况下，将所述系数Fα变更成大于原先的值。

11.根据权利要求9所述的信息处理方法，其特征在于，作为所述系数变更步骤的处理，所述信息处理装置在满足所述偏差小条件的情况下，将所述系数Dd变更成大于当满足所述切换条件时所更新的值。

12.根据权利要求9所述的信息处理方法，其特征在于，所述偏差小条件包含所述机械手的速度为一定值以下的条件。

13.根据权利要求9所述的信息处理方法，其特征在于，所述切换条件包含所述机械手与所述对象物之间的位置偏差为一定值以下的条件。

14.一种信息处理装置，该信息处理装置进行使安装有能视觉识别对象物的视觉装置的机械手移动到所述对象物的移动控制，其特征在于，所述信息处理装置包含：

第1控制单元，其在满足用于切换所述移动控制的切换条件之前的期间，执行使所述机械手沿着根据所述对象物的位置预先设定的到达目标位置的路径移动的示教回放控制；

视觉处理单元，其根据所述视觉装置的输出信息来检测所述对象物的位置信息；以及

第2控制单元，其在满足所述切换条件的情况下，将由所述视觉处理单元检测到的所述位置信息作为反馈信息代入到包含1个以上系数的控制式进行运算，根据该运算结果执行使所述机械手移动到所述对象物的视觉伺服控制，

所述第2控制单元具有系数变更单元，该系数变更单元根据所述机械手的预定状态变更所述1个以上系数中的至少一部分。

Images