CN114829076A - 主从系统以及控制方法 - Google Patents

Abstract

主从系统(1)具备：主装置(40)，具备操作端(401)、操作检测部(405)、力赋予部(404)，操作检测部(405)检测并输出通过向上述操作端施加力而输入的操作信息，力赋予部(404)向上述操作端给予力；从装置(10)，具备向对象物施加作用的作用部(11)和使上述作用部移动的动作部(12)；以及控制装置(20)，上述控制装置包括：第一指令部(20d)，按照限制上述作用部的规定移动的限制条件和上述操作信息，输出用于通过上述动作部使上述作用部进行反映了上述限制条件的动作的指令；和第二指令部(20e)，按照上述限制条件，输出用于使上述力赋予部向上述操作端给予力的指令，该力与向上述操作端的指示上述作用部的上述规定移动的输入对抗。

Description

主从系统以及控制方法

相关申请的交叉引用

本申请主张已于2019年12月13日向日本专利局申请的专利申请2019-225696号的优先权，通过参照而引用其整体作为构成本申请的一部分的内容。

技术领域

本公开涉及主从系统以及控制方法。

背景技术

以往，为了代替人的行为而使用了机器人。例如，专利文献1公开有将从臂的前端动作约束在已预先限制的作业范围内的多关节型主从机械手。上述主从机械手的运转控制装置通过实施如下的约束控制来约束从臂的运动，即、对主臂的位置以及姿势的变化量附加使不必要的方向上的变化量为0的约束条件。具体而言，运转控制装置将向约束条件的矢量投影主臂的位置以及姿势的变化量矢量而得到的矢量决定为从臂的位置以及姿势的变化量矢量。

专利文献1：日本特开平6-262548号公报

在专利文献1中，从臂进行与对主臂的位置以及姿势的变化量附加约束条件而得到的从臂的位置以及姿势的变化量对应的动作。因此，存在主臂的位置以及姿势等状态和从臂的位置以及姿势等状态不同样的情况。该情况下，在操作者从主臂的状态感觉到的从臂的状态与实际的从臂的状态之间产生差异，操作者有可能不能够按照自身意图操作从臂。

发明内容

本公开的目的在于提供一种如下的主从系统以及控制方法，即、能够一边将主装置的状态和从装置的状态维持为同样的状态，一边限制从装置的动作。

为了实现上述目的，本公开的一个形态所涉及的主从系统具备：主装置，具备操作端、操作检测部、力赋予部，所述操作检测部检测并输出操作信息，上述操作信息是通过向上述操作端施加力而输入的信息，上述力赋予部向上述操作端给予力；从装置，具备作用部和动作部，上述作用部向对象物施加作用，上述动作部使上述作用部移动；以及控制装置，上述控制装置包括：第一指令部，按照限制上述作用部的规定移动的限制条件和上述操作信息，输出用于通过上述动作部使上述作用部进行反映了上述限制条件的动作的指令；和第二指令部，按照上述限制条件，输出用于使上述力赋予部向上述操作端给予力的指令，该力与向上述操作端的指示上述作用部的上述规定移动的输入对抗。

根据本公开，能够一边将主装置的状态和从装置的状态维持为同样的状态，一边限制从装置的动作。

附图说明

图1是表示实施方式所涉及的机器人系统的一个例子的概略图。

图2是表示实施方式所涉及的末端执行器的结构的一个例子的侧视图。

图3是表示图2的末端执行器的力传感器的检测轴的一个例子的侧视图。

图4是表示实施方式所涉及的操作输入装置的操作装置的结构的一个例子的立体图。

图5是表示图4的操作装置的力传感器的检测轴的一个例子的立体图。

图6是表示实施方式所涉及的机器人系统的功能性结构的一个例子的框图。

图7是表示实施方式所涉及的控制装置的硬件结构的一个例子的框图。

图8是表示实施方式所涉及的机器人系统的限制模式下的动作的一个例子的流程图。

图9是表示使实施方式所涉及的机器人系统的末端执行器转换为基本姿势的动作的一个例子的流程图。

图10是表示末端执行器向基本姿势转换中的转换障碍的产生例的侧视图。

图11是表示末端执行器向基本姿势转换中的避让动作的例子的侧视图。

具体实施方式

首先，对本公开的形态例进行说明。本公开的一个形态所涉及的主从系统具备：主装置，具备操作端、操作检测部、力赋予部，上述操作检测部检测并输出操作信息，上述操作信息是通过向上述操作端施加力而输入的信息，上述力赋予部向上述操作端给予力；从装置，具备作用部和动作部，上述作用部向对象物施加作用，上述动作部使上述作用部移动；以及控制装置，上述控制装置包括：第一指令部，按照限制上述作用部的规定移动的限制条件和上述操作信息，输出用于通过上述动作部使上述作用部进行反映了上述限制条件的动作的指令；和第二指令部，按照上述限制条件，输出用于使上述力赋予部向上述操作端给予力的指令，该力与向上述操作端的指示上述作用部的上述规定移动的输入对抗。

若根据上述形态，则控制装置一边按照限制条件限制作用部的规定移动，一边按照操作信息使作用部进行动作。并且，控制装置通过向操作端给予力来限制向操作端的指示作用部的规定移动的输入。由此，一边将主装置的状态和从装置的状态维持为同样的状态，一边使从装置进行反映了限制条件的动作。例如，第一以及第二指令部也可以输出动作指令以及控制指令等作为指令。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述从装置通过上述动作部使上述作用部的位置以及姿势移动，上述操作端能够移动，以改变位置以及姿势，上述限制条件是将上述作用部的姿势的移动限制为上述规定移动的条件。若根据上述形态，则控制装置一边限制作用部的姿势的移动，一边使作用部进行动作。并且，控制装置限制与所限制的作用部的姿势的移动对应的操作端的姿势的移动。由此，一边将主装置的姿势和从装置的姿势维持为同样的姿势，一边使从装置进行反映了限制条件的动作。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述操作检测部将向上述操作端施加的力的方向以及大小作为上述操作信息进行检测。若根据上述形态，则向操作端施加的力的方向以及大小的指令能够变换为作用部的移动方向、移动速度以及该移动方向上的作用力的指令。由此，操作者能够通过向操作端施加力来控制作用部的动作。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述操作检测部将向上述操作端施加的3轴方向的力的大小以及绕3轴的力的力矩作为上述操作信息进行检测。若根据上述形态，则向操作端施加的3轴方向的力的大小的指令能够变换为作用部的该3轴方向的移动速度以及作用力的指令。向操作端施加的绕3轴的力的力矩的指令能够变换为作用部的该绕3轴的旋转速度以及旋转力的指令。由此，操作者能够通过向操作端施加力来控制作用部的位置以及姿势。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述限制条件是将与上述操作信息的上述绕3轴的力的力矩对应的上述作用部的姿势的移动限制为上述规定移动的条件。若根据上述形态，则控制装置按照限制条件限制操作信息中包含的绕3轴的力的力矩，使用限制后的操作信息输出指令，从而能够使从装置进行反映了作用部的姿势的移动的限制的动作。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述作用部包括磨削装置，上述动作部包括机器人臂。若根据上述形态，则在磨削作业中，优选为磨削装置的磨削砂轮的姿势相对于磨削对象物为规定姿势。控制装置能够使用机器人臂自如地控制磨削砂轮的姿势，使其成为规定姿势。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述控制装置还包括接受部，上述接受部接受用于使上述作用部的姿势转换为规定姿势的转换指令，若上述接受部接受到上述转换指令，则上述第一指令部输出用于使上述作用部的姿势成为上述规定姿势的指令。若根据上述形态，则控制装置按照转换指令使作用部的姿势转换为规定姿势。例如，规定姿势也可以是作用部的优选姿势或者基本的姿势等。而且，上述那样的作用部的姿势转换能够简易地执行而不需要使用了操作端的操作。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述力赋予部与上述操作端连接，以通过上述力赋予部所给予的力能够使上述操作端移动，若上述接受部接受到上述转换指令，则上述第二指令部进一步输出用于使上述力赋予部向上述操作端给予使上述操作端的姿势成为与上述规定姿势对应的姿势的力的指令。若根据上述形态，则控制装置按照转换指令使作用部的姿势转换为规定姿势，并且使操作端的姿势转换为与作用部的规定姿势对应的姿势。由此，能够一边使作用部以及操作端这两者的姿势对应，一边使其成为目标姿势。

在本公开的一个形态所涉及的主从系统中，也可以构成为：上述从装置还具备检测上述作用部从上述对象物受到的力的力检测部，若在上述作用部向上述规定姿势转换中，上述力检测部检测到力，则上述第一指令部输出用于使上述作用部的位置移动并且使上述作用部的姿势成为上述规定姿势的指令。若根据上述形态，则若在作用部的姿势转换中，由于接触以及碰撞等由检测部检测到力，则控制装置例如能够以避让接触以及碰撞等的方式使作用部的位置移动，并且使作用部的姿势成为规定姿势。由此，能够可靠地进行姿势转换。此外，在检测到力后，控制装置可以并行地进行作用部的位置移动和作用部的姿势转换，也可以停止作用部的姿势转换，在作用部的位置移动后进行作用部的姿势转换。在后者的情况下，控制装置可以在作用部的位置移动完成后开始作用部的姿势转换，也可以在作用部的位置移动中开始作用部的姿势转换，并行地进行位置移动和作用部的姿势转换。

本公开的一个形态所涉及的控制方法是控制通过主装置来操作的从装置的控制方法，包括：按照操作信息和限制条件，输出用于通过上述从装置的动作部使上述作用部进行反映了上述限制条件的动作的指令，上述操作信息是通过向上述主装置的操作端施加力而输入的信息，上述限制条件限制上述从装置中的向对象物施加作用的作用部的规定移动；和按照上述限制条件，输出用于使上述主装置生成向上述操作端的力的指令，该力与向上述操作端的指示上述作用部的上述规定移动的输入对抗。若根据上述形态，则能够得到与本公开的一个形态所涉及的主从系统同样的效果。

(实施方式)

以下，一边参照附图一边对本公开的实施方式进行说明。此外，以下说明的实施方式均表示总括性的或者具体性的例子。另外，关于以下实施方式中的结构要素中未记载于表示最上位概念的独立权利要求的结构要素，作为任意结构要素进行说明。另外，附图中的各图是示意性的图，并非一定严格地图示。并且，在各图中对实质上相同的结构要素标注相同的附图标记，存在省略或简化重复的说明的情况。另外，在本说明书以及权利要求书中，“装置”不仅能够意味着一个装置，也能够意味着由多个装置构成的系统。

[机器人系统的结构]

对实施方式所涉及的机器人系统1的结构进行说明。图1是表示实施方式所涉及的机器人系统1的一个例子的概略图。如图1所示，实施方式所涉及的机器人系统1具备：机器人10、控制装置20、拍摄装置30、操作输入装置40、提示装置50。机器人系统1构成主从系统，机器人10构成从装置，操作输入装置40构成主装置。控制装置20控制机器人系统1整体的动作。控制装置20在机器人10与操作输入装置40之间进行双向控制。

机器人10在本实施方式中为工业用机器人。机器人10固定配置在基台13上，但也可以构成为：配置在搬运装置等能够移动的装置，能够移动。机器人10具备：作为作用部的末端执行器11，对处理的对象物施加作用；和作为动作部的机器人臂12，使末端执行器11工作以执行该作用。在本实施方式中，假设末端执行器11构成为对对象物施加磨削作用，来进行以下说明。这样的末端执行器11具备对对象物实施磨削的磨削装置11a，安装于机器人臂12的前端。此外，末端执行器11的作用并不限定于磨削，也可以是任何作用。例如，末端执行器11的作用也可以是相对于作用对象存在优选的末端执行器11的姿势的作用。

在本说明书以及权利要求书中，“磨削”能够包括：通过去除对象物的不需要的部分来成为需要的尺寸以及形状等的加工亦即切削；通过削去对象物的表面来成为需要的尺寸、形状以及表面粗糙度等的加工亦即磨削；使对象物的表面光滑的加工亦即研磨。

磨削装置11a的例子是砂轮机、轨道打磨机、随机轨道打磨机、三角打磨机以及带式打磨机等以电力或者空气压力为动力源的磨削装置，但并不限定于此。砂轮机也可以是使圆盘状的磨削砂轮旋转的类型、使圆锥状或者柱状的磨削砂轮旋转的类型等的砂轮机。

在本实施方式中，假设“磨削”是削去金属制的对象物W的磨削对象区域WA内的不需要的部分、使磨削对象区域WA的表面光滑的加工，假设磨削装置11a是具备圆盘状的磨削砂轮11b的电动盘式砂轮机，来进行以下说明。磨削对象区域WA内的不需要的部分的例子是对象物W的焊道那样的焊接痕迹等。磨削装置11a通过旋转的磨削砂轮11b按压在磨削对象区域WA内的焊接痕迹等，来磨削该焊接痕迹以及其周边。图1所示的对象物W为大型容器的壁。

机器人臂12只要具有能够变更其前端的磨削装置11a的位置以及/或者姿势的结构即可，并不特别限定，在本实施方式中，为垂直多关节型机器人臂。此外，机器人臂12例如也可以构成为：水平多关节型、极坐标型、圆筒坐标型、直角坐标型或者其他型式的机器人臂。

机器人臂12固定于基台13。机器人臂12具备：从其基部朝向前端按顺序配置的连杆12a、12b、12c、12d及12f；将连杆12a、12b、12c、12d及12f依次连接为能够旋转的关节JT1、JT2、JT3、JT4、JT5及JT6；分别驱动关节JT1、JT2、JT3、JT4、JT5及JT6使它们旋转的臂驱动装置M1、M2、M3、M4、M5及M6。连杆12a经由关节JT1安装于基台13。连杆12f的前端部构成机械接口，与末端执行器11连接。臂驱动装置M1、M2、M3、M4、M5及M6的动作由控制装置20控制。臂驱动装置M1、M2、M3、M4、M5及M6分别以电力为动力源，具有伺服马达Ma(参照图6)作为驱动它们的电动马达，但并不限定于此。此外，机器人臂12的关节数量并不限定于6个，也可以为7个以上或者5个以下。

图2是表示实施方式所涉及的末端执行器11的结构的一个例子的侧视图。图3是表示图2的末端执行器11的力传感器11e的检测轴的一个例子的侧视图。如图2所示，末端执行器11具备：磨削装置11a、磨削砂轮11b、安装工具11c、力传感器11e。安装工具11c构成为支承磨削装置11a并与连杆12f连接，将磨削装置11a安装于连杆12f。力传感器11e配置在安装工具11c与连杆12f之间，检测从安装工具11c作用于连杆12f的力亦即反作用力，并向控制装置20输出。反作用力是磨削作业时磨削装置11a从对象物W受到的力。力传感器11e是力检测部的一个例子。

如图3所示，在本实施方式中，力传感器11e检测相互正交的Xe轴、Ye轴以及Ze轴各自的轴向的力Fxe、Fye以及Fze、和绕Xe轴、Ye轴以及Ze轴各轴的旋转力亦即力矩Mxe、Mye以及Mze这6轴的力。Ze轴与连杆12f的扭转旋转轴S6是同一轴，Ze轴正方向是从连杆12f朝向末端执行器11的方向。连杆12f的构成机械接口的接口面12fa与Ze轴的交点是原点Oe。Xe轴以及Ye轴是沿着接口面12fa上延伸的轴。此外，力传感器11e并不限定于检测上述6轴的力的传感器，例如，也可以是检测上述6轴的力中的几个力的传感器。

如图1以及图2所示，拍摄装置30配置于机器人臂12的连杆12e。拍摄装置30具有照相机(省略图示)，也可以还具备用于照明被拍摄体的LED(light emitting diode：发光二极管)以及闪光灯等光源。拍摄装置30的照相机指向沿着扭转旋转轴S6的轴向并且朝向末端执行器11的方向，能够拍摄磨削对象区域WA以及其周边。此外，拍摄装置30的位置只要是能够拍摄磨削对象区域WA的位置即可，也可以是除连杆12e以外的机器人臂12上的位置或者机器人臂12外部的位置。拍摄装置30按照控制装置20的指令使照相机进行拍摄动作。拍摄装置30将由照相机拍摄到的图像的信号等发送至控制装置20。此外，在以下说明中，存在将照相机进行拍摄表述为拍摄装置30进行拍摄的情况。

拍摄装置30的照相机拍摄用于检测与被拍摄体的距离等被拍摄体相对于拍摄装置30的三维空间内的位置亦即三维位置等的图像。例如，该照相机是拍摄数字图像的照相机，也可以具有立体照相机、单眼照相机、TOF照相机(Time-of-Flight-Camera：飞行时间相机)、条纹投影等图案光投影照相机、或者使用了光切断法的照相机等结构。在本实施方式中，拍摄装置30的照相机为立体照相机。

图4是表示实施方式所涉及的操作输入装置40的操作装置400的结构的一个例子的立体图。图5是表示图4的操作装置400的力传感器405的检测轴的一个例子的立体图。图6是表示实施方式所涉及的机器人系统1的功能性结构的一个例子的框图。如图1、图4以及图6所示，操作输入装置40从机器人10分离开地配置，接受由管理以及/或者操作机器人系统1的使用者P进行的指令、数据以及信息等的输入，将该指令、数据以及信息等输出至控制装置20。操作输入装置40与控制装置20经由有线通信或者无线通信连接。有线通信以及无线通信的形式可以是任何形式。

操作输入装置40具备：操作装置400、输入装置410、操作控制装置420。操作控制装置420对操作输入装置40整体的动作进行控制，与控制装置20进行信息、指令以及数据等的接收发送。操作装置400接受用于用手动运转来操作机器人10的输入，将已输入的信息亦即操作信息输出至操作控制装置420。另外，操作装置400通过操作控制装置420的控制，对正在操作操作装置400的使用者P给予对操作力的反作用力等力。

输入装置410接受信息、指令以及数据等的输入，并输出至操作控制装置420。例如，输入装置410也可以具备杆、按钮、键、触摸面板、操纵杆、动作捕捉等已知的输入装置。输入装置410接受拍摄装置30的动作、使末端执行器11成为规定姿势的指令等各种指令、控制模式的切换、磨削的对象物的信息以及磨削对象区域的信息等的输入。末端执行器11的规定姿势也可以是末端执行器11相对于磨削对象区域的表面的规定姿势。末端执行器11相对于磨削对象区域的表面的姿势是磨削砂轮11b相对于磨削对象区域的表面的姿势。磨削对象区域的信息也可以包含磨削对象区域的数量、位置、姿势、形状以及尺寸等信息。

如图4所示，操作装置400具备：把持部401、支承部402、臂403、马达404、力传感器405。把持部401构成为能够由使用者P把持。在本实施方式中，把持部401具有与磨削装置11a亦即砂轮机同样的形状，但并不限定于此。把持部401包括使用者P能够握住的两个手柄部401a及401b。使用者P在以把持磨削装置11a实际进行磨削的方式握住了手柄部401a及401b的状态下使把持部401移动，从而操作机器人10使其进行磨削动作。另外，把持部401包括用于磨削装置11a的操作等的按钮等输入部401c。把持部401是操作端的一个例子。

支承部402支承把持部401。支承部402由6个臂403支承为能够移动。6个臂403由3对构成。3对臂403从支承部402向3个方向放射状地延伸。各臂403具有关节403a，能够以关节403a为中心地弯曲。各臂403的一端经由球窝接头等万向接头而与支承部402连接为能够绕正交的3轴转动。各臂403的另一端与配置在支承部402的下方的支承台406上的马达404的旋转轴经由减速器等(省略图示)连接。各臂403的关节403a将构成该臂403的两个柱状部件经由球窝接头等万向接头连接为能够绕正交的3轴转动。

6个马达404配置在支承台406上。6个马达404由3对构成。各对马达404配置为各自的旋转轴为同轴，与1对臂403连接。3对马达404配置为各自的旋转轴构成三角形的各边。各马达404由伺服马达等构成。

如上述那样的把持部401能够在三维空间内采取各种位置以及姿势。而且，各臂403与把持部401的位置以及姿势对应地进行动作使各马达404旋转。与把持部401的位置以及姿势对应的6个马达404的旋转量即旋转角是唯一确定的。

力传感器405配置在把持部401与支承部402之间，检测作用于此间的力。如图5所示，在本实施方式中，力传感器405检测相互正交的Xc轴、Yc轴以及Zc轴各自的轴向的力Fxc、Fyc以及Fzc、和绕Xc轴、Yc轴以及Zc轴各轴的旋转力亦即力矩Mxc、Myc以及Mzc这6轴的力。

Zc轴是通过把持部401中的与力传感器405的圆形接触面401d的中心并且与接触面401d垂直的轴。Zc轴正方向是从力传感器405朝向把持部401的方向。接触面401d与Zc轴的交点为原点Oc。Xc轴以及Yc轴是沿着接触面401d上延伸的轴。另外，虽不限定于此，但在本实施方式中，Xc轴、Yc轴以及Zc轴分别与末端执行器11的力传感器11e的Xe轴、Ye轴以及Ze轴建立对应。例如，也可以Xc轴正方向与Xe轴负方向对应、Yc轴正方向与Ye轴正方向对应、并且Zc轴正方向与Ze轴负方向对应，或者也可以Xc轴正方向与Xe轴正方向对应、Yc轴正方向与Ye轴正方向对应、并且Zc轴正方向与Ze轴正方向对应。此外，力传感器405并不限定于检测上述6轴的力的传感器，例如，也可以是检测上述6轴的力中的几个力的传感器。力传感器405是操作检测部的一个例子，马达404是力赋予部的一个例子。

在本实施方式中，控制装置20以在操作装置400与机器人10之间使位置、姿势以及力的状态对应的方式进行双向方式的力觉控制。虽不限定于此，但各马达404具备：检测伺服马达的转子的旋转量的编码器等旋转传感器(省略图示)；和检测伺服马达的驱动电流的电流传感器(省略图示)。操作控制装置420将包含力传感器405的6轴的力的检测信号(以下，也称为“力信号”)在内的操作信息作为指示位置、姿势、位置及姿势的移动速度以及力等的操作指令，输出至控制装置20。控制装置20将各马达404的旋转传感器以及电流传感器的检测信号(以下，也称为“旋转信号”以及“电流信号”)作为用于使马达404产生向把持部401赋予的力的反馈信息来使用。此外，控制装置20也可以将伺服马达的驱动电路向该伺服马达供给的电流的指令值作为反馈信息使用。操作指令是操作信息的一个例子。

控制装置20使用操作指令来生成后述的动作指令等。动作指令包括末端执行器11的按照操作指令的三维位置、姿势、位置及姿势的移动速度以及作用力等的指令。并且，控制装置20基于末端执行器11的力传感器11e的检测信号所表示的6轴的力数据、和操作装置400的反馈信息，控制各马达404的输出转矩。即，控制装置20伺服控制6个马达404。控制装置20以产生应向把持部401赋予的力的方式控制各马达404的输出转矩。例如，上述力是与相对于由使用者P操作把持部401的操作力的力传感器11e的力数据对应的反作用力、以及针对操作力限制把持部401的位置以及/或者姿势的移动的力等。

操作装置400的结构并不限定于图4的结构，例如只要是能够限制由使用者P操作的部位的移动的结构即可。例如，操作装置400的结构也可以是通过向被操作的部位给予力来限制该部位的移动的结构，也可以是机械性地限制该部位的移动的结构。例如，操作装置400也可以构成为：由与机器人臂12类似的主机器人构成，将机器人10作为从机器人控制。或者操作装置400也可以是操纵杆等。

另外，操作装置400的结构是若由使用者P进行向把持部401施加力的操作则检测与该力对应的操作信息的结构，但并不限定于此。例如，在操作装置400中，作为操作信息也可以检测通过施加力而移动的把持部401的位置以及姿势的移动量。也可以根据各马达404的旋转量检测上述移动量。并且，作为操作信息，也可以根据各马达404的负荷检测施加于把持部401的力。

提示装置50向机器人系统1的使用者P提示从控制装置20接收的用于使机器人系统1进行动作的图像以及声音等。提示装置50的例子是液晶显示器(Liquid CrystalDisplay)以及有机或者无机EL显示器(Electro-Luminescence Display)等，但并不限定于这些。提示装置50也可以具备发出声音的扬声器。例如，提示装置50向对操作输入装置40进行操作的使用者P提示由拍摄装置30拍摄到的图像。

[控制装置的硬件结构]

对控制装置20的硬件结构进行说明。图7是表示实施方式所涉及的控制装置20的硬件结构的一个例子的框图。如图7所示，作为结构要素，控制装置20包括：CPU(CentralProcessing Unit：中央处理器)201、ROM(Read Only Memory：只读存储器)202、RAM(RandomAccess Memory：随机存取存储器)203、存储器204、输入输出I/F(接口：Interface)205及206、驱动I/F207及208、拍摄I/F209。上述结构要素分别经由总线、有线通信或者无线通信连接。此外，上述结构要素并非全部必需。

例如，CPU201是处理器，控制控制装置20的动作整体。ROM202由非易失性半导体存储器等构成，储存用于使CPU201控制动作的程序以及数据等。RAM203由易失性半导体存储器等构成，暂时储存由CPU201执行的程序以及处理中途或者处理完毕的数据等。存储器204由易失性存储器以及非易失性存储器等半导体存储器、硬盘(HDD：Hard Disc Drive)以及SSD(Solid State Drive：固态硬盘)等存储装置构成，存储各种信息。

例如，用于CPU201进行动作的程序预先存储于ROM202或者存储器204。CPU201从ROM202或者存储器204将程序读出到RAM203并展开。CPU201执行在RAM203中展开的程序中的已被编码化的各命令。

控制装置20的各功能也可以通过由CPU201、ROM202以及RAM203等构成的计算机系统实现，也可以通过电子电路或者集成电路等专用硬件电路实现，也可以通过上述计算机系统以及硬件电路的组合实现。

这样的控制装置20例如也可以由微控制器、MPU(Micro Processing Unit：微处理器)、LSI(Large Scale Integration：大规模集成电路)、系统LSI、PLC(ProgrammableLogic Controller：可编程逻辑控制器)、逻辑电路等构成。控制装置20的多个功能也可以通过分别独立地单芯片化实现，也可以通过以包括一部分或者全部的方式单芯片化实现。另外，各电路也可以是通用电路，也可以是专用电路。作为LSI，也可以利用在LSI制造后能够进行编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、能够重建LSI内部的电路单元的连接以及/或者设定的可重构处理器、或者面向特定用途地多个功能电路集成为一个的ASIC(Application Specific Integrated Circuit：专用集成电路)等。

拍摄I/F209按照CPU201的指令控制拍摄装置30的照相机的拍摄元件(省略图示)的驱动。拍摄I/F209将由拍摄装置30拍摄到的图像的信号存入RAM203或者存储器204。用于拍摄装置30的驱动的电路等也可以设置在控制装置20的内部或者外部的拍摄I/F209与拍摄装置30之间。

第一输入输出I/F205与操作输入装置40连接，输入输出信息、数据以及指令等信号。将信号转换以及放大等的电路等也可以设置在控制装置20的内部或者外部的第一输入输出I/F205与操作输入装置40之间。

第二输入输出I/F206与提示装置50连接，输入输出画面数据、声音数据、信息以及指令等信号。将信号转换以及放大等的电路等也可以设置在控制装置20的内部或者外部的第二输入输出I/F206与提示装置50之间。

第一驱动I/F207与机器人10的臂驱动装置M1、M2、M3、M4、M5及M6连接，输入输出信息以及指令等信号。臂驱动电路(省略图示)设置在控制装置20的内部或者外部的第一驱动I/F207与臂驱动装置M1、M2、M3、M4、M5及M6之间。臂驱动电路按照CPU201的指令向臂驱动装置M1、M2、M3、M4、M5及M6的伺服马达供给电力，控制各伺服马达的驱动。

第二驱动I/F208与末端执行器11的磨削装置11a连接，输入输出信息以及指令等信号。磨削驱动电路(省略图示)设置在控制装置20的内部或者外部的第二驱动I/F208与磨削装置11a之间。磨削驱动电路按照CPU201的指令向磨削装置11a供给电力，控制磨削装置11a的驱动。

[机器人系统的功能性结构]

对机器人系统1的功能性结构进行说明。如图6所示，作为功能性结构要素，操作输入装置40的操作控制装置420包括：输入处理部421和动作控制部422。作为功能性结构要素，控制装置20包括：拍摄控制部20a、图像处理部20b及20c、动作指令部20d及20e、动作控制部20f、动作信息处理部20g、姿势决定部20h、避让判断部20i、避让路径决定部20j、存储部20p。上述功能性结构要素并非全部必须。

操作控制装置420的输入处理部421以及动作控制部422的功能通过CPU等计算机系统、硬件电路、或者计算机系统以及硬件电路的组合实现。控制装置20的除存储部20p之外的功能性结构要素的功能由CPU201等实现，存储部20p的功能由存储器204、ROM202以及/或者RAM203实现。

操作控制装置420的输入处理部421将从输入装置410、力传感器405以及马达404接收的信息、数据以及指令等输出至控制装置20。例如，输入处理部421从输入装置410接收：拍摄装置30的动作指令、向规定姿势的转换指令，控制模式的切换指令、磨削的对象物的信息以及磨削对象区域的信息等。

拍摄装置30的动作指令包括：拍摄开始、拍摄结束以及拍摄时机的指令等。向规定姿势的转换指令是使末端执行器11以及磨削装置11a的姿势转换为已预先设定的姿势的指令。规定姿势的例子是用于磨削动作的基本姿势等。控制模式的切换指令的例子是对限制末端执行器11以及操作装置400的把持部401的移动中的至少一部分的限制模式和不进行上述限制的非限制模式进行切换的指令等。

另外，输入处理部421根据力传感器405的力信号检测6轴的力的检测值。并且，输入处理部421将6轴的力的检测值或者6轴的力的检测值的运算处理值输出至控制装置20。例如，输入处理部421通过对6轴的力的检测值进行运算处理，而生成对末端执行器11的操作指令，输出至控制装置20。操作指令包括：操作位置指令，对末端执行器11的位置的变化量、变化方向及变化速度、以及姿势的变化量、变化方向及变化速度等进行指示；和操作力指令，对末端执行器11施加于对象物的作用力的大小以及方向等进行指示。

另外，输入处理部421从各马达404接收旋转传感器以及电流传感器的检测信号，根据该检测信号检测各马达404的旋转量以及电流值，作为反馈信息输出至控制装置20。

动作控制部422控制各马达404的驱动。具体而言，动作控制部422从控制装置20的第二动作指令部20e接收包括操作驱动指令以及/或者操作限制指令在内的动作指令。动作控制部422按照上述动作指令使各马达404产生旋转负荷(也称为“负荷转矩”)等转矩。该旋转负荷作为与使用者P给予把持部401的操作力对抗的力来发挥作用。动作控制部422使用在各马达404检测到的旋转量以及电流值作为反馈信息，控制各马达404的转矩。

操作驱动指令包括用于向把持部401给予与末端执行器11从磨削的对象物受到的反作用力的大小以及方向对应的反作用力的指令。上述反作用力的大小以及方向与由力传感器11e检测到的力的大小以及方向对应。另外，操作驱动指令包括用于向把持部401给予力的指令，该力用于使把持部401移动以便使把持部401的位置以及姿势与末端执行器11的位置以及姿势对应。动作控制部422生成控制指令输出至各马达404，该控制指令用于使该马达404驱动以便向把持部401给予按照操作驱动指令的大小以及方向的力。由此，使用者P例如一边如正在从对象物受到反作用力那样从把持部401感觉到反作用力一边操作把持部401。另外，马达404使把持部401移动，以便把持部401的位置以及姿势与末端执行器11的位置以及姿势对应。

操作限制指令是用于在限制模式中向把持部401给予对把持部401的移动的至少一部分进行限制的限制力的指令。上述限制力是按照存储部20p中存储的限制条件20pb的限制力，包括限制把持部401的位置的移动以及姿势的移动中的至少一部分的力的大小以及方向。例如，上述限制力包括用于使与按限制条件20pb被限制的末端执行器11的位置以及姿势的移动对应的把持部401的位置以及姿势的移动量成为0(零)的力的大小以及方向。动作控制部422生成控制指令输出至各马达404，该控制指令用于使该马达404驱动以便向把持部401给予按照操作限制指令的大小以及方向的限制力。由此，使用者P例如一边感觉到把持部401受到不使上述移动进行那样的限制，一边操作把持部401。并且，即使使用者P向把持部401给予使上述移动进行的操作力，限制力也能够使把持部401不进行上述移动。

此外，操作限制指令的限制力的大小可以是已预先决定的大小，动作控制部422也可以与力传感器405的检测值对应地调节上述限制力。例如，动作控制部422也可以与使用者P给予把持部401的操作力对应地，将限制力的大小调节为力传感器405的向被限制的移动方向的检测值以上的大小。

控制装置20的存储部20p存储各种信息，能够读出所存储的信息。例如，存储部20p存储经由操作输入装置40的输入装置410输入的信息等。另外，作为图像处理中使用的信息，存储部20p存储包括拍摄装置30的照相机的外部参数和内部参数在内的照相机参数。外部参数的例子是表示照相机的位置(三维位置)以及朝向(光轴中心的朝向)等的参数。内部参数的例子是表示照相机的镜头的失真、焦距、拍摄元件的一个像素的尺寸以及光轴中心的像素坐标等的参数。另外，存储部20p也可以将由机器人10磨削处理的对象物与该对象物的磨削对象区域的位置、形状以及尺寸等建立关联并存储。另外，存储部20p也可以存储由拍摄装置30拍摄到的图像数据、该图像数据的处理图像数据以及/或者程序等。另外，存储部20p存储姿势信息20pa、限制条件20pb、避让信息20pc。

限制条件20pb是用于限制末端执行器11的位置以及姿势的移动的至少一部分的信息。具体而言，限制条件20pb包括用于限制末端执行器11的移动的信息，以便不使末端执行器11向位置的移动方向以及姿势的移动方向中的至少一个方向移动。在本实施方式中，限制条件20pb仅限制末端执行器11的姿势的移动，但限制条件20pb也可以仅限制位置的移动，也可以限制位置以及姿势这两者的移动。限制条件20pb也可以是用于对操作控制装置420的操作指令的操作位置指令施加限制的信息，也可以是用于对末端执行器11的基于操作指令由第一动作指令部20d生成的动作指令的位置指令施加限制的信息。

这里，末端执行器11的动作指令包含位置指令以及力指令中的至少位置指令，在本实施方式中包含这两者。位置指令表示末端执行器11的位置。力指令表示末端执行器11向对象物施加的力。位置指令也可以包含末端执行器11的三维位置以及三维姿势的指令。并且，位置指令也可以包含三维位置以及三维姿势的指令的执行时刻。力指令也可以包含力的大小以及力的方向的指令。并且，力指令也可以包含力的大小以及方向的指令的执行时刻。在本说明书以及权利要求书中，“力”能够包含力的大小以及方向中的至少力的大小，“位置”能够包含三维位置以及三维姿势中的至少三维位置。

三维位置以及三维姿势是三维空间内的位置以及姿势。三维位置以及三维姿势也可以使用世界坐标系以及机器人坐标系等来定义。世界坐标系是供机器人10配置的空间中设定的坐标系。机器人坐标系是以机器人10为基准的坐标系，例如，也可以是以供机器人臂12安置的基台13为基准的坐标系。在本实施方式中，机器人臂12固定，所以世界坐标系与机器人坐标系设定为相同。

例如，限制末端执行器11的姿势的移动的限制条件20pb也可以包含对操作位置指令以及位置指令中包含的姿势的位移以及移动速度等指令进行限制的信息。例如，限制条件20pb也可以包含将与力传感器11e及405的绕3轴的力的力矩对应的绕3轴的旋转位移以及旋转速度等限制为0(零)等限制值的信息。虽不限定于此，但在本实施方式中，限制条件20pb限制力传感器11e的绕Xe轴以及Ye轴各轴的旋转位移以及旋转速度等、或者绕Xe轴，Ye轴以及Ze轴各轴的旋转位移以及旋转速度等。或者，限制条件20pb限制力传感器405的绕Xc轴以及Yc轴各轴的旋转位移以及旋转速度等、或者绕Xc轴，Yc轴以及Zc轴各轴的旋转位移以及旋转速度等。

例如，绕Xe轴以及Xc轴的旋转移动分别与末端执行器11以及把持部401的俯仰方向上的移动对应。绕Ye轴以及Yc轴的旋转移动分别与末端执行器11以及把持部401的横摆方向上的移动对应。绕Ze轴以及Zc轴的旋转移动与末端执行器11以及把持部401的偏摆方向上的移动对应。

例如，限制末端执行器11的位置的移动的限制条件20pb也可以对操作位置指令以及位置指令中包含的位置的位移以及移动速度等指令进行限制的信息。例如，限制条件20pb也可以包含将与力传感器11e及405的3轴方向的力对应的3轴方向的位置的位移以及移动速度等限制为0等限制值的信息。例如，在末端执行器11的与末端执行器11的移动方向正交的方向的位置移动被限制的情况下，限制条件20pb也可以包含将3轴方向的位置的位移以及移动速度等中的与上述移动方向正交的方向的成分限制为0等限制值的信息。此外，末端执行器11的移动方向也可以是末端执行器11的轨迹的近似直线的方向以及末端执行器11的轨迹的切线的方向等在磨削作业中末端执行器11移动的方向。

姿势信息20pa是已对末端执行器11设定的规定姿势的信息。控制装置20与输入至操作输入装置40的转换指令对应地，使末端执行器11的姿势转换为规定姿势。在本实施方式中，规定姿势设定为磨削作业时的末端执行器11的基本的姿势亦即基本姿势。以下，也将规定姿势表述为基本姿势。基本姿势也是磨削作业时的末端执行器11的优选姿势。基本姿势也可以设定为相对于机器人10的姿势以及相对于磨削对象区域WA的表面的姿势等。在本实施方式中，基本姿势设定为相对于磨削对象区域WA的表面的姿势。

避让信息20pc是用于在末端执行器11的按照转换指令的姿势转换中产生了障碍时使末端执行器11的位置移动的信息。例如，上述障碍是由于末端执行器11与其他物体接触或者碰撞等而无法转换为基本姿势的障碍。上述障碍由控制装置20基于转换中的力传感器11e的检测值检测。避让信息20pc也可以是指示向除与力传感器11e所检测到的反作用力的方向相反的方向以外的方向的移动规定距离的位置移动的信息。或者，避让信息20pc例如也可以是对位置按Ze轴负方向等已预先决定的方向以及距离的移动进行指示的信息。

拍摄控制部20a控制拍摄装置30的动作，取得由拍摄装置30拍摄到的图像数据。拍摄控制部20a将由具备立体照相机的拍摄装置30在同一时刻拍摄到的两个图像数据建立对应并输出至图像处理部20b及20c等。由拍摄装置30拍摄图像以及取得由拍摄装置30拍摄到的图像数据包括取得由拍摄装置30拍摄到的一个静止图像数据以及从由拍摄装置30拍摄到的动画数据取得1帧的静止图像数据。

第一图像处理部20b对从拍摄控制部20a取得的图像数据进行处理，来检测该图像数据中映出的被拍摄体的各位置的三维位置，生成表示各位置的三维位置的图像数据亦即三维图像数据。具体而言，第一图像处理部20b确定在由拍摄装置30在同一时刻拍摄到的两个图像数据中分别映出的磨削对象区域WA。例如，第一图像处理部20b也可以用图案匹配方法等进行与存储部20p中存储的磨削对象区域WA的形状的比较，从而在各图像数据中提取磨削对象区域WA的边缘。并且，第一图像处理部20b按使用了存储部20p中存储的照相机参数的立体匹配方法等进行图像处理，从而在该两个图像数据中的至少一方的磨削对象区域WA内，检测至少3个像素中映出的被拍摄体与拍摄装置30的距离。并且，第一图像处理部20b针对检测了距离的各像素中映出的被拍摄体，检测机器人系统1存在的三维空间内的三维位置。

并且，第一图像处理部20b使用磨削对象区域WA的至少3个像素的三维位置，将该三维位置在三维空间内形成的平面作为磨削对象区域WA的表面进行检测。此外，上述平面的检测方法也可以是已知的任何方法。例如，第一图像处理部20b也可以将通过至少3个像素的三维位置的平面作为磨削对象区域WA的表面进行检测。或者，第一图像处理部20b也可以将通过至少3个像素的三维位置或者其附近的平面、即与至少3个上述三维位置近似的平面作为磨削对象区域WA的表面进行检测。或者，第一图像处理部20b也可以检测通过至少3个像素的三维位置的曲面，将与该曲面的法线垂直且与该曲面具有交点的平面作为磨削对象区域WA的表面进行检测。第一图像处理部20b将磨削对象区域WA的表面的三维位置以及三维姿势等信息输出至姿势决定部20h以及存储部20p等。

第二图像处理部20c使从拍摄控制部20a取得的图像数据输出并显示于提示装置50。第二图像处理部20c也可以从第一图像处理部20b取得处理完毕的图像数据，将表示磨削对象区域WA的三维形状的图像数据输出至提示装置50。例如，上述图像数据也可以是各像素的像素值为从拍摄装置30到被拍摄体的距离值的距离图像等。距离值也可以用像素的浓淡或者颜色表示。

姿势决定部20h与输入至操作输入装置40的姿势的转换指令对应地，决定使末端执行器11转换的基本姿势。姿势决定部20h若从操作输入装置40接收到末端执行器11的姿势的转换指令，则向第一图像处理部20b请求磨削对象区域WA的表面的信息。第一图像处理部20b向拍摄控制部20a要求磨削对象区域WA的拍摄，对从拍摄控制部20a接收的图像数据进行图像处理，从而检测磨削对象区域WA的表面的三维位置以及三维姿势等信息，输出至姿势决定部20h。姿势决定部20h从存储部20p读出姿势信息20pa，使用姿势信息20pa和磨削对象区域WA的表面的信息，检测末端执行器11相对于磨削对象区域WA的表面的基本姿势的信息。姿势决定部20h将绕各坐标轴的姿势角等基本姿势的信息输出至第一动作指令部20d。

此外，在姿势信息20pa包含相对于机器人10的基本姿势的信息、而不是相对于磨削对象区域WA的表面的基本姿势的信息的情况下，姿势决定部20h将姿势信息20pa中包含的基本姿势的信息决定为末端执行器11的基本姿势的信息。

第一动作指令部20d生成用于使末端执行器11进行目标动作的动作指令，输出至动作控制部20f。动作指令也可以包含用于使磨削装置11a进行动作的指令。第一动作指令部20d是第一指令部的一个例子。

例如，第一动作指令部20d生成用于使末端执行器11进行与从操作输入装置40接收的操作指令对应的动作的动作指令。并且，第一动作指令部20d在限制模式下将存储部20p的限制条件20pb应用于动作指令，生成反映了限制条件的动作指令。第一动作指令部20d也可以还将反映了限制条件的动作指令以及/或者限制条件20pb输出至第二动作指令部20e。另外，第一动作指令部20d生成用于使末端执行器11的姿势按照从操作输入装置40接收的转换指令而移动为基本姿势的动作指令。另外，第一动作指令部20d生成用于使末端执行器11的位置沿着从避让路径决定部20j接收的避让路径移动的动作指令。

例如，在非限制模式下，第一动作指令部20d将操作指令中包含的操作位置指令以及操作力指令变换为机器人坐标系下的位置指令以及力指令，生成包含该位置指令以及力指令在内的动作指令。在限制模式下，第一动作指令部20d也可以通过应用限制条件20pb来对操作位置指令进行处理，使用处理后的操作位置指令和操作力指令生成动作指令并输出。或者，第一动作指令部20d也可以使用操作位置指令和操作力指令生成动作指令，通过应用限制条件20pb来对该动作指令进行处理，输出处理后的动作指令。

动作控制部20f生成用于使机器人10的各部按照从第一动作指令部20d接收的动作指令进行动作的控制指令，输出至机器人10。动作控制部20f从动作信息处理部20g取得机器人10的各部的动作状态的信息，将该信息用作反馈信息来生成控制指令。具体而言，动作控制部20f生成用于使机器人臂12的臂驱动装置M1、M2、M3、M4、M5及M6的伺服马达Ma和末端执行器11的磨削装置11a的马达(省略图示)进行动作的控制指令。

动作信息处理部20g检测机器人10的动作信息并进行处理。动作信息处理部20g基于磨削装置11a的通电状态等，检测磨削装置11a的开启状态以及关机状态作为动作信息。动作信息处理部20g取得臂驱动装置M1、M2、M3、M4、M5及M6各自的伺服马达Ma的旋转传感器Mb的检测值、该伺服马达Ma的电流传感器Mc的检测值、末端执行器11的力传感器11e的检测值作为动作信息。此外，动作信息处理部20g也可以取得伺服马达Ma的驱动电路向该伺服马达Ma供给的电流的指令值作为动作信息。动作信息处理部20g将上述动作信息作为反馈信息输出至动作控制部20f以及第二动作指令部20e。例如，在动作信息中，臂驱动装置M1、M2、M3、M4、M5及M6的伺服马达Ma的旋转传感器Mb的检测值、以及伺服马达Ma的电流传感器Mc的检测值是表示末端执行器11的位置及姿势的位移以及位移速度的位置数据，力传感器11e的检测值是表示末端执行器11受到的反作用力的大小以及方向的力数据。

第二动作指令部20e生成马达动作指令并输出至操作输入装置40，该马达动作指令用于向操作装置400的把持部401的力的赋予以及把持部401的位置以及姿势的移动等的动作指令。马达动作指令包含操作驱动指令以及/或者操作限制指令。第二动作指令部20e是第二指令部的一个例子。

例如，第二动作指令部20e基于从动作信息处理部20g接收的动作信息的力数据生成马达动作指令，该马达动作指令包含用于向把持部401给予与力传感器11e所检测到的力的大小以及方向对应的反作用力的操作驱动指令。

另外，第二动作指令部20e使用从动作信息处理部20g接收的动作信息的位置数据、和从操作输入装置40接收的把持部401的动作信息的位置数据，生成马达动作指令，该马达动作指令包含用于以使把持部401的位置以及姿势与末端执行器11的位置以及姿势对应的方式使把持部401移动的操作驱动指令。操作驱动指令也可以包含针对把持部401的位置指令以及力指令中的至少一者。由此，操作装置400的马达404能够使把持部401移动，以便使非限制模式下不受限制地进行动作的末端执行器11的位置以及姿势、限制模式下的受到限制地进行动作的末端执行器11的位置以及姿势、按照转换指令进行动作的末端执行器11的位置以及姿势、以及沿着避让路径进行动作的末端执行器11的位置以及姿势等与把持部401的位置以及姿势对应。

例如，在把持部401的动作信息中，马达404的旋转传感器(省略图示)的检测值是表示把持部401的位置以及姿势的位移以及位移速度的位置数据，力传感器405的检测值是表示作用于把持部401的力的大小以及方向的力数据。

另外，第二动作指令部20e在限制模式下，生成包含操作限制指令在内的马达动作指令，该操作限制指令用于向把持部401给予与向把持部401的指示末端执行器11向由限制条件20pb限制了的方向移动的力的输入对抗的力。例如，上述进行对抗的力也可以包含用于使与按限制条件20pb被限制的末端执行器11的位置以及姿势的移动对应的把持部401的位置以及姿势的移动量为0(零)的力的大小以及方向。操作限制指令也可以包含针对把持部401的位置指令以及力指令中的至少一个。

第二动作指令部20e也可以使用力传感器405的从操作输入装置40接收的检测值、和限制条件20pb以及/或者反映了限制条件20pb的动作指令，生成上述马达动作指令。由此，操作装置400的马达404能够向把持部401给予阻止把持部401向由限制条件20pb限制了的方向移动的力。由此，按照限制条件20pb进行动作的末端执行器11的位置以及姿势和把持部401的位置以及姿势能够表现出同样的举动。

避让判断部20i在末端执行器11向基本姿势转换中判断是否需要使末端执行器11的位置移动的避让，将判断结果输出至避让路径决定部20j。若在末端执行器11向基本姿势转换中，力传感器11e检测到大于阈值的力、即超过阈值的力的输入，则避让判断部20i决定为需要避让。该情况下，避让判断部20i将执行避让的指令、和由力传感器11e检测到的超过阈值的力的方向输出至避让路径决定部20j。阈值也可以与机器人系统1的作业环境、所要求的力的探测灵敏度以及对象物的种类等各种条件对应地设定，例如，也可以用0以上的值设定。例如，阈值也可以是妨碍末端执行器11向基本姿势转换那样的力的大小。例如，阈值也可以是表示末端执行器11与物体的接触的力的大小。

避让路径决定部20j决定用于使末端执行器11避让的避让路径，输出至第一动作指令部20d。具体而言，避让路径决定部20j若从避让判断部20i接收到避让的执行指令，则从存储部20p读出避让信息20pc。并且，避让路径决定部20j通过将从避让判断部20i接收到的力的方向应用至避让信息20pc，来决定包含用于避让该力的输入的末端执行器11的位置的移动方向以及移动距离在内的避让路径。

[机器人系统的动作]

[非限制模式下的操作输入装置的操作所引起的机器人的动作]

对非限制模式下的操作输入装置40的操作装置400的操作所引起的机器人10的动作进行说明。如图1、图4以及图6所示，例如，使用者P握住把持部401的手柄部401a及401b，向末端执行器11的磨削装置11a向目标位置的移动方向以及向目标姿势的转动方向使把持部401移动并改变姿势。另外，使用者P通过向把持部401的输入部401c进行输入，使磨削装置11a起动。

支承部402与把持部401一起移动并改变姿势，使6个臂403分别进行弯曲以及姿势变化等动作，使与该臂403连接的马达404的旋转轴旋转。操作控制装置420将基于该马达404的旋转传感器的旋转信号以及力传感器405的力信号的操作指令输出至控制装置20。

控制装置20基于操作指令生成动作指令，按照该动作指令使机器人10动作。控制装置20以末端执行器11的位置的变化、姿势的变化以及经由磨削装置11a的对对象物W的作用力反映上述力信号的方式使机器人臂12动作。由此，使用者P能够操作操作装置400的把持部401，使机器人10进行所意图的动作。

并且，控制装置20为了向把持部401给予与基于末端执行器11的力传感器11e的检测信号的力数据对应的反作用力，而使各马达404产生与该反作用力对应的负荷转矩。由此，使用者P例如能够一边如正在从对象物W受到反作用力那样从把持部401感觉到反作用力，一边操作把持部401的位置以及姿势。

把持部401的反作用力反映由力传感器11e检测到的力的大小以及方向。这样的把持部401的反作用力能够使使用者P的手感觉到磨削中的磨削装置11a的根据对象物W的表面状态而不同的状态。例如，把持部401的反作用力能够使使用者P的手感觉到在使用者P手持磨削装置11a进行磨削的情况下使用者P的手所受到的触感。

另外，相对于力传感器405的力信号所表示的位置的变化量、姿势的变化量以及力的大小等的指令，按比例增加末端执行器11的位置的变化量、姿势的变化量以及作用力的大小等指令。由此，机器人臂12能够大幅超过把持部401的可动范围地改变末端执行器11的位置以及姿势。并且，末端执行器11能够产生大幅超过了施加于把持部401的力的作用力。

[限制模式下的动作]

对限制模式下的机器人系统1的动作的一个例子进行说明。在本例子中，假设在限制模式下，限制末端执行器11的绕Xe轴、Ye轴以及Ze轴各轴的旋转位移，限制操作装置400的把持部401的绕Xc轴、Yc轴以及Zc轴各轴的旋转位移。图8是表示实施方式所涉及的机器人系统1的限制模式下的动作的一个例子的流程图。

如图8所示，在步骤S101中，使用者P通过对操作装置400进行操作，使末端执行器11的磨削装置11a的磨削砂轮11b的姿势相对于磨削对象区域WA的表面转换为所希望的姿势。由使用者P操作进行的向所希望的姿势的转换也可以在磨削作业开始前进行，也可以在磨削作业中进行。向所希望的姿势的转换也可以是向按照转换指令的基本姿势的转换。此外，在磨削砂轮11b的姿势已经是所希望的姿势的情况下，也可以省略本步骤的处理。

接着，在步骤S102中，使用者P向操作输入装置40的输入装置410输入执行限制模式的指令，操作输入装置40的操作控制装置420接受该指令，输出至控制装置20。

接着，在步骤S103中，控制装置20开始并执行限制模式下的控制。具体而言，控制装置20进行控制，以便限制末端执行器11相对于末端执行器11的现状的姿势亦即第一设定姿势的绕Xe轴、Ye轴以及Ze轴各轴的旋转位移，限制把持部401相对于把持部401的现状的姿势亦即第二设定姿势的绕Xc轴、Yc轴以及Zc轴各轴的旋转位移。

接着，在步骤S104中，若由使用者P向操作装置400的把持部401输入操作，则操作控制装置420基于力传感器405的与已输入的操作对应的力信号生成操作指令，输出至控制装置20。

接着，在步骤S105中，控制装置20使用存储部20p的限制条件20pb和操作指令，进行反映了限制条件20pb的动作指令。例如，控制装置20进行使操作指令中的与绕Xc轴、Yc轴以及Zc轴各轴的力矩对应的指令值为0的处理、或者使在使用操作指令生成的动作指令中的与绕Xe轴、Ye轴以及Ze轴各轴的力矩对应的指令值为0的处理。

接着，在步骤S106中，控制装置20生成用于使机器人10的各部按照动作指令进行动作的控制指令，输出至机器人10。接着，在步骤S107中，机器人臂12一边限制末端执行器11相对于第一设定姿势的姿势的变化，一边按照操作指令使末端执行器11的位置移动。即，机器人臂12执行按照限制条件20pb进行了限制的动作。

并且，在步骤S108中，控制装置20基于限制条件20pb和力传感器405的检测值，生成用于向把持部401给予与力传感器405的绕各轴的力矩的检测值对抗的力矩的马达动作指令，输出至操作输入装置40。马达动作指令是用于使操作输入装置40的马达404驱动的指令，以便向把持部401给予与使用者P输入至把持部401的绕各轴的力矩抵消的力矩。即，控制装置20输出用于按照限制条件20pb限制把持部401的动作的马达动作指令。

接着，在步骤S109中，操作控制装置420按照马达动作指令使各马达404驱动，由此向把持部401赋予力，限制把持部401绕力传感器405各轴的旋转位移。即，操作控制装置420通过各马达404的驱动力限制把持部401的动作。

接着，在步骤S110中，控制装置20判断是否经由输入装置410接受到结束限制模式的指令，在接受到的情况下(步骤S110中为是)结束一系列的处理，在未接受到的情况下(步骤S110中为否)返回至步骤S104。

通过步骤S101至步骤S110的处理，控制装置20一边将末端执行器11的姿势与把持部401的姿势维持为同一所希望的姿势，一边按照输入至把持部401的操作使末端执行器11进行动作。

[末端执行器向基本姿势的转换动作]

对机器人系统1中的使末端执行器11的姿势转换为基本姿势的动作的一个例子进行说明。图9是表示使实施方式所涉及的机器人系统1的末端执行器11转换为基本姿势的动作的一个例子的流程图。

如图9所示，在步骤S201中，使用者P向操作输入装置40的输入装置410输入使末端执行器11向基本姿势转换的指令，操作控制装置420接受该指令，输出至控制装置20。

接着，在步骤S202中，使用者P通过对操作装置400进行操作，使末端执行器11移动至相对于磨削对象区域WA的所希望的位置。此外，在末端执行器11的位置已经是所希望的位置的情况下，也可以省略本步骤的处理。

接着，在步骤S203中，使用者P向输入装置410输入执行拍摄的指令，操作控制装置420接受该指令，输出至控制装置20。

接着，在步骤S204中，控制装置20使拍摄装置30拍摄磨削对象区域WA。接着，在步骤S205中，控制装置20通过对磨削对象区域WA的图像数据进行处理，来生成该图像数据的三维图像数据。接着，在步骤S206中，控制装置20使用三维图像数据，检测磨削对象区域WA的表面的姿势。接着，在步骤S207中，控制装置20使用存储部20p的姿势信息20pa和磨削对象区域WA的表面的姿势的信息，决定末端执行器11的基本姿势。

接着，在步骤S208中，控制装置20以使末端执行器11的姿势转换为基本姿势的方式使机器人臂12动作。即，控制装置20执行向基本姿势的转换。

接着，在步骤S209中，控制装置20判断是否由力传感器11e检测到超过阈值的力，在检测到的情况下(步骤S209中为是)进入至步骤S210，在未检测到的情况下(步骤S209中为否)进入至步骤S212。例如，如图10所示，在检测到超过阈值的力的情况下，有可能由于末端执行器11与其他物体A接触或者碰撞而产生了转换障碍。图10是表示末端执行器11向基本姿势转换中的转换障碍的产生例的侧视图。在图10中，在如用实线示出那样磨削砂轮11b与铅垂面平行的末端执行器11的姿势向磨削砂轮11b相对于铅垂面倾斜地倾斜的基本姿势转换的中途，如用虚线示出那样末端执行器11和物体A碰撞。

在步骤S210中，控制装置20停止姿势的转换，并且使用存储部20p的避让信息和由力传感器11e检测到的超过阈值的力的方向，决定末端执行器11的避让路径。在本例子中，避让路径是向超过阈值的力的方向规定距离的路径。在图10中，避让路径是向由力传感器11e检测的超过阈值的力Fr的方向规定距离的路径。

接着，在步骤S211中，控制装置20以使末端执行器11沿着避让路径移动的方式使机器人臂12动作，进入至步骤S209。即，控制装置20执行末端执行器11的避让。例如，如图11所示，控制装置20使末端执行器11向力Fr的方向移动规定距离。图11是表示末端执行器11向基本姿势转换中的避让动作的例子的侧视图。在图11中，在用实线示出的图10的状态下停止的末端执行器11如用虚线示出那样沿着避让路径移动。

在步骤S212中，控制装置20判断向基本姿势的转换是否完成了，在已经完成的情况下(步骤S212中为是)结束一系列的处理，在未完成的情况下(步骤S212中为否)返回至步骤S208。例如，在图11中，步骤S211的避让完成后，向基本姿势的转换未完成，所以重复步骤S208及以后的向基本姿势的转换的处理。

通过步骤S201至步骤S212的处理，控制装置20能够与同其他物体的接触以及碰撞等障碍的产生对应地使末端执行器11转换为基本姿势。并且，若在末端执行器11沿着避让路径移动中由力传感器11e检测到超过阈值的力，则控制装置20能够与该力的方向对应地重新设定避让路径。另外，控制装置20通过检测磨削对象区域WA的表面的姿势，而能够进行向与磨削对象区域WA的表面的各种姿势对应的基本姿势的转换。

此外，在步骤S201至步骤S212的处理中，控制装置20分别执行：末端执行器11沿着避让路径的移动、和末端执行器11向基本姿势的姿势转换。具体而言，控制装置20在末端执行器11沿着避让路径的移动完成后重新开始末端执行器11向基本姿势的姿势转换。然而，末端执行器11的避让动作并不限定于上述方式。例如，控制装置20也可以在末端执行器11沿着避让路径移动中，重新开始末端执行器11向基本姿势的姿势转换，并行地进行这两个动作。或者，控制装置20也可以同时开始末端执行器11沿着避让路径的移动、和末端执行器11向基本姿势的姿势转换的重新开始，并行地进行这两个动作。并且，也可以是：若在并行的动作中由力传感器11e检测到超过阈值的力，则控制装置20与该力的方向对应地重新设定避让路径。

(其他实施方式)

以上，对本公开的实施方式的例子进行了说明，但本公开并不限定于上述实施方式。即，能够在本公开的范围内进行各种变形以及改进。例如，在实施方式中实施了各种变形的方式、以及组合不同的实施方式中的结构要素而构建的方式也包含在本公开的范围内。

例如，在实施方式中，控制装置20通过对由拍摄装置30拍摄到的图像进行处理，来检测用于决定基本姿势的磨削对象区域WA的表面的姿势，但并不限定于此。上述表面的姿势能够使用能够检测与对象物的距离的装置进行检测。例如，这样的装置也可以是使用光波、激光或者超声波等检测距离的传感器。

另外，在实施方式中，作为能够应用本公开的技术的机械装置，例示了工业用机器人亦即机器人10，但能够应用本公开的技术的机械装置也可以是除工业用机器人以外的机械装置。例如，该机械装置也可以是服务机器人、建筑机械、隧道挖掘机、起重机、装卸运输车、以及人形机器人等。服务机器人是在护理、医疗、清洁、警备、引导、救助、烹饪、商品提供等各种服务业中使用的机器人。

另外，本公开的技术也可以是控制方法。例如，本公开的一个形态所涉及的控制方法是控制由主装置操作的从装置的控制方法，包括：按照操作信息和限制条件输出用于通过上述从装置的动作部使上述作用部进行反映了上述限制条件的动作的指令，该操作信息是通过向上述主装置的操作端施加力而输入的信息，该限制条件限制上述从装置中的向对象物施加作用的作用部的规定移动；和按照上述限制条件，输出用于使上述主装置生成向上述操作端的力的指令，该力与向上述操作端的指示上述作用部的上述规定移动的输入对抗。上述控制方法也可以通过CPU、LSI等电路、IC卡或者单体模块等实现。

另外，本公开的技术也可以是用于执行上述控制方法的程序，也可以是存储了上述程序的非暂时性的计算机能够读取的存储介质。另外，当然能够使上述程序经由网络等传送介质流通。

另外，上述中使用的序数、数量等数字全部是为了对本公开的技术具体进行说明而例示的，本公开不限制于已例示的数字。另外，结构要素间的连接关系是为了对本公开的技术具体进行说明而例示的，实现本公开的功能的连接关系并不限定于此。

另外，功能框图中的框的分割是一个例子，也可以多个框作为一个框来实现、将一个框分割为多个、以及/或者将一部分的功能移至其他框。另外，也可以由单一硬件或者软件并行或者分时地处理具有类似的功能的多个框的功能。

附图标记说明

1...机器人系统(主从系统)；10...机器人(从装置)；11...末端执行器(作用部)；11a...磨削装置；12...机器人臂(动作部)；20...控制装置；20d...第一动作指令部(第一指令部)；20e...第二动作指令部(第二指令部)；40...操作输入装置(主装置)；400...操作装置；401...把持部(操作端)；404...马达(力赋予部)；405...力传感器(操作检测部)。

Claims (10)

1.一种主从系统，其特征在于，具备：

主装置，具备操作端、操作检测部、力赋予部，所述操作检测部检测并输出操作信息，所述操作信息是通过向所述操作端施加力而输入的信息，所述力赋予部向所述操作端给予力；

从装置，具备作用部和动作部，所述作用部向对象物施加作用，所述动作部使所述作用部移动；以及

控制装置，

所述控制装置包括：

第一指令部，按照限制所述作用部的规定移动的限制条件和所述操作信息，输出用于通过所述动作部使所述作用部进行反映了所述限制条件的动作的指令；和

第二指令部，按照所述限制条件，输出用于使所述力赋予部向所述操作端给予力的指令，该力与向所述操作端的指示所述作用部的所述规定移动的输入对抗。

2.根据权利要求1所述的主从系统，其特征在于，

所述从装置通过所述动作部使所述作用部的位置以及姿势移动，

所述操作端能够移动，以改变位置以及姿势，

所述限制条件是将所述作用部的姿势的移动限制为所述规定移动的条件。

3.根据权利要求1或2所述的主从系统，其特征在于，

所述操作检测部将向所述操作端施加的力的方向以及大小作为所述操作信息进行检测。

4.根据权利要求3所述的主从系统，其特征在于，

所述操作检测部将向所述操作端施加的3轴方向的力的大小以及绕3轴的力的力矩作为所述操作信息进行检测。

5.根据权利要求4所述的主从系统，其特征在于，

所述限制条件是将与所述操作信息的所述绕3轴的力的力矩对应的所述作用部的姿势的移动限制为所述规定移动的条件。

6.根据权利要求1～5中的任一项所述的主从系统，其特征在于，

所述作用部包括磨削装置，

所述动作部包括机器人臂。

7.根据权利要求1～6中的任一项所述的主从系统，其特征在于，

所述控制装置还包括接受部，所述接受部接受用于使所述作用部的姿势转换为规定姿势的转换指令，

若所述接受部接受到所述转换指令，

则所述第一指令部输出用于使所述作用部的姿势成为所述规定姿势的指令。

8.根据权利要求7所述的主从系统，其特征在于，

所述力赋予部与所述操作端连接，以通过所述力赋予部所给予的力能够使所述操作端移动，

若所述接受部接受到所述转换指令，

则所述第二指令部进一步输出用于使所述力赋予部向所述操作端给予使所述操作端的姿势成为与所述规定姿势对应的姿势的力的指令。

9.根据权利要求7或8所述的主从系统，其特征在于，

所述从装置还具备检测所述作用部从所述对象物受到的力的力检测部，

若在所述作用部向所述规定姿势转换中，所述力检测部检测到力，则所述第一指令部输出用于使所述作用部的位置移动并且使所述作用部的姿势成为所述规定姿势的指令。

10.一种控制方法，控制通过主装置来操作的从装置，其特征在于，包括：

按照操作信息和限制条件，输出用于通过所述从装置的动作部使所述作用部进行反映了所述限制条件的动作的指令，所述操作信息是通过向所述主装置的操作端施加力而输入的信息，所述限制条件限制所述从装置中的向对象物施加作用的作用部的规定移动；和

按照所述限制条件，输出用于使所述主装置生成向所述操作端的力的指令，该力与向所述操作端的指示所述作用部的所述规定移动的输入对抗。

Images