CN111085993A - 与人进行协同作业的机器人系统以及机器人控制方法 - Google Patents

与人进行协同作业的机器人系统以及机器人控制方法 Download PDF

Info

Publication number
CN111085993A
CN111085993A CN201911002472.XA CN201911002472A CN111085993A CN 111085993 A CN111085993 A CN 111085993A CN 201911002472 A CN201911002472 A CN 201911002472A CN 111085993 A CN111085993 A CN 111085993A
Authority
CN
China
Prior art keywords
robot
work object
detection device
operator
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911002472.XA
Other languages
English (en)
Inventor
稻叶豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111085993A publication Critical patent/CN111085993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36429—Power assisted positioning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40152—Deictic, using a sign language, point finger to reach, close hand to grasp
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Abstract

本发明提供一种与人进行协同作业的机器人系统以及机器人控制方法。本公开的机器人系统具有：机器人；检测装置，其检测作业对象物，并且检测作业员对于该作业对象物的预定动作；以及机器人控制部，其在检测装置检测出预定动作时，使机器人对该检测装置检测出的作业对象物执行预先决定的作业。

Description

与人进行协同作业的机器人系统以及机器人控制方法
技术领域
本发明涉及与人进行协同作业的机器人系统以及机器人控制方法。
背景技术
已知与人进行协同作业的机器人系统(例如，日本特开2017-74660号公报)。以往，谋求能够通过与人的动作相匹配的方式来进行协同作业的机器人系统。
发明内容
在本公开的一方式中，机器人系统具有：机器人；检测装置，其检测作业对象物，并且检测人对于该作业对象物的预定动作；以及机器人控制部，其在检测装置检测出预定动作时，使机器人对该检测装置检测出的作业对象物执行预先决定的作业。
根据本公开，作业员无需对装置进行操作，能够在所希望的定时直观地启动机器人。因此，能够通过与作业员的动作高度匹配的方式使机器人进行协同作业。
附图说明
图1是一实施方式的机器人系统的图。
图2是图1所示的机器人系统的框图。
图3是表示图1所示的机器人系统的动作流程的一例的流程图。
图4是用于说明作业员的第一动作的一例的图。
图5是用于说明作业员的第一动作的其他示例的图。
图6是用于说明作业员的第一动作的另一示例的图。
图7是用于说明作业员的第一动作的另一示例的图。
图8表示在图3中的步骤S10中作业员与机器人协作来运送作业对象物的状态。
图9是用于说明作业员的第二动作的一例的图。
图10是用于说明作业员的第二动作的其他示例的图。
图11是另一实施方式的机器人系统的图。
图12是图11所示的机器人系统的框图。
图13是表示图11所示的机器人系统的动作流程的一例的流程图。
图14是用于说明作业员的预定动作的一例的图。
图15是另一实施方式的机器人系统的图。
图16是另一实施方式的机器人系统的图。
具体实施方式
以下，根据附图对本公开的实施方式进行详细说明。另外，在以下说明的各种实施方式中，对相同的要素标注相同的符号，省略重复的说明。首先，参照图1和图2，对一实施方式的机器人系统10进行说明。
机器人系统10是与作业员A进行协作来进行将作业对象物W运送至预先决定的目的位置的作业的系统。机器人系统10具有：机器人12、力检测装置14、检测装置16A和16B、以及控制装置18。控制装置18例如具有处理器(CPU、GPU等)以及存储器(RAM、ROM等)，用于控制机器人12、力检测装置14以及检测装置16A和16B。
在本实施方式中，机器人12是垂直多关节机器人，其具有：机器人基部20、旋转体22、机械臂24、手腕部32以及机械手26。机器人基部20被固定在基板38上，该基板38被固定在作业单元的地面上。旋转体22以可围绕竖直轴旋转的方式设置在机器人基部20上。机械臂24具有可旋转地安装在旋转体22的下臂部28、以及可旋转地安装在该下臂部28的前端的上臂部30。
手腕部32与上臂部30的前端连结，可旋转地支承机械手26。机械手26具有与手腕部32连结的机械手基部34、可开闭地设置在该机械手基部34的多个指部36。机械手26通过指部36来抓持或释放作业对象物W。
机器人12具有多个伺服电动机40(图2)。这些伺服电动机40内置在机器人12的各组件(即，机器人基部20、旋转体22、机械臂24、手腕部32)中，使这些组件围绕驱动轴旋转。
力检测装置14介于手腕部32与机械手26之间。在本实施方式中，力检测装置14具有六轴力觉传感器，用于检测对机械手26施加的外力，该六轴力觉传感器具备多个应变计(未图示)。另外，力检测装置14并不限于六轴力觉传感器，只要能够检测对机械手26施加的外力，可以具有任何装置。
检测装置16A检测作业对象物W。具体来说，检测装置16A被固定在作业单元内的预定位置，拍摄作业对象物W，根据拍摄到的图像来检测该作业对象物W在机器人坐标系CR中的位置。另外，在本稿中所谓的作业对象物以及机器人的“位置”有时表示位置和姿势。
检测装置16B检测作业员A对于作业对象物W的预定动作。具体来说，检测装置16B拍摄作业员A，根据拍摄到的图像检测作业员A对于作业对象物W的预定动作(所谓的光学式动作捕捉)。另外，关于检测装置16B要检测的作业员A的预定动作，在后面进行叙述。例如，检测装置16A以及16B可以由具有拍摄元件、聚焦透镜等光学透镜、以及图像处理处理器(例如，GPU)等的三维视觉传感器构成。
接下来，参照图3对机器人系统10的动作进行说明。在控制装置18从操作员、上位控制器或者机器人程序接收到运转开始指令时开始图3所示的动作流程。在本实施方式中，在开始了图3所示的动作流程时，如图4所示，随机地放置了多个对象物W1～W4。
在步骤S1中，检测装置16A检测各作业对象物W1～W4。具体来说，控制装置18向检测装置16A发送位置检测指令，检测装置16A接受该位置取得指令来对各作业对象物W1～W4进行拍摄，根据拍摄到的图像取得各作业对象物W1～W4在机器人坐标系CR中的位置。
在步骤S2中，检测装置16B开始检测作业员A的动作。具体来说，控制装置18向检测装置16B发送动作检测指令，检测装置16B接受该动作检测指令来连续(例如，以预定的周期)拍摄作业员A，根据拍摄到的图像连续检测作业员A的动作。
在此，检测装置16B检测作业员A的第一动作以及第二动作。该第一动作是为了使机器人12进行抓持作业对象物W的作业，作业员A对机器人12应该抓持的作业对象物W进行的预定动作。参照图4～图7对该第一动作的示例进行说明。
在图4所示的示例中，将第一动作规定为作业员A接近机器人12应该抓持的一个作业对象物W1的动作。检测装置16B连续拍摄作业员A，根据拍摄到的图像以及在上述的步骤S1中取得的各作业对象物W1～W4的位置信息，分别计算作业员A与作业对象物W1的距离d1、作业员A与作业对象物W2的距离d2、作业员A与作业对象物W3的距离d3、以及作业员A与作业对象物W4的距离d4。
然后，检测装置16B判定计算出的各距离d1～d4是否为预先决定的阈值dth1以下。并且，在距离d1～d4中的某一个为阈值dth1以下时，作为第一动作检测出作业员A接近了作业对象物W1～W4中的某一个。
在图4所示的示例中，作业员A正在接近作业对象物W1，检测装置16B在距离d1为阈值dth1以下时，检测出作业员A接近作业对象物W1的第一动作，并且将作业对象物W1确定为机器人12的抓持对象。作为替代，检测装置16B也可以从连续拍摄到的图像计算作业员A的移动方向E，将与移动方向E交叉的作业对象物W1确定为机器人12的抓持对象。
在图5所示的示例中，将第一动作决定为作业员A用手B来抓持机器人12应该抓持的一个作业对象物W1的动作。检测装置16B连续拍摄作业员A，使用所谓的动作捕捉技术来检测作业员A抓持作业对象物W1的第一动作，并且将作业员A所抓持的作业对象物W1确定为机器人12的抓持对象。
作为一例，检测装置16B存储(或者，机器学习)了作业员A抓持作业对象物W1的动作的基准动作模式。并且，检测装置16B在开始了步骤S2后监视作业员A的动作时，判定作业员A的实际动作是否与该基准动作模式吻合，在判定为吻合时，检测出作业员A进行了抓持作业对象物W1的第一动作。
在图6所示的示例中，将第一动作决定为作业员A通过手指C来指向机器人12应该抓持的一个作业对象物W1的动作。检测装置16B连续拍摄作业员A，使用所谓的动作捕捉技术来检测作业员A指向作业对象物W1的动作以及指向的方向D，并且将与指向的方向D交叉的作业对象物W1确定为机器人12的抓持对象。
在图7所示的示例中，将第一动作决定为作业员A通过手B来拍击机器人12应该抓持的一个作业对象物W1的动作。检测装置16B连续拍摄作业员A，使用所谓的动作捕捉技术来检测作业员A拍击作业对象物W1的动作，并且将所拍击的作业对象物W1确定为机器人12的抓持对象。
在该情况下，作业员A以预先决定的次数n(n是2以上的整数)来拍击作业对象物W1，检测装置16B在检测出作业员n次地拍击了作业对象物W1的动作时，可以将该动作检测为第一动作。另外，关于检测装置16B要检测的作业员A的第二动作，在后面进行叙述。
在步骤S3中，检测装置16B判定是否检测出作业员A的第一动作。具体来说，检测装置16B判定是否检测出例如在图4～图7中说明的作业员A的第一动作。检测装置16B在检测出作业员A的第一动作时判定为是，并确定成为机器人12的抓持对象的作业对象物W1。并且，检测装置16A将由检测装置16B确定为抓持对象的作业对象物W1在机器人坐标系CR中的位置的信息发送给控制装置18，然后向步骤S5前进。另一方面，检测装置16B在没有检测出第一动作时判定为否，向步骤S4前进。
在步骤S4中，控制装置18判定是否从操作员、上位控制器或者机器人程序接收到运转结束指令。控制装置18在判定为接收到运转结束指令(即为是)时，结束图3所示的流程，另一方面，在判定为没有接收到运转结束指令(即为否)时，返回步骤S3。
在步骤S5中，控制装置18使机器人12向用于抓持作业对象物W1的位置(以下，称为抓持位置)移动，使机器人12抓持作业对象物W1。具体来说，控制装置18根据在上述步骤S3中从检测装置16A接收到的作业对象物W1的位置信息，向机器人12的各伺服电动机40发送指令，使该机器人12向抓持位置移动。
在已将机器人12配置在抓持位置时，作业对象物W1配置在机械手26的指部36之间。如此，控制装置18将检测装置16B检测出作业员A的第一动作作为触发，开始进行使机器人12向抓持位置移动的作业(即，针对各伺服电动机40的指令)。
接下来，控制装置18使机械手26进行动作来使指部36闭合。由此，机器人12通过机械手26抓持作业对象物W1。如此，在本实施方式中，控制装置18作为机器人控制部42(图2)发挥功能，即为在检测装置16B检测出作业员A的第一动作时使机器人12执行预先决定的作业(使机器人12向抓持位置移动，抓持作业对象物W1的作业)。
另外，在该步骤S5中，控制装置18可以根据检测装置16B连续检测到的作业员A的动作的信息，运算可避免与该作业员A之间的碰撞的机器人12的动作路径。例如，控制装置18从检测装置16B取得表示作业员A的动作路径的数据，运算用于避开作业员A的动作路径(与作业员A的动作路径不交叉)那样的机器人12的动作路径。并且，控制装置18使机器人12沿着运算出的动作路径进行动作。根据该结构，能够避免机器人12与作业员A之间的碰撞。
在步骤S5中在机器人12抓持作业对象物W1的作业已完成时，作业员A为了与机器人12协作来将作业对象物W1运送至目的位置，而对该机器人12施加外力F。作为一例，作业员A将机器人12抓持的作业对象物W1抬起，并将该作业对象物W1推向目的位置的方向。此时，作业员A向作业对象物W1施加的外力F经由作业对象物W1而施加到机械手26。
作为另一示例，作业员A可以用手B直接对机械手26施加外力F。在该情况下，在机械手26(例如，机械手基部34)设置作业员A能够抓持的把手(未图示)，作业员A可以用手B抓持该把手，经由该把手对机械手26施加外力F。
在本实施方式中，控制装置18在步骤S5完成后，从使机器人12跟踪检测装置16B检测出的作业员A的动作而向检测装置16A检测出的目标位置靠近的位置跟踪控制(步骤S2～S5)切换为按照对机器人12施加的外力F来控制该机器人12的引导控制(Lead throughcontrol)(后述的步骤S6～S10)。
在步骤S6中，控制装置18开始检测对机器人12施加的外力F。具体来说，控制装置18开始进行以下的动作：从力检测装置14连续(例如，周期性地)取得该力检测装置14检测出的外力F的数据。通过力检测装置14来检测作业员A经由作业对象物W1(或通过手B直接)对机器人12施加的外力F(大小和方向)。
在步骤S7中，控制装置18判定力检测装置14最近检测出的外力F是否为预先决定的阈值Fth以上。控制装置18在判定为最近的外力F为F≥Fth(即为是)时，向步骤S10前进，另一方面，在判定为F＜Fth(即为否)时，向步骤S8前进。
在步骤S8中，与上述的步骤S4同样地，控制装置18判定是否接收到运转结束指令。控制装置18在判定为接收到运转结束指令(即为是)时，结束图3所示的流程，另一方面，在判定为没有接收到运转结束指令(即为否)时，向步骤S9前进。
在步骤S9中，控制装置18生成警告信号。例如，控制装置18可以生成“请向目的位置引导机器人”这样的声音或图像的形式的警告信号，并通过扬声器或显示器(未图示)来输出警告。在步骤S9之后，控制装置18返回步骤S7。
在步骤S10，控制装置18根据力检测装置14最近检测出的外力F的数据，使机器人12运送作业对象物W1。具体来说，控制装置18取得力检测装置14最近检测出的外力F的方向，控制机器人12使得抓持作业对象物W1的机械手26向外力F的方向移动。
控制装置18可以取得力检测装置14最近检测出的外力F的大小，根据该外力F的大小来控制使机械手26向外力F的方向移动的速度。例如，控制装置18可以通过该外力F的大小越大，使机械手26移动的速度越大的方式来控制该机械手26的移动速度。
由此，如图8所示，机器人12按照作业员A向机器人12施加的外力F，使作业对象物W1移动。另外，在图8所示的示例中示出了作业员A与机器人12一起通过手B来抓持作业对象物W1，经由该作业对象物W1对机器人12施加了外力F的情况。如此，机器人12与作业员A协作来向目的位置运送作业对象物W1。
另外，控制装置18在步骤S10的执行过程中，判定力检测装置14检测出的外力F是否超过上限值FMAX，在外力F超过上限值FMAX(即，F≥FMAX)时，可以紧急停止机器人12的动作。关于该上限值FMAX，在步骤S10的执行过程中为了检测出机械手26或作业对象物W1与障碍物发生了碰撞的情况，由使用者预先设为比上述的阈值Fth大的值。
在已使作业对象物W1移动至目的位置时，作业员A进行第二动作。该第二动作是为了使机器人12释放作业对象物W1而由作业员A进行的与上述的第一动作不同的预定动作。参照图9和图10对该第二动作的示例进行说明。
在图9所示的示例中，将第二动作决定为作业员A从机器人12抓持的作业对象物W1离开的动作。作为一例，检测装置16B连续拍摄作业员A以及作业对象物W1，从拍摄到的图像中计算作业员A与作业对象物W1的距离d1。检测装置16B可以在完成了步骤S5时或者在开始了步骤S10时，开始计算作业员A与作业对象物W1的距离d1的动作。
检测装置16B判定计算出的距离d1是否为预先决定的阈值dth2以上。并且，在距离d1为阈值dth2以上时，作为第二动作，检测出作业员A离开了作业对象物W1。另外，阈值dth2也可以是与上述的阈值dth1相同的值，或者也可以是不同的值。
在图10所示的示例中，将第二动作决定为作业员A将抓持作业对象物W1的手B打开，释放该作业对象物W1的动作。检测装置16B连续拍摄作业员A，使用所谓的动作捕捉技术来检测作业员A将抓持作业对象物W1的手B打开的动作。
作为一例，检测装置16B存储(或者，机器学习)了作业员A将抓持作业对象物W1的手B打开的动作的基准动作模式。并且，检测装置16B当在步骤S10的执行过程中监视作业员A的动作时，判定作业员A的实际动作是否与该基准动作模式吻合，在判定为吻合时，可以检测出作业员A进行了将手B打开的第二动作。
在步骤S11中，检测装置16B判定是否检测出作业员A的第二动作。具体来说，检测装置16B判定是否检测出例如在图9和图10中说明的作业员A的第二动作，在检测出的情况下判定为是，向步骤S12前进。另一方面，检测装置16B在没有检测出作业员A的第二动作时判定为否，返回步骤S7。
如上所述，在本实施方式中，检测装置16B检测在运送作业对象物W1前作业员A进行的第一动作以及在将作业对象物W1运送至目的位置时作业员A进行的第二动作。由此，至少将检测装置16B配置在能够检测到运送作业对象物W1前的作业员A以及将作业对象物W1运送至目的位置时的作业员A的位置。
在步骤S12中，控制装置18使机器人12释放作业对象物W1。具体来说，控制装置18使机械手26进行动作来打开指部36。由此，机械手26释放所抓持的作业对象物W1。结果，将作业对象物W1配置在目的位置。
另外，当在步骤S11中判定为是时，在该步骤S12中，控制装置18在释放作业对象物W1之前，可以按照机器人程序使机器人12进行动作来使机器人12抓持的作业对象物W1向预定方向(例如，竖直下方)移动。
例如，设为在机器人12将作业对象物W1移动至作为目的位置的放置台的竖直上方时，作业员A进行了第二动作。当在步骤S11中检测出该第二动作时，控制装置18在步骤S12中，使机器人12进行动作来使作业对象物W1向竖直下方移动，在将该作业对象物W1放置在放置台上时，使机器人12释放作业对象物W1。
在此，控制装置18在通过机器人12将作业对象物W1向竖直下方移动时，监视力检测装置14检测出的外力，可以根据该外力的数据来检测作业对象物W1是否与放置台接触。并且，控制装置18可以在检测出作业对象物W1与放置台接触时，使机器人12释放作业对象物W1。
在步骤S13中，与上述的步骤S4同样地，控制装置18判定是否接收到运转结束指令。控制装置18在判定为接收到运转结束指令(即为是)时，结束图3所示的流程，另一方面，在判定为没有接收到运转结束指令(即为否)时，返回步骤S3。
并且，作业员A对其他的作业对象物W2～W4中的某一个再次进行第一动作，控制装置18重复执行步骤S3～S13的环，由此能够与作业员A协作来使机器人12将作业对象物W2～W4依次运送至目的位置。
如上所述，在本实施方式中，控制装置18在检测装置16B检测出作业员A的第一动作时，使机器人12对作业对象物W执行预先决定的作业(向抓持位置的移动以及抓持)。根据该结构，作业员A无需操作装置，能够在希望的定时直观地启动机器人12。因此，能够通过与作业员A的动作高度匹配的方式，使机器人12进行协同作业。
此外，在本实施方式中，控制装置18在步骤S5结束之后，从基于检测装置16B的检测数据进行的位置跟踪控制(步骤S2～S5)切换为基于力检测装置14的检测数据进行的引导控制(步骤S6～S10)。根据该结构，通过作业员A的第一动作而使机器人12启动，能够顺畅地进行与该机器人12协作将作业对象物W1运送至目的位置的一连串的作业。
此外，在本实施方式中，控制装置18在检测装置16B检测出作业员A的第二动作时，使机器人12释放作业对象物W1。根据该结构，作业员A无需操作装置，能够在将作业对象物W1运送至目的位置的定时直观地使机器人12释放该作业对象物W1。
另外，在本实施方式中，对检测装置16A检测作业对象物W1～W4在机器人坐标系CR中的位置的情况进行了叙述。但是，并不限于此，例如可以通过夹具等将作业对象物W1～W4配置在机器人坐标系CR中的预定位置，控制装置18可以预先存储这些作业对象物W1～W4在机器人坐标系CR中的位置。
在该情况下，检测装置16A在步骤S1中，可以只检测各作业对象物W1～W4的存在，而不取得作业对象物W1～W4在机器人坐标系CR中的位置。然后，在步骤S3中，检测装置16B确定成为作业员A的第一动作的对象的作业对象物W1，在步骤S5中，控制装置18可以根据预先存储的作业对象物W1的位置的信息，使机器人12向抓持位置移动。
此外，在图3所示的流程中，控制装置18也可以在步骤S5之前(例如，在步骤S2紧前或紧后的定时)执行上述步骤S6，在执行该步骤S5时，在力检测装置14检测出的外力F超过上限值FMAX时，判定为机械手26与作业员A碰撞，紧急停止该机器人12。
在该情况下，控制装置18在判定为机器人12与作业员A发生了碰撞时，可以生成用于表示机器人12与作业员A之间的碰撞的声音或图像的形式的警告信号，通过扬声器或显示器输出警告。
此外，能够从机器人系统10中省略力检测装置14。在该情况下，控制装置18可以按照机器人程序使机器人12进行动作，使机器人12自动将作业对象物W1运送至目的位置，从而取代图3中的步骤S6～S12。
例如能够通过对机器人12示教将作业对象物W1运送至目的位置的动作而构建该机器人程序。此外，作业员A的第一动作以及第二动作并不限于上述的动作，只要检测装置16B能够检测，可以是任何动作。
接下来，参照图11和图12对其他实施方式的机器人系统50进行说明。机器人系统50是与作业员A协作来进行将作业对象物V紧固在部件F上的作业的系统。机器人系统50在不具有力检测装置14这一点以及在机器人52的结构方面与上述的机器人系统10不同。
机器人52是垂直多关节机器人，具有：机器人基部20、旋转体22、机械臂24、手腕部32以及末端执行器54。末端执行器54安装在手腕部32，并具有工具56。工具56具有轴线O，末端执行器54围绕轴线O对工具56进行旋转驱动。作业对象物V例如是螺栓，末端执行器54在将作业对象物V与工具56卡合的状态下对该工具56进行旋转驱动，由此，能够将该作业对象物V紧固在部件F上。
接下来，参照图13对机器人系统50的动作进行说明。控制装置18在从操作员、上位控制器或机器人程序接收到运转开始指令时，开始图13所示的动作流程。在本实施方式中，如图14所示，将多个作业对象物V1～V4设置在部件F上。
在步骤S21中，检测装置16A检测各作业对象物V1～V4。具体来说，控制装置18向检测装置16A发送位置检测指令，检测装置16A接收该位置取得指令来拍摄各作业对象物V1～V4，并根据拍摄到的图像取得各作业对象物V1～V4(例如，中心)在机器人坐标系CR中的位置。
在步骤S22中，检测装置16B开始检测作业员A的动作。具体来说，控制装置18向检测装置16B发送动作检测指令，检测装置16B接收该动作检测指令来连续拍摄作业员A，并根据拍摄到的图像连续检测作业员A的动作。
这里，检测装置16B构成为检测作业员A的预定动作。该预定动作是为了使机器人52进行作业对象物V的紧固作业，由作业员A对应该紧固的作业对象物V进行的动作。参照图14对该预定动作的例子进行说明。
在图14所示的示例中，将预定动作决定为作业员A用手指C指向应该紧固的一个作业对象物V1的动作。检测装置16B连续拍摄作业员A，使用所谓的动作捕捉技术来检测作业员A指向作业对象物V1的动作以及指向的方向G，并且将与指向的方向G交叉的作业对象物V1确定为紧固对象。
在步骤S23中，检测装置16B判定是否检测出作业员A的预定动作。具体来说，检测装置16B判定是否检测出例如在图14中说明的作业员A的动作，在检测出时判定为是，并确定紧固对象的作业对象物V1。
然后，检测装置16A向控制装置18发送被确定为紧固对象的作业对象物V1在机器人坐标系CR中的位置的信息，向步骤S25前进。另一方面，检测装置16B在没有检测出作业员A的预定动作时判定为否，向步骤S24前进。
在步骤S24中，与上述的步骤S4同样地，控制装置18判定是否接收到运转结束指令。控制装置18在判定为接收到运转结束指令(即为是)时，结束图13所示的流程，另一方面，在没有接收到运转结束指令(即为否)时，返回步骤S23。
在步骤S25中，控制装置18作为机器人控制部42发挥功能，使机器人52移动至用于对作业对象物V1进行紧固作业的位置(以下，称为紧固位置)，使机器人52向部件F紧固作业对象物V1。具体来说，控制装置18根据在上述的步骤S23中从检测装置16A接收到的作业对象物V1的位置信息向机器人52的各伺服电动机40发送指令，使机器人52向紧固位置移动。
在已将机器人52配置在紧固位置时，工具56的轴线O与作业对象物V1的中心轴一致，工具56与作业对象物V1无法相对旋转地卡合。这样，控制装置18将检测装置16B检测出作业员A的预定动作作为触发，开始使机器人52向紧固位置移动的作业(即，针对伺服电动机40的指令)。
接下来，控制装置18使末端执行器54动作，围绕轴线O对工具56进行旋转驱动。由此，作业对象物V1通过工具56而旋转，从而被紧固在部件F上。另外，在该步骤S25中，控制装置18根据检测装置16B连续检测出的作业员A的动作的信息，运算能够避免与该作业员A之间的碰撞的机器人52的动作路径。并且，控制装置18可以使机器人52沿着运算出的动作路径进行动作。根据该结构，能够防止机器人52与作业员A之间的碰撞。
在步骤S26中，与上述的步骤S4同样地，控制装置18判定是否接收到运转结束指令。控制装置18在判定为接收到运转结束指令(即为是)时，结束图13所示的流程，另一方面，在判定为没有接收到运转结束指令(即为否)时，返回步骤S23。
然后，作业员A对其他作业对象物V2～V4中的某一个再次进行第一动作，控制装置18重复执行步骤S23～26的环，由此能够与作业员A协作使机器人52执行作业对象物V2～V4的紧固作业。
如上所述，在本实施方式中，控制装置18在检测装置16B检测出作业员A的预定动作时，使机器人52对作业对象物V执行预先决定的作业(向紧固位置的移动以及作业对象物的紧固)。根据该结构，作业员A无需操作装置，能够在所希望的定时直观地启动机器人52。
另外，在本实施方式中，检测装置16B检测的作业员A的预定动作可以是图4所示的接近动作、图5所示的抓持动作、或图7所示的拍击动作。此外，在本实施方式中，对于机器人52进行紧固作业对象物V的作业的情况进行了叙述。但是，并不限于此，机器人52例如也可以对作业对象物进行焊接作业，或者进行其他任何作业。在机器人52进行焊接作业时，机器人52的末端执行器54能够具有焊枪。
此外，在上述的实施方式中，对于机器人12、52对多个作业对象物W、V进行作业的情况进行了叙述，也可以只对一个作业对象物进行作业。此外，检测装置16B也可以由照相机、控制装置18的处理器构成。具体来说，通过照相机来拍摄作业员A，控制装置18的处理器可以对照相机的拍摄图像进行图像解析来检测作业员A的动作。
此外，检测装置16B并不限于三维视觉传感器，可以具有设置在作业员A的身体上的多个惯性传感器。在该情况下，控制装置18可以根据来自多个惯性传感器的输出数据，检测作业员A的动作。此外，并不限于上述方式，检测装置16B可以具有任意类型的传感器，可以使用任意类型的动作捕捉技术来检测作业员A的动作。
此外，检测装置16A以及16B也可以由一个检测装置构成。图15表示这样的实施方式。图15所示的机器人系统10’具有一个检测装置16。检测装置16例如由三维视觉传感器构成，承担上述检测装置16A和16B的功能。具体来说，检测装置16检测作业对象物W，并且检测作业员A对于该作业对象物W的预定动作。该检测装置16也可以用于上述的机器人系统50。
此外，在机器人系统10中，力检测装置14可以设置在任意位置。以下，参照图16对力检测装置14的设置位置的其他示例进行说明。在图16所示的机器人系统10”中，力检测装置14介于机器人基部20与基板38之间。在该示例中，力检测装置14能够检测对机器人12的组件(即，机器人基部20、旋转体22、机械臂24、手腕部32或机械手26)施加的外力F。
另外，力检测装置14并不限于六轴力觉传感器，例如也可以构成为具有用于检测对各伺服电动机40的驱动轴施加的转矩的转矩传感器，根据该转矩传感器的检测值来检测对机器人12的组件施加的外力F。或者，力检测装置14可以构成为根据从各伺服电动机40反馈的干扰转矩，检测对机器人12的组件施加的外力F。
此外，机器人12(或52)不限于垂直多关节机器人，可以是水平多关节机器人、平行连杆机器人、或装载机等任意类型的机器人。此外，机器人12(或52)也可以具有机器人本体部以及使该机器人本体部向任意方向移动的行驶装置，上述机器人本体部具有：机器人基部20、旋转体22、机械臂24、手腕部32以及机械手26(或末端执行器54)。在该情况下，控制装置18在上述的步骤S5以及S10(或，步骤S25中)，可以使该行驶装置进行动作来使机器人本体部移动。
以上通过实施方式对本公开进行了说明，但是上述的实施方式并非限定权利要求的发明。

Claims (7)

1.一种机器人系统，其特征在于，具有：
机器人；
检测装置，其检测作业对象物，并且检测人对于该作业对象物的预定动作；以及
机器人控制部，其在所述检测装置检测出所述预定动作时，使所述机器人对该检测装置检测出的所述作业对象物执行预先决定的作业。
2.根据权利要求1所述的机器人系统，其特征在于，
所述作业是所述机器人抓持并运送所述作业对象物的作业，
所述机器人控制部根据所述检测装置检测出的所述作业对象物的位置，使所述机器人移动至抓持所述作业对象物的位置，在该抓持的位置使所述机器人抓持所述作业对象物。
3.根据权利要求2所述的机器人系统，其特征在于，
所述机器人系统还具有力检测装置，该力检测装置用于检测对所述机器人施加的外力，
所述机器人控制部根据所述力检测装置检测出的所述外力的数据，使所述机器人运送所述作业对象物。
4.根据权利要求2或3所述的机器人系统，其特征在于，
所述检测装置还检测人的与所述预定动作不同的第二动作，
所述机器人控制部在所述检测装置检测出所述第二动作时，使所述机器人释放所述作业对象物。
5.根据权利要求1～4中的任意一项所述的机器人系统，其特征在于，
所述检测装置构成为作为所述预定动作而检测如下动作：
人接近所述作业对象物的动作，
人用手抓持所述作业对象物的动作，
人用手指指向所述作业对象物的动作，或者
人用手拍击所述作业对象物的动作。
6.一种机器人的控制方法，其特征在于，
检测作业对象物，
检测人对于所述作业对象物的预定动作，
在检测出所述预定动作时，使所述机器人对检测出的所述作业对象物执行预先决定的作业。
7.根据权利要求6所述的控制方法，其特征在于，
所述作业是所述机器人抓持并运送所述作业对象物的作业，
在检测出所述预定动作时，根据检测出的所述作业对象物的位置，使所述机器人移动至抓持该作业对象物的位置，
在所述抓持的位置使所述机器人抓持所述作业对象物，
根据力检测装置检测出的对所述机器人施加的外力的数据，使所述机器人运送所述作业对象物。
CN201911002472.XA 2018-10-23 2019-10-21 与人进行协同作业的机器人系统以及机器人控制方法 Pending CN111085993A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-199338 2018-10-23
JP2018199338A JP6916157B2 (ja) 2018-10-23 2018-10-23 人と協働作業を行うロボットシステム、及びロボット制御方法

Publications (1)

Publication Number Publication Date
CN111085993A true CN111085993A (zh) 2020-05-01

Family

ID=70280394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911002472.XA Pending CN111085993A (zh) 2018-10-23 2019-10-21 与人进行协同作业的机器人系统以及机器人控制方法

Country Status (4)

Country Link
US (1) US11235463B2 (zh)
JP (1) JP6916157B2 (zh)
CN (1) CN111085993A (zh)
DE (1) DE102019007186B4 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770876A (zh) * 2018-10-05 2021-05-07 索尼公司 信息处理装置、控制方法和程序
JP7211007B2 (ja) * 2018-10-30 2023-01-24 セイコーエプソン株式会社 制御装置、ロボットシステムおよび制御方法
JP7458818B2 (ja) * 2020-02-21 2024-04-01 キヤノン株式会社 ロボット装置、インタフェース装置、制御装置、エンドエフェクタ、制御方法、ロボット装置を用いた物品の製造方法、プログラム及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142909A (ja) * 2008-12-19 2010-07-01 Yaskawa Electric Corp ロボットの制御装置
CN102292194A (zh) * 2009-08-21 2011-12-21 松下电器产业株式会社 机器人手臂的控制装置及控制方法、装配机器人、机器人手臂的控制程序及机器人手臂的控制用集成电路
US20140107843A1 (en) * 2012-05-23 2014-04-17 Panasonic Corporation Robot, robot control apparatus, robot control method, and robot control program
JP2014104527A (ja) * 2012-11-27 2014-06-09 Seiko Epson Corp ロボットシステム、プログラム、生産システム及びロボット
JP2015044257A (ja) * 2013-08-27 2015-03-12 株式会社デンソーアイティーラボラトリ ロボット、ロボット制御方法、及びロボット制御プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798627A (en) * 1995-01-04 1998-08-25 Gilliland; Malcolm T. Method for simultaneous operation of robot welders
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
JP4648486B2 (ja) * 2009-01-26 2011-03-09 ファナック株式会社 人間とロボットとの協調動作領域を有する生産システム
JP5464514B2 (ja) * 2009-08-21 2014-04-09 公立大学法人首都大学東京 ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボット
JP2013111737A (ja) * 2011-12-01 2013-06-10 Sony Corp ロボット装置及びその制御方法、並びにコンピューター・プログラム
JP5549724B2 (ja) * 2012-11-12 2014-07-16 株式会社安川電機 ロボットシステム
WO2014093822A1 (en) * 2012-12-14 2014-06-19 Abb Technology Ag Bare hand robot path teaching
JP6397226B2 (ja) * 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
JP6344084B2 (ja) * 2014-06-20 2018-06-20 オムロン株式会社 ロボット操作用の作業者端末
US9919421B2 (en) * 2015-04-15 2018-03-20 Abb Schweiz Ag Method and apparatus for robot path teaching
JP6455310B2 (ja) * 2015-05-18 2019-01-23 本田技研工業株式会社 動作推定装置、ロボット、及び動作推定方法
WO2017033353A1 (ja) 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操作ロボットシステム
DE102015012959B4 (de) * 2015-10-08 2019-01-17 Franka Emika Gmbh Robotersystem und Verfahren zur Steuerung eines Robotersystems
JP6577326B2 (ja) * 2015-10-16 2019-09-18 ファナック株式会社 人と協働して物体を運搬するロボットを制御するロボット制御装置、ロボットシステム、およびその方法
WO2017163251A2 (en) * 2016-03-24 2017-09-28 Polygon T.R Ltd. Systems and methods for human and robot collaboration
CN107717982B (zh) * 2016-08-12 2020-09-25 财团法人工业技术研究院 机械手臂的控制装置及操作方法
CN107717981B (zh) * 2016-08-12 2021-01-05 财团法人工业技术研究院 机械手臂的控制装置及其教导系统与方法
JP6549545B2 (ja) * 2016-10-11 2019-07-24 ファナック株式会社 人の行動を学習してロボットを制御する制御装置およびロボットシステム
US10427306B1 (en) * 2017-07-06 2019-10-01 X Development Llc Multimodal object identification
JP6875228B2 (ja) * 2017-08-23 2021-05-19 株式会社日立製作所 ロボット調達装置、及びロボット調達方法
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
EP3591521B1 (en) * 2018-07-05 2023-07-26 Honda Research Institute Europe GmbH Assistance system, method, and program for assisting a user in fulfilling a task

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010142909A (ja) * 2008-12-19 2010-07-01 Yaskawa Electric Corp ロボットの制御装置
CN102292194A (zh) * 2009-08-21 2011-12-21 松下电器产业株式会社 机器人手臂的控制装置及控制方法、装配机器人、机器人手臂的控制程序及机器人手臂的控制用集成电路
US20140107843A1 (en) * 2012-05-23 2014-04-17 Panasonic Corporation Robot, robot control apparatus, robot control method, and robot control program
JP2014104527A (ja) * 2012-11-27 2014-06-09 Seiko Epson Corp ロボットシステム、プログラム、生産システム及びロボット
JP2015044257A (ja) * 2013-08-27 2015-03-12 株式会社デンソーアイティーラボラトリ ロボット、ロボット制御方法、及びロボット制御プログラム

Also Published As

Publication number Publication date
US11235463B2 (en) 2022-02-01
DE102019007186A1 (de) 2020-04-23
DE102019007186B4 (de) 2023-07-06
US20200122323A1 (en) 2020-04-23
JP2020066080A (ja) 2020-04-30
JP6916157B2 (ja) 2021-08-11

Similar Documents

Publication Publication Date Title
TWI595987B (zh) 機械臂系統
US9868215B2 (en) Object pick-up system and method for picking up stacked objects
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
JP6454960B2 (ja) ロボット、ロボットシステム、ロボット制御装置
US10456917B2 (en) Robot system including a plurality of robots, robot controller and robot control method
EP1449626B1 (en) Workpiece conveying apparatus with visual sensor for checking the gripping state
CN111085993A (zh) 与人进行协同作业的机器人系统以及机器人控制方法
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
CN106625654B (zh) 机器人控制装置、机器人系统及其方法
Bätz et al. Dynamic manipulation: Nonprehensile ball catching
JP2011115877A (ja) 双腕ロボット
JP2010069587A5 (ja) ロボットシステムおよびロボットの制御方法
CN110271019B (zh) 协作机器人的控制装置以及控制方法
WO2017036520A1 (en) System and method for generating a robot program with a hand-held teaching device
CN111730626A (zh) 调整机器人装置的动作的动作调整装置及动作调整方法
CN114670189A (zh) 存储介质、以及生成机器人的控制程序的方法及系统
JP5198161B2 (ja) ハンドリング装置およびワークハンドリング方法
CN114502337B (zh) 机器人系统以及工件的三维模型的形成方法
CN110315558B (zh) 协作机器人的控制装置和控制方法
WO2017141569A1 (ja) 制御装置、制御システム、制御方法およびプログラム
JP3328414B2 (ja) ロボットハンドの姿勢制御装置
JP2021088019A (ja) ロボットシステム及びロボットシステムの制御方法
JP2021013983A (ja) 移動機械の移動軌跡のずれを取得する装置、及び方法
CN112549014A (zh) 机器人系统、控制方法、机器学习装置以及机器学习方法
WO2021065880A1 (ja) ロボット制御システム、ロボット制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination