CN111093903B - 机器人系统及其运行方法 - Google Patents

机器人系统及其运行方法 Download PDF

Info

Publication number
CN111093903B
CN111093903B CN201880056401.5A CN201880056401A CN111093903B CN 111093903 B CN111093903 B CN 111093903B CN 201880056401 A CN201880056401 A CN 201880056401A CN 111093903 B CN111093903 B CN 111093903B
Authority
CN
China
Prior art keywords
robot
display device
operator
actual
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880056401.5A
Other languages
English (en)
Other versions
CN111093903A (zh
Inventor
渡边雅之
吉村高行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN111093903A publication Critical patent/CN111093903A/zh
Application granted granted Critical
Publication of CN111093903B publication Critical patent/CN111093903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/02—Hand grip control means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39046—Compare image of plate on robot with reference, move till coincidence, camera

Abstract

一种机器人系统及其运行方法，机器人系统具备：操作器(2)，其接受来自操作者的操作指示；实际机器人(1)，其设置于作业空间内，进行由多个工序构成的一系列作业；相机(8)，其构成为拍摄实际机器人(1)；显示装置(6)，其构成为显示相机(8)拍摄到的实际机器人(1)的影像信息(1A)和虚拟机器人(3)；以及控制装置(4)，控制装置(4)构成为，基于从操作器(2)输入的指示信息，使显示于显示装置(6)的虚拟机器人(3)动作，其后若从操作器(2)输入使实际机器人(1)的动作执行的动作执行信息，则在使虚拟机器人(3)显示于显示装置(6)的状态下使实际机器人(1)动作。

Description

机器人系统及其运行方法
技术领域
本发明涉及机器人系统及其运行方法。
背景技术
公知有使用增强现实对应显示器将在实际影像或者实际环境中机器人的状态、操作引导相关的信息向机器人的使用者提供的机器人系统(例如参照专利文献1)。在专利文献1公开的机器人系统中，在显示器重叠显示无法视觉上示出机器人的状态或者操作引导的信息。
专利文献1:日本特开2016-107379号公报
另外，在操作者教示、操作使所保持的工件嵌合于嵌合部的动作那样的情况下，为了防止工件与其他部分接触等，需要慎重进行机器人的定位。
在上述专利文献1公开的机器人系统中，显示以机器人的末端部为原点的正交坐标系，但仅通过该信息进行定位不充分，对操作者的负担大，从提高作业效率的观点考虑还有改善的余地。
发明内容
本发明是解决上述以往的课题的，目的在于提供能够减轻操作者的负担而提高作业效率的机器人系统及其运行方法。
为了解决上述以往的课题，本发明的机器人系统具备：操作器，其接受来自操作者的操作指示；实际机器人，其设置于作业空间内，进行由多个工序构成的一系列作业；相机，其构成为拍摄上述实际机器人；显示装置，其构成为显示上述相机拍摄到的上述实际机器人的影像信息和虚拟机器人；以及控制装置，上述控制装置构成为，在使上述相机拍摄到的上述实际机器人的影像信息和上述虚拟机器人显示于上述显示装置的状态下，基于从上述操作器输入的指示信息，使显示于上述显示装置的上述虚拟机器人动作，其后若从上述操作器输入使上述实际机器人的动作执行的动作执行信息，则在使上述虚拟机器人显示于上述显示装置的状态下使上述实际机器人动作。
由此，虚拟机器人在实际机器人动作前基于指示信息进行动作，因此能够在视觉上掌握动作后的位置。因此，例如能够容易地判断实际机器人主体以及/或者实际机器人所把持的工件是否与配置于作业空间内的设备等接触等，能够容易地进行实际机器人末端部的定位。因此，能够减轻操作者的负担而提高作业效率。
另外，对于本发明的机器人系统的运行方法而言，上述机器人系统具备：操作器，其接受来自操作者的操作指示；实际机器人，其设置于作业空间内，进行由多个工序构成的一系列作业；相机，其设置于上述作业空间内，并构成为拍摄上述实际机器人；以及显示装置，其构成为显示上述相机拍摄到的上述实际机器人的影像信息和虚拟机器人，上述机器人系统的运行方法包括：上述显示装置显示上述相机拍摄到的上述实际机器人的影像信息和上述虚拟机器人(A)；上述显示装置在上述(A)后基于从上述操作器输入的指示信息显示上述虚拟机器人的动作(B)；以及在上述(B)后若从上述操作器输入使上述实际机器人的动作执行的动作执行信息，则在上述透射式显示装置显示了上述虚拟机器人的状态下，上述实际机器人基于从上述操作器输入的指示信息进行动作(C)。
由此，虚拟机器人能够在实际机器人动作前基于指示信息进行动作，因此能够在视觉上掌握动作后的位置。因此，例如能够容易地判断实际机器人主体以及/或者实际机器人把持的工件是否与配置于作业空间内的设备等接触等，能够容易地进行实际机器人末端部的定位。因此，能够减轻操作者的负担而提高作业效率。
根据本发明的机器人系统及其运行方法，能够减轻操作者的负担而提高作业效率。
附图说明
图1是表示本实施方式1的机器人系统的概略结构的框图。
图2是表示图1所示的机器人系统中的实际机器人的概略结构的示意图。
图3是表示本实施方式1的机器人系统的动作的一个例子的流程图。
图4是表示本实施方式1的机器人系统中的显示装置所显示的影像信息的示意图。
图5是表示本实施方式1的机器人系统中的显示装置所显示的影像信息的示意图。
图6是表示本实施方式1的机器人系统中的显示装置所显示的影像信息的示意图。
图7是表示本实施方式1的机器人系统中的显示装置所显示的影像信息的示意图。
图8是表示本实施方式2的机器人系统的概略结构的框图。
图9是表示图8所示的机器人系统的透射式显示装置的一个例子的示意图。
图10是表示操作者经由本实施方式2的机器人系统中的透射式显示装置视认的视野的示意图。
图11是表示操作者经由本实施方式2的机器人系统中的透射式显示装置视认的视野的示意图。
图12是表示操作者经由本实施方式3的机器人系统中的透射式显示装置视认的视野的示意图。
图13是表示操作者经由本实施方式3的机器人系统中的透射式显示装置视认的视野的示意图。
图14是表示操作者经由本实施方式3的机器人系统中的透射式显示装置视认的视野的示意图。
图15是表示本实施方式4的机器人系统的概略结构的框图。
图16是表示本实施方式4的机器人系统中的显示装置所显示的影像信息的示意图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。此外，在所有附图中，对相同或者相当部分标注相同附图标记，省略重复的说明。另外，在所有附图中，有时摘出用于说明本发明的构成要素而图示，针对其他构成要素而省略图示。并且，本发明不限定于以下的实施方式。
(实施方式1)
本实施方式1的机器人系统具备：操作器，其接受来自操作者的操作指示；实际机器人，其设置于作业空间内，并进行由多个工序构成的一系列作业；相机，其构成为拍摄实际机器人；显示装置，其构成为显示相机拍摄到的实际机器人的影像信息和虚拟机器人；以及控制装置，控制装置构成为，在使相机拍摄到的实际机器人的影像信息和虚拟机器人显示于显示装置的状态下，基于从操作器输入的指示信息，使显示于显示装置的虚拟机器人动作，其后若从操作器输入使实际机器人的动作执行的动作执行信息，则在使虚拟机器人显示于显示装置的状态下，使实际机器人动作。
另外，在本实施方式1的机器人系统中，也可以构成为，控制装置以使虚拟机器人与由相机拍摄到的实际机器人的影像信息重叠的方式显示于显示装置，若从操作器输入指示信息，则基于该指示信息使虚拟机器人动作。
并且，在本实施方式1的机器人系统中，也可以是，操作器由移动终端、触摸面板、主臂、示教器、操纵杆以及声音输入器中的至少任一个设备构成。
以下，参照图1～图7对本实施方式1的机器人系统的一个例子进行说明。
[机器人系统的结构]
图1是表示本实施方式1的机器人系统的概略结构的框图。
如图1所示，本实施方式1的机器人系统100具备实际机器人1、操作器2、控制装置4、存储装置5、显示装置6以及相机8，并构成为通过操作者操作操作器2而使实际机器人1动作。另外，本实施方式1的机器人系统100构成为，若操作者操作操作器2，则控制装置4使显示于显示装置6的虚拟机器人3(参照图5)动作，其后若从操作器2输入使实际机器人1的动作执行的动作执行信息，则在使虚拟机器人3显示于显示装置6的状态下执行实际机器人1的动作。
以下，对本实施方式1的机器人系统100具备的各设备进行说明。
实际机器人1设置于作业空间内，并构成为进行由多个工序构成的一系列作业。此外，作为由多个工序构成的一系列作业，能够例示出针对产品的部件的组装、涂装等作业。
本实施方式1的实际机器人1是在通过流水线生产方式或者单元生产方式组装电气、电子部件等而生产产品的生产工厂中利用，且沿着设置于该生产工厂的作业台配置，并能够相对于作业台上的工件进行移送、零件的组装或者改变配置、姿势变换等作业中的至少一个的多关节机器人。其中，实际机器人1的实施方式不限定于上述情况，不限于水平多关节型还是垂直多关节型，能够广泛应用于多关节机器人。
此处，参照图2，对实际机器人1的具体结构进行说明。
图2是表示图1所示的机器人系统的实际机器人的概略结构的示意图。
如图2所示，实际机器人1是具有多个连杆(此处第1连杆11a～第6连杆11f)的连接体、多个关节(此处第1关节JT1～第6关节JT6)、以及支承这些的基台15的多关节机器人臂。
对于第1关节JT1而言，基台15与第1连杆11a的基端部以能够绕沿垂直方向延伸的轴旋转的方式连结。对于第2关节JT2而言，第1连杆11a的末端部与第2连杆11b的基端部以能够绕沿水平方向延伸的轴旋转的方式连结。对于第3关节JT3而言，第2连杆11b的末端部与第3连杆11c的基端部以能够绕沿水平方向延伸的轴旋转的方式连结。
另外，对于第4关节JT4而言，第3连杆11c的末端部与第4连杆11d的基端部以能够绕沿第4连杆11d的长度方向延伸的轴旋转的方式连结。对于第5关节JT5而言，第4连杆11d的末端部与第5连杆11e的基端部以能够绕与第4连杆11d的长度方向正交的轴旋转的方式连结。对于第6关节JT6而言，第5连杆11e的末端部与第6连杆11f的基端部以能够扭转旋转的方式连结。
而且，在第6连杆11f的末端部设置有机械接口。在该机械接口以能够拆装的方式安装有与作业内容对应的末端执行器12。
另外，在第1关节JT1～第6关节JT6分别设置有作为使各关节所连结的2个部件相对旋转的促动器的一个例子的驱动马达(未图示)。驱动马达例如也可以是通过控制装置4而伺服控制的伺服马达。另外，在第1关节JT1～第6关节JT6分别设置有检测驱动马达的旋转位置的旋转传感器、和对控制驱动马达的旋转的电流进行检测的电流传感器(均未图示)。旋转传感器例如也可以是编码器。
操作器2是接受来自操作者的操作指示的装置。作为操作器2，例如可举出，移动终端、触摸面板、主臂、示教器、操纵杆或者声音输入器等。作为移动终端，例如可举出，平板电脑、智能手机、笔记本电脑等。另外，操作器2也可以具备用于对显示装置6切换虚拟机器人3的显示/非显示的切换器(例如按钮等)。
存储装置5是可读写的记录介质，并存储有任务程序51和机器人系统100的动作定序信息52。此外，对于本实施方式1的机器人系统100而言，存储装置5与控制装置4分开独立设置，但也可以与控制装置4作为一体而设置。
任务程序51例如通过操作者使用由示教器等构成的操作器2进行示教而作成，与实际机器人1的识别信息和任务相对应地储存于存储装置5。此外，任务程序51也可以作为按每个作业的动作流程而作成。
动作定序信息52是与对在作业空间内由实际机器人1实施的一系列作业工序进行规定的动作定序相关的信息。在动作定序信息52中，作业工序的动作顺序与实际机器人1的控制模式相对应。另外，在动作定序信息52中，相对于各作业工序，对应建立有用于使实际机器人1自动地执行其作业的任务程序。此外，也可以是，动作定序信息52包括相对于各作业工序，用于使实际机器人1自动地执行其作业的程序。
另外，在本实施方式1中，在作业空间内配设有相机8。具体而言，相机8配设于构成作业空间的壁面(侧壁面)。相机8构成为将拍摄到的包含实际机器人1的影像信息向控制装置4输出。此外，相机8也可以不配设于作业空间内。例如，相机8也可以是在操作者携带的移动终端或者头部佩戴显示器等设置的相机。
控制装置4对实际机器人1的动作进行控制。控制装置4能够通过例如由微型控制器、MPU、PLC(Programmable Logic Controller)、逻辑电路等构成的运算部(未图示)；和由ROM或者RAM等构成的存储部(未图示)构成。另外，控制装置4具备的各功能模块能够通过控制装置4的运算部读出并执行储存于存储部(存储器)或者存储装置5的程序来实现。
此外，控制装置4不仅可以是由单独的控制装置构成的形式，也可以是由多个控制装置配合地执行实际机器人1(机器人系统100)的控制的控制装置组构成的形式。
另外，控制装置4也可以使用预先由三维CAD作成的表示实际机器人1的三维模型的数据而使虚拟机器人3显示于显示装置6。另外，控制装置4也可以使用通过三维扫描仪等扫描了实际机器人1而得到的图像数据而使虚拟机器人3显示于显示装置6。
显示装置6构成为显示由在作业空间内(例如顶棚、侧壁面、实际机器人1的末端部等)设置的相机8拍摄到的影像(影像信息)和从控制装置4输出的影像信息(例如虚拟机器人3)。显示装置6也可以由固定于桌子、地板等而使用的固定式显示器构成。另外，显示装置6也可以是以能够供操作者视认物理的真实世界的方式构成的透射式显示装置。此外，在本实施方式1中，显示装置6由固定式显示器构成。
[机器人系统的动作以及作用效果]
接下来，参照图1～图7对本实施方式1的机器人系统100的动作以及作用效果进行说明。此外，以下的动作通过控制装置4的运算部读出储存于存储部或者存储装置5的程序来执行。另外，以下，如图4～图7所示，作为本实施方式1的机器人系统100的动作的具体例，对使实际机器人1所保持的筒状工件20嵌插于在基台21设置的突起部21a的动作进行说明。
图3是表示本实施方式1的机器人系统的动作的一个例子的流程图。图4～图7是表示在本实施方式1的机器人系统中的显示装置显示的影像信息的示意图。
此外，在图4、图7中，由单点划线表示虚拟机器人3以及虚拟工件，为了容易观察实际机器人1的影像信息1A和虚拟机器人3，将虚拟机器人3与实际机器人1的影像信息1A错开显示。
如图3所示，控制装置4对是否从操作器2输入表示开始实际机器人1的操作的操作开始信息(操作开始信号)进行判定(步骤S101)。
控制装置4在判定为没有从操作器2输入操作开始信息的情况下(步骤S101否)，结束本程序。此外，控制装置4在结束了本程序的情况下例如50msec后再次执行本程序。另一方面，控制装置4在判断为从操作器2输入操作开始信息的情况下(步骤S101是)，执行步骤S102的处理。
在步骤S102中，控制装置4使虚拟机器人3、虚拟工件以及相机8拍摄到的包含实际机器人1的影像信息1A显示于显示装置6。此时，控制装置4也可以使与实际机器人1保持的工件20对应的虚拟工件显示于显示装置6。另外，控制装置4也可以以使虚拟机器人3重叠于操作者正视认的实际机器人1的方式使虚拟机器人3显示于显示装置6。
此外，控制装置4也可以以使虚拟机器人3与实际机器人1完全重叠的方式使虚拟机器人3显示于显示装置6，也可以以虚拟机器人3与实际机器人1稍微错开的方式使虚拟机器人3显示于显示装置6，也可以以虚拟机器人3完全不与实际机器人1重叠的方式使虚拟机器人3显示于显示装置6。
接下来，控制装置4判定是否从操作器2输入针对实际机器人1的指示信息(步骤S103)。此处，作为指示信息，例如可举出，实际机器人1的末端部的位置坐标、构成实际机器人1的各轴的旋转角度等。
控制装置4在判断为从操作器2输入了指示信息的情况下(步骤S103是)，基于步骤S103中输入的指示信息使显示于显示装置6的虚拟机器人3动作(步骤S104)。接着，控制装置4将用于向操作者询问是否使实际机器人1动作的询问信息显示于显示装置6(步骤S105)。作为询问信息，例如可举出，“使实际机器人1动作吗？”等文字信息。
接下来，控制装置4判定从操作器2输入了表示执行实际机器人1的动作的动作执行信息、还是表示不执行实际机器人1的动作的动作不执行信息(步骤S106)。
此处，如图5所示，作为基于步骤S103中输入的指示信息使显示于显示装置6的虚拟机器人3动作的结果，筒状工件20与突起部21a碰撞。可容易地理解，在这样的情况下，作业者若根据步骤S103中输入的指示信息使实际机器人1实际动作，则筒状工件20与突起部21a碰撞。
因此，操作者操作操作器2，不基于步骤S103中输入的指示信息使实际机器人1动作。由此，控制装置4从操作器2输入动作不执行信息(步骤S106中动作不执行)，控制装置4返回步骤S103，重复再次从操作器2输入指示信息(步骤S103)、和使虚拟机器人3动作(步骤S104)之类的步骤S103～步骤S106的处理。
另一方面，如图6所示，作为基于步骤S103中输入的指示信息使显示于显示装置6的虚拟机器人3动作的结果，筒状工件20位于突起部21a的上方(正上方)。可容易地理解，在这样的情况下，即便操作者根据步骤S103中输入的指示信息使实际机器人1实际动作，也不会产生问题。
因此，操作者以基于步骤S103中输入的指示信息使实际机器人1动作的方式操作操作器2。由此，控制装置4从操作器2输入动作执行信息(步骤S106中动作执行)，控制装置4基于步骤S103中输入的指示信息使实际机器人1动作(步骤S107)。作为其结果，如图7所示，实际机器人1以使筒状工件20位于突起部21a的上方(正上方)的方式进行动作。
接下来，控制装置4判定从操作器2输入了表示继续进行实际机器人1的操作的操作继续进行信息、还是输入了表示结束实际机器人1的操作的操作结束信息(步骤S108)。
控制装置4在判定为从操作器2输入了操作继续进行信息的情况下(步骤S108中操作继续进行信息输入)，执行步骤S103～步骤S108的各处理，至判定为输入了操作结束信息为止。另一方面，控制装置4在判定为从操作器2输入了操作结束信息的情况下(步骤S108中操作结束信息输入)，结束本程序。
此外，在本实施方式1中，控制装置4采用在步骤S102中使虚拟机器人3和由相机8拍摄到的包含实际机器人1的影像信息1A显示于显示装置6的形式，但不限定于此。控制装置4也可以采用在开始本程序前或者开始本程序后使由相机8拍摄到的包含实际机器人1的影像信息1A显示于显示装置6的形式。
对于这样构成的本实施方式1的机器人系统100而言，控制装置4若从操作器2输入指示信息，则在使实际机器人1动作前，使显示于显示装置6的虚拟机器人3动作。由此，可容易地理解在实际机器人1基于操作者输入的指示信息进行了动作的情况下实际机器人1动作后的状态，可容易地理解实际机器人1是否与配置于作业空间内的设备等接触等。
因此，操作者不需要为了防止与配置于作业空间内的设备等接触等而使实际机器人1一点一点动作(操作)，能够减轻操作者的作业负担，能够提高作业效率。
(实施方式2)
本实施方式2的机器人系统在实施方式1的机器人系统的基础上，显示装置由以能够供操作者视认真实世界的方式构成的透射式显示装置构成。
另外，在本实施方式2的机器人系统中，也可以是，显示装置构成为能够佩戴于操作者。
以下，参照图8～图11对本实施方式2的机器人系统的一个例子进行说明。
[机器人系统的结构]
图8是表示本实施方式2的机器人系统的概略结构的框图。图9是表示图8所示的机器人系统的透射式显示装置的一个例子的示意图。图10以及图11是表示操作者经由本实施方式2的机器人系统的透射式显示装置视认的视野的示意图。
如图8所示，本实施方式2的机器人系统100基本结构与实施方式1的机器人系统100相同，但在显示装置6由以能够供操作者视认物理的真实世界的方式构成的透射式显示装置6A构成这点上不同。
如图9所示，透射式显示装置6A也可以通过具有用于映出从控制装置4输出的影像信息的显示部61、且由操作者随身使用的头部佩戴显示器或者眼镜而构成。另外，如图9所示，也可以在透射式显示装置6A设置有获得操作者正视认的真实世界的信息的相机62。此外，设置于透射式显示装置6A的相机62也可以作为相机8发挥功能。
另外，如图10以及图11所示，在透射式显示装置6A的显示部61，相机8拍摄到的包含实际机器人1的影像信息1A和虚拟机器人3作为影像画面30而显示。
[机器人系统的动作以及作用效果]
首先，如图10以及图11所示，在配置有实际机器人1的作业空间内，前方敞开的容器40配置于实际机器人1的基台15的深处。另外，相机8配设于构成作业空间的顶棚。
在这样的状态下，以下，作为本实施方式2的机器人系统100的动作的具体例，对将实际机器人1保持的板状的工件20向壳体40内搬运的动作进行说明。
此外，以下的动作通过控制装置4的运算部读出储存于存储部或者存储装置5的程序来执行，另外，控制装置4的运算部读出的程序的内容与实施方式1的机器人系统100相同，因此省略其流程的说明。
首先，操作者操作操作器2输入使第1关节JT1绕其轴心转动的指示信息(以下也有时称为第1指示信息)。于是，控制装置4根据所输入的第1指示信息，使虚拟机器人3动作，但如图10所示，导致实际机器人1把持的工件20与容器40碰撞。
因此，操作者可容易地理解若基于上述第1指示信息使实际机器人1实际动作，则工件20与容器40碰撞。另外，操作者可容易地理解为了避免与工件20的容器40之间的碰撞而需要使基台15与工件20之间的(水平方向上的)距离小于基台15与容器40之间的(水平方向上的)距离。而且，操作者可容易地理解为了使基台15与工件20之间的距离变小，而需要使第2关节JT2绕其轴心转动，并使第2连杆11b以与垂直方向大致平行的方式动作。
由此，操作者操作操作器2而向控制装置4输入使第1关节JT1绕其轴心转动并且使第2关节JT2绕其轴心转动的指示信息(以下也有时称为第2指示信息)。而且，控制装置4若根据所输入的第2指示信息使虚拟机器人3动作，则如图11所示，实际机器人1把持的工件20没有与容器40碰撞，而位于容器40的前方。
根据该结果，操作者操作操作器2将动作执行信息输入控制装置4，以使得实际机器人1基于第2指示信息动作。控制装置4在使虚拟机器人3显示于影像画面30的状态下基于第2指示信息使实际机器人1动作。
在这样构成的本实施方式2的机器人系统100中，也起到与实施方式1的机器人系统100相同的作用效果。
(实施方式3)
本实施方式3的机器人系统在实施方式1或者2的机器人系统的基础上，相机配设于实际机器人的末端部。
以下，参照图12～图14对本实施方式3的机器人系统的一个例子进行说明。
[机器人系统的结构]
图12～图14是表示操作者经由本实施方式3的机器人系统中的透射式显示装置视认的视野的示意图。此外，在图12～图14中，由单点划线表示虚拟机器人3以及虚拟工件20，为了容易观察实际机器人1和虚拟机器人3，将虚拟机器人3与实际机器人1错开显示。
如图12～图14所示，本实施方式3的机器人系统100基本结构与实施方式1的机器人系统100相同，但在相机8配设于实际机器人1的末端部(第6连杆11f)这点上不同。
另外，在本实施方式3中，作为显示装置6，使用透射式显示装置6A。作为透射式显示装置6A，也可以由操作者随身使用的头部佩戴显示器或者眼镜构成，也可以是固定式显示器。此外，作为显示装置6，也可以使用非透射式的固定式显示器。
[机器人系统的动作以及作用效果]
接下来，参照图12～图14对本实施方式3的机器人系统100的动作以及作用效果进行说明。
此外，以下的动作通过控制装置4的运算部读出储存于存储部或者存储装置5的程序来执行，但由于控制装置4的运算部读出的程序的内容与实施方式1的机器人系统100相同，所以省略其流程的说明。
另外，以下，如图12～图14所示，作为本实施方式3的机器人系统100的动作的具体例，与实施方式1的机器人系统100的动作同样，对使实际机器人1保持的筒状工件20嵌插于设置于基台21的突起部21a的动作进行说明。
首先，如图12所示，在透射式显示装置6A的显示部61，相机8拍摄到的包含实际机器人1的末端执行器12、工件20的影像信息1A、与虚拟机器人3以及虚拟机器人3把持的虚拟工件20A显示于影像画面30内。此外，图12中，成为工件20不位于突起部21a的上方的状态。
操作者操作操作器2而将使第1关节JT1～JT5绕其轴心转动的指示信息(以下也有时称为第3指示信息)输入控制装置4，以使得工件20位于突起部21a的上方。而且，控制装置4基于第3指示信息使显示于影像画面30的虚拟机器人3动作。图13示出其结果。
如图13所示，作为基于第3指示信息使虚拟机器人3动作的结果，操作者可容易地理解虚拟工件20A位于虚拟突起部210a的上方。
因此，操作者操作操作器2将动作执行信息输入控制装置4，以使得实际机器人1基于第3指示信息进行动作。而且，如图14所示，控制装置4在使虚拟机器人3显示于影像画面30的状态下基于第3指示信息使实际机器人1动作。
在这样构成的本实施方式3的机器人系统100中，也起到与实施方式1的机器人系统100相同的作用效果。
(实施方式4)
本实施方式4的机器人系统在实施方式1～3中任一个机器人系统的基础上，操作器由计测操作者的手的动作的计测器构成，控制装置构成为以与由计测器计测出的操作者的手的动作对应的方式使虚拟手显示于显示装置。
以下，参照图15以及图16对本实施方式4的机器人系统的一个例子进行说明。
[机器人系统的结构]
图15是表示本实施方式4的机器人系统的概略结构的框图。图16是表示本实施方式4的机器人系统中的显示装置所显示的影像信息的示意图。
如图15所示，本实施方式4的机器人系统100基本结构与实施方式1的机器人系统100相同，但在操作器2由计测操作者的手的动作的计测器构成这点上不同。作为计测操作者的手的动作的计测器，也可以是设置有各种传感器(例如加速度传感器、陀螺仪传感器)的手套(数据手套)，也可以是在操作者佩戴红外线传感器等传感器而由该传感器计测操作者的手的动作的Leap Mortion等设备。
另外，如图16所示，在本实施方式4的机器人系统100中，控制装置4构成为以与由计测器计测出的操作者的手的动作对应的方式使虚拟手7显示于显示装置6。由此，操作者能够通过虚拟手7保持并移动虚拟机器人3(直接教示)。
在这样构成的本实施方式4的机器人系统100中，也起到与实施方式1的机器人系统100相同的作用效果。
根据上述说明，本发明的许多改进或者其他实施方式对本领域技术人员是显而易见的。因此，上述说明应仅被理解为例示性的，以教示本领域技术人员的目的提供执行本发明的最佳的方式。能够在不脱离本发明的精神的情况下实质变更其构造以及/或者功能的详情。
工业上的可利用性
根据本发明的机器人系统及其运行方法，能够减轻操作者的负担而提高作业效率，因此在机器人的领域中有效。
附图标记说明
1...实际机器人；1A...影像信息；2...操作器；3...虚拟机器人；4...控制装置；5...存储装置；6...显示装置；6A...透射式显示装置；8...相机；11a...第1连杆；11b...第2连杆；11c...第3连杆；11d...第4连杆；11e...第5连杆；11f...第6连杆；12...末端执行器；15...基台；20...工件；20A...虚拟工件；21...基台；21a...突起部；30...影像画面；40...容器；51...任务程序；52...动作定序信息；61...显示部；62...相机；100...机器人系统；210a...虚拟突起部；JT1...第1关节；JT2...第2关节；JT3...第3关节；JT4...第4关节；JT5...第5关节；JT6...第6关节。

Claims (14)

1.一种机器人系统，其中，具备：
操作器，其接受来自操作者的操作指示；
实际机器人，其设置于作业空间内，进行由多个工序构成的一系列作业；
相机，其构成为拍摄所述实际机器人；
显示装置，其构成为显示所述相机拍摄到的所述实际机器人的影像信息和虚拟机器人；以及
控制装置，
所述控制装置构成为，在使所述相机拍摄到的所述实际机器人的影像信息和所述虚拟机器人显示于所述显示装置的状态下，基于从所述操作器输入的指示信息，使显示于所述显示装置的所述虚拟机器人动作，其后，将向所述操作者询问是否使所述实际机器人动作的询问信息显示于所述显示装置，其后若从所述操作器输入使所述实际机器人的动作执行的动作执行信息，则在使所述虚拟机器人显示于所述显示装置的状态下，使所述实际机器人动作。
2.根据权利要求1所述的机器人系统，其中，
所述控制装置构成为，所述虚拟机器人与由所述相机拍摄到的所述实际机器人的影像信息重叠地显示于所述显示装置，若从所述操作器输入所述指示信息，则基于该指示信息，使所述虚拟机器人动作。
3.根据权利要求1所述的机器人系统，其中，
所述相机配设于所述实际机器人的末端部。
4.根据权利要求1所述的机器人系统，其中，
所述操作器由移动终端、触摸面板、主臂、示教器、操纵杆以及声音输入器中的至少任一个设备构成。
5.根据权利要求1～4中任一项所述的机器人系统，其中，
所述操作器由计测所述操作者的手的动作的计测器构成，
所述控制装置构成为，使虚拟手以与由所述计测器计测出的所述操作者的手的动作对应的方式显示于所述显示装置。
6.根据权利要求1所述的机器人系统，其中，
所述显示装置由以能够供所述操作者视认真实世界的方式构成的透射式显示装置构成。
7.根据权利要求6所述的机器人系统，其中，
所述显示装置构成为能够佩戴于所述操作者。
8.一种机器人系统的运行方法，其中，
所述机器人系统具备：
操作器，其接受来自操作者的操作指示；
实际机器人，其设置于作业空间内，进行由多个工序构成的一系列作业；
相机，其构成为拍摄所述实际机器人；以及
显示装置，其构成为显示所述相机拍摄到的所述实际机器人的影像信息和虚拟机器人，
所述机器人系统的运行方法具备：
步骤A，其中，所述显示装置显示所述相机拍摄到的所述实际机器人的影像信息和所述虚拟机器人；
步骤B，其中，所述显示装置在所述步骤A后基于从所述操作器输入的指示信息显示所述虚拟机器人的动作；以及
步骤C，其中，在所述步骤B后，将向所述操作者询问是否使所述实际机器人动作的询问信息显示于所述显示装置，其后若从所述操作器输入使所述实际机器人的动作执行的动作执行信息，则在透射式显示装置显示了所述虚拟机器人的状态下，所述实际机器人基于从所述操作器输入的指示信息进行动作。
9.根据权利要求8所述的机器人系统的运行方法，其中，
在所述步骤A中，所述透射式显示装置以使所述虚拟机器人与所述实际机器人的影像信息重叠的方式进行显示。
10.根据权利要求8所述的机器人系统的运行方法，其中，
所述相机配设于所述实际机器人的末端部。
11.根据权利要求8所述的机器人系统的运行方法，其中，
所述操作器由移动终端、触摸面板、主臂、示教器、操纵杆以及声音输入器中的至少任一个设备构成。
12.根据权利要求8～11中任一项所述的机器人系统的运行方法，其中，
所述操作器由计测所述操作者的手的动作的计测器构成，
在所述步骤B中，所述显示装置以与由所述计测器计测出的所述操作者的手的动作对应的方式显示虚拟手，并显示所述虚拟机器人的动作。
13.根据权利要求8所述的机器人系统的运行方法，其中，
所述显示装置由以能够供所述操作者视认真实世界的方式构成的透射式显示装置构成。
14.根据权利要求13所述的机器人系统的运行方法，其中，
所述显示装置构成为能够佩戴于所述操作者。
CN201880056401.5A 2017-08-31 2018-08-27 机器人系统及其运行方法 Active CN111093903B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-167120 2017-08-31
JP2017167120A JP7066357B2 (ja) 2017-08-31 2017-08-31 ロボットシステム及びその運転方法
PCT/JP2018/031570 WO2019044766A1 (ja) 2017-08-31 2018-08-27 ロボットシステム及びその運転方法

Publications (2)

Publication Number Publication Date
CN111093903A CN111093903A (zh) 2020-05-01
CN111093903B true CN111093903B (zh) 2023-06-13

Family

ID=65524987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056401.5A Active CN111093903B (zh) 2017-08-31 2018-08-27 机器人系统及其运行方法

Country Status (4)

Country Link
US (1) US11370105B2 (zh)
JP (1) JP7066357B2 (zh)
CN (1) CN111093903B (zh)
WO (1) WO2019044766A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6787966B2 (ja) * 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置
US11762369B2 (en) * 2019-02-06 2023-09-19 Sensory Robotics, Inc. Robotic control via a virtual world simulation
JP7333197B2 (ja) * 2019-05-28 2023-08-24 川崎重工業株式会社 制御システム、機械装置システム及び制御方法
JP7339776B2 (ja) * 2019-05-28 2023-09-06 川崎重工業株式会社 制御システム、機械装置システム及び制御方法
JP7339806B2 (ja) * 2019-08-05 2023-09-06 川崎重工業株式会社 制御システム、ロボットシステム及び制御方法
JP7386451B2 (ja) 2019-10-03 2023-11-27 株式会社豆蔵 教示システム、教示方法及び教示プログラム
JP7396872B2 (ja) 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
DE102020201375B3 (de) * 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters
JP7462046B2 (ja) 2020-07-02 2024-04-04 川崎重工業株式会社 ロボットシステム
CN116922387B (zh) * 2023-07-31 2024-02-20 重庆越千创新科技有限公司 一种摄影机器人的实时控制方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3990262B2 (ja) * 2002-12-02 2007-10-10 ファナック株式会社 産業用ロボット
JP3805302B2 (ja) * 2002-12-13 2006-08-02 ファナック株式会社 ワーク取出し装置
CN101587329A (zh) * 2009-06-18 2009-11-25 北京理工大学 机器人预测的方法和系统
JP5218524B2 (ja) * 2010-03-15 2013-06-26 株式会社安川電機 ロボットシステムおよびロボット動作規制方法
JP2012218120A (ja) * 2011-04-12 2012-11-12 Seiko Epson Corp マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP6497953B2 (ja) 2015-02-03 2019-04-10 キヤノン株式会社 オフライン教示装置、オフライン教示方法及びロボットシステム
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
GB201504787D0 (en) * 2015-03-20 2015-05-06 Cambridge Medical Robotics Ltd User interface for a robot
US10076840B2 (en) * 2015-04-03 2018-09-18 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
JP6598191B2 (ja) 2015-05-15 2019-10-30 国立大学法人九州大学 画像表示システムおよび画像表示方法
JP2016221659A (ja) 2015-06-03 2016-12-28 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、プログラム、記録媒体及び物品の製造方法
KR102015522B1 (ko) * 2015-08-25 2019-08-28 카와사키 주코교 카부시키 카이샤 로봇시스템과 그 운전방법
KR102046598B1 (ko) 2015-12-07 2019-11-19 카와사키 주코교 카부시키 카이샤 로봇시스템 및 그 운전방법
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
CN106060058A (zh) * 2016-06-16 2016-10-26 华南理工大学 基于互联网的工业机器人远程控制方法
CN108214486A (zh) * 2016-12-22 2018-06-29 精工爱普生株式会社 控制装置、机器人及机器人系统
EP3338969A3 (en) * 2016-12-22 2018-07-25 Seiko Epson Corporation Control apparatus, robot and robot system
JP6880982B2 (ja) * 2017-04-21 2021-06-02 セイコーエプソン株式会社 制御装置およびロボットシステム
US10933533B2 (en) * 2017-06-23 2021-03-02 Kindred Systems Inc. Systems, devices, articles, and methods for stow verification
JP7071070B2 (ja) * 2017-08-02 2022-05-18 川崎重工業株式会社 ロボットシステム及びその運転方法

Also Published As

Publication number Publication date
WO2019044766A1 (ja) 2019-03-07
US11370105B2 (en) 2022-06-28
JP7066357B2 (ja) 2022-05-13
JP2019042843A (ja) 2019-03-22
CN111093903A (zh) 2020-05-01
US20210154826A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN111093903B (zh) 机器人系统及其运行方法
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
CN110394780B (zh) 机器人的仿真装置
EP3342561B1 (en) Remote control robot system
CN111093911B (zh) 机器人系统及其运行方法
US20150151431A1 (en) Robot simulator, robot teaching device, and robot teaching method
EP2055446A1 (en) A portable robot control apparatus and a method for controlling a movement of a robot
CN110505947B (zh) 机器人系统及其运行方法
CN108687767B (zh) 离线编程装置以及离线编程方法
CN114905487B (zh) 示教装置、示教方法以及记录介质
JP6905651B1 (ja) ロボットシステム及びワークの３次元モデルの形成方法
CN112041128B (zh) 机器人的教导方法和机器人的教导系统
JP7462046B2 (ja) ロボットシステム
JP7395990B2 (ja) 教示装置、制御方法および教示プログラム
CN114761180A (zh) 机器人系统
TW202037465A (zh) 機器人系統
CN114905486A (zh) 示教装置、示教方法及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant