CN111093911B - 机器人系统及其运行方法 - Google Patents

机器人系统及其运行方法 Download PDF

Info

Publication number
CN111093911B
CN111093911B CN201880050331.2A CN201880050331A CN111093911B CN 111093911 B CN111093911 B CN 111093911B CN 201880050331 A CN201880050331 A CN 201880050331A CN 111093911 B CN111093911 B CN 111093911B
Authority
CN
China
Prior art keywords
robot
operator
display device
virtual
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880050331.2A
Other languages
English (en)
Other versions
CN111093911A (zh
Inventor
渡边雅之
吉村高行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN111093911A publication Critical patent/CN111093911A/zh
Application granted granted Critical
Publication of CN111093911B publication Critical patent/CN111093911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

机器人系统具备：操作器(2)，其接受来自操作者的操作指示；真实机器人(1)，其设置于作业空间内，并进行由多个工序构成的一系列作业；透射式显示装置(6)，其构成为可供操作者视认现实世界，并构成为显示虚拟机器人(3)；以及控制装置(4)，控制装置(4)构成为，以从操作器(2)输入的指示信息为基础使显示于透射式显示装置(6)的虚拟机器人(3)动作，之后，若从操作器(2)输入执行真实机器人(1)的动作的动作执行信息，则一边维持使虚拟机器人(3)显示于透射式显示装置(6)的状态，一边使真实机器人(1)动作。

Description

机器人系统及其运行方法
技术领域
本发明涉及机器人系统及其运行方法。
背景技术
公知有一种机器人系统，其使用增强现实对应显示器对机器人的使用者提供在真实影像或者真实环境中与机器人的状态、操作指导相关的信息(例如参照专利文献1)。在专利文献1公开的机器人系统中，在显示器将机器人的状态或者操作指导与无法视觉表示的信息重叠显示。
专利文献1:日本特开2016-107379号公报
另外，在由操作者教导、操作使保持的工件嵌合于嵌合部的动作那样的情况下，需要防止工件与其他部分接触等而慎重地进行机器人的定位。
在上述专利文献1公开的机器人系统中，显示出以机器人的末端部为原点的直角坐标系，但仅根据该信息，进行定位是不充分的，对操作者的负担大，从提高作业效率的观点考虑还存在改善的余地。
发明内容
本发明是为了解决上述以往的课题而完成的，目的在于提供能够减轻操作者的负担而提高作业效率的机器人系统及其运行方法。
为了解决上述以往的课题，本发明所涉及的机器人系统具备：操作器，其接受来自操作者的操作指示；真实机器人，其设置于作业空间内，并进行由多个工序构成的一系列作业；透射式显示装置，其构成为可供上述操作者视认现实世界，并构成为显示虚拟机器人；以及控制装置，上述控制装置构成为，以从上述操作器输入的指示信息为基础使显示于上述透射式显示装置的上述虚拟机器人动作，之后，若从上述操作器输入使上述真实机器人的动作开始的开始信息，则一边维持使上述虚拟机器人显示于上述透射式显示装置的状态，一边使上述真实机器人动作。
由此，虚拟机器人在真实机器人动作前以指示信息为基础进行动作，因此能够在视觉上掌握动作后的位置。因此，能够容易判断例如真实机器人主体以及/或者真实机器人所把持的工件是否与配置于作业空间内的设备等接触等，能够容易地进行真实机器人的末端部的定位。因此，能够减轻操作者的负担而提高作业效率。
另外，对于本发明所涉及的机器人系统的运行方法而言，上述机器人系统具备：操作器，其接受来自操作者的操作指示；真实机器人，其设置于作业空间内，并进行由多个工序构成的一系列作业；以及透射式显示装置，其构成为可供上述操作者视认现实世界，并构成为显示虚拟机器人，上述机器人系统的运行方法具备以下步骤：(A)，上述透射式显示装置以从上述操作器输入的指示信息为基础使上述虚拟机器人动作；和(B)，在上述(A)后，若从上述操作器输入使上述真实机器人的动作开始的开始信息，则上述透射式显示装置维持使上述虚拟机器人显示的状态，上述真实机器人以从上述操作器输入的指示信息为基础进行动作。
由此，虚拟机器人在真实机器人动作前以指示信息为基础进行动作，因此能够在视觉上掌握动作后的位置。因此，能够容易判断例如真实机器人主体以及/或者真实机器人把持的工件是否与配置于作业空间内的设备等接触等，能够容易进行真实机器人的末端部的定位。因此，能够减轻操作者的负担而提高作业效率。
根据本发明的机器人系统及其运行方法，能够减轻操作者的负担而提高作业效率。
附图说明
图1是表示本实施方式1所涉及的机器人系统的概略结构的框图。
图2是表示图1所示的机器人系统的透射式显示装置的一个例子的示意图。
图3是表示图1所示的机器人系统的真实机器人的概略结构的示意图。
图4是表示本实施方式1所涉及的机器人系统的动作的一个例子的流程图。
图5是表示操作者经由本实施方式1所涉及的机器人系统的透射式显示装置而视认的视野的示意图。
图6是表示操作者经由本实施方式1所涉及的机器人系统的透射式显示装置而视认的视野的示意图。
图7是表示操作者经由本实施方式1所涉及的机器人系统的透射式显示装置而视认的视野的示意图。
图8是表示操作者经由本实施方式1所涉及的机器人系统的透射式显示装置而视认的视野的示意图。
图9是表示本实施方式2所涉及的机器人系统的概略结构的框图。
图10是表示操作者经由本实施方式2所涉及的机器人系统的透射式显示装置而视认的视野的示意图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。此外，在所有附图中，对相同或者相当部分标注相同附图标记，省略重复的说明。另外，在所有附图中，摘录图示出用于对本发明进行说明的构成要素，有时针对其他构成要素省略图示。并且，本发明不限定于以下的实施方式。
(实施方式1)
本实施方式1所涉及的机器人系统具备：操作器，其接受来自操作者的操作指示；真实机器人，其设置于作业空间内，并进行由多个工序构成的一系列作业；透射式显示装置，其构成为可供操作者视认物理的现实世界，并构成为显示虚拟机器人；以及控制装置，控制装置构成为，以从操作器输入的指示信息为基础使显示于透射式显示装置的虚拟机器人动作，之后，若从操作器输入执行真实机器人的动作的动作执行信息，则一边维持使虚拟机器人显示于透射式显示装置的状态，一边使真实机器人动作。
另外，在本实施方式1所涉及的机器人系统中，也可以是，控制装置构成为，使虚拟机器人与真实机器人重叠地显示于透射式显示装置，若从操作器输入指示信息，则以该指示信息为基础使虚拟机器人动作。
另外，在本实施方式1所涉及的机器人系统中，也可以是，操作器由移动终端、主臂、示教器、操纵杆以及声音输入器中的至少任一个设备构成。
并且，在本实施方式1所涉及的机器人系统中，也可以是，透射式显示装置能够佩戴于操作者。
以下，参照图1～图8对本实施方式1所涉及的机器人系统的一个例子进行说明。
[机器人系统的结构]
图1是表示本实施方式1所涉及的机器人系统的概略结构的框图。图2是表示图1所示的机器人系统的透射式显示装置的一个例子的示意图。
如图1所示，本实施方式1所涉及的机器人系统100具备真实机器人1、操作器2、控制装置4、存储装置5以及透射式显示装置6，并构成为通过操作者操作操作器2而使真实机器人1动作。另外，本实施方式1所涉及的机器人系统100构成为，若操作者操作操作器2，则控制装置4使显示于透射式显示装置6的虚拟机器人3(参照图5)动作，之后，若从操作器2输入执行真实机器人1的动作的动作执行信息，则以使虚拟机器人3显示于透射式显示装置6的状态执行真实机器人1的动作。以下，对本实施方式1所涉及的机器人系统100具备的各设备进行说明。
真实机器人1设置于作业空间内，并构成为进行由多个工序构成的一系列作业。此外，作为由多个工序构成的一系列作业，能够例示出部件相对于产品的组装、涂装等作业。
本实施方式1所涉及的真实机器人1是多关节机器人，在以生产线生产方式或者单元生产方式组装电气、电子部件等而生产产品的生产工厂中被利用，沿着设置于该生产工厂的作业台配置，能够针对作业台上的工件进行移送、零件的组装或者配置改变、姿势变换等作业中的至少一个作业。其中，真实机器人1的实施方式不限定于上述情况，能够不限于水平多关节型、垂直多关节型而广泛应用于多关节机器人。
此处，参照图3对真实机器人1的具体结构进行说明。
图3是表示图1所示的机器人系统的真实机器人的概略结构的示意图。
如图3所示，真实机器人1是具有多个连杆(此处第1连杆11a～第6连杆11f)的连接体、多个关节(此处第1关节JT1～第6关节JT6)以及支承这些部件的基台15的多关节机器人臂。
在第1关节JT1处，基台15与第1连杆11a的基端部以能够绕沿铅垂方向延伸的轴旋转的方式连结。在第2关节JT2处，第1连杆11a的末端部与第2连杆11b的基端部以能够绕沿水平方向延伸的轴旋转的方式连结。在第3关节JT3处，第2连杆11b的末端部与第3连杆11c的基端部以能够绕沿水平方向延伸的轴旋转的方式连结。
另外，在第4关节JT4处，第3连杆11c的末端部与第4连杆11d的基端部以能够绕沿第4连杆11d的长边方向延伸的轴旋转的方式连结。在第5关节JT5处，第4连杆11d的末端部与第5连杆11e的基端部以能够绕与第4连杆11d的长边方向正交的轴旋转的方式连结。在第6关节JT6处，第5连杆11e的末端部与第6连杆11f的基端部以能够扭转旋转的方式连结。
而且，在第6连杆11f的末端部设置有机械接口。在该机械接口以能够拆装的方式安装有与作业内容对应的末端执行器12。
另外，在第1关节JT1～第6关节JT6分别设置有作为使各关节连结的两个构件相对旋转的促动器的一个例子的驱动马达(未图示)。驱动马达例如也可以是由控制装置4伺服控制的伺服马达。另外，在第1关节JT1～第6关节JT6分别设置有对驱动马达的旋转位置进行检测的旋转传感器、和对控制驱动马达的旋转的电流进行检测的电流传感器(均未图示)。旋转传感器例如也可以是编码器。
操作器2是设置于作业空间外并接受来自操作者的操作指示的装置。作为操作器2，例如可举出移动终端、主臂、示教器、操纵杆或者声音输入器等。作为移动终端，例如可举出平板电脑、智能手机、笔记本电脑等。另外，操作器2也可以具备用于在透射式显示装置6切换虚拟机器人3的显示/非显示的切换器(例如按钮等)。
存储装置5是能够读写的记录介质，存储有任务程序51和机器人系统100的动作顺序信息52。此外，在本实施方式1所涉及的机器人系统100中，存储装置5与控制装置4分体设置，但也可以与控制装置4作为一体而设置。
任务程序51例如通过操作者使用由示教器等构成的操作器2、进行示教而制成，并与真实机器人1的识别信息和任务相对应而储存于存储装置5。此外，任务程序51也可以作为按每个作业的动作流程而制成。
动作顺序信息52是与对在作业空间内由真实机器人1实施的一系列作业工序进行了规定的动作顺序相关的信息。在动作顺序信息52中，作业工序的动作顺序和真实机器人1的控制模式建立对应。另外，在动作顺序信息52中，针对各作业工序对应建立用于使真实机器人1自动地执行该作业的任务程序。此外，动作顺序信息52也可以包括用于使真实机器人1针对各作业工序而自动地执行该作业的程序。
控制装置4对真实机器人1的动作进行控制。控制装置4能够通过例如由微型控制器、MPU、PLC(Programmable Logic Controller)、逻辑电路等构成的运算部(未图示)、和由ROM或者RAM等构成的存储部(未图示)构成。另外，控制装置4具备的各功能模块能够通过控制装置4的运算部读出并执行储存于存储部(存储器)或者存储装置5的程序来实现。
此外，控制装置4不仅可以是由单独的控制装置构成的形式，还可以是由多个控制装置配合来执行真实机器人1(机器人系统100)的控制的控制装置组构成的形式。
另外，控制装置4也可以使用预先由三维CAD制成的表示真实机器人1的三维模型的数据使虚拟机器人3显示于透射式显示装置6。另外，控制装置4也可以使用通过三维扫描仪等扫描真实机器人1所形成的图像数据使虚拟机器人3显示于透射式显示装置6。
透射式显示装置6构成为可供操作者视认物理的现实世界，并构成为显示从控制装置4输出的影像信息(例如虚拟机器人3)。具体而言，如图2所示，也可以是，透射式显示装置6具有用于放映从控制装置4输出的影像信息的显示部6a，并且以操作者佩戴使用的头戴显示器或者眼镜的形式构成。另外，透射式显示装置6也可以由放置于桌子、地面等而使用的固定式的透射显示器构成。
此外，如图2所示，也可以在透射式显示装置6设置有获取操作者视认的现实世界的信息的相机6b。
[机器人系统的动作以及作用效果]
接下来，参照图1～图8对本实施方式1所涉及的机器人系统100的动作以及作用效果进行说明。
此外，以下的动作通过控制装置4的运算部读出储存于存储部或者存储装置5的程序来执行。另外，以下，如图5～图8所示，作为本实施方式1所涉及的机器人系统100的动作的具体例，针对使真实机器人1保持的筒状工件20嵌插于在基台21设置的突起部21a的动作进行说明。
图4是表示本实施方式1所涉及的机器人系统的动作的一个例子的流程图。图5～图8是表示操作者经由本实施方式1所涉及的机器人系统的透射式显示装置而视认的视野的示意图。此外，在图5、图8中，通过单点划线表示虚拟机器人3以及虚拟工件，为了容易观察真实机器人1和虚拟机器人3，将虚拟机器人3与真实机器人1错开显示。
如图4所示，控制装置4对是否从操作器2输入了表示开始真实机器人1的操作的操作开始信息(操作开始信号)进行判定(步骤S101)。
控制装置4在判定为没有从操作器2输入操作开始信息的情况下(步骤S101中否)，结束本程序。此外，控制装置4在结束了本程序的情况下例如50msec后再次执行本程序。另一方面，控制装置4在判定为从操作器2输入了操作开始信息的情况下(步骤S101中是)，执行步骤S102的处理。
在步骤S102中，控制装置4使虚拟机器人3显示于透射式显示装置6。此时，控制装置4也可以使与真实机器人1保持的工件20对应的虚拟工件显示于透射式显示装置6。另外，也可以是，控制装置4以使虚拟机器人3与操作者视认的真实机器人1重叠的方式使虚拟机器人3显示于透射式显示装置6。
此外，控制装置4也可以以使虚拟机器人3完全与真实机器人1重叠的方式使虚拟机器人3显示于透射式显示装置6，也可以以使虚拟机器人3与真实机器人1稍微错开的方式使虚拟机器人3显示于透射式显示装置6，也可以以使虚拟机器人3完全不与真实机器人1重叠的方式使虚拟机器人3显示于透射式显示装置6。
接下来，控制装置4对是否从操作器2输入了对真实机器人1的指示信息进行判定(步骤S103)。此处，作为指示信息，例如可举出，真实机器人1的末端部的位置坐标、构成真实机器人1的各轴的旋转角度等。
控制装置4在判定为从操作器2输入了指示信息的情况下(步骤S103中是)，以步骤S103中输入的指示信息为基础使显示于透射式显示装置6的虚拟机器人3动作(步骤S104)。接着，控制装置4将用于询问操作者是否使真实机器人1动作的询问信息显示于透射式显示装置6(步骤S105)。作为询问信息，例如可举出，“使真实机器人1动作吗？”等文字信息。
接下来，控制装置4对是否从操作器2输入了表示执行真实机器人1的动作的动作执行信息、还是输入了表示不执行真实机器人1的动作的动作不执行信息进行判定(步骤S106)。
此处，如图6所示，假设以步骤S103中输入的指示信息为基础使显示于透射式显示装置6的虚拟机器人3动作，结果筒状工件20与突起部21a碰撞。这样的情况，作业者能够容易理解若根据步骤S103中输入的指示信息使真实机器人1实际动作则筒状工件20将与突起部21a碰撞。
因此，操作者操作操作器2，以使得真实机器人1不以步骤S103中输入的指示信息为基础而动作。由此，从操作器2对控制装置4输入动作不执行信息(步骤S106中动作不执行)，控制装置4返回步骤S103，若从操作器2再次输入指示信息(步骤S103)，则重复使虚拟机器人3动作(步骤S104)之类的步骤S103～步骤S106的处理。
另一方面，如图7所示，假设以步骤S103中输入的指示信息为基础使显示于透射式显示装置6的虚拟机器人3动作，结果筒状工件20位于突起部21a的上方(正上方)。在这样的情况下，操作者能够容易理解即便根据步骤S103中输入的指示信息使真实机器人1实际动作，也不会产生问题。
因此，操作者操作操作器2，以使得真实机器人1以步骤S103中输入的指示信息为基础进行动作。由此，从操作器2对控制装置4输入动作执行信息(步骤S106中动作执行)，控制装置4使真实机器人1以步骤S103中输入的指示信息为基础进行动作(步骤S107)。作为其结果，如图8所示，真实机器人1进行动作，以使得筒状工件20位于突起部21a的上方(正上方)。
接下来，控制装置4对是否从操作器2输入了表示继续进行真实机器人1的操作的操作继续进行信息、还是输入了表示结束真实机器人1的操作的操作结束信息进行判定(步骤S108)。
控制装置4在判定为从操作器2输入了操作继续进行信息的情况下(步骤S108中输入操作继续进行信息)，执行步骤S103～步骤S108的各处理，直至判定为输入了操作结束信息为止。另一方面，控制装置4在判定为从操作器2输入了操作结束信息的情况下(步骤S108中输入操作结束信息)，结束本程序。
在这样构成的本实施方式1所涉及的机器人系统100中，控制装置4若从操作器2输入指示信息，则在使真实机器人1动作前，使显示于透射式显示装置6的虚拟机器人3动作。由此，操作者能够容易理解在真实机器人1以输入的指示信息为基础而动作的情况下真实机器人1的动作后的状态，能够容易理解真实机器人1是否与配置于作业空间内的设备等接触等。
因此，操作者不需要以防止与配置于作业空间内的设备等接触等的方式使真实机器人1一点点动作(操作)，能够减轻操作者的作业负担，能够提高作业效率。
此外，在本实施方式1中，控制装置4采用在透射式显示装置6中相对于操作者视认的真实机器人1而重叠显示虚拟机器人3的形式，但不限定于此。
(实施方式2)
本实施方式2所涉及的机器人系统构成为，在实施方式1所涉及的机器人系统中，操作器由测量操作者的手的动作的测量器构成，控制装置以与由测量器测量出的操作者的手的动作对应的方式使虚拟手显示于透射式显示装置。
以下，参照图9以及图10对本实施方式2所涉及的机器人系统的一个例子进行说明。
[机器人系统的结构]
图9是表示本实施方式2所涉及的机器人系统的概略结构的框图。图10是表示操作者经由本实施方式2所涉及的机器人系统的透射式显示装置而视认的视野的示意图。
如图9所示，本实施方式2所涉及的机器人系统100基本结构与实施方式1所涉及的机器人系统100相同，但在操作器2由测量操作者的手的动作的测量器构成这点不同。作为测量操作者的手的动作的测量器，也可以是设置有各种传感器(例如加速度传感器、陀螺仪传感器)的手套(数据手套)，也可以是在操作者安装红外线传感器等传感器并使该传感器测量操作者的手的动作的体感遥控器(Leap Mortion)等设备。
另外，如图10所示，本实施方式2所涉及的机器人系统100构成为，控制装置4以与由测量器测量出的操作者的手的动作对应的方式使虚拟手7显示于透射式显示装置6。由此，操作者能够通过虚拟手7保持虚拟机器人3并使其动作(直接教示)。
这样构成的本实施方式2所涉及的机器人系统100也可起到与实施方式1所涉及的机器人系统100相同的作用效果。
根据上述说明，本发明的许多改进或者其他实施方式对于本领域技术人员是显而易见的。因此，上述说明应仅被解释为例示，并以教示本领域技术人员的目的提供执行本发明的最佳的方式。能够不脱离本发明的精神地实质变更其构造以及/或者功能的详情。
工业上的可利用性
根据本发明的机器人系统及其运行方法，能够减轻操作者的负担而提高作业效率，因此在机器人的领域中有效。
附图标记说明
1...真实机器人；2...操作器；3...虚拟机器人；4...控制装置；5...存储装置；6...透射式显示装置；6a...显示部；6b...相机；7...虚拟手；11a...第1连杆；11b...第2连杆；11c...第3连杆；11d...第4连杆；11e...第5连杆；11f...第6连杆；15...基台；20...筒状工件；21...基台；21a...突起部；51...任务程序；52...动作顺序信息；100...机器人系统；JT1...第1关节；JT2...第2关节；JT3...第3关节；JT4...第4关节；JT5...第5关节；JT6...第6关节。

Claims (6)

1.一种机器人系统，其特征在于，具备：
操作器，其接受来自操作者的操作指示，并且由测量所述操作者的手的动作的测量器构成；
真实机器人，其设置于作业空间内，并进行由多个工序构成的一系列作业；
透射式显示装置，其构成为可供所述操作者视认现实世界，并构成为显示虚拟机器人；以及
控制装置，
所述控制装置构成为，以从所述操作器输入的指示信息为基础使显示于所述透射式显示装置的所述虚拟机器人动作，并且以与由所述测量器测量出的所述操作者的手的动作对应的方式使虚拟手显示于所述透射式显示装置，当从所述操作器输入所述指示信息时，首先使所述虚拟机器人动作，之后将用于询问所述操作者是否使所述真实机器人动作的询问信息显示于所述透射式显示装置，若所述操作者使用所述操作器输入执行所述真实机器人的动作的动作执行信息，则一边维持使所述虚拟机器人显示于所述透射式显示装置的状态，一边使所述真实机器人以在使所述虚拟机器人动作时输入的所述指示信息为基础进行动作，
所述虚拟机器人通过以从所述操作器输入的指示信息为基础被所述虚拟手保持并移动而进行直接教示。
2.根据权利要求1所述的机器人系统，其特征在于，
所述控制装置构成为，使所述虚拟机器人与所述真实机器人重叠地显示于所述透射式显示装置。
3.根据权利要求1所述的机器人系统，其特征在于，
所述透射式显示装置构成为能够佩戴于所述操作者。
4.一种机器人系统的运行方法，其特征在于，
所述机器人系统具备：
操作器，其接受来自操作者的操作指示，并且由测量所述操作者的手的动作的测量器构成；
真实机器人，其设置于作业空间内，并进行由多个工序构成的一系列作业；以及
透射式显示装置，其构成为可供所述操作者视认现实世界，并构成为显示虚拟机器人，
所述虚拟机器人通过以从所述操作器输入的指示信息为基础被虚拟手保持并移动而进行直接教示，
所述机器人系统的运行方法具备以下步骤：
步骤A，所述透射式显示装置以从所述操作器输入的所述指示信息为基础显示所述虚拟机器人的动作，并且以与由所述测量器测量出的所述操作者的手的动作对应的方式显示所述虚拟手，其中当从所述操作器输入所述指示信息时，使所述虚拟机器人动作；和
步骤B，在所述步骤A后，所述透射式显示装置显示用于询问所述操作者是否使所述真实机器人动作的询问信息，若所述操作者使用所述操作器输入执行所述真实机器人的动作的动作执行信息，则所述透射式显示装置在显示了所述虚拟机器人的状态下使所述真实机器人以在使虚拟机器人动作时输入的所述指示信息为基础进行动作。
5.根据权利要求4所述的机器人系统的运行方法，其特征在于，
在所述步骤A中，所述透射式显示装置使所述虚拟机器人与所述真实机器人重叠地显示。
6.根据权利要求4或5所述的机器人系统的运行方法，其特征在于，
所述透射式显示装置构成为能够佩戴于所述操作者。
CN201880050331.2A 2017-08-02 2018-07-27 机器人系统及其运行方法 Active CN111093911B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-149757 2017-08-02
JP2017149757A JP7071070B2 (ja) 2017-08-02 2017-08-02 ロボットシステム及びその運転方法
PCT/JP2018/028251 WO2019026790A1 (ja) 2017-08-02 2018-07-27 ロボットシステム及びその運転方法

Publications (2)

Publication Number Publication Date
CN111093911A CN111093911A (zh) 2020-05-01
CN111093911B true CN111093911B (zh) 2024-02-09

Family

ID=65233963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050331.2A Active CN111093911B (zh) 2017-08-02 2018-07-27 机器人系统及其运行方法

Country Status (4)

Country Link
US (1) US11865697B2 (zh)
JP (1) JP7071070B2 (zh)
CN (1) CN111093911B (zh)
WO (1) WO2019026790A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7066357B2 (ja) * 2017-08-31 2022-05-13 川崎重工業株式会社 ロボットシステム及びその運転方法
JP7187985B2 (ja) * 2018-10-30 2022-12-13 セイコーエプソン株式会社 制御装置およびロボットシステム
JP7396872B2 (ja) 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
DE102020201375B3 (de) * 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002361581A (ja) * 2001-06-08 2002-12-18 Ricoh Co Ltd 作業自動化装置、作業自動化方法およびその方法を記憶した記憶媒体
JP2009119579A (ja) * 2007-11-16 2009-06-04 Canon Inc 情報処理装置、情報処理方法
JP2012218120A (ja) * 2011-04-12 2012-11-12 Seiko Epson Corp マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8095239B2 (en) * 2008-09-29 2012-01-10 North End Technologies, Inc Method and apparatus for controlling the motion of a robotic device
JP2011118924A (ja) * 2011-02-17 2011-06-16 Kyokko Denki Kk 多関節構造体、それを用いた装着具、システムおよびヒューマンマシンインターフェース
WO2013039551A1 (en) * 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US9916506B1 (en) * 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002361581A (ja) * 2001-06-08 2002-12-18 Ricoh Co Ltd 作業自動化装置、作業自動化方法およびその方法を記憶した記憶媒体
JP2009119579A (ja) * 2007-11-16 2009-06-04 Canon Inc 情報処理装置、情報処理方法
JP2012218120A (ja) * 2011-04-12 2012-11-12 Seiko Epson Corp マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2019025620A (ja) 2019-02-21
US11865697B2 (en) 2024-01-09
JP7071070B2 (ja) 2022-05-18
WO2019026790A1 (ja) 2019-02-07
US20200156258A1 (en) 2020-05-21
CN111093911A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN111093903B (zh) 机器人系统及其运行方法
CN111093911B (zh) 机器人系统及其运行方法
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
EP3342561B1 (en) Remote control robot system
CN110394780B (zh) 机器人的仿真装置
EP2055446A1 (en) A portable robot control apparatus and a method for controlling a movement of a robot
EP3566824B1 (en) Method, apparatus, computer-readable storage media and a computer program for robotic programming
CN110505947B (zh) 机器人系统及其运行方法
JP7339806B2 (ja) 制御システム、ロボットシステム及び制御方法
US10315305B2 (en) Robot control apparatus which displays operation program including state of additional axis
CN114905487B (zh) 示教装置、示教方法以及记录介质
JP6905651B1 (ja) ロボットシステム及びワークの３次元モデルの形成方法
CN112423947B (zh) 机器人系统
CN112041128B (zh) 机器人的教导方法和机器人的教导系统
WO2020032263A1 (ja) ロボットシステム
CN114683288B (zh) 机器人展示和控制方法、装置及电子设备
CN114761180B (zh) 机器人系统
WO2022009765A1 (ja) ロボット制御装置
JP7493816B2 (ja) ロボット、システム、方法及びプログラム
CN112828897B (zh) 示教装置、控制方法以及存储介质
CN114905486B (zh) 示教装置、示教方法及记录介质
JP7462046B2 (ja) ロボットシステム
KR102004228B1 (ko) 6축 매니퓰레이터의 범용 고속-고정밀 컨트롤러
JP2023017440A (ja) 画像処理装置
CN116901052A (zh) 支持机器人的动作程序创建的系统、方法及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant