CN110379239A - 操作训练系统 - Google Patents
操作训练系统 Download PDFInfo
- Publication number
- CN110379239A CN110379239A CN201910278976.8A CN201910278976A CN110379239A CN 110379239 A CN110379239 A CN 110379239A CN 201910278976 A CN201910278976 A CN 201910278976A CN 110379239 A CN110379239 A CN 110379239A
- Authority
- CN
- China
- Prior art keywords
- user
- robot
- display device
- control system
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Mechanical Engineering (AREA)
- Computational Mathematics (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Medicinal Chemistry (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供一种操作训练系统,具备:第一用户用的第一显示装置(21);第二用户用的第二显示装置(22),其从第一用户(U1)学习机器人操作;以及控制系统(100),其基于第二用户(U2)使用第二用户输入装置进行的输入,使第二显示装置(22)所显示的机器人进行动作,控制系统(100)构成为,基于第一用户(U1)使用第一用户输入装置进行的输入,使第一显示装置(21)所显示的机器人进行动作,控制系统(100)构成为,使第二显示装置(22)显示机器人基于第一用户(U1)使用第一用户输入装置进行的输入而进行的动作。
Description
技术领域
本发明涉及一种操作训练系统。
背景技术
以往,已知如下一种训练图像数据通信装置,从服务器装置向客户终端发送汽车行驶时能够看到的道路、建筑物等的图像数据,并将该图像数据显示于客户终端的显示装置(例如,参照专利文献1)。在该训练图像数据通信装置中,客户终端的显示装置所显示的道路、建筑物等基于对客户终端的输入装置的输入而进行移动。
另外,像这样道路、建筑物等进行移动的图像数据被发送到服务器装置,从而服务器装置的显示装置显示同样的图像。然后,正在观看服务器装置的显示装置的教官向正在操作客户终端的训练者发送语音指示,由此进行训练者的训练。
另外,已知如下一种训练装置,在服务器装置上设定作业环境和作业者模型,在客户终端的显示装置上按作业者模型的视线显示服务器装置上的作业环境(例如,参照专利文献2)。由于客户终端的显示装置所显示的图像也被显示于服务器装置的显示装置,因此正在观看服务器装置的显示装置的教官能够共享正在观看客户终端的显示装置的训练者所获得的经验。
现有技术文献
专利文献
专利文献1:日本特开2002-49299号公报
专利文献2:日本特开2002-366021号公报。
发明内容
发明要解决的问题
所述训练图像数据通信装置是用于供训练者学习汽车驾驶的装置。因此,与现实的驾校同样地,教官只是向训练者发送语音指示以进行训练者的训练,这样就足够了。
另一方面,后者的训练装置的目的在于,教官与训练者之间共享经验,因此采用了在虚拟空间上再现作业环境和作业者的结构。但是,针对教官高效地对训练者进行训练的方法没有提出任何方案。
另一方面,多关节机器人是运动自由度高的机械。因此,为了学习这种机械的操作,只有语音指示是不够的,教官只与作业者共享经验也是不够的。
例如在后者的训练装置的情况下,教官虽然能够掌握训练者的行动,但是在训练者未发现某个问题的解决方法时,无法高效地教导该问题的解决方法。
在此,机器人进行多个关节的摆动和旋转组合而成的复杂的动作。因此,不经常进行机器人操作的人无法预想例如机器人的前端部从某个位置移动到其它位置时的各关节的运动。另一方面,机器人通过比人体更坚固的部件制成并且大多具有比人更大的力量。因此,机器人的错误操作可能对机器人的周围的物体和人造成非常大的伤害。
像这样,机器人进行难以预测的动作,并且配置于机器人的周围的物体的位置、个数等根据使用机器人的用户的不同而产生差异。并且,在创建机器人的动作程序时,需要视觉观察机器人的前端附近。而且,视觉观察时用户的头部的位置、用户的头部与机器人的前端部的距离根据机器人的作业内容而改变。
即,为了确保机器人操作时的安全性而必须注意的事项根据机器人的种类、机器人的作业内容等而改变。除此之外,考虑机器人的部件、软线类等的耐久性、作业效率等所得到的机器人的最佳的动作方法也会根据机器人的种类、机器人的作业内容等而改变。因此,即使使用所述训练图像数据通信装置或所述训练装置,也无法期望确保机器人操作时的安全性以及学习适应状况的动作方法。
本发明是鉴于上述的情形而完成的。本发明的目的之一在于,提供一种能够确保机器人操作时的安全性以及学习适应状况的动作方法的操作训练系统。
用于解决问题的方案
为了解决上述问题,本发明采用以下的方案。
本发明的一个方式的操作训练系统具备:第一用户用的第一显示装置;第二用户用的一个或多个第二显示装置,其从所述第一用户学习机器人操作;以及控制系统,其基于所述第二用户使用第二用户输入装置进行的输入,使所述第二显示装置所显示的机器人进行动作,所述控制系统构成为基于所述第一用户使用第一用户输入装置进行的输入,使所述第一显示装置所显示的所述机器人或第一用户用机器人进行动作,所述控制系统构成为,使所述第二显示装置显示所述机器人或所述第一用户用机器人基于所述第一用户使用所述第一用户输入装置进行的输入而进行的动作。
在该方式中,例如将通过作为教练员的第一用户的输入而进行动作的机器人的动作显示于第二显示装置。因此,通过在第二显示装置上观看由第一用户进行的适当的机器人操作,例如作为训练者的第二用户能够学习适当的机器人操作。在此,多关节机器人进行难以预测的动作,分别用于优化作业效率、安全性、机器人的部件、软线类等的耐久性等的问题的机器人的动作方法也会根据机器人的种类、机器人的作业内容等而改变。因此,只是通过语音来传达这些问题的解决方法、要点不易于提高第二用户的技能。
与此相对地,在该方式中,第二用户可通过第二显示装置上显示的图像来理解自己操作的机器人的动作与由第一用户操作的机器人的动作的差异。由此,所述差异和由第一用户进行的机器人操作作为图像留存在第二用户的记忆中,第二用户能够高效地学习适当的机器人操作。
在上述方式中,优选的是,构成为将所述第一用户使用所述第一用户输入装置对所述第一显示装置所显示的操作板进行的操作内容,显示于所述第二显示装置。
在该方式中,第二用户能够一边通过第二显示装置所显示的图像来理解自己操作的机器人的动作与由第一用户操作的机器人的动作的差异,一边将该差异与第一用户对操作板的操作相关联地进行理解。这对于高效地学习适当的机器人操作是非常有利的。
在上述方式中,优选的是,所述控制系统构成为,将所述操作内容中的、所述第一显示装置所显示的所述操作板的操作按钮和/或菜单按钮的操作状况和所述操作板的动作显示于所述第二显示装置所显示的操作板上。
在该方式中,第二用户能够一边通过第二显示装置所显示的图像来理解自己操作的机器人的动作与由第一用户操作的机器人的动作的差异,一边通过图像来理解第一用户对操作板的操作。进一步来说,第二用户能够一边仔细地观看第一用户对操作板的操作,一边观看通过该操作而进行动作的机器人的动作。这对于高效地学习适当的机器人操作是非常有利的。
在上述方式中,优选的是,所述控制系统具有以下功能:将所述第一用户使用所述第一用户输入装置对所述第一显示装置所显示的操作板进行的操作内容、和与该操作内容相应的所述机器人或所述第一用户用机器人的动作,保存到所述控制系统所具有的存储部中的功能;以及将所保存的所述第一用户的操作内容和与该操作内容相应的所述机器人或所述第一用户用机器人的动作显示于所述第二显示装置的功能。
在该情况下,第二用户能够重复观看第一用户的操作内容和与该操作内容相应的机器人的动作。由此,对于如上述那样难以学会的机器人操作,能够在理论上学会的同时也在感觉上学会,这对于获得用于机器人操作的意识是非常有利的。
在上述方式中,优选的是,所述控制系统具有以下功能:将所述第二用户使用所述第二用户输入装置对所述第二显示装置所显示的操作板进行的操作内容、和与该操作内容相应的所述机器人的动作,保存到所述控制系统所具有的存储部中的功能;以及将所保存的所述第二用户的操作内容和与该操作内容相应的所述机器人的动作显示于所述第二显示装置的功能。
在该情况下,第二用户能够客观地重复观看自己的操作内容和与该操作内容相应的机器人的动作。在该方式中,第二用户能够将自己的机器人操作与由第一用户进行的机器人操作进行比较,通过该比较,第二用户能够高效地学习适当的机器人操作。
在上述方式中,优选的是,所述控制系统构成为基于评价基准对所述第二用户的机器人操作进行评价,并使所述第一显示装置显示评价结果。
有时第一用户没有注意到由第二用户导致的机器人操作中的机器人不停止的程度的错误。该方式特别是在存在多个第二用户的情况下容易判断要对哪个第二用户进行教导。这对于高效地学习适当的机器人操作是非常有利的。
在上述方式中,优选的是,所述控制系统构成为使所述第二显示装置显示包含危险动作的所述机器人的动作。
在该方式中,第二用户能够通过图像来理解包含危险动作的机器人的动作,这对于学习机器人的安全操作的意识是有利的。
在上述方式中,优选的是,所述控制系统构成为使所述第二用户佩戴的头戴式显示器显示包含危险动作的所述机器人的动作。
在该方式中,第二用户能够以接近于实际状况的感觉理解包含危险动作的机器人的动作。即将变为危险的状态之前的机器人的运动、此时的气氛等根据机器人的种类、机器人进行的作业等而不同。以接近于实际状况的感觉体验包含危险动作的机器人的动作,对于学习机器人的安全操作的意识以及理想地学习此时的避免方法是非常有利的。
在上述方式中,优选的是,所述控制系统构成为使所述第二显示装置中的在所述机器人附近所显示的用户模型基于向第二用户输入装置的输入进行移动,所述控制系统构成为使基于向所述第二用户输入装置的输入进行移动的所述用户模型显示在所述第一显示装置中的所述机器人附近。
在该方式中,第二用户能够一边考虑自己在机器人附近的位置一边进行机器人操作,第一用户也能够检查第二用户在机器人操作时的位置。这在学习机器人的安全操作方面是有利的。
发明的效果
根据本发明,能够确保机器人操作时的安全性以及学习适应状况的动作方法。
附图说明
图1是本发明的一个实施方式的操作训练系统的概要图。
图2是本实施方式的操作训练系统的第二显示装置的显示的例子。
图3是本实施方式的操作训练系统的第二显示装置的显示的例子。
图4是本实施方式的操作训练系统的第一显示装置的显示的例子。
图5是本实施方式的操作训练系统的第一计算机的框图。
图6是本实施方式的操作训练系统的第二计算机的框图。
图7是本实施方式的操作训练系统的操作板的显示的例子。
图8是本实施方式的操作训练系统的操作板的显示的例子。
具体实施方式
下面使用附图对本发明的一个实施方式所涉及的操作训练系统进行说明。
如图1所示,本发明的操作训练系统具备例如供作为教练员的第一用户U1观看的第一显示装置21、供从第一用户U1学习机器人操作的多个第二用户U2各自观看的第二显示装置22、以及控制系统100。第二显示装置22配置在与第一显示装置21不同的空间中。例如图1所示,多个第二显示装置22分别配置在第二用户U2的家、工作单位等,第一显示装置21不配置在此处。此外,也可以是多个第二用户U2分别观看配置在某一个房间中的多个第二显示装置22。
在本实施方式中,如图1所示,控制系统100具有与第一显示装置21连接的第一计算机110和分别与多个第二显示装置22连接的多个第二计算机120。
如图5所示,第一计算机110具备:具有处理器等的控制部111、具有非易失性存储器、ROM、RAM等的存储部112、具有键盘、鼠标等的输入装置(第一用户输入装置)113、具有连接有通信线缆的连接端口、天线等并进行数据的发送和接收的发送接收部114、作为语音输入装置的麦克风115以及扬声器116。输入装置113也可以具有触摸屏。触摸屏在例如是阻抗膜方式的情况下,具有设置在第一显示装置21的表面的透明阻抗膜,在静电容量方式的情况下,具有设置在第一显示装置21的表面的透明电极膜。
如图6所示,第二计算机120具备:具有处理器等的控制部121、具有非易失性存储器、ROM、RAM等的存储部122、具有键盘、鼠标等的输入装置(第二用户输入装置)123、具有连接有通信线缆的连接端口、天线等并进行数据的发送和接收的发送接收部124、作为语音输入装置的麦克风125以及扬声器126。输入装置123也可以具有与第一计算机110同样的触摸屏,来取代键盘、鼠标等。
在第二计算机120的存储部122中保存有机器人的模拟程序122a,还保存有机器人的模型、操作板的模型以及用户模型。控制部121基于模拟程序122a、机器人的模型、操作板的模型以及用户模型,如图2所示那样,将机器人30、操作板40以及用户50显示于第二显示装置22。此外,第二用户U2通过对输入装置123的操作能够切换第二显示装置22所显示的图像的视点。在图2的例子中,视点位于能够观看用户50和机器人30的整体的位置,在图3的例子中,视点位于用户50的眼睛的位置。
在本实施方式中,机器人30是多关节机器人。另外,操作板40具有配置有多个操作按钮的第一操作部41以及显示与菜单按钮、机器人30的状态相关的信息等的第二操作部42。也就是说,操作板40是具备具有多个操作按钮的第一操作部和触摸屏式的第二操作部的实际的操作板的模型。
在第一计算机110的存储部112中保存有机器人的模拟程序112a。模拟程序112a与模拟程序122a具有兼容性。在一例中,模拟程序112a与模拟程序122a是同一程序。在第一计算机110的存储部112中保存有分别保存在多个第二计算机120中的机器人的模型、操作板的模型以及用户模型。这些模型的数据可以从各第二计算机120接收,也可以预先保存于第一计算机110的存储部112。
控制部111基于模拟程序112a、各机器人的模型、各操作板的模型以及各用户模型,如图4所示那样将多个机器人30、多个操作板40以及多个用户50显示于第一显示装置21。优选的是,第一显示装置21所显示的机器人30、操作板40以及用户50与多个第二显示装置22上分别显示的机器人30、操作板40以及用户50相同。在图4的例子中,排列有多个机器人30,各操作板40配置在对应的机器人30附近,各用户50也配置在对应的机器人30附近。
第二用户U2使用输入装置123对第二显示装置22所显示的操作板40进行操作(用于学习的机器人操作)。例如,第二用户U2通过移动鼠标来将出现在第二显示装置22上的指针配置到操作按钮、菜单按钮等之上,通过按下鼠标的按钮来对该操作按钮、菜单按钮等进行操作。
控制部121基于模拟程序122a,根据针对操作板40的操作来使第二显示装置22所显示的机器人30和操作板40进行动作。操作板40的动作用于变更第二操作部42等的显示等。
另外,第二用户U2使用输入装置123进行用于变更第二显示装置22所显示的模型50相对于机器人30的位置的操作(学习操作时的用户位置变更)。例如,将指针配置到第二显示装置22的左下方所显示的箭头符号X、箭头符号Y以及箭头符号Z之上并按下鼠标的按钮。
控制部121基于模拟程序122a,与所述操作相应地移动模拟上的用户50的脸部(眼睛)、身体等的位置。如图3所示那样,也可以在使第二显示装置22的显示区域对准用户50的视场的情况下,控制部121根据鼠标的滚轮的操作而使用户50的脸部的位置向其前后方向移动。
在第二计算机120的存储部122中保存有操作数据发送程序122b,控制部121基于操作数据发送程序122b将针对操作板40的操作数据(操作内容)、机器人30的动作数据以及模型50的位置数据依次发送到第一计算机110。
第一计算机110的控制部111基于模拟程序112a,使用依次接收的操作数据、动作数据以及位置数据来使第一显示装置21上的对应的机器人30、操作板40以及用户50进行动作,并显示操作板40的操作按钮和/或菜单按钮的操作状况。作为该操作状况的显示,例如高亮显示被第二用户U2按下的操作按钮、菜单按钮等。高亮显示的例子是这些按钮的颜色的变更、颜色的浓度的变更等。
由此,作为教练员的第一用户U1能够通过观看第一显示装置21,来准确地掌握由作为训练者的第二用户U2进行的机器人操作和此时的用户50的位置。
在此,如图2、图3等所示,操作板40的第一操作部41的操作按钮的数量和种类较多。另外,如图7和图8所示,操作板40的第二操作部42所显示的菜单按钮的种类和层级较多,条件设定项目也较多。
像这样,操作按钮、菜单按钮以及条件设定项目的数量较多的理由是因为机器人是代表性地具有六个关节的多关节机器人,因此能够进行复杂的运动。
对于学习机器人操作的人来说,首先很难记住与期望的机器人动作相应的操作按钮、菜单按钮以及条件设定项目的操作过程和设定过程。
并且,机器人进行多个关节的摆动和旋转组合起来的复杂的动作。因此,不经常进行机器人操作的人无法预想例如机器人的前端部从某个位置移动到其它位置时的各关节的运动,从而也没有对机器人进行某动作所需要的各关节的最佳的运动或接近于最佳的运动进行想象的意识。例如,在使机器人的前端部移动时,不经常进行机器人操作的人甚至不知道是使机器人的前端部呈直线移动比较好、还是进行各轴动作比较好。
经常进行机器人操作的人基于其每天积累的经验而具有对各关节的最佳的运动或接近最佳的运动进行想象的意识。例如,在机器人的制造公司中处于经常进行机器人操作的岗位的人,由于每天进行与机器人的操作相关的业务以适合各种各样的客户、各种各样的用途,因此能够获得适合于多种多样的状况的机器人操作的意识。
另一方面,例如在使用机器人的工厂中,在购买了机器人时、或者在新构建了生产线时,创建机器人的动作程序,这是进行复杂的机器人操作的主要的时机。另外,这种机器人操作多数情况是由机器人的生产厂家的技术人员来进行。并且,在该工厂中进行处理的产品受到限定,应用机器人的状况也是有限的。此外,动作程序是用于使机器人进行一系列的动作的一组控制指令。
因此,使用机器人的工厂等中的工作人员很少能够获得适合于多种多样的状况的机器人操作的意识。
另外,在垂直多关节机器人、水平多关节机器人等的情况下,以如悬臂梁那样的方式对机器人的前端部施加的力依次施加于各关节。因此,理想的机器人的姿势根据安装在机器人的前端部的工具的重量、由机器人支承的物品的重量等而改变。这些重量与机器人的姿势的关系对机器人的部件的耐久性产生影响。另外,还需要考虑安装于机器人的线缆的耐久性。
并且,各关节具有可驱动范围。因此,在将机器人的前端部连续地移动到多个位置且各位置时的姿势也各种各样的情况下,各位置处的各个关节的摆动位置和旋转位置必须适用于之后的位置处的各个关节的摆动和旋转。也就是说,必须避免由于超出各关节的可驱动范围而机器人无法移动到下一位置的状况。
除此之外,为了安全地操作机器人,需要关于何种操作会导致机器人的危险动作的知识。例如在设定由安装于机器人的前端部的手把持物品的动作程序时,操作者一边目视确认手与物品的位置关系一边进行该设定。因此,缺乏所述知识是不可取的。
也就是说,大部分情况是,使用机器人的工厂等中的工作人员或许具有某种程度的与操作板40的操作按钮、菜单按钮以及条件设定项目相关的知识,能够使机器人运动,但是几乎不具有与动作程序的设定相关的意识和/或用于进行操作者处于附近的状况下的机器人的安全的手动操作的足够的经验和知识。另外,由于只是偶尔进行复杂的机器人操作,因此该工作人员在下一次的机器人操作时会忘记进行复杂的机器人操作时所获得的大部分知识、经验等。
作为教练员的第一用户U1具有例如适合于多种多样的状况的机器人操作的意识,且具有关于何种操作会导致机器人的危险动作的足够的经验和知识。第一用户U1能够使用输入装置113来进行第一显示装置21所显示的操作板40的操作(用于示教的机器人操作)。通过该操作而使第一显示装置21所显示的操作板40和机器人30进行动作。此时,也能够使第一显示装置21所显示的用户50移动(示教操作时的用户位置变更)。此外,在本实施方式中,在第一显示装置21上显示有分别与多个机器人30对应的操作开启(ON)/关闭(OFF)按钮21a,对操作开启/关闭按钮21a实施了开启操作的机器人30成为能够操作的状态。
第一用户U1通过移动鼠标来将出现在第一显示装置21上的指针配置到操作板40的操作按钮、菜单按钮等之上,通过按下鼠标的按钮来对该操作按钮、菜单按钮等进行操作。
控制部111基于模拟程序112a,根据对第一显示装置21所显示的操作板40的操作来使第一显示装置21所显示的机器人30进行动作。
另外,第一用户U1能够与第二用户U2的情况同样地变更用户50的位置。例如,通过在第一显示装置21中将指针配置到用户50附近所显示的箭头符号X、箭头符号Y以及箭头符号Z之上并按下鼠标的按钮,由此能够进行用于变更用户50相对于机器人30的位置的操作。
在第一计算机110的存储部112中保存有操作数据发送程序112b,控制部111基于操作数据发送程序112b,将对操作板40的操作数据、机器人30的动作数据以及模型50的位置数据依次发送到与被操作的操作板40对应的第二计算机120。
第二计算机120的控制部121基于模拟程序122a,使用从第一计算机110依次接收的操作数据(操作内容)、动作数据以及位置数据,来使第二显示装置22上的机器人30、操作板40以及用户50进行动作,并显示操作板40的操作按钮和/或菜单按钮的操作状况。作为该操作状况的显示,例如显示由第一用户U1操作的指针,并高亮显示供第一用户U1按下的操作按钮、菜单按钮等。高亮显示的例子是这些按钮的颜色的变更、颜色的浓度的变更等。
像这样,在本实施方式中,第二用户U2通过在第二显示装置22上观看作为教练员的第一用户U1进行的适当的机器人操作,由此能够学习适当的机器人操作。另外,第二用户U2能够在与第一用户U1所在的场所不同的场所中学习适当的机器人操作。
在进行上述的用于示教的机器人操作和示教操作时的用户位置变更时,第一用户U1能够使用麦克风115向成为对象的第二用户U2传送指示、说明等的语音。第一计算机110被设定为,与对输入装置113的操作相应地向多个第二用户U2全体传送语音的模式、或者仅向多个第二用户U2中的被选择的第二用户U2传送语音的模式。
第二计算机120的扬声器126用于输出从第一计算机110发送的语音。此外,第二用户U2也能够使用麦克风125向第一用户U1传送询问等的语音。
像这样,由于作为教练员的第一用户U1与第二用户U2能够进行对话,因此第二用户U2能够高效地学习机器人操作。
也可以是,第一计算机110在第一显示装置21上显示文字输入栏,第二计算机120在第二显示装置22上显示文字输入栏。然后,使用输入装置113输入到第一显示装置21的文字输入栏中的文字通过第二计算机120而显示在第二显示装置22上,使用输入装置123输入到第二显示装置22的文字输入栏中的文字通过第一计算机110而显示在第一显示装置21上。在该情况下,也能够获得与使用语音的情况同样的效果。
另外,在进行上述的用于示教的机器人操作和示教操作时的用户位置变更时,控制部111也能够基于存储部112中保存的存储器程序112c,与输入装置113的输入相应地将上述的用于示教的机器人操作和示教操作时的用户位置变更保存到存储部112中。此时,控制部111也能够将输入至麦克风115的语音保存到存储部112中。
例如,当通过指针的配置和鼠标的按钮的按下来对第一显示装置21上的记录按钮RE进行操作时,开始用于示教的机器人操作和示教操作时的用户位置变更的保存处理。另一方面,当通过指针的配置和鼠标的按钮的按下来对第一显示装置21上的停止按钮ST进行操作时,结束所述保存处理。也可以对输入装置113的记录按钮和停止按钮进行操作。
第一计算机110的控制部111将所保存的用于示教的机器人操作的数据和示教操作时的用户位置变更的数据发送到第二计算机120,第二计算机120的控制部121将接收的用于示教的机器人操作的数据和示教操作时的用户位置变更的数据保存到存储部122中。
另一方面,控制部121能够基于存储部122中保存的存储器程序122c,与输入装置123的输入相应地将上述的用于示教的机器人操作和示教操作时的用户位置变更保存到存储部122中。此时,控制部121也能够将输入至麦克风115的语音保存到存储部122中。
例如,当通过指针的配置和鼠标的按钮的按下来对第二显示装置22上的记录按钮RE进行操作时,开始用于示教的机器人操作和示教操作时的用户位置变更的保存处理。另一方面,当通过指针的配置和鼠标的按钮的按下来对第二显示装置22上的停止按钮ST进行操作时,结束所述保存处理。也可以对输入装置123的记录按钮和停止按钮进行操作。
而且,当对第二显示装置22上的再现按钮PL进行操作时,在第二显示装置22上再现用于示教的机器人操作和示教操作时的用户位置变更。通过第一显示装置21上的再现按钮PL的操作,来开始第一显示装置21上的再现。
像这样的用于示教的机器人操作和示教操作时的用户位置变更的保存,对于高效且正确地学习适当的机器人操作是有利,也关系到第一用户U1的工作的减轻。此外,可以同时保存与用于示教的机器人操作相应的机器人30的动作。另一方面,也可以仅保存用于示教的机器人操作。
像这样,控制系统100具有将第一用户U1使用输入装置113对第一显示装置21所显示的操作板40进行的操作内容和与该操作内容相应的机器人30的动作,保存到控制系统100所具有的存储部112、122中的功能,还具有将所保存的第一用户U1的操作内容和与该操作内容相应的机器人30的动作显示于第二显示装置22的功能。
因此,第二用户U2能够重复观看第一用户U1的操作内容和与该操作内容相应的机器人30的动作。由此,对于如上述那样难以学会的机器人操作,能够在理论上学会的同时也在感觉上学会,这对于获得机器人操作的意识是非常有利的。
另一方面,在进行上述的用于学习的机器人操作和学习操作时的用户位置变更时,控制部121也能够基于存储部122中保存的存储器程序122c,与同上述同样的对输入装置123的输入相应地将上述的用于学习的机器人操作和学习操作时的用户位置变更保存到存储部122中。
第二计算机120的控制部121将所保存的用于学习的机器人操作的数据和学习操作时的用户位置变更的数据发送到第一计算机110,第一计算机110的控制部111将接收的用于学习的机器人操作的数据和学习操作时的用户位置变更的数据保存到存储部112中。
另一方面,控制部111能够基于存储部112中保存的存储器程序112c,与同上述同样的输入装置113的输入相应地将上述的用于学习的机器人操作和学习操作时的用户位置变更保存到存储部122中。
而且,当对第二显示装置22上的再现按钮PL进行操作时,在第二显示装置22上再现用于学习的机器人操作和学习操作时的用户位置变更。通过第一显示装置21上的再现按钮PL的操作,来开始第一显示装置21上的再现。此外,也可以显示用于选择所保存的多个示教操作时或学习操作时的机器人操作中的要再现的机器人操作的菜单画面。
像这样的用于学习的机器人操作和学习操作时的用户位置变更的保存功能,对于高效且正确地学习适当的机器人操作是有利的。第二用户U2能够客观地观看自己进行过的操作,并将其与第一用户U1所进行的操作进行比较。由此,第二用户U2容易注意到自己的机器人操作中要改进的点,这对于第二用户U2的高效的学习是有利的。
在此,存在由第二用户U2创建包含机器人的危险动作的动作程序、超出各关节的可驱动范围而不进行动作的动作程序等的情况。通过这样的动作程序使机器人30进行动作,在危险动作发生时或到达动作限制时,控制部121使机器人30停止。像这样的机器人30的停止通过控制部111而显示于第一显示装置21。因此,第一用户U1能够容易地获知是否发生了危险动作的发生或动作限制的到达。
此外,控制部111也可以基于存储部112中保存的评价程序112d,来对各第二用户U2的机器人操作进行评价。例如,控制部111针对第二用户U2的机器人操作,进行与危险动作相关的评价。在该情况下,在存储部112中例如保存有将机器人30的多个动作模式、模型50的位置以及与危险度相关的指标建立关联而得到的危险度表。然后,控制部111参照危险度表,导出第二用户U2的机器人操作中包含的各动作的危险度。也可以代替危险度表而使用用于计算危险度的危险度评价用公式,或者也可以除了危险度表以外还使用危险度评价用公式。危险度表或危险度评价用公式是评价基准的例子。
另外,控制部121针对第二用户U2的机器人操作,进行与操作意识相关的评价。在该情况下,在存储部122中例如保存有将多个机器人操作与机器人的多个动作模式分别建立关联而得到的操作意识表。对操作意识表中的多个机器人操作分别赋予了评价分数。然后,控制部121参照操作意识表,导出第二用户U2的机器人操作中包含的各动作的操作意识。也可以代替操作意识表而使用用于计算操作意识的操作意识评价用公式,或者也可以除了操作意识表以外还使用所述操作意识评价用公式。操作意识表或操作意识评价用公式是评价基准的例子。
作为一例,操作意识是与机器人的部件、软线类等的耐久性相关的意识。在该情况下,对操作意识表中的多个机器人操作分别赋予与机器人的耐久性相关的评价分数。
作为其它的例子,操作意识是与各关节的可驱动范围相关的意识。在该情况下,对操作意识表中的多个机器人操作分别赋予与各关节的可驱动范围相关的评价分数。
另外,控制部111基于存储部112中保存的评价程序112d,使第一显示装置21显示评价结果(评价值)。有时第一用户U1没有注意到机器人操作中的机器人30不停止的程度的错误等。通过使用该结构,第一用户U1能够进行更详细的指导,第一用户U1能够容易地判断要对哪个第二用户U2进行教导。这对于高效地学习适当的机器人操作是非常有利的。
另外,使用该结构,在一位第一用户U1能够教导的第二用户U2的数量较多时,各第二用户U2也能够高效地学习适当的机器人操作。特别是在大多第二用户U2掌握基本操作的阶段,能够使第一用户U1成为机械教师,并能够根据评价对多个第二用户U2进行分级等。
另外,控制部111也可以将各评价对象的评价结果显示于第一显示装置21和/或第二显示装置22。评价对象例如是与类型1的机器人的危险度相关的评价、与类型1的机器人的作业性相关的评价、与类型1的机器人的耐久性相关的评价、与类型1的机器人的可驱动范围相关的评价、与类型2的机器人的危险度相关的评价等。在该情况下,控制部111按照各评价对象具有评价基准。
此外,在第二计算机120的存储部122中保存有同样的评价程序122d,关于评价,控制部121也可以进行与第一计算机110的控制部111同样的处理。
此外,控制部121也可以构成为,基于存储部122中保存的存储器程序122c,将包含危险动作的机器人30的动作和此时的用户50的位置、与其相关的对操作板40的操作等保存到存储部122中。在该情况下,第二用户U2通过观看所保存的机器人30的动作等,能够确认自己的机器人操作中的危险的点,这在提高机器人操作中的安全性方面是非常有利的。
另外,也可以在存储部112或存储部122中保存有危险动作的多个例子。在该情况下,第二用户U2通过观看作为危险动作所保存的机器人30的动作、此时的用户50的位置等,能够确认机器人操作中的危险的点,这在提高机器人操作中的安全性方面是非常有利的。
另外,也可以将头戴式显示器与第二计算机120连接。在该情况下,控制部121使头戴式显示器显示从模型50看到的图像。优选的是,该图像为三维图像。特别地,控制部121使头戴式显示器显示上述的包含危险动作的机器人30的动作。由此,第二用户U2能够以接近于实际状况的感觉体验危险的状况,这在培养第二用户U2的关于危险操作的意识方面是非常有利的。
此外,在其它例子中,训练操作系统具有一个第一显示装置21和一个第二显示装置22。在该情况下,在作为熟练的机器人操作者的第二用户U2针对新的产品创建动作程序时,能够由具有适合于多种多样的状况的机器人操作的意识的第一用户U1一对一地教导机器人操作。在该情况下,基于存储器程序112c、122c的上述的效果也是有用的。另外,第一用户U1能够通过评价程序112d、122d更详细地评价和掌握第二用户U2的技能,对于高效地学习适当的机器人操作是非常有利的。
此外,也可以是,第一计算机110的控制部111使第一显示装置21显示与第二用户U2操作的机器人30不同的第一用户用机器人,第一用户U1对第一用户用机器人进行操作。然后,也可以是,控制部111将第一用户用机器人的动作数据依次发送到第二计算机120,第二计算机120的控制部121基于接收的动作数据来使第一用户用机器人或机器人30进行动作。在该情况下,也能够达到与上述同样的作用效果。
此外,控制系统100也可以具备服务器装置。在该情况下,服务器装置具备第一计算机110和第二计算机120的一部分或全部的功能。另外,控制系统100也可以仅具备第一计算机110。在该情况下,第一计算机110具备第二计算机120的全部功能。
附图标记说明
U1:第一用户
U2:第二用户
21:第一显示装置
22:第二显示装置
30:机器人
40:操作板
50:用户
100:控制系统
110:第一计算机
111:控制部
112:存储部
112a:模拟程序
112b:数据发送程序
112c:存储器程序
112d:评价程序
113:输入装置(第一用户输入装置)
120:第二计算机
121:控制部
122:存储部
122a:模拟程序
122b:数据发送程序
122c:存储器程序
122d:评价程序
123:输入装置(第一用户输入装置)
Claims (9)
1.一种操作训练系统,其特征在于,具备:
第一用户用的第一显示装置;
第二用户用的一个或多个第二显示装置,其从所述第一用户学习机器人操作;以及
控制系统,其基于所述第二用户使用第二用户输入装置进行的输入,使所述第二显示装置所显示的机器人进行动作,
所述控制系统构成为,基于所述第一用户使用第一用户输入装置进行的输入,使所述第一显示装置所显示的所述机器人或第一用户用机器人进行动作,
所述控制系统构成为,使所述第二显示装置显示所述机器人或所述第一用户用机器人基于所述第一用户使用所述第一用户输入装置进行的输入而进行的动作。
2.根据权利要求1所述的操作训练系统,其特征在于,
所述控制系统构成为,将所述第一用户使用所述第一用户输入装置对所述第一显示装置所显示的操作板进行的操作内容,显示于所述第二显示装置。
3.根据权利要求2所述的操作训练系统,其特征在于,
所述控制系统构成为,将所述操作内容中的、所述第一显示装置所显示的所述操作板的操作按钮和/或菜单按钮的操作状况和所述操作板的动作显示于所述第二显示装置所显示的操作板上。
4.根据权利要求1所述的操作训练系统,其特征在于,
所述控制系统具有以下功能:将所述第一用户使用所述第一用户输入装置对所述第一显示装置所显示的操作板进行的操作内容、和与所述操作内容相应的所述机器人或所述第一用户用机器人的动作,保存到所述控制系统所具有的存储部中的功能;以及将所保存的所述第一用户的操作内容和与所述操作内容相应的所述机器人或所述第一用户用机器人的动作显示于所述第二显示装置的功能。
5.根据权利要求1所述的操作训练系统,其特征在于,
所述控制系统具有以下功能:将所述第二用户使用所述第二用户输入装置对所述第二显示装置所显示的操作板进行的操作内容、和与所述操作内容相应的所述机器人的动作,保存到所述控制系统所具有的存储部中的功能;以及将所保存的所述第二用户的操作内容和与所述操作内容相应的所述机器人的动作显示于所述第二显示装置的功能。
6.根据权利要求1所述的操作训练系统,其特征在于,
所述控制系统构成为,基于评价基准对所述第二用户的机器人操作进行评价,并使所述第一显示装置显示评价结果。
7.根据权利要求1所述的操作训练系统,其特征在于,
所述控制系统构成为,使所述第二显示装置显示包含危险动作的所述机器人的动作。
8.根据权利要求1所述的操作训练系统,其特征在于,
所述控制系统构成为,使所述第二用户佩戴的头戴式显示器显示包含危险动作的所述机器人的动作。
9.根据权利要求1~8中任一项所述的操作训练系统,其特征在于,
所述控制系统构成为,使所述第二显示装置中的在所述机器人附近所显示的用户模型基于向第二用户输入装置的输入进行移动,所述控制系统构成为,将基于向所述第二用户输入装置的输入而进行移动的所述用户模型显示在所述第一显示装置中的所述机器人附近。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-077275 | 2018-04-13 | ||
JP2018077275A JP6730363B2 (ja) | 2018-04-13 | 2018-04-13 | 操作訓練システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110379239A true CN110379239A (zh) | 2019-10-25 |
CN110379239B CN110379239B (zh) | 2022-06-24 |
Family
ID=68053214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910278976.8A Active CN110379239B (zh) | 2018-04-13 | 2019-04-09 | 操作训练系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190318660A1 (zh) |
JP (1) | JP6730363B2 (zh) |
CN (1) | CN110379239B (zh) |
DE (1) | DE102019108684A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200348662A1 (en) * | 2016-05-09 | 2020-11-05 | Strong Force Iot Portfolio 2016, Llc | Platform for facilitating development of intelligence in an industrial internet of things system |
US20180261131A1 (en) * | 2017-03-07 | 2018-09-13 | Boston Incubator Center, LLC | Robotic Instructor And Demonstrator To Train Humans As Automation Specialists |
EP4325278A3 (en) | 2017-09-29 | 2024-05-15 | Apple Inc. | Gaze-based user interactions |
WO2019217081A1 (en) * | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
JPWO2021172572A1 (zh) * | 2020-02-27 | 2021-09-02 | ||
JP2022131206A (ja) * | 2021-02-26 | 2022-09-07 | 川崎重工業株式会社 | 情報処理装置、学習装置、情報処理システム及びロボットシステム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103299355A (zh) * | 2010-11-04 | 2013-09-11 | 约翰霍普金斯大学 | 用于微创手术技能的评估或改进的系统和方法 |
US20150157419A1 (en) * | 2012-05-21 | 2015-06-11 | Universitat Bern | System and method for estimating the spatial position of a tool within an object |
US20160140875A1 (en) * | 1998-11-20 | 2016-05-19 | Intuitive Surgical Operations, Inc. | Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures |
CN107111682A (zh) * | 2014-11-13 | 2017-08-29 | 直观外科手术操作公司 | 集成用户环境 |
CN107847283A (zh) * | 2015-06-09 | 2018-03-27 | 直观外科手术操作公司 | 利用外科手术过程图集配置外科手术系统 |
US20180092706A1 (en) * | 2016-10-03 | 2018-04-05 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH085500Y2 (ja) * | 1989-05-15 | 1996-02-14 | 三菱プレシジョン株式会社 | 航空機の集団操縦訓練装置 |
JPH08185113A (ja) * | 1994-12-31 | 1996-07-16 | Tokyo Gas Co Ltd | アーム操作訓練システム |
US6852107B2 (en) * | 2002-01-16 | 2005-02-08 | Computer Motion, Inc. | Minimally invasive surgical training using robotics and tele-collaboration |
JP2009015388A (ja) * | 2007-06-29 | 2009-01-22 | Casio Comput Co Ltd | 電子式計算機および制御プログラム |
JP6069997B2 (ja) * | 2012-09-18 | 2017-02-01 | カシオ計算機株式会社 | 電子機器、プログラム及び表示制御方法 |
WO2017189317A1 (en) * | 2016-04-26 | 2017-11-02 | KindHeart, Inc. | Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and an animating device |
-
2018
- 2018-04-13 JP JP2018077275A patent/JP6730363B2/ja active Active
-
2019
- 2019-03-25 US US16/362,760 patent/US20190318660A1/en not_active Abandoned
- 2019-04-03 DE DE102019108684.1A patent/DE102019108684A1/de active Pending
- 2019-04-09 CN CN201910278976.8A patent/CN110379239B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160140875A1 (en) * | 1998-11-20 | 2016-05-19 | Intuitive Surgical Operations, Inc. | Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures |
CN103299355A (zh) * | 2010-11-04 | 2013-09-11 | 约翰霍普金斯大学 | 用于微创手术技能的评估或改进的系统和方法 |
US20150157419A1 (en) * | 2012-05-21 | 2015-06-11 | Universitat Bern | System and method for estimating the spatial position of a tool within an object |
CN107111682A (zh) * | 2014-11-13 | 2017-08-29 | 直观外科手术操作公司 | 集成用户环境 |
CN107847283A (zh) * | 2015-06-09 | 2018-03-27 | 直观外科手术操作公司 | 利用外科手术过程图集配置外科手术系统 |
US20180092706A1 (en) * | 2016-10-03 | 2018-04-05 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
Also Published As
Publication number | Publication date |
---|---|
DE102019108684A1 (de) | 2019-10-17 |
JP2019184904A (ja) | 2019-10-24 |
CN110379239B (zh) | 2022-06-24 |
US20190318660A1 (en) | 2019-10-17 |
JP6730363B2 (ja) | 2020-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110379239A (zh) | 操作训练系统 | |
CN105722650B (zh) | 机器人操作装置及机器人系统 | |
KR101169674B1 (ko) | 원격현전 로봇, 이를 포함하는 원격현전 시스템 및 이의 제어 방법 | |
Jankowski et al. | Usability evaluation of vr interface for mobile robot teleoperation | |
Koenig et al. | Communication and knowledge sharing in human–robot interaction and learning from demonstration | |
CN108615427B (zh) | 一种基于虚拟现实技术的电梯检验教学系统及方法 | |
CN107656505A (zh) | 使用增强现实设备控制人机协作的方法、装置和系统 | |
CN107817778A (zh) | 教育辅助装置 | |
JP2018045395A (ja) | 教育支援装置 | |
KR20160020136A (ko) | 가상현실과 rpg을 활용한 재난상황 대처 교육 시스템 | |
KR102211108B1 (ko) | Gmp 환경 모니터링을 위한 가상 현실 기반의 바이오 안전 캐비닛의 무균 입증 절차 교육 시스템 | |
KR102687406B1 (ko) | 복합현실 장치를 이용한 동시 다지역 원격 교차제어 시스템 및 그 제어방법 | |
US20120004897A1 (en) | Operation Training Simulation Apparatus for Computer Numerical Control Machine | |
Chellali et al. | What maps and what displays for remote situation awareness and rov localization? | |
CN109754654A (zh) | 基于虚拟现实的历史课题指导系统、方法及装置 | |
CN206021605U (zh) | 智能机器人点读系统 | |
KR102259762B1 (ko) | 안전 사고 예방을 위한 가상 현실을 활용한 크레인 협동 작업 훈련 시스템 | |
Bischoff et al. | Perspectives on augmented reality based human-robot interaction with industrial robots | |
JPH11328243A (ja) | プラント設計支援システム | |
Bonaiuto et al. | Tele-operation of robot teams: a comparison of gamepad-, mobile device and hand tracking-based user interfaces | |
CN101226695A (zh) | 一种挖掘机模拟操作培训系统 | |
Gong et al. | Naturalistic vibrotactile feedback could facilitate telerobotic assembly on construction sites | |
Wang et al. | Towards an immersive guided virtual reality microfabrication laboratory training system | |
Cha et al. | Combined kinesthetic and simulated interface for teaching robot motion models | |
CN105719519A (zh) | 一种分等级教学功能的机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |