CN106863295A - 机器人系统 - Google Patents
机器人系统 Download PDFInfo
- Publication number
- CN106863295A CN106863295A CN201611094231.9A CN201611094231A CN106863295A CN 106863295 A CN106863295 A CN 106863295A CN 201611094231 A CN201611094231 A CN 201611094231A CN 106863295 A CN106863295 A CN 106863295A
- Authority
- CN
- China
- Prior art keywords
- robot
- image
- camera
- display
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
- Numerical Control (AREA)
Abstract
本发明的机器人系统具备:控制装置,其用于控制机器人;以及影像显示装置,其与控制装置连接。影像显示装置具备:显示部,其用于实时地显示由照相机拍摄到的包含机器人的真实空间的图像;以及增强现实图像处理部,其用于将机器人的末端执行器或机器人周边装置的虚拟图像叠加于由照相机拍摄到的机器人的真实图像并使显示部显示。根据这样的机器人系统,即使没有末端执行器、机器人周边装置也能够视为它们存在来实施机器人示教作业。
Description
技术领域
本发明涉及一种具备影像显示装置的机器人系统,该影像显示装置利用增强现实(Augmented Reality)处理技术来将虚拟物体的图像叠加在机器人的影像上进行显示。
背景技术
在制造现场的工业用机器人系统中,机器手、加工工具等末端执行器安装于机器人的臂部的前端。并且,带式输送机、轨道式输送台车等机器人周边装置配置于机器人的周边。
然而,存在在向机器人示教作业动作的阶段尚无法准备上述那样的末端执行器、机器人周边装置的情况。在该情况下,直至准备好末端执行器、机器人周边装置为止,作业者不能实施适当的机器人示教作业。因此,期望即使在还没有准备末端执行器、机器人周边装置的情况下也能够视为它们存在来实施机器人示教作业。
作为有可能解决上述问题的技术,能够想到将虚拟图像叠加在实时的影像上进行显示这样的增强现实处理技术。另外,近年来,公开了一种利用这种增强现实处理技术来提高机器人示教作业时的操作性的装置。
例如,专利第4850984号公报公开了一种利用增强现实处理来将按照动作计划进行动作的机器人的动作空间叠加在真实机器人的图像上进行显示的技术。并且,日本特开2014-180707号公报公开了一种利用增强现实处理来将基于动作程序的机器人的动作轨迹叠加在真实机器人的图像上进行显示的技术。
然而,在专利第4850984号公报和日本特开2014-180707号公报中,并没有提出使用增强现实处理技术来将上述那样的末端执行器、机器人周边装置的影像叠加在真实机器人的图像上进行显示的技术。
发明内容
本发明提供一种即使没有末端执行器、机器人周边装置也能够视为它们存在来实施机器人示教作业的机器人系统。
根据本发明的第一方式,提供一种机器人系统,该机器人系统具备:控制装置,其用于控制机器人;以及影像显示装置,其与控制装置连接,其中,影像显示装置具备:显示部,其用于实时地显示由照相机拍摄到的包含机器人的真实空间的图像;以及增强现实图像处理部,其用于将机器人的末端执行器或机器人周边装置的虚拟图像叠加于由照相机拍摄到的机器人的真实图像并使显示部显示。
根据本发明的第二方式,提供一种机器人系统,该机器人系统是上述第一方式的机器人系统,影像显示装置具备虚拟物体图像生成部,该虚拟物体图像生成部基于机器人与照相机之间的相对的位置和角度,来生成要叠加于由照相机拍摄到的机器人的真实图像的末端执行器或机器人周边装置的虚拟图像。
根据本发明的第三方式,提供一种机器人系统,该机器人系统是上述第一方式或第二方式的机器人系统,增强现实图像处理部基于由控制装置控制的机器人的位置姿势数据或来自控制装置的模拟信号,来使末端执行器或机器人周边装置的虚拟图像移动并且使显示部显示。
根据本发明的第四方式,提供一种机器人系统,该机器人系统是上述第一方式至第三方式中的任一方式的机器人系统,控制装置具备示教操作板,该示教操作板用于进行机器人的示教操作。
根据本发明的第五方式,提供一种机器人系统,该机器人系统是上述第一方式至第四方式中的任一方式的机器人系统,影像显示装置是具备照相机的头戴式显示器(HeadMount Display)。
附图说明
基于附图所示的本发明的典型的实施方式的详细说明,会使本发明的这些目的、特征和优点以及其它目的、特征和优点更加明确。
图1是示出本发明的一个实施方式的机器人系统的框图。
图2是示出将虚拟物体的图像叠加于真实机器人的图像进行显示时的处理流程的流程图。
图3是示意性地示出第一实施例的处理的情形的图。
图4是示意性地示出在使机器人进行动作时在支持增强现实的显示器的显示部所显示的图像的情形的图。
图5是示意性地示出第二实施例的处理的情形的图。
具体实施方式
接着,参照附图来说明本发明的实施方式。在参照的附图中,对相同的构件或功能部标注相同的参照附图标记。而且,设在不同的附图中被标注相同的参照附图标记的结构要素是指具有相同功能的结构要素。另外,为了易于理解,这些附图适当变更了比例尺。
图1是示出本发明的一个实施方式的机器人系统的框图。如图1所示,本实施方式的机器人系统10具备机器人11、控制机器人11的机器人控制装置12、与机器人控制装置12连接的作为影像显示装置的支持增强现实的显示器(日语:拡張現実対応ディスプレイ)13、以及与机器人控制装置12连接来进行机器人11的示教操作的示教操作板14。
机器人11例如是多关节垂直型操纵器。在机器人11的各关节轴设置有伺服电动机(未图示)。并且,对机器人11设置有对各伺服电动机的轴位置(旋转角度)进行检测的位置检测传感器15、例如脉冲编码器。
在机器人11的臂部的前端设置有用于安装机器手、加工工具等装卸自如的末端执行器的安装部(未图示)。
机器人控制装置12具有基于动作程序来生成控制信号并驱动机器人11的功能。另外,机器人控制装置12向机器人11输出控制信号并且接收来自支持增强现实的显示器13和示教操作板14的信号。
并且,机器人控制装置12具有保持机器人11的动作程序的程序保持部16、以及生成机器人11的位置姿势数据的位置姿势数据生成部17。
从示教操作板14向程序保持部16输入机器人11的动作程序。另外,示教操作板14能够重写程序保持部16内的动作程序。
机器人控制装置12按照程序保持部16内的动作程序来向伺服电动机提供位置指令,并且对伺服电动机进行控制使得由位置检测传感器15检测的伺服电动机的位置与位置指令匹配。由此,机器人11依照程序保持部16内的动作程序进行动作。
位置姿势数据生成部17基于从位置检测传感器15输出的伺服电动机的位置信号来生成机器人11的位置姿势数据,向支持增强现实的显示器13输出该位置姿势数据。
在实施机器人示教作业的情况下,作业者一边对支持增强现实的显示器13进行目视确认,一边通过示教操作板14来操作机器人11。此时,从示教操作板14经由机器人控制装置12向机器人11示教期望的作业动作。由此,期望的作业动作记录于机器人控制装置12的程序保持部16。
在进行上述机器人示教作业时,存在无法准备要安装于机器人11的臂部的前端的机器手、加工工具等末端执行器的情况。另外,也存在无法将用于输送工件的带式输送机、轨道式输送台车等机器人周边装置配置于机器人11的周边的情况。本实施方式的机器人系统10构成为在这样的情况下也将末端执行器或机器人周边装置设为虚拟图像而显示于支持增强现实的显示器13。
具体来说,如图1所示,支持增强现实的显示器13具备用于拍摄包含机器人11的真实空间的照相机18、用于实时显示由照相机18拍摄到的包含机器人11的真实空间的图像的显示部19、以及计算机20。
支持增强现实的显示器13例如是头戴式显示器(参照图3和图5)。在该情况下,优选的是,显示部19具有为眼镜片程度的大小且以与人的两个眼睛分别对应的方式配置的显示画面。此外,支持增强现实的显示器13只要使作业者能够一边拿着示教操作板14一边对照相机18的影像进行目视确认即可,并不限定于头戴式显示器。
如图1所示,支持增强现实的显示器13的计算机20具备照相机位置姿势估计部21、虚拟物体数据保持部22、虚拟物体图像生成部23以及增强现实图像处理部24。但是,虚拟物体数据保持部22和虚拟物体图像生成部23也可以内置于机器人控制装置12。
照相机位置姿势估计部21估计机器人11与拍摄该机器人11的照相机18之间的相对的位置和角度(姿势)。
虚拟物体数据保持部22用于保持在设置有机器人11的真实空间中不存在的虚拟物体的数据。从示教操作板14向虚拟物体数据保持部22输入虚拟物体的数据。另外,上述虚拟物体的数据是与上述末端执行器、机器人周边装置等有关的三维形状、设置场所的数据。
从虚拟物体数据保持部22向虚拟物体图像生成部23输入上述虚拟物体的数据。并且,从照相机位置姿势估计部21向虚拟物体图像生成部23输入机器人11与照相机18之间的相对位置角度(相对位置姿势)的数据。
然后,虚拟物体图像生成部23基于虚拟物体的数据和机器人11与照相机18之间的相对位置角度的数据,来生成适合于由照相机18拍摄到的机器人11的真实图像的虚拟物体的图像。此时,如果机器人11与照相机18之间的相对位置角度发生改变,则虚拟物体的图像与此相应地被变更为适合于拍摄到的机器人11的真实图像的图像。
向增强现实图像处理部24输入由虚拟物体图像生成部23生成的虚拟物体的图像信息。
并且,从机器人控制装置12的位置姿势数据生成部17经由计算机20而向增强现实图像处理部24输入机器人11动作期间的位置姿势数据。另外,还向增强现实图像处理部24输入由照相机18拍摄到的机器人11的真实图像的信息。
然后,增强现实图像处理部24基于机器人11的位置姿势数据,来将由虚拟物体图像生成部23生成的虚拟物体的图像叠加于机器人11的真实图像并使显示部19显示。在使机器人11进行动作的情况下,优选的是,基于机器人11动作期间的位置姿势数据,每隔规定时间更新要叠加于拍摄到的机器人11的真实图像的虚拟物体的图像的数据。
图2是示出将上述末端执行器、机器人周边装置等虚拟物体的图像叠加于由照相机18拍摄到的机器人11的真实图像进行显示时的处理流程的流程图。
如图2所示,首先,支持增强现实的显示器13判断是否经由照相机18取入了机器人11的真实图像(步骤S11)。
在判断为取入了机器人11的真实图像的情况下,支持增强现实的显示器13的照相机位置姿势估计部21估计机器人11与照相机18之间的相对位置角度(步骤S12)。
然后,在上述步骤S12之后,从机器人控制装置12的位置姿势数据生成部17向支持增强现实的显示器13输出机器人11的位置姿势数据(步骤S13)。
接着,支持增强现实的显示器13将末端执行器、机器人周边装置等虚拟物体的图像叠加于由照相机18拍摄到的机器人11的真实图像并使显示部19显示(步骤S14)。此时,如上所述,根据机器人11与照相机18之间的相对位置角度来制作虚拟物体的图像,基于机器人11的位置姿势数据来将虚拟物体的图像叠加于机器人11的真实图像。
并且,支持增强现实的显示器13判断是否需要使上述叠加显示图像、即已在机器人11的真实图像上叠加显示的虚拟物体的图像进行动作(步骤S15)。
在从位置姿势数据生成部17向支持增强现实的显示器13输出的机器人11的位置姿势数据发生变化时,支持增强现实的显示器13在上述步骤S15中判断为“是”。
在上述步骤S15中判断为“是”的情况下,支持增强现实的显示器13使上述叠加显示图像进行动作(步骤S16)。在该情况下,只要基于机器人11动作期间的位置姿势数据每隔规定时间更新叠加显示图像的数据即可。
下面,具体地例示将虚拟的末端执行器的图像叠加在现实的机器人11的真实图像上进行显示的情况(以下称为第一实施例)。
(第一实施例)
图3是示意性地示出第一实施例的处理的情形的图。
在进行机器人示教作业时,如图3所示作业者佩戴支持增强现实的显示器13,对设置于规定的场所的机器人11进行目视确认。此时,在机器人11的臂部的前端没有安装机器手、加工工具等末端执行器。另外,在机器人11的周边也没有配置用于输送工件的带式输送机、轨道式输送台车等机器人周边装置。
在这样的真实环境中,支持增强现实的显示器13取入由照相机18拍摄到的包含机器人11的真实环境的图像(参照图3中的箭头A)。
接着,支持增强现实的显示器13的照相机位置姿势估计部21估计机器人11与照相机18之间的相对位置角度。其原因在于,在将虚拟的末端执行器的图像叠加在现实的机器人11的真实图像R1上进行显示时,需要以适当的方向和位置显示该虚拟的末端执行器的图像R2。
在第一实施例中,通过如下的方法来估计上述那样的机器人11与照相机18之间的相对位置角度。
即,事前利用照相机18从许多视点对各种静止姿势的机器人11进行拍摄,并事先将多个机器人11的图像模型记录于照相机位置姿势估计部21。此时,还事先记录获取各个机器人11的图像模型时的机器人11与照相机18之间的相对位置角度。
之后,如上所述,当现实的机器人11的真实图像R1被取入支持增强现实的显示器13时,判定被取入的机器人11的真实图像R1与预先记录的多个机器人11的图像模型M1、M2、...Mn中的哪一个图像模型最接近(参照图3中的箭头B)。然后,照相机位置姿势估计部21将与该最接近的图像模型对应的机器人11与照相机18之间的相对位置角度视为当前由照相机18正在拍摄的机器人11与照相机18之间的相对位置角度。
接着,照相机位置姿势估计部21向机器人控制装置12进行表示已估计出机器人11与照相机18之间的相对位置角度的意思的通知(参照图3中的箭头C)。
由此,机器人控制装置12的位置姿势数据生成部17向支持增强现实的显示器13发送机器人11当前的位置姿势数据(参照图3中的箭头D)。
接着,支持增强现实的显示器13内的虚拟物体图像生成部23生成适合于当前由照相机18正在拍摄的机器人11的真实图像R1的、虚拟的末端执行器的图像R2。此时,基于存储保持于虚拟物体数据保持部22的末端执行器的三维形状等数据和如上所述那样估计出的机器人11与照相机18之间的相对位置角度,来制作虚拟的末端执行器的图像R2。也就是说,虚拟的末端执行器的图像R2被生成为相对于由照相机18拍摄到的机器人11的真实图像R1中的臂部的前端具有适当的方向、位置以及大小的图像。
然后,支持增强现实的显示器13内的增强现实图像处理部24将由虚拟物体图像生成部23生成的虚拟的末端执行器的图像R2附加于由照相机18拍摄到的机器人11的真实图像R1中的臂部的前端并使显示部19显示(参照图3中的箭头E)。此时,基于从机器人控制装置12发送的机器人11的位置姿势数据和机器人11与照相机18之间的相对位置角度,来确定机器人11的真实图像R1中的臂部的前端的位置。
图4是示意性地示出在使机器人11进行动作时支持增强现实的显示器13所显示的图像的情形的图。
在机器人示教作业时,作业者使用示教操作板14来使机器人11进行动作。由此,机器人11的位置姿势发生变化,因此如图4所示那样显示部19中的机器人11的真实图像R1发生变化。增强现实图像处理部24基于发生变化的机器人11的位置姿势数据来更新要显示于机器人11的真实图像R1中的臂部的前端附近的、虚拟的末端执行器的图像R2的数据。此时,优选的是,利用虚拟物体图像生成部23来与机器人11的真实图像R1的变化相应地实时地生成虚拟的末端执行器的图像R2。通过上述那样,显示于机器人11的真实图像R1中的臂部的前端附近的、虚拟的末端执行器的图像R2(图4中由划线围起来的图像部分25)随着机器人11的真实图像R1的变化而发生变动。
根据以上所说明的第一实施例,即使在机器人11的臂部的前端没有安装末端执行器的情况下,也能够通过支持增强现实的显示器13而视为存在末端执行器来实施机器人示教作业。另外,由于使用头戴式显示器来作为支持增强现实的显示器13,因此作业者能够一边对显示于显示部19的照相机18的影像进行目视确认一边操作示教操作板14。
接着,具体地例示将虚拟的机器人周边装置的图像叠加在现实的机器人11的真实图像上进行显示的情况(以下称为第二实施例)。
(第二实施例)
图5是示意性地示出第二实施例的处理的情形的图。
在进行机器人示教作业时,如图5所示那样作业者佩戴支持增强现实的显示器13,对设置于规定的场所的机器人11进行目视确认。此时,在机器人11的臂部的前端没有安装机器手、加工工具等末端执行器。另外,在机器人11的周边也没有配置用于输送工件的带式输送机、轨道式输送台车等机器人周边装置。
在这样的真实环境中,支持增强现实的显示器13取入由照相机18拍摄到的包含机器人11的真实环境的图像(参照图5中的箭头F)。但是,在第二实施例的情况下,在机器人11的表面至少安装有一个标识器26。优选的是,标识器26具有规定的形状或图案且能够通过照相机18而被识别为图像。
接着,支持增强现实的显示器13的照相机位置姿势估计部21估计机器人11与照相机18之间的相对位置角度。其原因如上述的第一实施例中所说明的那样。
在第二实施例中,通过如下那样的方法来估计上述那样的机器人11与照相机18之间的相对位置角度。
即,事先在设置于真实空间的机器人11的表面安装多个标识器26,利用照相机18拍摄标识器26。各标识器26在真实空间中的位置是已知的。因此,能够基于投影到照相机18的图像坐标上的标识器26的位置来反向计算照相机18在真实空间坐标系中的位置和姿势(角度)。照相机位置姿势估计部21通过这样的计算来估计机器人11与照相机18之间的相对位置角度。另外,优选的是,事先将期望的机器人周边装置的图像模型与标识器26的位置相关联起来。通过这样,能够基于照相机18在真实空间坐标系中的位置和姿势(角度)来使期望的机器人周边装置的图像模型的数据叠加在机器人11的真实图像中的期望的位置进行显示。
接着,照相机位置姿势估计部21向机器人控制装置12通知机器人11与照相机18之间的相对位置角度(参照图5中的箭头G)。此外,在第二实施方式中,代替图1所示的方式而设为虚拟物体数据保持部22和虚拟物体图像生成部23内置于机器人控制装置12。
内置于机器人控制装置12的虚拟物体图像生成部23生成要附加于当前由照相机18正在拍摄的机器人11的真实图像R1的、虚拟的机器人周边装置例如带式输送机的图像R3。此时,基于存储保持于虚拟物体数据保持部22的机器人周边装置的三维形状等数据和如上所述计算出的机器人11与照相机18之间的相对位置角度来制作虚拟的机器人周边装置的图像R3。也就是说,虚拟的机器人周边装置的图像R3被生成为相对于由照相机18拍摄到的机器人11的真实图像R1具有适当的方向、位置以及大小的图像。
接着,机器人控制装置12将由虚拟物体图像生成部23生成的虚拟的机器人周边装置的图像R3向支持增强现实的显示器13内的增强现实图像处理部24发送(参照图5中的箭头H)。
然后,增强现实图像处理部24将由虚拟物体图像生成部23生成的虚拟的机器人周边装置的图像R3叠加于由照相机18拍摄到的机器人11的真实图像R1并使显示部19显示(参照图5中的箭头I)。此时,基于投影到照相机18的图像坐标上的标识器26的位置和机器人11与照相机18之间的相对位置角度来确定叠加显示虚拟的机器人周边装置的图像R3的位置。
此外,为了使已叠加显示于机器人11的真实图像的、虚拟的机器人周边装置例如带式输送机的图像R3移动,优选采取如下这样的方法。首先,事前基于虚拟的带式输送机的图像R3来制作将虚拟的带式输送机的可动带部每次移动少许而得到的多个移动图像,事先将该多个移动图像记录于虚拟物体数据保持部22。机器人控制装置12构成为能够在期望的时机向支持增强现实的显示器13输出用于控制虚拟的带式输送机的模拟信号。然后,支持增强现实的显示器13基于来自机器人控制装置12的模拟信号的输入,每隔规定时间对机器人11的真实图像以适当的方向、位置以及大小叠加上述可动带部的移动图像后进行显示。
根据以上所说明的第二实施例,即使在机器人11的周边实际上没有配置带式输送机等的机器人周边装置的情况下,也能够通过支持增强现实的显示器13而视为存在机器人周边装置来实施机器人示教作业。另外,由于使用头戴式显示器来作为支持增强现实的显示器13,因此作业者能够一边对显示于显示部19的照相机18的影像进行目视确认一边操作示教操作板14。
以上,使用典型的实施例来说明了本发明,但能够理解为如果是本领域技术人员,则在不脱离本发明的范围的情况下能够对上述的各实施例进行变更和各种其它变更、省略、追加。另外,将上述各实施例适当组合也包含在本发明的范围内。
发明的效果
根据本发明的第一方式、第二方式、第三方式以及第四方式,即使在针对机器人还没有准备末端执行器、机器人周边装置的情况下,也能够通过影像显示装置而视为存在末端执行器、机器人周边装置来实施机器人示教作业。
根据本发明的第五方式,作业者能够一边对显示于显示部的照相机的影像进行目视确认一边操作示教操作板。
Claims (5)
1.一种机器人系统,具备:
控制装置,其用于控制机器人;以及
影像显示装置,其与所述控制装置连接,
其中,所述影像显示装置具备:
显示部,其用于实时地显示由照相机拍摄到的包含所述机器人的真实空间的图像;以及
增强现实图像处理部,其用于将所述机器人的末端执行器或机器人周边装置的虚拟图像叠加于由所述照相机拍摄到的所述机器人的真实图像并使所述显示部显示。
2.根据权利要求1所述的机器人系统,其特征在于,
所述影像显示装置具备虚拟物体图像生成部,该虚拟物体图像生成部基于所述机器人与所述照相机之间的相对的位置和角度,来生成要叠加于由所述照相机拍摄到的所述机器人的真实图像的所述末端执行器或所述机器人周边装置的虚拟图像。
3.根据权利要求1或2所述的机器人系统,其特征在于,
所述增强现实图像处理部基于由所述控制装置控制的所述机器人的位置姿势数据或来自所述控制装置的模拟信号,来使所述末端执行器或所述机器人周边装置的虚拟图像移动并且使所述显示部显示。
4.根据权利要求1至3中的任一项所述的机器人系统,其特征在于,
所述控制装置具备示教操作板,该示教操作板用于进行所述机器人的示教操作。
5.根据权利要求1至4中的任一项所述的机器人系统,其特征在于,
所述影像显示装置是具备所述照相机的头戴式显示器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-241007 | 2015-12-10 | ||
JP2015241007A JP6420229B2 (ja) | 2015-12-10 | 2015-12-10 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106863295A true CN106863295A (zh) | 2017-06-20 |
CN106863295B CN106863295B (zh) | 2019-09-10 |
Family
ID=58773730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611094231.9A Active CN106863295B (zh) | 2015-12-10 | 2016-12-02 | 机器人系统 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10543599B2 (zh) |
JP (1) | JP6420229B2 (zh) |
CN (1) | CN106863295B (zh) |
DE (1) | DE102016123945B4 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109078334A (zh) * | 2018-06-21 | 2018-12-25 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和系统 |
CN109421048A (zh) * | 2017-08-25 | 2019-03-05 | 发那科株式会社 | 机器人系统 |
CN109571507A (zh) * | 2019-01-16 | 2019-04-05 | 鲁班嫡系机器人(深圳)有限公司 | 一种服务机器人系统及服务方法 |
CN109799771A (zh) * | 2018-12-29 | 2019-05-24 | 深圳市越疆科技有限公司 | 一种工业机器人的控制系统、方法及装置 |
CN109834697A (zh) * | 2017-11-28 | 2019-06-04 | 发那科株式会社 | 示教操作盘以及机器人控制系统 |
CN110815189A (zh) * | 2019-11-20 | 2020-02-21 | 福州大学 | 基于混合现实的机器人快速示教系统及方法 |
CN110815177A (zh) * | 2019-10-29 | 2020-02-21 | 中科新松有限公司 | 一种复合机器人2d视觉引导示教的迁移方法 |
CN110977931A (zh) * | 2018-10-02 | 2020-04-10 | 发那科株式会社 | 使用了增强现实和混合现实的机器人控制装置及显示装置 |
CN111045354A (zh) * | 2018-10-12 | 2020-04-21 | 发那科株式会社 | 机器人控制装置 |
CN111093903A (zh) * | 2017-08-31 | 2020-05-01 | 川崎重工业株式会社 | 机器人系统及其运行方法 |
CN113055562A (zh) * | 2019-12-26 | 2021-06-29 | 发那科株式会社 | 输入输出信号信息显示系统 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
US10076840B2 (en) * | 2015-04-03 | 2018-09-18 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
US10684480B2 (en) * | 2017-03-16 | 2020-06-16 | Denso Wave Incorporated | Information display system |
EP3603904B1 (en) * | 2017-03-23 | 2024-01-24 | Fuji Corporation | Robot system |
JP6506348B2 (ja) * | 2017-06-14 | 2019-04-24 | ファナック株式会社 | ロボットの軌道を修正するロボットの教示装置 |
US10712902B2 (en) * | 2017-07-14 | 2020-07-14 | Sst Systems, Inc. | Augmented reality system for conveyor system and method |
WO2019032814A1 (en) | 2017-08-10 | 2019-02-14 | Robert Bosch Gmbh | SYSTEM AND METHOD FOR DIRECT TEACHING TO A ROBOT |
CN107656505A (zh) * | 2017-08-21 | 2018-02-02 | 杭州太若科技有限公司 | 使用增强现实设备控制人机协作的方法、装置和系统 |
DE102017215114A1 (de) * | 2017-08-30 | 2019-02-28 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators |
JP7259284B2 (ja) * | 2017-11-28 | 2023-04-18 | 株式会社デンソーウェーブ | 教示装置、教示方法 |
US10751877B2 (en) | 2017-12-31 | 2020-08-25 | Abb Schweiz Ag | Industrial robot training using mixed reality |
JP6781201B2 (ja) * | 2018-06-05 | 2020-11-04 | ファナック株式会社 | 仮想オブジェクト表示システム |
JP6856583B2 (ja) | 2018-07-25 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム |
JP6856590B2 (ja) | 2018-08-31 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
US10592713B1 (en) | 2018-12-31 | 2020-03-17 | Datalogic Usa, Inc. | Computationally-augmented video display facilitating package handling |
CN109648563B (zh) * | 2019-01-02 | 2021-10-29 | 南京邮电大学 | 串联机器人运动控制方法及计算机存储介质 |
JP7000364B2 (ja) | 2019-01-29 | 2022-01-19 | ファナック株式会社 | ロボットシステム |
DE102019103349B3 (de) | 2019-02-11 | 2020-06-18 | Beckhoff Automation Gmbh | Industrierobotersystem und Verfahren zur Steuerung eines Industrieroboters |
US20220168902A1 (en) * | 2019-03-25 | 2022-06-02 | Abb Schweiz Ag | Method And Control Arrangement For Determining A Relation Between A Robot Coordinate System And A Movable Apparatus Coordinate System |
JP2020196060A (ja) | 2019-05-31 | 2020-12-10 | セイコーエプソン株式会社 | 教示方法 |
JP7260405B2 (ja) * | 2019-06-07 | 2023-04-18 | ファナック株式会社 | オフラインプログラミング装置、ロボット制御装置および拡張現実システム |
JP7388074B2 (ja) * | 2019-09-17 | 2023-11-29 | オムロン株式会社 | シミュレーション装置、シミュレーションプログラムおよびシミュレーション方法 |
US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
JP7443014B2 (ja) * | 2019-10-08 | 2024-03-05 | 大豊精機株式会社 | ロボットアーム試験装置 |
JP2021058972A (ja) * | 2019-10-08 | 2021-04-15 | ファナック株式会社 | ロボットシステム |
JP7409848B2 (ja) * | 2019-12-04 | 2024-01-09 | ファナック株式会社 | 表示装置及び表示プログラム |
KR20210072463A (ko) * | 2019-12-09 | 2021-06-17 | 한국전자통신연구원 | 인간-머신 상호작용 방법 및 이를 위한 장치 |
US20210316450A1 (en) * | 2020-04-14 | 2021-10-14 | 3Deo, Inc. | Robotics for three-dimensional printing |
JP7068416B2 (ja) * | 2020-10-27 | 2022-05-16 | ファナック株式会社 | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 |
TW202233368A (zh) * | 2021-02-18 | 2022-09-01 | 日商發那科股份有限公司 | 教示裝置 |
EP4368351A1 (en) * | 2021-07-07 | 2024-05-15 | Mitsubishi Electric Corporation | Remote operation system |
CN113524262A (zh) * | 2021-08-20 | 2021-10-22 | 太仓中科信息技术研究院 | 摄像机器人虚实融合精度优化装置和方法 |
JP2023068343A (ja) * | 2021-11-02 | 2023-05-17 | ローレルバンクマシン株式会社 | 情報処理装置、ロボットの制御方法、プログラム、移動体及びロボットシステム |
DE102021133633B3 (de) | 2021-12-17 | 2023-01-26 | J. Schmalz Gmbh | Verfahren zum Bereitstellen einer Greifvorrichtung |
DE102022202562A1 (de) | 2022-03-15 | 2023-09-21 | Kuka Deutschland Gmbh | Ermitteln wenigstens einer Grenze für ein Betreiben eines Roboters |
DE102022202563B3 (de) | 2022-03-15 | 2023-07-06 | Kuka Deutschland Gmbh | Planen einer Bahn eines Roboters |
DE102022202571B3 (de) | 2022-03-15 | 2023-07-06 | Kuka Deutschland Gmbh | Prüfen einer vorgegebenen Bahn eines Roboters |
WO2024129802A1 (en) * | 2022-12-13 | 2024-06-20 | Acumino | System for testing and training robot control |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040189631A1 (en) * | 2003-02-11 | 2004-09-30 | Arif Kazi | Method and device for visualizing computer-generated informations |
KR100786351B1 (ko) * | 2006-08-29 | 2007-12-14 | 울산대학교 산학협력단 | Ar을 이용한 작업로봇 티칭 시스템 및 방법 |
CN102350700A (zh) * | 2011-09-19 | 2012-02-15 | 华南理工大学 | 一种基于视觉的机器人控制方法 |
US20120290130A1 (en) * | 2011-05-10 | 2012-11-15 | Agile Planet, Inc. | Method to Model and Program a Robotic Workcell |
CN103302668A (zh) * | 2013-05-22 | 2013-09-18 | 东南大学 | 基于Kinect的空间遥操作机器人的控制系统及其方法 |
CN104057453A (zh) * | 2013-03-18 | 2014-09-24 | 株式会社安川电机 | 机器人装置以及被加工物的制造方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03213278A (ja) * | 1990-01-12 | 1991-09-18 | Fujitsu Ltd | ロボットの遠隔操作支援方式 |
SE0203908D0 (sv) | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
DE10345743A1 (de) | 2003-10-01 | 2005-05-04 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung |
DE102005009437A1 (de) | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
US7818092B2 (en) * | 2006-01-20 | 2010-10-19 | Fisher Controls International Llc | In situ emission measurement for process control equipment |
CN102448681B (zh) | 2009-12-28 | 2014-09-10 | 松下电器产业株式会社 | 动作空间提示装置、动作空间提示方法以及程序 |
CN103213125B (zh) | 2011-11-04 | 2016-05-18 | 范努克机器人技术美国有限公司 | 具有3d显示的机器人教学装置 |
-
2015
- 2015-12-10 JP JP2015241007A patent/JP6420229B2/ja active Active
-
2016
- 2016-12-02 CN CN201611094231.9A patent/CN106863295B/zh active Active
- 2016-12-07 US US15/371,760 patent/US10543599B2/en active Active
- 2016-12-09 DE DE102016123945.3A patent/DE102016123945B4/de active Active
-
2019
- 2019-11-12 US US16/681,049 patent/US11345042B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040189631A1 (en) * | 2003-02-11 | 2004-09-30 | Arif Kazi | Method and device for visualizing computer-generated informations |
KR100786351B1 (ko) * | 2006-08-29 | 2007-12-14 | 울산대학교 산학협력단 | Ar을 이용한 작업로봇 티칭 시스템 및 방법 |
US20120290130A1 (en) * | 2011-05-10 | 2012-11-15 | Agile Planet, Inc. | Method to Model and Program a Robotic Workcell |
CN102350700A (zh) * | 2011-09-19 | 2012-02-15 | 华南理工大学 | 一种基于视觉的机器人控制方法 |
CN104057453A (zh) * | 2013-03-18 | 2014-09-24 | 株式会社安川电机 | 机器人装置以及被加工物的制造方法 |
CN103302668A (zh) * | 2013-05-22 | 2013-09-18 | 东南大学 | 基于Kinect的空间遥操作机器人的控制系统及其方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109421048A (zh) * | 2017-08-25 | 2019-03-05 | 发那科株式会社 | 机器人系统 |
CN111093903A (zh) * | 2017-08-31 | 2020-05-01 | 川崎重工业株式会社 | 机器人系统及其运行方法 |
CN109834697A (zh) * | 2017-11-28 | 2019-06-04 | 发那科株式会社 | 示教操作盘以及机器人控制系统 |
CN109078334B (zh) * | 2018-06-21 | 2020-04-14 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和系统 |
CN109078334A (zh) * | 2018-06-21 | 2018-12-25 | 广州市世平计算机科技有限公司 | 一种基于虚拟机器人的vr操作引导及陪练方法和系统 |
CN110977931A (zh) * | 2018-10-02 | 2020-04-10 | 发那科株式会社 | 使用了增强现实和混合现实的机器人控制装置及显示装置 |
CN110977931B (zh) * | 2018-10-02 | 2023-11-28 | 发那科株式会社 | 使用了增强现实和混合现实的机器人控制装置及显示装置 |
CN111045354A (zh) * | 2018-10-12 | 2020-04-21 | 发那科株式会社 | 机器人控制装置 |
CN109799771A (zh) * | 2018-12-29 | 2019-05-24 | 深圳市越疆科技有限公司 | 一种工业机器人的控制系统、方法及装置 |
CN109571507A (zh) * | 2019-01-16 | 2019-04-05 | 鲁班嫡系机器人(深圳)有限公司 | 一种服务机器人系统及服务方法 |
CN110815177A (zh) * | 2019-10-29 | 2020-02-21 | 中科新松有限公司 | 一种复合机器人2d视觉引导示教的迁移方法 |
CN110815177B (zh) * | 2019-10-29 | 2022-08-16 | 中科新松有限公司 | 一种复合机器人2d视觉引导示教的迁移方法 |
CN110815189A (zh) * | 2019-11-20 | 2020-02-21 | 福州大学 | 基于混合现实的机器人快速示教系统及方法 |
CN110815189B (zh) * | 2019-11-20 | 2022-07-05 | 福州大学 | 基于混合现实的机器人快速示教系统及方法 |
CN113055562A (zh) * | 2019-12-26 | 2021-06-29 | 发那科株式会社 | 输入输出信号信息显示系统 |
CN113055562B (zh) * | 2019-12-26 | 2024-06-04 | 发那科株式会社 | 输入输出信号信息显示系统 |
Also Published As
Publication number | Publication date |
---|---|
DE102016123945A1 (de) | 2017-06-14 |
JP6420229B2 (ja) | 2018-11-07 |
DE102016123945B4 (de) | 2022-03-03 |
US11345042B2 (en) | 2022-05-31 |
JP2017104944A (ja) | 2017-06-15 |
CN106863295B (zh) | 2019-09-10 |
US10543599B2 (en) | 2020-01-28 |
US20170165841A1 (en) | 2017-06-15 |
US20200078951A1 (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106863295A (zh) | 机器人系统 | |
US10857673B2 (en) | Device, method, program and recording medium, for simulation of article arraying operation performed by robot | |
KR102018242B1 (ko) | 머니퓰레이터 시스템 | |
US11813749B2 (en) | Robot teaching by human demonstration | |
JP6426725B2 (ja) | 移動可能な対象物体の場所を追跡するためのシステム及び方法 | |
CN104876021B (zh) | 物品排列装置、物品排列方法以及物品转运系统 | |
CN104552291B (zh) | 机器人控制装置、机器人系统、机器人以及机器人控制方法 | |
US9584796B2 (en) | Apparatus for setting interference region of robot | |
JP6826069B2 (ja) | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
US9990685B2 (en) | Automated guidance system and method for a coordinated movement machine | |
EP3068607A1 (en) | System for robotic 3d printing | |
CN108972568B (zh) | 显示用于机器人的示教的信息的机器人系统 | |
US9604360B2 (en) | Robot system for preventing accidental dropping of conveyed objects | |
US20220212340A1 (en) | Control device, control system, mechanical apparatus system, and controlling method | |
CN105729466A (zh) | 机器人识别系统 | |
JP2016218534A (ja) | 画像表示システムおよび画像表示方法 | |
CN104296658B (zh) | 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法 | |
CN113597362B (zh) | 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置 | |
CN106257924B (zh) | 多视角摄像装置及多视角摄像方法 | |
JPH09290383A (ja) | 画像情報によるマニピュレータ制御方法 | |
KR102196756B1 (ko) | 로봇의 원점 재설정 방법 | |
JP7447568B2 (ja) | シミュレーション装置およびプログラム | |
JP2012022600A (ja) | マスク画像作成システム | |
Hiroi et al. | [POSTER] Remote welding robot manipulation using multi-view images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |