CN105666505A - 具备扩展现实对应显示器的机器人系统 - Google Patents

具备扩展现实对应显示器的机器人系统 Download PDF

Info

Publication number
CN105666505A
CN105666505A CN201510888551.0A CN201510888551A CN105666505A CN 105666505 A CN105666505 A CN 105666505A CN 201510888551 A CN201510888551 A CN 201510888551A CN 105666505 A CN105666505 A CN 105666505A
Authority
CN
China
Prior art keywords
robot
image
mentioned
display
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510888551.0A
Other languages
English (en)
Other versions
CN105666505B (zh
Inventor
加茂井敏晃
稻叶豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN105666505A publication Critical patent/CN105666505A/zh
Application granted granted Critical
Publication of CN105666505B publication Critical patent/CN105666505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/03—Teaching system
    • Y10S901/05—Machine driven lead through

Abstract

本发明涉及一种具备扩展现实对应显示器的机器人系统，使用扩展现实对应显示器，将实际影像或实际环境中与机器人的状态或操作指南相关的信息提供给机器人的使用者，谋求实现使用者操作的效率化。该机器人系统具备：实际机器人；控制装置，其控制实际机器人；以及影像取入显示装置，其通过有线或无线与控制装置连接，具有取入对包括实际机器人的场景进行拍摄而得到的影像并实时地进行显示的功能。使用者通过将设置在影像取入显示装置中的照相机面向实际机器人，能够对包括实际机器人的场景进行拍摄，实时取得取入了该场景的影像，能够识别进行了扩展现实化的图像。

Description

具备扩展现实对应显示器的机器人系统
技术领域
本发明涉及一种具备扩展现实对应显示器的机器人系统，在上述扩展现实对应显示器上附加了与机器人的状态对应的信息、机器人操作的导航信息。
背景技术
在现有的机器人系统中，有使用与虚拟现实(VirtualReality:VR)相关的技术，进行机器人的状态或作业者的操作的导航的系统。但是在虚拟现实中，机器人以及机器人周围的环境的现实再现度越小，越与现实产生差异。
因此在近年的机器人系统中，有使用与扩展现实(AugmentedReality:AR)相关的技术(AR对应显示器等)，进行机器人的状态显示或作业者的操作辅助(导航)的系统。例如日本特开2014-097539号公报中公开了操作者通过主从方式远程操作双足步行型机器人的步行的方法和装置，记载有操作者一边观察AR(扩展现实)影像一边移动自己的脚的情况。
另外，在日本特开2014-180707号公报中公开一种机器人装置，该机器人装置具备：机器人控制部，其根据动作程序使机器人动作；机器人摄像部，其取得图像数据；数据处理部，其具有扩展现实空间数据生成部，该扩展现实空间数据生成部使用虚拟空间数据保持部以及至少图像数据和虚拟空间数据来生成扩展现实空间数据；以及显示部，其显示扩展现实空间的图像，进而还记载有虚拟空间数据包括在虚拟空间对存在于机器人的实际作业空间中的物体进行了模拟的虚拟物体的信息。
在日本特开2014-097539号公报记载的发明中记载了通过使用AR影像，能够稳定操作者自身的脚的位置/姿势。另外，在日本特开2014-180707号公报记载的发明中记载了通过使用实际机器人的图像数据和包括虚拟物体的虚拟空间数据来生成扩展现实空间数据，能够不产生机器人和周边物的干扰，从而安全且容易地实施机器人的示教作业。不过，目前关于使用扩展现实，将用数值或字符进行显示的情况为通常的与机器人的状态或导航(操作指南)相关的信息提供给操作者的情况，在日本特开2014-097539号公报和日本特开2014-180707号公报都没有提到。
发明内容
因此，本发明的目的在于提供一种机器人系统，使用扩展现实对应显示器，将机器人在实际影像或实际环境中的状态或与操作指南相关的信息提供给机器人的使用者，谋求实现使用者操作的效率化。
为了达成上述目的，本发明提供一种机器人系统，其具有：机器人；控制装置，其控制上述机器人；影像取入显示装置，其与上述控制装置连接，具有将包括上述机器人的场景的影像取入后实时进行显示的功能；以及测量部，其根据包括上述机器人的场景的影像，测量上述影像取入显示装置和上述机器人之间的相对位置角度，上述影像取入显示装置具有显示器，该显示器根据通过上述测量部测量出的相对位置角度，针对实时显示在上述影像取入显示装置中的影像，重叠显示视觉地表示上述机器人的状态或操作指南的附加信息。
在优选的实施方式中，上述影像取入显示装置具备显示现实的场景的视频图像的显示器，针对上述视频图像中包括的上述机器人的实际影像重叠显示上述附加信息。
在优选的实施方式中，上述影像取入显示装置具备透过现实的场景进行显示的显示器，针对在上述显示器上透过显示的上述机器人的实际影像重叠显示上述附加信息。
在优选的实施方式中，上述影像取入显示装置是与上述控制装置连接的示教操作盘。
上述附加信息例如是表示通过手动操作上述机器人有可能动作的方向的图像。
上述附加信息例如是通过上述机器人的速度倍率的当前值所对应的发光强度进行显示的发光显示。
上述附加信息例如是搭载到上述机器人上的设备中检测出异常的设备的发光显示。
附图说明
通过边参照附图边说明以下的优选实施方式，能够更加明确本发明的上述或其他目的、特征以及优点。
图1是表示本发明第一实施方式的机器人系统的概略结构的图。
图2是表示本发明的机器人系统的处理的一例的流程图。
图3是表示本发明第二实施方式的机器人系统的概略结构的图。
图4是表示在AR对应显示器中用于重叠图像的具体单元的一例的图。
图5是表示在AR对应显示器中用于重叠图像的具体单元的其他例子的图。
图6是表示本发明第三实施方式的机器人系统的概略结构的图。
图7是表示通过扩展现实处理而得到的图像的具体例子的图。
图8是表示通过扩展现实处理而得到的图像的其他具体例子的图。
图9是表示通过扩展现实处理而得到的图像的进一步其他具体例子的图。具体实施方式
图1是表示本发明第一实施方式的机器人系统10的概略结构的图。机器人系统10具有：实机机器人(实际机器人)12；机器人控制装置(以后也简单地称为控制装置)14，其控制实际机器人12；影像取入显示装置(扩展现实(AR)对应显示器)16，其通过有线或无线与控制装置14连接，具有取入对包括实际机器人12的场景进行拍摄得到的影像(图像)后实时地进行显示的功能。另外，在以下说明的实施方式中，本发明的影像取入显示装置以及测量部的功能由AR对应显示器16或后述的示教操作盘42所具备，不过也能够使其他单元具备这些功能的一部分。
在图1的例子中，影像取入显示装置16图示为使用者18能够安装的头戴式显示器。使用者18使设置在头戴式显示器16上的照相机20面向实际机器人12，从而能够拍摄包括实际机器人12的场景，实时取得(捕捉)该场景的影像，能够经由显示部22(显示器)识别后述的被扩展现实化了的图像26。
接着，参照图2的流程图说明关于机器人系统10的处理。首先，通过内置有计算机和存储器的AR对应显示器16拍摄(捕捉)包括实际机器人12的实际环境(场景)。在正确地捕捉到实际机器人12的图像的情况下(步骤S1)，从预先记录在AR对应显示器16中的多个机器人的图像模型24(参照图1)检测(匹配)距离通过AR对应显示器16捕捉到的实际机器人12的图像最近的图像模型。在图1的例子中，检测(选择)出AR对应显示器16中存储的多个图形模型24a～24z中距离实际机器人12的摄像图像最近的图像模型24a。
接着，使用AR对应显示器16测量实际机器人12相对AR对应显示器16(的照相机20)的相对位置以及角度(以后称为相对位置角度)(步骤S2)。具体地说，如图1所示，预先将表示针对AR对应显示器16的机器人的代表点(例如工具前端点)位置和姿势的值(相对位置角度)与多个图像模型分别关联，将与检测出的图像模型24a关联的相对位置角度作为AR对应显示器16和实际机器人12的相对位置角度进行测量。另外，在图示例中，实际机器人12是6轴的多关节机器人，通过6个参数(X、Y、Z、W、P、R)来表现该机器人的工具前端点的相对位置角度。
接着，在步骤S3中，将通过AR对应显示器16测量出的相对位置角度发送给控制装置14。并且在接着的步骤S4中，将为了扩展现实化所需要的实际机器人12的内部信息从控制装置14发送给AR对应显示器16。
接着，在步骤S5中，在AR对应显示器16根据来自控制装置14的实际机器人12的内部信息生成预定的附加信息图像，针对捕捉到的实际机器人12的图像进行扩展现实处理，将进行了扩展现实化的机器人显示在显示部22中。在该例子中，实际机器人12的内部信息是工具前端点的机器人坐标系的各个轴(X、Y、Z)的方向，在被扩展现实化了的机器人的图像中，将工具前端点设为原点，将表示将上述各个轴的方向设为基本轴的正交坐标系28的图像作为附加信息图像(实际机器人的操作指南)重叠显示在实际机器人12的图像上。
通过预定的时间周期重复上述的步骤S1～S5，从而在显示部22实时地显示被扩展现实化了的机器人的图像，使用者18能够一边对此进行识别一边有效地进行实际机器人12的示教操作等。
图3是表示本发明第二实施方式的机器人系统10’的概略结构的图。机器人系统10’具有：实机机器人(实际机器人)12；控制装置14，其控制实际机器人12；影像取入显示装置(扩展现实(AR)对应显示器)16，其通过有线或无线与控制装置14连接，具有取入将场景进行取入的影像后实时地进行显示的功能。
在图3的例子中，影像取入显示装置16图示为使用者18能够安装的头戴式显示器。使用者18通过将设置在头戴式显示器16上的照相机20面向实际机器人12，能够实时取得(捕捉)拍摄包括实际机器人12的场景而得到的影像(图像)，能够经由显示部(显示器)22识别后述的被扩展现实化了的图像26。
接着，参照图2的流程图说明机器人系统10’的处理。首先，在实际机器人12的预定部位(旋转躯干、上臂、前臂等)至少粘贴或形成一个标记30，通过内置具有图像处理功能的计算机的AR对应显示器16拍摄(捕捉)包括实际机器人12的实际环境(场景)。这时候，在被拍摄的图像中包括标记30。
在正确捕捉到具有标记30的实际机器人12的图像的情况下(步骤S1)，对所拍摄的标记30进行图像处理，测量实际机器人12相对AR对应显示器16(的照相机20)的相对的位置和角度(以后称为相对位置角度)(步骤S2)。另外，标记30包括在图示例中略呈L字排列的4个圆，不过如果能够通过通常的图像处理检测出实际机器人12(的代表点)的位置和姿势，则也可以具备任何形状。
接着，在步骤S3中，将通过AR对应显示器16测量出的相对位置角度发送给控制装置14。并且在接着的步骤S4中，在控制装置14中生成为了扩展现实化所需要的附加信息图像，将生成的附加信息图像发送给AR对应显示器16。在第二实施方式中，所生成的附加图像信息与图1的第一实施方式一样，是表示将工具前端点设为原点，将实际机器人12的各个轴的方向设为基本轴的正交坐标系28的图像。
接着，在步骤S5中，在AR对应显示器16中，针对捕捉到的实际机器人12的图像进行扩展现实处理，将表示正交坐标系28的图像作为附加信息图像与实际机器人12的图像重叠，并将扩展现实化了的机器人显示在显示部22中。
通过预定的时间周期重复上述步骤S1～S5，从而在显示部22实时地显示被扩展现实化了的机器人的图像，使用者18能够边识别这些边有效地进行实际机器人12的示教操作等。
另外，在第二实施方式中，在控制装置14中生成了正交坐标系28等附加信息图像，不过也可以如第一实施方式那样，从控制装置14向AR对应显示器16发送内部信息，在AR对应显示器16中生成附加信息图像。相反，在第一实施方式中，也可以在控制装置14中生成正交坐标系28等附加信息图像，从控制装置14向AR对应显示器16发送该附加信息图像。
图4和图5是用于在图1或图3所示的AR对应显示器16中重叠图像的单元的具体例子的图。首先图4表示AR对应显示器16是具备了显示现实的场景的视频图像的显示器的视频透视型头戴式显示器的情况。具体地说，AR对应显示器16具有拍摄实际机器人12的摄像机32、将来自控制装置14的附加信息图像28和摄像机32拍摄的图像进行合成的图像合成部34，能够针对视频图像中包括的实际机器人12的实际影像重叠显示附加信息。这样使用者18能够将图像合成部34进行合成的图像26识别为被扩展现实化了的机器人。
另一方面，图5表示AR对应显示器16是具备透过现实的场景进行显示的显示器的光学透过型头戴式显示器的情况。具体地说，AR对应显示器16具有透过实际机器人12的图像的光学组合器36、将来自控制装置14的附加信息图像28投影到光学组合器36上的投影仪38，能够针对进行了透过显示的实际机器人12的实际影像重叠显示附加信息。这样使用者18能够将光学组合器36进行合成的图像26识别为被扩展现实化了的机器人。
图6是表示本发明第三实施方式的机器人系统10”的概略结构的图。在第三实施方式中，搭载了摄像机40的机器人示教操作盘42具备AR对应显示器的功能。具体地说，机器人系统10”具有：实机的机器人(实际机器人)12；控制实际机器人12的控制装置14；以及通过有线或无线与控制装置14连接，使用者能够操作的机器人示教操作盘42。
示教操作盘42搭载摄像机40，使用者通过将摄像机40面对实际机器人12，能够拍摄包括实际机器人12的场景，实时地取得(捕捉)取入了该场景的影像，能够经由示教操作盘42的显示画面(显示器)44识别被扩展现实化了的图像26。另外，关于在实际机器人12的图像上重叠显示附加信息图像(这里是正交坐标系28)，能够和上述第一或第二实施方式同样地进行。
图7～图9表示在实际机器人12的图像上重叠的附加信息图像的优选的具体例子。首先，图7表示在实际机器人12的图像上重叠显示了实际机器人的操作指南(这里，工具前端点的手动操作(微动操作)的方向)的例子。具体地说，将来自工具前端点的表示基本方向的箭头(图示例中分别表示+X、+Y以及+Z方向的箭头46、48以及50)作为附加信息图像从上述控制装置14发送给AR对应显示器16或示教操作盘42，AR对应显示器16或示教操作盘42能够在实际机器人12的图像上重叠显示该附加信息图像。另外，最好通过手动操作将这些基本方向设定为实际机器人12(的手指)有可能进行动作的方向。这样使用者在通过手动进行实际机器人12的示教等的情况下，能够使实际机器人12的手指在希望的方向正确地移动。
图8表示通过扩展现实化能够视觉地识别表示实际机器人的状态的附加信息(这里，关于实际机器人12的速度的倍率值(速度倍率))的例子。通常，对机器人设定速度倍率，其值能够在各种条件下通过控制装置14进行变化而得到。因此，将速度倍率从控制装置14发送给AR对应显示器16或示教操作盘42，AR对应显示器16或示教操作盘42在实际机器人12的图像上重叠发光显示区域50，进而能够根据速度倍率的当前值使发光区域50的发光强度(亮度)发生变化(例如，速度倍率越大则发光强度越高)。这样使用者能够直观地把握当前的速度倍率。
另外，在图8的例子中，使大概包含实际机器人12的图像的略椭圆形的区域50发光显示，不过也可以使实际机器人12的图像的一部分或整体发光，进而根据速度倍率的当前值使其发光强度发生变化。
图9表示通过扩展现实化能够视觉地识别表示实际机器人的状态的附加信息(这里，实际机器人12的异常地点)的例子。在检测驱动实际机器人12的各个轴的电动机或各个轴的位置的编码器等的设备中有时由于某种原因发生异常，通常能够通过控制装置14检测出该异常。因此将发生了异常的设备相关的信息从控制装置14发送给AR对应显示器16或示教操作盘42，AR对应显示器16或示教操作盘42如图9所示，使在实际机器人12中发生了异常的部位(设备)进行发光显示，能够视觉地识别其他的部分。这样使用者能够迅速且容易地确定发生了异常的设备。
另外，在图9的例子中，表示驱动实际机器人12的旋转躯干的电动机(例如伺服电动机)发生了异常的情况，使大概包含该电动机的略圆形的区域52发光显示，不过也可以使该电动机的一部分或整体发光，进而根据速度倍率的当前值使其发光强度发生变化。
另外，也可以适当组合图7～图9等所示例的各种附加信息后重叠显示。另外，这些附加信息的重叠显示能够应用于图1、图3以及图6所示例的任意一个实施方式，并且应用于图4和图5所示例的任意一个类型的显示器。
在现有的机器人系统中，机器人的状态通常通过数值或字符来显示，虽然有难以直观地把握该信息的情况，不过在本发明中使用扩展现实空间，能够让使用者感觉到如在现实空间中显示被视觉化的机器人状态或操作者指南。这样使用者能够更简单地进行针对机器人的示教操作。

Claims (7)

1.一种机器人系统，其特征在于，具备：
机器人；
控制装置，其控制上述机器人；
影像取入显示装置，其与上述控制装置连接，具有取入包括上述机器人的场景的影像后实时进行显示的功能；以及
测量部，其根据包括上述机器人的场景的影像，测量上述影像取入显示装置和上述机器人之间的相对位置角度，
上述影像取入显示装置具有：显示器，其根据上述测量部测量到的相对位置角度，针对在上述影像取入显示装置中实时显示的影像，重叠显示用于视觉地表示上述机器人的状态或操作指南的附加信息。
2.根据权利要求1所述的机器人系统，其特征在于，
上述影像取入显示装置具备用于显示现实的场景的视频图像的显示器，针对上述视频图像中包括的上述机器人的实际影像重叠显示上述附加信息。
3.根据权利要求1所述的机器人系统，其特征在于，
上述影像取入显示装置具备透过现实的场景进行显示的显示器，针对在上述显示器上进行透过显示的上述机器人的实际影像重叠显示附加信息。
4.根据权利要求1或2所述的机器人系统，其特征在于，
上述影像取入显示装置是与上述控制装置连接的示教操作盘。
5.根据权利要求1～4中的任意一项所述的机器人系统，其特征在于，
上述附加信息是表示通过手动操作上述机器人有可能动作的方向的图像。
6.根据权利要求1～5中的任意一项所述的机器人系统，其特征在于，
上述附加信息是以上述机器人的速度倍率的当前值所对应的发光强度进行显示的发光显示。
7.根据权利要求1～6中的任意一项所述的机器人系统，其特征在于，
上述附加信息是搭载到上述机器人上的设备中检测出异常的设备的发光显示。
CN201510888551.0A 2014-12-08 2015-12-07 具备扩展现实对应显示器的机器人系统 Active CN105666505B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014248127A JP2016107379A (ja) 2014-12-08 2014-12-08 拡張現実対応ディスプレイを備えたロボットシステム
JP2014-248127 2014-12-08

Publications (2)

Publication Number Publication Date
CN105666505A true CN105666505A (zh) 2016-06-15
CN105666505B CN105666505B (zh) 2019-12-27

Family

ID=55974921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510888551.0A Active CN105666505B (zh) 2014-12-08 2015-12-07 具备扩展现实对应显示器的机器人系统

Country Status (4)

Country Link
US (1) US10052765B2 (zh)
JP (1) JP2016107379A (zh)
CN (1) CN105666505B (zh)
DE (1) DE102015015503B4 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106710353A (zh) * 2017-01-10 2017-05-24 河南师范大学 一种智能培训装置
CN108972568A (zh) * 2017-05-31 2018-12-11 发那科株式会社 显示用于机器人的示教的信息的机器人系统
CN109421048A (zh) * 2017-08-25 2019-03-05 发那科株式会社 机器人系统
CN110505947A (zh) * 2017-04-11 2019-11-26 川崎重工业株式会社 机器人系统及其运行方法
CN110788836A (zh) * 2018-08-03 2020-02-14 发那科株式会社 协同动作辅助装置
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN111045354A (zh) * 2018-10-12 2020-04-21 发那科株式会社 机器人控制装置
CN111565898A (zh) * 2017-11-28 2020-08-21 施耐德电气日本控股有限公司 操作引导系统
CN111736514A (zh) * 2020-06-10 2020-10-02 杭州凯尔达机器人科技股份有限公司 基于通用计算机的机器人控制系统
CN112008690A (zh) * 2019-05-30 2020-12-01 精工爱普生株式会社 机器人系统及便携式示教装置
CN112313046A (zh) * 2018-06-26 2021-02-02 发纳科美国公司 使用增强现实可视化和修改操作界定区域
CN112405566A (zh) * 2019-08-23 2021-02-26 发那科株式会社 机器人控制装置
CN112638593A (zh) * 2018-06-26 2021-04-09 发纳科美国公司 用于机器人拾取系统的增强现实可视化技术
CN113211494A (zh) * 2020-02-05 2021-08-06 马格纳斯泰尔汽车技术两合公司 用于检查机器人的安全区域的方法
WO2021189223A1 (zh) * 2020-03-24 2021-09-30 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104470687A (zh) * 2012-07-20 2015-03-25 株式会社安川电机 机器人模拟器、机器人示教装置以及机器人示教方法
US10076840B2 (en) * 2015-04-03 2018-09-18 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
PT3260255T (pt) * 2016-06-24 2019-11-29 Zuend Systemtechnik Ag Sistema de corte de produto para corte
DE102016212240A1 (de) * 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
JP6348149B2 (ja) * 2016-07-08 2018-06-27 ファナック株式会社 ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム
JP2018008347A (ja) * 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法
US10684480B2 (en) * 2017-03-16 2020-06-16 Denso Wave Incorporated Information display system
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
DE102017107224A1 (de) * 2017-04-04 2018-10-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Darstellung einer Bauteildokumentation
US10860853B2 (en) 2017-04-28 2020-12-08 Intel Corporation Learning though projection method and apparatus
US10602033B2 (en) * 2017-05-02 2020-03-24 Varjo Technologies Oy Display apparatus and method using image renderers and optical combiners
WO2018222225A1 (en) * 2017-06-01 2018-12-06 Siemens Aktiengesellschaft Semantic information model and enhanced reality interface for workforce and asset management
JP6585665B2 (ja) * 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム
JP7071070B2 (ja) * 2017-08-02 2022-05-18 川崎重工業株式会社 ロボットシステム及びその運転方法
CN110914022B (zh) * 2017-08-10 2023-11-07 罗伯特·博世有限公司 直接教导机器人的系统和方法
JP7066357B2 (ja) 2017-08-31 2022-05-13 川崎重工業株式会社 ロボットシステム及びその運転方法
US20210094180A1 (en) * 2018-03-05 2021-04-01 The Regents Of The University Of Colorado, A Body Corporate Augmented Reality Coordination Of Human-Robot Interaction
DE102018109463C5 (de) 2018-04-19 2023-10-05 Voraus Robotik Gmbh Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
JP6781201B2 (ja) * 2018-06-05 2020-11-04 ファナック株式会社 仮想オブジェクト表示システム
DE102018113336A1 (de) * 2018-06-05 2019-12-05 GESTALT Robotics GmbH Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung
JP7425756B2 (ja) 2018-06-26 2024-01-31 ファナック アメリカ コーポレイション 拡張現実を用いた自動動的診断ガイド
JP6856583B2 (ja) 2018-07-25 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
CN108994820A (zh) * 2018-07-27 2018-12-14 国网江苏省电力有限公司徐州供电分公司 用于带电作业的机器人系统及作业场景构建方法
JP6856590B2 (ja) 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
DE112019004517T5 (de) 2018-09-10 2021-06-02 Fanuc America Corporation Roboterkalibrierung für ar (augmented reality) und digitaler zwilling
JP6816087B2 (ja) 2018-11-02 2021-01-20 ファナック株式会社 ロボットのアラーム通知システム
US11584020B2 (en) * 2018-12-04 2023-02-21 Cloudminds Robotics Co., Ltd. Human augmented cloud-based robotics intelligence framework and associated methods
JP7000364B2 (ja) * 2019-01-29 2022-01-19 ファナック株式会社 ロボットシステム
KR102184935B1 (ko) * 2019-02-20 2020-12-01 한국기술교육대학교 산학협력단 증강현실을 이용한 로봇팔의 움직임 확인 방법
JPWO2020203819A1 (ja) 2019-03-29 2021-10-14 株式会社Ihi 遠隔操作装置
KR102379245B1 (ko) * 2019-04-30 2022-03-28 치루 유니버시티 오브 테크놀로지 웨어러블 디바이스 기반의 이동 로봇 제어 시스템 및 제어 방법
JP7260405B2 (ja) 2019-06-07 2023-04-18 ファナック株式会社 オフラインプログラミング装置、ロボット制御装置および拡張現実システム
US11288883B2 (en) * 2019-07-23 2022-03-29 Toyota Research Institute, Inc. Autonomous task performance based on visual embeddings
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
WO2021220915A1 (ja) 2020-04-27 2021-11-04 ファナック株式会社 産業機械の表示装置
DE102020006304B3 (de) 2020-10-14 2022-01-13 Kuka Systems Gmbh Verfahren zum Einblenden von virtuellen Roboterdatenobjekten und Computerprogrammprodukt
JP7068416B2 (ja) * 2020-10-27 2022-05-16 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法
DE102020129823B4 (de) 2020-11-12 2022-07-07 Sick Ag Visualisieren eines Schutzfeldes
JP6991396B1 (ja) * 2020-12-28 2022-01-14 三菱電機株式会社 表示装置、制御システムおよび作画方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02167691A (ja) * 1988-12-22 1990-06-28 Fanuc Ltd オーバライド表示方式
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
US20090326556A1 (en) * 2008-06-27 2009-12-31 Intuitive Surgical, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US20110152882A1 (en) * 2008-08-29 2011-06-23 Corindus Inc. Catheter control system and graphical user interface
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
JP2002172575A (ja) 2000-12-07 2002-06-18 Fanuc Ltd 教示装置
DE10305384A1 (de) 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP2011088219A (ja) * 2009-10-20 2011-05-06 Hitachi High-Tech Control Systems Corp ロボットの動作診断方法、ロボットの制御装置、ミニエンバイロメントシステムの制御装置、ロボット、及びミニエンバイロメントシステム
JP4850984B2 (ja) 2009-12-28 2012-01-11 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
JP5526881B2 (ja) * 2010-03-12 2014-06-18 株式会社デンソーウェーブ ロボットシステム
CN102802884B (zh) 2010-11-12 2015-04-08 松下电器产业株式会社 移动路径搜索装置及移动路径搜索方法
JP2012218120A (ja) * 2011-04-12 2012-11-12 Seiko Epson Corp マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
AT12208U3 (de) 2011-09-06 2013-07-15 Keba Ag Verfahren, steuerungssystem und bewegungsvorgabemittel zum programmieren oder vorgeben von bewegungen oder abläufen eines industrieroboters
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP5949477B2 (ja) 2012-11-13 2016-07-06 トヨタ自動車株式会社 移動体の遠隔操作方法および遠隔操作装置
JP5742862B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
US10888998B2 (en) * 2013-10-07 2021-01-12 Abb Schweiz Ag Method and device for verifying one or more safety volumes for a movable mechanical unit
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
EP3009833B1 (de) * 2014-10-14 2020-12-02 Airbus Defence And Space Gmbh In-Prozess Fehlerüberprüfung durch erweiterte Realität
US11144041B2 (en) * 2014-11-05 2021-10-12 The Boeing Company 3D visualizations of in-process products based on machine tool input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02167691A (ja) * 1988-12-22 1990-06-28 Fanuc Ltd オーバライド表示方式
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
US20090326556A1 (en) * 2008-06-27 2009-12-31 Intuitive Surgical, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US20110152882A1 (en) * 2008-08-29 2011-06-23 Corindus Inc. Catheter control system and graphical user interface
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106710353A (zh) * 2017-01-10 2017-05-24 河南师范大学 一种智能培训装置
CN110505947A (zh) * 2017-04-11 2019-11-26 川崎重工业株式会社 机器人系统及其运行方法
CN110505947B (zh) * 2017-04-11 2022-10-11 川崎重工业株式会社 机器人系统及其运行方法
CN108972568A (zh) * 2017-05-31 2018-12-11 发那科株式会社 显示用于机器人的示教的信息的机器人系统
CN108972568B (zh) * 2017-05-31 2019-11-15 发那科株式会社 显示用于机器人的示教的信息的机器人系统
CN109421048A (zh) * 2017-08-25 2019-03-05 发那科株式会社 机器人系统
CN111565898A (zh) * 2017-11-28 2020-08-21 施耐德电气日本控股有限公司 操作引导系统
CN112313046A (zh) * 2018-06-26 2021-02-02 发纳科美国公司 使用增强现实可视化和修改操作界定区域
CN112638593A (zh) * 2018-06-26 2021-04-09 发纳科美国公司 用于机器人拾取系统的增强现实可视化技术
CN110788836A (zh) * 2018-08-03 2020-02-14 发那科株式会社 协同动作辅助装置
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN110977931B (zh) * 2018-10-02 2023-11-28 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN111045354A (zh) * 2018-10-12 2020-04-21 发那科株式会社 机器人控制装置
CN112008690A (zh) * 2019-05-30 2020-12-01 精工爱普生株式会社 机器人系统及便携式示教装置
CN112405566A (zh) * 2019-08-23 2021-02-26 发那科株式会社 机器人控制装置
CN113211494A (zh) * 2020-02-05 2021-08-06 马格纳斯泰尔汽车技术两合公司 用于检查机器人的安全区域的方法
WO2021189223A1 (zh) * 2020-03-24 2021-09-30 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN111736514A (zh) * 2020-06-10 2020-10-02 杭州凯尔达机器人科技股份有限公司 基于通用计算机的机器人控制系统

Also Published As

Publication number Publication date
DE102015015503A1 (de) 2016-06-09
US10052765B2 (en) 2018-08-21
CN105666505B (zh) 2019-12-27
US20160158937A1 (en) 2016-06-09
DE102015015503B4 (de) 2021-09-23
JP2016107379A (ja) 2016-06-20

Similar Documents

Publication Publication Date Title
CN105666505A (zh) 具备扩展现实对应显示器的机器人系统
CN108422435B (zh) 一种基于增强现实的远程监测及控制系统
US11605308B2 (en) Weld training systems to synchronize weld data for presentation
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
US8731276B2 (en) Motion space presentation device and motion space presentation method
US7236854B2 (en) Method and a system for programming an industrial robot
US10600253B2 (en) Information processing apparatus, information processing method, and program
JP2005106825A (ja) 受像装置の位置および方向づけの決定方法および装置
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015212629A (ja) 検出装置およびこの装置を具えたマニプレータの動作制御
TWI687870B (zh) 環境取得系統以及環境取得方法
WO2019193859A1 (ja) カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
JP7453762B2 (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
JP6364389B2 (ja) 検査方法及び検査システム
JP2001062766A (ja) ２足歩行ロボットの遠隔制御用ユーザインターフェイスシステム
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
CN115514885A (zh) 基于单双目融合的远程增强现实随动感知系统及方法
JPH09323280A (ja) マニピュレータの制御方法及びシステム
KR20220165948A (ko) 원격 협업 방법 및 그 시스템
WO2020235539A1 (ja) オブジェクトの位置及び姿勢を特定する方法及び装置
JP2018158429A (ja) ロボットシステム
CN114726996B (zh) 用于建立空间位置与成像位置之间的映射的方法和系统
WO2023113694A2 (en) Tracking system for simulating body motion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant