CN113631325A - 远程操作装置 - Google Patents

远程操作装置 Download PDF

Info

Publication number
CN113631325A
CN113631325A CN202080024868.9A CN202080024868A CN113631325A CN 113631325 A CN113631325 A CN 113631325A CN 202080024868 A CN202080024868 A CN 202080024868A CN 113631325 A CN113631325 A CN 113631325A
Authority
CN
China
Prior art keywords
image
virtual
unit
viewpoint
remote operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080024868.9A
Other languages
English (en)
Inventor
田中真人
山崎峻一
清水拓
安井祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Publication of CN113631325A publication Critical patent/CN113631325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

该远程操作装置(2)具有：传感器(1d)，其对作业现场中的移动机器人(1)与该移动机器人周围的物体(W)之间的距离进行检测；视点指定部(2e)，其指定所述作业现场的虚拟三维影像的视点；虚拟影像生成部(2a)，其根据所述传感器的检测结果以及所述视点指定部指定的视点来生成所述虚拟三维影像；显示部(2c)，其显示所述虚拟三维影像；以及操作部(2d)，其生成对所述移动机器人进行远程操作的操作信号。

Description

远程操作装置
技术领域
本公开涉及远程操作装置。
本申请根据2019年3月29日在日本申请的特愿2019-067408号主张优先权，在此引用其内容。
背景技术
在下述专利文献1中公开了机械手的远程操作装置。该远程操作装置具有：照相机单元，其对机器人(机械手)的作业空间进行拍摄；头戴式显示器(HMD)，其显示照相机单元拍摄到的影像；三维输入装置，其供操作者一边观察头戴式显示器的影像一边进行操作；以及机器人控制用计算机。
现有技术文献
专利文献
专利文献1：日本特开2000-042960号公报
发明内容
发明要解决的课题
在上述的远程操作装置中，操作者通过使用三维输入装置，一边观察显示于头戴式显示器的作业现场的照相机影像一边操作机器人。在此，照相机单元被固定设置，照相机影像的范围(视野)被限定在固定的范围。因此，例如有时机械手与未显示在照相机影像中的物体产生干涉。
本公开是鉴于上述情况而完成的，其目的在于提供一种视野可变的远程操作装置。
用于解决课题的手段
本公开的第一方式的远程操作装置具有：传感器，其对作业现场中的移动机器人与该移动机器人周围的物体之间的距离进行检测；视点指定部，其指定所述作业现场的虚拟三维影像的视点；虚拟影像生成部，其根据所述传感器的检测结果以及所述视点指定部指定的视点来生成所述虚拟三维影像；显示部，其显示所述虚拟三维影像；以及操作部，其生成对所述移动机器人进行远程操作的操作信号。
作为本公开的第二方式，上述第一方式的远程操作装置还具有：摄像部，其对所述作业现场的实际影像进行拍摄；以及影像合成部，其将所述虚拟三维影像和所述实际影像合成而生成合成影像，所述显示部显示所述合成影像来代替所述虚拟三维影像。
作为本公开的第三方式，在上述第二方式的远程操作装置中，所述影像合成部将所述移动机器人的控制信息嵌入到所述合成影像中。
作为本公开的第四方式，在上述第一～第三中的任一方式的远程操作装置中，所述虚拟三维影像包含所述移动机器人的对象和所述移动机器人作为作业对象的工件的对象。
作为本公开的第五方式，在上述第一～第四中的任一方式的远程操作装置中，所述显示部是头戴式显示器，所述视点指定部是组装于头戴式显示器的运动传感器。
发明效果
根据本公开，能够提供视野可变的远程操作装置。
附图说明
图1是表示本公开的一实施方式中的机器人系统的整体结构的系统结构图。
图2是表示本公开的一实施方式的远程操作装置的结构的框图。
图3是表示本公开的一实施方式中的合成影像的示意图。
具体实施方式
以下，参照附图对本公开的一实施方式进行说明。
如图1所示，本实施方式中的机器人系统由机器人主体1和远程操作装置2构成。
机器人主体1是一边在预定的作业现场(作业空间)移动一边对工件W进行预定的作业的多关节机器人。如图所示，机器人主体1至少具有移动台车1a、机械手1b、作业工具1c、传感器1d以及机器人控制器1e。此外，该机器人主体1相当于本公开的移动机器人。
在该作业现场，作为机器人主体1的作业对象的工件W载置于支承台T上。机器人主体1由机器人控制器1e控制，由此，对载置于支承台T上的工件W进行预定的作业。
移动台车1a具有多个车轮和驱动该车轮的驱动装置(马达等)，根据从机器人控制器1e输入的行驶控制信号在作业现场的地板F上行驶。该移动台车1a将搭载于自身的机械手1b在作业现场中的位置设定为预定的作业位置。此外，移动台车1a的移动用的结构不限于车轮，例如也可以是履带、步行腿等。
机械手1b固定设置在上述移动台车1a上，具有多个机械臂和连结该机械臂的多个关节部。该机械手1b根据从机器人控制器1e输入的关节控制信号来驱动关节部所具有的马达，由此，使安装于前端部的作业工具1c移动。即，该机械手1b是根据对工件W的作业内容来最佳设定作业工具1c的位置、姿势的机械装置。
作业工具1c以能够装卸的方式装配于机械手1b的前端部，是对工件W进行直接作业的部位。例如，在对工件进行机械加工的情况下，作业工具1c是对工件作用剪切力、按压力等的工具。
传感器1d至少包含距离传感器和照相机。该传感器1d固定设置于移动台车1a的前方侧，即移动台车1a中机械手1b的前方(机械手1b相对于移动台车1a的固定部位的前方)，检测作业现场的机器人主体1与该机器人主体1周围的物体的距离，并且将移动台车1a前方的影像拍摄为作业现场的实际影像。
此外，“移动台车1a的前方侧”是指例如在作业时移动台车1a的靠近工件W的一侧。或者，“移动台车1a的前方侧”是指即使机械手1b为了作业而移动，传感器1d也能够检测工件W的一侧(不为死角的一侧)。
该实际影像是表示作业现场的工件W以及对该工件进行作业的作业工具1c的状态的动画。这样的传感器1d将与周围物体的距离的检测结果作为距离检测信号输出给远程操作装置2，并且将实际影像作为实际影像信号输出给远程操作装置2。
在此，在图1中，传感器1d和远程操作装置2被描绘成分体的结构要素，但传感器1d在功能上是包含在远程操作装置2中的结构要素。另外，该传感器1d相当于对作业现场的实际影像进行拍摄的摄像部。即，传感器1d的照相机相当于摄像部。
机器人控制器1e是与操作室的远程操作装置2能够通信地连接的控制装置，根据从远程操作装置2接收到的操作信号来控制移动台车1a以及机械手1b。该机器人控制器1e是一种计算机，按照预先存储的控制程序对操作信号进行信息处理，由此，按照操作信号控制移动台车1a和机械手1b。该计算机例如具有CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)这样的存储器、以及进行与外部设备的信号交换的输入输出装置。
另外，该机器人控制器1e将移动台车1a以及机械手1b的控制信息发送给远程操作装置2。该控制信息是机器人主体1的动作模式、移动台车1a的位置和/或机械手1b的各关节的角度等。
远程操作装置2被配备于与作业现场分离的操作室，根据来自操作者的操作输入将操作信号输出给机器人主体1。该远程操作装置2是根据操作程序对操作输入进行信息处理，从而生成操作信号的一种计算机，作为功能结构要素至少具有图2所示的虚拟影像生成部2a、影像合成部2b、显示部2c以及操作部2d。
此外，远程操作装置2具有计算机，该计算机可以承担虚拟影像生成部2a以及影像合成部2b的功能。该计算机例如可以具有CPU(Central Processing Unit)、RAM(RandomAccess Memory)、ROM(Read Only Memory)这样的存储器、以及进行与外部设备的信号交换的输入输出装置。
虚拟影像生成部2a生成作业现场的虚拟三维影像即虚拟现实影像。即，该虚拟影像生成部2a根据从后述的显示部2c输入的视点指定信号以及从传感器(传感器1d的距离传感器)输入的距离检测信号，来生成作业现场的虚拟三维影像(虚拟现实影像)。该虚拟三维影像(虚拟现实影像)至少包含工件W以及机器人主体1的各三维模型(对象(object))。
另外，上述虚拟三维影像(虚拟现实影像)根据视点指定信号来设定视点。即，在该虚拟三维影像(虚拟现实影像)中，工件W以及机器人主体1等显示为从由视点指定信号指定的视点观察到的对象(物体)。即，本实施方式中的“视点”除了用于拍摄或目视确认实际的物体的视点，还包含生成的虚拟三维影像中的视点的意思。
影像合成部2b将从虚拟影像生成部2a输入的虚拟三维影像(虚拟现实影像)作为基本影像，在该虚拟三维影像内合成从传感器1d输入的作业现场的实际影像以及从机器人控制器1e输入的机器人主体1的控制信息。该影像合成部2b生成在虚拟三维影像(虚拟现实影像)中合成了实际影像以及控制信息所得的合成影像G并输出给显示部2c。
图3是表示上述合成影像G的一例的示意图。在作业现场的虚拟三维影像(虚拟现实影像)中嵌入实际影像g1以及控制信息影像g2而生成该合成影像G。在虚拟现实影像中，支承台T上的工件W和机器人主体1显示为对象(虚拟影像内的物体)。另外，在该合成影像G中，在虚拟现实影像中，在工件W以及机器人主体1的各对象以外的区域配置有实际影像g1以及控制信息影像g2。
显示部2c是显示上述合成影像G的显示装置。该显示部2c对操作者提供合成影像G作为对机器人主体1进行远程操作时的辅助信息。即，该显示部2c具有在操作室中操作者容易目视确认的形态，例如是头戴式显示器(HMD)。
另外，在该显示部2c组装有对被佩戴者即操作者的头的朝向进行检测的运动传感器2e。该运动传感器2e将表示操作者的头的朝向的检测信号作为视点指定信号输出给虚拟影像生成部2a。这样的运动传感器2e相当于指定虚拟三维影像(虚拟现实影像)的视点的视点指定部。
此外，上述的虚拟影像生成部2a取入这样的运动传感器2e的检测信号作为视点指定信号，由此，生成视点根据操作者的头的朝向而变化的虚拟三维影像(虚拟现实影像)。
操作部2d是供操作者输入操作指示的装置。即，该操作部2d从操作者接受用于对机器人主体1进行远程操作的操作指示，生成表示该操作指示的操作信号并输出给机器人控制器1e。这样的操作部2d例如是操纵杆。
接着，对本实施方式的远程操作装置的动作进行更详细的说明。
在使用该远程操作装置对机器人主体1进行远程操作的情况下，操作者将作为HMD的显示部2c佩戴于面部并对操作部2d进行操作输入。即，操作者一边通过显示部2c对图3的合成影像G进行目视确认一边对操作部2d进行操作输入，由此，对机器人主体1进行远程操作。
在这样的远程操作环境中，在操作者改变头的朝向时，该变化由显示部2c的运动传感器2e检测，作为视点指定信号输入到虚拟影像生成部2a。结果，虚拟影像生成部2a生成与新的头的朝向对应的视点的虚拟三维影像(虚拟现实影像)。并且，新的视点的虚拟三维影像(虚拟现实影像)从虚拟影像生成部2a输入到影像合成部2b。
然后，影像合成部2b在从虚拟影像生成部2a输入的新的视点的虚拟三维影像(虚拟现实影像)中对实际影像和控制信息进行图像合成来生成合成影像G，并将该新的合成影像G输出给显示部2c。这样的新的视点的合成影像G在操作者每次改变头的朝向时反复生成并显示于显示部2c。
并且，操作者通过将这样的新的视点的合成影像G确认为远程操作的辅助信息而对操作部2d进行操作输入。并且，与该操作输入对应的操作信号从操作部2d输入到机器人控制器1e，因此，移动台车1a、机械手1b以及作业工具1c进行按照操作输入的移动。即，按照操作者对于远程操作装置2的操作输入而对机器人主体1进行远程操作。
根据这样的本实施方式，在操作者改变头的朝向时，显示于显示部2c的合成影像G中的工件W以及机器人主体1等对象的视点发生变化，因此，能够提供视野可变的远程操作装置。因此，根据本实施方式，操作者能够更准确地掌握工件W与机器人主体1的距离、各自的状态，因此与以往相比作业性优异，并且能够实现更准确的作业。
特别是，根据本实施方式，除了机器人主体1的对象，还将工件W的对象也作为虚拟三维影像(虚拟现实影像)显示于显示部2c，因此，操作者能够通过改变视点来更准确地确认机器人主体1与工件W的位置关系。因此，根据本实施方式，能够提供与以往相比作业性优异的远程操作装置。
并且，根据本实施方式，以嵌入到虚拟三维影像(虚拟现实影像)的形式将实际影像g1以及控制信息影像g2显示于显示部2c，因此，操作者能够更准确地掌握作业现场的状况，并且能够可靠地掌握机器人主体1的动作状态。因此，根据本实施方式，由此也能够提供与以往相比作业性优异的远程操作装置。
此外，本公开并不限定于上述实施方式，例如考虑以下那样的变形例。
(1)在上述实施方式中，在虚拟三维影像(虚拟现实影像)中嵌入了实际影像g1以及控制信息影像g2，但本公开并不限定于此。也可以根据需要仅将虚拟三维影像(虚拟现实影像)显示于显示部2c。另外，也可以将在虚拟三维影像(虚拟现实影像)中仅嵌入了实际影像g1而得的影像显示于显示部2c。
另外，虚拟影像生成部2a也可以将从显示部2c输入的视点指定信号和从传感器1d输入的距离检测信号与预先准备的作业现场的设计信息(CAD数据等)组合，生成作业现场的虚拟三维影像(虚拟现实影像)。此外，在能够通过使用作业现场的设计信息来生成可以充分确认作业现场的状况的虚拟三维影像的情况下，也可以不进行影像合成部2b中的、从虚拟影像生成部2a输入的虚拟三维影像与从传感器1d输入的作业现场的实际影像的合成。
(2)在上述实施方式中，将机器人主体1设为移动机器人，但本公开并不限定于此。即，本公开也能够应用于固定设置在作业现场的机器人。另外，本公开也能够应用于固定设置机器人主体1且工件W移动的作业现场、以及机器人主体1和工件W分别移动的作业现场。
(3)上述实施方式的虚拟三维影像(虚拟现实影像)至少包含工件W以及机器人主体1的对象(物体)，但本公开并不限定于此。如果在作业现场存在对机器人主体1进行远程操作所需或重要的物体，则可以将该物体也作为对象而包含在虚拟三维影像(虚拟现实影像)中。
(4)在上述实施方式中，采用了头戴式显示器(HMD)作为显示部2c，但本公开并不限定于此。例如显示部2c也可以是固定型的监视器。另外，本公开的视点指定部并不限定于运动传感器2e。例如，操作者可以通过对操作部2d进行操作来指定虚拟三维影像(虚拟现实影像)的视点。即，本公开的视点指定部也可以是检测操作者的视点的传感器等检测器。
产业上的可利用性
本公开能够应用于作业现场的移动机器人的远程操作装置，能够提供视野可变的远程操作装置。
符号说明
1机器人主体(移动机器人)、
1a移动台车、
1b机械手、
1c作业工具、
1d传感器、
1e机器人控制器、
2远程操作装置、
2a虚拟影像生成部、
2b影像合成部、
2c显示部、
2d操作部、
2e运动传感器、
g1实际影像、
g2控制信息影像、
G合成影像、
F地板、
W工件(物体)、
T支承台。

Claims (5)

1.一种远程操作装置，其特征在于，具有：
传感器，其对作业现场中的移动机器人与该移动机器人周围的物体之间的距离进行检测；
视点指定部，其指定所述作业现场的虚拟三维影像的视点；
虚拟影像生成部，其根据所述传感器的检测结果和所述视点指定部指定的视点，生成所述虚拟三维影像；
显示部，其显示所述虚拟三维影像；以及
操作部，其生成对所述移动机器人进行远程操作的操作信号。
2.根据权利要求1所述的远程操作装置，其特征在于，
所述远程操作装置还具有：
摄像部，其对所述作业现场的实际影像进行拍摄；以及
影像合成部，其将所述虚拟三维影像和所述实际影像合成而生成合成影像，
所述显示部显示所述合成影像来代替所述虚拟三维影像。
3.根据权利要求2所述的远程操作装置，其特征在于，
所述影像合成部在所述合成影像中嵌入所述移动机器人的控制信息。
4.根据权利要求1～3中任一项所述的远程操作装置，其特征在于，
所述虚拟三维影像包含所述移动机器人的对象和所述移动机器人作为作业对象的工件的对象。
5.根据权利要求1～4中任一项所述的远程操作装置，其特征在于，
所述显示部是头戴式显示器，
所述视点指定部是组装于头戴式显示器的运动传感器。
CN202080024868.9A 2019-03-29 2020-03-27 远程操作装置 Pending CN113631325A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019067408 2019-03-29
JP2019-067408 2019-03-29
PCT/JP2020/014141 WO2020203819A1 (ja) 2019-03-29 2020-03-27 遠隔操作装置

Publications (1)

Publication Number Publication Date
CN113631325A true CN113631325A (zh) 2021-11-09

Family

ID=72668118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080024868.9A Pending CN113631325A (zh) 2019-03-29 2020-03-27 远程操作装置

Country Status (5)

Country Link
US (1) US20220214685A1 (zh)
JP (1) JPWO2020203819A1 (zh)
CN (1) CN113631325A (zh)
DE (1) DE112020001675B4 (zh)
WO (1) WO2020203819A1 (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224267A (ja) * 1996-02-16 1997-08-26 Olympus Optical Co Ltd 立体映像作成装置及び立体映像表示装置並びにシステム
JPH10315166A (ja) * 1997-05-22 1998-12-02 Kawasaki Heavy Ind Ltd 注視機能を付加した遠隔視覚提示装置
CN101105715A (zh) * 2006-07-12 2008-01-16 发那科株式会社 机器人系统的模拟装置
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
US20160114418A1 (en) * 2014-10-22 2016-04-28 Illinois Tool Works Inc. Virtual reality controlled mobile robot
JP2016205974A (ja) * 2015-04-21 2016-12-08 株式会社ミツトヨ 測定システムおよびユーザインタフェース装置
JP2017102242A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ 情報表示システム
US20170320210A1 (en) * 2016-05-06 2017-11-09 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
JP2017208706A (ja) * 2016-05-18 2017-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
WO2018097223A1 (ja) * 2016-11-24 2018-05-31 国立大学法人京都大学 ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体
WO2018201240A1 (en) * 2017-05-03 2018-11-08 Taiga Robotics Corp. Systems and methods for remotely controlling a robotic device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000042960A (ja) 1998-07-29 2000-02-15 Gifu Prefecture マニピュレータの遠隔操作装置
DE102012009863B4 (de) 2012-05-21 2018-05-03 Baden-Württemberg Stiftung Ggmbh Fernsteuerung von Robotern
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
US10712566B2 (en) 2015-11-26 2020-07-14 Denso Wave Incorporated Information displaying system provided with head-mounted type display
DE102016224774B3 (de) 2016-12-13 2018-01-25 Audi Ag Verfahren zur Programmierung eines Messroboters und Programmiersystem
JP6795471B2 (ja) 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
US10095977B1 (en) 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US11099558B2 (en) * 2018-03-27 2021-08-24 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09224267A (ja) * 1996-02-16 1997-08-26 Olympus Optical Co Ltd 立体映像作成装置及び立体映像表示装置並びにシステム
JPH10315166A (ja) * 1997-05-22 1998-12-02 Kawasaki Heavy Ind Ltd 注視機能を付加した遠隔視覚提示装置
CN101105715A (zh) * 2006-07-12 2008-01-16 发那科株式会社 机器人系统的模拟装置
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
US20160114418A1 (en) * 2014-10-22 2016-04-28 Illinois Tool Works Inc. Virtual reality controlled mobile robot
JP2016205974A (ja) * 2015-04-21 2016-12-08 株式会社ミツトヨ 測定システムおよびユーザインタフェース装置
JP2017102242A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ 情報表示システム
US20170320210A1 (en) * 2016-05-06 2017-11-09 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
JP2017208706A (ja) * 2016-05-18 2017-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
WO2018097223A1 (ja) * 2016-11-24 2018-05-31 国立大学法人京都大学 ロボット制御システム、機械制御システム、ロボット制御方法、機械制御方法、および記録媒体
WO2018201240A1 (en) * 2017-05-03 2018-11-08 Taiga Robotics Corp. Systems and methods for remotely controlling a robotic device

Also Published As

Publication number Publication date
DE112020001675T5 (de) 2021-12-30
DE112020001675B4 (de) 2023-07-06
JPWO2020203819A1 (ja) 2021-10-14
WO2020203819A1 (ja) 2020-10-08
US20220214685A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
EP1970169B1 (en) Master-slave manipulator system
CN110394780B (zh) 机器人的仿真装置
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
JP5022868B2 (ja) 情報処理装置、情報処理方法
JP6843050B2 (ja) ロボットシステム
US7818091B2 (en) Process and device for determining the position and the orientation of an image reception means
EP1985416B1 (en) Mobile robot
JP4167940B2 (ja) ロボットシステム
JP5742862B2 (ja) ロボット装置及び被加工物の製造方法
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
JP7000253B2 (ja) 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
JP2014065100A (ja) ロボットシステム、及びロボットのティーチング方法
KR20170016436A (ko) 작업 로봇의 교시 데이터 생성 장치 및 교시 데이터 생성 방법
WO2015137162A1 (ja) 制御装置、ロボットシステム、および制御用データ生成方法
JP3912584B2 (ja) 遠隔操作装置
CN113631325A (zh) 远程操作装置
JP2021065971A (ja) ロボット教示システム、画像生成方法、及びプログラム
JP2020175453A (ja) 遠隔操作装置
JP3376029B2 (ja) ロボットの遠隔操作装置
KR20160094105A (ko) 로봇 제어 시각화 장치
JP2012228736A (ja) オフライン教示データ作成方法、及びオフライン教示データ作成システム
JP7462046B2 (ja) ロボットシステム
US20230010302A1 (en) Generation of image for robot operation
JPS60126985A (ja) 遠隔操作における作業状況表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination