JP2020163511A - Work support system and work support method of remote control robot - Google Patents

Work support system and work support method of remote control robot Download PDF

Info

Publication number
JP2020163511A
JP2020163511A JP2019065753A JP2019065753A JP2020163511A JP 2020163511 A JP2020163511 A JP 2020163511A JP 2019065753 A JP2019065753 A JP 2019065753A JP 2019065753 A JP2019065753 A JP 2019065753A JP 2020163511 A JP2020163511 A JP 2020163511A
Authority
JP
Japan
Prior art keywords
virtual
robot
data
work
jig
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019065753A
Other languages
Japanese (ja)
Other versions
JP7114521B2 (en
Inventor
直孝 菅沼
Naotaka Suganuma
直孝 菅沼
紘司 上田
Koji Ueda
紘司 上田
川端　俊一
Shunichi Kawabata
俊一 川端
謙司 松崎
Kenji Matsuzaki
謙司 松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019065753A priority Critical patent/JP7114521B2/en
Publication of JP2020163511A publication Critical patent/JP2020163511A/en
Application granted granted Critical
Publication of JP7114521B2 publication Critical patent/JP7114521B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To reduce operator's burden for establishment of a virtual tool upon making a slave robot to execute work on an object by operating a master robot with support of the virtual tool.SOLUTION: A work support system includes an environment measuring part 22 which measures an ambient environment including an object, an environment measurement processing part 23 which creates three-dimensional position data from measurement data of the environment measuring part, a robot control part 27 which creates a virtual space on the basis of the three-dimensional position data and generates a virtual robot on the basis of a position and operation data of a slave robot 12, and a virtual tool generation and acquisition part 26 which generates a virtual tool arranged in the virtual space to guide work on the object or the like. The robot control part determines a type, shape, dimension, and installation position of the virtual tool on the basis of the three-dimensional position data, data relating to the object and tools selected from an object database 24, data relating to the work selected from a work database 25, and the position and operation data of the slave robot.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具を用いてロボットの作業を支援する遠隔操作ロボットの作業支援システム及び作業支援方法に関する。 An embodiment of the present invention relates to a work support system and a work support method for a remote-controlled robot that supports the work of a robot by using a virtual jig provided in a virtual space to guide the work on an object.

遠隔操作ロボットの一つとして、放射線環境など人が立ち入ることができない場所での作業に用いられるマスタースレーブロボットがある。このマスタースレーブロボットは、オペレータ（操作者）がマスターロボットを操作することで、対象物に対する作業をスレーブロボットに実行させるものである。マスターロボットとスレーブロボットの双方の情報は通信により伝送されるため、オペレータが操作したマスターロボットの動作が、スレーブロボットでリアルタイムに再現される特色がある。マスターロボットとスレーブロボットの駆動軸数や軸配置が同じ同構造タイプのほか、マスターロボットは人が操作しやすいようにスレーブロボットとは構造が異なる異構造タイプもある。 As one of the remote-controlled robots, there is a master-slave robot used for work in a place where people cannot enter such as a radiation environment. In this master-slave robot, an operator (operator) operates the master robot to cause the slave robot to perform work on an object. Since the information of both the master robot and the slave robot is transmitted by communication, the operation of the master robot operated by the operator is reproduced in real time by the slave robot. In addition to the same structure type in which the number of drive axes and shaft arrangement of the master robot and slave robot are the same, there is also a different structure type in which the structure of the master robot is different from that of the slave robot so that it can be easily operated by humans.

マスタースレーブロボットを用いての遠隔作業は、スレーブロボット側に取り付けられたカメラ映像などを基に、オペレータがマスターロボットを操作するのであるが、作業性が悪いことが課題である。例えばピンを穴に挿入するような作業は、遠隔操作では距離感の把握が難しく、更に反力や触覚等の力覚情報が十分得られない場合には、作業自体はおろか対象物への位置決めさえも困難になることがある。 In remote work using a master-slave robot, the operator operates the master robot based on a camera image attached to the slave robot side, but the problem is that the workability is poor. For example, in the work of inserting a pin into a hole, it is difficult to grasp the sense of distance by remote control, and if sufficient force sense information such as reaction force and tactile sense cannot be obtained, the work itself is positioned as well as the object. Even can be difficult.

一方、マスターロボットの操作により生成したロボット動作データを用いて、実際の作業空間には存在しない仮想物体モデルにより干渉を検出し、検出結果を反力としてオペレータへ提示する第１の従来システムが提案されている。このシステムにより、目標位置の穴の周囲をコーン形状の仮想ガイドで覆うことで、スレーブロボットの手先で把持しているピンを、仮想ガイドに沿って穴の位置へ誘導することができる。 On the other hand, a first conventional system has been proposed in which interference is detected by a virtual object model that does not exist in the actual work space using robot motion data generated by the operation of the master robot, and the detection result is presented to the operator as a reaction force. Has been done. With this system, by covering the circumference of the hole at the target position with a cone-shaped virtual guide, the pin held by the hand of the slave robot can be guided to the position of the hole along the virtual guide.

また、遠隔操作における自律機能とマニュアル操作機能を組み合わせる手法として、予め登録された作業モデルと物体モデルをオペレータが選択することで、ロボットに搭載されたステレオカメラによって距離画像を計測し、この計測により得られた作業空間内の物体モデルに対して作業を自律的に行う第２の従来システムが提案されている。 In addition, as a method of combining the autonomous function and the manual operation function in remote control, the operator selects a pre-registered work model and an object model, and a distance image is measured by a stereo camera mounted on the robot. A second conventional system that autonomously performs work on the obtained object model in the work space has been proposed.

特開平８−２５２５４号公報JP-A-8-25254A

ところが、第１の従来システムでは、位置情報を示すマーカーを操作開始前に対象物に配置し、カメラによりマーカーを撮像して位置を計測することで、仮想ガイドの位置を修正する処理を行っている。このため、事前の準備が必要になり、放射線環境下などのように対象物に事前準備を行えない環境下では成立し得ない。 However, in the first conventional system, a marker indicating position information is placed on an object before the start of operation, and the marker is imaged by a camera to measure the position to correct the position of the virtual guide. There is. For this reason, advance preparation is required, and it cannot be established in an environment where the object cannot be prepared in advance, such as in a radiation environment.

また、第２の従来システムでは、事前の準備をすることなしに対象となる物体に作業を行うことが可能である。ところが、この第２の従来システムでは、遠隔操作と自律作業をある程度明確に区別する必要があり、事前に準備した対象となる物体モデルに対する作業データだけが自律作業の対象になり、試行錯誤しながらの遠隔作業には適さない。また、例え作業を細かく分解して登録したとしても、物体モデルに対する作業データの指示をオペレータが選択することになり、作業効率が低下してしまうと考えられる。 Further, in the second conventional system, it is possible to work on the target object without preparing in advance. However, in this second conventional system, it is necessary to clearly distinguish between remote control and autonomous work to some extent, and only the work data for the object model to be the target prepared in advance becomes the target of the autonomous work, and through trial and error. Not suitable for remote work. Further, even if the work is divided into small pieces and registered, the operator will select the instruction of the work data for the object model, which is considered to reduce the work efficiency.

本発明の実施形態は、上述の事情を考慮してなされたものであり、仮想治具及び仮想ロボットの支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減して作業効率を向上できる遠隔操作ロボットの作業支援システム及び作業支援方法を提供することを目的とする。 The embodiment of the present invention has been made in consideration of the above-mentioned circumstances, and when the master robot is operated with the support of the virtual jig and the virtual robot to cause the slave robot to perform the work on the object, the virtual cure is performed. It is an object of the present invention to provide a work support system and a work support method for a remote-controlled robot that can reduce the burden on the operator regarding the installation of tools and improve work efficiency.

本発明の実施形態における遠隔操作ロボットの作業支援システムは、対象物を含む周囲環境を計測する環境計測部と、前記環境計測部の環境計測データから、前記対象物を検出すると共に、前記対象物を含む３次元位置データを作成する環境計測処理部と、前記対象物及び工具に関するデータを格納する対象物データベースと、前記対象物に対する作業に関するデータを格納する作業データベースと、前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するロボット制御部と、前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得する仮想治具生成・取得部と、前記対象物に対応する仮想対象物を含む前記仮想空間、前記仮想ロボット、及び前記仮想治具を表示する表示装置とを有し、マスターロボットが操作されることで、前記対象物に対する前記作業を前記スレーブロボットに実行させる遠隔操作ロボットの作業支援システムであって、前記ロボット制御部は、前記３次元位置データ、前記対象物データベースから選択された前記対象物及び工具に関するデータ、前記作業データベースから選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とするものである。 The work support system of the remote control robot according to the embodiment of the present invention detects the object from the environment measurement unit that measures the surrounding environment including the object and the environment measurement data of the environment measurement unit, and also detects the object. The environment measurement processing unit that creates three-dimensional position data including the above, the object database that stores the data related to the object and the tool, the work database that stores the data related to the work on the object, and the three-dimensional position data. A robot control unit that creates a virtual space based on the data, generates a virtual robot based on the position and operation data of the slave robot, integrates the virtual robot into the virtual space, and guides the work on the object. A virtual jig generation / acquisition unit that generates or acquires one or more types of virtual jigs provided in a virtual space, the virtual space including the virtual object corresponding to the object, the virtual robot, and the virtual cure. A work support system for a remote-operated robot that has a display device for displaying tools and causes the slave robot to perform the work on the object by operating the master robot. The robot control unit is a work support system. The virtual cure is based on the three-dimensional position data, data on the object and tool selected from the object database, data on the work selected from the work database, and position and motion data of the slave robot. It is characterized in that it is configured to determine at least one of the type, shape, size and installation position of the tool.

本発明の実施形態における遠隔操作ロボットの作業支援方法は、環境計測部の環境計測データから、対象物を検出すると共に、前記対象物を含む３次元位置データを作成するステップと、前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するステップと、前記対象物及び工具に関するデータを対象物データベースから、前記対象物に対する作業に関するデータを作業データベースから、それぞれ選択して取り込むステップと、前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得するステップと、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを、前記３次元位置データ、選択された前記対象物及び工具に関するデータ、選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて決定するステップと、前記仮想ロボット及び前記仮想治具の支援によりマスターロボットを操作することで、前記対象物に対する前記作業を前記スレーブロボットに実行させるステップと、を有することを特徴とするものである。 The work support method of the remote control robot according to the embodiment of the present invention includes a step of detecting an object from the environmental measurement data of the environmental measurement unit and creating three-dimensional position data including the object, and the three-dimensional position. Create a virtual space based on the data, generate a virtual robot based on the position and operation data of the slave robot, integrate the virtual robot into the virtual space, and obtain data on the object and tools from the object database. , A step of selecting and importing data related to the work on the object from the work database, and generating or acquiring one or a plurality of types of virtual jigs provided in the virtual space to guide the work on the object. And at least one of the virtual jig type, shape, dimensions and installation position, the three-dimensional position data, the data regarding the selected object and tool, the data regarding the selected work, and the above. A step of determining based on the position and operation data of the slave robot, and a step of causing the slave robot to perform the work on the object by operating the master robot with the support of the virtual robot and the virtual jig. It is characterized by having.

本発明の実施形態によれば、仮想治具及び仮想ロボットの支援によりマスターロボットを操作して対象物に対する作業をスレーブロボットに実行させる際に、仮想治具の設置に関する操作者の負担を軽減して作業効率を向上できる。 According to the embodiment of the present invention, when the master robot is operated with the support of the virtual jig and the virtual robot to cause the slave robot to perform the work on the object, the burden on the operator regarding the installation of the virtual jig is reduced. Work efficiency can be improved.

第１実施形態に係る遠隔操作ロボットの作業支援システムを示すブロック図。The block diagram which shows the work support system of the remote control robot which concerns on 1st Embodiment. 図１の遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムの構成を示す構成図。The block diagram which shows the structure of the master-slave robot system to which the work support system of the remote control robot of FIG. 図２のマスタースレーブロボットシステムによる配管フランジのボルト着脱作業を説明する説明図。The explanatory view explaining the bolt attachment / detachment work of a piping flange by the master-slave robot system of FIG. 図３のボルトに対応する仮想ボルトに設置された仮想治具を示す説明図。Explanatory drawing which shows the virtual jig installed in the virtual bolt corresponding to the bolt of FIG. 図４の仮想治具の絞込作業を説明する説明図。The explanatory view explaining the narrowing-down work of the virtual jig of FIG. 図１における遠隔操作ロボットの作業支援システムが仮想治具を用いた遠隔操作を行なう場合の作用を示すフローチャート。The flowchart which shows the operation when the work support system of the remote control robot in FIG. 1 performs remote control using a virtual jig. 第２実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる丸鋸を用いた配管切断作業を説明する説明図。The explanatory view explaining the pipe cutting work using a circular saw by the master-slave robot system to which the work support system of the remote control robot which concerns on 2nd Embodiment is applied. 図７の配管切断作業時に仮想配管に設置された仮想治具を示す説明図。The explanatory view which shows the virtual jig installed in the virtual pipe at the time of the pipe cutting work of FIG. 第３実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる通過禁止領域を表す仮想治具を示す説明図。The explanatory view which shows the virtual jig which represents the passage prohibition area by the master-slave robot system to which the work support system of the remote control robot which concerns on 3rd Embodiment is applied.

以下、本発明を実施するための形態を、図面に基づき説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.

［Ａ］第１実施形態（図１〜図６）
図１は、第１実施形態に係る遠隔操作ロボットの作業支援システムを示すブロック図である。また、図２は、図１の遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムの構成を示す構成図である。マスタースレーブロボットシステム１０に適用される遠隔操作ロボットの作業支援システム２０は、マスターロボット１１が操作者（オペレータ）１により操作されることで、対象物（例えば図３に示す配管フランジ２のボルト３）に対する遠隔操作をスレーブロボット１２に実行させるシステムである。遠隔操作ロボットの作業支援システム２０は、環境計測部２２、環境計測処理部２３、対象物データベース２４、作業データベース２５、仮想治具生成・取得部２６、ロボット制御部２７、及び表示装置としてのディスプレイ２８を有して構成される。 [A] First Embodiment (FIGS. 1 to 6)
FIG. 1 is a block diagram showing a work support system for a remote-controlled robot according to the first embodiment. Further, FIG. 2 is a configuration diagram showing a configuration of a master-slave robot system to which the work support system of the remote-controlled robot of FIG. 1 is applied. In the work support system 20 of the remote-controlled robot applied to the master-slave robot system 10, the master robot 11 is operated by the operator (operator) 1, and the object (for example, the bolt 3 of the piping flange 2 shown in FIG. 3) is operated. ) Is a system that causes the slave robot 12 to perform remote control. The work support system 20 for a remote-controlled robot includes an environment measurement unit 22, an environment measurement processing unit 23, an object database 24, a work database 25, a virtual jig generation / acquisition unit 26, a robot control unit 27, and a display as a display device. 28 is configured.

このうちのロボット制御部２７は、マスターロボット制御部３１、スレーブロボット制御部３２、仮想空間作成部３３、仮想ロボット生成部３４、仮想治具決定部３５、仮想治具絞込部３６及び接触力演算部３７を備えてなる。このロボット制御部２７は、１台のコンピュータで構成されてもよいが、マスターロボット制御部３１とスレーブロボット制御部３２とを別々のコンピュータで構成し、これらのいずれかのコンピュータにより仮想空間作成部３３、仮想ロボット生成部３４、仮想治具決定部３５、仮想治具絞込部３６、接触力演算部３７がそれぞれ機能するように構成されてもよい。 Of these, the robot control unit 27 includes a master robot control unit 31, a slave robot control unit 32, a virtual space creation unit 33, a virtual robot generation unit 34, a virtual jig determination unit 35, a virtual jig narrowing unit 36, and contact force. The arithmetic unit 37 is provided. The robot control unit 27 may be composed of one computer, but the master robot control unit 31 and the slave robot control unit 32 are configured by separate computers, and the virtual space creation unit is created by any one of these computers. 33, the virtual robot generation unit 34, the virtual jig determination unit 35, the virtual jig narrowing unit 36, and the contact force calculation unit 37 may be configured to function respectively.

ここで、マスタースレーブロボットシステム１０では、図２に示すように、操作者１がマスターロボット１１を操作したときの操作データは、マスターロボット１１に接続されたマスターロボット制御部３１に送信され、このマスターロボット制御部３１から通信回線１３を経てスレーブロボット制御部３２に送信される。なお、通信回線１３は、データを双方向に送信可能な通信回線である。スレーブロボット制御部３２は、スレーブロボット１２に接続されており、上述の操作データに基づいてスレーブロボット１２を制御する。 Here, in the master-slave robot system 10, as shown in FIG. 2, the operation data when the operator 1 operates the master robot 11 is transmitted to the master robot control unit 31 connected to the master robot 11, and the operation data is transmitted to the master robot control unit 31. It is transmitted from the master robot control unit 31 to the slave robot control unit 32 via the communication line 13. The communication line 13 is a communication line capable of transmitting data in both directions. The slave robot control unit 32 is connected to the slave robot 12 and controls the slave robot 12 based on the above-mentioned operation data.

マスターロボット１１及びスレーブロボット１２は本第１実施形態ではマニピュレータであり、スレーブロボット１２の先端部にエンドエフェクタ1４が設けられている。このエンドエフェクタ１４に、作業に応じて多指ハンドやグリッパ、インパクトレンチ、丸鋸などの工具（作業ツール）が装着される。対象物が例えば図３に示す配管フランジ２のボルト３である場合には、エンドエフェクタ１４にインパクトレンチ１５が装着される。スレーブロボット１２は、インパクトレンチ１５をボルト３に位置決めし回転させることで、ボルト３の着脱作業を行なう。 The master robot 11 and the slave robot 12 are manipulators in the first embodiment, and an end effector 14 is provided at the tip of the slave robot 12. Tools (work tools) such as a multi-finger hand, a gripper, an impact wrench, and a circular saw are attached to the end effector 14 according to the work. When the object is, for example, the bolt 3 of the pipe flange 2 shown in FIG. 3, the impact wrench 15 is attached to the end effector 14. The slave robot 12 positions the impact wrench 15 on the bolt 3 and rotates it to attach and detach the bolt 3.

また、スレーブロボット１２には、対象物（例えばボルト３）を含む周囲環境を計測する環境計測部２２が設置されている。この環境計測部２２は、スレーブロボット１２の周囲環境を撮像するためのカメラ、スレーブロボット１２のエンドエフェクタ１４部分を撮像するためのカメラ、またはスレーブロボット１２の周囲環境を、点群データとして計測するための距離画像計測装置などである。この環境計測部２２は、図１及び図２に示すように、環境計測処理部２３を介してロボット制御部２７の例えばスレーブロボット制御部３２に接続される。環境計測部２２がカメラの場合には、このカメラからの画像データが環境計測処理部２３にて圧縮されて、例えばスレーブロボット制御部３２へ送信される。 Further, the slave robot 12 is provided with an environment measurement unit 22 that measures the surrounding environment including an object (for example, a bolt 3). The environment measurement unit 22 measures the camera for capturing the surrounding environment of the slave robot 12, the camera for capturing the end effector 14 portion of the slave robot 12, or the ambient environment of the slave robot 12 as point group data. It is a distance image measuring device for the purpose. As shown in FIGS. 1 and 2, the environment measurement unit 22 is connected to, for example, a slave robot control unit 32 of the robot control unit 27 via the environment measurement processing unit 23. When the environment measurement unit 22 is a camera, the image data from this camera is compressed by the environment measurement processing unit 23 and transmitted to, for example, the slave robot control unit 32.

一方、マスターロボット１１付近にはディスプレイ２８が設置される。このディスプレイ２８は、ロボット制御部２７の例えばマスターロボット制御部３１に接続される。ディスプレイ２８には、環境計測部２２のカメラからの画像データが直接、または環境計測処理部２３、スレーブロボット制御部３２及びマスターロボット制御部３１を経て送信されて表示される。 On the other hand, a display 28 is installed near the master robot 11. The display 28 is connected to, for example, the master robot control unit 31 of the robot control unit 27. Image data from the camera of the environment measurement unit 22 is transmitted and displayed on the display 28 directly or via the environment measurement processing unit 23, the slave robot control unit 32, and the master robot control unit 31.

カメラ画像による遠隔操作の場合には、操作者１は、ディスプレイ２８の画像を視認しながらマスターロボット１１を操作して、スレーブロボット１２に対象物に対する作業を実行させる。ところが、このカメラ画像による遠隔操作の場合には、特に、スレーブロボット１２のエンドエフェクタ１４に装着されたインパクトレンチ１５等の工具とボルト３などの対象物との位置決めが、奥行き情報やカメラの死角の影響で不十分になる恐れがある。 In the case of remote control using a camera image, the operator 1 operates the master robot 11 while visually recognizing the image on the display 28, and causes the slave robot 12 to perform work on the object. However, in the case of remote control using this camera image, in particular, the positioning of a tool such as an impact wrench 15 attached to the end effector 14 of the slave robot 12 and an object such as a bolt 3 is the depth information and the blind spot of the camera. May be insufficient due to the influence of.

そこで、本第１実施形態では、カメラ画像による遠隔操作と併用してまたは単独で、仮想治具を用いた遠隔操作を実施可能とする。この仮想治具を用いた遠隔操作は、仮想空間上の仮想ロボット及び仮想治具２１（図４）の支援によりマスターロボット１１が操作者１により操作されることで、対象物(例えばボルト３)に対する遠隔作業をスレーブロボット１２に実行させる操作である。以下、この仮想治具を用いた遠隔操作について述べる。 Therefore, in the first embodiment, it is possible to perform remote control using a virtual jig in combination with remote control using a camera image or independently. In remote control using this virtual jig, the master robot 11 is operated by the operator 1 with the support of the virtual robot and the virtual jig 21 (FIG. 4) in the virtual space, so that the object (for example, bolt 3) is operated. This is an operation for causing the slave robot 12 to perform remote work on the robot. Hereinafter, remote control using this virtual jig will be described.

図１に示す環境計測処理部２３は、環境計測部２２の距離画像計測装置からの環境計測データである点群データから、対象物（例えば配管フランジ２のボルト３）を検出すると共に、点群データをノイズフィルタリング処理して３次元位置データに変換する。この３次元位置データは、環境計測部２２の距離画像計測装置にて計測した点群データによるものに限らず、図面などから事前に作成したものであってもよい。環境計測処理部２３にて作成された３次元位置データは、ロボット制御部２７を経てまたは直接ディスプレイ２８へ送信される。なお、環境計測処理部２３は、ロボット制御部２７に組み込まれて構成されてもよい。 The environmental measurement processing unit 23 shown in FIG. 1 detects an object (for example, the bolt 3 of the piping flange 2) from the point cloud data which is the environmental measurement data from the distance image measuring device of the environmental measurement unit 22, and also detects the point cloud. The data is subjected to noise filtering processing and converted into three-dimensional position data. This three-dimensional position data is not limited to the point cloud data measured by the distance image measuring device of the environment measurement unit 22, and may be created in advance from a drawing or the like. The three-dimensional position data created by the environment measurement processing unit 23 is transmitted to the display 28 directly via the robot control unit 27 or directly. The environment measurement processing unit 23 may be incorporated into the robot control unit 27.

ロボット制御部２７の仮想空間作成部３３は、環境計測処理部２３にて作成された３次元位置データに基づき、仮想空間（不図示）を作成する。この仮想空間には、対象物に対応した仮想対象物（例えば図４及び図５の仮想ボルト３０Ａ）が含まれる。また、図１に示すロボット制御部２７の仮想ロボット生成部３４は、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、スレーブロボット１２に対応する仮想ロボット（不図示）を生成し更新する。ロボット制御部２７は、仮想ロボット生成部３４にて生成された仮想ロボットを、仮想空間作成部３３により作成された仮想空間に統合する。 The virtual space creation unit 33 of the robot control unit 27 creates a virtual space (not shown) based on the three-dimensional position data created by the environment measurement processing unit 23. This virtual space includes a virtual object (for example, the virtual bolt 30A of FIGS. 4 and 5) corresponding to the object. Further, the virtual robot generation unit 34 of the robot control unit 27 shown in FIG. 1 is a virtual robot corresponding to the slave robot 12 (not shown) based on the position and operation data of the slave robot 12 held by the slave robot control unit 32. Is generated and updated. The robot control unit 27 integrates the virtual robot generated by the virtual robot generation unit 34 into the virtual space created by the virtual space creation unit 33.

対象物データベース２４は、図３に示すボルト３や図７に示す配管４、図９に示す構造物５などの対象物に関するデータ、及びこの対象物に対する作業を実施するためにスレーブロボット１２のエンドエフェクタ１４に装着される工具（例えば図３に示すインパクトレンチ１５、図７に示す丸鋸１６、図９に示すグリッパ１７など）に関するデータを格納するデータベースである。また、作業データベース２５は、対象物に対して行なう作業、例えば位置決め作業、ボルト回転作業、配管切断作業などに関するデータを格納したデータベースである。 The object database 24 contains data on objects such as the bolt 3 shown in FIG. 3, the pipe 4 shown in FIG. 7, the structure 5 shown in FIG. 9, and the end of the slave robot 12 for performing work on the object. This is a database for storing data related to tools mounted on the effector 14, for example, an impact wrench 15 shown in FIG. 3, a circular saw 16 shown in FIG. 7, a gripper 17 shown in FIG. 9, and the like. Further, the work database 25 is a database that stores data related to work performed on an object, such as positioning work, bolt rotation work, and pipe cutting work.

対象物データベース２４の対象物及び工具に関するデータ、並びに作業データベース２５の作業に対するデータは、ディスプレイ２８に表示される。操作者１がディスプレイ２８に表示された対象物、工具及び作業を表す表示部分を、タッチパネル入力、キーボード入力、マウス入力、音声入力などにより選択すると、この選択された対象物、工具、作業がロボット制御部２７へ送信される。 The data related to the objects and tools in the object database 24 and the data for the work in the work database 25 are displayed on the display 28. When the operator 1 selects a display portion indicating an object, a tool, and a work displayed on the display 28 by touch panel input, keyboard input, mouse input, voice input, or the like, the selected object, tool, or work becomes a robot. It is transmitted to the control unit 27.

仮想治具生成・取得部２６は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具２１(図４)を、１種類もしくは複数種類生成する。または、仮想治具生成・取得部２６は、予め生成された仮想冶具群を格納した仮想治具データベースを備え、仮想治具群から仮想冶具を取得する。この仮想治具２１の生成または取得は、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、並びに作業データベース２５から操作者１により選択された作業に関するデータに基づいて実施される。例えば、図３に示す配管フランジ２のボルト３（対象物）を着脱作業する場合には、スレーブロボット１２に装着されたインパクトレンチ１５（工具）のボルト３への位置決め作業をガイドするための仮想治具２１と、インパクトレンチ１５の回転作業をガイドするための仮想治具(不図示)とが生成または取得される。 The virtual jig generation / acquisition unit 26 generates one or a plurality of types of virtual jigs 21 (FIG. 4) provided in the virtual space to guide the work on the object. Alternatively, the virtual jig generation / acquisition unit 26 includes a virtual jig database that stores a virtual jig group generated in advance, and acquires the virtual jig from the virtual jig group. The generation or acquisition of the virtual jig 21 is performed based on the data related to the object and the tool selected by the operator 1 from the object database 24 and the data related to the work selected by the operator 1 from the work database 25. To. For example, when attaching / detaching the bolt 3 (object) of the piping flange 2 shown in FIG. 3, a virtual method for guiding the positioning operation of the impact wrench 15 (tool) attached to the slave robot 12 to the bolt 3. A jig 21 and a virtual jig (not shown) for guiding the rotation work of the impact wrench 15 are generated or acquired.

仮想治具生成・取得部２６により生成または取得された仮想治具２１と、仮想ロボット生成部３４にて生成された仮想ロボットとの接触力は、ロボット制御部２７の接触力演算部３７にて演算される。この接触力は、マスターロボット制御部３１を介してマスターロボット１１へ出力され、操作者１に対し力覚や触覚などの情報として提示される。これにより、操作者１は、仮想治具２１に接触する感覚を得ることが可能になる。 The contact force between the virtual jig 21 generated or acquired by the virtual jig generation / acquisition unit 26 and the virtual robot generated by the virtual robot generation unit 34 is determined by the contact force calculation unit 37 of the robot control unit 27. It is calculated. This contact force is output to the master robot 11 via the master robot control unit 31, and is presented to the operator 1 as information such as force sense and tactile sense. As a result, the operator 1 can obtain a feeling of contacting the virtual jig 21.

ディスプレイ２８は、前述の如く、環境計測部２２であるカメラからの画像を表示すると共に、仮想空間作成部３３にて作成された仮想空間（仮想対象物を含む）に、仮想ロボット生成部３４にて生成された仮想ロボットと、仮想治具生成・取得部２６にて生成または取得され且つ仮想治具決定部３５にて後述のように決定された仮想治具２１とが統合された画像を表示する。 As described above, the display 28 displays the image from the camera which is the environment measurement unit 22, and also causes the virtual robot generation unit 34 to display the virtual space (including the virtual object) created by the virtual space creation unit 33. Displays an image in which the virtual robot generated by the above and the virtual jig 21 generated or acquired by the virtual jig generation / acquisition unit 26 and determined by the virtual jig determination unit 35 as described later are integrated. To do.

ロボット制御部２７の仮想治具決定部３５は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つを選択する。 The virtual jig determination unit 35 of the robot control unit 27 is a three-dimensional position data generated by the environment measurement processing unit 23, data on an object and a tool selected by the operator 1 from the object database 24, and a work database 25. At least one of the type, shape, dimensions, and installation position of the virtual jig 21 based on the data related to the work selected by the operator 1 and the position and operation data of the slave robot 12 held by the slave robot control unit 32. Select.

例えば、仮想治具決定部３５は、３次元位置データ、作業に関するデータ、並びにスレーブロボット１２の位置及び動作データから、図３及び図４に示すように、スレーブロボット１２に装着された工具（インパクトレンチ１５）が対象物（ボルト３）に接近していると判断した場合には、位置決め用のコーン形状の仮想治具２１を決定し、また、対象物及び工具に関するデータからの工具の寸法データから仮想治具２１の形状及び寸法を決定し、更に、３次元位置データから仮想治具２１の設置位置を決定する。この仮想治具２１は、対象物に対応して仮想空間に設けられる仮想対象物（仮想ボルト３０Ａ）の全てに設置される。 For example, the virtual jig determination unit 35 is a tool (impact) attached to the slave robot 12 as shown in FIGS. 3 and 4 from the three-dimensional position data, the data related to the work, and the position and operation data of the slave robot 12. When it is determined that the wrench 15) is close to the object (bolt 3), the cone-shaped virtual jig 21 for positioning is determined, and the tool dimension data from the data on the object and the tool is determined. The shape and dimensions of the virtual jig 21 are determined from the above, and the installation position of the virtual jig 21 is further determined from the three-dimensional position data. The virtual jig 21 is installed in all of the virtual objects (virtual bolts 30A) provided in the virtual space corresponding to the objects.

図１に示すロボット制御部２７の仮想治具絞込部３６は、環境計測処理部２３にて作成された３次元位置データ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、図３及び図４に示すように、環境計測処理部２３で検出された複数の対象物（例えばボルト３）に対して、スレーブロボット１２（またはこのスレーブロボット１２のエンドエフェクタ１４に装着されたインパクトレンチ１５）に最も近傍の対象物（ボルト３）に対応する仮想対象物（仮想ボルト３０Ａ）に設置された仮想治具２１を優先して「有効」に設定し、仮想治具２１の絞り込みを行なう。 The virtual jig narrowing unit 36 of the robot control unit 27 shown in FIG. 1 has three-dimensional position data created by the environment measurement processing unit 23, and the position and operation data of the slave robot 12 held by the slave robot control unit 32. Based on the above, as shown in FIGS. 3 and 4, the slave robot 12 (or the end effector 14 of the slave robot 12) has a plurality of objects (for example, bolts 3) detected by the environment measurement processing unit 23. Priority is given to the virtual jig 21 installed on the virtual object (virtual bolt 30A) corresponding to the object (bolt 3) closest to the mounted impact wrench 15), and the virtual jig 21 is set to "effective". 21 is narrowed down.

例えば、図３及び図５に示すように、仮想治具絞込部３６は、スレーブロボット１２に装着されたインパクトレンチ１５に最も近傍のボルト３に対応する仮想ボルト３０ＡＸに設置された仮想治具２１Ｘを「有効」に設定し、他の複数の仮想ボルト２１を「無効」に設定する。「無効」に設定された仮想治具２１であっても、スレーブロボット１２に装着されたインパクトレンチ１５に対して最も近傍のボルト３に対応した仮想ボルト３０Ａになった場合には、この仮想ボルト３０Ａに設置された仮想治具２１が仮想治具絞込部３６により「有効」に設定されることになる。 For example, as shown in FIGS. 3 and 5, the virtual jig narrowing unit 36 is a virtual jig installed on the virtual bolt 30AX corresponding to the bolt 3 closest to the impact wrench 15 mounted on the slave robot 12. 21X is set to "enabled" and the other plurality of virtual bolts 21 are set to "disabled". Even if the virtual jig 21 is set to "invalid", if the virtual bolt 30A corresponding to the bolt 3 closest to the impact wrench 15 mounted on the slave robot 12 is reached, this virtual bolt is used. The virtual jig 21 installed at 30A is set to "effective" by the virtual jig narrowing unit 36.

次に、遠隔操作ロボットの作業支援システム２０が仮想治具２１を用いた遠隔操作を実施する場合の作用について、特に図６により説明する。
環境計測処理部２３は、環境計測部２２が計測した環境計測データ（例えば点群データ）から対象物（例えば配管フランジ２のボルト３）を検出すると共に、対象物の位置データを含む３次元位置データを作成する（Ｓ１）。 Next, the operation when the work support system 20 of the remote control robot performs the remote control using the virtual jig 21 will be described particularly with reference to FIG.
The environment measurement processing unit 23 detects an object (for example, bolt 3 of the piping flange 2) from the environment measurement data (for example, point cloud data) measured by the environment measurement unit 22, and also includes a three-dimensional position including the position data of the object. Create data (S1).

次に、ロボット制御部２７の仮想空間作成部３３は、環境計測処理部２３からの３次元位置データに基づいて仮想空間を作成する（Ｓ２）。また、ロボット制御部２７の仮想ロボット生成部３４は、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づき仮想ロボットを生成する。この仮想ロボットは、仮想ロボット生成部３４またはロボット制御部２７により仮想空間に統合される（Ｓ３）。 Next, the virtual space creation unit 33 of the robot control unit 27 creates a virtual space based on the three-dimensional position data from the environment measurement processing unit 23 (S2). Further, the virtual robot generation unit 34 of the robot control unit 27 generates a virtual robot based on the position and operation data of the slave robot 12 held by the slave robot control unit 32. This virtual robot is integrated into the virtual space by the virtual robot generation unit 34 or the robot control unit 27 (S3).

ロボット制御部２７は、操作者１により選択された対象物データベース２４からの対象物及び工具に関するデータと作業データベース２５からの作業に関するデータとを入力する（Ｓ４）。これらの入力された対象物及び工具に関するデータ、並びに作業に関するデータに基づいて、仮想治具生成・取得部２６は、対象物に対する作業をガイドするために仮想空間に設けられる仮想治具２１を、１種類または複数種類生成しまたは取得する（Ｓ５）。 The robot control unit 27 inputs data on objects and tools selected by the operator 1 from the object database 24 and data on work from the work database 25 (S4). Based on the input data on the object and the tool, and the data on the work, the virtual jig generation / acquisition unit 26 sets the virtual jig 21 provided in the virtual space to guide the work on the object. Generate or acquire one or more types (S5).

次に、ロボット制御部２７の仮想治具決定部３５は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具２１の種類、形状及び寸法の少なくとも一つを決定し、この決定した仮想治具２１を、仮想ロボットが統合された仮想空間上で、仮想対象物（例えば仮想ボルト３０Ａ）の位置に設置する（Ｓ６）。 Next, the virtual jig determination unit 35 of the robot control unit 27 determines the three-dimensional position data generated by the environment measurement processing unit 23, the data related to the object and the tool selected by the operator 1 from the object database 24. At least one of the types, shapes, and dimensions of the virtual jig 21 based on the data related to the work selected by the operator 1 from the work database 25 and the position and operation data of the slave robot 12 held by the slave robot control unit 32. Is determined, and the determined virtual jig 21 is installed at the position of the virtual object (for example, the virtual bolt 30A) in the virtual space in which the virtual robot is integrated (S6).

次に、ロボット制御部２７の仮想治具絞込部３６は、複数の仮想対象物（例えば仮想ボルト３０Ａ）のそれぞれに仮想治具２１が設置されている場合には、スレーブロボット１２に最も近傍の対象物に対応する仮想対象物に設置された仮想治具２１、つまり、仮想ロボットに最も近傍の仮想対象物（例えば仮想ボルト３０ＡＸ）に設置された仮想治具２１を「有効」として、仮想治具２１の絞り込みを行う（Ｓ７）。 Next, the virtual jig narrowing unit 36 of the robot control unit 27 is closest to the slave robot 12 when the virtual jig 21 is installed in each of the plurality of virtual objects (for example, the virtual bolt 30A). The virtual jig 21 installed on the virtual object corresponding to the target object, that is, the virtual jig 21 installed on the virtual object closest to the virtual robot (for example, the virtual bolt 30AX) is regarded as "effective" and is virtual. The jig 21 is narrowed down (S7).

その後、操作者１は、仮想空間、仮想ロボット及び仮想治具２１が表示されたディスプレイ２８を視認しながらマスターロボット１１を操作して、仮想空間上で仮想ロボットを仮想治具２１のガイドにより仮想対象物（例えば仮想ボルト３０Ａ）に対して動作させることで、現実空間においてスレーブロボット１２を対象物（例えばボルト３）に対して作業（例えば位置決め作業）させる（Ｓ８）。 After that, the operator 1 operates the master robot 11 while visually recognizing the virtual space, the virtual robot, and the display 28 on which the virtual jig 21 is displayed, and virtualizes the virtual robot in the virtual space by the guide of the virtual jig 21. By operating the object (for example, the virtual bolt 30A), the slave robot 12 is made to work (for example, positioning work) on the object (for example, the bolt 3) in the real space (S8).

以上のように構成されたことから、本第１実施形態によれば、次の効果（１）及び（２）を奏する。
（１）図１、図３及び図４に示すように、対象物（例えばボルト３）に対する作業（例えば位置決め作業）をガイドするために仮想空間に設けられる仮想治具２１は、仮想治具生成・取得部２６により、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、並びに作業データベース２５から操作者１により選択された作業に関するデータに基づいて生成または取得される。そして、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つは、ロボット制御部２７の仮想治具決定部３５により、環境計測処理部２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて決定される。 Based on the above configuration, according to the first embodiment, the following effects (1) and (2) are obtained.
(1) As shown in FIGS. 1, 3 and 4, the virtual jig 21 provided in the virtual space for guiding the work (for example, positioning work) on the object (for example, the bolt 3) is a virtual jig generation. The acquisition unit 26 generates or acquires data on the object and the tool selected by the operator 1 from the object database 24, and data on the work selected by the operator 1 from the work database 25. Then, at least one of the type, shape, size, and installation position of the virtual jig 21 is the three-dimensional position data created by the environment measurement processing unit 23 by the virtual jig determination unit 35 of the robot control unit 27, and the target. Data related to objects and tools selected by the operator 1 from the object database 24, data related to the work selected by the operator 1 from the work database 25, and position and operation data of the slave robot 12 held by the slave robot control unit 32. It is decided based on.

従って、仮想治具２１の例えば設置位置を決定するために、マーカーを事前に配置したり、操作者１が仮想治具２１の設置位置に関して指示を与えたりする必要がない。この結果、仮想治具２１の設置に関する操作者の負担を軽減でき、マスターロボット１１の操作によりスレーブロボット１２を対象物（例えばボルト３）に対して作業（例えば位置決め作業）させる遠隔作業の作業効率を向上させることができる。 Therefore, it is not necessary to arrange a marker in advance or give an instruction regarding the installation position of the virtual jig 21 by the operator 1 in order to determine, for example, the installation position of the virtual jig 21. As a result, the burden on the operator regarding the installation of the virtual jig 21 can be reduced, and the work efficiency of remote work in which the slave robot 12 is operated on the object (for example, the bolt 3) by the operation of the master robot 11 (for example, positioning work). Can be improved.

（２）図１、図３及び図５に示すように、複数の仮想対象物（例えば仮想ボルト３０Ａ）にそれぞれ設置された複数の仮想治具２１は、ロボット制御部２７の仮想治具絞込部３６により、環境計測処理部２３にて作成された３次元位置データ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、スレーブロボット１２に最も近傍の対象物（例えばボルト３）に対応する仮想対象物（例えば仮想ボルト３０Ａ）に設置された仮想治具２１（即ち、仮想ロボットに最も近傍の仮想対象物に設置された仮想治具２１）が優先して「有効」に設定されて絞り込まれる。このため、仮想治具２１が複数存在する場合にも、操作者１が作業の度に仮想治具２１を指定する必要がないので、この点からも、操作者１の負担を軽減でき、マスターロボット１１の操作によるスレーブロボット１２の遠隔作業の作業効率を、より一層向上させることができる。また、不要な仮想冶具２１は有効としないことで、演算負荷を軽減することができる。 (2) As shown in FIGS. 1, 3 and 5, the plurality of virtual jigs 21 installed on the plurality of virtual objects (for example, virtual bolts 30A) are narrowed down to the virtual jigs of the robot control unit 27. Based on the three-dimensional position data created by the environment measurement processing unit 23 by the unit 36 and the position and operation data of the slave robot 12 held by the slave robot control unit 32, the object closest to the slave robot 12 ( For example, the virtual jig 21 installed on the virtual object (for example, the virtual bolt 30A) corresponding to the bolt 3) (that is, the virtual jig 21 installed on the virtual object closest to the virtual robot) is given priority. It is set to "Enabled" and narrowed down. Therefore, even when a plurality of virtual jigs 21 exist, it is not necessary for the operator 1 to specify the virtual jig 21 each time the work is performed. Therefore, the burden on the operator 1 can be reduced from this point as well, and the master The work efficiency of the remote work of the slave robot 12 by the operation of the robot 11 can be further improved. Further, the calculation load can be reduced by disabling the unnecessary virtual jig 21.

なお、操作者１が作業データベース２５から作業に関するデータを選択する代わりに、ロボット制御部２７の仮想治具決定部３５は、マスターロボット１１にジェスチャーを実行させたときのマスターロボット１１の動作データに基づいて作業を推測して作業に関するデータを求め、これにより、仮想治具２１の種類、形状、寸法及び設置位置の少なくとも一つを決定してもよい。 Instead of the operator 1 selecting data related to the work from the work database 25, the virtual jig determination unit 35 of the robot control unit 27 uses the operation data of the master robot 11 when the master robot 11 executes a gesture. The work may be inferred based on the work to obtain data on the work, thereby determining at least one of the type, shape, dimensions and installation position of the virtual jig 21.

また、仮想治具生成・取得部２６は、スレーブロボット１２に設置された接触センサ(不図示)からのデータや、スレーブロボット１２自身に作用する負荷（例えばモータ電流など）のデータに基づいて、一度接触した箇所に、次回の接触を禁止させる壁（ブロック）のような仮想治具を生成してもよい。この場合、制御ロボット２７の仮想治具決定部３５は、３次元位置データ、及び上述の接触センサのデータ等に基づいて、次回接触禁止用の仮想治具を、スレーブロボット１２が一度接触した箇所に設置する。これにより、ディスプレイ２８に表示される仮想空間には、スレーブロボット１２が一度接触した箇所に上述の仮想治具が自動で設定されるので、操作者１は、この仮想治具を視認することで、スレーブロボット１２が一度接触した箇所を再び接触させることなく、スレーブロボット１２に作業を実施させることができる。 Further, the virtual jig generation / acquisition unit 26 is based on data from a contact sensor (not shown) installed on the slave robot 12 and data on a load acting on the slave robot 12 itself (for example, a motor current). A virtual jig such as a wall (block) that prohibits the next contact may be generated at the place where the contact is made once. In this case, the virtual jig determination unit 35 of the control robot 27 touches the virtual jig for prohibiting contact next time with the slave robot 12 once based on the three-dimensional position data, the above-mentioned contact sensor data, and the like. Install in. As a result, the above-mentioned virtual jig is automatically set in the virtual space displayed on the display 28 at the place where the slave robot 12 once contacts, so that the operator 1 can visually recognize the virtual jig. , The slave robot 12 can perform the work without touching the portion once contacted by the slave robot 12 again.

［Ｂ］第２実施形態（図１、図７、図８）
図７は、第２実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる丸鋸を用いた配管切断作業を説明する説明図である。この第２実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。 [B] Second embodiment (FIGS. 1, 7, 8)
FIG. 7 is an explanatory diagram illustrating a pipe cutting operation using a circular saw by a master-slave robot system to which a work support system for a remote-controlled robot according to a second embodiment is applied. In this second embodiment, the same parts as those in the first embodiment are designated by the same reference numerals as those in the first embodiment to simplify or omit the description.

本第２実施形態の遠隔操作ロボットの作業支援システム４０が前記第１実施形態と異なる点は、対象物が配管４であり、工具が丸鋸１６であり、作業が、丸鋸１６を用いて配管４を切断する配管切断作業であり、仮想治具４１（図８）が、丸鋸１６を配管４の同一箇所に同一姿勢（傾き）で繰り返し接触させて切断させる際にガイドとなる平面形状の仮想治具である点である。 The work support system 40 of the remote control robot of the second embodiment differs from the first embodiment in that the object is the pipe 4, the tool is the circular saw 16, and the work is performed using the circular saw 16. This is a pipe cutting operation for cutting the pipe 4, and is a flat shape that serves as a guide when the virtual jig 41 (FIG. 8) repeatedly contacts the circular saw 16 with the same position (tilt) of the pipe 4 in the same posture (tilt) to cut the pipe 4. It is a virtual jig of.

本第２実施形態の遠隔操作ロボットの作業支援システム４０(図１)におけるロボット制御部４２の仮想治具生成・取得部４３は、対象物を配管４とし、工具を丸鋸１６とする対象物及び工具データ、並びに配管切断作業を内容とする作業データに基づいて、平面形状の仮想治具４１を生成し、または仮想治具データベースから該当する仮想治具４１を取得する。 In the work support system 40 (FIG. 1) of the remote control robot of the second embodiment, the virtual jig generation / acquisition unit 43 of the robot control unit 42 uses the object as the pipe 4 and the tool as the round saw 16. And, based on the tool data and the work data including the pipe cutting work, the virtual jig 41 having a planar shape is generated, or the corresponding virtual jig 41 is acquired from the virtual jig database.

また、ロボット制御部４２の仮想治具決定部４４は、仮想治具４１の種類、形状、寸法及び設置位置の少なくとも一つを、環境計測処理部２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データ、並びにスレーブロボット１２の作業動作により取得されたデータに基づいて決定する。 Further, the virtual jig determination unit 44 of the robot control unit 42 sets at least one of the type, shape, dimensions, and installation position of the virtual jig 41 as three-dimensional position data created by the environment measurement processing unit 23. Data related to objects and tools selected by the operator 1 from the object database 24, data related to the work selected by the operator 1 from the work database 25, position and operation data of the slave robot 12 held by the slave robot control unit 32, In addition, the determination is made based on the data acquired by the working operation of the slave robot 12.

つまり、仮想治具決定部４４は、配管切断作業を内容とする作業に関するデータから、配管切断をガイドする種類の仮想治具、即ち仮想治具４１を決定する。また、仮想治具決定部４４は、３次元位置データと、スレーブロボット１２が丸鋸１６を用いて配管４を最初に切削したときのスレーブロボット１２の作業動作により得られた切削痕１８の位置データとから、仮想治具４１の設置位置を決定する。この仮想治具４１の設置位置は、配管４に対応した仮想対象物としての仮想配管３０Ｂ(図８)における上記切削痕１８に対応した仮想切削痕位置１９である。 That is, the virtual jig determination unit 44 determines a type of virtual jig that guides the pipe cutting, that is, the virtual jig 41, from the data related to the work including the pipe cutting work. Further, the virtual jig determination unit 44 uses three-dimensional position data and the position of the cutting mark 18 obtained by the work operation of the slave robot 12 when the slave robot 12 first cuts the pipe 4 using the circular saw 16. The installation position of the virtual jig 41 is determined from the data. The installation position of the virtual jig 41 is the virtual cutting mark position 19 corresponding to the cutting mark 18 in the virtual pipe 30B (FIG. 8) as a virtual object corresponding to the pipe 4.

なお、切削痕１８の位置データは、具体的には、環境計測２２により計測されたデータ、またはスレーブロボット１２に設置されたセンサ(不図示)により丸鋸１６が配管４に接触したことを検知したときのスレーブロボット１２の位置データ等から求められる。 Specifically, the position data of the cutting mark 18 is detected by the data measured by the environmental measurement 22 or the sensor (not shown) installed in the slave robot 12 that the circular saw 16 comes into contact with the pipe 4. It is obtained from the position data of the slave robot 12 and the like at that time.

また、仮想治具決定部４４は、配管４及び丸鋸１６の直径データを内容とする対象物及び工具に関するデータから仮想治具４１の寸法を決定する。更に、仮想治具決定部４４は、スレーブロボット１２が丸鋸１６を用いて配管４を最初に切断したときのスレーブロボット１２の姿勢データ（即ち丸鋸１６の傾きデータ）を内容とするスレーブロボット１２の位置及び動作データに基づいて、仮想治具４１の形状、即ち仮想治具４１の傾きを決定する。 Further, the virtual jig determination unit 44 determines the dimensions of the virtual jig 41 from the data related to the object and the tool including the diameter data of the pipe 4 and the circular saw 16. Further, the virtual jig determination unit 44 includes the attitude data of the slave robot 12 (that is, the inclination data of the circular saw 16) when the slave robot 12 first cuts the pipe 4 using the circular saw 16. The shape of the virtual jig 41, that is, the inclination of the virtual jig 41 is determined based on the position and operation data of 12.

以上のように構成されたことから、本第２実施形態によれば、第１実施形態の効果（１）と同様な効果を奏するほか、次の効果（３）を奏する。 Since it is configured as described above, according to the second embodiment, in addition to the same effect as the effect (1) of the first embodiment, the following effect (3) is obtained.

（３）操作者１が、スレーブロボット１２を動作させて配管４に丸鋸１６の切削痕１８を最初に形成すれば、この最初に切削痕１８を形成したときの丸鋸１６の傾きと同一の傾きの平面形状の仮想治具４１が仮想治具生成・取得部４３により生成または取得され、この仮想治具４１が仮想治具決定部４４により、配管４に対応した仮想配管３０Ｂにおいて切削痕１８に対応した仮想切削痕位置１９に設置される。 (3) If the operator 1 operates the slave robot 12 to first form the cutting mark 18 of the circular saw 16 on the pipe 4, the inclination of the circular saw 16 is the same as when the cutting mark 18 is first formed. A virtual jig 41 having a plane shape with an inclination of is generated or acquired by the virtual jig generation / acquisition unit 43, and the virtual jig 41 is cut by the virtual jig determination unit 44 in the virtual pipe 30B corresponding to the pipe 4. It is installed at the virtual cutting mark position 19 corresponding to 18.

従って、操作者１は、ディスプレイ２８に表示された仮想空間上で、スレーブロボット１２に対応する仮想ロボットに設けられた丸鋸１６に対応する仮想工具を仮想治具４１に沿って繰り返し動作させれば、現実空間における丸鋸１６を、配管４の切削痕１８の位置に同一の傾きを保持して繰り返し投入して、配管４を切断できる。この結果、丸鋸１６を用いた配管４の切断作業を、操作者１が丸鋸１６の位置及び傾きを細かく調整することなく、容易且つ確実に実施できる。 Therefore, the operator 1 can repeatedly operate the virtual tool corresponding to the circular saw 16 provided in the virtual robot corresponding to the slave robot 12 along the virtual jig 41 in the virtual space displayed on the display 28. For example, the circular saw 16 in the real space can be repeatedly thrown into the position of the cutting mark 18 of the pipe 4 while maintaining the same inclination to cut the pipe 4. As a result, the cutting operation of the pipe 4 using the circular saw 16 can be easily and surely performed without the operator 1 finely adjusting the position and inclination of the circular saw 16.

［Ｃ］第３実施形態（図９）
図９は、第３実施形態に係る遠隔操作ロボットの作業支援システムが適用されたマスタースレーブロボットシステムによる通過禁止領域を表す仮想治具を示す説明図である。この第３実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。 [C] Third Embodiment (Fig. 9)
FIG. 9 is an explanatory diagram showing a virtual jig representing a passage prohibited area by the master-slave robot system to which the work support system of the remote-controlled robot according to the third embodiment is applied. In the third embodiment, the same parts as those in the first embodiment are designated by the same reference numerals as those in the first embodiment to simplify or omit the description.

本第３実施形態の遠隔操作ロボットの作業支援システム５０が第１実施形態と異なる点は、対象物が、狭隘空間を有して隣接配置された構造物５であり、作業が、スレーブロボット１２のエンドエフェクタ１４に装着されたグリッパ１７などの工具及びスレーブロボット１２を構造物５間の狭隘空間内で作業させるものであり、仮想治具５１が、工具及びスレーブロボット１２の寸法よりも狭い狭隘空間に対して工具及びスレーブロボット１２の通過を禁止するための通過禁止領域を表す仮想治具である点である。 The difference between the work support system 50 of the remote control robot of the third embodiment and the first embodiment is that the object is a structure 5 having a narrow space and arranged adjacently, and the work is performed by the slave robot 12. A tool such as a gripper 17 and a slave robot 12 mounted on the end effector 14 of the above are operated in a narrow space between structures 5, and the virtual jig 51 is narrower than the dimensions of the tool and the slave robot 12. This is a virtual jig that represents a passage prohibition area for prohibiting the passage of the tool and the slave robot 12 with respect to the space.

本第３実施形態の遠隔操作ロボットの作業支援システム５０(図１)におけるロボット制御部５２の仮想治具生成・取得部５３は、狭隘空間を有して隣接配置された構造物５を対象物とする対象物及び工具データ、並びにスレーブロボット１２に装着された工具及びスレーブロボット１２を、隣接配置された構造物５間の狭隘空間内で作業させることを内容とする作業データに基づいて、工具(例えばグリッパ１７)及びスレーブロボット１２の上記狭隘空間への通過禁止領域を表す仮想治具５１を生成し、または仮想治具データベースから該当する仮想治具５１を取得する。 The virtual jig generation / acquisition unit 53 of the robot control unit 52 in the work support system 50 (FIG. 1) of the remote-operated robot according to the third embodiment targets a structure 5 having a narrow space and being arranged adjacent to each other. The tool is based on the object and tool data to be used, and the work data in which the tool and the slave robot 12 mounted on the slave robot 12 are made to work in a narrow space between the structures 5 arranged adjacent to each other. (For example, the gripper 17) and the slave robot 12 generate a virtual jig 51 representing a passage prohibited area into the narrow space, or acquire the corresponding virtual jig 51 from the virtual jig database.

ロボット制御部５２の仮想治具決定部５４は、工具及びスレーブロボット１２の通過禁止領域を表す仮想治具５１の種類、形状、寸法及び設置位置の少なくとも一つを、環境計測処理物２３にて作成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベースから操作者１により選択された作業に関するデータ、スレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データ、並びにスレーブロボット１２の寸法に関するデータに基づいて決定する。 The virtual jig determination unit 54 of the robot control unit 52 determines at least one of the type, shape, dimensions, and installation position of the virtual jig 51 representing the passage prohibited area of the tool and the slave robot 12 by the environment measurement processed object 23. Three-dimensional position data created, data on an object and a tool selected by the operator 1 from the object database 24, data on the work selected by the operator 1 from the work database, a slave owned by the slave robot control unit 32. The determination is made based on the position and operation data of the robot 12 and the data regarding the dimensions of the slave robot 12.

つまり、仮想治具決定部５４は、スレーブロボット１２のエンドエフェクタ１４に装着された工具及びスレーブロボット１２を、隣接配置された構造物５間の狭隘空間内で作業させることを内容とする作業に関するデータから、構造物５間の狭隘空間への工具(例えばグリッパ１７)及びスレーブロボット１２の通過を禁止する通過禁止領域を表す種類の仮想治具５１を決定する。 That is, the virtual jig determination unit 54 relates to a work in which the tool mounted on the end effector 14 of the slave robot 12 and the slave robot 12 are made to work in a narrow space between the structures 5 arranged adjacent to each other. From the data, a virtual jig 51 of a type representing a pass-prohibited area that prohibits the passage of the tool (for example, the gripper 17) and the slave robot 12 into the narrow space between the structures 5 is determined.

また、仮想治具決定部５４は、スレーブロボット１２の位置及び動作データと３次元位置データとから、スレーブロボット１２の周囲に存在する構造物５間の狭隘空間の寸法に関するデータを求める。そして、仮想治具決定部５４は、上記狭隘空間の寸法に関するデータと、対象物及び工具に関するデータからの工具(例えばグリッパ１７)の寸法に関するデータと、スレーブロボット１２の寸法に関するデータとを用いて、工具及びスレーブロボット１２の少なくとも一方の寸法が上記狭隘空間の寸法よりも大きいか否かを判断する。 Further, the virtual jig determination unit 54 obtains data on the dimensions of the narrow space between the structures 5 existing around the slave robot 12 from the position and operation data of the slave robot 12 and the three-dimensional position data. Then, the virtual jig determination unit 54 uses the data regarding the dimensions of the narrow space, the data regarding the dimensions of the tool (for example, the gripper 17) from the data regarding the object and the tool, and the data regarding the dimensions of the slave robot 12. , It is determined whether or not at least one of the dimensions of the tool and the slave robot 12 is larger than the dimension of the narrow space.

工具(例えばグリッパ１７)及びスレーブロボット１２の少なくとも一方の寸法が構造物５間の狭隘空間寸法よりも大きい場合に、仮想治具決定部５４は、工具及びスレーブロボット１２の当該狭隘空間への通過を禁止する通過禁止領域を表す仮想治具５１の設置位置を決定する。この設置位置は、工具(例えばグリッパ１７)及びスレーブロボット１２の少なくとも一方の寸法よりも小さな寸法の狭隘空間を有する隣接した構造物５に対応する仮想対象物としての仮想構造物３０Ｃ間の狭隘空間である。 When at least one of the dimensions of the tool (for example, gripper 17) and the slave robot 12 is larger than the narrow space dimension between the structures 5, the virtual jig determination unit 54 passes the tool and the slave robot 12 through the narrow space. The installation position of the virtual jig 51 representing the passage prohibited area is determined. This installation position is a narrow space between virtual structures 30C as a virtual object corresponding to an adjacent structure 5 having a narrow space smaller than at least one of the tool (for example, gripper 17) and the slave robot 12. Is.

更に、仮想治具決定部５４は、３次元位置データから、仮想治具５１が設置される狭隘空間を有する仮想構造物３０Ｃに対応した現実空間の構造物５間の狭隘空間の寸法を求め、この狭隘空間の寸法に基づき仮想治具５１の形状及び寸法を決定する。 Further, the virtual jig determination unit 54 obtains the dimensions of the narrow space between the structures 5 in the real space corresponding to the virtual structure 30C having the narrow space in which the virtual jig 51 is installed from the three-dimensional position data. The shape and dimensions of the virtual jig 51 are determined based on the dimensions of this narrow space.

以上のように構成されたことから、本第３実施形態においても、第１実施形態の効果（１）と同様な効果を奏するほか、次の効果（４）を奏する。 Since it is configured as described above, the third embodiment also has the same effect as the effect (1) of the first embodiment and also has the following effect (4).

（４）スレーブロボット１２に工具(例えばグリッパ１７)を装着して隣接配置された構造物５間の狭隘空間内で作業する場合、構造物５間の狭隘空間の寸法よりもスレーブロボット１２と工具の少なくとも一方の寸法が大きいときには、上記狭隘空間を有する構造物５に対応する仮想空間上の仮想構造物３０Ｃの狭隘空間に仮想治具５１が設置される。このため、操作者１は、上記仮想空間が表示されたディスプレイ２８を視認して、仮想ロボット及び仮想工具を仮想治具５１に接触しないように動作させることで、現実空間においてスレーブロボット１２及び工具を構造物５に干渉させることなく、構造物５間の狭隘空間内で作業させることができる。 (4) When a tool (for example, a gripper 17) is attached to the slave robot 12 and the work is performed in the narrow space between the structures 5 arranged adjacent to each other, the slave robot 12 and the tool are larger than the dimensions of the narrow space between the structures 5. When at least one of the dimensions is large, the virtual jig 51 is installed in the narrow space of the virtual structure 30C on the virtual space corresponding to the structure 5 having the narrow space. Therefore, the operator 1 visually recognizes the display 28 on which the virtual space is displayed, and operates the virtual robot and the virtual tool so as not to come into contact with the virtual jig 51, whereby the slave robot 12 and the tool are operated in the real space. Can be operated in the narrow space between the structures 5 without interfering with the structure 5.

なお、本第３実施形態を走行移動型のマスタースレーブロボットに適用してもよい。例えば、走行移動するスレーブロボットの寸法が扉の寸法よりも大きな場合には、上記扉に対応する仮想空間上の仮想扉に通過禁止を表す仮想治具を設置する。これにより、仮想空間において仮想ロボットが上記仮想治具に接触しないようにすることで、現実空間において、移動するスレーブロボットが通過不可能な扉に干渉する事態を回避できる。 The third embodiment may be applied to a traveling and moving type master-slave robot. For example, when the size of the traveling slave robot is larger than the size of the door, a virtual jig indicating that passage is prohibited is installed in the virtual door in the virtual space corresponding to the door. As a result, by preventing the virtual robot from coming into contact with the virtual jig in the virtual space, it is possible to avoid a situation in which the moving slave robot interferes with the impassable door in the real space.

［Ｄ］第４実施形態（図１）
この第４実施形態において第１実施形態と同様な部分については、第１実施形態と同一の符号を付すことにより説明を簡略化し、または省略する。 [D] Fourth Embodiment (Fig. 1)
In this fourth embodiment, the same parts as those in the first embodiment are designated by the same reference numerals as those in the first embodiment to simplify or omit the description.

本第４実施形態の遠隔操作ロボットの作業支援システム６０では、ロボット制御部１１は、環境計測処理部２３にて生成された３次元位置データ、対象物データベース２４から操作者１により選択された対象物及び工具に関するデータ、作業データベース２５から操作者１により選択された作業に関するデータ、並びにスレーブロボット制御部３２が保有するスレーブロボット１２の位置及び動作データに基づいて、仮想治具を生成または取得し且つこの仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するための一連の作業データを学習させ、または予め規定することで、仮想治具の生成または取得処理と、仮想治具の種類、形状、寸法及び設置位置の少なくとも一つの決定処理とを自律的に実行可能に構成させてもよい。ここで、上記学習は、ディープラーニング等の機械学習や強化学習である。 In the work support system 60 of the remote control robot of the fourth embodiment, the robot control unit 11 uses the three-dimensional position data generated by the environment measurement processing unit 23 and the target selected by the operator 1 from the target database 24. A virtual jig is generated or acquired based on data related to objects and tools, data related to work selected by the operator 1 from the work database 25, and position and operation data of the slave robot 12 held by the slave robot control unit 32. Moreover, by learning a series of work data for determining at least one of the type, shape, dimensions, and installation position of this virtual jig, or by predefining it, the generation or acquisition process of the virtual jig and the virtual cure At least one determination process of the type, shape, size, and installation position of the jig may be configured to be autonomously feasible. Here, the above learning is machine learning such as deep learning and reinforcement learning.

これにより、対象物（例えばボルト３）及び工具（例えばインパクトレンチ１５）を決め、且つスレーブロボット１２の位置及び動作データが決まった状況下では、複数の作業（例えば位置決め作業、ボルト回転作業、周囲の構造物に干渉させないでの狭隘空間内の作業）を操作者１が選択しなくても、ロボット制御部６１はその作業を推定できる。更に、ロボット制御部６１は、その推定した作業に対応する種類の仮想治具（位置決め用仮想治具、対象物と工具の回転軸を一致させるための仮想治具、通過禁止領域を表す仮想治具など）を自律的に生成または取得し、その仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを自律的に決定することができる。 As a result, under the condition that the object (for example, bolt 3) and the tool (for example, impact wrench 15) are determined and the position and operation data of the slave robot 12 are determined, a plurality of operations (for example, positioning operation, bolt rotation operation, surroundings) are determined. The robot control unit 61 can estimate the work even if the operator 1 does not select (work in a narrow space without interfering with the structure). Further, the robot control unit 61 is a virtual jig of a type corresponding to the estimated work (a virtual jig for positioning, a virtual jig for matching the rotation axes of the object and the tool, and a virtual jig representing a passage prohibited area). (Tools, etc.) can be autonomously generated or acquired, and at least one of the type, shape, dimensions, and installation position of the virtual jig can be autonomously determined.

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができ、また、それらの置き換えや変更は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention, and their replacements and changes can be made. Is included in the scope and gist of the invention, and is also included in the invention described in the claims and the equivalent scope thereof.

１…操作者、３…ボルト（対象物）、４…配管（対象物）、５…構造物（対象物）、１０…マスタースレーブロボットシステム、１１…マスターロボット、１２…スレーブロボット、１５…インパクトレンチ（工具）、１６…丸鋸（工具）、１８…切削痕、２０…遠隔操作ロボットの作業支援システム、２１、２１Ｘ…仮想治具、２２…環境計測部、２３…環境計測処理部、２４…対象物データベース、２５…作業データベース、２６…仮想治具生成・取得部、２７…ロボット制御部、２８…ディスプレイ（表示装置）、３０Ａ、３０ＡＸ…仮想ボルト（仮想対象物）、３０Ｂ…仮想配管（仮想対象物）、３０Ｃ…仮想構造物（仮想対象物）、３１…マスターロボット制御部、３２…スレーブロボット制御部、３３…仮想空間作成部、３４…仮想ロボット生成部、３５…仮想治具決定部、３６…仮想治具絞込部、４０…遠隔操作ロボットの作業支援システム、４１…仮想治具、４３…仮想治具生成・取得部、４４…仮想治具決定部、５０…遠隔操作ロボットの作業支援システム、５１…仮想治具、５３…仮想治具生成・取得部、５４…仮想治具決定部、６０…遠隔操作ロボットの作業支援システム、６１…ロボット制御部 1 ... Operator, 3 ... Bolt (object), 4 ... Piping (object), 5 ... Structure (object), 10 ... Master-slave robot system, 11 ... Master robot, 12 ... Slave robot, 15 ... Impact Wrench (tool), 16 ... Round saw (tool), 18 ... Cutting marks, 20 ... Remote control robot work support system, 21, 21X ... Virtual jig, 22 ... Environmental measurement unit, 23 ... Environmental measurement processing unit, 24 ... Object database, 25 ... Work database, 26 ... Virtual jig generation / acquisition unit, 27 ... Robot control unit, 28 ... Display (display device), 30A, 30AX ... Virtual bolt (virtual object), 30B ... Virtual piping (Virtual object), 30C ... Virtual structure (virtual object), 31 ... Master robot control unit, 32 ... Slave robot control unit, 33 ... Virtual space creation unit, 34 ... Virtual robot generation unit, 35 ... Virtual jig Decision unit, 36 ... Virtual jig narrowing unit, 40 ... Remote operation robot work support system, 41 ... Virtual jig, 43 ... Virtual jig generation / acquisition unit, 44 ... Virtual jig determination unit, 50 ... Remote operation Robot work support system, 51 ... virtual jig, 53 ... virtual jig generation / acquisition unit, 54 ... virtual jig determination unit, 60 ... remote control robot work support system, 61 ... robot control unit

Claims (6)

対象物を含む周囲環境を計測する環境計測部と、
前記環境計測部の環境計測データから、前記対象物を検出すると共に、前記対象物を含む３次元位置データを作成する環境計測処理部と、
前記対象物及び工具に関するデータを格納する対象物データベースと、
前記対象物に対する作業に関するデータを格納する作業データベースと、
前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するロボット制御部と、
前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得する仮想治具生成・取得部と、
前記対象物に対応する仮想対象物を含む前記仮想空間、前記仮想ロボット、及び前記仮想治具を表示する表示装置とを有し、
マスターロボットが操作されることで、前記対象物に対する前記作業を前記スレーブロボットに実行させる遠隔操作ロボットの作業支援システムであって、
前記ロボット制御部は、前記３次元位置データ、前記対象物データベースから選択された前記対象物及び工具に関するデータ、前記作業データベースから選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とする遠隔操作ロボットの作業支援システム。 An environment measurement unit that measures the surrounding environment including the object,
An environmental measurement processing unit that detects the object from the environmental measurement data of the environmental measurement unit and creates three-dimensional position data including the object.
An object database that stores data related to the object and tools,
A work database that stores data related to work on the object, and
A robot control unit that creates a virtual space based on the three-dimensional position data, generates a virtual robot based on the position and operation data of the slave robot, and integrates the virtual robot into the virtual space.
A virtual jig generation / acquisition unit that generates or acquires one or more types of virtual jigs provided in the virtual space to guide the work on the object.
It has the virtual space including the virtual object corresponding to the object, the virtual robot, and a display device for displaying the virtual jig.
A work support system for a remote-controlled robot that causes a slave robot to perform the work on the object by operating the master robot.
The robot control unit uses the three-dimensional position data, data on the object and the tool selected from the object database, data on the work selected from the work database, and position and operation data of the slave robot. A work support system for a remote-controlled robot, which is configured to determine at least one of the type, shape, dimensions, and installation position of the virtual jig based on the above. 前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、並びに前記ロボット制御部が保有するスレーブロボットの位置及び動作データに基づいて、環境計測処理部にて検出された複数の前記対象物に対して、前記スレーブロボットに最も近傍の前記対象物に対応する仮想対象物に設置された仮想治具を優先して有効に設定し、前記仮想治具の絞り込みを行うよう構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。 The robot control unit has a plurality of detections detected by the environment measurement processing unit based on the three-dimensional position data created by the environment measurement processing unit and the position and operation data of the slave robot possessed by the robot control unit. With respect to the object, the virtual jig installed in the virtual object corresponding to the object closest to the slave robot is preferentially and effectively set, and the virtual jig is narrowed down. The work support system for a remote-controlled robot according to claim 1, wherein the remote control robot is characterized in that. 前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、対象物データベースから選択された対象物及び工具に関するデータ、作業データベースから選択された作業に関するデータ、前記ロボット制御部が保有するスレーブロボットの位置及び動作データ、並びに前記スレーブロボットの作業動作により取得されたデータに基づいて、仮想治具生成・取得部にて作成または取得された仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。 The robot control unit has three-dimensional position data created by the environment measurement processing unit, data on objects and tools selected from the object database, data on work selected from the work database, and the robot control unit. The type, shape, dimensions, and installation of the virtual jig created or acquired by the virtual jig generation / acquisition unit based on the position and operation data of the slave robot to be used and the data acquired by the work operation of the slave robot. The work support system for a remote-controlled robot according to claim 1, wherein the work support system is configured to determine at least one position. 前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、対象物データベースから選択された対象物及び工具に関するデータ、作業データベースから選択された作業に関するデータ、前記ロボット制御部が保有するスレーブロボットの位置及び動作データ、並びに前記スレーブロボットの寸法に関するデータに基づいて、前記スレーブロボットの移動禁止領域を表す仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するよう構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。 The robot control unit has three-dimensional position data created by the environment measurement processing unit, data on objects and tools selected from the object database, data on work selected from the work database, and the robot control unit. At least one of the type, shape, size, and installation position of the virtual jig representing the movement prohibited area of the slave robot is determined based on the position and operation data of the slave robot and the data related to the dimensions of the slave robot. The work support system for a remote-controlled robot according to claim 1, wherein the robot is configured. 前記ロボット制御部は、環境計測処理部にて作成された３次元位置データ、対象物データベースから選択された対象物及び工具に関するデータ、作業データベースから選択された作業に関するデータ、並びに前記ロボット制御部が保有するスレーブロボットの位置及び動作データに基づいて、仮想治具を生成または取得し且つこの仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを決定するための一連の作業データを学習させることで、前記仮想治具の生成または取得処理と、前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つの決定処理とが自律的に実行可能に構成されたことを特徴とする請求項１に記載の遠隔操作ロボットの作業支援システム。 The robot control unit includes three-dimensional position data created by the environment measurement processing unit, data on objects and tools selected from the object database, data on work selected from the work database, and the robot control unit. Learn a series of work data to generate or acquire a virtual jig based on the position and operation data of the possessed slave robot and to determine at least one of the type, shape, dimensions, and installation position of this virtual jig. It is characterized in that the generation or acquisition process of the virtual jig and the determination process of at least one of the type, shape, size, and installation position of the virtual jig can be autonomously executed. The work support system for a remote-controlled robot according to claim 1. 環境計測部の環境計測データから、対象物を検出すると共に、前記対象物を含む３次元位置データを作成するステップと、
前記３次元位置データに基づき仮想空間を作成し、スレーブロボットの位置及び動作データに基づき仮想ロボットを生成し、前記仮想空間に前記仮想ロボットを統合処理するステップと、
前記対象物及び工具に関するデータを対象物データベースから、前記対象物に対する作業に関するデータを作業データベースから、それぞれ選択して取り込むステップと、
前記対象物に対する前記作業をガイドするために前記仮想空間に設けられる仮想治具を、１もしくは複数種類生成または取得するステップと、
前記仮想治具の種類、形状、寸法及び設置位置の少なくとも一つを、前記３次元位置データ、選択された前記対象物及び工具に関するデータ、選択された前記作業に関するデータ、並びに前記スレーブロボットの位置及び動作データに基づいて決定するステップと、
前記仮想ロボット及び前記仮想治具の支援によりマスターロボットを操作することで、前記対象物に対する前記作業を前記スレーブロボットに実行させるステップと、を有することを特徴とする遠隔操作ロボットの作業支援方法。 A step of detecting an object from the environmental measurement data of the environmental measurement unit and creating three-dimensional position data including the object, and
A step of creating a virtual space based on the three-dimensional position data, generating a virtual robot based on the position and operation data of the slave robot, and integrating the virtual robot into the virtual space.
A step of selecting and importing data on the object and the tool from the object database and data on the work on the object from the work database, respectively.
A step of generating or acquiring one or a plurality of types of virtual jigs provided in the virtual space for guiding the work on the object, and
At least one of the type, shape, dimensions and installation position of the virtual jig, the three-dimensional position data, the data regarding the selected object and the tool, the data regarding the selected work, and the position of the slave robot. And the steps to be determined based on the operation data,
A work support method for a remote-controlled robot, which comprises a step of causing the slave robot to perform the work on the object by operating the master robot with the support of the virtual robot and the virtual jig.
JP2019065753A 2019-03-29 2019-03-29 WORK SUPPORT SYSTEM AND WORK SUPPORT METHOD FOR REMOTE-CONTROLLED ROBOT Active JP7114521B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019065753A JP7114521B2 (en) 2019-03-29 2019-03-29 WORK SUPPORT SYSTEM AND WORK SUPPORT METHOD FOR REMOTE-CONTROLLED ROBOT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019065753A JP7114521B2 (en) 2019-03-29 2019-03-29 WORK SUPPORT SYSTEM AND WORK SUPPORT METHOD FOR REMOTE-CONTROLLED ROBOT

Publications (2)

Publication Number Publication Date
JP2020163511A true JP2020163511A (en) 2020-10-08
JP7114521B2 JP7114521B2 (en) 2022-08-08

Family

ID=72714087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019065753A Active JP7114521B2 (en) 2019-03-29 2019-03-29 WORK SUPPORT SYSTEM AND WORK SUPPORT METHOD FOR REMOTE-CONTROLLED ROBOT

Country Status (1)

Country Link
JP (1) JP7114521B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113386142A (en) * 2021-07-07 2021-09-14 天津大学 Grinding and cutting integrated processing system and method of teleoperation robot based on virtual clamp
WO2024020733A1 (en) * 2022-07-25 2024-02-01 上海非夕机器人科技有限公司 Teleoperation method for robot, and robot and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63139689A (en) * 1986-11-28 1988-06-11 株式会社日立製作所 Picture display unit for remote manipulation-system
JPH01112309A (en) * 1987-10-26 1989-05-01 Hitachi Ltd Robot supporting system
JPH0825254A (en) * 1994-07-14 1996-01-30 Nec Corp Master-slave type robot arm device and arm positioning/ guiding method
JPH10264065A (en) * 1997-03-27 1998-10-06 Mitsubishi Electric Corp Remote operation support device for robot
JP2004322244A (en) * 2003-04-23 2004-11-18 Toyota Motor Corp Robot operation regulating method, its device and robot having this device
JP2008093814A (en) * 2006-10-16 2008-04-24 Yamatake Corp Operation support device and method thereof
US20130169423A1 (en) * 2011-12-29 2013-07-04 Mako Surgical Corp. Systems and methods for selectively activating haptic guide zones

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63139689A (en) * 1986-11-28 1988-06-11 株式会社日立製作所 Picture display unit for remote manipulation-system
JPH01112309A (en) * 1987-10-26 1989-05-01 Hitachi Ltd Robot supporting system
JPH0825254A (en) * 1994-07-14 1996-01-30 Nec Corp Master-slave type robot arm device and arm positioning/ guiding method
JPH10264065A (en) * 1997-03-27 1998-10-06 Mitsubishi Electric Corp Remote operation support device for robot
JP2004322244A (en) * 2003-04-23 2004-11-18 Toyota Motor Corp Robot operation regulating method, its device and robot having this device
JP2008093814A (en) * 2006-10-16 2008-04-24 Yamatake Corp Operation support device and method thereof
US20130169423A1 (en) * 2011-12-29 2013-07-04 Mako Surgical Corp. Systems and methods for selectively activating haptic guide zones

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113386142A (en) * 2021-07-07 2021-09-14 天津大学 Grinding and cutting integrated processing system and method of teleoperation robot based on virtual clamp
WO2024020733A1 (en) * 2022-07-25 2024-02-01 上海非夕机器人科技有限公司 Teleoperation method for robot, and robot and storage medium

Also Published As

Publication number Publication date
JP7114521B2 (en) 2022-08-08

Similar Documents

Publication Publication Date Title
CN105583826B (en) Industrial robot and the method for controlling industrial robot
US10112297B2 (en) Robot control apparatus, robot, and robot system
US8855823B2 (en) Robot controller, simple installation-type robot, and method of controlling simple installation-type robot
JP6570742B2 (en) Robot motion evaluation apparatus, robot motion evaluation method, and robot system
US20160158937A1 (en) Robot system having augmented reality-compatible display
CN108748152B (en) Robot teaching method and system
US11167417B2 (en) Robot control device and robot system
JP2008229800A (en) Arm-mounted mobile robot and its control method
JP2004243516A (en) Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment
US10960549B2 (en) Vibration analyzer and vibration analysis method
JP2020015128A (en) Sensing system, work system, extended reality image display method, extended reality image memorizing method, and program
US10406688B2 (en) Offline programming apparatus and method having workpiece position detection program generation function using contact sensor
JP2020163511A (en) Work support system and work support method of remote control robot
CN110405729B (en) Robot control device
JP2020154434A (en) Work management system and work management method
West et al. A vision-based positioning system with inverse dead-zone control for dual-hydraulic manipulators
WO2017141569A1 (en) Control device, control system, control method, and program
Tanzini et al. A novel human-machine interface for working machines operation
JP7366264B2 (en) Robot teaching method and robot working method
JPWO2018147359A1 (en) Robot control method and robot
JP3560216B2 (en) Work support device
Antonelli et al. FREE: flexible and safe interactive human-robot environment for small batch exacting applications
JP2915478B2 (en) Master-slave manipulator
JP2005335000A (en) Control device for human intervention type robot
KR20160094105A (en) Robot control visualization apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150