JP2009006410A - Remote operation support device and remote operation support program - Google Patents
Remote operation support device and remote operation support program Download PDFInfo
- Publication number
- JP2009006410A JP2009006410A JP2007167501A JP2007167501A JP2009006410A JP 2009006410 A JP2009006410 A JP 2009006410A JP 2007167501 A JP2007167501 A JP 2007167501A JP 2007167501 A JP2007167501 A JP 2007167501A JP 2009006410 A JP2009006410 A JP 2009006410A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- dimensional
- model expression
- remote operation
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は遠隔操作支援装置および遠隔操作支援プログラムに関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。 The present invention relates to a remote operation support device and a remote operation support program, and in particular, to a method for remotely operating a work robot arranged in an environment where a human cannot easily enter, such as in a nuclear reactor. Therefore, it is suitable.
放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。
In places where humans cannot easily enter, such as in a radiation environment or space environment, operations such as maintenance and inspection are generally performed by remotely operating a work robot placed in such an environment. It has been broken.
Here, if the work to be performed in maintenance or inspection is known, or if the content of the work in periodic maintenance is the same every time, the robot operation is programmed in advance so that a human can operate it. Work without automatic operation
一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
しかしながら、特許文献１に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。 However, in the method disclosed in Patent Document 1, it is necessary to prepare information on the position and orientation of an object in a work environment and positioning necessary for robot operation as an environment model. In addition, it is assumed that the object exists at a predetermined position registered in the environmental model, and the state of the remotely operated object is similarly maintained during operation. It needs to be leaned.
このため、特許文献１に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置および遠隔操作支援プログラムを提供することである。
For this reason, in the method disclosed in Patent Document 1, if the position of the target object is different from the initial position or the position of the target object is changed during the operation, the target object cannot be remotely controlled and set in advance. There is a problem that only a synthesized image from only the viewpoints can be displayed, and the object cannot be confirmed from an arbitrary direction.
Accordingly, an object of the present invention is to support remote operation of an object while enabling the object to be confirmed from an arbitrary direction even when the position and orientation of the object are not known in advance. A remote operation support device and a remote operation support program are provided.
上述した課題を解決するために、請求項１記載の遠隔操作支援装置によれば、対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現手段と、三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする。 In order to solve the above-described problem, according to the remote operation support device according to claim 1, the shape and posture of the object are reflected by performing a three-dimensional recognition process based on measurement data of the shape of the object. Object model expression means for generating the object model expression, robot model expression means for generating a robot model expression reflecting the movement state of the robot based on the state of each axis of the robot, and a three-dimensional space 3D image generation means for displaying the object model expression and the robot model expression viewed from a designated viewpoint in a three-dimensional manner on the same screen.
また、請求項２記載の遠隔操作支援装置によれば、前記対象物の形状を計測することにより得られた前記対象物上の点を基準座標系の三次元座標に変換する対象物座標変換手段と、前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するロボット座標変換手段と、前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定手段とを備えることを特徴とする。 Further, according to the remote operation support device according to claim 2, the object coordinate conversion means for converting the point on the object obtained by measuring the shape of the object into the three-dimensional coordinates of the reference coordinate system. And robot coordinate conversion means for converting the points on the robot obtained by observing the state of each axis of the robot into the three-dimensional coordinates of the reference coordinate system, and the three-dimensional coordinates of the points on the object And proximity state determination means for determining a proximity state between the object and the robot based on a three-dimensional coordinate of a point on the robot.
また、請求項３記載の遠隔操作支援プログラムによれば、対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するステップと、三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする。 According to the remote operation support program according to claim 3, by performing a three-dimensional recognition process based on the measurement data of the shape of the object, the object model expression reflecting the shape and orientation of the object is obtained. Generating, a step of generating a robot model expression reflecting the robot's operation state based on a state of each axis of the robot, the object model expression viewed from a specified viewpoint in a three-dimensional space, and the And causing the computer to execute a step of three-dimensionally displaying the robot model expression on the same screen.
また、請求項４記載の遠隔操作支援プログラムによれば、前記対象物の形状を計測することにより得られた前記対象物上の点を基準座標系の三次元座標に変換するステップと、前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するステップと、前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定するステップとをコンピュータに実行させることを特徴とする。 According to the remote operation support program according to claim 4, the step of converting a point on the object obtained by measuring the shape of the object into a three-dimensional coordinate of a reference coordinate system; and the robot Converting the point on the robot obtained by observing the state of each axis to three-dimensional coordinates of the reference coordinate system, the three-dimensional coordinates of the point on the object, and the points on the robot A step of causing a computer to execute a step of determining a proximity state between the object and the robot based on three-dimensional coordinates.
以上説明したように、本発明によれば、対象物およびロボットの現在の状態が反映された三次元的なモデルを生成し、そのモデルを同一画面上に三次元的に表示させることが可能となる。このため、対象物の位置や姿勢が変化する場合においても、対象物およびロボットの現在の状態を精度よく表示させることが可能となるとともに、対象物およびロボットを三次元的にモデル化することにより、複数のカメラを設置することなく、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。 As described above, according to the present invention, it is possible to generate a three-dimensional model reflecting the current state of the object and the robot, and display the model three-dimensionally on the same screen. Become. For this reason, even when the position and orientation of the object change, it is possible to display the current state of the object and the robot with high accuracy, and by modeling the object and the robot three-dimensionally It is possible to switch to an image from an arbitrary viewpoint without installing multiple cameras, and remote control of the object is possible even in a radiation environment or space environment that humans cannot easily enter. It becomes possible to carry out smoothly.
以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の第１実施形態に係る遠隔操作支援装置の概略構成を示す断面図である。
図１において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するロボット１２およびロボット１２にて操作される対象物１１が配置されている。なお、対象物１１およびロボット１２は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、ロボット１２とは、マニュピュレータなどを含めた遠隔操作で使用される機械装置全般を言う。
Hereinafter, a remote control support device according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a cross-sectional view showing a schematic configuration of a remote control support device according to the first embodiment of the present invention.
In FIG. 1, a robot 12 that operates a target object 11 and a target object 11 that is operated by the robot 12 are arranged in a work area in which work such as maintenance and inspection is performed. The object 11 and the robot 12 can be installed in a place where humans cannot easily enter, such as in a radiation environment or a space environment. The robot 12 refers to all mechanical devices used for remote operation including a manipulator.
ここで、ロボット１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成することができる。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。 Here, the robot 12 can be provided with a gripper for gripping the object 11, and can be connected to an arm that moves the gripper to an arbitrary position in the three-dimensional space or rotates it in an arbitrary direction. The arms are connected to each other via joint points, and each arm can be configured to be rotatable about the X, Y, and Z axes. An axis is set for each arm, a three-dimensional coordinate system is set for each axis, and the position of each arm can be specified by observing the state of each axis.
一方、ロボット１２に人間が指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置２１が設置されている。
ここで、遠隔操作支援装置２１には、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１３、対象物１１の種別や姿勢を認識するための情報が格納された三次元認識データベース１６および対象物１１やロボット１２の現在の状態などを表示する表示装置２２が接続されている。
On the other hand, a remote operation support device 21 that supports remote operation of the robot 12 is installed in an area where a human gives a command to the robot 12.
Here, the remote operation support device 21 is provided with environmental data acquisition means 21a, object model expression means 21b, robot model expression means 21c, and 3D image generation means 21d, and a laser for measuring the shape of the object 11. A scanner 13, a three-dimensional recognition database 16 that stores information for recognizing the type and posture of the object 11, and a display device 22 that displays the current state of the object 11 and the robot 12 are connected.
環境データ取得手段２１ａは、レーザスキャナ１３にて計測された対象物１１上の点群データを環境データ１５として取得することができる。対象物モデル表現手段２１ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成することができる。ロボットモデル表現手段２１ｃは、ロボット１２の各軸の状態１９に基づいてロボット１２の動作状態が反映されたロボットモデル表現２０を生成することができる。三次元画像生成手段２１ｄは、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることができる。 The environmental data acquisition unit 21 a can acquire point cloud data on the object 11 measured by the laser scanner 13 as environmental data 15. The object model expression means 21b can generate the object model expression 18 reflecting the shape and orientation of the object 11 by performing the three-dimensional recognition process 17 based on the environment data 15 about the object 11. it can. The robot model expression means 21 c can generate a robot model expression 20 in which the operation state of the robot 12 is reflected based on the state 19 of each axis of the robot 12. The three-dimensional image generation means 21d can display the object model representation 18 and the robot model representation 20 viewed from a designated viewpoint in the three-dimensional space in a three-dimensional manner on the same screen.
なお、対象物モデル表現１８およびロボットモデル表現２０には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
そして、レーザスキャナ１３は、レーザ光にて対象物１１を走査することにより、三次元計測処理１４を行う。そして、環境データ取得手段２１ａは、レーザスキャナ１３にて三次元計測処理１４が行われると、対象物１１上の点群データを環境データ１５として取得し、遠隔操作支援装置２１に格納する。
For example, a surface model generally used in computer graphics can be used for the object model expression 18 and the robot model expression 20.
The laser scanner 13 performs a three-dimensional measurement process 14 by scanning the object 11 with laser light. Then, when the three-dimensional measurement process 14 is performed by the laser scanner 13, the environment data acquisition unit 21 a acquires the point cloud data on the object 11 as the environment data 15 and stores it in the remote operation support device 21.
そして、対象物モデル表現手段２１ｂは、三次元認識データベース１６を参照しながら、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことで、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成する。ここで、三次元認識データベース１６には、ロボット１２にて操作される複数の対象物１１についてのスピンイメージを格納することができる。そして、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行う場合、対象物１１の点群データについての法線ベクトルを設定し、計測された点群データについてのスピンイメージと、三次元認識データベース１６に格納されたスピンイメージとを照合することができる。なお、スピンイメージを用いた三次元認識処理１７については、特開２００６−１３９７１３号公報に詳細に記載されている。 Then, the object model expression means 21b performs the three-dimensional recognition process 17 based on the environmental data 15 on the object 11 while referring to the three-dimensional recognition database 16, thereby reflecting the shape and posture of the object 11. Generated object model representation 18 is generated. Here, the three-dimensional recognition database 16 can store spin images for a plurality of objects 11 operated by the robot 12. And when performing the three-dimensional recognition process 17 based on the environmental data 15 about the target object 11, the normal vector about the point cloud data of the target object 11 is set, the spin image about the measured point cloud data, The spin image stored in the three-dimensional recognition database 16 can be collated. Note that the three-dimensional recognition process 17 using a spin image is described in detail in Japanese Patent Application Laid-Open No. 2006-139713.
このスピンイメージを用いた三次元認識処理１７では、対象物１１の三次元認識を行うために、対象物１１全体の点群データを計測する必要がなく、レーザスキャナ１３による一方向からの計測で済ませることができるので、計算量を減らすことができる。
また、ロボット１２は、ロボット１２の各軸の状態１９を検出し、遠隔操作支援装置２１に送る。そして、ロボットモデル表現手段２１ｃは、ロボット１２の各軸の状態１９に基づいて、ロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボットモデル表現２０を生成する。なお、ロボットモデル表現２０を生成するために必要なアームなどのロボット１２の構成要素の寸法は遠隔操作支援装置２１に予め登録することができる。また、ロボット１２の各軸の状態１９は、ロボット１２に設置された角度センサや位置センサなどからの信号を用いることができる。
In the three-dimensional recognition process 17 using the spin image, it is not necessary to measure the point cloud data of the entire target object 11 in order to perform the three-dimensional recognition of the target object 11, and the laser scanner 13 can perform measurement from one direction. Since it can be completed, the amount of calculation can be reduced.
Further, the robot 12 detects the state 19 of each axis of the robot 12 and sends it to the remote operation support device 21. The robot model expression means 21c reflects the operation state of the robot 12 by constructing a shape similar to the robot 12 reflecting the actual movement of the robot 12 based on the state 19 of each axis of the robot 12. Generated robot model representation 20 is generated. Note that the dimensions of the components of the robot 12 such as an arm necessary for generating the robot model representation 20 can be registered in the remote operation support device 21 in advance. Further, the state 19 of each axis of the robot 12 can use a signal from an angle sensor or a position sensor installed in the robot 12.
そして、三次元画像生成手段２１ｄは、対象物モデル表現１８およびロボットモデル表現２０が生成されると、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す二次元画像を生成し、表示装置２２の同一画面上に重ねて表示させることができる。なお、対象物モデル表現１８およびロボットモデル表現２０を表示装置２２に表示させる場合、Ｏｏｅｎ ＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に重ねて表示させることができる。
そして、オペレータは、対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す画像が表示装置２２上に表示されると、遠隔操作しやすいように視点を切り替えながら、ロボット１２を操作することができる。
Then, when the object model expression 18 and the robot model expression 20 are generated, the three-dimensional image generation unit 21d converts the object model expression 18 and the robot model expression 20 viewed from the designated viewpoint in the three-dimensional space into the three-dimensional image. The two-dimensional image shown can be generated and displayed on the same screen of the display device 22. When the object model expression 18 and the robot model expression 20 are displayed on the display device 22, the object model expression 18 and the robot model expression 20 viewed from an arbitrary viewpoint are used by using graphics software such as Ooen GL. Can be displayed on the same screen.
Then, when an image that three-dimensionally shows the object model expression 18 and the robot model expression 20 is displayed on the display device 22, the operator operates the robot 12 while switching the viewpoint so that it can be easily operated remotely. Can do.
これにより、対象物１１およびロボット１２の現在の状態がそれぞれ反映された三次元的な対象物モデル表現１８およびロボットモデル表現２０を生成し、その対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化する場合においても、対象物１１およびロボット１２の現在の状態を精度よく表示させることが可能となるとともに、対象物１１およびロボット１２を三次元的にモデル化することにより、複数のカメラを設置することなく、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、ロボット１２による対象物１１の遠隔操作を円滑に行うことが可能となる。 Thereby, the three-dimensional object model expression 18 and the robot model expression 20 reflecting the current states of the object 11 and the robot 12 are generated, and the object model expression 18 and the robot model expression 20 are displayed on the same screen. It is possible to display it three-dimensionally on the top. For this reason, even when the position and orientation of the target object 11 change, the current state of the target object 11 and the robot 12 can be accurately displayed, and the target object 11 and the robot 12 can be displayed three-dimensionally. By modeling, it is possible to switch to an image from any viewpoint without installing multiple cameras, and even in a radiation environment or space environment where humans cannot easily enter, robots The remote control of the object 11 by 12 can be performed smoothly.
なお、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置２１のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄで行われる処理を実現することができる。
The environmental data acquisition means 21a, the object model expression means 21b, the robot model expression means 21c, and the 3D image generation means 21d cause the computer to execute a program in which instructions for performing the processing performed by these means are described. Can be realized.
If this program is stored in a storage medium such as a CD-ROM, the environment data acquisition means 21a, the target are installed by installing the storage medium in the computer of the remote operation support device 21 and installing the program in the computer. The processing performed by the object model expressing unit 21b, the robot model expressing unit 21c, and the 3D image generating unit 21d can be realized.
また、環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄで行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。 Further, when the computer executes a program in which an instruction for performing the processing performed by the environment data acquisition unit 21a, the object model representation unit 21b, the robot model representation unit 21c, and the 3D image generation unit 21d is executed, the stand-alone computer Or may be distributed to a plurality of computers connected to the network.
図２は、本発明の一実施形態に係る環境データの表示例を示す図である。
図２において、図１のレーザスキャナ１３にて計測された環境データ１５が遠隔操作支援装置２１にて取得され、その環境データ１５が表示装置２２に表示される。
図３は本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。
図３において、対象物１１の形状および姿勢が反映された対象物モデル表現１８が遠隔操作支援装置２１にて生成されると、その対象物モデル表現１８が環境データ１５に重なるようにして表示装置２２に表示される。
FIG. 2 is a diagram showing a display example of environmental data according to an embodiment of the present invention.
In FIG. 2, the environmental data 15 measured by the laser scanner 13 of FIG. 1 is acquired by the remote operation support device 21, and the environmental data 15 is displayed on the display device 22.
FIG. 3 is a diagram showing a display example of environmental data and a model representation of an object according to an embodiment of the present invention.
In FIG. 3, when the object model representation 18 reflecting the shape and posture of the object 11 is generated by the remote operation support device 21, the object model representation 18 is overlapped with the environment data 15 and displayed on the display device. 22 is displayed.
図４は、本発明の一実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。
図４において、対象物１１の形状および姿勢が反映された対象物モデル表現１８およびロボット１２の実際の動きが反映されたロボットモデル表現２０が遠隔操作支援装置２１にて生成されると、それらの対象物モデル表現１８およびロボットモデル表現２０が環境データ１５に重なるようにして表示装置２２に表示される。
図５は、本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。
図５において、対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す画像の視点を任意に切り替えることにより、例えば、ロボット１２のグリッパを視点とした画像が表示装置２２に表示される。
FIG. 4 is a diagram showing a display example of environmental data, a model expression of an object, and a model expression of a robot according to an embodiment of the present invention.
In FIG. 4, when the object model representation 18 reflecting the shape and posture of the object 11 and the robot model representation 20 reflecting the actual movement of the robot 12 are generated by the remote operation support device 21, The object model representation 18 and the robot model representation 20 are displayed on the display device 22 so as to overlap the environment data 15.
FIG. 5 is a diagram illustrating a display example of a model expression of an object with the gripper as a viewpoint according to an embodiment of the present invention.
In FIG. 5, by arbitrarily switching the viewpoint of an image that three-dimensionally shows the object model expression 18 and the robot model expression 20, for example, an image with the viewpoint of the gripper of the robot 12 is displayed on the display device 22.
図６は、本発明の第２実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。
図６において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するロボット１２およびロボット１２にて操作される対象物１１が配置されている。一方、ロボット１２に人間が指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置３５が設置されている。
ここで、遠隔操作支援装置３５には、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１３、レーザスキャナ１３にて計測された環境データを格納する環境データ格納手段３４および対象物１１やロボット１２の現在の状態などを表示する表示装置３６が接続されている。
FIG. 6 is a block diagram showing a schematic configuration and a processing flow of the remote control support device according to the second embodiment of the present invention.
In FIG. 6, a robot 12 that operates the target object 11 and a target object 11 that is operated by the robot 12 are arranged in a work area where work such as maintenance and inspection is performed. On the other hand, a remote operation support device 35 that supports remote operation of the robot 12 is installed in an area where a human gives a command to the robot 12.
Here, the remote operation support device 35 is provided with an object coordinate conversion means 35a, a robot coordinate conversion means 35b, and a proximity state determination means 35c, as well as a laser scanner 13 for measuring the shape of the object 11 and the laser scanner 13. An environmental data storage means 34 for storing the measured environmental data and a display device 36 for displaying the current state of the object 11 and the robot 12 are connected.
対象物座標変換手段３５ａは、対象物１１の形状をレーザスキャナ１３にて計測することにより得られた対象物１１上の点を基準座標系の三次元座標に変換することができる。ロボット座標変換手段３５ｂは、ロボット１２の各軸の状態を観測することにより得られたロボット１２上の点を基準座標系の三次元座標に変換することができる。近接状態判定手段３５ｃは、対象物１１の基準座標系における三次元座標およびロボット１２の基準座標系における三次元座標に基づいて、対象物１１とロボット１２との近接状態を判定することができる。 The object coordinate conversion means 35a can convert a point on the object 11 obtained by measuring the shape of the object 11 with the laser scanner 13 into three-dimensional coordinates in the reference coordinate system. The robot coordinate conversion means 35b can convert the point on the robot 12 obtained by observing the state of each axis of the robot 12 into the three-dimensional coordinates of the reference coordinate system. The proximity state determination unit 35 c can determine the proximity state between the object 11 and the robot 12 based on the three-dimensional coordinates in the reference coordinate system of the object 11 and the three-dimensional coordinates in the reference coordinate system of the robot 12.
また、遠隔操作支援装置３５には、ロボット座標格納手段３７、対象物座標格納手段３８、対象物変換行列格納手段３９およびロボット変換行列格納手段４０が接続されている。
ロボット座標格納手段３７は、ロボット１２上の各点についての基準座標系の三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・を格納することができる。対象物座標格納手段３８は、対象物１１上の各点についての基準座標系の三次元座標Ａ２、Ｂ２、Ｃ２、・・・を格納することができる。対象物変換行列格納手段３９は、対象物１１上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。ロボット変換行列格納手段４０は、ロボット１２上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。
The remote operation support device 35 is connected to robot coordinate storage means 37, object coordinate storage means 38, object conversion matrix storage means 39, and robot conversion matrix storage means 40.
The robot coordinate storage means 37 can store the three-dimensional coordinates A1, B1, C1, D1,... Of the reference coordinate system for each point on the robot 12. The object coordinate storage means 38 can store the three-dimensional coordinates A2, B2, C2,... Of the reference coordinate system for each point on the object 11. The object conversion matrix storage means 39 can store a conversion matrix for converting the points on the object 11 into the three-dimensional coordinates of the reference coordinate system. The robot transformation matrix storage means 40 can store a transformation matrix that transforms points on the robot 12 into three-dimensional coordinates in the reference coordinate system.
また、遠隔操作支援装置３５には、図１の環境データ取得手段２１ａ、対象物モデル表現手段２１ｂ、ロボットモデル表現手段２１ｃおよび三次元画像生成手段２１ｄを設けることができ、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す二次元画像を生成し、表示装置３６の同一画面上に重ねて表示させることができる。 Further, the remote operation support device 35 can be provided with the environment data acquisition means 21a, the object model expression means 21b, the robot model expression means 21c, and the three-dimensional image generation means 21d shown in FIG. A two-dimensional image that three-dimensionally shows the object model representation 18 and the robot model representation 20 viewed from the viewpoint can be generated and displayed on the same screen of the display device 36.
なお、図１の三次元認識処理１７による認識結果は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、基本座標系に予め配置された対象物１１を基準座標系の対象物１１の位置や姿勢に合わせることができる。
そして、レーザスキャナ１３は、レーザ光にて対象物１１を走査することにより、図１の三次元計測処理１４を行う。そして、遠隔操作支援装置３５は、レーザスキャナ１３にて三次元計測処理１４が行われると、対象物１１上の点群データＰ１を環境データ１５として取得し、環境データ格納手段３４に格納する。
Note that the recognition result by the three-dimensional recognition processing 17 in FIG. 1 can correspond to a 4 × 4 transformation matrix composed of a rotation transformation element and a translation element, and the object 11 placed in advance in the basic coordinate system is used as a reference. The position and orientation of the object 11 in the coordinate system can be adjusted.
The laser scanner 13 performs the three-dimensional measurement process 14 in FIG. 1 by scanning the object 11 with laser light. Then, when the three-dimensional measurement process 14 is performed by the laser scanner 13, the remote operation support device 35 acquires the point cloud data P <b> 1 on the object 11 as the environment data 15 and stores it in the environment data storage unit 34.
また、遠隔操作支援装置３５は、対象物１１についての環境データ１５に基づいて図１の三次元認識処理１７を行うことで、対象物１１の変換行列を算出し、対象物変換行列格納手段３９に格納する。さらに、遠隔操作支援装置３５は、ロボット１２の各軸の状態１９を取得し、ロボット１２の各軸座標系の変換行列に変換して、ロボット変換行列格納手段４０に格納する。なお、ロボット１２の各軸の状態１９としては、ロボット１２の各軸の角度を用いることができる。
そして、対象物座標変換手段３５ａは、対象物１１の変換行列を用いることにより、対象物１１上の点を基準座標系の三次元座標に変換し、対象物座標格納手段３８に格納する。また、ロボット座標変換手段３５ｂは、ロボット１２の変換行列を用いることにより、ロボット１２上の点を基準座標系の三次元座標に変換し、ロボット座標格納手段３７に格納する。
Further, the remote operation support device 35 performs the three-dimensional recognition process 17 of FIG. 1 based on the environment data 15 about the object 11, thereby calculating the conversion matrix of the object 11, and the object conversion matrix storage unit 39. To store. Further, the remote operation support device 35 acquires the state 19 of each axis of the robot 12, converts it into a conversion matrix of each axis coordinate system of the robot 12, and stores it in the robot conversion matrix storage means 40. As the state 19 of each axis of the robot 12, the angle of each axis of the robot 12 can be used.
Then, the object coordinate conversion means 35a converts the points on the object 11 into the three-dimensional coordinates of the reference coordinate system by using the conversion matrix of the object 11, and stores them in the object coordinate storage means 38. Further, the robot coordinate conversion unit 35 b converts the points on the robot 12 into the three-dimensional coordinates of the reference coordinate system by using the conversion matrix of the robot 12, and stores them in the robot coordinate storage unit 37.
そして、近接状態判定手段３５ｃは、対象物１１の基準座標系における三次元座標およびロボット１２の基準座標系における三次元座標に基づいて、対象物１１とロボット１２との近接状態を判定する。そして、遠隔操作支援装置３５は、図１の対象物モデル表現１８およびロボットモデル表現２０を表示装置３６の同一画面上に重ねて表示させながら、対象物１１とロボット１２との近接状態を表示装置３６に表示させることができる。
なお、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
Then, the proximity state determination unit 35 c determines the proximity state between the object 11 and the robot 12 based on the three-dimensional coordinates in the reference coordinate system of the object 11 and the three-dimensional coordinates in the reference coordinate system of the robot 12. The remote operation support device 35 displays the proximity state between the object 11 and the robot 12 while displaying the object model representation 18 and the robot model representation 20 of FIG. 1 on the same screen of the display device 36. 36 can be displayed.
The object coordinate conversion means 35a, the robot coordinate conversion means 35b, and the proximity state determination means 35c can be realized by causing a computer to execute a program in which an instruction for performing processing performed by these means is described. .
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置３５のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃで行われる処理を実現することができる。
また、対象物座標変換手段３５ａ、ロボット座標変換手段３５ｂおよび近接状態判定手段３５ｃで行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。
If this program is stored in a storage medium such as a CD-ROM, the object coordinate conversion means 35a, by installing the storage medium in the computer of the remote operation support device 35 and installing the program in the computer. The processing performed by the robot coordinate conversion unit 35b and the proximity state determination unit 35c can be realized.
Further, when the computer executes a program in which an instruction for performing the processing performed by the object coordinate conversion unit 35a, the robot coordinate conversion unit 35b, and the proximity state determination unit 35c is executed, it may be executed by a stand-alone computer. Of course, a plurality of computers connected to the network may be distributed.
図７は、本発明の一実施形態に係る変換行列を用いた対象物上の点の変換結果を示す図である。
図７において、対象物変換行列格納手段３９に格納される変換行列には、回転変換要素Ｒ００〜Ｒ２２と並行移動要素ＴＸ、ＴＹ、ＴＺを設定することができる。そして、対象物１１の基本座標系に変換行列を乗算することで、対象物１１の基準座標系に変換することができる。
一方、図６において、ロボット変換行列格納手段４０に格納される変換行列は、ロボット１２の各軸１、２、・・・ごとに設けることができ、ロボットアームから定期的に現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、ロボット１２上の指定された点の三次元座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。
FIG. 7 is a diagram illustrating a conversion result of points on an object using a conversion matrix according to an embodiment of the present invention.
In FIG. 7, rotation transformation elements R00 to R22 and parallel movement elements TX, TY, and TZ can be set in the transformation matrix stored in the object transformation matrix storage means 39. Then, by multiplying the basic coordinate system of the object 11 by the conversion matrix, the object 11 can be converted to the reference coordinate system.
On the other hand, in FIG. 6, the transformation matrix stored in the robot transformation matrix storage means 40 can be provided for each axis 1, 2,... It can be read and converted into a transformation matrix of each axis coordinate system (transformation matrix of axis 1, transformation matrix of axis 2,..., Tip transformation matrix) and stored. Then, by multiplying the three-dimensional coordinate system of the designated point on the robot 12 by the conversion matrix, it can be converted into the three-dimensional coordinates of the reference coordinate system.
図８は、本発明の一実施形態に係る遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。
図８において、ロボット１２の三次元座標系は、ロボット１２の各軸１、２、・・・ごとに設けることができる。例えば、ロボット１２の基準座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、・・・、先端の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、ロボット１２の各軸間の距離ｄ１、ｄ２、・・・を設定することができる。
FIG. 8 is a diagram illustrating an example of a robot coordinate system applied to the remote operation support device according to the embodiment of the present invention.
8, the three-dimensional coordinate system of the robot 12 can be provided for each axis 1, 2,. For example, the reference coordinate system of the robot 12 is the X0 / Y0 / Z0 coordinate system, the axis 1 coordinate system is the X1 / Y1 / Z1 coordinate system, the axis 2 coordinate system is the X2 / Y2 / Z2 coordinate system,... The coordinate system can be an X5 / Y5 / Z5 coordinate system. Then, distances d1, d2,... Between the axes of the robot 12 can be set.
そして、例えば、軸１の座標系の点ｃは、以下の（１）式にて基準座標系の三次元座標に変換することができる。
［点ｃの基準座標系の三次元座標］＝（ロボット１２の基準座標系の変換行列）×（軸１の座標系の変換行列）×（軸１上の点ｃの座標） ・・・（１）
また、例えば、軸２の座標系の点ｂは、以下の（２）式にて基準座標系の三次元座標に変換することができる。
［点ｂの基準座標系の三次元座標］＝（ロボット１２の基準座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸２上の点ｂの座標）
・・・（２）
また、例えば、先端の座標系の点ａは、以下の（３）式にて基準座標系の三次元座標に変換することができる。
［点ａの基準座標系の三次元座標］＝（ロボット１２の基準座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（先端の座標系の変換行列）×（軸５上の点ａの座標）
・・・（３）
For example, the point c in the coordinate system of the axis 1 can be converted into the three-dimensional coordinates of the reference coordinate system by the following equation (1).
[Three-dimensional coordinates of reference coordinate system of point c] = (Conversion matrix of reference coordinate system of robot 12) × (Conversion matrix of coordinate system of axis 1) × (Coordinate of point c on axis 1) ( 1)
Further, for example, the point b in the coordinate system of the axis 2 can be converted into the three-dimensional coordinates of the reference coordinate system by the following equation (2).
[Three-dimensional coordinates of reference coordinate system of point b] = (Conversion matrix of reference coordinate system of robot 12) × (Conversion matrix of coordinate system of axis 1) × (Conversion matrix of coordinate system of axis 2) × (Axis 2 Coordinates of point b above)
... (2)
Further, for example, the point a in the tip coordinate system can be converted into the three-dimensional coordinates of the reference coordinate system by the following equation (3).
[Three-dimensional coordinates of reference coordinate system of point a] = (Conversion matrix of reference coordinate system of robot 12) × (Conversion matrix of coordinate system of axis 1) × (Conversion matrix of coordinate system of axis 2) × (Axis 3 X (coordinate matrix conversion matrix) x (axis 4 coordinate system transformation matrix) x (tip coordinate system transformation matrix) x (coordinate of point a on axis 5)
... (3)
図９は、本発明の一実施形態に係るロボットと対象物との近接状態の判定方法を示すフローチャートである。
図９において、図６の近接状態判定手段３５ｃは、ロボット１２上の点の三次元座標をロボット座標格納手段３７から取得するとともに（ステップＳ１）、対象物１１上の点の三次元座標を対象物座標格納手段３８から取得する（ステップＳ２）。そして、近接状態判定手段３５ｃは、ロボット１２上の座標点と対象物１１上の座標点とのすべての組み合わせについて、ロボット１２上の座標点と対象物１１上の座標点との間の距離を算出し（ステップＳ３、Ｓ５）、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小であるかどうかを判断する（ステップＳ４）。
FIG. 9 is a flowchart illustrating a method for determining a proximity state between a robot and an object according to an embodiment of the present invention.
9, the proximity state determination unit 35c in FIG. 6 acquires the three-dimensional coordinates of the points on the robot 12 from the robot coordinate storage unit 37 (step S1), and the three-dimensional coordinates of the points on the object 11 are the targets. Obtained from the object coordinate storage means 38 (step S2). Then, the proximity state determination unit 35 c calculates the distance between the coordinate point on the robot 12 and the coordinate point on the object 11 for all combinations of the coordinate point on the robot 12 and the coordinate point on the object 11. It is calculated (steps S3 and S5), and it is determined whether or not the distance between the coordinate point on the robot 12 and the coordinate point on the object 11 is the minimum (step S4).
そして、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小である場合、そのロボット１２上の座標点と対象物１１上の座標点とを記憶し（ステップＳ６）、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置するかどうかを判断する（ステップＳ７）。そして、近接状態判定手段３５ｃは、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置しない場合、ロボット１２が対象物１１と衝突する可能性があると判断し（ステップＳ８）、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置する場合、ロボット１２が対象物１１に接近していると判断する（ステップＳ９）。
そして、ロボット１２と対象物１１とが接近または衝突する可能性があると近接状態判定手段３５ｃにて判断された場合、遠隔操作支援装置３５は、対象物１１とロボット１２との近接状態を表示装置３６に表示させることができる。
If the distance between the coordinate point on the robot 12 and the coordinate point on the object 11 is the minimum, the coordinate point on the robot 12 and the coordinate point on the object 11 are stored (step S6). Then, it is determined whether or not the coordinate point on the robot 12 that is the smallest distance to the coordinate point on the object 11 is located at the tip (step S7). Then, when the coordinate point on the robot 12 that is the minimum distance from the coordinate point on the object 11 is not positioned at the tip, the proximity state determination unit 35c may collide with the object 11. If it is determined that there is a coordinate point on the robot 12 that is the smallest distance from the coordinate point on the object 11 (step S8), and the robot 12 is approaching the object 11, Judgment is made (step S9).
When the proximity state determination unit 35c determines that there is a possibility that the robot 12 and the target object 11 approach or collide, the remote operation support device 35 displays the proximity state between the target object 11 and the robot 12. It can be displayed on the device 36.
図１０は、本発明の一実施形態に係るロボットと対象物との近接状態の表示例を示す図である。
図１０において、ロボット１２と対象物１１とが接近または衝突する可能性があると近接状態判定手段３５ｃにて判断された場合、遠隔操作支援装置３５は、図１の対象物モデル表現１８およびロボットモデル表現２０を表示装置３６の同一画面上に重ねて表示させながら、衝突する可能性がある対象物１１上の点とロボット１２上の点にそれぞれ対応する対象物モデル表現１８上の点とロボットモデル表現２０上の点との間に線Ｌ１を描画させたり、対象物１１上の点とロボット１２上の点との間の距離Ｄ１を表示させたりすることができる。
FIG. 10 is a diagram illustrating a display example of the proximity state between the robot and the object according to the embodiment of the present invention.
In FIG. 10, when the proximity state determination unit 35 c determines that there is a possibility that the robot 12 and the target object 11 are approaching or colliding, the remote operation support device 35 displays the target object model expression 18 and the robot in FIG. 1. While displaying the model representation 20 superimposed on the same screen of the display device 36, the points on the object model representation 18 and the robot corresponding to the points on the object 11 and the points on the robot 12 that may collide with each other. A line L1 can be drawn between points on the model representation 20, or a distance D1 between a point on the object 11 and a point on the robot 12 can be displayed.
１１ 対象物
１２ ロボット
１３ レーザスキャナ
１４ 三次元計測処理
１５、３４ 環境データ
１６ 三次元認識データベース
１７ 三次元認識処理
１８ 対象物のモデル表現
１９ 各軸の状態
２０ ロボットのモデル表現
２１、３５ 遠隔操作支援装置
２１ａ 環境データ取得手段
２１ｂ 対象物モデル表現手段
２１ｃ ロボットモデル表現手段
２１ｄ 三次元画像生成手段
２２、３６ 表示装置
３４ 環境データ格納手段
３５ａ 対象物座標変換手段
３５ｂ ロボット座標変換手段
３５ｃ 近接状態判定手段
３７ ロボット座標格納手段
３８ 対象物座標格納手段
３９ 対象物変換行列格納手段
４０ ロボット変換行列格納手段
DESCRIPTION OF SYMBOLS 11 Target object 12 Robot 13 Laser scanner 14 Three-dimensional measurement process 15, 34 Environmental data 16 Three-dimensional recognition database 17 Three-dimensional recognition process 18 Model expression of target object 19 State of each axis 20 Robot model expression 21, 35 Remote operation support Device 21a Environment data acquisition means 21b Object model expression means 21c Robot model expression means 21d Three-dimensional image generation means 22, 36 Display device 34 Environment data storage means 35a Object coordinate conversion means 35b Robot coordinate conversion means 35c Proximity state determination means 37 Robot coordinate storage means 38 Object coordinate storage means 39 Object transformation matrix storage means 40 Robot transformation matrix storage means
Claims (4)
ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現手段と、
三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする遠隔操作支援装置。 An object model expression means for generating an object model expression reflecting the shape and orientation of the object by performing a three-dimensional recognition process based on measurement data of the shape of the object;
A robot model expression means for generating a robot model expression reflecting the movement state of the robot based on the state of each axis of the robot;
A remote operation support apparatus comprising: a three-dimensional image generation unit that three-dimensionally displays the object model expression and the robot model expression viewed from a specified viewpoint in a three-dimensional space on the same screen.
前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するロボット座標変換手段と、
前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定手段とを備えることを特徴とする請求項１記載の遠隔操作支援装置。 Object coordinate conversion means for converting a point on the object obtained by measuring the shape of the object into three-dimensional coordinates of a reference coordinate system;
Robot coordinate conversion means for converting a point on the robot obtained by observing the state of each axis of the robot into three-dimensional coordinates of the reference coordinate system;
A proximity state determination unit that determines a proximity state between the object and the robot based on a three-dimensional coordinate of a point on the object and a three-dimensional coordinate of a point on the robot. Item 12. The remote operation support device according to Item 1.
ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するステップと、
三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする遠隔操作支援プログラム。 Generating an object model expression reflecting the shape and orientation of the object by performing a three-dimensional recognition process based on measurement data of the shape of the object;
Generating a robot model representation reflecting the robot's operating state based on the state of each axis of the robot;
A remote operation support program for causing a computer to execute the step of displaying the object model expression and the robot model expression viewed from a specified viewpoint in a three-dimensional space in a three-dimensional manner on the same screen.
前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するステップと、
前記対象物上の点の三次元座標および前記ロボット上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定するステップとをコンピュータに実行させることを特徴とする請求項３記載の遠隔操作支援プログラム。 Converting a point on the object obtained by measuring the shape of the object into three-dimensional coordinates of a reference coordinate system;
Converting the points on the robot obtained by observing the state of each axis of the robot into three-dimensional coordinates of the reference coordinate system;
A step of causing a computer to execute a step of determining a proximity state between the object and the robot based on a three-dimensional coordinate of a point on the object and a three-dimensional coordinate of a point on the robot. Item 4. The remote operation support program according to item 3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007167501A JP2009006410A (en) | 2007-06-26 | 2007-06-26 | Remote operation support device and remote operation support program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007167501A JP2009006410A (en) | 2007-06-26 | 2007-06-26 | Remote operation support device and remote operation support program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009006410A true JP2009006410A (en) | 2009-01-15 |
Family
ID=40322040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007167501A Pending JP2009006410A (en) | 2007-06-26 | 2007-06-26 | Remote operation support device and remote operation support program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009006410A (en) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011003324A1 (en) * | 2009-07-06 | 2011-01-13 | 湖南三一智能控制设备有限公司 | Engineering vehicle arm support controller,control system,engineering vehicle and control method |
| WO2011081459A2 (en) * | 2009-12-31 | 2011-07-07 | 성균관대학교 산학협력단 | Three-dimensional object recognition and posture estimation system based on probabilistic multiple interpretation and method thereof |
| KR101178176B1 (en) | 2009-12-31 | 2012-08-29 | 성균관대학교산학협력단 | System and method of probabilistic multiple interpretations generation based 3d object recognition and pose estimation |
| JP2012521855A (en) * | 2009-03-31 | 2012-09-20 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US8903546B2 (en) | 2009-08-15 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Smooth control of an articulated instrument across areas with different work space conditions |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US9101397B2 (en) | 1999-04-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9333042B2 (en) | 2007-06-13 | 2016-05-10 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9345387B2 (en) | 2006-06-13 | 2016-05-24 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| KR101782317B1 (en) | 2016-06-10 | 2017-09-27 | (주)엠아이테크 | Robot calibration apparatus using three-dimensional scanner and robot calibration method using the same |
| US9788909B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc | Synthetic representation of a surgical instrument |
| KR101850410B1 (en) | 2016-12-26 | 2018-04-20 | 한국생산기술연구원 | Simulation apparatus and method for teaching robot based on virtual reality |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| KR101876845B1 (en) * | 2015-08-26 | 2018-07-11 | 주식회사 뉴로메카 | Robot control apparatus |
| US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| JPWO2018167855A1 (en) * | 2017-03-14 | 2019-11-21 | 株式会社Ｆｕｊｉ | Operation screen display device |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| JPWO2022124398A1 (en) * | 2020-12-10 | 2022-06-16 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01209505A (en) * | 1988-02-17 | 1989-08-23 | Toshiba Corp | Teaching device for remote control robot |
| JPH0355194A (en) * | 1989-07-21 | 1991-03-08 | Fujitsu Ltd | Remote operating device for robot |
| JPH0386484A (en) * | 1989-08-25 | 1991-04-11 | Fujitsu Ltd | Remote operation device for robot |
| JPH0577174A (en) * | 1991-09-20 | 1993-03-30 | Nec Corp | Robot control device |
| JPH0724767A (en) * | 1993-07-15 | 1995-01-27 | Toshiba Corp | Remote control device for robot |
| JPH0795560A (en) * | 1993-09-20 | 1995-04-07 | Hitachi Ltd | Method and device for measuring image and distance measuring method for remote operating system |
-
2007
- 2007-06-26 JP JP2007167501A patent/JP2009006410A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01209505A (en) * | 1988-02-17 | 1989-08-23 | Toshiba Corp | Teaching device for remote control robot |
| JPH0355194A (en) * | 1989-07-21 | 1991-03-08 | Fujitsu Ltd | Remote operating device for robot |
| JPH0386484A (en) * | 1989-08-25 | 1991-04-11 | Fujitsu Ltd | Remote operation device for robot |
| JPH0577174A (en) * | 1991-09-20 | 1993-03-30 | Nec Corp | Robot control device |
| JPH0724767A (en) * | 1993-07-15 | 1995-01-27 | Toshiba Corp | Remote control device for robot |
| JPH0795560A (en) * | 1993-09-20 | 1995-04-07 | Hitachi Ltd | Method and device for measuring image and distance measuring method for remote operating system |
Cited By (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10271909B2 (en) | 1999-04-07 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Display of computer generated image of an out-of-view portion of a medical device adjacent a real-time image of an in-view portion of the medical device |
| US9101397B2 (en) | 1999-04-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US9232984B2 (en) | 1999-04-07 | 2016-01-12 | Intuitive Surgical Operations, Inc. | Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system |
| US10433919B2 (en) | 1999-04-07 | 2019-10-08 | Intuitive Surgical Operations, Inc. | Non-force reflecting method for providing tool force information to a user of a telesurgical system |
| US9345387B2 (en) | 2006-06-13 | 2016-05-24 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US9801690B2 (en) | 2006-06-29 | 2017-10-31 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical instrument |
| US10773388B2 (en) | 2006-06-29 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US10737394B2 (en) | 2006-06-29 | 2020-08-11 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US10730187B2 (en) | 2006-06-29 | 2020-08-04 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US9788909B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc | Synthetic representation of a surgical instrument |
| US9789608B2 (en) | 2006-06-29 | 2017-10-17 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US10137575B2 (en) | 2006-06-29 | 2018-11-27 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US11638999B2 (en) | 2006-06-29 | 2023-05-02 | Intuitive Surgical Operations, Inc. | Synthetic representation of a surgical robot |
| US11865729B2 (en) | 2006-06-29 | 2024-01-09 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US9718190B2 (en) | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
| US10008017B2 (en) | 2006-06-29 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US9901408B2 (en) | 2007-06-13 | 2018-02-27 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US10271912B2 (en) | 2007-06-13 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9469034B2 (en) | 2007-06-13 | 2016-10-18 | Intuitive Surgical Operations, Inc. | Method and system for switching modes of a robotic system |
| US9629520B2 (en) | 2007-06-13 | 2017-04-25 | Intuitive Surgical Operations, Inc. | Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide |
| US10188472B2 (en) | 2007-06-13 | 2019-01-29 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US11751955B2 (en) | 2007-06-13 | 2023-09-12 | Intuitive Surgical Operations, Inc. | Method and system for retracting an instrument into an entry guide |
| US9138129B2 (en) | 2007-06-13 | 2015-09-22 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US10695136B2 (en) | 2007-06-13 | 2020-06-30 | Intuitive Surgical Operations, Inc. | Preventing instrument/tissue collisions |
| US11399908B2 (en) | 2007-06-13 | 2022-08-02 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US11432888B2 (en) | 2007-06-13 | 2022-09-06 | Intuitive Surgical Operations, Inc. | Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide |
| US9333042B2 (en) | 2007-06-13 | 2016-05-10 | Intuitive Surgical Operations, Inc. | Medical robotic system with coupled control modes |
| US9516996B2 (en) | 2008-06-27 | 2016-12-13 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip |
| US10368952B2 (en) | 2008-06-27 | 2019-08-06 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US11638622B2 (en) | 2008-06-27 | 2023-05-02 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US8864652B2 (en) | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
| US11382702B2 (en) | 2008-06-27 | 2022-07-12 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US9717563B2 (en) | 2008-06-27 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| US10258425B2 (en) | 2008-06-27 | 2019-04-16 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide |
| US9089256B2 (en) | 2008-06-27 | 2015-07-28 | Intuitive Surgical Operations, Inc. | Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide |
| JP2012521855A (en) * | 2009-03-31 | 2012-09-20 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | Synthetic representation of surgical robot |
| US10984567B2 (en) | 2009-03-31 | 2021-04-20 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US10282881B2 (en) | 2009-03-31 | 2019-05-07 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| US11941734B2 (en) | 2009-03-31 | 2024-03-26 | Intuitive Surgical Operations, Inc. | Rendering tool information as graphic overlays on displayed images of tools |
| WO2011003324A1 (en) * | 2009-07-06 | 2011-01-13 | 湖南三一智能控制设备有限公司 | Engineering vehicle arm support controller,control system,engineering vehicle and control method |
| US11596490B2 (en) | 2009-08-15 | 2023-03-07 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US8903546B2 (en) | 2009-08-15 | 2014-12-02 | Intuitive Surgical Operations, Inc. | Smooth control of an articulated instrument across areas with different work space conditions |
| US9492927B2 (en) | 2009-08-15 | 2016-11-15 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US10271915B2 (en) | 2009-08-15 | 2019-04-30 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US9084623B2 (en) | 2009-08-15 | 2015-07-21 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US10959798B2 (en) | 2009-08-15 | 2021-03-30 | Intuitive Surgical Operations, Inc. | Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose |
| US10772689B2 (en) | 2009-08-15 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| US9956044B2 (en) | 2009-08-15 | 2018-05-01 | Intuitive Surgical Operations, Inc. | Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide |
| WO2011081459A2 (en) * | 2009-12-31 | 2011-07-07 | 성균관대학교 산학협력단 | Three-dimensional object recognition and posture estimation system based on probabilistic multiple interpretation and method thereof |
| WO2011081459A3 (en) * | 2009-12-31 | 2011-11-24 | 성균관대학교 산학협력단 | Three-dimensional object recognition and posture estimation system based on probabilistic multiple interpretation and method thereof |
| KR101178176B1 (en) | 2009-12-31 | 2012-08-29 | 성균관대학교산학협력단 | System and method of probabilistic multiple interpretations generation based 3d object recognition and pose estimation |
| US10828774B2 (en) | 2010-02-12 | 2020-11-10 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US8918211B2 (en) | 2010-02-12 | 2014-12-23 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US9622826B2 (en) | 2010-02-12 | 2017-04-18 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US10537994B2 (en) | 2010-02-12 | 2020-01-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument |
| US11389255B2 (en) | 2013-02-15 | 2022-07-19 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US10507066B2 (en) | 2013-02-15 | 2019-12-17 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| US11806102B2 (en) | 2013-02-15 | 2023-11-07 | Intuitive Surgical Operations, Inc. | Providing information of tools by filtering image areas adjacent to or on displayed images of the tools |
| KR101876845B1 (en) * | 2015-08-26 | 2018-07-11 | 주식회사 뉴로메카 | Robot control apparatus |
| KR101782317B1 (en) | 2016-06-10 | 2017-09-27 | (주)엠아이테크 | Robot calibration apparatus using three-dimensional scanner and robot calibration method using the same |
| KR101850410B1 (en) | 2016-12-26 | 2018-04-20 | 한국생산기술연구원 | Simulation apparatus and method for teaching robot based on virtual reality |
| JPWO2018167855A1 (en) * | 2017-03-14 | 2019-11-21 | 株式会社Ｆｕｊｉ | Operation screen display device |
| JP7224559B2 (en) | 2020-12-10 | 2023-02-17 | 三菱電機株式会社 | Remote control manipulator system and remote control support system |
| JPWO2022124398A1 (en) * | 2020-12-10 | 2022-06-16 | ||
| US11926064B2 (en) | 2020-12-10 | 2024-03-12 | Mitsubishi Electric Corporation | Remote control manipulator system and remote control assistance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009006410A (en) | Remote operation support device and remote operation support program | |
| JP2009012106A (en) | Remote operation supporting device and program | |
| JP5928114B2 (en) | Robot system, robot system calibration method, robot | |
| JP4737668B2 (en) | 3D measurement method and 3D measurement system | |
| KR20140008262A (en) | Robot system, robot, robot control device, robot control method, and robot control program | |
| KR20210058995A (en) | System and method for creating welding path | |
| JP6826069B2 (en) | Robot motion teaching device, robot system and robot control device | |
| JP2012011498A (en) | System and method for operating robot arm | |
| JP2013043271A (en) | Information processing device, method for controlling the same, and program | |
| CN106104198A (en) | Messaging device, information processing method and program | |
| WO2019239848A1 (en) | Robot control system | |
| JP2017033429A (en) | Three-dimensional object inspection device | |
| JP2010094777A (en) | Remote control support device | |
| JPH06131420A (en) | Method and device for supporting construction | |
| JPWO2018043524A1 (en) | Robot system, robot system control apparatus, and robot system control method | |
| JP6328796B2 (en) | Manipulator control method, system, and manipulator | |
| CN111149067A (en) | Detecting robot positioning in a workspace via fiducials | |
| CN210361314U (en) | Robot teaching device based on augmented reality technology | |
| JP5201341B2 (en) | Remote operation support device | |
| JP7250489B2 (en) | Image processing device, its control method, and program | |
| JPH0825254A (en) | Master-slave type robot arm device and arm positioning/ guiding method | |
| JP7439410B2 (en) | Image processing device, image processing method and program | |
| US11926064B2 (en) | Remote control manipulator system and remote control assistance system | |
| JP7366264B2 (en) | Robot teaching method and robot working method | |
| JP7423387B2 (en) | Calibration system, information processing system, robot control system, calibration method, information processing method, robot control method, calibration program, information processing program, calibration device, information processing device, and robot control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A625 | Written request for application examination (by other person) |
Effective date: 20100415 Free format text: JAPANESE INTERMEDIATE CODE: A625 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111006 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20111011 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20111011 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120221 |