JP2010064161A - 遠隔操作支援装置 - Google Patents

Abstract

【課題】
対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置を提供することである。
【解決手段】
各対象物の形状の計測データを三次元認識処理し、各対象物の形状および姿勢が反映された各対象物モデル表現を生成し、ロボットの各軸の状態が反映されたロボットモデル表現を生成し、三次元空間の指定された視点および視線方向による対象物モデル表現およびロボットモデル表現を画面上に三次元的に表示し、各対象物上の点を基準座標系の三次元座標に変換し、ロボット上の点を前記基準座標系の三次元座標に変換し、画面上に表示された前記各対象物モデル表現から一の対象物を選択し、選択された操作対象物と前記ロボットとに基づき、前記三次元画像生成手段における視点および視線方向を自動で指定する。
【選択図】 図１

Description

本発明は遠隔操作支援装置に関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。

放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。

一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
特開２００３−３１１６６１号公報

しかしながら、特許文献１に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。

このため、特許文献１に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、ロボットの動作に応じた方向から対象物を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置を提供することである。

上述した課題を解決するために、請求項１記載の遠隔操作支援装置によれば、各対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記各対象物の形状および姿勢が反映された各対象物モデル表現を生成する対象物モデル表現手段と、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現手段と、三次元空間の指定された視点および視線方向による前記対象物モデル表現および前記ロボットモデル表現を画面上に三次元的に表示させる三次元画像生成手段と、前記各対象物の形状を計測することにより得られた前記各対象物上の点を基準座標系の三次元座標に変換する対象物座標変換手段と、前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するロボット座標変換手段と、前記三次元画像生成手段により画面上に表示された前記各対象物モデル表現からロボットにより操作される一の対象物を選択する操作対象物選択手段と、前記操作対象物選択手段により選択された操作対象物と前記ロボットとに基づき、前記三次元画像生成手段における視点および視線方向を指定する視点・視線指定手段と、を備えることを特徴とする。

また、請求項２記載の遠隔操作支援装置によれば、請求項１に記載の遠隔操作支援装置において、前記視点・視線指定手段は、予め設定された任意の一点を通り、予め設定された任意の平面に直交する直線を視点移動直線とし、当該視点移動直線上の点を視点として指定し、前記操作対象物と前記ロボットのアーム先端との中間点を注目点とし、前記視点から当該注目点へのベクトルを視線方向と指定すること、を特徴する。

また、請求項３記載の遠隔操作支援装置によれば、請求項２に記載の遠隔操作支援装置において、前記注目点から前記視点移動直線への垂線と前記視点移動直線との交点を求め、前記視点移動直線上の点であって、当該交点から予め設定した方向に予め設定した距離だけ移動した点を視点と指定すること、を特徴とする。
また、請求項４記載の遠隔操作支援装置によれば、請求項２または３に記載の遠隔操作支援装置において、前記視点移動直線を決定する任意の一点をロボット座標系の原点とし、前記視点移動直線を決定する任意の平面を基準座標系の床面と平行な平面とすること、を特徴とする。

また、請求項５記載の遠隔操作支援装置によれば、請求項１乃至４のいずれか１項に記載の遠隔操作支援装置において、指定された視点および視線方向による三次元画像であって、前記操作対象物モデル表現と前記ロボットモデル表現のアーム先端とが含まれる画面上に表示する最大の画像を生成する画像拡大縮小手段と、を備えることを特徴とする。
また、請求項６記載の遠隔操作支援装置によれば、請求項１乃至５のいずれか１項に記載の遠隔操作支援装置において、前記ロボットのアーム先端を前記操作対象物の位置まで移動させるための移動量と移動方向とを、前記三次元画像生成手段により表示された画面上に表示させる移動量表示手段と、を備えることを特徴とする。

また、請求項７記載の遠隔操作支援装置によれば、請求項６に記載の遠隔操作支援装置において、前記移動量表示手段は、前記移動量を、ロボット座標系の原点を中心とした周方向の角度と径方向の距離とその方向により表示することを特徴とする。

以上説明したように、本発明によれば、対象物およびロボットの現在の状態が反映された三次元的なモデルを生成し、対象物とロボットの現在の状態に対応した視点を自動的に指定し、そのモデルを同一画面上に三次元的に表示させることが可能となる。このため、対象物やロボットの位置や姿勢が変化する場合においても、対象物およびロボットの現在の状態を精度よく表示させることが可能となるとともに、対象物およびロボットを三次元的にモデル化することにより、複数のカメラを設置することなく、自動的に指定された視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。

また、ロボットのアーム先端の対象物までの移動量を、モデルを表示した画面上に表示させることで、より遠隔操作を円滑に行うことが可能となる。

以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の第１の実施形態に係る遠隔操作支援装置の概略構成を示す図である。
図１において、保守や点検などの作業が行われる作業エリアには、ロボット１２およびロボット１２にて操作される対象物１１が配置されている。対象物１１およびロボット１２は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。なお、作業エリアには、ロボット１２や対象物１１の位置等を特定するための三次元座標系となる基準座標系を設定する。さらに、対象物には対象物単体の三次元座標系となる対象物座標系を設定する。

また、ロボット１２とは、マニュピュレータなどを含めた遠隔操作で使用される機械装置全般を言う。ここで、ロボット１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成することができる。そして、ロボット１２にはロボット単体の三次元座標系となるロボット座標系を設定する。さらに、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、ロボット座標系における各アームの位置を特定することができる。

一方、ロボット１２に人間が指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置２１が設置されている。
ここで、遠隔操作支援装置２１には、環境データ取得手段２１ａ、対象物モデル表現手
段２１ｂ、ロボットモデル表現手段２１ｃ、三次元画像生成手段２１ｄ、対象物座標変換手段２１ｅ、ロボット座標変換手段２１ｆ、操作対象物選択手段２１ｇおよび視点・視線指定手段２１ｈが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１３、レーザスキャナ１３にて計測された環境データを格納する環境データ格納手段１５、対象物１１の種別や姿勢を認識するための情報が格納された三次元認識データベース１６および対象物１１やロボット１２の現在の状態などを表示する表示装置２２が接続されている。

さらに、遠隔操作支援装置２１には、ロボット１２の各点についての基準座標系における三次元座標が格納されたロボット座標格納手段２３、対象物１１の各点についての基準座標系における三次元座標が格納された対象物座標格納手段２４、対象物１１の各点を対象物座標系から基準座標系の三次元座標に変換する変換行列が格納された対象物変換行列格納手段２５およびロボット１２の各点をロボット座標系から基準座標系の三次元座標に変換する変換行列が格納されたロボット変換行列格納手段２６が接続されている。

環境データ取得手段２１ａは、レーザスキャナ１３にて対象物１１を走査することにより計測された対象物１１上の点群データを環境データとして取得し、三次元計測処理１４を行う。そして、取得された対象物１１上の点群データを環境データとして環境データ格納手段１５に格納する。
三次元計測処理１４では、例えば、レーザスキャナ１２にて取得した点群データから矩形形状を生成し、その矩形形状間において、隣接するポリゴン同士の連続性、法線方向、距離等により、エッジ及び面を認識する。また、点群データの平面性又は曲面性を、平面方程式又は曲面方程式に対して最小二乗法を用いて置き換え、グループ分け（セグメンテーション化）を行う。ここで得られたグループをより計測対象物に類似又は同一となるようなプリミティブな形状へ再度置き換えることでエッジ及び面の生成を行い、点群データから三次元形状の一部の要素へと変換する。なお、これら三次元計測処理は公知技術であり、本発明の特徴部分ではないため、これ以上の詳細な説明は省略する。

対象物モデル表現手段２１ｂは、三次元認識データベース１６を参照しながら、対象物１１についての環境データに基づいて三次元認識処理１７を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成することができる。
三次元認識処理では、三次元計測処理にて抽出したエッジ及び面の情報に基づき、点群データが取得できなかった部分（オクルージョン部分）の形状について、欠落部近傍の形状特徴によるパターンマッチングを行い当該欠落部分の形状を類推する。これにより、欠落部分を補完して全体の三次元形状データを生成することができる。なお、形状特徴としては、平面形状、円柱、円錐、球等の予め三次元認識データベース１６に設定された形状を用いる。そして、三次元認識処理にて認識された対象物の特徴点の基準座標系における三次元座標と、三次元認識データベース１６に設定されている対象物の特徴点における対象物座標系の三次元座標と、を用いて対象物１１を対象物座標系から基準座標系へ変換する変換行列を算出することができる。

また、対象物１１が円柱形状である場合には、スピンイメージを用いた三次元認識処理を行うことができる。図２がスピンイメージを用いた三次元認識処理の概略ブロック図である。スピンイメージを用いた三次元認識処理では、対象物１１の点群データから任意の点を複数選択し、この選択した各点（基準点）毎に、その基準点を含む平面の法線を求める。続いて、それら複数の法線の情報に基づいて円柱型物体の回転軸の方向（ベクトル）を算出し、更に、上記複数の法線の座標と回転軸の方向から、回転軸直線を求める。回転軸直線は、座標で示されるので、３次元空間における円柱型物体の実際の軸を規定することで、既存の手法によって、その円柱型物体の位置を求めることができる。すなわち、上記求められた回転軸直線へ上記選択された点群データを投影することにより、回転軸直線上における円柱型物体の位置を特定する。

このスピンイメージを用いた三次元認識処理１７では、対象物１１の三次元認識を行うために、対象物１１全体の点群データを計測する必要がなく、レーザスキャナ１３による一方向からの計測で済ませることができるので、計算量を減らすことができる。
さらに、三次元認識処理１７による認識結果は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、対象物座標系に予め配置された対象物１１を基準座標系における対象物１１の位置や姿勢に合わせることができる。よって、対象物１１についての環境データに基づいて三次元認識処理１７を行うことで、対象物１１の変換行列を算出し、対象物変換行列格納手段２５に格納することができる。

図３は、変換行列を用いた対象物上の点の変換結果を示す図である。
図３において、対象物変換行列格納手段２５に格納される変換行列には、回転変換要素Ｒ００〜Ｒ２２と並行移動要素ＴＸ、ＴＹ、ＴＺを設定することができる。そして、対象物１１の対象物座標系に変換行列を乗算することで、対象物１１を基準座標系における位置や姿勢に変換することができる。

なお、これら三次元認識処理は公知技術であり、本発明の特徴部分ではないため、これ以上の詳細な説明は省略する。
ロボットモデル表現手段２１ｃは、ロボット１２の各軸の状態１９に基づいてロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボットモデル表現２０を生成することができる。具体的には、ロボットモデル表現２０を生成するために必要なアームなどのロボット１２の構成要素寸法を遠隔操作支援装置２１に予め登録し、予め登録された構成要素寸法に基づくロボットモデル表現を生成する。そして、ロボット１２に設置された角度センサや位置センサなどからの信号によりロボット１２の各軸の状態１９を把握し、各軸の状態１９に基づき動作させたロボットモデル表現を生成する。さらに、ロボット１２の各軸の状態１９を用い、ロボット１２の各軸座標系の変換行列に変換して、ロボット変換行列格納手段２６に格納する。

ロボット変換行列格納手段２６に格納される変換行列は、ロボット１２の各軸１、２、・・・ごとに設けることができ、ロボット１２から定期的に現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、ロボット１２上の指定された点のロボット座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。

三次元画像生成手段２１ｄは、対象物モデル表現１８およびロボットモデル表現２０が生成されると、三次元空間の指定された視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させる二次元画像を生成し、表示装置２２に表示させることができる。
なお、対象物モデル表現１８およびロボットモデル表現２０を表示装置２２に表示させる場合、ＯｐｅｎＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現１８およびロボットモデル表現２０を同一画面上に重ねて表示させることができる。また、対象物モデル表現１８およびロボットモデル表現２０には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルやワイヤーフレームモデルなどを用いることができる。

図４は、本発明の第１の実施形態に係る環境データの表示例を示す図である。
図４において、図１のレーザスキャナ１３にて計測された環境データが遠隔操作支援装置２１にて取得され、その環境データが表示装置２２に表示される。
図５は本発明の第１の実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。

図５において、対象物１１の形状および姿勢が反映された対象物モデル表現１８が遠隔操作支援装置２１にて生成されると、その対象物モデル表現１８が環境データに重なるようにして表示装置２２に表示される。
図６は、本発明の第１の実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。

図６において、対象物１１の形状および姿勢が反映された対象物モデル表現１８およびロボット１２の実際の動きが反映されたロボットモデル表現２０が遠隔操作支援装置２１にて生成されると、それらの対象物モデル表現１８およびロボットモデル表現２０が環境データに重なるようにして表示装置２２に表示される。
対象物座標変換手段２１ｅは、対象物変換行列格納手段２５に格納されている対象物１１の変換行列を用いることにより、対象物座標系における対象物上の点を基準座標系の三次元座標に変換することができる。対象物座標格納手段２４は、対象物１１上の各点についての基準座標系の三次元座標Ａ２、Ｂ２、Ｃ２、・・・を格納することができる。なお、対象物１１の現在の状態を反映するため、定期的に対象物１１上の各点についての基準座標系の三次元座標を更新している。

ロボット座標変換手段２１ｆは、ロボット座標系におけるロボット１２上の点を、ロボット変換行列格納手段２６に格納されたロボット１２の変換行列を用いることにより、基準座標系の三次元座標に変換することができる。さらに、ロボット１２上の各点についての基準座標系の三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・を、ロボット座標格納手段３７に格納する。なお、ロボット１２の現在の状態を反映するため、定期的にロボット１２上の各点についての基準座標系の三次元座標を更新している。

図７は、ロボットの座標系の一例を示す図である。
図７において、ロボット１２の三次元座標系は、ロボット１２の各軸１、２、・・・ごとに設けることができる。例えば、ロボット１２のロボット座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、・・・、先端の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、ロボット１２の各軸間の距離ｄ１、ｄ２、・・・を設定することができる。

そして、例えば、軸１の座標系の点ｃは、以下の（１）式にて基準座標系の三次元座標に変換することができる。
［点ｃの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸１上の点ｃの座標）・・・（１）
また、例えば、軸２の座標系の点ｂは、以下の（２）式にて基準座標系の三次元座標に変換することができる。

［点ｂの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸２上の点ｂの座標）・・・（２）
また、例えば、先端の座標系の点ａは、以下の（３）式にて基準座標系の三次元座標に変換することができる。

［点ａの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（先端の座標系の変換行列）×（軸５上の点ａの座標）・・・（３）
操作対象選択手段２１ｇは、表示装置２２の画面上に表示されたカーソルをマウスにより移動させ、画面上に表示された対象物モデル表現１８からロボットにより操作される一の対象物１１をクリックすることにより選択することができる。なお、操作対象物選択手段２１ｇは、マウスがクリックされたカーソルの画面位置を取り出し、ＯｐｅｎＧＬなどのグラフィックソフトウェアを利用することで、クリックされた位置を基準座標系の三次元座標値に変換できる。

さらに、操作対象物が指定された場合には、ロボットアーム先端と操作対象物との間にベクトルを描画してもよい。図８は、ロボットアーム先端と操作対象物との間にベクトルを描画した表示例である。
視点・視線指定手段２１ｈは、選択された操作対象物１１とロボット１２とに基づき、対象物モデル表現１８およびロボットモデル表現２０を表示装置２２に画面表示する際の視点および視線方向を指定することができる。具体的には、予め遠隔操作支援装置２１に設定された任意の一点を通り、遠隔操作支援装置２１に予め設定された任意の平面に直交する直線を視点移動直線とし、当該視点直線上の点を視点として指定し、前記操作対象物と前記ロボットのアーム先端との中間点を注目点とし、前記視点から当該注目点へのベクトルを視線方向と指定する。

視点の指定方法としては、注目点から視点移動直線への垂線と視点移動直線との交点を求め、当該交点から遠隔操作支援装置２１に予め設定した方向に予め設定した距離だけ移動した点を視点と指定することができる。例えば、交点からの距離０と設定すれば、注目点からの視点移動直線上の最近接点を視点として自動的に指定することができる。また、当該交点から視点移動直線の上方向に距離３０００ｍｍと設定すれば、俯瞰的に対象物１１とロボット１２とを観察できるような視点とすることもできる。

さらに、前記視点移動直線を決定する任意の一点をロボット座標系の原点とし、前記視点移動直線を決定する任意の平面を基準座標系における床面と平行な平面とすることもできる。係る場合には、人が自身の腕を観察しているのと同様の視点となり、直感的にロボットの操作が可能となる。
なお、ロボットモデル表現２０のアーム先端と対象物モデル表現１８とが表示装置２２の画面内に描画できていないこともある。そのため、三次元画像生成手段は、これらのモデル表現が表示画面に表示できているかを判断して表示できていない場合には画面を少しズームアウトした画像を生成することを繰返し、表示できる最大の画像を生成する。

図９は、本発明の第１の実施形態に係る視点・視線指定手段により指定された視点および視線による対象物およびロボットのモデル表現の表示例を示す図である。
図９において、視点移動直線は任意の一点をロボット座標系の原点とし、任意の平面を基準座標系における床面と平行な平面とした場合の表示例である。ロボットモデル表現２０をワイヤーフレームモデルとし、対象物モデル表現１８をサーフェースモデルとして三次元的に示す画像としている。

これにより、対象物１１およびロボット１２の現在の状態がそれぞれ反映された三次元的な対象物モデル表現１８およびロボットモデル表現２０が生成され、その対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化する場合においても、対象物１１およびロボット１２の現在の状態を精度よく表示させることが可能となる。さらに、視点および視線方向も対象物１１およびロボット１２の現在の状態に応じて自動で指定することが可能となる。これにより、対象物１１およびロボット１２を三次元的にモデル化することにより、複数のカメラを設置することなく、ロボットの操作に応じた視点からの画像が表示可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、ロボット１２による対象物１１の遠隔操作を円滑に行うことが可能となる。

次に、本発明の第２の実施形態に係る遠隔操作支援装置について説明する。
図１０は、本発明の第２の実施形態に係る遠隔操作支援装置の概略構成を示す図である。
なお、第１の実施形態に係る遠隔操作支援装置と第２の実施形態に係る遠隔操作支援装置とにおいては、移動量表示手段２１ｉの有無のみ異なり、他の部分は全て共通する。よって、移動量表示手段２１ｉ以外の説明は省略する。

移動量表示手段２１ｉは、ロボットアームの先端を操作対象物に移動させるために必要となるロボット座標系の原点を中心とした、ロボットアーム先端の回転方向と回転角度と、ロボットアーム先端の半径方向の移動方向と移動距離と、を表示する。
図１１乃至１３を用いて、移動量表示手段２１ｉについて具体例を用いて説明する。
図１１は、操作対象物モデル表現１８およびロボットモデル表現２０の表示例である。係る表示では、直感的に回転方向は把握できるが、奥行方向については把握が難しい。図１２は、操作対象物モデル表現１８およびロボットモデル表現２０をＸＺ平面に投影したＸＺ投影図である。操作対象物モデル表現１８のＸＺ平面に投影した点を点Ａ、ロボットモデル表示２０のアーム先端をＸＺ平面に投影した点を点Ｂ、ロボット座標系の原点を点Ｏとする。

ここで、線分ＯＢを基準とし、右回転を正方向、左回転を負方向と定義する。また、Ａ点を角度ＡＯＢだけ右回転させた点をＡ’とする。線分Ａ‘Ｂの長さについて、線分Ａ‘Ｏが線分ＢＯより短い場合を負方向と、線分Ａ‘Ｏが線分ＢＯより長い場合を正方向と定義する。
係る場合、ＸＺ投影図における負方向の角度ＡＯＢおよび負方向の線分Ａ’Ｂの長さを算出し、表示画面に算出した点Ｏを中心とした回転方向と回転角度、および半径方向の移動方向と距離とを表示することで、ロボットアームで操作対象物を操作するために必要となる正確な操作量を知ることができる。この例では、ロボットアームで操作対象物を操作するためには、ロボットアームを負方向に角度ＡＯＢだけ左回転させ、負方向の線分Ａ‘Ｂの距離だけ移動させる必要がある。

図１３は、本発明の第２の実施形態に係る画面表示例を示す図である。図１３に示すように、算出したロボットアームの回転角度と半径方向の移動量を画面上に操作対象物へのロボットアーム操作方向の矢印と共に描画する。
なお、第１の実施形態に記載したように、対象物１１およびロボット１２の現在の状態がそれぞれ反映された三次元的な対象物モデル表現１８およびロボットモデル表現２０を生成し、その対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させているため、ロボットの操作に応じて角度ＡＯＢおよび線分Ａ‘Ｂの長さの表示も定期的に更新されることとなる。

このように、相対位置表示手段２１ｉにより、ロボットアームの遠隔操作を画面表示だけではなく数値的にも把握できるため、より正確なロボットアームの遠隔操作を支援することが可能となる。

本発明の第１の実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。 本発明の第１の実施形態に係るスピンイメージを用いた三次元認識処理の概略ブロック図である。 本発明の第１の実施形態に係る変換行列を用いた対象物上の点の変換結果を示す図である。 本発明の第１の実施形態に係る環境データの表示例を示す図である。 本発明の第１の実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。 本発明の第１の実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。 本発明の第１の実施形態に係る遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。 本発明の第１の実施形態に係るロボットアーム先端と操作対象物との間にベクトルを描画した表示例である。 本発明の第１の実施形態に係る視点・視線指定手段により指定された視点および視線による対象物およびロボットのモデル表現の表示例を示す図である。 本発明の第２の実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。 操作対象物モデル表現１８およびロボットモデル表現２０の表示例を示した図である。 操作対象物モデル表現１８およびロボットモデル表現２０をＸＺ平面に投影したＸＺ投影図である。 本発明の第２の実施形態に係る画面表示例を示す図である。

符号の説明

１１ 対象物
１２ ロボット
１３ レーザスキャナ
１４ 三次元計測処理
１５ 環境データ格納手段
１６ 三次元認識データベース
１７ 三次元認識処理
１８ 対象物のモデル表現
１９ 各軸の状態
２０ ロボットのモデル表現
２１ 遠隔操作支援装置
２１ａ 環境データ取得手段
２１ｂ 対象物モデル表現手段
２１ｃ ロボットモデル表現手段
２１ｄ 三次元画像生成手段
２１ｅ 対象物座標変換手段
２１ｆ ロボット座標変換手段
２１ｇ 操作対象物選択手段
２１ｈ 視点・視線指定手段
２１ｉ 移動量表示手段
２２ 表示装置
２３ ロボット座標格納手段
２４ 対象物座標格納手段
２５ 対象物変換行列格納手段
２６ ロボット変換行列格納手段

Claims (7)

1. 各対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記各対象物の形状および姿勢が反映された各対象物モデル表現を生成する対象物モデル表現手段と、
   ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現手段と、
   三次元空間の指定された視点および視線方向による前記対象物モデル表現および前記ロボットモデル表現を画面上に三次元的に表示させる三次元画像生成手段と、
   前記各対象物の形状を計測することにより得られた前記各対象物上の点を基準座標系の三次元座標に変換する対象物座標変換手段と、
   前記ロボットの各軸の状態を観測することにより得られた前記ロボット上の点を前記基準座標系の三次元座標に変換するロボット座標変換手段と、
   前記三次元画像生成手段により画面上に表示された前記各対象物モデル表現からロボットにより操作される一の対象物を選択する操作対象物選択手段と、
   前記操作対象物選択手段により選択された操作対象物と前記ロボットとに基づき、前記三次元画像生成手段における視点および視線方向を指定する視点・視線指定手段と、
   を備えることを特徴とする遠隔操作支援装置。
2. 前記視点・視線指定手段は、
   予め設定された任意の一点を通り、予め設定された任意の平面に直交する直線を視点移動直線とし、
   当該視点移動直線上の点を視点として指定し、
   前記操作対象物と前記ロボットのアーム先端との中間点を注目点とし、
   前記視点から当該注目点へのベクトルを視線方向と指定すること、
   を特徴する請求項１に記載の遠隔操作支援装置。
3. 前記注目点から前記視点移動直線への垂線と前記視点移動直線との交点を求め、
   前記視点移動直線上の点であって、当該交点から予め設定した方向に予め設定した距離だけ移動した点を視点と指定すること、
   を特徴とする請求項２に記載の遠隔操作支援装置。
4. 前記視点移動直線を決定する任意の一点をロボット座標系の原点とし、
   前記視点移動直線を決定する任意の平面を基準座標系の床面と平行な平面とすること、
   を特徴とする請求項２または３に記載の遠隔操作支援装置。
5. 指定された視点および視線方向による三次元画像であって、
   前記操作対象物モデル表現と前記ロボットモデル表現のアーム先端とが含まれる画面上に表示する最大の画像を生成する画像拡大縮小手段と、
   を備えることを特徴とする請求項１乃至４のいずれか１項に記載の遠隔操作支援装置。
6. 前記ロボットのアーム先端を前記操作対象物の位置まで移動させるための移動量と移動方向とを、前記三次元画像生成手段により表示された画面上に表示させる移動量表示手段と、
   を備えることを特徴とする請求項１乃至５のいずれか１項に記載の遠隔操作支援装置。
7. 前記移動量表示手段は、前記移動量を、ロボット座標系の原点を中心とした周方向の角度と径方向の距離とその方向により表示することを特徴とする請求項６に記載の遠隔操作支援装置。