JP2002254360A

JP2002254360A - 移動マニピュレータの遠隔操作装置

Info

Publication number: JP2002254360A
Application number: JP2001053089A
Authority: JP
Inventors: Tetsuo Kamitoku; 徹雄神徳; Hideaki Oyama; 英明大山; Kazuo Tanie; 和雄谷江; Hisayuki Sasaki; 久幸佐々木
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2001-02-27
Filing date: 2001-02-27
Publication date: 2002-09-10
Anticipated expiration: 2021-02-27
Also published as: JP3834606B2

Abstract

(57)【要約】【課題】移動体に搭載されたマニピュレータを遠隔地
点から操作する際、移動体に設けたビデオカメラにより
マニピュレータを撮影し、遠隔地の操縦者の側に設置し
たモニターに表示しマニピュレータを操作するものにお
いて、特に重いもの等を把持して移動するとき移動体が
スリップすることがあり、そのときのモニター映像では
移動体が移動したか物体が移動したかがわからないこと
があった。【解決手段】操縦者が見るモニター画面２に、実際の
マニピュレータの撮影映像１に重ねて、移動体の移動に
関わらず固定された、絶対座標系に基づく画像を表示す
る。その画像としてはグリッド、あるいは移動体のスリ
ップを検出した直前のマニピュレータの位置に基づくマ
ニピュレータのコンピュータグラフィックス画像を表示
する。操縦者はこの基準となる画像を見ることにより、
移動体が移動しているのか把持した物体が移動している
のか容易に知ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動体に取り付け
られたマニピュレータを遠隔地から操作する移動マニピ
ュレータの遠隔操作装置に関し、特にこの移動体に搭載
したビデオカメラによりマニピュレータの作動状態を撮
影し、利用者がモニターのカメラ映像を見ながらマニピ
ュレータを操作する移動マニピュレータの遠隔操作装置
に関する。

【０００２】

【従来の技術】例えば人間が近づくことが好ましくない
原子力プラント内での作業や、火山活動が活発な場所で
の各種作業、水中での作業、更には宇宙での作業等、人
間が直接作業をすることが困難な場所では、ロボットマ
ニピュレータを使用し、操作を行う人がこのマニピュレ
ータの動きを見ながら遠隔作業を行うことが好ましい。
特に、このマニピュレータを移動体に固定し、移動体を
操縦しながらマニピュレータを操作することは、その作
業範囲を拡大しマニピュレータの利用範囲も広がるた
め、その利用性を向上させる研究開発が期待されてい
る。

【０００３】一般にロボットアームとしてのマニピュレ
ータを上記のように遠隔操作する際には、操縦者は意図
したとおりに作業が遂行しているのを確認したり、また
は予期しない事態に対して修正動作を行なう等のために
マニピュレータの動きを見る必要があるが、特にこのマ
ニピュレータが遠隔地である場合、あるいは操作を行う
場所とマニピュレータで作業を行う場所との間に取り除
くことができない隔壁がある場合には、例えば図３に示
すように、マニピュレータ１１の作業状況をビデオカメ
ラ１２で撮影し、撮影されたカメラ映像をモニター１３
に映しだして操縦者１４これを観察しながらジョイステ
ィック等のリモコン１５を操作してマニピュレータ１１
の物体の把持や移動操作を行うこととなる。

【０００４】一方、図３に示されるようにこのマニピュ
レータ１１が移動体１６に搭載されている場合は、操縦
者は更に移動体の操縦も行い、取り扱う物体までこの移
動体を移動させ、上記のようなマニピュレータによる操
作を行うと共に、必要に応じて物体を把持した状態で移
動体を移動させ、所定の場所に物体を搬送させ、あるい
は組み立てる等の作業を行う。上記のようにマニピュレ
ータが移動体に取り付けられている場合は、特に移動範
囲が大きくなるので移動体にビデオカメラを固定し、移
動体の移動に際しては移動体の近辺を撮影し、更にマニ
ピュレータの操作に際しては正確な操作を行うためにビ
デオカメラをズームアップする等、ビデオカメラも操作
しながら、ビデオカメラのこれらの映像に頼って各種作
業を行うという困難な作業を行う必要がある。

【０００５】

【発明が解決しようとする課題】上記のような移動体に
マニピュレータとビデオカメラを搭載し、操縦者がビデ
オカメラの映像をモニターで観察しながら操縦、操作を
行うものにおいて、特にマニピュレータの先端の把持部
で細かな操作を行うときには、ビデオカメラを把持部を
中心とする限られた範囲をズームアップし、モニターに
おける解像度を上げてこの部分に注意力を集中して把持
等の操作を行うこととなる。

【０００６】その結果、作業中に視界いっぱいに作業対
象物が広がっている場合や背景に特徴がなく一様な場合
には、マニピュレータを使って作業対象物に操作カを加
えた際に得られる搭載カメラからの映像情報は作業対象
物と移動マニピュレータとの相対的な運動だけであり、
作業対象物が動かされているのか、それとも移動マニピ
ュレータの方が動いたのかというような運動感覚を操縦
者が認識できないという問題が存在する。

【０００７】例えば、移動マニピュレータを操作して、
荷物をある場所から離れた場所へ搬送するとき移動マニ
ピュレータは、移動ベースの上に作業の遂行に充分な自
由度を有するマニピュレータと作業状況を観察するビデ
オカメラとを搭載し、操縦者は手先の周辺を撮影したカ
メラ画像を見ながらジョイスティックで必要な操作を行
う。このとき荷物を引っ張ろうとしたとき、荷物が固定
されていたり、操縦者が想像する以上に重い場合には、
ベースの移動機構（車輪等）と地面の間でスリップが生
じ、搬送すべき荷物を引き寄せるのではなく、ロボット
が荷物の方に引き寄せられてしまうことがある。このこ
とは荷物を押す場合も同様である。

【０００８】移動ロボットに搭載されたカメラは画角の
制限があるため、操縦者はマニピュレータの手先とその
周辺の限られた視界しか得られない。このとき、作業対
象物を動かした場合と、マニピュレータのベースがスリ
ップして動いた場合とでは、これらの相対的な運動には
差がないので、視界いっぱいに作業対象物が広がってい
る場合や、背景に特徴が無く一様である場合には、操縦
者の見ている画面上では両者がほとんど同じ動きに見え
る。実際にはスリップしてベースが動いても、操縦者は
自分の意図したとおりに操作対象物が動いたと錯覚する
可能性があり、的確な操作をすることが困難になる。

【０００９】これは水中探査ロボットや、宇宙マニピュ
レータなど、マニピュレータのベースの自由度の次元が
増え、しかも移動体が容易に移動してしまう場合には特
に重要な問題となる。例えば水中探査ロボットが海底の
岩石を拾おうとしてマニピュレータを伸ばし、岩石を持
ち上げようとする場合、岩石の重さや海底への固着具合
によっては逆に船体が海底に引き寄せられるということ
が起こりうる。このようなときに、船体が引き寄せられ
ていることを検出し、これを操縦者に提示することがで
きれば、操縦者は船体の姿勢を流体抵抗が大きくなるよ
うにしたり、スクリューの出力を調整する等の対処が可
能になる。

【００１０】このような問題に対して、遠隔地の移動マ
ニピュレータの状況を操縦者に提示する手法として、従
来は、例えば以下のような対策等が取られている。その
一つの方法としてビデオカメラのズーム機能を利用する
方法がある。即ちこの方法は、搭載カメラのズーム機能
を利用して、ズームインした狭視野角映像とズームアウ
トした広視野角映像とを繰り返しながら操縦者に提示す
る手法である。この方法によると、マニピュレータの操
作と同時にズーム機能の操作が必要になるとともに、ズ
ーム機能の操作中は距離感が変わるために操作対象物と
移動ロボットとの相対運動の認識が低下する欠点があ
る。

【００１１】第２の方法として、広視野角映像を同時に
表示する方法がある。この方法は、移動体に複数のカメ
ラを搭載し、ズームアウトした広視野角の映像を作業用
の狭視野角の映像と同時に操縦者に提示する手法であ
る。この方法によると、操作をする人は同時に２つ以上
の映像に意識を集中することは出来ないために、表示さ
れた２つの映像を必要に応じて視線を切り換えてみなけ
ればならず、頻繁な視線の変更を伴い作業性が低下する
欠点がある。

【００１２】第３の方法として、モニターに何らかのメ
ッセージを表示する方法がある。この方法は、移動機構
の運動を別途設けたセンサで検出して、作業中観察を続
けているモニターのカメラ映像画面上に移動の状態等の
センサ情報を表示する方法である。この方法はモニター
に表示されたカメラ映像へのメッセージの重ね書きとい
う簡便な方法で移動機構の運動情報を伝えることができ
る利点があるが、操作を行っている人はこのようなメッ
セージを見ただけでは、どの方向にどの位の運動が発生
しているかの情報を直感的に伝えることが困難であると
いう欠点がある。

【００１３】第４の方法として、警告音や音声ガイドを
出力する方法がある。この方法は、移動機構の運動をセ
ンサで検出して、警告音や合成音声によって操縦者に移
動機構の運動を提示する方法である。この方法は簡便な
装置の追加で移動機構の運動の発生を知らせることがで
きる利点があるが、どの方向に運動が発生しているか等
の細かな情報を伝えることが困難であるという欠点があ
る。

【００１４】第５の方法として、モーションプラットフ
ォームを用いる方法がある。この方法は、移動機構の運
動をセンサで検出して、航空機のフライトシミュレータ
や自動車のドライブシミュレータ等に使われているモー
ションプラットフォームを利用することで移動機構の運
動を模擬して操縦者に提示する方法である。この方法は
あたかも操縦者が移動機構に搭乗してマニピュレータを
操作しているような自然な感覚を提示することが可能で
ある利点があるが、大型で複雑な操縦装置が必要で高価
なものとなり、経済的にも広く普及させることは困難で
あるという欠点がある。

【００１５】このように従来から種々の方法が検討され
ているが、いずれも大きな欠点があるため、広範に利用
するには至っていない。

【００１６】したがって、本発明は移動体に搭載された
マニピュレータを遠隔地点から操作する際、移動体に設
けたビデオカメラによりマニピュレータ周辺を撮影し、
これを操縦者の側に設置したモニターに表示することに
よりマニピュレータを操作するに際して、簡単な手段に
より、操縦者が一見してマニピュレータの状態と移動体
の状態を把握することができるようにした移動マニピュ
レータの遠隔操作装置を提供することを目的とする。

【００１７】

【課題を解決するための手段】本発明は、上記課題を解
決するため、請求項１に係る発明は、移動体に取り付け
たマニピュレータを移動体に搭載したビデオカメラで撮
影し、この撮影映像を遠隔地のモニターに表示してマニ
ピュレータを操縦する移動マニピュレータの遠隔操作装
置において、モニターに移動体の運動情報に基づく画像
を、前記撮影映像に重ねて表示することを特徴とする移
動マニピュレータの遠隔操作装置としたものである。

【００１８】また、請求項２に係る発明は、前記移動体
の運動情報に基づく画像は作業空間に固定された座標系
に基づく画像であることを特徴とする請求項１記載の移
動マニピュレータの遠隔操作装置としたものである。

【００１９】また、請求項３に係る発明は、前記絶対座
標系に基づく画像はグリッドであることを特徴とする請
求項１記載の移動マニピュレータの遠隔操作装置とした
ものである。

【００２０】また、請求項４に係る発明は、移動体のス
リップを検出するスリップ検出手段を備え、前記グリッ
ドはスリップを検出したときにモニターに表示すること
を特徴とする請求項３記載の移動マニピュレータの遠隔
操作装置としたものである。

【００２１】また、請求項５に係る発明は、移動体のス
リップを検出するスリップ検出手段を備え、スリップを
検出したとき以降、移動体の運動情報に基づく画像とし
て操作指令に基づくマニピュレータの画像を作業空間に
固定された座標系で表示することを特徴とする請求項１
記載の移動マニピュレータの遠隔操作装置。としたもの
である。

【００２２】

【発明の実施の形態】本発明の実施例を図面に沿って説
明する。図１は本発明の実施例の第１の態様を示してお
り、同図は操縦者が移動マニピュレータをリモコンで操
作を行う際に、移動マニピュレータに搭載したビデオカ
メラでマニピュレータの先端近傍を撮影しこの部分をズ
ームアップして表示しているモニター画面の例を示して
いる。図１におけるモニター画面２には、マニピュレー
タ先端近傍をズームアップしているマニピュレータの撮
影映像１をモニター画面２の略中央に示しており、それ
に対して絶対座標系のグリッド３を画面上にコンピュー
タグラフィックスの手法により合成して表示している。
このグリッド３は図示するように遠近法により表示して
おり、移動体２６が床面に対して相対的に移動する時こ
れを別途設けたセンサで検出し、その移動に合わせてグ
リッドが移動し、あたかも移動体に搭載したカメラで撮
影している床面に図示するようなグリッドが描かれてこ
れを撮影しているように画像処理を行い表示している。

【００２３】上記のような表示をモニター画面２上にお
いて行うことにより、操縦者が移動体をリモコンにより
移動するときはこのグリッドも移動することにより、例
えば宇宙空間や海底、あるいは長い管内のように移動体
の周囲が単調な空間や平面、曲面が連続しているときの
ような、単にビデオカメラの映像ではその移動の状態が
わからないときでも、移動体の移動の速さ、距離等を明
瞭に認識することができる。

【００２４】また、移動体が所定の位置に停止した後、
例えばマニピュレータで物体を把持しこれを移動しよう
とするとき、絶対座標系を示すグリッドが移動せず、把
持物体のみが移動しているときは予定通り把持物体を把
持していることを知ることができる。それに対して操縦
者の想像とは異なりその物体が重いものである場合、あ
るいは海底の大きな岩石の一部が海底面に現れていると
きのその岩石を移動しようとしたときのようにその物が
移動できない場合には、マニピュレータで物体を移動す
る力によって移動体が床面をスリップして移動すること
となる。そのときは移動体に設けた前記センサにより移
動体の方が移動していることを検出し、その移動に合わ
せて画面上に表示しているグリッド３を移動する。

【００２５】それにより、操縦者は図１の画面に白抜き
矢印で示すようにグリッドが手前側に移動することを見
ることによって、物体が予想外に重い物、あるいは強固
な固定物であることを知ることができる。このとき、移
動体に大きな力がかかり、移動体が横方向にもスリップ
したときには、画面上に表示されるグリッドは横方向に
も移動し、その状態を操縦者が知ることができる。ま
た、操縦者はそのときの画面に示されたグリッドの移動
の速度、移動量及びその方向を見ることにより、その移
動速度や移動距離及び移動の方向を正確に知ることがで
きる。

【００２６】このように移動体が移動していることを操
縦者が知ることにより、操縦者はその操作を停止し、あ
るいは例えば海底作業船の推進力を上げて移動体が移動
しないようにして物体を移動させるような操作を行うこ
とができる。なお、上記グリッドの表示は常時モニター
画面上に表示することができるが、移動体がスリップし
たことを検出した瞬間から表示するようにしても良い。

【００２７】図２には本発明の実施例の第２の態様を示
しており、同図は前記図１に示したものと同様に、移動
マニピュレータに搭載したビデオカメラでマニピュレー
タの先端近傍を撮影し、この部分をズームアップして表
示しているモニター画面２の例を示しており、ここに表
示されている画面の例においては図中の中央に表示され
ているマニピュレータの撮影映像１は実際の映像を示し
ている。

【００２８】また、図中右側に破線で表示されているマ
ニピュレータの画像は、操縦者がマニピュレータにより
物体を把持して運搬しようとしたとき、その物体が前記
のように予想外に重かったり固定されていたときに物体
が動かず移動体がスリップして移動した際、移動体がス
リップした直前の位置にマニピュレータが存在したと仮
定したときのコンピュータグラフィクスで絶対座標系に
表示したマニピュレータの画像を示している。

【００２９】このようにマニピュレータの先端を中心と
する映像を表示している画面上に、移動体がスリップす
る直前の位置を示すマニピュレータを表示しているの
で、操作を行っている人は移動体のスリップを感覚的に
把握することができ、適切な対処を行うことができる。
このときの両映像は識別しやすいように、コンピュータ
グラフィックスの画像を実際の画像に対してコントラス
トが大きい色彩にする等の見やすくする手段を採用する
ことが好ましい。また、前記スリップを検出する手段と
しては、車両制御装置に広く用いられているスリップ検
出手段を用いることができる。

【００３０】なお、図示実施例においては、マニピュレ
ータがスリップせずに本来あるべき位置を示している破
線で表されているマニピュレータの画像は、現在実際に
移動体が存在する位置で物体を把持したと仮定したとき
の状態を示すコンピュータグラフィックス画像であり、
このような画像を示すことによって、より明確に操縦者
に対して現在の状態を示すことができる。

【００３１】上記のようなコンピュータグラフィックス
の画像は、ビデオカメラで常時撮影している画像を所定
の短時間更新しながら録画しておき、移動体が滑ったこ
とを検出したときにその直前の画像をコンピュータグラ
フィックス画像処理部に出力し、その位置でのコンピュ
ータグラフィックス画像を形成すると共に、移動体がス
リップして移動した地点のビデオカメラから見た画像を
形成し出力することにより容易に実施することができ
る。

【００３２】

【発明の効果】本発明は上記のように構成したので、移
動体に搭載されたマニピュレータを遠隔地点から操作す
る際、移動体に設けたビデオカメラによりマニピュレー
タ周辺を撮影し、これを操縦者の側に設置したモニター
に表示することによりマニピュレータを操作するに際し
て、簡単な手段により、操縦者が一見してマニピュレー
タの状態と移動体の状態を明確に把握することができ
る。

【図面の簡単な説明】

【図１】本発明の第１実施例において表示されるモニタ
ー画面の例を示す図である。

【図２】本発明の第２実施例において表示されるモニタ
ー画面の例を示す図である。

【図３】本発明による移動マニピュレータの遠隔操縦装
置が適用される状態の全体概要を示す模式図である。

【符号の説明】

１マニピュレータの撮影映像２モニター画面３グリッド

───────────────────────────────────────────────────── フロントページの続き (72)発明者谷江和雄茨城県つくば市並木１丁目２番地経済産業省産業技術総合研究所機械技術研究所内 (72)発明者佐々木久幸茨城県つくば市並木１丁目２番地経済産業省産業技術総合研究所機械技術研究所内Ｆターム(参考） 3C007 AS27 AS28 AS29 CS08 CY02 JS07 JU03 JU12 JU17 KS03 KS04 KS05 KS32 KS36 KS40 KT01 KT04 KT09 KT17 KW02 KX02 KX15 LS09 LT12 LV12 MS29 MT04 WA16 WA17 WA24 WA25 WA27 5K048 BA10 BA48 DB01 DC01 EB02 FB10 FB15 HA04 HA06

Claims

【特許請求の範囲】

【請求項１】移動体に取り付けたマニピュレータを移
動体に搭載したビデオカメラで撮影し、この撮影映像を
遠隔地のモニターに表示してマニピュレータを操縦する
移動マニピュレータの遠隔操作装置において、モニター
に移動体の運動情報に基づく画像を、前記撮影映像に重
ねて表示することを特徴とする移動マニピュレータの遠
隔操作装置。
【請求項２】前記移動体の運動情報に基づく画像は作
業空間に固定された座標系に基づく画像であることを特
徴とする請求項１記載の移動マニピュレータの遠隔操作
装置。
【請求項３】前記絶対座標系に基づく画像はグリッド
であることを特徴とする請求項１記載の移動マニピュレ
ータの遠隔操作装置。
【請求項４】移動体のスリップを検出するスリップ検
出手段を備え、前記グリッドはスリップを検出したとき
にモニターに表示することを特徴とする請求項３記載の
移動マニピュレータの遠隔操作装置。
【請求項５】移動体のスリップを検出するスリップ検
出手段を備え、スリップを検出したとき以降、移動体の
運動情報に基づく画像として操作指令に基づくマニピュ
レータの画像を作業空間に固定された座標系で表示する
ことを特徴とする請求項１記載の移動マニピュレータの
遠隔操作装置。