JP2007331061A - 移動型ロボットシステムにおけるマニピュレータ遠隔操作方法 - Google Patents

Abstract

【課題】障害物の３次元形状や大きさを視認して遠隔移動型ロボット操作において障害物の除去や回避する行動ができるようにした遠隔操作ロボットシステムを提供することにある。
【解決手段】カメラと距離計測装置を備えたマニピュレータを設置した移動型ロボットシステムのマニピュレータを操縦システムにより遠隔操作する方法であって、表示装置に表示されたカメラ画像を見ながら少なくとも障害物がカメラ画像内に映し出されるようにマニピュレータを遠隔操作する操作過程と、該操作過程で映し出された少なくとも障害物についての３次元形状を前記距離計測装置により計測する計測過程とを有することを特徴とする。
【選択図】 図１

Description

本発明は、カメラと距離計測センサとを備えたマニピュレータを有する移動型ロボットシステムを操縦システムから遠隔操作するマニピュレータ遠隔操作方法に関し、特に障害物がカメラ画像内に映し出されるようにマニピュレータを遠隔操作して該障害物の３次元形状について距離計測センサを用いて計測する移動型ロボットシステムにおけるマニピュレータ遠隔操作方法に関する。

マニピュレータとは、人間の腕を模擬した多関節を有する機械である。あらかじめ動作内容をマニピュレータまたはマニピュレータに接続されたコンピュータに記憶させておくことで、決められた動作を行うことができる。精密な作業を高速で繰り返し行うことができるので、工場など生産ラインの現場などで利用されている。また、医療分野においては、医師がマニピュレータを遠隔操作し、手術などを行う利用方法もある。

人が近づけない場所へロボットを移動させ、マニピュレータを遠隔操作することで、本来人間に及ぶ危険を未然に回避するといった利用法が提案されている。

遠隔操作を行う場合、オペレータはマニピュレータが見える位置にいるか、またはロボットの有するカメラから映し出される画像や映像を見ながら操作することになる。例えば、ロボットに装着されたセンサが走行中に障害となる物体を検知したときに、オペレータはカメラ画像を見て障害物を判断する。このとき、カメラ画像を元にロボットに障害物の除去や回避などの行動を指示することができる。

しかし、オペレータがカメラ画像から障害物を正確に確認できない場合がある。カメラ画像はあくまで二次元表示であるため距離感が分りづらく、また立体的形状を把握することが難しい。そこで、カメラ画像に映し出された基準となる物体の大きさから他の物体の大きさを推定するか、ロボットにレーザレーダセンサなどの距離計測装置を搭載し、障害物の大きさを測定する方法が用いられている。

特許文献１（特開２００４−２５７９２７号公報）は、遠隔操作によって物体の３次元形状を計測できる装置について記載している。この方法では、マニピュレータ先端部に３次元形状計測装置を備え、測定装置を所望の位置に移動させて、所望位置から測定対象物の３次元形状を計測できる。

特許文献２（特開２００２−８４５３１号公報）では、ロボットにカメラを取り付けて、遠隔操縦可能な移動型ロボットシステムを実現している。この方法では、オペレータは遠隔地点の情報についてカメラ画像を通じて取得できる。

特許文献３（特開２００３−２５６０２５号公報）には、目的作業の要件から決まる幾何要素間の空間的な拘束を含んだ形式で軌道などの幾何要素を予めパラメトリックモデリング手法によって定義し、ライブラリ化及びメニュー化しておくことで、実際の教示段階では少ないステップで様々な拘束条件を設定できるようにしたロボット動作教示技術が記載されている。

特開２００４−２５７９２７号公報 特開２００２−８４５３１号公報 特開２００３−２５６０２５号公報

従来のロボットシステムでは、単純にカメラを備えて画像を取得したり、非移動型ロボットのマニピュレータにカメラや３次元形状計測装置を個別に備えたりするのみである。このため、離れた地点でロボット本体を移動させた後にカメラ画像を取得し、同時に障害物の３次元形状を把握することは難しい。また、３次元形状を把握したのちにロボットの自己位置と障害物との位置関係を視覚的に把握することも難しい。

本発明の目的は、上記課題を解決すべく、移動型ロボットシステムにおいて、マニピュレータに設置した距離計測装置を用いて、障害物の３次元形状や大きさをオペレータが視認できるようにして、遠隔ロボット操作による障害物の除去や回避行動が行えるようにした移動型ロボットシステムにおけるマニピュレータ遠隔操作方法を提供することにある。

上記目的を達成するために、本発明は、カメラと距離計測装置を備えたマニピュレータを設置した移動型ロボットシステムと、入力装置と表示装置とを備えた操縦システムとの間を通信により送受信できるように構成し、前記移動型ロボットシステムの前記マニピュレータを前記操縦システムから前記通信を用いて遠隔操作する方法であって、前記カメラで撮像したカメラ画像（平面的な濃淡画像又はカラー画像）の情報を前記移動型ロボットシステムから前記操縦システムに送信して前記カメラ画像を前記表示装置に表示する第１の表示過程と、該第１の表示過程で前記表示装置に表示されたカメラ画像を見ながら少なくとも障害物が前記カメラ画像内に映し出されるように、前記入力装置に入力された操作指示を前記操縦システムから前記通信によって前記移動型ロボットシステムに送信して前記マニピュレータを遠隔操作する操作過程と、該操作過程での前記マニピュレータの遠隔操作によって前記表示装置に表示されたカメラ画像内に映し出された少なくとも障害物についての３次元形状を前記距離計測装置により計測する計測過程とを有することを特徴とする。

また、本発明は、更に、前記計測過程で計測した少なくとも障害物についての３次元形状の情報を前記移動型ロボットシステムから前記操縦システムに送信して前記障害物についての３次元形状（立体画像）を前記表示装置に表示する第２の表示過程を有することを特徴とする。

また、本発明は、前記第２の表示過程において、前記表示装置に表示する前記障害物についての３次元形状（立体画像）に対して、前記第１の表示過程で前記表示装置に表示するカメラ画像（平面的な濃淡画像又はカラー画像）を重ねて表示することを特徴とする。

また、本発明は、前記第２の表示過程において、更に、前記移動型ロボットシステムにおける前記マニピュレータを含む移動型ロボット本体の３次元形状（立体画像）を重ねて表示することを特徴とする。

即ち、本発明は、カメラ画像を基に移動型ロボットの障害物となる物体を発見したとき、操作指示によりマニピュレータを移動させてカメラの角度を変え、所望の角度で取得されるカメラ画像で障害物を確認し、該確認された障害物までの距離を距離計測装置によって計測する。このとき、距離計測装置にはカメラ画像で映し出される物体を計測できるように計測範囲をプログラムしておく。さらに、マニピュレータの各関節軸回転角度はセンサ（エンコーダ）によって既知であるため、距離計測装置から障害物までの直線距離Ｌ、水平方向角度α、奥行方向角度βが測定できる。そして、計測した距離と角度に三角関数を用いることによって、距離計測装置と対象物までの水平方向及び奥行方向の距離を求めることができる。すなわち、３次元における距離計測装置と障害物との位置関係が求まることになり、障害物の形状を立体的に表現することができる。さらに、マニピュレータは移動できるため、障害物に対して複数の角度から立体的形状を把握することができる。

また、本発明は、求まった立体的形状（立体画像）とカメラ画像（平面的な濃淡画像又はカラー画像）を重ね合わせることにより、障害物の表面模様とその立体的形状を同時に把握することができる。

また、本発明は、移動型ロボットシステムの本体の３次元形状（立体画像）を加えることで、オペレータは障害物との位置関係を明確に把握することが可能である。

本発明によれば、遠隔操作可能な移動型ロボットシステムのマニピュレータを操縦システムにより操作し、所望の角度でカメラ画像を見ながら障害物や調査対象物の表面画像と距離計測装置による３次元形状を把握することができるため、人が近づけないような危険地帯においても遠隔からロボット操作によって、人間に及ぶ危険を回避しながら安全に現地の詳細な３次元情報を収集することが可能となる。

本発明に係る移動型ロボットシステム及び移動型ロボットシステムにおけるマニピュレータ遠隔操作方法の実施の形態について図面を用いて詳細に説明する。

図１は本発明に係る移動型ロボットシステムの一実施の形態を示す図であって、本発明に係る移動型ロボットシステムは、遠隔ロボット操作可能な操縦システム２０とロボット本体システム１とから構成される。操縦システム２０は、遠隔地から通信を使用して移動型（走行）ロボット本体５を操作可能に構成され、移動型ロボット本体５に備えられたマニピュレータ９やカメラ１３及び距離計測装置１０等を、通信装置２７、８を介して制御可能である。マニピュレータ９は、例えば、肩部９ｄ、上腕９ａ、前腕９b及び手首９ｃ等を備えて構成される。オペレータ２５は、遠隔地から操縦システム２０を通じて移動型ロボット本体５の操縦を行い、移動型ロボット本体５から情報を受け取る。

操縦システム２０は、オペレータ２５が遠隔地から画像表示装置２３に映し出されるカメラ画像を基にして、入力装置２２を用いて移動型ロボット本体５を移動させたり、マニピュレータ９を構成する各関節軸の角度を与えることで距離計測装置１０及びカメラ１３を搭載したマニピュレータ９の位置を移動させたり、具体的なマニピュレータ９を含めたロボット本体５に関する操作指示を行う。指示処理装置２１は、入力装置２２で入力されたオペレータ２５の操作情報２８を受け取り、通信用操作データに変換すると共に、該変換された操作データを通信装置２７からロボット本体システム１の通信装置８に送信することになる。

ロボット本体システム１は、操縦システム側と通信を行う通信装置８と、ロボット側へ送信された操作データを基に、移動型（走行）ロボット本体５の走行も含めてマニピュレータ９並びに該マニピュレータ９に搭載された距離計測装置１０やカメラ１３を動作させるための駆動制御データを生成すると共に距離計測装置１０で計測される距離データを基にマニピュレータ９の座標系（カメラ座標系）での例えば障害物３０の３次元立体形状を算出する信号処理装置１１と、カメラ１３から撮像したカメラ画像データを取得し、該取得されたカメラ画像データを通信用カメラ画像データに変換する画像処理装置１２とを備えて構成される。信号処理装置１１は、さらに移動型ロボット本体５の各種装置（例えばエンコーダ）からの一部フィードバック情報も受けて上記駆動制御データを生成することになる。そして、画像処理装置１２で変換された通信用カメラ画像データや信号処理装置１１で生成したロボット本体の動作情報は、通信装置８を介して操縦システム側の通信装置２７に送信され、指示処理装置２１から画像情報２９として画像表示装置２３に表示されてオペレータ２５へ伝えられることになる。その結果、遠隔地から入力装置２２を用いて操作情報２８を入力することによって、移動型ロボット本体５として障害になる障害物３０の外形情報（カメラ画像）が画像表示装置２３に表示されて得られるように、マニピュレータ９やカメラ１３の角度を操作することが可能となる。

即ち、本発明は、障害物３０などの対象物体までの距離を計測することが可能な距離計測装置１０を搭載したマニピュレータ９を有する移動型ロボット本体５において、マニピュレータ９に装着されたカメラ１３からのカメラ画像（平面的な濃淡画像又はカラー画像）を基にしてマニピュレータ９を移動させ、マニピュレータ９に設置した距離計測装置１０を用いてカメラ画像内に映し出された障害物３０までの距離を計測することにより少なくとも障害物３０等の３次元立体形状を取得することにある。

ところで、距離計測装置１０は、その正面側に位置する障害物等の対象物体の３次元表面形状を、レーザ光を用いて３角測量法に従って自身の座標系（ｘ，ｙ，ｚ）で計測すると共に、該計測した対象物体の３次元形状を表す情報を出力して信号処理装置１１に送信するように構成される。即ち、距離計測装置１０は、レーザ光源（図示せず）から対象物体に向けて出射されるレーザ光の進行方向にほぼ垂直な仮想平面を想定すると共に、該仮想平面上にて互に直交するｘ軸方向及びｙ軸方向に沿って分割した多数の微小エリアを想定する。そして、距離計測装置１０は、上記多数の微小エリアにレーザ光を順次照射し、対象物体からの反射光によって上記微小エリアを規定する対象物体の表面までの距離をｚ軸方向距離として順次検出し、対象物体の表面を微小エリアに分割した各分割エリア位置を表わすｘ，ｙ，ｚ座標に関する情報（データ）を得て距離計測装置に面した対象物体の表面形状を計測するものである。従って、距離計測装置１０は、出射レーザ光の向きをｘ軸方向に変化させるｘ軸方向走査器（偏向器）（図示せず）と、出射レーザ光の向きをｙ軸方向に変化させるｙ軸方向走査器（偏向器）（図示せず）と、対象物体の表面から反射された反射レーザ光を受光して対象物体の表面までの距離を検出する距離検出器（図示せず）とを備えて構成される。距離検出器としては、出射レーザ光の光路に追従して回転し、対象物体の表面にて反射された反射レーザ光を集光する結像レンズ及び該集光したレーザ光を受光するＣＣＤなどの複数の受光素子を一列に配列したラインセンサからなり、ラインセンサによる反射光の受光位置によって対象物体の表面までの距離を検出できるように構成される。

次に、本発明に係るロボットシステム全体の処理の流れについて図２に示すフローチャートを用いて説明する。まず、オペレータ２５は入力装置２２を用いて遠隔地にある操縦システム２０から、ロボット本体システム１の移動型ロボット本体５に対してカメラ画像の取得を指示する（Ｓ１）。カメラ１３は常に最新の画像を取得し続けるものとして、その後、特に画像取得の指示を行う必要はない。オペレータ２５が入力装置２２を用いて画像取得を指示すると、該指示は操作情報２８として指示処理装置２１へ送信される。指示処理装置２１は、操作情報２８を通信形式の操作データに変換する。通常、通信情報量を削減するために指示処理装置２１にて情報の圧縮変換を行う。データを圧縮変換後、指示処理装置２１に具備された通信装置２７にデータが送信される。操縦システム２０の通信装置２７は、離れた地点にある移動型ロボット本体５に具備された通信装置８に対して情報を伝送する。このときの通信方式は、代表的には無線ＬＡＮなどが挙げられるが、これに限定するものではない。

移動型ロボット本体５の通信装置８はデータ受信後、連結されている信号処理装置１１へデータを送る。信号処理装置１１は、圧縮されたデータを解凍した後、指示対象の移動型ロボット本体５が動作できるようなデータに変換して移動型ロボット本体へ送信する。例えば、カメラ１３に画像取得指示を行う場合には、カメラ１３に対して取得指示が出され、カメラ１３は画像取得を実行する。取得した画像は画像処理装置１２へ送信され、圧縮などの変換が行われる。一般的に画像データの場合、操作情報に比べるとファイルサイズは大きなものとなる。さらに、画像取得頻度が時間当たりで多くなるよう設定すれば、通信量は膨大となる。従って、画像処理装置１２を信号処理装置１１とは別で利用することで、信号処理装置１１へかかる負荷を減らしている。ただし、画像ファイルサイズが非常に小さく、取得頻度も少ない場合、この限りではない。

カメラ１３で取得された画像データは画像処理装置１２で圧縮後、移動型ロボット本体５の通信装置８へ送信されて、操縦システム側の通信装置２７へ転送される。指示処理装置２１は圧縮された画像データを解凍し、画像情報２９として画像表示装置２３に表示する（Ｓ２）。

以上の処理の流れから、オペレータ２５は画像表示装置２３によりカメラ画像を観測することができる。このとき、カメラ画像のほかにカメラのステータス情報、例えばカメラ１３のパン・チルト／ズームなどの各数値が移動型ロボット本体５から送信されていれば、この情報もオペレータは確認することができる。ロボット本体及び具備された各装置をオペレータが操作し、取得した情報をフィードバックさせてオペレータが確認できる手順は同様の処理の流れとなる。これ以降、同様のデータフローについては省略する。

次に、カメラ画像表示後、距離計測装置１０のキャリブレーションを行う（Ｓ３）。図３にはキャリブレーション開始（Ｓ３１）からのフローを示す。キャリブレーションでは、距離計測装置１０が例えば障害物３０の３次元情報を計測する際の基本的な設定を行う。カメラ１３の水平方向視野角は既知であり、この視野角を距離計測装置１０の水平方向角度の最大値に割付けることで、距離計測装置１０での水平方向の３次元形状計測範囲が定まる（Ｓ３２）。次に、同様にカメラ１３の高さ−奥行方向（仰方向）視野角を距離計測装置１０の高さ方向角度の最大値に割付ける（Ｓ３３）。距離計測の範囲を決定した後、計測座標（微小エリア）の数を設定する。ここでは、水平方向座標数をｍ、高さ方向座標数をｎとして、計測座標数はｎ×ｍ点となる（Ｓ３４）。ｎおよびｍは、利用する距離計測装置に依存する場合もあるが、計測座標数が多いほど詳細な３次元形状を計測することができる。オペレータが座標数を指定するか、あらかじめ設定した値を読み込む。

キャリブレーション後、オペレータ２５は画像表示装置２３に映し出された画像を見ながら、入力装置２２にてマニピュレータ９及びカメラ１３の角度を変更する（Ｓ４）。マニピュレータ９は複数の関節軸を備え、関節軸に対して角度を指定すればその角度へ移動する。カメラ１３については、パン・チルト／ズーム機能を備えたものを利用すれば、オペレータは入力装置２２からカメラ１３の角度を変更可能となる。ただし、カメラ１３の角度を変更した場合、キャリブレーションをやり直す必要がある。その場合は、距離計測装置１０の計測範囲について、カメラ１３の角度変更分を加算すればよい。

この後、距離計測装置１０に対して距離計測を指示すれば（Ｓ５）、３次元形状の計測が開始される（Ｓ５１）。距離計測のフローを図４に示す。まず、距離計測装置１０は、カメラ画像の範囲内において、障害物３０の表面の座標までの距離Ｌと、マニピュレータ９のエンコーダから検出される各関節軸の角度から水平−奥行方向の角度αを計測する（Ｓ６）。計測される二つの値Ｌ，αについては、同時に得られるものとする。次に、これら値Ｌ，αと、マニピュレータ９のエンコーダから得られる高さ−奥行方向の角度βを基に、障害物３０の表面座標（ｘ，ｙ，ｚ)を計算する（Ｓ７）。

座標の計算フローを図５に示す。図５では、座標計算を開始すると（Ｓ７１）、図７に示すように距離計測装置１０によって計測される障害物３０までの直線距離Ｌ（Ｆ５）と、マニピュレータ９のエンコーダから得られる角度α（Ｆ３）を用いて、三角関数によって水平方向の座標ｘ＝−Ｌcosαを計算する（Ｓ７２）。座標ｘの値は、距離計測装置１０の計測結果から求めることができる。次に、マニピュレータ９のエンコーダから得られる角度β（Ｆ４）を用いて高さ方向の座標ｙ＝−Ｌcos（９０°−α）cosβを求める（Ｓ７３）。さらに、直線距離Ｌと角度βから、奥行方向の座標ｚ＝Ｌcos（９０°−α）sinβを求める（Ｓ７４）。βはマニピュレータ９の各関節軸の角度から既知である。例えば、信号処理装置１１はこれら計算結果として、障害物３０の表面の座標である（ｘ，ｙ，ｚ）をロボット本体５に設けられた記憶装置（図示せず）に保存する（Ｓ７５）。以上より、ロボット本体システム１のロボット本体５は障害物３０の座標を求め、記憶装置（図示せず）に記憶することができる。このときのイメージを図７に示す。９はマニピュレータで、その上に距離計測装置１０を具備し、ｘ−Ｌ平面上での水平軸とＬのなす角度αをＦ３、ｙ−ｚ平面上での高さ方向軸とＬのなす角度βをＦ４、直線距離をＦ５、障害物を３０、障害物表面の座標（ｘ，ｙ，ｚ）をＦ７、カメラを１３、障害物３０までの距離Ｌをｙ−ｚ平面に投影させたときの距離をＡ（Ｆ９）で示す。

図４に示すように、ステップＳ７の後、例えばロボット本体５の信号処理装置１１は座標を逐次計算して障害物３０の表面全体の形状を求める。障害物３０に対して、例えばｘ軸方向走査器（偏向器）を用いて水平方向に距離計測の対象座標を移動させる（Ｓ７６）。具体的には、例えばｘ軸方向走査器（偏向器）を用いて距離計測装置１０の放射する計測レーザ光の照射角度を変更する。水平方向の終端まで距離計測を行った後、例えばｙ軸方向走査器（偏向器）を用いて障害物３０に対して高さ方向に距離計測の対象座標を移動させる（Ｓ７７）。また、これは、マニピュレータ９の角度を高さ方向に動かすことでも実現することは可能である。あとは、高さ方向の終端まで同様の計測を繰り返す（Ｓ７８）。

以上、ロボット本体５の例えば信号処理装置１１で求まった障害物３０の表面座標（ｘ，ｙ，ｚ）の集合を、ロボット本体システム１から通信装置８及び２７を介して操縦システム２０の指示処理装置２１に送信することによって、画像表示装置２３に障害物３０の３次元の形状を表示することができる（Ｓ８）。なお、形状表示には、求まった３次元座標点同士を面として捉えるモデリング技法であるサーフェスモデルなどを利用することで視覚効果を高めることもできる。

さらに、画像表示装置２３に障害物と移動型ロボット本体との相対関係を３次元で表示することで、オペレータの操作性が向上する（Ｓ９）。図８（ｃ）に示すような移動型ロボット本体５についての３次元画像８２については、モデリングソフトなどを用いて、予め移動型ロボット本体５の形状を作成し、ロボット本体システム１に設けられた記憶装置（図示せず）又は操縦システム２０に設けられた記憶装置（図示せず）に記憶しておく。また、図８（ｃ）に示すようなマニピュレータ９の座標と障害物３０との相対位置は、マニピュレータ９と距離計測装置１０との相対的位置関係が決まっているので、距離計測装置１０を用いて計測される距離Ｌ、並びにマニピュレータ９のエンコーダから検出される水平−奥行方向の角度α、高さ−奥行方向の角度βを基に把握することが可能となる。また、マニピュレータ９の各関節軸はセンサ（エンコーダ）により既知であるため、移動型ロボット本体５の座標やマニピュレータ９の関節軸を含めた形状（配置も含む）は、例えば信号処理装置１１又は指示処理装置２１内のＣＰＵによって計算することが可能である。

次に、遠隔地にある操縦システム２０の指示処理装置２１は、カメラ画像を重畳するか否かを判断し（Ｓ１０）、重畳する場合には、図８（ａ）に示すカメラ１３で撮像したカメラ画像の上に、図８（ｂ）に示すロボット本体システム１から操縦システム２０に送信して画像表示装置２３に障害物３０や移動型ロボット本体５等の３次元形状を、図８（ｃ）に示すように重畳させて画像表示装置２３に表示する（Ｓ１１）。その後、オペレータ２５は画像表示装置２３に表示された重畳画像を見ながら、別の視点から障害物の外形情報を取得するか否かの判断を行い（Ｓ１２）、移動型ロボット本体５が視点を変えて障害物の外形情報を取得する（障害物の形状計測を行う）場合には、オペレータ２５が入力装置２２を用いて移動型ロボット本体５に対して視点を変える指示を出し、移動型ロボット本体５は該指示に従ってマニピュレータ９の角度を変更して、障害物３０の３次元形状計測を行って外形形状を取得して記憶装置（図示せず）に記憶する。そして、ロボット本体システム１から操縦システム２０に通信を用いて送信することによって、操縦システム２０の指示処理装置２１は、画像表示装置２３に別の視点からの障害物の外形情報（３次元形状）を表示することが可能となる。

以上説明したように、遠隔地にある操縦システム２０の画像表示装置２３において、移動型ロボット本体５のカメラ１３から取得した画像を３次元の障害物形状画像に重ねて表示することで、障害物の表面や周辺情報を詳しく把握することができる。即ち、図８（ｂ）に示す障害物レイヤーの上に図８（ａ）に示すカメラ画像レイヤーを重畳することによって図８（ｃ）に示す重畳画像が得られ、障害物の表面や周辺情報を詳しく把握することができる。

次に、重畳画像作成のフローについて図６を用いて説明する。即ち、重畳開始後（Ｓ１１１）、カメラ画像と３次元形状画像を対応付けるため、例えば距離計測装置１０の信号処理を行う信号処理装置１１とカメラ１３で撮像したカメラ画像の処理を行う画像処理装置１２との間において距離計測装置１０でのキャリブレーションで計算したｎ×ｍの計測座標を、カメラ１３で撮像したカメラ画像のサイズに均等に割り当てる（Ｓ１１２）。その後、例えば信号処理装置１１は、画像処理装置１２で処理するカメラ画像と同サイズの３次元空間において、例えば距離計測装置１０で計測した３次元座標をプロットする（Ｓ１１３）。次に、信号処理装置１１と画像処理装置１２との間においてカメラ画像を３次元プロット画像のテクスチャとして上に重ね合わせて重畳を行う（Ｓ１１４）。このように重ね合わされた重畳画像を移動型ロボット本体５から通信を用いて操縦システム２０の指示処理装置２１に送信することによって、画像表示装置２３は図８（ｃ）に示す重畳画像を表示することができることになる。これにより、オペレータ２５は、移動型ロボット本体と障害物の相対的な位置関係を把握し、全体像を見ながら入力装置２２を用いてマニピュレータ操作を行うための指示などを行うことができる。

以上説明したように、本実施の形態によれば、遠隔操作可能な移動型ロボットのマニピュレータを、遠隔地においてカメラ画像を見ながら操作することによって、障害物や調査対象物の表面画像と３次元形状とを把握することができるため、人が近づけないような危険地帯においても遠隔からロボット操作によって、人間に及ぶ危険を回避しながら安全に現地の詳細な３次元情報を収集することが可能となる。

本発明に係る遠隔操作可能なロボットシステムの実施の形態を示した概略構成図である。 本発明に係る３次元形状計測時のフローの一実施例を示す図である。 本発明に係る３次元形状計測時の初期設定のフローの一実施例を示す図である。 本発明に係る距離計測時のフローの一実施例を示す図である。 本発明に係る３次元形状計測時の座標計算フローの一実施例を示す図である。 本発明に係る画像重畳のフローの一実施例を示す図である。 本発明に係る３次元形状計測時のマニピュレータと障害物の位置関係を示す図である。 本発明に係る画像重畳のイメージを示す図である。

符号の説明

１…ロボット本体システム、５…移動型ロボット本体、８…通信装置、９…マニピュレータ、１０…距離計測装置、１１…信号処理装置、１２…画像処理装置、１３…カメラ、２０…操縦システム、２１…指示処理装置、２２…入力装置、２３…画像表示装置、２５…オペレータ、２７…通信装置、３０…障害物。

Claims (4)

1. カメラと距離計測装置を備えたマニピュレータを設置した移動型ロボットシステムと、入力装置と表示装置とを備えた操縦システムとの間を通信により送受信できるように構成し、前記移動型ロボットシステムの前記マニピュレータを前記操縦システムから前記通信を用いて遠隔操作する方法であって、
   前記カメラで撮像したカメラ画像の情報を前記移動型ロボットシステムから前記操縦システムに送信して前記カメラ画像を前記表示装置に表示する第１の表示過程と、
   該第１の表示過程で前記表示装置に表示されたカメラ画像を見ながら少なくとも障害物が前記カメラ画像内に映し出されるように、前記入力装置に入力された操作指示を前記操縦システムから前記通信によって前記移動型ロボットシステムに送信して前記マニピュレータを遠隔操作する操作過程と、
   該操作過程での前記マニピュレータの遠隔操作によって前記表示装置に表示されたカメラ画像内に映し出された少なくとも障害物についての３次元形状を前記距離計測装置により計測する計測過程とを有することを特徴とする移動型ロボットシステムにおけるマニピュレータ遠隔操作方法。
2. 更に、前記計測過程で計測した少なくとも障害物についての３次元形状の情報を前記移動型ロボットシステムから前記操縦システムに送信して前記障害物についての３次元形状を前記表示装置に表示する第２の表示過程を有することを特徴とする請求項１に記載の移動型ロボットシステムにおけるマニピュレータ遠隔操作方法。
3. 前記第２の表示過程において、前記表示装置に表示する前記障害物についての３次元形状に対して、前記第１の表示過程で前記表示装置に表示するカメラ画像を重ねて表示することを特徴とする請求項２に記載の移動型ロボットシステムにおけるマニピュレータ遠隔操作方法。
4. 前記第２の表示過程において、更に、前記移動型ロボットシステムにおける前記マニピュレータを含む移動型ロボット本体の３次元形状を重ねて表示することを特徴とする請求項３に記載の移動型ロボットシステムにおけるマニピュレータ遠隔操作方法。
   

Images