JP2012218120A - マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法 - Google Patents

Abstract

【課題】マニピュレーターの軌道を作業者に適切に提示する装置を提供する。
【解決手段】視点測定装置３によって得られた作業者の視点とマニピュレーター２の軌道とを用いて、予定推移の立体モデルからなる推移画像を作成し、作業者が装着した液晶表示装置４に表示する。液晶表示装置４は、マニピュレーター２と作業者の間に位置し、推移画像がマニピュレーター２に重ねて表示される。
【選択図】図１

Description

本発明は、マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法に関する。

作業者がマニピュレーターと同じ空間で作業を行うための研究開発が行われている。こうした環境では、作業者がマニピュレーターの動作を適切に認識することが、マニピュレーターと作業者との衝突といった危険を回避するための重要な課題となっている。

マニピュレーターの動作を予告する手段としては、警告灯や音声等による動作の警告が用いられているが、実際のマニピュレーターの動作を分かりやすく適切に告知することは難しい。

ハンドと把持対象物の相対位置を告知する手段として、マニピュレーターの手先に小型のプロジェクターを取り付け、マニピュレーターが動作に先立って、プロジェクターを通して把持対象物に投影光を照射することで、把持対象物を作業者に直感的に提示する方法が提案されている（特許文献１参照。）。
作業者にマニピュレーターの動作を予告することで、作業者は安全にマニピュレーターとの協調作業を行うことができる。

特許第３８４３３１７号公報

しかしながら、特許文献１に記載のマニピュレーター動作予告装置では、マニピュレーターの軌道を提示するものではなかった。作業者は、指定された把持対象物とマニピュレーターの現在位置から、その後のマニピュレーターの軌道を推測しなくてはならない。マニピュレーターが把持対象物まで動作する際に、（例えば特異点や障害物を避けるために）必ずしも直線軌道をとるとは限らない。

そこで、マニピュレーターの軌道を作業者に適切に提示する装置が求められていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例にかかるマニピュレーター動作予告装置は、可動部を有するマニピュレーターと、前記マニピュレーターの軌道を演算する軌道生成部と、作業者の視点を測定する視点測定部と、前記マニピュレーターの軌道の予定推移の立体モデルからなる推移画像を生成する画像生成部と、前記マニピュレーターと前記推移画像とを前記作業者に目視させる画像表示部と、を有し、前記画像表示部は前記作業者の目と前記マニピュレーターとの間に配置され、前記作業者が見ている前記マニピュレーターを前記予定推移の始点とする前記推移画像を表示することを特徴とする。

本適用例によれば、軌道生成部がマニピュレーターの予定推移を演算する。そして、画像生成部がマニピュレーターの軌道の予定推移の立体モデルからなる推移画像を生成する。さらに、視点測定部が作業者の視点を測定する。そして、作業者の目とマニピュレーターとの間に画像表示部が位置し、画像表示部は光透過性のスクリーンに推移画像を表示する。従って、作業者はマニピュレーターと推移画像とを両方見ることができる。そして、マニピュレーター動作予告装置は、作業者が見ているマニピュレーターを予定推移の始点とする推移画像を画像表示部に表示する。従って、マニピュレーター動作予告装置は、マニピュレーターの軌道予定推移を作業者に適切に提示することができる。

［適用例２］上記適用例に記載のマニピュレーター動作予告装置において、前記画像表示部は、前記作業者の顔面に装着され、前記視点測定部は前記画像表示部に設置されたことが好ましい。

本適用例によれば、画像表示部は作業者の顔面に装着されている。従って、画像表示部は作業者の視点と連動する。そして、視点測定部が画像表示部に設置されている為容易に作業者の視点位置を測定することができる。

［適用例３］本適用例にかかるロボットシステムは、上記に記載のマニピュレーター動作予告装置と、前記可動部を制御する制御部と、を備えたことを特徴とする。

本適用例によれば、ロボットシステムは可動部を制御する制御部を備えている。また、ロボットシステムは、作業者にマニピュレーターの移動予定位置の推移をわかりやすく提示するマニピュレーター動作予告装置を備えている。従って、ロボットシステムは可動部の軌道の予定推移を作業者に適切に提示することができる。

［適用例４］本適用例にかかるマニピュレーターの動作予告方法は、マニピュレーターの軌道を演算する軌道生成工程と、作業者の視点を測定する視点測定工程と、前記マニピュレーターの軌道の予定推移の立体モデルからなる推移画像を生成する画像生成工程と、前記推移画像を前記作業者に提示する画像表示工程と、を有し、前記画像表示工程では、前記作業者が見ている前記マニピュレーターを前記予定推移の始点とする前記推移画像を表示することを特徴とする

本適用例によれば、軌道生成工程においてマニピュレーターの軌道を演算する。視点測定工程では作業者の視点を測定する。画像生成工程ではマニピュレーターの軌道の予定推移の立体モデルからなる推移画像を生成している。画像表示工程では、作業者が見るマニピュレーターを予定推移の始点とするマニピュレーターの推移画像を表示している。これにより、マニピュレーターが見えている場所からの軌道予定推移を提示することができる。従って、作業者に対して、マニピュレーターの軌道を適切に提示することができる。

（ａ）は、実施形態にかかるマニピュレーター動作予告装置の構成を示す概略斜視図、（ｂ）は、作業者が装着する液晶表示装置の構成を示す模式正面図。 マニピュレーター動作予告装置の構成を示すブロック図。 （ａ）は、マニピュレーターの推移画像の提示方法を説明するための模式図、（ｂ）は、マニピュレーターの推移画像を示す模式図、（ｃ）は、作業者の視野にあるマニピュレーターとマニピュレーターの推移画像を合成した模式図。 マニピュレーター動作予告を行う工程の工程フロー図。

以下、本発明の実施形態について、図面を参照して説明する。尚、以下の各図においては、各部材を認識可能な程度の大きさにするため、各部材の尺度を実際とは異ならせしめている。

（実施形態）
図１（ａ）は、実施形態にかかるマニピュレーター動作予告装置の構成を示す概略斜視図である。図１（ａ）に示すように、マニピュレーター動作予告装置１０は、軌道生成部及び画像生成部としてのワークステーション１、視点測定部としての視点測定装置３、画像表示部としての液晶表示装置４とを備える。マニピュレーター２は可動部２ａと可動部２ａを動かす駆動部２ｂとを備えている。駆動部２ｂは電動モーターやエンコーダー等により構成されている。

ワークステーション１はマニピュレーター２の軌道を計算する軌道生成部及び、マニピュレーター２の立体モデルからなる推移画像を生成する画像生成部を備えている。液晶表示装置４は作業者５に装着され、マニピュレーター２の立体モデルからなる推移画像を作業者５に提示する。視点測定装置３は液晶表示装置４に設置され、作業者５の視点位置を測定する。マニピュレーター２は、ワークステーション１の制御に基づき、例えば、作業テーブル７上に置かれた対象物６を作業者５から受け取るといった協調動作を行う。

図１（ｂ）は、作業者が装着する液晶表示装置の構成を示す模式正面図である。図１（ｂ）に示すように、液晶表示装置４は作業者５の顔面に装着される。液晶表示装置４には一対の視点測定装置３が取り付けられており、視点測定装置３は作業者５の視点を測定する。視点測定装置３は撮像装置と演算装置とを備えている。そして、撮像装置が作業者５が見ている画像を演算装置に出力する。演算装置は撮影した画像から眼の位置を算出し作業者５の視点を測定する。そして、作業者５の視点をワークステーション１に送信する。液晶表示装置４は、ワークステーション１の画像生成部で生成されたマニピュレーター２の推移画像を作業者５に提示する。

視点測定装置３は、撮像装置に限定されない。撮像装置の他にも超音波、無線、ジャイロセンサー、地磁気センサー、加速度センサー等を使用して位置測定を行う。正確な位置測定を行うために、これらのセンサーを組み合わせても良い。

液晶表示装置４に取り付けられた視点測定装置３で視点の位置を正確に計測するために、液晶表示装置４はヘッドマウントディスプレイ（HMD）のような眼鏡型が好ましい。そして、液晶表示装置４は作業者５の目とマニピュレーター２との間に設置される。また、マニピュレーター２の推移画像と実際のマニピュレーター２を作業者５が同時に視認するために、液晶表示装置４の表示部分は光透過性のスクリーンとなっている。このスクリーンは半透明であることが好ましい。表示部が半透明でない場合は、液晶表示装置４にカメラを取り付け、作業者５の視点から見えるマニピュレーター２の撮影映像を取得し、マニピュレーター２の推移画像と重ねて表示しても良い。

いずれの方法においても、作業者５は、液晶表示装置４によりマニピュレーター２の推移画像と実際のマニピュレーター２とを同時に目視することができる。また、液晶表示装置４は作業者５の右目用のスクリーンと左目用のスクリーンを備えている。従って、作業者５は液晶表示装置４を見ることにより、立体像を視認することが可能になっている。

図２は、マニピュレーター動作予告装置の構成を示すブロック図である。図２に示すように、ワークステーション１はマニピュレーター２の軌道データを生成する軌道生成部２１０を有している。他にも、ワークステーション１はマニピュレーター２の軌道の予定推移の立体モデルからなる推移画像を生成する画像生成部２２０や、マニピュレーター２の行う一連の作業データを予め入力するための入力部２３０を有する。他にも、ワークステーション１はマニピュレーター２の軌道を決定する３次元幾何学モデルデータ及び、入力されたマニピュレーター２の行う一連の作業データ等を記憶する記憶部２４０を有する。さらに、ワークステーション１は、マニピュレーター２の軌道データを基に実際のマニピュレーター２を制御する制御部としてのマニピュレーター制御部２５０を備えている。

入力部２３０は、キーボード、マウス等から構成され、マニピュレーター２の一連の作業データを入力するのに使用される。

軌道生成部２１０は、入力部によってワークステーション１に入力された、マニピュレーター２の一連の作業データを基に、マニピュレーター２の軌道データを生成する。生成されたマニピュレーター２の軌道データは、記憶部に格納される。

画像生成部２２０は、記憶部２４０に格納されたマニピュレーター２の軌道データ及び、視点測定装置３によって測定した作業者５の視点の情報を用いて、マニピュレーター２の軌道の予定推移の立体モデルからなる推移画像を生成する。マニピュレーター２の軌道の予定推移の立体モデルからなる推移画像の生成は、生成したマニピュレーター２の軌道データを基に、実際のマニピュレーター２の動作より先行して動作する動作姿勢を表す立体モデルを描画することで行う。推移画像は、所定の時間間隔の間に移動する立体モデルの複数の画像を重ねた画像となっている。もしくは、推移画像は、所定の時間間隔の間に移動する立体モデルの動画でも良い。この際に、作業者５の視点を３D空間のカメラ視点とし、実際のマニピュレーター２の位置を始点とする推移姿勢をとった立体モデルを描画する。

マニピュレーター制御部２５０は、記憶部２４０に格納されているマニピュレーター２の軌道データを基に、実際のマニピュレーター２の制御を行う。視点測定装置３は画像生成部２２０と接続され、作業者５の視点を検出して画像生成部２２０に出力する。画像生成部２２０は液晶表示装置４と接続され、作業者５の視点の情報を用いてマニピュレーター２の推移画像を描画して液晶表示装置４に出力する。

図３（ａ）はマニピュレーターの推移画像の提示方法を説明するための模式図である。図３（ｂ）は、マニピュレーターの推移画像を示す模式図である。図３（ｃ）は、作業者の視野にあるマニピュレーターとマニピュレーターの推移画像を合成した模式図である。

図３（ａ）に示すように、作業者５は液晶表示装置４を装着し、マニピュレーター２を視野に捉えた状態でマニピュレーター２と協調作業を行う。図３（ｂ）に示すように、推移画像３１０は、視点測定装置３が検出した作業者５の視点とマニピュレーター２の軌道データを基に生成した、マニピュレーター２の軌道の予定推移の立体モデルからなる画像である。推移画像３１０は作業者５の右目用の画像と左目用の画像が描画される。そして、作業者５は２つの画像を各眼で見ることにより推移画像３１０を立体にみることができる。分かりやすくするために推移画像３１０には１つの立体モデルの像が描画されているが、時間の経過に従って移動する複数の画像を描画しても良く、動画にしても良い。複数の画像を表示することにより、推移が分かり難くなるときには１つ画像のみを表示しても良い。

図３（ｃ）に示すように、視認領域３２０には作業者５が視野に捉えている実際のマニピュレーター２と液晶表示装置４に表示されている推移画像３１０とが同時に見えている。推移画像３１０は、マニピュレーター２の設置位置を共有したマニピュレーター２の次の動作姿勢を描画した画像である。作業者５は、視認領域３２０を見ているため、マニピュレーター２が次にどのような姿勢をとるかを直感的に理解することができる。

図４は、マニピュレーター動作予告を行う工程の工程フロー図である。まず、マニピュレーター動作予告装置１０及びマニピュレーター２の電源を入れシステムを起動する。次に、作業データ入力工程を行う。この工程ではマニピュレーター２の手先の座標や作業対象物の座標等の作業データを作業者５が入力部２３０を用いて入力する。（Ｓ１０）実際にマニピュレーター２を動作させるためには、決められた座標間を繰り返し動作する方法と、片方の座標を固定しカメラの画像等から動的に座標を求める方法等がある。いずれの場合もマニピュレーター２の手先座標、もしくは各アクチュエーターの動作データ等のデータの入力が必要になる。

次に、軌道生成工程を行う。この工程では入力された各種データと記憶部２４０に格納されているマニピュレーター２の３次元幾何学モデルを示す座標データを用いて、軌道生成部２１０がマニピュレーター２の軌道を計算する。（Ｓ２０）生成されたマニピュレーター２の軌道データは、記憶部２４０に格納される。マニピュレーター２の軌道データの生成方法は、従来から良く知られている公知のアルゴリズムを使用できるため、説明を省略する。

次に、視点測定工程を行う。この工程では視点測定装置３が作業者５の視点を測定する。（Ｓ３０）そして、視点測定装置３は測定した視点の情報を無線または有線でワークステーション１の画像生成部２２０に出力する。

次に、画像形成工程を行う。この工程では記憶部２４０に格納されているマニピュレーター２の軌道データと視点測定装置３が測定した作業者５の視点のデータとを用いてマニピュレーター２の立体モデルが推移する推移画像を画像生成部２２０が生成する。（Ｓ４０）立体モデルを描画する際には、実際のマニピュレーター２を動作させる軌道データより先の軌道データを用いる。生成したマニピュレーター２の推移画像は、液晶表示装置４に送られる。

次に、画像表示工程を行う。この工程では画像生成部２２０が作成したマニピュレーター２の推移画像を液晶表示装置４が表示する。（Ｓ５０）このとき、推移画像は実際のマニピュレーター２の像と先行する動作をしたマニピュレーター２の姿勢の像を表示し、作業者５に視認される。つまり、作業者５が見るマニピュレーター２を予定推移の始点とする推移画像を表示する。

次に、マニピュレーター作動工程を行う。この工程ではマニピュレーター制御部２５０が実際にマニピュレーター２を動作させる。（Ｓ６０）このとき、マニピュレーター２は画像表示工程で示した推移画像と同じ動作を行う。

次に、終了判定工程を行う。この工程ではステップＳ１０の作業データ入力工程で入力した作業データに対応する動作をマニピュレーター２が完了しているかの判定を行う。（Ｓ７０）終了していないので継続する場合はステップＳ３０に戻りステップＳ３０〜ステップＳ７０を繰り返す。終了する場合は、作業を終了する。

上述したように、本実施形態によれば、以下の効果を有する。
（１）本実施形態によれば、マニピュレーター動作予告装置１０は、作業者５が見るマニピュレーター２を予定推移の始点とする推移画像を液晶表示装置４に表示する。従って、マニピュレーター動作予告装置１０は、マニピュレーター２の軌道予定推移を作業者５に適切に提示することができる。

（２）本実施形態によれば、液晶表示装置４は作業者５の顔面に装着されている。従って、液晶表示装置４は作業者５の視点と連動する。そして、視点測定装置３が液晶表示装置４に設置されている為容易に作業者５の視点を測定することができる。

（３）本実施形態によれば、ロボットシステムは可動部２ａを制御するマニピュレーター制御部２５０を備えている。これにより、マニピュレーターは可動部２ａに所定の動作をさせることができる。そして、ロボットシステムは、作業者５にマニピュレーター２の移動予定位置の推移をわかりやすく提示するマニピュレーター動作予告装置１０を備えている。従って、ロボットシステムは可動部２ａの軌道の予定推移を作業者５に適切に提示することができる。

尚、本発明本実施形態は上述した実施形態に限定されるものではなく、種々の変更や改良を加えることも可能である。変形例を以下に述べる。
（変形例１）
前記実施形態では、マニピュレーター２に垂直多関節ロボットを採用したが、マニピュレーター２の形態に限定されない。水平多関節ロボット、直交ロボット、パラレルリンクロボット等各種の形態のロボットを採用することができる。

１…軌道生成部および画像生成部としてのワークステーション、２…マニピュレーター、２ａ…可動部、３…視点測定部としての視点測定装置、４…画像表示部としての液晶表示装置、５…作業者、１０…マニピュレーター動作予告装置、２１０…軌道生成部、２２０…画像生成部、２５０…制御部としてのマニピュレーター制御部。

Claims (4)

1. 可動部を有するマニピュレーターと、
   前記マニピュレーターの軌道を演算する軌道生成部と、
   作業者の視点を測定する視点測定部と、
   前記マニピュレーターの軌道の予定推移の立体モデルからなる推移画像を生成する画像生成部と、
   前記マニピュレーターと前記推移画像とを前記作業者に目視させる画像表示部と、を有し、
   前記画像表示部は前記作業者の目と前記マニピュレーターとの間に配置され、前記作業者が見ている前記マニピュレーターを前記予定推移の始点とする前記推移画像を表示することを特徴とするマニピュレーター動作予告装置。
2. 請求項１に記載のマニピュレーター動作予告装置において、
   前記画像表示部は、前記作業者の顔面に装着され、前記視点測定部は前記画像表示部に設置されたことを特徴とするマニピュレーター動作予告装置。
3. 請求項１または２に記載のマニピュレーター動作予告装置と、
   前記可動部を制御する制御部と、
   を備えたことを特徴とするロボットシステム。
4. マニピュレーターの軌道を演算する軌道生成工程と、
   作業者の視点を測定する視点測定工程と、
   前記マニピュレーターの軌道の予定推移の立体モデルからなる推移画像を生成する画像生成工程と、
   前記推移画像を前記作業者に提示する画像表示工程と、を有し、
   前記画像表示工程では、前記作業者が見ている前記マニピュレーターを前記予定推移の始点とする前記推移画像を表示することを特徴とするマニピュレーター動作予告方法。

Images