JP2014004656A

JP2014004656A - マニピュレーションシステム

Info

Publication number: JP2014004656A
Application number: JP2012142024A
Authority: JP
Inventors: Yoshiyuki Sankai; 海嘉之山
Original assignee: University of Tsukuba NUC
Current assignee: University of Tsukuba NUC
Priority date: 2012-06-25
Filing date: 2012-06-25
Publication date: 2014-01-16
Anticipated expiration: 2032-06-25
Also published as: JP5974668B2

Abstract

【課題】操作性の良いマニピュレーションシステムを提供する。
【解決手段】マニピュレーションシステムは、マスタアーム装置１と、スレーブアーム装置２と、スレーブアーム装置２を撮影する撮像装置３と、撮像装置３により撮影された映像を表示する表示装置４とを備える。装着者０の生体電位信号を検出して関節トルクを推定しマスタアームを動作させることで、マスタアームに装着者０の腕・筋肉の特性をリアルタイムに反映させる。また、生体電位情報に基づく生体電位可変インピーダンス制御により、変位出力がない関節剛性を高め、直感的でしなやかな動作を実現し、マスタアーム装置１と装着者０をシームレスに接続し、装着者０がロボットアームを自分の腕のように動かすことができるようにする。また、撮像装置３はステレオカメラであり、立体視することができる。
【選択図】図１

Description

本発明は、マスタスレーブ型のマニピュレーションシステムに関する。

ロボット工学やバーチャルリアリティの分野において、システムに人間を組み込んだマスタスレーブ型マニピュレーションシステムに関する様々な研究が行われている。例えば、マスタ側のオペレータの技能的な操作をスレーブ側のロボットアームに伝達し、あたかもオペレータが遠隔地にいるような高度な臨場感をもってスレーブ部を操作するテレイグジスタンスに関する研究が挙げられる（例えば非特許文献１参照）。

従来のマスタスレーブ型マニピュレーションシステムでは、マスタアームがオペレータの運動意思を腕の変位として読み取る。オペレータの運動意思は、神経を伝わり、筋を収縮させ、関節トルクを発生した後に、腕の変位となる。従って、マスタアームにオペレータの運動意思が伝わるまでに時間のずれが発生し、また、変位として出力されない動作には適応できなかった。このことにより、オペレータはスレーブアームを自分の腕と同じように思い通りに動かすことができず、操作に違和感をおぼえるという問題があった。

また、マスタスレーブ型マニピュレーションシステムにおけるオペレータへの情報伝達では、力覚提示といった体性感覚へのフィードバックだけでなく、空間認識の大部分を占める視覚への的確なビジュアルフィードバックが求められている。

S.Tachi, T.Sakai, "Impedance controlled master-slave manipulation system. Part1. Basic concept and application to the system with a time delay", Advanced Robotics, Vol.6, No.4, 1992, pp483-503

本発明はこのような点を考慮してなされたものであり、視覚情報による操作アシストを行い操作性の向上したマニピュレーションシステムを提供することを目的とする。

本発明の一態様によるマニピュレーションシステムは、装着者に装着されるマスタアーム装置と、スレーブアーム装置と、前記スレーブアーム装置を撮影する撮像装置と、前記撮像装置により撮影された映像を表示する表示装置とを備えるマニピュレーションシステムであって、前記マスタアーム装置は、前記装着者の肩関節及び肘関節の動作に対応する筋活動に伴う生体電位信号を検出する生体電位センサと、前記装着者の肩関節及び肘関節の角度を検出する第１角度センサと、前記装着者に対して動力を付与する第１駆動源と、前記生体電位信号に基づいて前記駆動源を制御し、前記第１角度センサの検出結果からマスタアームの位置情報を算出する第１制御部と、前記マスタアームの位置情報及び前記生体電位信号に基づくインピーダンス情報を送信する第１通信部と、を有し、前記スレーブアーム装置は、スレーブアームに加わる力を検出する力覚センサと、前記スレーブアームを動作させる第２駆動源と、前記スレーブアームの関節角度を検出する第２角度センサと、前記第１通信部から受信した前記位置情報、前記インピーダンス情報、及び前記力覚センサの検出結果に基づいて前記第２駆動源を制御し、前記第２角度センサの検出結果から前記スレーブアームの位置情報を算出する第２制御部と、前記スレーブアームの位置情報及び前記力覚センサの検出結果を前記第１通信部へ送信する第２通信部と、を有し、前記第１制御部は前記第２通信部から受信した前記力覚センサの検出結果に基づいて前記第１駆動源を制御し、前記撮像装置は複数のレンズを有するステレオカメラである。

本発明の一態様によるマニピュレーションシステムにおいては、前記撮像装置は、前記スレーブアームの位置情報に基づいて、前記複数のレンズの向きを制御することが好ましい。

本発明の一態様によるマニピュレーションシステムにおいては、前記装着者の頭の動きを計測する頭部センサをさらに備え、前記撮像装置は、前記頭部センサの計測結果に基づいて、ピッチ角、ロール角、及びヨー角を調整して姿勢を制御することが好ましい。

本発明の一態様によるマニピュレーションシステムにおいては、前記スレーブアームの進入を禁止する進入禁止領域の情報を受け付ける入力インタフェースをさらに備え、前記第１制御部は、前記スレーブアームの位置情報から前記スレーブアームが前記進入禁止領域に進入しないように前記第１駆動源を制御することが好ましい。

本発明の一態様によるマニピュレーションシステムにおいては、前記ディスプレイは、前記進入禁止領域を前記撮像装置により撮影された映像に重ねて表示することが好ましい。

本発明によれば、オペレータの生体電位情報を用いてロボットアームのインピーダンスを動的に変化させ、かつ視覚情報による操作アシストを行うことで、マニピュレーションシステムの操作性を向上させることができる。

本実施形態に係るマニピュレーションシステムの外観斜視図である。同実施形態に係るマスタアーム装置の概略構成図である。同実施形態に係るスレーブアーム装置の概略構成図である。同実施形態に係る撮像装置の概略構成図である。ディスプレイに表示される進入禁止領域の一例を示す図である。同実施形態に係るマニピュレーションシステムのブロック構成図である。同実施形態による生体電位可変インピーダンス制御を導入したバイラテラル制御手法におけるブロック図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本実施形態に係るマニピュレーションシステムの外観斜視図である。このマニピュレーションシステムはマスタスレーブ型のマニピュレーションシステムであり、オペレータ（装着者）０が装着して操作を行うマスタアーム装置１と、装着者０から離れた場所に設けられ実際に作業を行うスレーブアーム装置２と、撮像装置３とを備えている。マスタアーム装置１とスレーブアーム装置２は双方向に通信を行い、装着者０のマスタアーム操作がスレーブアームの動作に反映されるようになっている。また、撮像装置３はスレーブアーム装置２側に設けられており、撮像装置３により撮影された映像がディスプレイ４により装着者０に提示されるようになっている。ディスプレイ４は、装着者０に映像を提示できるものであれば何でもよく、例えば図１に示すようにヘッドマウントディスプレイを用いることができる。

図２は、マスタアーム装置１が装着者０に装着された状態を示している。図２では、装着者０の右腕部分に対応するマスタアーム装置１の右上半部が示されている。マスタアーム装置１は、その左上半部にも右上半部と同様の構成を有する。

図２に示すように、マスタアーム装置１は、体幹部材１３１と、上腕部材１３２と、前腕部材１３３とを有している。体幹部材１３１は、装着者０の胴体に装着される。上腕部材１３２は、装着者０の上腕部に沿って延び、装着者０の上腕部に装着される。また、前腕部材１３３は、装着者０の前腕部に沿って延び、装着者０の前腕部に装着される。

体幹部材１３１と上腕部材１３２との間に第１肩関節機構１３４が設けられており、体幹部材１３１と上腕部材１３２とは第１肩関節機構１３４を介して互いに回動可能に連結されている。また、上腕部材１３２と前腕部材１３３との間に肘関節機構１３５が設けられており、上腕部材１３２と前腕部材１３３とは肘関節機構１３５を介して互いに回動可能に連結されている。また、体幹部材１３１に覆われているため図２には示されていないが、装着者０の肩の部分には第２肩関節機構が設けられている。第１肩関節機構１３４が垂直方向に沿って回動するのに対し、第２肩関節機構は水平方向に沿って回動する。このように、マスタアーム装置１は、肩関節２自由度、肘関節１自由度を有している。

図２に示すように、マスタアーム装置１には、屈曲側生体電位センサ１３６と、伸展側生体電位センサ１３７とが設けられている。上腕部材１３２は、上腕骨に沿って配置され、肘関節に近い側及び遠い側に２箇所に設けられたバンド等で上腕部に固定されている。前腕部材１３３は、尺骨又は橈骨に沿って配置され、肘関節に近い側及び遠い側の２箇所に設けられたバンド等で前腕部に固定されている。

また、上腕部材１３２と前腕部材１３３とを連結する駆動ユニット１３８は、角度センサ、アクチュエータ（駆動源）、及びトルクセンサが内蔵されている。このトルクセンサには、例えば、アクチュエータに供給される電流値を検出し、この電流値をアクチュエータに固有となるトルク定数に乗じることによって駆動トルクの検出を行うもの等を適用することができる。また、角度センサにはロータリーエンコーダ等を適用することができる。

屈曲側生体電位センサ１３６は、図２に示すように肘関節の屈曲動作のときに随意筋として主に働く上腕二頭筋及び上腕筋に対応する体表面に貼り付けられ、筋電位を検出する。また、伸展側生体電位センサ１３７は、図２にしめすように肘関節の伸展動作のときに随意筋として主に働く上腕三頭筋に対応する体表面に貼り付けられ、筋電位を検出する。

上述した駆動ユニット１３８は、第１肩関節機構１３４及び第２関節機構にも設けられている。また、マスタアーム装置１は、肩関節の屈曲・伸展動作、外転・内転動作のときに随意筋として主に働く三角筋及び大胸筋に対応する体表面に貼り付けられる生体電位センサ（図示せず）を有している。

また、マスタアーム装置１は、装着者０の背中に装着される制御ユニット１１９を有し、例えばホストコントローラ、モータドライバ、計測装置、電源回路、通信装置等の機器が収納される。ホストコントローラへは、外部のコンピュータからＴＣＰ／ＩＰを用いて操作が可能となっている。生体電位センサにより計測された情報は、計測装置のＡ／Ｄコンバータによりデジタル化され、ホストコントローラへ送られる。ホストコントローラは、送られた情報に基づいて駆動ユニット１３８の出力を決定し、駆動ユニット１３８を駆動させる。通信装置は、ＴＣＰ／ＩＰを用いて、スレーブアーム装置２と通信を行うことができる。また、通信装置はディスプレイ４と通信を行うことができてもよい。

図３は、スレーブアーム装置２の概略構成を示している。本実施形態では、スレーブアーム装置２として７軸ロボットアームを用いるが、スレーブアーム装置２に適用できるロボットアームはこれに限定されない。スレーブアーム装置２には８つのアクチュエータが設けられ、第１〜第３アクチュエータが旋回動作を行い、第４〜第７アクチュエータが屈曲・伸展動作を行う。また、第８アクチュエータは、スレーブアーム装置２のアーム先端に取り付けられている把持動作用グリッパ２０１の開閉動作を行う。スレーブアーム装置２の各関節には関節角度センサが設けられており、各関節の関節角度、角速度、及び角加速度が取得できるようになっている。また、アームの先端部には６軸力覚センサ２０２が設けられており、先端部に加わる並進及び回転力が検出されるようになっている。

スレーブアーム装置２は図示しない制御ユニットを備えている。制御ユニットは、関節角度センサの検出結果や、６軸力覚センサの検出結果を取得する。また、制御ユニットは、第１〜第８アクチュエータを制御して、スレーブアーム装置２の動作を制御する。また、制御ユニットは通信装置を有しており、マスタアーム装置１とデータ通信することができる。

次に、マスタアーム装置１とスレーブアーム装置２との通信方式及び通信データの内容について説明する。本実施形態ではプロトコルとしてＴＣＰ／ＩＰを使用する。ＴＣＰ／ＩＰには、ＴＣＰとＵＤＰの２種類のトランスポートプロトコルがある。ＴＣＰを用いた通信では、パケット毎に送信、応答確認が行われるため、送信パケット又は応答確認パケットの消失により通信が一時停止し得る。特に、サイズが大きいデータは再送手続きが複数回行われることがあり、この間は、データが届かず制御が停止する。データ転送サイクルは、ネットワーク上でパケットが往復する時間が限界となる。

一方、ＵＤＰでは、送信側は単にデータを送信し、受信側は届いたデータを受信するのみである。すなわち、応答確認を行われないため、パケットの損失やデータの順序が保証されない代わりに、ネットワーク上での転送時間に制限されない。ＵＤＰを用いた通信は、ＴＣＰを用いた通信と比較して、転送停止期間を短くできるため、本実施形態では、ＵＤＰを用いて通信を行うものとする。

本実施形態によるマスタスレーブ型のマニピュレーションシステムにおける通信データ配列は以下のようになっている。

｛シンクロ用データ；Ｘ移動量；Ｙ移動量；Ｚ移動量；Ｘ回転量；Ｙ回転量；Ｚ回転量；グリッパ開閉データ；ｉインピーダンスデータ；エラーチェック検算用データ｝
Ｘ移動量、Ｙ移動量、Ｚ移動量はそれぞれＸ軸方向、Ｙ軸方向、Ｚ軸方向の移動量を示している。また、Ｘ回転量、Ｙ回転量、Ｚ回転量は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の回転量を示している。グリッパ開閉データは、把持動作用グリッパ２０１の開閉動作に対応している。

本実施形態では、関節角度データではなく、手先位置座標データを用いてアームの制御が行われる。マスタアーム装置１とスレーブアーム装置２とが相似形（同じ自由度）であれば、各関節が１対１対応する。しかし、マスタアーム装置１とスレーブアーム装置２のタイプが異なる（自由度が異なる）場合、各関節の対応付けが困難となる。そのため、本実施形態では、手先位置座標データを用いてアームの制御を行う。このことにより、作業に応じてスレーブアームを自由に選択し、スレーブアームの自由度が変わった場合であっても、アームの制御を行うことができる。

また、手先位置座標データは、絶対座標におけるデータではなく、手先位置移動量のデータとする。マスタアーム装置１からスレーブアーム装置２へ送信するデータは絶対座標値データではなく、手先位置の移動量を送信データとして用いることで、データの欠損等により受信側でエラー処理が出来ない場合であっても、大きな移動量とはならないため、スレーブアーム装置２の異常動作を防止することができる。また、マスタアーム装置１及びスレーブアーム装置２の移動量対応関係の比率を１：１ではなく、１：２や２：１に変化させることで、細かな作業や大きな移動を伴う作業にも柔軟に対応でき、操作性を確保することができる。

図４は、撮像装置３の概略構成を示している。撮像装置３は、所定間隔を空けて配置された複数（この例では２つ）のレンズ３０１、３０２を備えたステレオカメラである。撮像装置３は、レンズ３０１、３０２で作業空間を同時に撮影し、各レンズにより得られた物体の画像上での映る位置の違い（視差）から、その物体の位置や立体的な形状を認識して深度情報を取得する。そして、左右にずれた２重像のうち左側映像は装着者０の左目だけに見えるようにし、右側映像を装着者０の右目だけに見えるようにすることで、装着者０に対して作業空間の立体映像を提示する。

図４に示すように、撮像装置３はロール角（ｘ軸回りの回転運動の角度）、ピッチ角（ｙ軸回りの上下振り角度）、ヨー角（ｚ軸回りの左右振りの角度）を調整して姿勢を制御することができる。撮像装置３の姿勢は、装着者０の頭部の動きや姿勢の検出結果に基づいて制御される。例えば、ジャイロセンサを組み込んだ頭部センサを装着者０の頭部に装着することで、装着者０の頭部の動きや姿勢が検出される。頭部センサを、図１に示すヘッドマウントディスプレイ４に設けてもよい。

また、撮像装置３は、レンズ３０１、３０２の光軸方向を調整して、輻輳角（輻輳点の位置）を制御することができる。輻輳角は、撮像装置３からスレーブアーム装置２の把持動作用グリッパ２０１までの距離に応じて動的に調整され、把持動作用グリッパ２０１に焦点位置が合うようになっている。

また、本実施形態によるマニピュレーションシステムでは、スレーブアーム装置２が作業対象等に衝突することを防止するために、ＯＳＤ技術及びＡＲ技術を用いて、現実空間に作用する仮想壁を指示し、スレーブアーム装置２の動作範囲を制限する。例えば、図示しない入力インタフェースを用いて、スレーブアーム装置２が進入してはいけない進入禁止領域を入力する。図５に示すように、進入禁止領域の情報は、撮像装置３により撮影された画像に重ね合わせてディスプレイに提示することができる。

図６は、本実施形態に係るマニピュレーションシステムのブロック構成図である。マスタアーム装置１の生体電位センサ１１は、図２の生体電位センサ１３６、１３７に対応しており、角度センサ１２及びアクチュエータ１３は、図２の駆動ユニット１３８に設けられている。また、コントローラ１４及び通信装置１５は、図２の制御ユニット１１９に設けられている。

スレーブアーム装置２１の力覚センサは、図３の６軸力覚センサ２０２に対応している。関節角度センサ２２は、図３に示すスレーブアーム装置２のアームの各関節に設けられている。アクチュエータ２３は、図３に示すスレーブアーム装置２のアームの旋回動作、屈曲・伸展動作、把持動作用グリッパ２０１の開閉動作を行う。コントローラ２４及び通信装置２５は、上述したスレーブアーム装置２の制御ユニットに設けられている。

装着者０の腕は、体調、環境、筋肉の筋張力によって動的にインピーダンスが変化している。従って、ロボットアームを自分の腕のように動かすためには、ロボットアームのインピーダンスを動的に変化させる必要がある。本実施形態では、装着者０の生体電位情報に着目して、装着者０の直感動作が随意的にロボットのインピーダンスとして表現できる生体電位可変インピーダンス制御が行われる。

生体電位可変インピーダンス制御では、装着者０の生体電位情報に着目して、ロボットアームの特性を随意に制御できるようにアーム剛性の仮想インピーダンスを算出する。インピーダンス制御における手先位置での方程式は以下の数式１で示される。

ここで、Ｆは外力、Ｍは慣性項、Ｄは粘性項、Ｋは剛性項といったインピーダンスである。また、Ｐは位置、Δｔはサンプリングタイムを示す。

以下の数式２は、数式１の剛性項を、生体電位情報に基づいたものに変更した生体電位可変インピーダンス制御式を示す。

生体可変剛性マトリクスＫ_ＢＥＳは以下の数式３で算出される。

数式３において、Ｆ_ＢＥＳ０〜Ｆ_ＢＥＳ２は生体電位情報、ｋ_０〜ｋ_２は調整用ゲイン、Ｋ_０〜Ｋ_２はオフセット調整項である。本実施形態では、図２に示すように３関節（肩２、肘１）における生体電位情報を用いているため、生体可変剛性マトリクスＫ_ＢＥＳは３×３マトリクスとなっている。また、生体電位情報Ｆ_ＢＥＳは以下の数式４で求められる。

数式４において、ｗはバランスゲイン、Ｅ_ｆは屈曲時の生体電位信号、Ｅ_ｅは伸展時の生体電位信号である。

このような生体電位可変インピーダンス制御を取り入れたマスタスレーブ型マニピュレーションシステムの動作を、図６を用いて説明する。

撮像装置３により撮影されたスレーブアーム装置２及び対象物の映像がディスプレイ４に提示される。撮像装置３は、頭部センサ６が計測した装着者０の頭部の動きに合わせて姿勢が制御される。頭部センサ６の計測結果は、マスタアーム装置１の通信装置１５が撮像装置３へ送信してもよいし、別の通信装置が撮像装置３へ送信してもよい。撮像装置３は、通知された頭部センサ６の計測結果に基づいて、ロール角、ピッチ角、ヨー角を調整して、姿勢を制御する。なお、スレーブアーム装置２の進入禁止領域の情報（例えば座標情報）が入力インタフェース５を介してコントローラ１４に与えられている。コントローラ１４は、進入禁止領域を、撮像装置３の撮影画像に重ね合わせてディスプレイ４に提示する。装着者０は、ディスプレイ４に提示された映像を見て、スレーブアーム装置２を所望の方向に動かすべく、腕等の運動を開始する。

マスタアーム装置１の生体電位センサ１１は、装着者０の生体電位信号を検出し、コントローラ１４に渡す。コントローラ１４は、受け取った生体電位信号から関節トルク情報を取得し（関節トルクを推定し）、アクチュエータ１３を制御してマスタアーム装置１を動作させる。角度センサ１２は、この動作によるマスタアーム装置１のアームの各関節の変位を検出する。コントローラ１４は、各関節の変位からアームの手先位置情報（手先位置の移動量）を算出する。また、コントローラ１４は、数式３、４に基づいて、生体電位信号から生体可変剛性マトリクスＫ_ＢＥＳを算出する。通信装置１５は、算出された手先位置情報及びインピーダンス情報（生体可変剛性マトリクスＫ_ＢＥＳ等）をスレーブアーム装置２の通信装置２５へ送信する。

通信装置２５は、通信装置１５から受信した手先位置情報及びインピーダンス情報をコントローラ２４に渡す。コントローラ２４は、受け取ったインピーダンス情報をスレーブアーム装置２に適用し、手先位置の移動量及び力覚センサ２１により得られた力情報に基づいて、アクチュエータ２３を制御し、スレーブアームの手先位置の追従を行う。コントローラ２４は、関節角度センサ２２の検出結果からスレーブアームの手先位置情報（手先位置の移動量）を算出する。そして、通信装置２５が、力情報及び手先位置情報（手先位置の移動量）をマスタアーム装置１の通信装置１５へ送信する。

マスタアーム装置１のコントローラ１４は、通信装置１５を介して受信した力情報からヤコビアンを用いて、手先力を各関節トルクに変換し、さらに位置偏差を用いて、アクチュエータ１３を制御し、装着者０に力覚フィードバックを行う。また、スレーブアームの手先位置情報から、スレーブアーム装置２が設定されている進入禁止領域に進入しないようにアクチュエータ１３を制御し、装着者０の腕の位置を調整する。また、このマニピュレーションシステムでは、撮像装置３及びディスプレイ４を用いた視覚フィードバックにより、アームの手先位置の絶対座標のフィードバック制御が行われる。

通信装置１５は、スレーブアームの手先位置情報を撮像装置３に通知する。撮像装置３は、通知されたスレーブアームの手先位置情報に基づいて輻輳角を調整する。

図７は、本実施形態による生体電位可変インピーダンス制御を導入したバイラテラル制御手法におけるブロック図である。図７におけるＢＥＳ可変インピーダンスコントロールモデルが、生体電位可変インピーダンス制御における仮想インピーダンスを実現する物理モデルとなる。このモデルにおけるインピーダンスを制御することで、マスタアーム装置１の各アーム特性を自由に設定できるようになる。

このように、生体電位信号を検出して関節トルクを推定しマスタアームを動作させることで、マスタアームに装着者０の腕・筋肉の特性をリアルタイムに反映することができる。また、マスタアーム装置１とスレーブアーム装置２との間で送受信するデータを、関節角度データでなく、手先位置座標の移動量とすることで、マスタアーム装置１とスレーブアーム装置２とでタイプ（自由度）が異なる場合でも、容易に制御を行うことができ、汎用性・操作性を高めることができる。

また、生体電位情報に基づく生体電位可変インピーダンス制御により、変位出力がない関節剛性を高めるといった動作の制御が可能となり、直感的でしなやかな動作を行うことができる。また、ロボットのインピーダンス調整を装着者０自身が、意識や特別な操作を必要とすることなく、直感的に行うことができ、マスタアーム装置１と装着者０をよりシームレスに接続することができる。装着者０は、ロボットアームを自分の腕のように動かすことができる。

さらに、スレーブアーム装置２が予め設定された領域内に進入しないように制御することができる。

このように本実施形態によれば、オペレータの生体電位情報を用いてロボットアームのインピーダンスを動的に変化させ、視覚情報による操作アシストを行うことで、マニピュレーションシステムの操作性を向上させることができる。

上記実施形態では、コントローラ１４が進入禁止領域をディスプレイ４に提示していたが、外部コンピュータが行ってもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１マスタアーム装置
２スレーブアーム装置
３撮像装置
４ディスプレイ
５入力インタフェース
６頭部センサ
１１生体電位センサ
１２角度センサ
１３アクチュエータ
１４コントローラ
１５通信装置
２１力覚センサ
２２関節角度センサ
２３アクチュエータ
２４コントローラ
２５通信装置

Claims

装着者に装着されるマスタアーム装置と、スレーブアーム装置と、前記スレーブアーム装置を撮影する撮像装置と、前記撮像装置により撮影された映像を表示する表示装置とを備えるマニピュレーションシステムであって、
前記マスタアーム装置は、
前記装着者の肩関節及び肘関節の動作に対応する筋活動に伴う生体電位信号を検出する生体電位センサと、
前記装着者の肩関節及び肘関節の角度を検出する第１角度センサと、
前記装着者に対して動力を付与する第１駆動源と、
前記生体電位信号に基づいて前記駆動源を制御し、前記第１角度センサの検出結果からマスタアームの位置情報を算出する第１制御部と、
前記マスタアームの位置情報及び前記生体電位信号に基づくインピーダンス情報を送信する第１通信部と、
を有し、
前記スレーブアーム装置は、
スレーブアームに加わる力を検出する力覚センサと、
前記スレーブアームを動作させる第２駆動源と、
前記スレーブアームの関節角度を検出する第２角度センサと、
前記第１通信部から受信した前記位置情報、前記インピーダンス情報、及び前記力覚センサの検出結果に基づいて前記第２駆動源を制御し、前記第２角度センサの検出結果から前記スレーブアームの位置情報を算出する第２制御部と、
前記スレーブアームの位置情報及び前記力覚センサの検出結果を前記第１通信部へ送信する第２通信部と、
を有し、
前記第１制御部は前記第２通信部から受信した前記力覚センサの検出結果に基づいて前記第１駆動源を制御し、
前記撮像装置は複数のレンズを有するステレオカメラであることを特徴とするマニピュレーションシステム。
前記撮像装置は、前記スレーブアームの位置情報に基づいて、前記複数のレンズの向きを制御することを特徴とする請求項１に記載のマニピュレーションシステム。
前記装着者の頭の動きを計測する頭部センサをさらに備え、
前記撮像装置は、前記頭部センサの計測結果に基づいて、ピッチ角、ロール角、及びヨー角を調整して姿勢を制御することを特徴とする請求項１又は２に記載のマニピュレーションシステム。
前記スレーブアームの進入を禁止する進入禁止領域の情報を受け付ける入力インタフェースをさらに備え、
前記第１制御部は、前記スレーブアームの位置情報から前記スレーブアームが前記進入禁止領域に進入しないように前記第１駆動源を制御することを特徴とする請求項１乃至３のいずれかに記載のマニピュレーションシステム。
前記ディスプレイは、前記進入禁止領域を前記撮像装置により撮影された映像に重ねて表示することを特徴とする請求項４に記載のマニピュレーションシステム。