JP2014097539A - 移動体の遠隔操作方法および遠隔操作装置 - Google Patents

Abstract

【課題】操作者が自身の動きを直感的に移動体へと反映させる。
【解決手段】２足歩行型移動体の歩行をマスタスレーブ方式により操作者が遠隔操作するロボット２０の遠隔操作方法である。操作者２の足のうち少なくとも一方が接地されている場合に、当該接地されている操作者２の足の位置座標を操作者２の支持脚位置座標として少なくとも取得し、接地されている操作者２の足とは異なる足が接地状態から離床状態に変化した場合に、その異なる足をロボット２０の遊脚とし、離床した操作者２の異なる足の位置座標を操作者２の遊脚位置座標として取得し、操作者２の支持脚位置座標に対する操作者２の遊脚位置座標の相対位置に基づいてロボット２０の遊脚の位置座標を算出し、その算出したロボット２０の遊脚の位置座標に基づいてロボット２０を歩行させる。
【選択図】図１

Description

本発明は移動体の遠隔操作方法および遠隔操作装置に関し、特に２足歩行移動体の遠隔操作方法および遠隔操作装置に関する。

近年、人型ロボットを遠隔操作するマスタスレーブシステムが開発されている。特許文献１には、数十個の自由度を有するロボットに対して、操作対象を切り替えながら制御を行う手法が開示されている。これによって、ロボットの手先や足先などの微妙な操作を操作者の手によって行い、その他の単純な動きの操作については操作者の足操作によって行うことを可能にし、超多自由度の関節を操作するものである。

特開２００５−０６６７５２号公報

しかしながら、特許文献１に開示された技術では、操作者の動きと操作対象のロボットの動きとに差があり、操作者がロボットを直感的に操作することが難しいという問題点があった。

本出願は、このような問題を解決するためになされたものであり、操作者が自身の動きを直感的に移動体へと反映させることが可能な移動体の遠隔操作方法および遠隔操作装置を提供することを目的とするものである。

一実施の形態において、移動体の遠隔操作方法は、２足歩行型移動体の歩行をマスタスレーブ方式により操作者が遠隔操作する移動体の遠隔操作方法であって、前記操作者の足のうち少なくとも一方が接地されている場合に、当該接地されている前記操作者の足の位置座標を前記操作者の支持脚位置座標として少なくとも取得し、前記接地されている前記操作者の足とは異なる足が接地状態から離床状態に変化した場合に、前記離床した前記操作者の前記異なる足の位置座標を前記操作者の遊脚位置座標として取得し、前記操作者の前記支持脚位置座標に対する前記操作者の前記遊脚位置座標の相対位置に基づいて前記移動体の遊脚の位置座標を算出し、当該算出した前記移動体の前記遊脚の位置座標に基づいて前記移動体を歩行させるものである。このような構成により、操作者が自身の動きを直感的に移動体へと反映させることが可能になる。

また、前記接地されている前記操作者の足が、接地された状態を維持したまま前記操作者の前記支持脚位置座標が変化した場合には、当該支持脚位置座標の変化を、前記移動体の前記支持脚の位置の変化に反映させないようにしてもよい。このような構成により、操作者自身が実際に移動することなく２足歩行移動体に歩行指示を与えることができ、２足歩行移動体をどこまでも移動させることができる。

さらにまた、前記操作者が椅子に着座した場合に前記操作者が前記椅子に及ぼす荷重とは反対方向に作用する力であって前記荷重よりも小さな力を発生させ、前記椅子の座面の高さを取得し、当該取得した座面の高さに基づいて前記移動体が歩行する際の腰位置の高さを指示するようにしてもよい。

また、前記移動体が歩行しようとする環境の環境認識結果を取得し、前記操作者の現在の遊脚位置座標に基づく前記移動体の遊脚の位置座標を取得し、当該取得した前記移動体の遊脚の位置座標から地面に向けて垂直に下げたと仮定した場合に、前記該移動体の足が地面と接地するときの前記移動体の足の位置座標を、前記移動体の足先接地予想位置として算出し、前記取得した環境認識結果と、前記算出した前記移動体の足先接地予想位置と、を画像に重ね合わせて前記操作者に情報提示し、前記環境認識結果と前記足先接地予想位置との間の干渉を考慮して、前記操作者によって前記操作者の足位置を変更させるようにしてもよい。

さらにまた、前記操作者が椅子に自然な着座姿勢において着座した場合における、前記操作者の足先位置および腰位置の前後方向における相対距離をオフセット量として算出し、前記操作者の支持脚位置と腰位置との相対位置に対して前記算出したオフセット量を加えた値を、前記移動体が歩行する際の並進方向腰位置として指示するようにしてもよい。

また、前記接地されている前記操作者の足の位置座標を、前記操作者の足下に設けたタッチパネルを用いて取得し、前記離床した前記操作者の前記異なる足の位置座標を、モーションセンサを用いて取得するようにしてもよい。

さらにまた、前記接地されている前記操作者の足の位置座標を、前記操作者の足裏に設けたトラックボールを用いて取得し、前記離床した前記操作者の前記異なる足の位置座標を、前記操作者の足に装着した外骨格型動作認識装置を用いて取得するようにしてもよい。

また、他の一実施の形態において、移動体の遠隔操作装置は、２足歩行型移動体の歩行をマスタスレーブ方式により操作者が遠隔操作する移動体の遠隔操作装置であって、前記操作者の足の接地の有無および当該足が接地されている場合に当該足の位置座標を検出する足接地状態検出部と、前記操作者の足が接地状態から離床状態に変化した場合に、当該離床した前記操作者の足の位置座標を取得する足位置座標取得部と、前記足接地状態検出部および前記足位置座標取得部からの出力信号に基づいて所定の処理を実行し、前記移動体に対して動作指令信号を出力する制御部と、を備え、前記制御部は、前記操作者の足のうち少なくとも一方が接地されている場合に、当該接地されている前記操作者の足の位置座標を前記操作者の支持脚位置座標として少なくとも取得し、前記接地されている前記操作者の足とは異なる足が接地状態から離床状態に変化した場合に、前記離床した前記操作者の前記異なる足の位置座標を前記操作者の遊脚位置座標として取得し、前記操作者の前記支持脚位置座標に対する前記操作者の前記遊脚位置座標の相対位置に基づいて前記移動体の遊脚の位置座標を算出し、当該算出した前記移動体の前記遊脚の位置座標に基づいて前記移動体を歩行させるものである。このような構成により、操作者が自身の動きを直感的に移動体へと反映させることが可能になる。

本発明により、操作者が自身の動きを直感的に移動体へと反映させることが可能な移動体の遠隔操作方法および遠隔操作装置を提供することができる。

実施の形態１に係る移動体の遠隔操作装置１の概略構成図である。 実施の形態１に係る前進方向のフットステップの反映方法を説明する図である。 実施の形態１に係る横進方向のフットステップの反映方法を説明する図である。 実施の形態１に係る前進方向の遊脚軌道の再現方法を説明するための図である。 実施の形態１に係る腰姿勢の操作方法を説明するための図である。 実施の形態１に係る操作者２の踏ん張り力に応じた腰高さの操作方法を説明するための図である。 実施の形態１に係る操作者２への情報提示画像を説明するための図である。 実施の形態１に係る３種類の足先接地予想位置姿勢を例示する図である。 実施の形態１に係る足先接地予想位置姿勢に対して想定される床反力中心点を表示する図である。 その他の実施の形態に係る移動体の遠隔操作装置１の概略構成図である。 その他の実施の形態に係る腰の並進位置と足先位置の関係を説明するための図である。 その他の実施の形態に係る腰の並進位置と足先位置の関係を説明するための図である。

＜発明の実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。
図１は、移動体の遠隔操作装置１の概略構成を示す。遠隔操作装置１は、移動体の一例としてのロボット２０の動きを操作する。この遠隔操作装置１により、操作者２は、椅子７に着座したままの状態で、任意の足運び（足先の位置・姿勢の時系列情報）をロボット２０に対して指示可能にする。

遠隔操作装置１は、足接地状態検出部の一例としてのタッチパネル５と、足位置座標取得部の一例としてのモーションセンサ６と、操作者２が着座する椅子７と、ロボット２０の操作に必要な所定の処理を実行する制御部３０と、を備えている。

タッチパネル５は、大型のマルチタッチ対応パネルである。タッチパネル５は、操作者２の足の接地の有無や、接地している操作者２の足の位置座標、足の向き、足のスライドを検出する。モーションセンサ６は、離床した操作者２の遊脚の位置座標・姿勢を取得する。

制御部３０は、タッチパネル５およびモーションセンサ６からの出力信号に基づいて所定の処理を実行し、ロボット２０に対して動作指令信号を出力する。なお、制御部３０は、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）と、を有するマイクロコンピュータを中心にして、ハードウェア構成されている。また、これらＣＰＵ、ＲＯＭ、及びＲＡＭは、データバス等によって相互に接続されている。

本実施の形態では、遠隔操作装置１が操作対象とするロボット２０として、人類に類似した下肢を有する２足歩行型のロボット２０を例に説明する。ロボット２０は、各関節を任意の角度に変化させることができる周知の構成を備えている。ロボット２０は、動作指令信号により指定した足先位置にその足先を動作可能であると共に、全身バランスを考慮した姿勢へとリアルタイムにその姿勢を修正することが可能な周知のシステムを備えている。ロボット２０は、ロボット２０の周辺環境（例えば、路面状況や障害物状況など）を認識できる周知の構成を備えていてもよい。また、ロボット２０は、画像による情報を操作者２に提示可能な、周知の映像提示部を備えていてもよい。

詳細は後述するが、本実施の形態に係るロボット２０のマスタスレーブ式遠隔操作手法は、操作対象ロボット２０の上肢の動きに加え、その下肢の動きに関して、操作者２の動きをそのままトレースして直感的に動作させることを可能にする。

ロボット２０の全身動作を操作するための処理として、以下のステップ１〜４を含む。ここで、本実施の形態にかかるロボット２０の遠隔操作方法は、主に、「ステップ２：下肢（フットパターン）の操作」、「ステップ３．２：腰高さの操作」、「ステップ４：足先接地予想位置姿勢の情報提示」に関してその特徴を有するため、これらのステップについて重点的に説明し、他のステップについてはその詳細な説明を省略する。
ステップ１：上肢の操作
ステップ２：下肢（フットパターン）の操作
ステップ３：腰位置姿勢の操作
ステップ３．１：腰姿勢の操作
ステップ３．２：腰高さの操作
ステップ４：足先接地予想位置姿勢の情報提示

ステップ１：上肢の操作
制御部３０は、操作者２の上肢の動きを周知の動き取得部（不図示）により取得し、取得した操作者２の動きを、関節角度もしくは手先位置・姿勢の動作指令としてロボット２０に与えることで、ロボット２０の上肢を動作させることが可能である。ロボット２０の上肢をこのように遠隔操作する技術は、多くの従来技術において実現されており、例えば、動き取得部の一例として、外骨格型マスタ装置やモーションキャプチャなどのモーションセンサを用いて、操作者の上肢の動きを取得すればよい。なお、ロボット２０の上肢の遠隔操作に関しては周知の技術を採用すればよいため、ここではその詳細な説明を省略する。

ステップ２：下肢（フットパターン）の操作
再び図１を参照して、ロボット２０の下肢の操作について説明する。
操作者２が椅子７に着座した姿勢のまま、その両足３，４をタッチパネル５上で動作させると、操作者２がどこに足を接地し、また、どのようにその足を滑らせて動かしたか（スライドさせたか）が、タッチパネル５によって検出される。例えば図１に示すように、操作者２の右足３がどこに接地しているのか、また、右足３をスライドさせて動かしたが検出される。

また、操作者２が、タッチパネル５から足を持ち上げて動かすと、その足先位置や足先姿勢が、モーションセンサ６によって取得される。例えば図１に示すように、操作者２の左足４が離床すると、遊脚となった左足４の位置・姿勢が取得される。なお、モーションセンサ６は、例えば、モーションキャプチャやＫｉｎｅｃｔ（登録商標）デバイスなどの周知の動作検出装置を用いることができる。モーションセンサ６は、離床した操作者２の遊脚の位置・姿勢を逐次取得することができる。

ここで、この遠隔操作装置１を用いた操作インタフェース上において、操作者２の足３，４の動きをロボット２０に単にトレースさせただけでは、ロボット２０の足をバタバタと動かすことになるだけで、歩行には結びつかない。そこで、以下に説明する処理方法によって、制御部３０が歩行パターンへの変換を行う。

図２は、前進方向のフットステップの反映方法を説明するための図である。同図において、操作者２がロボット２０に指示する足運びを図上部に示し、その足運びに対応したロボット２０側の歩行パターンを図下部に示す。

図２上部に示すように、操作者２の足を着床したまま、その足をスライドさせた足運び（実線矢印を用いて示す。）については、同図下部に示すように、その足運びに対応したロボット２０の足は支持脚となり、その位置は変化させない。また、同図上部に示すように、離床した操作者２の足の軌道（点線矢印を用いて示す。）を遊脚軌道として、支持脚からの相対位置において、ロボット２０側の対応する足を移動させる（同図下部に示す、点線の足跡の移動に対応する）。なお、軌道とは、位置座標および姿勢情報の時系列データを含む情報である。

すなわち、制御部３０は、「タッチパネル５に操作者２の足が接地している場合には、ロボット２０側の対応する足を支持脚として取り扱う。さらに、タッチパネル５に操作者２の足が接地した状態を維持したまま、タッチパネル５上で操作者２の足をスライドさせた場合においても、ロボット２０側の対応する足の位置は変更させない」という方針と、「タッチパネル５から操作者２の足が離床した場合には、ロボット２０側の対応する足を遊脚として取り扱う。そして、操作者２の支持脚と遊脚との相対位置関係に応じて、ロボット２０側の対応する足の位置を変化させる」という方針と、に従って、ロボット２０を歩行させるフットパターンの指示を行う。

このような支持脚および遊脚の取り扱いに関する２つの方針に従ってロボット２０へのフットパターン指示を行うことで、操作者２は、着座した状態のままでスライド動作を活用して、移動距離の制限なくロボット２０へのフットパターン指示を行うことができる。

図３は、横方向のフットステップの反映方法を説明するための図である。図３では、横方向における歩行への適用例を示している。図３においては、図２を参照して説明した場合と同様にして、前後左右、斜めや旋回など、各種の自在な移動に関しても、同様の指定により対応可能である。

図４は、前進方向の遊脚軌道の再現方法を説明するための図である。操作者２の足が遊脚である場合は、その遊脚の位置はタッチパネル５により位置検出することはできないものの、モーションセンサ５を用いて、支持脚に対する遊脚の相対位置姿勢を検出することができる。このため、図４に示すように、任意の足上げ高さや足振りなどの遊脚軌道を、ロボット２０に対して遠隔操作指示することが可能である。

以下では、ロボット２０に指示する遊脚軌道の算出方法に関して、その定式化について、より詳細に説明する。なお、制御部３０により算出される遊脚軌道はロボット２０に指示される。ロボット２０に指示する遊脚軌道は、ロボット２０の足先の位置・姿勢として入力する。ロボット２０は、指示された足先の位置・姿勢に基づき、周知の逆運動学や全身バランス計算を解いた上で、各関節の角度を算出する。ロボット２０は、算出された関節角度に基づいて各関節を駆動することで、遊脚軌道を実現する。なお、ロボット２０が行う各関節角度の算出は、スレーブとなる各ロボット２０の処理に依存するため、ここではその詳細な説明を省略する。

まず、操作者２の左足４が離床し、遊脚となった後に着床するまでの間を例として説明する（図２において、左から２番目および３番目に示した状況に対応する。）。
次に示すように、操作者２およびロボット２０の時間ｔにおける足先位置座標を、３次元のベクトル量（ｘ、ｙ、ｚ）を用いてそれぞれ定義する。なお、例えば、ｘ軸はロボット２０の進行方向前方に向けて設定し、ｙ軸方向はｘ軸方向と同一平面でかつ垂直となる方向に向けて設定し、鉛直方向上方に向けて設定すればよい。
操作者２の左足４の足先位置座標：Ｌｈ（ｔ）
操作者２の右足３の足先位置座標：Ｒｈ（ｔ）
ロボット２０の左足の足先位置座標：Ｌｒ（ｔ）
ロボット２０の右足の足先位置座標：Ｒｒ（ｔ）

なお、操作者２の足先位置座標の計測は、接地状態においてはタッチパネル５の計測値、またはモーションセンサ６の計測値を使用することができる。また、遊脚時の操作者２の足先の位置座標・姿勢の時系列情報は、モーションセンサ６の計測値を使用する。

遊脚となる操作者２の左足４が離床する瞬間の時間をｔ０とし、着床する時間をｔ１とする。ｔ０からｔ１までの時間内における遊脚となるロボット２０の左足の足先位置座標の時系列情報は、以下の式（１）に示すようにして算出することができる。

式（１）は、操作者２の左足４が離床する瞬間において、ロボット２０の左右の足の相対位置と操作者２の左右の足の相対位置との間に差が存在する場合に、その差を補間しようとするものである。即ち、式（１）は、左足４が接地する瞬間には、ロボット２０の左右の足先の位置関係と、操作者２の左右の足先の位置関係とが同様になるように、線形補間を施したものである。なお、補間方法に関してはこれに限定されず、足先軌道の不連続を回避するために、多項式補間を用いるなどしてもよい。

また、本実施の形態では、操作者２の両足が離床する状況を想定していない。これにより、操作者２のいずれかの足が必ず接地することになるために、ロボット２０についても支持脚が必ず設定される。このため、ｔ０からｔ１の区間においては、ロボット２０の支持脚の位置を変更しないものとしてＲｒ（ｔ）を一定に設定し、式（１）中においては、Ｒｒ（ｔ０）を用いる。なお、操作者２の右足３の位置は、離床はしないまでも少しスライドしてしまう場合も想定されるため、そのスライドをロボット２０の遊脚軌道の算出に反映させるために、Ｒｈ（ｔ）を用いる。

なお、ロボット２０の遊脚の足先姿勢の算出に関しては、足先位置の場合と同様にして、姿勢行列やクォータニオンを用いて計算することができ、同様の処理によって算出することができる。このため、ここでは、足先姿勢の算出処理の詳細な説明は省略する。

また、式（１）においては、操作者２とロボット２０の足先移動の距離を完全に同じものとして取り扱っているが、本発明はこれに限定されない。ロボット２０のスケールが操作者２のスケールと比較して大きく異なる場合には、操作者２対ロボット２０の比率を１対ｒとおき、ロボット２０の左足先の位置の導出は、以下の式（２）に示すようにして算出するようにしてもよい。

また、本実施の形態では、ロボット２０の左足先の遊脚軌道に関する算出方法を説明したが、右足の遊脚軌道に関しても同様にして、左右の関係を逆にして式（１）や（２）を用いることで算出することができる。

また、上述した説明では、操作者２の遊脚が着床する時間ｔ１が既に決まっている場合を例に説明したが、リアルタイムにロボット２０を制御する場合には、時間ｔ１は未定となる。そこで、時間ｔ１が未定の場合には、短時間で着床するという想定（例えば、ｔ１＝ｔ０＋０．５［ｓｅｃ］などとする。）の下でこれまでに説明した手法を適用し、ｔ＞ｔ１となったときに未だ着床していない場合には、式（１）、式（２）に代えて、以下の式（３）、（４）を適用するという方法を採用することができる。これにより、着床までの時間が予め分かっていない場合においても、これまでに説明した手法を採用することができ、応答性の良いシステムを構築することができる。

制御部３０は、タッチパネル５またはモーションセンサ６を用いて、操作者２の足の接地状態を検出し、接地されている操作者２の足をロボット２０の支持脚とし、接地されている操作者２の足とは異なる足が接地状態から離床状態に変化した場合に、その異なる足をロボット２０の遊脚として設定する。そして、制御部３０は、タッチパネル５またはモーションセンサ６を用いて、その接地されている操作者２の足の位置座標を操作者２の支持脚位置座標として少なくとも取得する。また、制御部３０は、モーションセンサ６を用いて、離床した操作者２の異なる足の位置座標を操作者２の遊脚位置座標として取得する。さらに、制御部３０は、操作者２の支持脚位置座標に対する操作者２の遊脚位置座標の相対位置に基づいてロボット２０の遊脚の位置座標を算出し、その算出したロボット２０の遊脚の位置座標に基づいてロボット２０を歩行させる、

また、制御部３０は、支持脚とした操作者２の足が、接地された状態を維持したまま操作者２の支持脚位置座標が変化した場合には、その支持脚位置座標の変化を、ロボット２０の支持脚の位置の変化に反映させないようにしてもよい。

ステップ３：腰位置姿勢の操作
次に、図５および図６を参照しながら、ロボット２０の腰姿勢の操作と、腰高さの操作を説明する。図５は、腰姿勢の操作方法を説明するための図である。図６は、操作者２の踏ん張り力に応じた腰高さの操作方法を説明するための図である。

ステップ３．１：腰姿勢の操作
図５に示す例では、まず、椅子７の座面に操作者２を着座させた状態で、ベルト８などを用いて椅子７に操作者２を固定させる。そして、操作者２の動きに応じて、３軸（ロール、ピッチ、ヨー）方向に所定の程度の硬さによって、座面が受動的に動くように構成する。このとき、椅子７に設けたエンコーダ（不図示）などを用いて椅子７の姿勢を検出し、制御部３０は、この検出した姿勢を、ロボット２０の腰姿勢として指示する。これにより、直感的な胴体姿勢の操作を行うことが可能となる。なお、これらの手法は周知の手法（例えば、特許第３６２８８２６号を参照。）であるため、ここでは、その詳細な説明を省略する。一方で、このような従来の手法ではロボット２０の腰高さを操作できず、しゃがんでの作業などに対応できないため、以下に、本実施の形態に係る腰高さの操作方法を説明する。

ステップ３．２：腰高さの操作
図６に示すように、操作者２が着座する椅子７の内部にバネなどのバネ要素（不図示）を設けることで、操作者２が椅子７に着座した場合に操作者２が椅子７に及ぼす荷重とは反対方向に作用する力であってその荷重よりも小さな力（カウンタバランス）を発生させる。そして、このカウンタバランスに対して、操作者２が地面を押す踏ん張り力を変更することで、椅子７の座面の高さが上下に変化する。制御部２０は、例えば椅子７に設けたエンコーダ（不図示）を用いて座面の高さを検出し、上下させる座面の高さに応じてロボット２０の腰高さを指示する。
操作者２の体重：ｍ［ｋｇ］
操作者２の荷重：ｍｇ［ｋｇ］（ｇは重力加速度）
操作者２の踏ん張り力：Ｆ［Ｎ］
カウンタバランス力：Ｃ［Ｎ］

カウンタバランスは、好ましくは、操作者２の荷重に対して若干小さくなるように設定するとよい。このように設定すると、操作者２が椅子７に着座していない状態では、椅子７の座面は持ち上がるような状態となっている。操作者２が椅子７に腰掛けた場合には、操作者２に掛かる重力（荷重）がカウンタバランスを上回るために、座面は下がっていく。

図６の左図に示すように、操作者２がその足により地面を踏んで、一定の力を踏ん張り力として発生させることで、椅子７の座面を一定の高さに維持することができる。この状態において、操作者２が踏ん張り力を抜重することによって、座面の高さを下げることができる（同図の中央図）。また、操作者２が踏ん張り力を加重することによって、座面の高さを上げることができる（同図の右図）。このようにして、椅子７の座面の高さに連動して、ロボット２０の腰高さを指示することによって、ロボット２０の腰位置の高さ（すなわち、ロボット２０の足の伸ばし具合）を直感的に操作することが可能となる。

また、このような腰高さの操作と、上記「ステップ３．１：腰姿勢の操作」における操作とを組み合わせることで、腰より上の上肢の位置姿勢を直感的に操作することができ、例えば、しゃがむ、直立するなどの任意の動作をロボット２０に指示することができる。なお、着座姿勢によっては操作者２が膝を伸ばしきった姿勢をとるのが難しい点、ロボット２０と操作者２との脚長さなどの身体性が異なる点を考慮すると、座面の高さに対して一定レートを掛ける、或いは、オフセット値を加えるなどの補正を操作者２によって行った上でロボット２０に目標腰高さを指示するとより好適である。

このような構成を採用することで、ロボット２０を遠隔操作する際には、操作者２を椅子７に着座させて、かつ、いずれかの足を常に接地する状態に維持させることができるため、上述したステップ２において説明した、ロボット２０への支持脚および遊脚の足運びの指示の算出を、より確実に実行させることができる。

ステップ４：足先接地予想位置姿勢の情報提示
上述した「ステップ２：下肢（フットパターン）の操作」において説明したように、任意のフットステップについての操作指示が可能となる。ここで、ロボット２０は平地を歩行する場合に限られず、例えば、不整地上をも歩行する場合が想定される。このような場合には、ロボット２０の足先が着地する位置を操作者２に事前に選択させることで、ロボット２０に安全な足運びを指示することが可能となる。

ロボット２０の足付き位置を操作者２に選択させる際には、ロボット２０の周囲の環境認識結果を操作者２に提示することが有用である。ただし、単にこれらの情報を操作者２に映像として提示しただけでは、段差や斜面などが識別しにくく、安全な足接地場所の判別が難しいという問題がある。

そこで、ロボット２０が歩行しようとする環境の環境認識結果（障害物や床などの情報）と、操作者２の現在の遊脚位置姿勢に基づくロボット２０の足先接地予想位置姿勢と、を画像に重ね合わせて操作者２に情報提示し、環境認識結果と足先接地予想位置姿勢との間の干渉を考慮して、操作者２によってその足位置姿勢を変更させる。この効果として、ロボット２０の接地時に無理な足姿勢になるか否かの判別を容易に行うことができ、操作者２側において、遊脚の次の接地場所を安全な領域へと適宜変更しやすくなる。なお、ロボット２０の足先接地予想位置姿勢とは、操作者２の現在の遊脚位置姿勢に応じたロボット２０の足の位置姿勢について、そのロボット２０の足の位置姿勢から地面に向けて垂直に下げたと仮定した場合に、ロボット２０の足が地面と接地するときのロボット２０の足の位置姿勢である。

図７を参照してより具体的に説明する。図７の左部に示す操作者２は、情報提示デバイス９を装着する。情報提示デバイス９は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）を利用すればよい。また、図７の右下部に示すロボット２０は、歩行しようとする環境を認識する環境認識部の一例としてロボット搭載カメラ２１を有し、そのカメラ映像を環境認識結果として制御部３０に出力する。なお、環境認識部はこれに限定されず、例えば、ロボット外部のカメラ映像などを用いて、環境認識結果としての外部カメラ映像を取得するものとしてもよい。また、他の環境認識装置によって、環境認識結果を取得してもよい。

制御部３０は、図７の右上部に示すように、ロボット搭載カメラ２１から得られた画像に対して、操作者２の現時点の遊脚位置姿勢に応じたロボット２０の足先接地予想位置姿勢（点線の足跡）を重ねあわせて投影し、情報提示デバイス９を介して操作者２に提示する。ここで、図７の右上部に示す映像例は、ＡＲ（拡張現実）映像である。操作者２は、図７の映像例のうち左側に示す状況では、足の接地位置姿勢がこのままでは不安定であることを事前に検知することができる。このため、操作者２は、同図の映像例のうち右側に示すように操作者２の足先を動かすことによって、安定姿勢で着床できる場所を容易に選択することができる。

なお、本実施の形態では、足先接地予想位置姿勢として、足先の位置および姿勢の両方を算出するものとして説明したが本発明はこれに限定されず、足先の位置のみに関して算出するものとしてもよい。すなわち、操作者２の現在の遊脚位置座標に基づくロボット２０の遊脚の位置座標を取得し、その取得したロボット２０の遊脚の位置座標から地面に向けて垂直に下げたと仮定した場合に、ロボット２０の足が地面と接地するときのロボット２０の足の位置座標を、ロボット２０の足先接地予想位置として算出する。そして、制御部３０は、取得した環境認識結果と、算出したロボット２０の足先接地予想位置と、を画像に重ね合わせて操作者２に情報提示し、環境認識結果と足先接地予想位置との間の干渉を考慮して、操作者２によって操作者２の足位置を変更させるようにしてもよい。

上述したように、操作者２の現時点の遊脚位置姿勢に基づく足先接地予想位置姿勢を提示することは有用である。さらに、一般的に、面接地や３点以上の接触点を考慮して足先接地予想位置姿勢を求めることも可能である。

図８に、３種類の足先接地予想位置姿勢を例示する。図８では、操作者２の現時点の遊脚位置姿勢と、地面上に存在する障害物の位置・形状を考慮して求められた足先接地予想位置姿勢と、を例示している。同図において、地面上に障害物を配置し、最上段に操作者２の現時点の遊脚位置を示し、操作者２の現時点の遊脚位置の下方かつ障害物上に、求められた足先接地予想位置姿勢を示している。

実際の接地時においては、ロボット２０の加重が加わると、ロボット２０の足裏の床反力中心点が支持多角形内に収まるような接触状態において接地することになる。一般に、床反力中心点は、ロボット２０の足裏の中心や足首関節の直下の位置になるように制御することが多い。このため、足先接地予想姿勢を決定する際には、所望の床反力中心点が、支持多角形の範囲内に収まるようにするとよい。すなわち、足先接地予想位置姿勢に加えて、その足先接地予想位置姿勢から想定される床反力中心点についても合わせて操作者２に提示することで、より有効な情報提示を行うことができる。図９では、図８に示した足先接地予想位置姿勢に対して、想定される床反力中心点をそれぞれ算出し、算出した床反力中心点の位置を、白抜き点を用いて設定して表示している。

上述したステップ１〜４の操作を含む遠隔操作手法を導入することによって、直感的なマスタスレーブ遠隔操作を実現し、これにより、人形状のロボット２０を直感的に動作させることが可能になる。操作者２自身の身体の動きを使用して、ロボット２０の全身にわたる動きに対応させて遠隔操作することが可能である。また、本実施の形態に係るロボット２０の遠隔操作装置１（全身操作型のマスタ装置）は、必要とする機材に関しても、タッチパネル５やモーションセンサ６などの、現在では容易に導入可能な設備を用いて実現することができるという利点を有する。

＜その他の実施の形態＞
実施の形態１では、支持脚となる操作者２の足の接地状態や足のスライドを検出するための手法として、タッチパネル５を使用する例を説明したが、本発明はこれに限定されない。例えば、荷重センサ付きトラックボール１０を操作者２の足裏に設けることで、足の接地状態やスライドを検出するものとしてもよい。これにより、より簡易な装置で実現することができる。

また、実施の形態１では、操作者２の遊脚の位置座標・姿勢を取得する手法として、モーションセンサ６を使用する例を説明したが、本発明はこれに限定されない。例えば、外骨格型動作認識装置１１（マスタ装置）を操作者２の足に装着し、外骨格型動作認識装置１１の各関節のエンコーダ値に基づいて足先位置姿勢を推定することで、操作者２の遊脚の位置座標・姿勢を取得するものとしてもよい。

さらに、例えば、操作者２の足裏に接地センサを設け、支持脚となる足の接地状態の検出にはその接地センサのみを利用し、遊脚の足先位置姿勢の動きについては、モーションセンサ６あるいは外骨格型動作認識装置１１を用いるなど、多様な装置の組み合わせが可能である。すなわち、重要なのは、操作者の足と地面との接地状態の検出と、操作者の足の足先位置姿勢の検出とが可能な構成とすることである。

図１０は、移動体の遠隔操作装置の他の構成による概略構成を示す。操作者２の足裏には、荷重センサ付きトラックボール１０が配置されている。また、操作者２の足には、外骨格型動作認識装置１１が装着されている。荷重センサ付きトラックボール１０は、操作者２の足裏の接地を検出するために、トラックボールに対して１軸力センサを設けて構成されている。荷重センサ付きトラックボール１０を用いて、接地した足の動きを取得する。骨格型動作認識装置１１を用いて、離床した遊脚の位置・姿勢を取得する。

上記「ステップ３．１：腰姿勢の操作」および上記「ステップ３．２：腰高さの操作」において、腰の姿勢・高さに関する指示方法を説明したが、支持脚位置と腰並進方向の位置関係の指定方法に関して、以下に補足してより詳細に説明する。

２足歩行型のロボット２０において両足先の位置が指定された場合、腰の並進位置に関しては、まず、支持脚の足平が形成する支持多角形上にＺＭＰが存在し、動的バランスを保てるような重心位置として求める手法が一般的に知られている。そして、その求めた重心位置を満たすための腰位置が決定されるが、超冗長自由度を持つ人型のロボット２０においては、腰位置が一意に定まらないという問題がある。このため、ある程度の指標として、ロボット２０に対してその腰位置を指示することができる（もちろん、安定化を考慮した計算の結果、指示した腰位置が変更されることは大いにある）。これを踏まえて、並進腰位置の指定方法の一例を、以下に、説明する。

図１１および図１２は、腰の並進位置と足先位置の関係を説明するための図である。
図１１に示す例では、操作者２の支持脚の足先位置に対する腰位置の相対位置関係を、腰指令位置としてロボット２０にそのまま指示する例を示している。同図では、黒点を用いて支持脚の足先位置を示し、白抜き点を用いて腰位置を示している。

図１１では、椅子７の構造に関して、操作者２が椅子７に着座したときに、操作者２の足先と腰位置とが自然な位置関係になる構造を採用している。操作者２の足先と腰位置とが自然な位置関係になるとは、操作者２の足先の上方に腰位置が存在するように着座することである。なお、このように操作者２の足先の上方に腰位置が存在する状態を、通常の立位になることをいう。このような場合には、制御部３０は、支持脚の足先位置に対する腰位置の相対位置関係を、腰指令位置としてロボット２０にそのまま指示することで、ロボット２０の腰の並進方向の指定が可能になる。なお、操作者２の腰位置は、例えば、モーションセンサ６により検出することができる。

図１２は、図１１において示した椅子２に着座した操作者２の姿勢に関して、より自然な姿勢において着座した状態を示している。一般的には、図１１に示した着座姿勢に比較して、図１２に示す姿勢は、より自然な姿勢であるといえる。

図１２では、制御部３０は、操作者２が自然な着座姿勢において着座した場合の、足先位置と腰位置の前後方向における相対距離をオフセット量として予め算出する。そして、制御部３０は、腰位置指令をロボット２０に指示する際には、操作者２の支持脚位置と腰位置との相対位置に対して、算出したオフセット量を加えた値を指示する。これにより、図１２に示した自然な着座姿勢がロボット２０における直立状態に対応し、無理のない自然な姿勢によって、全身のマスタスレーブ操作を行うことが可能となる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、移動体の他の一例として、ＣＧキャラクタを操作対象としてもよい。

１ 遠隔操作装置、
２ 操作者、
３ 操作者の右足、
４ 操作者の左足、
５ タッチパネル、
６ モーションセンサ、
７ 椅子、
８ ベルト、
９ 情報提示デバイス、
１０ 荷重センサ付きトラックボール、
１１ 外骨格型動作認識装置、
２０ ロボット、
２１ カメラ、
３０ 制御部、

Claims (14)

1. ２足歩行型移動体の歩行をマスタスレーブ方式により操作者が遠隔操作する移動体の遠隔操作方法であって、
   前記操作者の足のうち少なくとも一方が接地されている場合に、当該接地されている前記操作者の足の位置座標を前記操作者の支持脚位置座標として少なくとも取得し、
   前記接地されている前記操作者の足とは異なる足が接地状態から離床状態に変化した場合に、前記離床した前記操作者の前記異なる足の位置座標を前記操作者の遊脚位置座標として取得し、
   前記操作者の前記支持脚位置座標に対する前記操作者の前記遊脚位置座標の相対位置に基づいて前記移動体の遊脚の位置座標を算出し、当該算出した前記移動体の前記遊脚の位置座標に基づいて前記移動体を歩行させる、
   移動体の遠隔操作方法。
2. 前記接地されている前記操作者の足が、接地された状態を維持したまま前記操作者の前記支持脚位置座標が変化した場合には、当該支持脚位置座標の変化を、前記移動体の前記支持脚の位置の変化に反映させない、
   ことを特徴とする請求項１に記載の移動体の遠隔操作方法。
3. 前記操作者が椅子に着座した場合に前記操作者が前記椅子に及ぼす荷重とは反対方向に作用する力であって前記荷重よりも小さな力を発生させ、前記椅子の座面の高さを取得し、当該取得した座面の高さに基づいて前記移動体が歩行する際の腰位置の高さを指示する、
   ことを特徴とする請求項１または２に記載の移動体の遠隔操作方法。
4. 前記移動体が歩行しようとする環境の環境認識結果を取得し、
   前記操作者の現在の遊脚位置座標に基づいて算出される前記移動体の遊脚の位置座標について、前記移動体の遊脚の位置座標から地面に向けて垂直に下げたと仮定した場合に、前記該移動体の足が地面と接地するときの前記移動体の足の位置座標を、前記移動体の足先接地予想位置として算出し、
   前記取得した環境認識結果と、前記算出した前記移動体の足先接地予想位置と、を画像に重ね合わせて前記操作者に情報提示し、前記環境認識結果と前記足先接地予想位置との間の干渉を考慮して、前記操作者によって前記操作者の足位置を変更させる、
   ことを特徴とする請求項１ないし３いずれか１項に記載の移動体の遠隔操作方法。
5. 前記操作者が椅子に自然な着座姿勢において着座した場合における、前記操作者の足先位置および腰位置の前後方向における相対距離をオフセット量として算出し、前記操作者の支持脚位置と腰位置との相対位置に対して前記算出したオフセット量を加えた値を、前記移動体が歩行する際の並進方向腰位置として指示する、
   ことを特徴とする請求項１ないし４いずれか１項に記載の移動体の遠隔操作方法。
6. 前記接地されている前記操作者の足の位置座標を、前記操作者の足下に設けたタッチパネルを用いて取得し、
   前記離床した前記操作者の前記異なる足の位置座標を、モーションセンサを用いて取得する、
   ことを特徴とする請求項１ないし５いずれか１項に記載の移動体の遠隔操作方法。
7. 前記接地されている前記操作者の足の位置座標を、前記操作者の足裏に設けたトラックボールを用いて取得し、
   前記離床した前記操作者の前記異なる足の位置座標を、前記操作者の足に装着した外骨格型動作認識装置を用いて取得する、
   ことを特徴とする請求項１ないし５いずれか１項に記載の移動体の遠隔操作方法。
8. ２足歩行型移動体の歩行をマスタスレーブ方式により操作者が遠隔操作する移動体の遠隔操作装置であって、
   前記操作者の足の接地の有無および当該足が接地されている場合に当該足の位置座標を検出する足接地状態検出部と、
   前記操作者の足が接地状態から離床状態に変化した場合に、当該離床した前記操作者の足の位置座標を取得する足位置座標取得部と、
   前記足接地状態検出部および前記足位置座標取得部からの出力信号に基づいて所定の処理を実行し、前記移動体に対して動作指令信号を出力する制御部と、を備え、
   前記制御部は、
   前記操作者の足のうち少なくとも一方が接地されている場合に、当該接地されている前記操作者の足の位置座標を前記操作者の支持脚位置座標として少なくとも取得し、
   前記接地されている前記操作者の足とは異なる足が接地状態から離床状態に変化した場合に、前記離床した前記操作者の前記異なる足の位置座標を前記操作者の遊脚位置座標として取得し、
   前記操作者の前記支持脚位置座標に対する前記操作者の前記遊脚位置座標の相対位置に基づいて前記移動体の遊脚の位置座標を算出し、当該算出した前記移動体の前記遊脚の位置座標に基づいて前記移動体を歩行させる、
   移動体の遠隔操作装置。
9. 前記制御部は、
   前記接地されている前記操作者の足が、接地された状態を維持したまま前記操作者の前記支持脚位置座標が変化した場合には、当該支持脚位置座標の変化を、前記移動体の前記支持脚の位置の変化に反映させない、
   ことを特徴とする請求項８に記載の移動体の遠隔操作装置。
10. 前記操作者が着座する椅子にバネ要素を設け、前記操作者が前記椅子に着座した場合に前記操作者が前記椅子に及ぼす荷重とは反対方向に作用する力であって前記荷重よりも小さな力を発生させ、
    前記制御部は、
    前記椅子の座面の高さを取得し、当該取得した座面の高さに基づいて前記移動体が歩行する際の腰位置の高さを指示する、
    ことを特徴とする請求項８または９に記載の移動体の遠隔操作装置。
11. 前記移動体が歩行しようとする環境を認識する環境認識部と、
    前記操作者に情報提示する情報提示デバイスと、を更に備え、
    前記制御部は、
    前記移動体が歩行しようとする環境の環境認識結果を取得し、
    前記操作者の現在の遊脚位置座標に基づいて算出される前記移動体の遊脚の位置座標について、前記移動体の遊脚の位置座標から地面に向けて垂直に下げたと仮定した場合に、前記該移動体の足が地面と接地するときの前記移動体の足の位置座標を、前記移動体の足先接地予想位置として算出し、
    前記取得した環境認識結果と、前記算出した前記移動体の足先接地予想位置と、を画像に重ね合わせて前記操作者に情報提示し、前記環境認識結果と前記足先接地予想位置との間の干渉を考慮して、前記操作者によって前記操作者の足位置を変更させる、
    ことを特徴とする請求項８ないし１０いずれか１項に記載の移動体の遠隔操作装置。
12. 前記制御部は、
    前記操作者が椅子に自然な着座姿勢において着座した場合における、前記操作者の足先位置および腰位置の前後方向における相対距離をオフセット量として算出し、前記操作者の支持脚位置と腰位置との相対位置に対して前記算出したオフセット量を加えた値を、前記移動体が歩行する際の並進方向腰位置として指示する、
    ことを特徴とする請求項８ないし１１いずれか１項に記載の移動体の遠隔操作装置。
13. 前記足接地状態検出部は、前記操作者の足下に設けたタッチパネルであり、
    前記足位置座標取得部は、モーションセンサである、
    ことを特徴とする請求項８ないし１２いずれか１項に記載の移動体の遠隔操作装置。
14. 前記足接地状態検出部は、前記操作者の足裏に設けたトラックボールであり、
    前記足位置座標取得検出部は、前記操作者の足に装着した外骨格型動作認識装置である、
    ことを特徴とする請求項８ないし１２いずれか１項に記載の移動体の遠隔操作装置。