JP2010253640A - 姿勢データ入力装置 - Google Patents

Abstract

【課題】より自然な姿勢データを簡易に入力できる技術を提供する。
【解決手段】姿勢データ入力装置は、ユーザが操作可能な複数の関節部を備えるロボット人形と、複数の関節部を駆動する制御手段と、ユーザ操作と制御手段による駆動が加えられた後の各関節部の角度データを姿勢データとして取得する取得手段を備える。各関節部の可動範囲を記憶しておき、制御手段によって各関節部がこの可動範囲内に収まるようにフィードバック制御することが好ましい。また、姿勢データを複数記憶しておき、ユーザが一部の関節部を操作すると、それに対応する姿勢データを抽出して、ロボット人形が抽出された姿勢データに従うようにフィードバック制御することも好ましい。さらに、既存の動作データをロボット人形で再生しつつ、その際に関節部の姿勢変化を許容して、動作データの編集を行うことも好ましい。
【選択図】図２

Description

本発明は、人体や生体などの３次元モーションデータを入力するための技術に関する。

３次元コンピュータグラフィクスにおいて、人体の動作を表すモーションデータを生成する手法には、次のようなものがある。

まず、マウスやキーボードなどの入力装置を用いてキーフレームの姿勢データを入力し、キーフレーム間の姿勢をInverse Kinematics（逆運動学）法などによって補間する手法がある。また、モーションキャプチャでは、人体にセンサーをつけて実際に動作を行い、それをカメラ撮影によって取り込む。さらに別の手法として、ロボット人形（多関節体）をインタフェースに使った手法がある。たとえば、ハンドパペット型のロボットを手に装着して動かすことでコンピュータの中で生成されたＣＧアバターを操作する研究が行われている。また、関節部にセンサーを有するロボット人形をインタフェースに用いる研究も行われている。操作者が人形の関節を動かすと、その姿勢がセンサーによって読み取られて入力として処理される（非特許文献１，２）。

M. P. Weller, et. al., "Posey: instrumenting a poseable hub and strut construction toy", Proceedings of the 2nd internatinal conference on Tnagible and embedded interaction, TEI 2008, ACM, pp. 39-46, 2008. B. Knep, et. al. "Dinosaur input device", Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ACM, pp. 304-309, 1995.

マウスやキーボードなどの２次元入力装置を用いて３次元の姿勢データを作成するのは煩雑で時間を要する。したがって、リアルタイムにモーションデータを生成することは困難である。

モーションキャプチャは、装置が大がかりになる点と、実際に人間が動作をしなければならない点で困難がある。たとえば、動作の一部を間違えた場合に、全ての動作を一から撮影し直さなければならない。モーションキャプチャはあらかじめ定められた動作を記録するには適していると言えるが、一部の動作を修正したりする目的には適していない。

人形型のインタフェース装置を用いる手法では、ユーザが３次元の人形を動かすことでモーションデータを入力できるため、直感的な操作が可能となる。また、実際に人間が身体を動かす必要がなく、また、装置も小規模ですむという利点もある。ただし、ハンドパペット型の装置では入力できる情報（姿勢）が限られてしまう。また、ロボット人形を用いる場合には、より自然な姿勢や動作を入力するためには全ての関節の角度を適切に設定する必要があり、この点で操作が困難である。

本発明は上記のような従来技術の問題点を考慮してなされたものであって、その目的は、より自然な姿勢データを簡易に入力することのできる技術を提供することにある。

本発明に係る姿勢データ入力装置は、ユーザが角度を変更可能な複数の関節部と、複数の関節部を駆動する制御手段と、ユーザ操作と制御手段による駆動が加えられた後の各関節部の角度データを姿勢データとして取得する取得手段と、を備える。

このように、ユーザが関節部を動かして姿勢データを入力する姿勢データ入力装置において、ユーザ操作とは別に関節部を駆動する制御手段を設けたことで、ユーザは全ての関節を操作する必要がなくなる。つまり、簡易な操作でより適切な姿勢データを入力することができる。

より具体的には、各関節部の可動範囲が格納された可動範囲記憶手段をさらに有し、制御手段は、各関節部が可動範囲内に収まるように制御することが好ましい。人間や動物の各関節部は、それぞれ動作可能な範囲が決まっており、通常はそれを越えて動かせない。関節部がこの可動範囲を超える角度になってしまうと、その姿勢は実際にはあり得ない不自然な姿勢となってしまう。自然な姿勢を再現するために、制御手段は可動範囲を超えて関節部が動かないように固定することが好ましい。これにより、自然な姿勢を入力することができる。

また、複数の関節部の関係を格納する可動範囲記憶手段をさらに有し、制御手段は、一部の関節部が動かされたときに、他の関節部を可動範囲内に収まるように制御することも好ましい。人間や動物の関節においては、関節部の可動範囲はそれぞれ独立に決まるだけでなく、他の関節部の姿勢の影響も受ける。たとえば、人体においては膝関節を伸ばしたままでは股関節を上方に９０度以上曲げるのは困難であり、それ以上曲げる場合には膝関節を曲げる必要がある。このように複数の関節部の可動範囲は互いに関連している。そこで、複数の関節部が可動範囲内に収まるように制御手段が制御を行うことで、ユーザは一部の関節部を動かすだけでも全体的に自然な姿勢が得られることになる。

また、姿勢データを記憶する姿勢データ記憶手段をさらに有し、制御手段は、一部の関節部がユーザによって動かされたときに、この関節部の姿勢と一致する姿勢データを姿勢データ記憶手段から抽出し、動かされた関節以外の関節部を抽出された姿勢データに応じて制御することも好ましい。このようにすれば、ユーザは一部の関節部を操作するだけで、自然な全体姿勢を得ることができる。また、この処理を連続的に行うことで、自然な動作の動作データ（時系列的な姿勢データ）を、一部の関節部を操作するだけで得ることができる。

また、動作データを記憶する動作データ記憶手段をさらに有し、制御手段は、動作データに基づいて各関節部を駆動するとともに、動作データの再生中にユーザ操作による関節部の姿勢変化を許容し、変化された姿勢と記憶されている動作データに基づいて各関節部を駆動することも好ましい。関節部は制御手段によって駆動できるので、本発明に係る姿勢データ入力装置は既存の動作データを再生するための出力装置として利用可能である。このとき、再生中の動作において一部の関節の姿勢を変化させることで、部分的に姿勢が変化された動作が再生される。たとえば、肘関節を伸ばしたまま腕（肩関節）を揺らす動作を再生しているときに、肘関節を曲げると肘を曲げて腕を揺らす動作を得ることができる。つまり、このような構成によれば既存の動作データを容易に修正（編集）可能となる。

本発明によれば、簡易な操作で自然な姿勢データを得ることが可能となる。

ロボット人形の概要を示す図であり、図１Ａは外観を示し、図１Ｂはサーボモータの配置を示す図である。 第１の実施形態に係る姿勢データ入力装置の機能ブロック図である。 各関節部の可動範囲を記憶するテーブルの例である。 図４Ａは関節間の可動範囲の関係を記憶するテーブルの例であり、図４Ｂ，Ｃはフィードバック制御の例を説明する図である。 第２の実施形態に係る姿勢データ入力装置の機能ブロック図である。 第２の実施形態における動作データ入力処理のフローチャートである。 第３の実施形態に係る姿勢データ入力装置の機能ブロック図である。 第３の実施形態における動作データ編集処理のフローチャートである。

（第１の実施形態）
本実施形態に係る姿勢データ入力装置は、人間の形状を模擬したロボット人形１を利用する。図１Ａ，Ｂに、このロボット人形１の概要を示す。図１Ａは、ロボット人形１の外観を示す。ロボット人形１は、胴体部、頭部、左右の腕部、左右の脚部が設けられている。図１Ｂに示すように、このロボット人形１は、頭部が３自由度、胴体部が２自由度、腕部がそれぞれ６自由度（肩関節：３自由度、肘関節：１自由度、手根関節：２自由度）、脚部がそれぞれ６自由度（股関節：３自由度、膝関節：１自由度、足関節：２自由度）の合計２９自由度の多関節体として構成されている。ロボット人形１の各関節部には、関節を駆動するため、および、関節の状態を取得するために、サーボモータが用いられている。なお、このロボット人形１はユーザが手に持って各関節部を操作するため、その目的にかなった大きさ・重さで作成することが好ましい。たとえば、全長４０ｃｍ程度、幅２０ｃｍ程度、重さ１ｋｇ程度、あるいはそれより小型に設計すると取り扱いが簡単となる。ただし、ロボット人形の関節の数やその自由度、寸法、重量などは用途に応じて適宜設計すれば良く、上記の説明は本発明を限定するものではない。

図２は、本実施形態に係る姿勢データ入力装置の機能ブロックを示す図である。ロボット人形１はＰＣ２に接続されている。ＰＣ２は、ロボット人形１の各関節部を構成するサーボモータ１１のパラメータを取得するとともに、サーボモータ１１の設定値を指定するフィードバック制御を行う。ＰＣ２がロボット人形１から取得した各関節部の角度データは、ロボット人形１を利用した姿勢データの入力値として、３次元可視化システム（プログラム）３に送られる。たとえば、３次元可視化システム３では、入力された姿勢データに基づいてＣＧアバターを表示したりする。また、ＣＧアバターが３次元仮想空間内で移動したときに仮想物体と接触した場合に、力覚刺激を与えるためにＰＣ２を介してロボット人形１にフィードバック制御を行う。

ＰＣ２は、ロボット人形１から各サーボモータの位置（角度）や加速度などを取得するパラメータ取得部２１、各サーボモータの設定値を変更する設定値制御部２２、各サーボモータの可動範囲を記憶する可動範囲記憶部２３を備える。通信規格として任意のものを採用可能であるが、ここではロボット人形１内の各関節部を構成するサーボモータはＲＳ４８５規格のシリアルバスに接続され、ＲＳ４８５／ＵＳＢ変換器を介してＰＣ２と接続される。ＰＣ２はＵＳＢポートからコマンドを送信してサーボを制御可能である。なお図示は省略しているが、ＰＣ２はさらに、ディスプレイやスピーカーなどの出力装置や、マウスやキーボードなどの入力装置などを有し、ユーザに情報を提示した入り、ユーザから指示入力を受け付けたりする。ＰＣ２内の各機能部はユーザからの指示入力によって、機能の有効無効を切り替えたり、動作設定を変更可能である。

サーボモータ１１は、サーボ電機子１１ｂが設定値制御部２２から指定された設定値を取るようにマイクロコントローラ１１ａによってフィードバック制御される。このように
、サーボモータ１１はハードウェアとソフトウェアの二重のフィードバック制御を受ける。ここでは、これら２つの制御系は以下のように最小限のインタラクションを有する。まず、関節部（サーボモータ）の角度が設定値から閾値を越えて変化した場合には、設定値制御部２２が変化後の値を新たな設定値として設定する。また、関節部の角速度が所定値以上となった場合にはトルク抵抗を解放し、また角速度が所定値未満となった場合にトルク抵抗を回復させる。これらの機構により、関節部の大きな角度変化にも小さな角度変化にも対応可能となる。

このように、ロボット人形１の各関節部をユーザが操作することで、ＰＣ２から３次元仮想化システム３に姿勢データを入力することができる。ここで、人間が自然に取ることのできる姿勢は人体の構造上限られている。自然な姿勢となるようにユーザが全ての関節部を制御することは煩雑であるため、本実施形態における姿勢データ入力装置では、ＰＣ２からのフィードバック制御によって自然な姿勢となるように各関節部を制御する。

・自然な姿勢を実現するための構成１
このような制御を実現するために、可動範囲記憶部２３に各関節部のサーボモータが取りうる角度の範囲（可動範囲）が情報として記憶される。図３は、可動範囲記憶部２３に記憶されるテーブルの例を示す図である。パラメータ設定部２２は、サーボモータの設定値がこの可動範囲内に収まるように制御する。具体的には、各関節が可動範囲の限界に近くなるとトルク抵抗を大きくすることでそれ以上の関節の姿勢変化を抑制し、各関節部をテーブルに格納された可動範囲内に収めることができる。また、たとえば、関節が可動範囲の限界に近くになるにつれて、音（音声）や光などでユーザに対して報知することも好ましい。

このようにフィードバック制御を用いることで、各関節部が自然な姿勢を取るように制御することが可能となる。したがって、３次元可視化システム３に対して自然な姿勢を入力することができ、この際ユーザに対してそれほど負担を掛けることもない。

なお、各関節部の可動範囲制御は、関節部の機械的構成を工夫することでも実現できるが、本実施形態のようにフィードバック制御を用いる実現手法には次のような利点がある。つまり、可動範囲は可動範囲記憶部２３に記憶されているテーブルによって決定されるので、このテーブルを書き換えることで異なる特性を持つ人体モデルの姿勢データを得ることができる。可動範囲記憶部２３に複数の人体モデルに対応する各関節部の可動範囲を複数格納しておき、設定値制御部２２は指定された人体モデルに対応する可動範囲内に収まるように各関節部を制御することも好ましい。

・自然な姿勢を実現するための構成２
人体の関節は連動して動作するものであり、個々の関節は完全に独立して動作できるものではない。たとえば、股関節を曲げて脚部を持ち上げると、膝関節が曲がり始める。つまり、股関節の角度によって、膝関節が取りうる角度が制限されて完全に真っ直ぐにできなくなる。このような関係は、膝関節と股関節の間でだけ成り立つものではなく、その他の関節の間でも成り立つ。

このような制御を実現するために、可動範囲記憶部２３に、複数の関節部が取りうる可動範囲の関係を記憶する。図４Ａは、膝関節と股関節の取りうる角度の関係を示す図である。図の横軸は膝関節の角度を示し、縦軸は股関節の角度を示す。点線で示される範囲４１は、それぞれの関節部に独立に可動範囲が設定された場合の、両関節が取りうる範囲を示す。これに対して、太線で示される範囲４２は膝関節と股関節の取りうる角度の関係を示している。図に示すように、膝関節が伸びた状態では、股関節の取りうる角度の上限が小さく設定される。

設定値制御部２２は、各関節部が可動範囲記憶部２３に格納されている可動範囲の中に収まるように各関節部をフィードバック制御する。具体的には、たとえば、膝関節を伸ばしたまま股関節を曲げる動きをユーザが行った場合を考える。股関節の角度が小さい間（矢印４４ａ）は、図４Ｂに示すように、ユーザの操作により股関節が曲がるだけであり、膝関節は伸びたままである。股関節の角度を大きくしていくと、そのままでは、図４Ａに示される可動範囲から外れる動きとなる（矢印４３）。この場合は、設定値制御部２２は膝関節を屈曲させるようにサーボモータの設定値を変更する。これにより、膝関節と股関節の動きは、図４Ａの矢印４４ａに示す動きとなり、図４Ｃに示すように股関節を持ち上げるにしたがって膝関節が曲がるという自然な姿勢が実現される。

このように、複数の関節が適切な関係を保った自然な姿勢データの入力が可能となる。この際、ユーザは全ての関節を意識的に正しい角度に調整しなくても、ＰＣ２がフィードバック制御によって各関節部の角度を調整するため、ユーザの負担が少なくて済む。

なお、ここでは２関節の関係を規定する場合を例に説明したが、３つ以上の関節（サーボモータ）の角度関係を規定する場合も、同様に実現できることは明らかであろう。

この制御もフィードバック制御によって実現しているため、可動範囲情報を変更することで、異なる人体モデルの姿勢を実現できるという利点がある。

（第２の実施形態）
第２の実施形態では、ロボット人形の一部の関節を操作するだけで適切な全身の姿勢を入力可能とする。図５は、本実施形態に係る姿勢データ入力装置の機能ブロックを示す図である。ロボット人形１は第１の実施形態と同様の構成を有する。ＰＣ２は、パラメータ取得部２１、設定値制御部２２、可動範囲記憶部２３に加えて、姿勢データ抽出部２４と姿勢データ記憶部２５を備える。

姿勢データ記憶部２５には、ロボット人形１の全ての関節部の角度情報からなる姿勢データが複数記憶される。なお、時間的に連続する姿勢データを、動作データ（モーションデータ）として記憶しても良い。姿勢データ抽出部２４は、パラメータ取得部２１から得られるロボット人形１の一部の関節部の角度情報と一致する姿勢データを姿勢データ記憶部２５から抽出する。設定値制御部２２は、姿勢データ抽出部２４によって抽出された姿勢データ（各関節部の角度）をロボット人形１に対して設定する。このようなフィードバック機構により、ユーザはロボット人形１の一部の関節部を操作するだけで、ロボット人形１の全ての関節部が適切な姿勢となる。そして、ロボット人形１の各関節部の状態はパラメータ取得部２１によって取得され、ロボット人形１からの入力として３次元可視化システム３に入力される。つまり、ユーザがロボット人形１の一部の関節部を操作するだけで、適切な全身の姿勢データを入力することができる。特に、ユーザは姿勢を決定する上で重要な関節部分のみの操作を行うだけで全身の姿勢データを入力できるため、ユーザの負担が軽減される。

本実施形態における姿勢データの入力方法を図６のフローチャートを参照しつつ説明する。まず、ユーザが、これから入力する動作の種類を入力（指定）する（ステップＳ２１）。姿勢データ記憶部２５には複数種類の動作データが記憶されており、姿勢データ抽出部２４は、ユーザによって操作された一部の関節と一致する姿勢データを抽出する機能を有する。ここで、一致する姿勢の抽出は既知のアルゴリズムを用いて行えるが、処理の高速化および高精度化のために、抽出の対象とする動作データを絞り込んでおくことが好ましい。そのため、ユーザにこれから入力する動作を指定させる。この指定は、具体的な動作データを指定するものであっても良いが、いくつかの動作データのグループを指定する
ようなものであっても構わない。

上記の指定が行われた後、ユーザはロボット人形１の一部の関節部を操作する（ステップＳ２２）。ここで操作する関節部は、入力する動作を規定する上で重要な部位を入力することが好ましい。たとえば、ボールを右脚で蹴る動作では、右脚の姿勢が全体の姿勢を決定するための重要な要素となるため、この部分をユーザが操作することが好ましい。ユーザが一部の関節部を動かすと、姿勢データ抽出部２４は動かされた関節部の姿勢に対応する姿勢データを姿勢データ記憶部２５から抽出し（ステップＳ２３）、抽出された姿勢を取るようにフィードバック制御する（ステップＳ２４）。これによりロボット人形１の全身をユーザによって動かされた関節部に対応する自然な姿勢とすることができる。なお、この処理を時間的に継続して行えば（すなわちステップＳ２２からＳ２４をループ処理すれば）、自然な姿勢の動作データを簡易に入力することができる。上記のボールを蹴る動作の例では、ユーザは右脚部だけを動かしてボールを蹴る動作をロボット人形１にさせると、各時点における右脚部の姿勢に対応する全身の姿勢が再現される。これにより、ボールを蹴る動作における全身の関節部の角度データをパラメータ取得部２１が取得し、３次元可視化システム３に入力することができる。

（第３の実施形態）
第３の実施形態では、ロボット人形を用いて既存の動作データの編集（変更）を可能とする。図７は、本実施形態に係る姿勢データ入力装置の機能ブロックを示す図である。本実施形態における構成は、基本的に第１の実施形態と同様である。

ロボット人形１の関節部はＰＣ２から制御可能であるため、ロボット人形１を入力手段だけでなく出力手段として利用することができる。つまり、動作データ記憶部３１などに記憶されている動作データをＰＣ２の設定値制御部２２が受け取り、各関節部の角度情報をロボット人形１に設定することで、動作データにしたがってロボット人形１を動かすことができる。ユーザはロボット人形１の動きを実際に見て確認することができる。

ここで、再生中の動作データの一部を変更する手法を図８のフローチャートを参照しつつ説明する。まず、設定値制御部２２が編集の対象となる動作データを読み込んで、それにしたがってロボット人形１の各関節部を駆動することで、ロボット人形１上で動作データを再生する（ステップＳ３１）。ユーザは、姿勢を変更したい時点で、編集処理を開始することを入力する（ステップＳ３２）。この時点で、動作データの再生処理は一時停止されて、ロボット人形１の各関節部の角度は維持される。ただし、第１の実施形態で説明したように、関節部の角度が現在の値から閾値を越えて変化した場合には変化後の姿勢を関節部の設定値とするため、この状態でユーザは関節部を手で動かして姿勢変化させることができる。そこで、ユーザは変更したい関節部を手で操作して所望の姿勢に変更させる（ステップＳ３３）。姿勢の変更が完了したら、ユーザは編集処理を終了することを入力する（ステップＳ３４）。設定値制御部２２は、ユーザによって加えられた各関節部の姿勢変化の操作量、すなわち編集処理前後での姿勢データの差分を取得する（ステップＳ３５）。そして、これ以降に動作データを再生するときには、読み込まれた動作データとユーザによる姿勢変化とを足し合わせて得られる姿勢を、ロボット人形上で再生する（ステップＳ３５）。たとえば、動作データ記憶部３１に格納されている動作が、肘を伸ばした状態で腕を前後に動かす動作であり、ユーザが加えた姿勢変化が肘を曲げる操作である場合には、肘を曲げた状態で腕を前後に動かす動作がロボット人形１上で再生されることになる。ロボット人形１の姿勢データはパラメータ取得部２１によって取得されて、３次元可視化システム３に入力される。そして３次元可視化システム３は、取得された姿勢データにしたがってＣＧキャラクターを表示するとともに、得られた姿勢データを記憶部に記憶する。

このようにして、ユーザは既存の動作データをロボット人形１を利用して編集することができる。この編集作業は、ユーザが関節部を動かすだけで可能であるため、直感的で簡単である。人形が実際に動くのを見ながら編集できるので、ユーザが望む動作データをより簡単に得ることができる。

（その他）
上記の説明におけるロボット人形の関節の数や自由度はあくまでも例示であり、適宜変更することができる。また、ここでは人体を模した人形を例に説明したが、人間以外の動物や多関節体などの姿勢データを入力するために利用できることは明らかである。

また、上記の説明では各関節部にフィードバック制御を行うＰＣ２をロボット人形１の外部に設けているが、フィードバック制御を行うためのプロセッサをロボット人形１内部に設けても良い。また、ＰＣ２と３次元仮想化システムを一つのコンピュータで実現する構成としても構わない。

上記の第１から第３の実施形態の構成は、組み合わせて利用できることは明らかであろう。また、本発明は上記の実施形態に例示した構成に限られるものではなく、その趣旨を逸脱しない範囲内で変更可能であることは言うまでもない。たとえば、ＰＣ２によって取得された姿勢データはどのように利用されても構わず、ＣＧキャラクターを画面上で表示するために用いられたり、そのまま記憶部に格納されたりするだけでなく、さらに別の処理の対象となっても構わない。

１ ロボット人形
２ ＰＣ
２１ パラメータ取得部
２２ 設定値制御部
２３ 可動範囲記憶部
２４ 姿勢データ抽出部
２５ 姿勢データ記憶部
３ ３次元可視化システム

Claims (6)

1. ユーザが角度を変更可能な複数の関節部と、
   前記複数の関節部を駆動する制御手段と、
   ユーザ操作と前記制御手段による駆動が加えられた後の各関節部の角度データを姿勢データとして取得する取得手段と、
   を備える姿勢データ入力装置。
2. 各関節部の可動範囲が格納された可動範囲記憶手段をさらに有しており、
   前記制御手段は、前記関節部が可動範囲に収まるように制御する
   ことを特徴とする請求項１に記載の姿勢データ入力装置。
3. 複数の関節部の可動範囲の関係を格納する可動範囲記憶手段をさらに有しており、
   前記制御手段は、一部の関節部が動かされたときに、他の関節部を可動範囲内に収まるように制御する
   ことを特徴とする請求項１または２に記載の姿勢データ入力装置。
4. 姿勢データを記憶する姿勢データ記憶手段をさらに有し、
   前記制御手段は、一部の関節部が動かされたときに、当該関節部の姿勢と一致する姿勢データを前記姿勢データ記憶手段から抽出し、その他の関節部を抽出された姿勢データに応じて制御する
   ことを特徴とする請求項１〜３のいずれかに記載の姿勢データ入力装置。
5. 連続する姿勢データである動作データを記憶する動作データ記憶手段をさらに有し、
   前記制御手段は、前記動作データに基づいて各関節部を駆動するとともに、該動作データの再生中にユーザ操作による関節部の姿勢変化を許容し、変化された姿勢と記憶されている動作データに基づいて各関節部を駆動する
   ことを特徴とする請求項１〜４のいずれかに記載の姿勢データ入力装置。
6. 前記関節部は、サーボモータにより構成されていることを特徴とする請求項１〜５のいずれかに記載の姿勢データ入力装置。

Images