JP2015100697A - 手指形状推定装置、手指形状の推定方法及びプログラム - Google Patents

Abstract

【課題】被撮影者が自由に動き回っても、手に何かを握ったり、掌を、床や壁、机、あるいは他者といった他物体に接触させても、高精度での手指形状推定ができるようにする手指形状推定装置を提供する。
【解決手段】ＲＧＢカメラを、手の甲側に装着し、母指と示指のあいだの前方斜め上から手の甲を撮像し、母指、示指、中指の屈曲伸展を正確に推定する。事前に、手または手に対応する動作物に所定の動作と同じ動作をさせたときの手または動作物の複数の画像データと、複数の画像データに対応して事前に収集された手の関節角度情報とを対応付けて記憶し、手または動作物に所望の動作を行わせ、その際に手または動作物の動作画像データを時系列で取得し、動作画像データに対応する画像データを画像対応関節角度記憶装置に記憶している複数の画像データから時系列で照合し、照合した前記画像データに対応する前記関節角度情報を出力して手指形状推定を行う。
【選択図】図１

Description

本発明は、カメラ等で撮像された手指画像から手指形状を推定するために好適な手指形状推定装置、手指形状の推定方法及びそれを実行させるプログラムに関する。

映画などにおける人体のコンピュータアニメーションや、ゲームなどにおけるキャラクターの人間らしい動きの再現に、モーションキャプチャと呼ばれる装置が多用されるようになった。また、人体動作のモーションキャプチャと併用して、顔の表情もリアルタイムでコンピュータアニメーションとして描画するシステムも実用に供するようになってきた。このような人体動作の映像編集に不可欠でありながら、まだ実用に供するレベルに至っていない最後の技術は「細かな手指動作のモーションキャプチャ」すなわち３次元手指形状推定技術（３Ｄ ｈａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）である。

手指形状推定システムがモーションキャプチャシステムと併用して使用できるためには、モーションキャプチャを邪魔しない仕様が必要である。たとえば、光学式モーションキャプチャ用の広いスタジオで被撮影者が自由に動き回っても、比較的サイズが小さい手指の形状が推定できること。被撮影者が手に何かを握ったり、彼の掌を、床や壁、机、あるいは他者といった他物体に接触させても手指形状推定できること、装置が被撮影者に疲労を生じさせにくい形態や重量であること、などが挙げられる。

発明者らはこれまで、非接触で、ＲＧＢ高速カメラ１台あるいは２台により、高速かつ高精度に手指形状推定を行うシステムを提案してきた（例えば、非特許文献１参照）。

しかし、非接触型の手指形状推定システムの欠点は、モーションキャプチャ用のような広いスタジオ内を被撮影者が自由に動き回った場合、カメラから遠距離にある手指が非常に小さいサイズでしか撮像されないため、形状推定が行いにくい点である。そのため、完全非接触型ではなく、装着型ではあるがコンパクトな手指形状推定装置が利用可能である。

一つの方法として、ワイヤレスのデータグローブを利用する方法が考えられる。しかし、データグローブは高価で、拘束感が強く、またセンサである歪ゲージや足回り線（配線）が断線しやすく、激しい動きのモーションキャプチャには利用できない。また、掌での物体操作や、拳の形を作るための握り込みにも向かない。

ワイヤレスの接触型手指形状推定の例のひとつにＤｉｇｉｔｓがある（例えば、非特許文献２参照）。手首に赤外線センサや赤外線カメラを装着し、掌側から手指を撮影することで、センサから指までの距離を測定し、形状の推定を行っている。ただし、同システムは手首にセンサを装着するため、手首を屈伸した時の対応が難しい。また、装着位置が掌側にあるため、歩行などの日常動作や、他物体の把持や操作、接触などの場面では、装用者の邪魔になるし、計測そのものができなくなる。これ以外にも、ＲＧＢカメラとＡＲマーカーをつかった形状推定の技術（例えば、非特許文献３参照）や、手首に装着した大量のフォトリフレクタを用いて、手首の凹凸形状から推定を行う技術もあるが、装用者の作業の妨げになったり、精度が十分でなかったりする。

Ｋ．Ｈｏｓｈｉｎｏ，Ｔ．Ｋａｓａｈａｒａ，Ｍ．Ｔｏｍｉｄａ，ａｎｄ Ｔ．Ｔａｎｉｍｏｔｏ："Ｇｅｓｔｕｒｅ−ｗｏｒｌｄ ｅｎｖｉｒｏｎｍｅｎｔ ｔｅｃｈｎｏｌｏｇｙ ｆｏｒ ｍｏｂｉｌｅ ｍａｎｉｐｕｌａｔｉｏｎ−ｒｅｍｏｔｅ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｏｆ ａ ｒｏｂｏｔ ｗｉｔｈ ｈａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ−，"Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｍｅｃｈａｔｒｏｎｉｃｓ，２４，１，ｐｐ．１８０−１９０，２０１２． Ｄ．Ｋｉｍ，Ｏ．Ｈｉｌｌｉｇｅｓ，Ｓ．Ｉｚａｄｉ，Ａ．Ｂｕｔｌｅｒ，Ｊ．Ｃｈｅｎ，Ｉ．Ｏｉｋｏｎｏｍｉｄｉｓ，Ｐ．Ｏｌｉｖｉｅｒ："Ｄｉｇｉｔｓ： Ｆｒｅｅｈａｎｄ ３Ｄ Ｉｎｔｅｒａｃｔｉｏｎｓ Ａｎｙｗｈｅｒｅ Ｕｓｉｎｇ ａ Ｗｒｉｓｔ−Ｗｏｒｎ Ｇｌｏｖｅｌｅｓｓ Ｓｅｎｓｏｒ，"ＵＩＳＴ’１２ Ｐｒｏｃ．２５ｔｈ ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ ａｎｄ ｓｏｆｔｗａｒｅ ｔｅｃｈｎｏｌｏｇｙ，ｐｐ．１６７−１７６，２０１２．

本発明は、かかる問題を解決することを目的とし、超小型のＲＧＢカメラを、掌側ではなく、手の甲側に装着して手指形状推定を行うコンパクトなシステムを提供する。カメラを手の甲側に設置することで、モーションキャプチャにおける被撮影者動作の拘束を最小限に抑えることが期待できる。

従来技術が掌側にカメラを設置したのは、とくに指先が常に撮像される必要があったためであるが、本発明では、指先や指のある部分に遮蔽があっても手指形状推定が可能なアルゴリズムを提案する。

本発明では，超小型のＲＧＢカメラを、掌側ではなく、手の甲側に装着して手指形状推定を行う。とくに、１台のカメラにより、とくに母指、示指、中指の屈曲伸展をなるべく正確に推定できるよう、カメラは母指と示指のあいだの前方斜め上から手の甲を撮像するようにする。

従来手法が掌側にカメラを設置したのは、とくに指先が常に撮像される必要があったためであり、また、指関節が屈曲しても遮蔽が起こりにくいためであったが、本手法では、指先や指のある部分が遮蔽されている前提で照合用データベースを事前に用意する。

本発明では、カメラを手の甲側に設置することで、モーションキャプチャにおける被撮影者動作の拘束を最小限に抑えることができる。

また、本手法では、指先や指のある部分が遮蔽されている前提で照合用データベースを事前に用意するため、指先や指のある部分に遮蔽があっても手指形状推定が可能となる。

カメラ固定具と、使用した超小型ワイヤレス超小型カメラとの外観を示す図である。 母指と示指のあいだの斜め上方から、なるべく手に近い位置で撮像するようにカメラを設置した場合に撮像される手指画像の例である。 撮像された手指画像を、縦６４ｐｉｘｅｌ、横６４ｐｉｘｅｌとなるように画像を縮小した後、その画像を縦８分割、横８分割した例である。 高次局所自己相関パターンを例示する図である。

以下に、本発明の一実施形態の例を、添付図面を参照しながら説明する。なお、本発明は以下の実施形態に限定されるものではない。

カメラ固定具は、直径３ｍｍの針金で構成される。一方の端にはカメラが固定され、もう一方の端は、手の甲に安定して装着できるよう、八の字（もしくは無限大（∞）の形）に変形する。同カメラ固定具と装用者の手の甲との固定は、四指ＭＰ関節の手首側（掌（たなごころ））をマジックテープで巻いて固定する。装着の不快感を軽減するため、マジックテープの素材は柔らかいものを使う。

カメラは、たとえばワイヤレスの超小型カメラ（ＶＧＡ画像を３０ｆｐｓ）を使用する。カメラの赤外線除去フィルタは除去してあり、カメラ付近に小さな赤外線ＬＥＤを４個取り付ける。映像は専用の受信機で受信され、ビデオキャプチャケーブルを介してＰＣに入力される。

１台のカメラにより、とくに母指、示指、中指の屈曲伸展をなるべく正確に推定できるよう、カメラは母指と示指のあいだの前方斜め上から手の甲を撮像するようにした。たとえば、使用するカメラの画角が９０度だと、手の甲の中心からカメラレンズまで１０ｃｍ離すように設置する。この条件で手指を撮像すると、母指と四指のそれぞれの先端は撮像されない。

本発明は、２次元の見えに基づく（２Ｄ−ａｐｐｅａｒｅｎｃｅ−ｂａｓｅｄ）手指形状推定である。しかし、入力はＲＧＢ２次元映像であるが、出力は手指関節角度という３次元情報でなければならない。つまり、２次元映像から３次元形状を復元する課題である。そこで、照合用の２次元手指形状データベースに、手指の関節角度情報を付与することにより、２次元映像から３次元関節角度情報を出力できるようにする。

実験者は、片手に前述したカメラ固定具を装用し、反対の手にデータグローブ（ＣｙｂｅｒＧｌｏｖｅ、Ｖｉｒｔｕａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ社製）を装用する。そして、左右の手で多種の同じ動作を、注意深く行う。ここで、同データグローブは１８個のセンサを持ち、２２種の角度情報を出力する。各５指の中手指節関節（以降ＭＰと略す）、近位指節間関節（以降ＰＩＰと略す）、遠位指節間関節（以降ＤＩＰと略す）、それぞれの内外転の、５指２０自由度と、手首の屈曲伸展と内外転の、合計２２自由度の情報となる。前腕回旋は含まれない。

ここで、手または「手に対応する動作物ないしはその擬似物」とは、手と同様の形状及び構造を有し（言換えると、同じ場所に同じ関節があり）且つ同じ動作を行い得るものであれば別の動作物であってもよい。すなわち、「手に対応する動作物ないしはその擬似物」とは、ヒト型ロボットハンドや、コンピュータグラフィック技術等の擬似物生成技術を用いて作成したものである。この場合に得る画像データは、疑似画像データとなる。特にコンピュータグラフィック技術を用いる場合の疑似物の画像データは、コンピュータグラフィック画像データである。複数の画像データを時系列で取得する方法または手法は任意であり、単眼カメラ、両眼カメラ、あるいはマルチカメラのいずれにより撮影したものであってもよい。

データグローブと同時刻に取得された手指画像から、次のように画像特徴量を求める。第一に、撮像された画像から手指範囲のみを切り出し、縦６４ｐｉｘｅｌ、横６４ｐｉｘｅｌとなるように画像を縮小する。第二に、この画像を縦８分割、横８分割した。第三に、８×８の合計６４分割区分ごとに、高次局所自己相関特徴なる画像特徴量を求める。高次局所自己相関特徴は画像の認識や計測のために有効な特徴であり、次式で定義される高次相関関数について、参照点とその近傍についての計算をしたものである。

ここでｘ^ＮはＮ次元でのｒ点近傍の相関関数である。一般に自然画像を処理対象とする場合、対象点回りの画素が重要なため、係数Ｎを２次までとする。また、平行移動による等価なものを除いて、２５の特徴量で表現できる。ただしＭ１からＭ５までは、Ｍ６以降の特徴量に比べ値が３分の１、あるいは３分の２となる。値のダイナミックレンジを合わせるため、Ｍ２〜Ｍ５までは参照点の画素をさらに掛け合わせ、Ｍ１は参照点の画素の２乗を掛けることで他の特徴量に一致させる。

ここでは、画像対応関節角度記憶装置で行う画像データの特定の際に特徴量を抽出する技術として、高次局所自己相関関数を用いる特徴量抽出技術を例として挙げた。高次局所自己相関関数については、１９９３年発行の電総研研究報告，ｊ９５７の１２６頁乃至１４０に「柔らかな情報処理のための統計的手法の応用に関する研究」と題する論文に詳しく説明されている。ただし、画像特徴量を用いる方法は高次局所自己相関関数に限定するわけではなく、画像の特徴を数値化できるものなら良い。

所得した画像は、画面を縦８×横８に分割にし、合計６４分割した分割画面に対して画素すべてを参照点とし、２５パターンからなる高次局所自己相関関数によって特徴量化を行う。このようにすると、誤推定の原因となる影や手のしわなどを除去することができる。一連の処理により、１つの画像あたり８×８×２５の、合計１，６００次元の特徴量により手指画像を記述することになる。

したがって、このようにして得られた照合用データベースは、各データセットとも、１，６００次元の画像特徴量と、１８自由度の手指関節角度とを組にして持つことになる。さまざまな手の大きさや形状を持つ人を使った予備的実験によれば、画像対応関節角度記憶装置には、３０，０００セット程度の照合用データベースを用意すれば、相当程度の推定精度が得られる。

撮像された手指画像と、画像対応関節角度記憶装置内の動作画像データとの照合は、単純なユークリッド距離を用いた類似度計算により算出する。

ここで、Ｅは類似度、ｘ．ｃｕｒｒｅｎｔは入力画像の画像特徴量、ｘ．ｄａｔａｓｅｔ［ｉ］はデータセット番号ｉの画像特徴量、ｋは特徴量次元、Ｄは特徴量の次元数（＝１，６００）である。

過去に発明者は、主成分得点を利用して、あるいは自己組織化を用いて、類似度に応じてデータセットをあらかじめ並び替えておく方法や、手指画像に関する先験的知識を利用して絞り込み処理を行う方法により非接触的に手指形状推定を行う方法を提案している。本発明は接触的方法による手指形状推定であるが、処理の高速化のために、主成分得点または自己組織化により事前に照合用データベースを並び替えておく技法や、手指画像に関する先験的知識を利用する技法を用いても良い。

本発明によれば、光学式モーションキャプチャ用の広いスタジオで被撮影者が自由に動き回っても、あるいは、被撮影者が手に何かを握ったり、彼の掌を、床や壁、机、あるいは他者といった他物体に接触させても、高精度での手指形状推定ができる。さらには、装置により被撮影者に疲労を生じさせにくい。

Claims (3)

1. 手の甲側に装着された手指画像撮像装置を用いて、
   手または前記手に対応する動作物ないしはその擬似物に所定の動作と同じ動作をさせたときの前記手または前記動作物ないしはその擬似物の複数の画像データと、前記複数の画像データに対応して事前に収集された前記手の関節角度情報とを対応付けて記憶する画像対応関節角度記憶装置を備え、
   前記手の関節角度を推定するために、前記手または前記動作物ないしはその擬似物に所望の動作を行わせ、その際に前記手または前記動作物ないしはその擬似物の動作画像データを時系列で取得する手指画像取得装置と、
   前記動作画像データに対応する画像データを画像対応関節角度記憶装置に記憶している前記複数の画像データから時系列で照合し、照合した前記画像データに対応する前記関節角度情報を出力することを特徴とする手指形状推定装置。
2. 手の甲側に装着された手指画像撮像装置を用いて、
   手または前記手に対応する動作物ないしはその擬似物に所定の動作と同じ動作をさせたときの前記手または前記動作物ないしはその擬似物の複数の画像データと、前記複数の画像データに対応して事前に収集された前記手の関節角度情報とを対応付けて記憶する画像対応関節角度記憶ステップを備え、
   前記手の関節角度を推定するために、前記手または前記動作物ないしはその擬似物に所望の動作を行わせ、その際に前記手または前記動作物ないしはその擬似物の動作画像データを時系列で取得する手指画像取得ステップと、
   前記動作画像データに対応する画像データを画像対応関節角度記憶ステップに記憶している前記複数の画像データから時系列で照合し、照合した前記画像データに対応する前記関節角度情報を出力することを特徴とする手指形状推定方法。
3. コンピュータ装置に実装して所定の処理をコンピュータ装置に実行させるプログラムであって、
   手の甲側に装着された手指画像撮像装置を用いて、
   手または前記手に対応する動作物ないしはその擬似物に所定の動作と同じ動作をさせたときの前記手または前記動作物ないしはその擬似物の複数の画像データと、前記複数の画像データに対応して事前に収集された前記手の関節角度情報とを対応付けて記憶する画像対応関節角度記憶処理を備え、
   前記手の関節角度を推定するために、前記手または前記動作物ないしはその擬似物に所望の動作を行わせ、その際に前記手または前記動作物ないしはその擬似物の動作画像データを時系列で取得する手指画像取得処理と、
   前記動作画像データに対応する画像データを画像対応関節角度記憶処理に記憶している前記複数の画像データから時系列で照合し、照合した前記画像データに対応する前記関節角度情報を出力することを特徴とする処理をコンピュータ装置に実行させることを特徴とするプログラム。