JP2003256850A

JP2003256850A - 動き認識装置および画像処理装置並びにプログラム

Info

Publication number: JP2003256850A
Application number: JP2002276918A
Authority: JP
Inventors: Kazuhide Sugimoto; 和英杉本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2001-12-27
Filing date: 2002-09-24
Publication date: 2003-09-12

Abstract

(57)【要約】【課題】時系列画像から操作者の手指の曲げ伸ばしを
認識する。【解決手段】操作者の手元を撮影した画像から指の輪
郭線を抽出する。コンピュータのメモリには、手の指の
解剖学的モデルが複数の円柱２００、２０２、２０４と
して記憶されており、指の輪郭線と指のモデルを照合す
ることで画像内において関節部位を特定する。関節部位
で輪郭線を複数の部位に分割し、各部位に動き追跡用の
参照点を設定し、各部位毎に動きを抽出して指の折れ曲
がりを認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動き認識装置及び画
像処理装置並びプログラム、特に時系列画像において被
写体である人体の一部を追跡し、その動きを認識する技
術に関する。

【０００２】

【従来の技術】従来より、カメラで得られた時系列画像
あるいは連続画像から被写体の動きを検出する技術が知
られている。例えば、相関マッチングにより被写体の画
像パターンに類似した画像パターンを時間的に隣接する
画像フレームから識別する。識別した動きが被写体の動
きとして認識される。

【０００３】しかしながら、被写体の回転や被写体のサ
イズ変化が生じると画像フレーム内に現れる画像パター
ンが変化するため、相関マッチングを行うことができず
被写体の動きを追跡できない問題がある。

【０００４】一方、エネルギ最小化手法を用いて被写体
の輪郭線を追跡し、得られた輪郭線から被写体の動きを
抽出する技術もある。この技術では、被写体の回転や被
写体のサイズ変化にも対応し得るが、エネルギ最小化問
題を解く際に前画像フレームでの輪郭線を初期値として
用いるため、隣接画像フレーム間で被写体の占める領域
が重ならないような、被写体の大きな（速い）動きに対
応することができない問題がある。

【０００５】さらに、従来においては初期画面において
被写体存在領域に参照点を設定し、参照点を隣接画像フ
レーム間で追跡する技術も提案されている。参照点の追
跡は、参照点の周囲における小領域の画像パターンを用
いた相関マッチングにより参照点に対応する点の候補を
求め、全体の整合性を考慮して対応点候補の中から真の
対応点を決定する。参照点と対応点の位置関係が被写体
の動きを示す。参照点という被写体の局所的な特徴を用
いて追跡するため、被写体の回転や被写体のサイズ変化
に対応することができ（被写体の回転や被写体のサイズ
変化が生じても特徴点は消失しない）、かつ、隣接画像
フレーム間で被写体の占める領域が重ならないような被
写体の大きな（速い）動きも追跡できる。

【０００６】

【特許文献１】特開平５−１９７８０９号公報

【特許文献２】特開平５−０１２４４３号公報

【０００７】

【発明が解決しようとする課題】しかしながら、参照点
の隣接画像フレーム間での対応関係、すなわち参照点と
対応点の位置関係により被写体の動きを追跡する技術に
おいては、参照点をどのように選択するかが重要とな
る。剛体の動きを追跡する場合、本願出願人が先に特願
２０００−９５８２５号で提案したように、剛体の場合
には輪郭線の参照点位置における法線が９０度の角度差
を有するように参照点を選択することも可能であるが、
例えば手指など関節を中心として複雑な動きが可能な被
写体の動きを追跡する場合、関節で接続されたそれぞれ
の部位は関節を中心として非剛体的運動が可能であるた
め、このような運動を正しく認識するためには特に参照
点の選択が重要となる。関節で接続された各部位は、並
進運動のみではなく各部位間の相対的な回転運動も伴う
からである。

【０００８】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、手指の曲げ伸ばし
等、剛体の運動に限らず非剛体的運動の追跡および認識
も行うことができる装置を提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明の動き認識装置は、時系列画像から被写体の
動きを認識する動き認識装置であって、人体の少なくと
も一部の画像を取得する撮影手段と、前記画像から前記
人体の一部の輪郭線を抽出する抽出手段と、前記輪郭線
から前記人体の一部に含まれる関節位置を検出する検出
手段と、前記関節位置に基づき、前記関節位置で接続さ
れる部位毎に参照点を設定する設定手段と、前記参照点
を前記時系列画像において追跡することにより、前記部
位間の相対的動きを認識する認識手段とを有することを
特徴とする。

【００１０】前記設定手段は、前記関節位置近傍以外の
輪郭線上に前記参照点を設定することが好適である。

【００１１】また、前記設定手段は、前記輪郭線上の中
で、曲率の大きい部位の参照点密度を大きく、曲率の小
さい部位の参照点密度を小さく設定することが好適であ
る。

【００１２】また、前記設定手段は、前記参照点位置に
おける前記輪郭線の法線方向が略等分となるように設定
することが好適である。

【００１３】前記検出手段は、前記輪郭線を予め定めら
れた指の幾何モデルと照合することにより指の関節位置
を検出することが好適である。

【００１４】また、前記検出手段は、前記輪郭線を基準
要素に分解することにより指の関節位置を検出すること
が好適である。

【００１５】前記認識手段は、前記関節位置を基準とす
る前記部位間の回転運動を認識することで前記指の曲げ
伸ばし動作を認識することが好適である。

【００１６】また、前記検出手段は、前記輪郭線を予め
定められた手の幾何モデルと照合することにより指と指
の間の関節位置を検出することが好適である。

【００１７】また、前記認識手段は、前記関節位置を基
準とする前記指間の回転運動を認識することで２つの指
の開閉動作を認識することが好適である。

【００１８】また、前記検出手段は、親指と人差し指の
間の関節位置を検出し、前記認識手段は、前記親指と人
差し指による把持動作を認識することが好適である。

【００１９】また、本発明は画像処理装置を提供する。
この装置は、上記した動き認識装置と、画像を表示する
手段と、前記動き認識装置で認識された前記操作者の手
の動きに応じて前記画像の表示態様を変化させる手段と
を有する。

【００２０】また、本発明は時系列画像から操作者の動
きを認識するプログラムを提供する。このプログラム
は、コンピュータに対して、少なくとも、前記操作者の
人体の一部の画像から前記人体の一部の輪郭線を抽出さ
せ、前記輪郭線から前記人体の一部に含まれる関節位置
を検出させ、前記関節位置に基づき、前記関節位置で接
続される部位毎に参照点を設定させ、前記参照点を前記
時系列画像において追跡させることで前記部位間の相対
的動きを認識させる。

【００２１】また、前記プログラムは、コンピュータに
前記参照点を設定させるときに、前記関節位置近傍以外
の輪郭線上に設定させることが好適である。

【００２２】また、前記プログラムは、コンピュータに
前記参照点を設定させるときに、前記輪郭線の中で、曲
率の大きい部位の参照点密度が大きく、曲率の小さい部
位の参照点密度を小さくなるように設定させることが好
適である。

【００２３】また、前記プログラムは、コンピュータに
前記参照点を設定させるときに、前記参照点位置におけ
る前記輪郭線の法線方向が略等分となるように設定させ
ることが好適である。

【００２４】また、前記プログラムは、コンピュータに
前記関節位置を検出させるときに、前記輪郭線を前記コ
ンピュータのメモリに記憶されている指の幾何モデルと
照合させることで指の関節位置を検出させることが好適
である。

【００２５】また、前記プログラムは、コンピュータに
前記関節位置を検出させるときに、前記輪郭線を所定の
基準要素に分解することにより指の関節位置を検出させ
ることが好適である。

【００２６】また、前記プログラムは、コンピュータに
前記動きを認識させるときに、前記関節位置を基準とす
る前記部位間の回転運動を認識させることで前記指の曲
げ伸ばし動作を認識させることが好適である。

【００２７】また、前記プログラムは、コンピュータに
前記関節位置を検出させるときに、前記輪郭線を前記コ
ンピュータに記憶されている手の幾何モデルと照合させ
ることで指と指の間の関節位置を検出させることが好適
である。

【００２８】また、前記プログラムは、コンピュータに
前記動きを認識させるときに、前記関節位置を基準とす
る前記指間の回転運動を認識させることで２つの指間の
開閉動作を認識させることが好適である。

【００２９】また、前記プログラムは、コンピュータに
前記関節位置を検出させるときに、親指と人差し指の関
節位置を検出させ、前記動きを認識させるときに、前記
親指と人差し指による把持動作を認識させることが好適
である。

【００３０】このように、本発明の動き認識装置あるい
は動き認識用プログラムでは、人体の関節位置を検出
し、この関節位置に基づいて動きを追跡するための参照
点を設定する。指の曲げ伸ばし運動等は関節位置を基準
とする運動であり、関節位置に参照点を設定しても動き
を追跡することができない。そこで、関節位置近傍以外
に参照点を設定し、関節に接続している複数の部位のそ
れぞれに参照点を設定し、各部位毎に独立に動きを追跡
することで、関節位置を基準とする動き（非剛体的運
動）を認識することができる。このような非剛体運動の
一例は親指の曲げ伸ばしであり、関節位置に接続した２
つの部位間の相対的回転運動により曲げ伸ばしが認識さ
れる。また、非剛体運動の他の例は親指と人差し指の間
の開閉であり、親指と人差し指の関節位置を基準とする
相対的回転運動により親指と人差し指の閉動作、いわゆ
る把持動作が認識される。

【００３１】関節位置は、輪郭線の形状から検出され
る。すなわち、人体の関節位置は既知であり、抽出した
輪郭線と既知のデータを照合することで輪郭線に対する
関節位置が決定される。

【００３２】参照点の追跡は、ある時刻において画像の
輪郭線上に設定された参照点の、次の時刻における対応
点を設定することで実行される。参照点と対応点の位置
関係から動きベクトルが抽出され、人体の一部の運動が
明らかとなる。人体の一部の運動が、平面上での平行移
動あるいは回転移動、あるいは平行移動と回転移動の組
み合わせであれば、参照点と対応点の位置関係はアフィ
ン変換で規定されることが知られている。したがって、
アフィン変換パラメータを算出し、参照点をアフィン変
換することで、当該参照点が移動したところの対応点を
一義的に決定でき、参照点を追跡できる。アフィン変換
パラメータは、例えば以下のようにして算出できる。す
なわち、次の時刻における仮の対応点を設定し、参照点
と仮の対応点の位置関係からアフィン変換パラメータを
算出する。仮の対応点は真の対応点である保証はなく、
算出されたパラメータには一般に誤差が含まれる。そこ
で、算出されたアフィン変換パラメータを用いて参照点
を変換し、変換後の点と仮の対応点との距離が最小とな
るようにパラメータを順次調整していく。以上のように
してアフィン変換パラメータが決定され、対応点も決定
される。

【００３３】一方、追跡対象が平面上での平行移動ある
いは回転移動とは異なる運動を行った場合、すなわちア
フィン変換が前提とする運動以外の運動を行った場合、
アフィン変換により設定された対応点は真の対応点とは
乖離し、設定された対応点を新たな参照点としてさらに
次の時刻における対応点を探索するときにその誤差が伝
播し、逐次処理に伴って誤差が蓄積されてしまう。

【００３４】そこで、参照点を追跡する認識手段は、単
にアフィン変換を用いて対応点を設定する他、アフィン
変換により対応点候補を設定した後、当該対応点候補を
次の時刻における実際の輪郭線上の点に収束させる補正
処理を行うことが好適である。これにより、アフィン変
換で与えられる対応点候補と真の対応点との間の乖離あ
るいは誤差を吸収し、さらに次の時刻に誤差が蓄積され
ないように抑制することができる。補正処理は、上述し
たようにアフィン変換が前提とする平面内運動以外の運
動、具体的にはカメラの投影面内以外の回転運動等が行
われたときに実行するのが好適である。このような運動
は、アフィン変換により与えられる対応点候補が真の輪
郭線から大きく乖離している、あるいは抽出された動き
ベクトル等から予想され得る。

【００３５】補正処理は、例えばアフィン変換により与
えられた対応点候補を次の時刻における真の輪郭線上の
最近傍点に収束させることで実行できる。補正の対象と
なる参照点は、輪郭線上に設定された全ての参照点の
他、特に曲率の大きい部位に設定された参照点のみ、あ
るいは輪郭線の端部のみに限定して補正処理時間の短縮
あるいは効率化を図ることも可能である。

【００３６】

【発明の実施の形態】以下、図面に基づき本発明の実施
の形態について説明する。

【００３７】＜第１実施形態＞図１には、本実施形態に
かかる画像処理装置の構成ブロック図が示されている。
本実施形態の画像処理装置は、撮像手段１０、Ａ／Ｄ変
換手段１２、フレームメモリ１４、中央処理手段１６、
メインメモリ１８および表示手段２０を含む。

【００３８】撮像手段１０は、被写体、具体的には操作
者の手指を連続撮影して順次Ａ／Ｄ変換手段１２に撮像
データを出力する。撮像手段１０は、ＣＣＤカメラ等で
構成される。

【００３９】Ａ／Ｄ変換手段１２は、撮像手段１０から
の時系列画像を順次デジタルデータに変換してフレーム
メモリ１４に出力する。なお、撮像手段１０としてデジ
タルカメラを用いた場合、Ａ／Ｄ変換手段１２は不要で
あり、この場合には撮像手段１０で得られたデジタル画
像データは直接フレームメモリ１４に出力される。

【００４０】フレームメモリ１４は、入力した時系列デ
ジタル画像を順次記憶し、中央処理手段１６からのアク
セスに応じてデータを出力する。

【００４１】中央処理手段１６は、ＣＰＵ（あるいはＭ
ＰＵ）及びメモリを含み、動き認識部として機能する。
中央処理手段１６は、後述する画像処理を実行してフレ
ームメモリ１４に記憶された時系列画像から被写体の動
き、具体的には操作者の手指の動きを認識する。本実施
形態における動き認識は、被写体が存在する領域に参照
点を設定し、この参照点を隣接画像フレーム間で追跡す
ることにより実行される。参照点の追跡は、メインメモ
リ１８に演算結果を記憶することにより実行される。ま
た、中央処理手段１６は、認識した動きに基づき、表示
手段２０に表示されたＣＧ（コンピュータグラフィッ
ク）モデルの表示態様を変化させる。中央処理手段１６
は、動きとして操作者の親指や人差し指の曲げ伸ばし等
を認識する。そして、これらの動きを認識したときに、
この認識動作に合致するようにＣＧモデルを変化させ
る。中央処理手段１６における動き認識処理並びにＣＧ
モデル表示処理は、全てメモリに記憶された処理プログ
ラムを順次実行することにより達成される。処理プログ
ラムは、ＣＤやＤＶＤ等の可搬性記憶媒体からメモリに
インストールすることができる。処理プログラムは任意
のプログラム言語で記述される。処理プログラムの内容
は、中央処理手段１６の処理動作から明らかとなる。

【００４２】表示手段２０は、ＣＲＴや液晶、有機ＥＬ
等のディスプレイで構成される。

【００４３】Ａ／Ｄ変換手段１２、フレームメモリ１
４、中央処理手段１６、メインメモリ１８及び表示手段
２０は、汎用のパーソナルコンピュータで構成でき、動
き認識用プログラムをインストールし実行することで汎
用パーソナルコンピュータを動き認識装置及び画像処理
装置として機能させる。

【００４４】図２には本実施形態の全体処理フローチャ
ートが示されている。中央処理手段１６の処理（あるい
は処理プログラムのルーチン）は、最初の画像フレーム
に対する処理（Ｓ１）と、以降の画像フレームに対する
処理（Ｓ２）並びに運動情報を抽出してＣＧモデルを操
作する処理（Ｓ３）の３つのステップに大別される。

【００４５】中央処理手段１６は、まず、フレームメモ
リ１４から最初の画像フレームを入力し（Ｓ１１）、入
力した最初の画像フレームから被写体（操作者の手指）
の輪郭線を抽出する（Ｓ１２）。輪郭線抽出は、フレー
ム内における輝度変化を用いて行うことができる。エッ
ジ抽出による輪郭線抽出は画像処理分野で周知である。
輪郭線を抽出した後、次に特徴抽出を行う（Ｓ１３及び
Ｓ１４）。特徴抽出とは、具体的にはＳ１２で算出され
た輪郭線から参照点を設定するための目印となる被写体
の特徴を抽出する処理であり、剛体の場合には屈曲点や
変曲点、あるいは遷移点等が抽出され得る。

【００４６】しかしながら、本実施形態の目的は、手指
など関節を中心とする非剛体的運動の追跡であり、非剛
体的運動に合致した特徴点を抽出することが要求され
る。本実施形態では、被写体の特徴として関節部位を抽
出する。例えば、操作者の親指と人差し指を含む画像を
取得した場合、抽出した輪郭線から親指及び人差し指を
それぞれ認識し、さらに親指及び人差し指における関節
部位を抽出する。関節部位の抽出についてはさらに後述
する。特徴抽出した後、抽出した関節部位に基づき参照
点を選択する（Ｓ１５）。

【００４７】参照点の選択は、以下の二つの条件を満た
すように行われる。

【００４８】（１）開口問題を回避できるように輪郭線
の法線方向が等分されるように参照点を設定する（２）関節部位の近傍には設定せず、関節部位近傍以外
の輪郭線上に参照点を設定するここで、開口問題とは、時刻ｔにおける参照点に対応す
る、時刻（ｔ＋１）における対応点が一義的に決定でき
ない問題をいう。例えば、複数の参照点を輪郭線上にお
いて縦方向に設定した場合、被写体の縦方向の動きに関
しては対応点を一義的に決定することができなくなる。
縦方向の動きに対しては、横方向に複数の参照点を設定
する必要がある。参照点における輪郭線の法線方向が等
分されるように参照点を設定することで、開口問題を生
じることなく参照点を設定した部位の任意の動きを追跡
できる。なお、参照点を設定する被写体が親指や人差し
指の場合、先端部で曲率が大きく、それ以外ではほぼ直
線状であるため、法線方向を等分するために曲率の大き
い先端部分では密に設定される。

【００４９】また、関節部位近傍以外に参照点を設定す
るのは、関節部位では動きがほとんどないため参照点と
しての意義が没却されるためであり、関節部位を基準と
する各部位の動きを独立に追跡するために関節部位で接
続された各部位に参照点を設定する必要があるからであ
る。

【００５０】初期画像フレームの輪郭線上に参照点を選
択した後、次フレーム画像を入力し（Ｓ２１）、仮の対
応点を選択する（Ｓ２２）。仮の対応点は、移動前の被
写体における参照点の法線と移動後の被写体の輪郭線の
交点で定義される。参照点の法線と輪郭線の交点は、参
照点の法線上に存在する画素の輝度値を調べ、法線上で
隣接する画素の輝度値が大きく異なる点として算出され
る。

【００５１】参照点および仮の対応点を選択した後、参
照点と仮の対応点の座標に基づき、多項式の係数を算出
する（Ｓ２３）。本実施形態では、参照点と対応点の関
係をアフィン変換で表現できると仮定する。操作者の手
指の動きが任意の平面上での平行移動と回転移動であれ
ば、アフィン変換で表現できる。ここで、対応点は、被
写体である手指が移動した後の参照点に対応する点で定
義される。参照点の座標を（Ｘ，Ｙ）、対応点の座標を
（ｘ，ｙ）とすると、両者の関係は以下の多項式で表現
される。

【００５２】

【数１】ここで、ａ、ｂ、ｃ、ｄは被写体の動きの回転成分を示
す係数であり、ｅおよびｆは被写体の動きの平行移動成
分を示す係数である。Ｓ２３では多項式の係数ａ、ｂ、
ｃ、ｄ、ｅ、ｆを参照点と仮の対応点の座標に基づき決
定する。但し、仮の対応点は真の対応点ではないため、
これらの係数は一義的に定まらない。したがって、Ｓ２
３では、参照点の座標（Ｘ，Ｙ）から（１）式を用いて
得られる結果と仮の対応点の座標（ｘ，ｙ）との誤差が
小さくなるような係数の近似解を最小二乗法によって算
出する。

【００５３】係数の近似解を算出した後、この近似解を
用いて（Ｘ，Ｙ）に対応する仮の対応点（ｘ′，ｙ′）
を算出し（Ｓ２４）、得られた仮の対応点（ｘ′，
ｙ′）と実際の仮の対応点（ｘ，ｙ）との距離が所定の
しきい値未満であるか否かを判定する（Ｓ２５）、係数
の誤差が大きければ算出された距離はしきい値以上とな
るので、参照点（Ｘ，Ｙ）を（ｘ′，ｙ′）に更新して
（Ｓ２６）、再び更新した参照点座標を用いて多項式の
係数を算出する（Ｓ２３）。以上の処理を繰り返すこと
で、最終的に（ｘ，ｙ）と（ｘ′，ｙ′）との距離がし
きい値未満となる係数が決定される。

【００５４】係数の近似解がしきい値未満となるように
収束させた後、これら係数ａ〜ｆを用いて（１）式に従
い参照点の真の対応点を決定する（Ｓ２７）。参照点と
対応点が決定された後、両者の位置関係に基づき動きベ
クトルが抽出され、運動情報が算出される（Ｓ２８）。
本実施形態では、指の関節部位に接続される二つの部位
間の相対的回転運動が抽出された場合、これを指の曲げ
伸ばし運動として認識する。

【００５５】運動情報が算出された後、運動情報に基づ
き、予めコンピュータ内部に用意されたＣＧモデルある
いはポインタ等の対象の表示態様を変化させてモデル操
作を行う（Ｓ２９）。モデル操作は、運動情報と１：１
で対応付けておくことができ、例えば親指の曲げ伸ばし
運動が認識された場合にはＣＧモデル内のスイッチがＯ
Ｎされるようにスイッチモデルを動かす等である。ＣＧ
モデルの操作は、コンピュータ内でポリゴンあるいはボ
クセルで表示されたモデルを座標変換することで得られ
る。以上の処理を画像フレーム毎に繰り返し実行する
（Ｓ３０、Ｓ３１）。すなわち、次の画像フレームにお
いて得られた対応点を新たな参照点に設定し、さらに次
の画像フレーム内において当該参照点の対応点を算出し
て動きベクトルを算出する。

【００５６】以下、参照点選択処理及び動きベクトル算
出処理について、より具体的に説明する。

【００５７】図３には、被写体として操作者の人差し指
を用いた場合の関節部位抽出処理が示されている。中央
処理手段１６のメモリには、予め人体の人差し指につい
ての解剖学的知見に基づくモデルが記憶されており、抽
出された輪郭線と解剖学的モデルとを照合することによ
り操作者の人差し指の関節部位を抽出する。解剖学的知
見に基づくモデルは、例えば第１指関節より先端部位を
示す円柱２００、第１指関節と第２指関節の間の部位を
示す円柱２０２、及び第２指関節より根本の部位を表す
円柱２０４の三つの円柱モデルを組み合わせたもので表
現することができる。三つの円柱２００、２０２、２０
４を指関節で接続してなるモデルを適当なサイズに相似
変換して輪郭線と照合し、解剖学的モデルにおける指関
節位置に対応する輪郭線部位を関節部位として抽出す
る。関節部位は一定の厚さを有する平面で与えられる
が、この平面と輪郭線との交線が輪郭線上における関節
部位近傍となる。

【００５８】一方、図４には、関節部位を特定する他の
方法が示されている。抽出された輪郭線を複数の基準線
分要素に分解する。基準線分要素としては、例えば直
線、一定曲率の曲線、一定曲率のＵ字型曲線等を用いる
ことができる。輪郭線をこれらの基準線分要素に分解
し、予め指の解剖学的知見から得られた輪郭線の線分要
素と照合することで関節部位を特定する。図４におい
て、線分要素３と線分要素４の間、および線分要素６と
線分要素７の間に第１指関節が存在すると特定できる。

【００５９】関節部位を平面として与え、この平面と輪
郭線との交線をもって関節部位近傍とするのは図３と同
様である。図中黒丸は、関節部位を示す代表点である。

【００６０】図５には、以上のようにして抽出された指
の関節部位及び輪郭線上の関節部位近傍に基づき、Ｓ１
５にて実行される参照点の選択処理が模式的に示されて
いる。参照点は輪郭線上のうち、その部位における法線
方向が等分されるように設定され、かつ、関節部位近傍
以外に設定される。操作者の人差し指の場合、指の先端
においては曲率があり、それ以外はほぼ直線状である。
法線方向を等分するために、輪郭線上において等間隔で
参照点を設定するのではなく、曲率の小さい直線部分は
粗く設定し、曲率の大きい先端部分は密に設定する。す
なわち、参照点の設定間隔に粗密が形成される。

【００６１】また、図５に示されるように、関節部位近
傍（図中太線部分）においては参照点は設定されない。
これにより、第１指関節より先端の部位Ｉ、第１指関節
と第２指関節の間の部位IIおよび第２指関節より根本の
部位IIIのそれぞれの部位に参照点が適当に設定され
る。中央処理手段１６は、それぞれの部位に設定された
参照点をそれぞれの部位毎にグループ化し、各部位毎に
独立に参照点を追跡する。例えば、部位Ｉに設定される
参照点に関しては、各参照点にＩ−１、Ｉ−２・・・と
番号付けし、部位IIに設定される参照点にはII−１、II
−２・・・と番号を付け、各部位毎に多項式の係数ａ〜
ｆを算出して対応点を算出する。すなわち、Ｓ２１〜Ｓ
２８の処理は、各部位毎に実行される。

【００６２】図６及び図７には、参照点を設定した後に
各部位毎に実行される参照点追跡処理が模式的に示され
ている。図６において、前画像フレームでの被写体の輪
郭線に対して参照点を設定し、この参照点位置における
輪郭線の法線と次画像フレームでの被写体の輪郭線の交
点を仮の対応点として設定する。参照点と仮の対応点を
設定した後、アフィン変換における多項式係数を算出す
る。すなわち、図７に示されるように、参照点から第１
の仮の対応点を算出し、参照点と第１の仮の対応点に基
づき係数の近似解を算出する。この係数の近似解を用い
て第１の仮の参照点を算出し、第１の仮の参照点と第１
の仮の対応点との距離を算出する。この距離が所定のし
きい値以上であれば、第１の仮の参照点を新たな参照点
に更新し、この新たな参照点に対する第２の仮の対応点
を求め、第１の仮の参照点と第２の仮の対応点から再び
多項式の係数を算出する。算出された多項式係数に基づ
き、第１の仮の参照点に対応する第２の仮の参照点を算
出し、再び第２の仮の参照点と第２の仮の対応点との距
離がしきい値以上であるか否かを判定する。しきい値以
上である場合には、参照点を第２の仮の参照点に更新し
て再び第３の仮の対応点を算出する。そして、更新され
た参照点と第３の仮の対応点に基づき多項式係数を再び
算出し、新たに算出された多項式係数に基づき第３の仮
の参照点を算出して第３の仮の対応点との距離がしきい
値以上であるか否かを判定する。この距離がしきい値未
満である場合には、第３の仮の参照点が対応点として選
択され、参照点と次画像フレームにおける対応点との位
置関係から動きベクトルが算出される。人差し指の場
合、部位Ｉ〜IIIの３つの部位が存在するので、係数ａ
〜ｆの組も各部位毎に３組算出される。動きベクトル
は、回転行列、並進ベクトル、及び撮影面のパラメータ
で記述でき、例えば特願平１１−１３７４１１号にはそ
の一例が示されている。

【００６３】図８には、部位Ｉ、II、IIIそれぞれにつ
いて独立に算出された動き情報がベクトル形式で示され
ている。部位IIIの動きベクトルはほとんどなく、部位I
Iの動きベクトル３００は、第２指関節を中心とする部
位IIIに対する回転運動として表される。また、部位Iの
動きベクトル３０２は第２指関節を基準とする部位Ｉの
回転運動と第１指関節を中心とする部位IIに対する回転
運動の合成されたベクトルとして示される。このような
動き情報の抽出により、中央処理手段１６は操作者の人
差し指が「折れ曲がった」ことを認識する。なお、折れ
曲がりを認識するためには、部位Ｉあるいは部位IIのい
ずれかの動き情報を認識することで行ってもよく、部位
Ｉと部位IIの動きを複合的に用いて行ってもよい。一般
に、部位IIに動きが無く部位Ｉのみに動きがあることは
考え難いので（第１指関節のみが折れ曲がる）、第２指
関節を基準とする部位IIの回転運動のみを抽出して人差
し指の折れ曲がりを認識することも可能である。

【００６４】なお、人差し指の場合、第１指関節、第２
指関節の他に、根本部分に第３指関節も存在する。この
第３指関節を基準とする部位IIIの回転運動を抽出する
ことも同様に可能である。中央処理手段１６は、部位II
Iの回転運動により人差し指の指し示す方向の変化を認
識できる。

【００６５】以上は操作者の人差し指についての説明で
あるが、他の指、例えば操作者の親指についても同様に
処理することができる。すなわち、画像の輪郭線から親
指であることを認識し、予めメモリに記憶されている解
剖学的な親指モデルと輪郭線とを照合することで親指の
指関節部位を特定する。そして、関節部位近傍以外に参
照点を設定し、親指に含まれる第１指関節より先端の部
位Ｉ、第１指関節より根本の部位IIそれぞれの係数ａ〜
ｆを算出し、第１指関節を基準とする部位Ｉの回転運動
を抽出することで親指の折れ曲がりを認識できる。親指
の第２指関節を基準とする部位IIの回転運動を認識する
ことで折れ曲がりを認識してもよい。

【００６６】図９には、親指の折れ曲がり運動が例示さ
れている。（ａ）に示されるように親指を少し伸ばした
状態から、（ｂ）に示されるように親指を人差し指に付
けるような動作を行った場合、部位IIは第２指関節を基
準として回転運動を行い、部位Iは第１指関節を基準と
して回転運動を行う。中央処理手段１６は、このような
回転運動を検出することで親指の折れ曲がり運動を認識
する。

【００６７】親指の折れ曲がり運動は、慣用的には何ら
かのスイッチ手段をＯＮ操作するとして把握される場合
がある。ゲームの操作パッドあるいはコンソールを親指
で操作する場合が一例である。したがって、中央処理手
段１６は、このような親指の折れ曲がり操作を認識する
ことで、操作者がスイッチ操作をＯＮするという意志を
表明したと認識し、この認識に基づいてＣＧモデルを操
作することが好適である。

【００６８】例えば、ＣＧモデルとして携帯電話を表示
手段２０に表示した場合を想定する。操作者が図９に示
されるような親指の折り曲げ動作を行った場合、中央処
理手段１６は時系列画像を処理することでこの折れ曲が
り動作を認識する。そして、この動作をトリガとして、
ＣＧモデルの携帯電話の特定ボタンをＯＮする等であ
る。

【００６９】特定ボタンが発信ボタンである場合、操作
者は単に親指を折り曲げるだけでコンピュータを用いて
電話をかけることができる。

【００７０】＜第２実施形態＞図１０には、本実施形態
に係る画像処理装置の構成ブロック図が示されている。
図１と異なる点は、撮像手段１０、Ａ／Ｄ変換手段１
２、フレームメモリ１４がそれぞれ複数設けられている
点である。すなわち、撮像手段１０ａ及び１０ｂ、Ａ／
Ｄ変換手段１２ａ及び１２ｂ、フレームメモリ１４ａ及
び１４ｂが設けられ、得られたデジタル画像データを中
央処理手段１６に出力する。撮像手段１０ａ及び１０ｂ
は、所定距離だけ離間して配置され、それぞれ被写体を
ステレオ撮影する。中央処理手段１６では、ステレオ画
像の各画像をそれぞれ独立に処理し、その後統合して操
作者の手指の三次元的な動きを認識する。

【００７１】図１１および図１２には、本実施形態の全
体処理フローチャートが示されている。図２と異なる点
は、各画像における対応点を決定し、各画像中の運動情
報を算出した後、ステレオ画像間での対応点を決定し
（Ｓ２１４）、ステレオ対応による３次元空間中での運
動情報を算出する（Ｓ２１５）点である。

【００７２】以下、操作者の親指と人差し指による把持
動作を例に取り、本実施形態の処理を説明する。

【００７３】図１３には、ステレオ画像の一方の画像が
示されており、操作者の親指と人差し指の画像が示され
ている。中央処理手段１６は、得られた画像から輪郭線
を抽出し、輪郭線上に参照点を選択する。参照点の選択
基準は上述した第１実施形態と同様である。

【００７４】図１４には、選択された参照点が例示され
ている。また、図１４には、参照点選択に先立ち抽出さ
れる親指と人差し指の間の関節部位も示されている。親
指と人差し指の間の関節は、親指と人差し指の解剖学的
知見に基づくモデルと実際に得られた親指と人差し指の
輪郭線とを照合することにより抽出される。解剖学的モ
デルは、手指全体のモデルでもよく、輪郭線とモデルと
を照合することにより輪郭線が親指と人差し指であるこ
とを特定し、親指と人差し指の関節部位を抽出してもよ
い。参照点は、関節部位近傍以外に設定され、関節に接
続される複数の部位である親指と人差し指（この場合、
親指と人差し指はそれぞれ剛体として扱う）それぞれに
設定される。図において、白丸は親指に設定された参照
点群、黒丸は人差し指に設定された参照点群をそれぞれ
示している。参照点は輪郭線の法線方向が等分となるよ
うに選択され、本実施形態でも各指の先端部部では密に
設定され、先端部分以外の直線部分では粗に設定され
る。中央処理手段１６は、親指に設定された参照点群、
人差し指に設定された参照点群それぞれについて係数ａ
〜ｆを算出して対応点を算出し、参照点と対応点の位置
関係から動きベクトルを算出する。ステレオ画像をＲ画
像及びＬ画像とした場合、Ｒ画像の動きベクトル及びＬ
画像の動きベクトルが得られる。

【００７５】図１５には、ステレオ画像の内の一つの画
像（例えばＲ画像）において前画像フレームと次画像フ
レームから算出された親指と人差し指それぞれの動きベ
クトルが例示されている。操作者が親指と人差し指の間
隔を狭める動作を行った場合、親指及び人差し指はそれ
ぞれ関節部位を基準とする反対回りの回転運動として認
識される。中央処理手段１６は、このような相対的回転
運動を抽出した場合、操作者が親指と人差し指でものを
挟む把持動作を行ったと認識する。

【００７６】なお、ステレオ画像ではなく、単一の撮像
手段から得られた画像を処理する場合、操作者が親指と
人差し指の位置関係を変化させずに単に手首を回転させ
ただけでも画像上は親指と人差し指の間隔が狭まるた
め、手首の回転運動と親指と人差し指による把持運動と
を区別することができない。ステレオ画像を用いた場
合、参照点と対応点の３次元的な動きベクトルが算出さ
れるため、手首の回転と把持運動とを互いに識別するこ
とが可能である。具体的には、図１８に示されるよう
に、指モデルとの照合により、曲率の大きい部位（図中
黒丸４００群）を抽出し、例えばその重心位置を指先と
して定義するなどして指先箇所をステレオ画像よりそれ
ぞれ検出する。そして、図１９及び図２０に示されるよ
うに、ステレオ画像中の指先点（重心位置）ｇＬ１とｇ
Ｒ１の対応関係に基づいて三次元空間中の指先位置Ｇ１
を算出する。同様に、ステレオ画像中の指先点（重心位
置）ｇＬ２とｇＲ２の対応関係に基づいて三次元空間中
の指先位置Ｇ２を算出する。その後、各指先間の相対位
置関係（距離等）、すなわちＧ１とＧ２の距離（三次元
距離）を測定し、しきい値と比較して判定することによ
り、指先が開いているか閉じているかを判定する。図１
９の場合、Ｇ１とＧ２の距離がしきい値以上であるため
指先が「開」と判定され、図２０の場合にはＧ１とＧ２
の距離がしきい値未満であるため指先が「閉」であると
判定される。図１９の状態から図２０の状態への遷移に
より、操作者の把持（指先でのつまみ）動作が認識され
る。

【００７７】図１６には、操作者の把持動作を認識した
場合の表示手段２０に表示されるＣＧモデルあるいは仮
想空間の表示態様変化の一例が示されている。（ａ）及
びその一部拡大図である（ｂ）に示されるように、表示
手段２０には複数のＣＧモデル、例えば携帯電話が表示
される。また、ロボットハンド（マニュピュレータの一
部としての平行２指ハンド）も表示される。図におい
て、マニュピュレータのハンド部は、２つの指（グリッ
パ）を有する。ロボットハンドは、対象選択用カーソル
として機能し、操作者の手の移動に伴い画面内で移動す
る。すなわち、中央処理手段１６は手の移動を剛体の並
進運動として認識し、認識した移動量だけロボットハン
ドを画面内で移動させる。操作者が２つのＣＣＤカメラ
の前で親指と人差し指を動かす把持動作を行った場合、
中央処理手段１６はこの把持動作を認識して表示手段２
０に表示されたロボットハンドを変化させ、グリッパの
２指の間隔を狭めて複数の携帯電話モデルのうちの一つ
の携帯電話モデルを掴み、その後（ｃ）に示されるよう
に当該携帯電話を拡大表示する。操作者が把持動作を維
持しつつ手首を回転運動させると、中央処理手段１６は
操作者の手首回転運動を認識し、認識した回転量および
回転方向に応じて携帯電話を回転させる。

【００７８】図１７には、認識した運動情報に基づくＣ
Ｇモデルの表示態様変化のさらに他の例が示されてい
る。この例では操作者が自身の手指を用いて手話動作を
行う。２つのＣＣＤカメラにて操作者の手指画像を取得
し、中央処理手段１６が操作者の手指運動を認識する。
操作者が空間上の物体を回転させるような動作を行った
場合、中央処理手段１６は操作者のこの回転運動を認識
し、表示手段２０上に表示されたＣＧモデル（図におい
ては動物モデル）を認識した回転量及び回転方向に回転
させる。回転方向は、左右の手の手首回りの回転方向及
び左右の指の回転方向に基づき決定される。左右の指の
折れ曲がりの順序によって決定することも可能であろ
う。

【００７９】図２１及び図２２には、さらに他の応用例
が示されている。図２１では、ホログラム等による立体
像を実空間に表示し、それらを操作する手指動作を複数
のカメラで撮影する。そして、手指の運動を認識した結
果を立体像に反映させて対話的な形状の加工編集を行う
ものである。また、図２２では、実空間中の手指をカメ
ラで撮影し、手指の運動を認識するとともに、画像と仮
想空間中の立体像とをヘッドマウントディスプレイ（Ｈ
ＭＤ）中に重畳表示する。これによっても、対話的な形
状の編集可能が可能となる。

【００８０】なお、本発明は種々の変更が可能である。
例えば、本発明は操作者の手指の剛体運動および非剛体
運動を認識し、認識結果に合致するようにＣＧモデルの
表示態様を変化させるため、コンピュータを用いたゲー
ムや教育などに幅広い応用が考えられる。例えば、仮想
空間上にピアノを表示し、操作者が鍵盤を叩くような動
作を行った場合に操作者の手指の動きを認識して対応す
る鍵盤を動かし音を出力することも可能であり、あるい
はメスを握った操作者の手指の動きを認識してＣＧモデ
ル上の人体の切開画像を変化させるなどである。また、
本実施形態では指の曲げや把持動作について例示した
が、人体全般の動きにも同様に適用することが可能であ
る。例えば、頭部（首を関節に見たてて胴体と連接）や
胴（上半身）、下半身（腰で上半身と連接）、腕、足と
いった部分からなる連接体と仮定し、各構成要素につい
て独立に運動追跡（パラメータ算出）することによっ
て、いわゆるモーションキャプチャを実現することがで
きる。

【００８１】＜第３実施形態＞上述した実施形態におい
ては、次フレームにおける対応点が前フレームの参照点
をアフィン変換して与えられることを前提としている。
このような前提は、被写体がカメラの投影面内で平行移
動あるいは回転移動を行っている場合、あるいは平行移
動と回転移動の組み合わせを行っている場合に有効であ
るが、被写体がカメラの投影面内における平行移動や回
転移動以外の運動を行った場合、アフィン変換により与
えられる対応点は真の対応点と乖離することになる。

【００８２】例えば、カメラの投影面に対し、被写体で
ある人体の指が回転運動を行った場合を想定する。図２
３（ａ）〜（ｃ）は、フレーム１からフレームｍ、さら
にはフレームｎと進むに従い、被写体である指が回転す
る様子を示している。図２３（ａ）と図２３（ｃ）とを
対比すると、図２３（ａ）ではカメラの投影面上に存在
していた部位が、図２３（ｃ）ではカメラの投影面に投
影されずに他の部位が投影されている。逆に、図２３
（ａ）では投影面上に存在していない部位が図２３
（ｃ）では投影面上に存在している。

【００８３】図２４（ａ）〜（ｃ）には、図２３に示さ
れるような被写体の動きが生じた場合の、カメラの視線
ベクトルと被写体である指の輪郭位置との関係が示され
ている。図において、図中白丸は運動による移動前の輪
郭境界位置であり、黒丸はカメラから見た真の輪郭位置
である。図２４（ａ）が図２３（ａ）に対応し、図２４
（ｂ）が図２３（ｂ）に対応し、図２４（ｃ）が図２３
（ｃ）に対応する（図２３において、上方から見た平面
図が図２４である）。図２４（ｃ）からわかるように、
真の輪郭線位置と運動による移動前の輪郭線位置とは大
きく異なり、運動による移動前の輪郭線をカメラ投影面
内でアフィン変換して得られる対応点候補も真の対応点
とは大きく乖離することとなる。図２５には、前フレー
ムにおける参照点Ｐ，この参照点をアフィン変換して得
られる対応点候補Ｑ，真の対応点Ｒが示されている。ア
フィン変換して得られる対応点候補Ｑと真の対応点Ｒの
間の算出誤差が、被写体である指の非平面的運動により
生じたアフィン変換誤差である。このような誤差は、さ
らに次のフレームにおいて対応点を探索する場合に影響
を与えるため、対応点探索処理において順次この算出誤
差が蓄積され、やがて対応点探索処理が不能となる事態
も想定される。すなわち、参照点に対応する次フレーム
における対応点を検出できずに追跡不能となり、被写体
の動きベクトルが算出できなくなる。

【００８４】そこで、本実施形態においては、被写体が
平面運動以外の運動を行った場合に、対応点探索処理を
確実に実行して動きを認識すべく、アフィン変換により
与えられた対応点候補をさらに補正して、真の輪郭線上
の点に収束させる処理を行う。

【００８５】図２６には、本実施形態における補正処理
フローチャートが示されている。なお、この補正処理
は、図２におけるＳ２６の参照点更新処理において実行
することができる。すなわち、図１におけるＳ２６で
は、アフィン変換して得られた仮の対応点（ｘ’，
ｙ’）と実際の仮の対応点（ｘ，ｙ）との距離が所定の
しきい値以上である場合に参照点（Ｘ，Ｙ）を（ｘ’，
ｙ’）に更新して再びアフィン変換多項式の係数を算出
するが、ここではアフィン変換により得られた仮の対応
点（ｘ’，ｙ’）と実際の（ｘ，ｙ）との距離が所定の
しきい値以上である場合に、まず、運動パラメータをモ
ニタリングする（Ｓ２６１）。ここで、運動パラメータ
とは、過去に追跡して得られた動きベクトルであり、動
きベクトルが平面的運動を示している場合には、被写体
はカメラ投影面内において平行移動あるいは回転移動を
行っていると判定して（Ｓ２６２でＹＥＳ）、Ｓ２６で
説明した参照点更新を実行する（Ｓ２６７）。

【００８６】一方、運動パラメータが例えば不連続的な
変化を示し、被写体が平面運動を行っていない可能性が
高い場合には（Ｓ２６２でＮＯ）、中央処理手段１６
は、所定の補正処理を実行する。

【００８７】補正処理の実行に際しては、まず、被写体
の輪郭線上に設定された全ての参照点について補正処理
を行うか否かを判定する（Ｓ２６３）。この判定は、例
えばユーザからの入力コマンドに基づき判定され、ユー
ザが全ての参照点について補正処理を希望する場合に
は、全参照点（すなわちアフィン変換して得られる全て
の対応点候補）を補正対象とする（Ｓ２６４）。一方、
全参照点でなはく、補正処理に有効と思われる参照点、
例えば輪郭線上において曲率が所定値以上の大なる部位
に設定された参照点、あるいは画像内における端部に設
定された参照点などをユーザが希望した場合には、全参
照点をサンプリングしてこれらの参照点を抽出する（Ｓ
２６５）。もちろん、全参照点を対象とするか、あるい
は特定の基準に従って選択された参照点のみを対象とす
るかをシステム側で決定してもよい。特に高速処理が要
求される場合には、常に選択された参照点のみを対象と
して補正処理することが好適であろう。補正対象を決定
した後、補正対象とされた参照点について位置補正処理
を行う（Ｓ２６６）。

【００８８】図２７には、Ｓ２６５の処理、すなわち補
正対象をサンプリングする処理の一例が示されている。
輪郭線において曲率が所定値以上の大なる部位における
参照点、及び輪郭線における端部に位置する参照点を選
択することで行われる。図において、黒丸が全参照点の
うち選択された参照点を示している。これらは動き追跡
に特に重要な参照点である。

【００８９】図２８〜図３０には、位置補正処理が模式
的に示されている。まず、図２８（ａ）は、ある時刻に
おけるフレームｉにおける輪郭線であり、図２８（ｂ）
は、次の時刻におけるフレームｉ＋１における実際の輪
郭線と、フレームｉの輪郭線からアフィン変換により得
られた輪郭線が示されている。対応点候補は、云うまで
もなくアフィン変換により得られた輪郭線上に存在する
が、被写体が平面運動以外の運動を行った場合には対応
点候補は真の輪郭線上に存在していない。図２８（ｂ）
のＡ部位に着目すると、実際の輪郭線とアフィン変換し
て得られる輪郭線との間に乖離が生じている。補正処理
の目的は、この乖離を解消すべく、アフィン変換して得
られた輪郭線上に位置する対応点候補をフレームｉ＋１
における真の輪郭線上の近傍点に収束させることにあ
る。

【００９０】図２９及び図３０は、対応点候補を真の輪
郭線上に収束させる処理例が示されている。両図におい
て、黒丸はアフィン変換して得られる輪郭線上の対応点
候補を示し、白丸は真の輪郭線上の対応点（真の対応
点）を示す。図２９においては、対応点候補からユーク
リッド距離が最小となる真の輪郭線上の点、すなわち対
応点候補の最近傍にある点に対応点候補をシフトさせ
る。また、図３０においては、対応点候補位置におけ
る、アフィン変換して得られた輪郭線の法線と真の輪郭
線との交点に対応点候補をシフトさせる。いずれの処理
においても、対応点は前のフレームにおける参照点をア
フィン変換して得られる対応点候補近傍点であって実際
の輪郭線上の点に補正されるので、実際の輪郭線との乖
離が解消され、誤差の蓄積を抑制できる。以上のように
して補正処理を行った後、補正後の対応点と参照点との
位置関係に基づき動きベクトルが算出され、被写体の動
きが認識される。

【００９１】なお、本実施形態においては、補正処理を
実行するか否かを運動パラメータに基づいてシステム側
で自動判定したが、補正処理を実行するか否かをユーザ
の選択に委ねることも可能である。すなわち、ユーザが
希望する旨のコマンドを入力した場合には、対応点を探
索する毎に上述した補正処理を行い、ユーザが希望しな
い旨のコマンドを入力した場合には補正処理を実行しな
いことも可能である。

【００９２】また、本実施形態においては、運動パラメ
ータに基づき平面運動か否かを判定しているが、他の方
法により平面運動か否かを検出してもよい。例えば、あ
る時刻にける輪郭線パターンと次の時刻における輪郭線
パターンとが大きく相違する場合には平面運動でない可
能性が高いため補正処理を実行することも可能であり、
あるいは、処理当初は補正処理を実行せずに（デフォル
ト状態では補正処理不実行）参照点の追跡を行い、追跡
処理が不能となった場合に被写体が平面運動以外の運動
を行った可能性が高いと判定して、それ以後は補正処理
を実行するようにしてもよい。

【００９３】さらに、本実施形態では対応点探索の処理
毎に補正処理を実行しているが、対応点探索の複数回に
１回の割合で周期的に補正処理を実行してもよい。図２
９において、対応点候補と最近傍点間のユークリッド距
離の大小に応じて補正処理のタイミングを可変する（ユ
ークリッド距離が大なる場合に補正処理の頻度を上げ
る）ことも好適である。

【００９４】

【発明の効果】以上説明したように、本発明によれば操
作者の動き、特に操作者の関節運動（非剛体運動）を認
識することができる。そして、認識した動きを用いて、
仮想空間上に表示されたモデルを操作者の動きに応じて
自在に操作することもできる。

【図面の簡単な説明】

【図１】実施形態の構成ブロック図である。

【図２】実施形態の全体処理フローチャートである。

【図３】人差し指の関節部位特定説明図である。

【図４】人差し指の他の関節部位特定説明図である。

【図５】人差し指についての参照点選択説明図であ
る。

【図６】参照点と仮の対応点の説明図である。

【図７】参照点の遷移説明図である。

【図８】人差し指の折り曲げ説明図である。

【図９】親指の折り曲げ説明図である。

【図１０】他の実施形態の構成ブロック図である。

【図１１】他の実施形態の全体処理フローチャート
（その１）である。

【図１２】他の実施形態の全体処理フローチャート
（その２）である。

【図１３】親指と人差し指の画像説明図である。

【図１４】親指と人差し指の参照点選択説明図であ
る。

【図１５】親指と人差し指の把持動作説明図である。

【図１６】表示態様の変化を示す説明図である。

【図１７】他の表示態様の変化を示す説明図である。

【図１８】ステレオ画像における指先の認識処理説明
図である。

【図１９】ステレオ画像における指先運動認識説明図
である。

【図２０】ステレオ画像における指先運動認識説明図
である。

【図２１】他の表示形態の変化を示す説明図である。

【図２２】他の表示形態の変化を示す説明図である。

【図２３】被写体（人差し指）の非平面運動を示す説
明図である。

【図２４】被写体の非平面運動時のカメラの視線ベク
トルと被写体の輪郭境界の関係を示す図である。

【図２５】アフィン変換後の対応点候補と真の対応点
間の乖離を示す説明図である。

【図２６】補正処理のフローチャートである。

【図２７】参照点のサンプリング処理説明図である。

【図２８】アフィン変換して得られる次フレームの輪
郭線と実際の輪郭線との乖離を示す説明図である。

【図２９】補正処理の説明図である。

【図３０】他の補正処理の説明図である。

【符号の説明】

１０撮像手段、１２Ａ／Ｄ変換手段、１４フレー
ムメモリ、１６中央処理手段、１８メインメモリ、
２０表示手段。

Claims

【特許請求の範囲】

【請求項１】時系列画像から被写体の動きを認識する
動き認識装置であって、人体の少なくとも一部の画像を取得する撮影手段と、前記画像から前記人体の一部の輪郭線を抽出する抽出手
段と、前記輪郭線から前記人体の一部に含まれる関節位置を検
出する検出手段と、前記関節位置に基づき、前記関節位置で接続される部位
毎に参照点を設定する設定手段と、前記参照点を前記時系列画像において追跡することによ
り、前記部位間の相対的動きを認識する認識手段と、を有することを特徴とする動き認識装置。
【請求項２】請求項１記載の装置において、前記設定手段は、前記関節位置近傍以外の輪郭線上に前
記参照点を設定することを特徴とする動き認識装置。
【請求項３】請求項２記載の装置において、前記設定手段は、前記輪郭線上の中で、曲率の大きい部
位の参照点密度を大きく、曲率の小さい部位の参照点密
度を小さく設定することを特徴とする動き認識装置。
【請求項４】請求項２記載の装置において、前記設定手段は、前記参照点位置における前記輪郭線の
法線方向が略等分となるように設定することを特徴とす
る動き認識装置。
【請求項５】請求項１記載の装置において、前記検出手段は、前記輪郭線を予め定められた指の幾何
モデルと照合することにより指の関節位置を検出するこ
とを特徴とする動き認識装置。
【請求項６】請求項１記載の装置において、前記検出手段は、前記輪郭線を基準要素に分解すること
により指の関節位置を検出することを特徴とする動き認
識装置。
【請求項７】請求項５、６のいずれかに記載の装置に
おいて、前記認識手段は、前記関節位置を基準とする前記部位間
の回転運動を認識することで前記指の曲げ伸ばし動作を
認識することを特徴とする動き認識装置。
【請求項８】請求項１記載の装置において、前記検出手段は、前記輪郭線を予め定められた手の幾何
モデルと照合することにより指と指の間の関節位置を検
出することを特徴とする動き認識装置。
【請求項９】請求項８記載の装置において、前記認識手段は、前記関節位置を基準とする前記指間の
回転運動を認識することで２つの指の開閉動作を認識す
ることを特徴とする動き認識装置。
【請求項１０】請求項８、９のいずれかに記載の装置
において、前記検出手段は、親指と人差し指の間の関節位置を検出
し、前記認識手段は、前記親指と人差し指による把持動作を
認識することを特徴とする動き認識装置。
【請求項１１】請求項１〜１０のいずれかに記載の動
き認識装置と、画像を表示する手段と、前記動き認識装置で認識された前記操作者の手の動きに
応じて前記画像の表示態様を変化させる手段と、を有することを特徴とする画像処理装置。
【請求項１２】時系列画像から操作者の動きを認識す
るプログラムであって、前記プログラムは、コンピュー
タに対して、少なくとも、前記操作者の人体の一部の画像から前記人体の一部の輪
郭線を抽出させ、前記輪郭線から前記人体の一部に含まれる関節位置を検
出させ、前記関節位置に基づき、前記関節位置で接続される部位
毎に参照点を設定させ、前記参照点を前記時系列画像において追跡させることで
前記部位間の相対的動きを認識させることを特徴とする
プログラム。
【請求項１３】請求項１２記載のプログラムにおい
て、前記参照点を設定させるときに、前記関節位置近傍以外
の輪郭線上に設定させることを特徴とするプログラム。
【請求項１４】請求項１３記載のプログラムにおい
て、前記参照点を設定させるときに、前記輪郭線の中で、曲
率の大きい部位の参照点密度が大きく、曲率の小さい部
位の参照点密度を小さくなるように設定させることを特
徴とするプログラム。
【請求項１５】請求項１３記載のプログラムにおい
て、前記参照点を設定させるときに、前記参照点位置におけ
る前記輪郭線の法線方向が略等分となるように設定させ
ることを特徴とするプログラム。
【請求項１６】請求項１２記載のプログラムにおい
て、前記関節位置を検出させるときに、前記輪郭線を前記コ
ンピュータのメモリに記憶されている指の幾何モデルと
照合させることで指の関節位置を検出させることを特徴
とするプログラム。
【請求項１７】請求項１２記載のプログラムにおい
て、前記関節位置を検出させるときに、前記輪郭線を所定の
基準要素に分解することにより指の関節位置を検出させ
ることを特徴とするプログラム。
【請求項１８】請求項１６、１７のいずれかに記載の
プログラムにおいて、前記動きを認識させるときに、前記関節位置を基準とす
る前記部位間の回転運動を認識させることで前記指の曲
げ伸ばし動作を認識させることを特徴とするプログラ
ム。
【請求項１９】請求項１２記載のプログラムにおい
て、前記関節位置を検出させるときに、前記輪郭線を前記コ
ンピュータに記憶されている手の幾何モデルと照合させ
ることで指と指の間の関節位置を検出させることを特徴
とするプログラム。
【請求項２０】請求項１９記載のプログラムにおい
て、前記動きを認識させるときに、前記関節位置を基準とす
る前記指間の回転運動を認識させることで２つの指間の
開閉動作を認識させることを特徴とするプログラム。
【請求項２１】請求項１９、２０のいずれかに記載の
プログラムにおいて、前記関節位置を検出させるときに、親指と人差し指の関
節位置を検出させ、前記動きを認識させるときに、前記親指と人差し指によ
る把持動作を認識させることを特徴とするプログラム。
【請求項２２】請求項１記載の装置において、前記認識手段は、ある時刻における参照点の、次の時刻
における対応点を設定することで前記追跡を行う設定手
段を有し、前記設定手段は、前記参照点のアフィン変換を用いて前
記対応点を設定することを特徴とする動き認識装置。
【請求項２３】請求項２２記載の装置において、前記設定手段は、前記参照点をアフィン変換して得られ
る対応点候補を、次の時刻における輪郭線上の近傍点に
補正することで前記対応点を設定することを特徴とする
動き認識装置。
【請求項２４】請求項２３記載の装置において、前記輪郭線上の近傍点は、前記対応点候補からの前記次
の時刻における輪郭線上の最小距離点であることを特徴
とする動き認識装置。
【請求項２５】請求項２３記載の装置において、前記輪郭線上の近傍点は、前記対応点候補における、前
記アフィン変換で与えられる輪郭線の法線と前記次の時
刻における輪郭線との交点であることを特徴とする動き
認識装置。
【請求項２６】請求項２３記載の装置において、前記設定手段は、前記アフィン変換の前提である平面運
動以外の運動が検出されたときに前記補正を実行するこ
とを特徴とする動き認識装置。
【請求項２７】請求項２３記載の装置において、前記設定手段は、全ての参照点について前記補正を実行
することを特徴とする動き認識装置。
【請求項２８】請求項２３記載の装置において、前記設定手段は、全ての参照点のうち、曲率が所定値以
上の部位における参照点について前記補正を実行するこ
とを特徴とする動き認識装置。
【請求項２９】請求項２３記載の装置において、前記設定手段は、全ての参照点のうち、前記画像内の端
部における参照点について前記補正を実行することを特
徴とする動き認識装置。