JP2008140290A - 頭部の位置・姿勢検出装置 - Google Patents

Abstract

【課題】高精度且つ高速に検出対象者の頭部の位置・姿勢を追跡し、検出する。
【解決手段】本発明は、検出対象者の頭部２を撮影する撮像手段３Ｌ，３Ｃ，３Ｒと、前記頭部２の基準画像から頭部特徴点を含むテンプレート画像として生成するテンプレート画像生成手段１１と、前記テンプレート画像における頭部特徴点の二次元画像座標値から頭部特徴点の三次元座標値を演算する三次元座標値演算手段１２と、前記頭部２の検出対象画像から前記頭部特徴点のうちの一つの頭部特徴点を基準特徴点として正規化相互相関により探索し、該基準特徴点の三次元座標値を演算する基準特徴点探索手段１３と、基準特徴点探索手段１３により探索した前記基準特徴点の三次元座標値を拘束条件として時系列フィルタにより前記頭部特徴点の位置・姿勢を演算し、推定する特徴点推定手段１４とを備えていることを特徴とする。
【選択図】図１

Description

本発明は、人間の頭部を撮影した画像に所定の処理を行い、頭部の位置・姿勢を推定し、頭部の動きを追跡する頭部の位置・姿勢検出装置に関する。

従来、例えば、先進安全自動車（ＡＳＶ）の居眠り警報装置や脇見警報装置等の要素技術として、人間の頭部の位置や姿勢を検出する技術が知られている。

この種の従来の技術としては、例えば、複数のカメラ画像から頭部の各特徴点をテンプレートマッチング（正規化相互相関）により探索し、前記各特徴点の三次元座標値をステレオ法により求め、それらの三次元座標値から最小二乗法により頭部の位置と姿勢を推定する技術や（例えば、特許文献１又は２参照）、非線形時系列フィルタの一つであるパーティクルフィルタ（粒子フィルタ、モンテカルロフィルタ、コンデンセーションとも言う。）により、頭部の位置と姿勢を推定する技術（例えは、非特許文献１参照）等が提案されている。
特開平１１−６３９２７号公報 特開２００３−１５８１６号公報 「適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定システム」電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１６０１−１６１３

しかしながら、上記した特許文献１又は２に開示されている技術では、最小二乗法を利用しているため、誤差の大きいデータが含まれていると正しい結果が得られないといった問題や、結果を時系列データとして扱っていないためノイズに弱いといった問題があった。

また、周囲の外乱光、影、昼夜の変化等の影響により、頭部の画像に多くのノイズが含まれてしまうため、自動車の居眠り警報装置や脇見警報装置等には使用できず、使用範囲が限定されるといった問題もあった。

一方、上記した非特許文献１に開示されている技術では、頭部の位置と姿勢の推定精度を高めるため、パーティクルフィルタを２段階にしているため、計算量が多く、画像処理に時間が掛かるといった問題があった。

本発明は上記した課題を解決すべくなされたものであり、高精度で高速処理が可能な頭部の位置・姿勢検出装置を提供することを目的とする。

上記した目的を達成するため、本発明に係る頭部の位置・姿勢検出装置は、検出対象者の頭部を撮影する撮像手段と、該撮像手段により撮影された検出対象者の頭部の基準画像から頭部特徴点をテンプレート画像として生成するテンプレート画像生成手段と、該テンプレート画像生成手段により生成された前記テンプレート画像の二次元画像座標値から三次元座標値を演算する三次元座標値演算手段と、前記撮像手段により撮影された前記検出対象者の頭部の検出対象画像から前記頭部特徴点のうちの一つの頭部特徴点を基準特徴点として正規化相関により探索し、該基準特徴点の三次元座標値を演算する基準特徴点探索手段と、該基準特徴点探索手段により探索した前記基準特徴点の三次元座標値を拘束条件として時系列フィルタにより前記頭部特徴点の位置・姿勢を演算し、推定する特徴点推定手段とを備えていることを特徴とする。

そして、前記撮像手段は、前記検出対象者の頭部を正面側から斜め上方に向かって撮影可能なように取り付けられ、前記基準特徴点は鼻孔に設定されているのがよい。

さらに、前記基準特徴点は、左右の鼻孔間中心に設定されているのがよい。

また、前記特徴点推定手段により位置・姿勢を演算する頭部特徴点は、前記基準特徴点を含み、該基準特徴点より多くの頭部特徴点を含んでいるのがよい。

さらに、前記特徴点推定手段により位置・姿勢を演算する頭部特徴点は、左右の眉の内端、左右の目尻、左右の鼻孔の外端、及び口の両端を含んでいるのがよい。

さらに、前記時系列フィルタは、パーティクルフィルタであるのがよい。

さらにまた、前記撮像手段は、少なくとも２台のカメラを含んでいるのがよい。

本発明によれば、高精度且つ高速に検出対象者の頭部の位置・姿勢を追跡し、検出することができる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。なお、以下の説明では、本発明を自動車の居眠り警報装置や脇見警報装置に適用した場合を例にとって説明する。

図１は本発明の実施の形態に係る頭部の位置・姿勢検出装置のシステム構成図であり、この頭部の位置・姿勢検出装置１は、検出対象者であるドライバの頭部２を撮影する撮像手段として、左、中央、右の３台のカメラ３Ｌ，３Ｃ，３Ｒと、各カメラ３Ｌ，３Ｃ，３Ｒの間に配置された赤外光照明４Ｌ，４Ｒとを備えている。そして、各カメラ３Ｌ，３Ｃ，３Ｒは、同期をとるため信号線５を介して相互に接続され、さらにコンピュータ６に接続されている。

各カメラ３Ｌ，３Ｃ，３Ｒは、ドライバの頭部２を正面側から斜め上方に向かって撮影可能なようにそれぞれダッシュボード又はインストゥルメントパネル等の車室内の運転席前部構造体７上に取り付けられている。

コンピュータ６は、各カメラ３Ｌ，３Ｃ，３Ｒにより撮影されたドライバの頭部２の基準画像から頭部特徴点を含むテンプレート画像として生成するテンプレート画像生成手段１１と、テンプレート画像生成手段１１により生成された前記テンプレート画像並びに各カメラ３Ｌ，３Ｃ，３Ｒにより撮影されたドライバの頭部２の検出対象画像の二次元画像座標値からステレオマッチング（三角法）により三次元座標値を演算する三次元座標値演算手段１２と、前記検出対象画像から前記テンプレート画像に含まれる頭部特徴点のうちの一つの頭部特徴点を基準特徴点として正規化相関により探索し、ステレオマッチング（三角法）により該基準特徴点の三次元座標値を演算する基準特徴点探索手段１３と、基準特徴点探索手段１３により探索した前記基準特徴点の三次元座標値を拘束条件としてパーティクルフィルタにより前記頭部特徴点の位置・姿勢を演算し、推定する特徴点推定手段１４とを備えている。

そして、本実施の形態において、前記頭部特徴点は、左右の眉の内端、左右の目尻、左右の鼻孔の外端、及び口の両端に設定され、また、前記基準特徴点は、左右の鼻孔間中心に設定されている。

次に、図１及び図２〜図８を参照しつつ、本発明の実施の形態に係る頭部の位置・姿勢検出装置の初期設定プロセスについて説明する。

この初期設定プロセスとしては、カメラキャリブレーションとテンプレート登録処理の２つのプロセスがある。

カメラキャリブレーションは、図２に示すように、各カメラ３Ｌ，３Ｃ，３Ｒをダッシュボード７に設置する時に、ワールド座標系と各カメラ座標系の対応関係を定める処理であり、三次元空間中の任意の一点を原点とするワールド座標系に対して、各カメラ３Ｌ，３Ｃ，３Ｒの焦点中心を原点としたカメラ座標系を求めることにより行う。具体的には、実寸法が既知のワークを各カメラ３Ｌ，３Ｃ，３Ｒで撮影し、該ワークで示された異なる複数の基準点の三次元座標値とカメラ画像上の二次元座標値を求め、非線形最小二乗法によりパラメータの各要素を推定する手法で行うが、これはコンピュータビジョンにおいて一般的に用いられている手法であるため、これ以上の詳細な説明は省略する。

次いで、図３に示す手順により、ドライバの頭部特徴点のテンプレート登録処理を行う。ここで、図３はドライバの頭部特徴点のテンプレート登録処理の手順を示すフローチャートである。

先ず、ステップＳ１０１において、ドライバが正面を向いている状態で、赤外線照明４Ｌ，４Ｒによりドライバの頭部２を照射しながら、正面側から斜め上方に向かって３台のカメラ３Ｌ，３Ｃ，３Ｒがドライバの頭部２の画像を同時に撮影し、この画像をドライバの頭部の初期登録用の基準画像としてコンピュータ６に取り込む。図４はこの時に中央のカメラ３Ｃが撮影したドライバの頭部の画像を示し、図５は左のカメラ３Ｌが撮影したドライバの頭部の画像を示し、図６は右のカメラ３Ｒが撮影したドライバの頭部の画像を示している。

次いで、図７に示すように、これらの各画像から各頭部特徴点を含むテンプレート画像を切り出す（Ｓ１０２）。頭部特徴点としては、左右の鼻孔の中間位置、左右の眉の内端、左右の目尻、左右の鼻孔の外端、及び口の両端の９箇所（Ｍ＝９）を使用し、テンプレート画像のサイズは、例えば、３２×３２pixel、或いは１６×１６pixelとする。また、この時、図８に示すように、左右の鼻孔間中心を原点とするテンプレート座標系と、首の付け根を原点とする頭部座標系を同時に設定しておく。ドライバの頭部２の現在の姿勢は、頭部座標系におけるテンプレート座標系から現在位置座標系への回転と並進（６ＤＯＦ又は４×４の変換行列）で表わされる。

次いで、このように各カメラ３Ｌ，３Ｃ，３Ｒが撮影した画像から切り出した頭部特徴点を含むテンプレート画像について、前記基準特徴点を含む各頭部特徴点の二次元画像座標値を取得し（Ｓ１０３）、これらの各頭部特徴点の二次元画像座標値の組からステレオマッチング（三角法）により三次元座標値を演算する（Ｓ１０４）。その後、これらの各頭部特徴点を含むテンプレート画像と三次元座標値を登録する（Ｓ１０５）。

なお、上記したドライバの頭部特徴点のテンプレート登録処理において、各カメラ３Ｌ，３Ｃ，３Ｒの画像をそれぞれ別々に処理した場合には精度が低下する可能性があるため、最初に１台のカメラ（例えば中央のカメラ３Ｃ）の画像で処理し、その後、他のカメラの画像上で処理を行うのが好ましい。これにより、最初のカメラの処理結果によって処理範囲を限定することができるため、精度の低下を防ぐことができる。これは、ある画像上の一点が決まると、他の画像上で三次元的にとり得る範囲がある直線上に限定されるためであり、この直線はコンピュータビジョンでエピポーラ線と呼ばれる。

次に、図１及び図９〜図１６を参照しつつ、本発明の実施の形態に係る頭部の位置・姿勢検出装置の追跡プロセスについて説明する。

この追跡プロセスとしては、基準特徴点である左右の鼻孔間中心に関する正規化相互相関（ＮＣＣ）による探索処理と、パーティクルフィルタによる推定処理の２段階により構成される。

左右の鼻孔間中心の探索処理では、図９に示すように、先ず、ステップＳ２１０において、３台のカメラ３Ｌ，３Ｃ，３Ｒがドライバの頭部２の画像を同時に撮影し、この画像をドライバの頭部の検出対象画像としてコンピュータ６に取り込む。そして、図１０に示すように、これらの画像上の左右の鼻孔間中心の二次元画像座標値を正規化相互相関により探索処理する（Ｓ２２０）。

この探索処理では、先ず、中央のカメラ３Ｃの画像上において、中央のカメラ３Ｃで取得した左右の鼻孔間中心を含むテンプレート画像による探索を行う。相関値は正規化相互相関（ＮＣＣ）を使用し、探索方法は、図１１に示すように、多重解像度法を用い、検出対象画像及びテンプレート画像の解像度を２段階低くして行う。そして、相関値の最も高かった座標値の周囲について元の解像度（階数０）で再探索を行い、基準特徴点の二次元画像座標値を決定する。その後、左右のカメラ３Ｌ，３Ｒで取得した左右の鼻孔間中心を含むテンプレート画像についても、上記したのと同様に中央のカメラ３Ｃの画像上においてそれぞれ探索を行う。こうして得られた３種類のテンプレート画像による探索結果を比較して、最も高い相関値の二次元画像座標値を中央のカメラ３Ｃにおける検出対象画像上の基準特徴点に関する探索結果とする。

次いで、中央のカメラ３Ｃの検出対象画像上の基準特徴点である左右の鼻孔間中心に対応する点を左右のカメラ３Ｌ，３Ｒの検出対象画像上において探索する。この時、探索範囲はエピポーラ線上に限定し、多重解像度法は使用しない。そして、左右のカメラ３Ｌ，３Ｒにおける検出対象画像上の基準特徴点に関する各々の探索結果を比較して、相関値が高い方の二次元画像座標値を対応点とする。このように求めた中央のカメラ３Ｃの二次元画像座標値と左カメラ３Ｌ又は右カメラ３Ｒの二次元画像座標値から、スレテオマッチングにより左右の鼻孔間中心の三次元座標値を演算する（Ｓ２３０）。

次いで、パーティクルフィルタによる推定処理を行い（Ｓ２４０）、その結果得られるドライバの頭部位置・姿勢の推定結果を出力する（Ｓ２５０）。

ステップＳ２４０のパーティクルフィルタによる推定処理では、図１２のステップＳ２４１において、パーティクルの個数Ｎ（この場合は３００個）を設定し、状態ベクトルの時刻t-1における仮説{St-1(1),…,St-1(N)}を重み{πt-1(1),…,πt-1(N)}により選択し、仮説{S’t-1(1),…,S’t-1(N)}とする（Ｓ２４２）。

具体的には、１時刻前、即ち時刻t-1におけるＮ個全てのパーティクルの仮説について重みの正規分布を取り、重みの正規分布が所定値（例えば、±１σ）以内の仮説はそのままの形で選択後の仮説S’t-1(i)とし、所定値を超える場合には仮説の各成分の値を更新したものを選択後の仮説S’t-1(i)とする。

重みの正規分布が所定値を超える仮説St-1(i)については、まず、当該仮説St-1(i)と、重みが最大値を示す仮説St-1(max)との内積から二つのベクトルのなす角（cosθ）を求める。そして、このcosθが所定値（例えば、０）以下のときは、当該仮説St-1(i)の持つ６次元の各成分値に対して乱数を設定し、重みが最大値を示す仮説St-1(max)の各成分値に上記乱数値を加算することで選択後の仮説S’t-1(i)を得る。一方、内積のcosθが所定値未満であれば、当該仮説St-1(i)のパーティクルを推定処理の対象から除外する。

次いで、予め定義してある動作モデルに基づいた状態遷移確率p(Xt|Xt-1 = S’t-1(i))により、現在時刻の仮説{St(1),…,St(N)}を生成する。この時の動作モデルとして（１）式で表されるフレーム間における等角速度運動を仮定する（Ｓ２４３）。ここで、vt-1は時刻t-1における回転成分と時刻t-2における回転成分との差分であり、wは白色ノイズである。

また、この時、正規化相互相関によって探索できた左右の鼻孔間中心（基準特徴点）の三次元座標値を固定とする拘束条件を、パーティクルフィルタの仮説更新時の動作モデルに加える。これにより、サンプリング空間の探索範囲を限定することができる。具体的には、図１３に示すように、状態ベクトルの仮説[P]は、頭部座標系から現在位置の座標系への変換行列[Q]と、頭部座標系からテンプレート座標系への変換行列[T]の逆行列との積で表わされることから、[Q]の並進成分を鼻孔間中心の座標値に固定し、回転成分のみを更新することにより、鼻孔間中心を固定した仮説が得られる。

次いで、時刻tにおける画像から尤度dt(i)の観測を行う（Ｓ２４４）。尤度としては、各頭部特徴点の正規化相互相関の相関値を合計した値を用いる。この場合、先ず、更新した仮説St(i)に従って各テンプレート画像の三次元座標値を変換する。さらに各カメラ３Ｌ，３Ｃ，３Ｒの検出対象画像上の二次元画像座標値を求め、テンプレート画像と同サイズの領域を切り出し、（２）式により、テンプレート画像との正規化相互相関（ＮＣＣ）の相関値Ｒを計算する。そして、（３）式により、３台のカメラ３Ｌ，３Ｃ，３Ｒの検出対象画像におけるすべてのテンプレート画像の相関値Ｒを合計した値（−３Ｍ〜３Ｍ）を尤度dt(i)とする。

この時、左右の鼻孔間中心の探索時と同様に多重解像度法を用いる。さらに、顔の方向ベクトルと各カメラ３Ｌ，３Ｃ，３Ｒの光軸ベクトルとが成す角度を求め、その値によって各カメラ３Ｌ，３Ｃ，３Ｒの検出対象画像において使用するテンプレート画像を切り換える。これにより、頭部２の回転による見え方の違いに対応する。例えば、頭部２が左カメラの方向を向いている場合には、左カメラ３Ｌの検出対象画像上での探索には中央カメラ３Ｃで取得したテンプレート画像を使用し、中央のカメラ３Ｃの検出対象画像上での探索には右のカメラ３Ｒで取得したテンプレート画像を使用し、右のカメラ３Ｒの検出対象画像には右のカメラ３Ｒで取得したテンプレート画像をそれぞれ使用する。この時、右のカメラ３Ｒの検出対象画像では、いずれのテンプレートも高い相関が得られない確率が高く、探索の必要性は低いと考えられるが、突発的な動きに対応するために右のカメラ３Ｒで取得したテンプレート画像を用いた探索を含めて尤度を計算している。

次いで、仮説St(i)における尤度dt(i)の観測結果から、標準偏差σを１．０として、（４）式のガウス関数により重みπt(i)を算出する。

以上の処理をN個の仮説に対して行い、仮説{St(1),…,St(N)}に対する重み{πt(1),…,πt(N)}を算出する。その後、すべての重みの合計が１．０になるように値を正規化する（Ｓ２４５）。

最後に、（５）式により、仮説St(i)と重みπt(i)の加重平均を算出し、状態ベクトルXtの解とする（Ｓ２４６）。

上記した頭部の位置・姿勢検出装置１により実験システムを構築して検証実験を行った。この時、カメラ３Ｌ，３Ｃ，３Ｒは近赤外に感度を有するモノクロCCDカメラ３台を使用し、１台を頭部２の正面に、２台を平面視で左右１５度の向きとなるように設置すると共に、各カメラの仰角を約２５度に設定した。また、３台のカメラは同期信号を共通とし、同じタイミングで画像を撮影できるようにした。

コンピュータ６は、ＣＰＵがPentium4-3GHz、OSがWindowsXPの汎用デスクトップを使用し、画像入力ボードは、MeteorII-MCを使用し，２５６階調のモノクロ画像を取込み、画像のサイズは５１２×４８０pixelとした。

このような実験システムにより頭部２の姿勢の追跡を実行した結果，1フレームあたり約３３msec（1秒あたり３０フレーム）で動作した。なお、この時にパーティクルの個数は３００に設定した。

また、上記実験システムにより頭部２の姿勢推定を行った。比較のため、頭部２にチェッカーパターンを装着して、交点の抽出と非線形最適化手法により姿勢を推定した。また、従来手法として、正規化相互相関による各頭部特徴点の探索により姿勢を推定した。各頭部特徴点を個別に正規化相互相関により探索し、ステレオマッチングにより三次元座標値を求めて、点群−点群間の変換行列を計算した。

その結果、図１４に示すように、従来手法では、全体的に微小なばらつきが見られると共に、大きく値がずれている箇所がいくつか見られる。これに対して、上記した本発明の実施の形態における手法では、微小なばらつきが減少し、且つ、値のずれている箇所も減少していることから、安定した推定ができることが分かった。

さらに、パーティクルの個数（１００，３００，１０００個）の違いによる追跡結果を比較したところ、図１５に示すように、３００個の場合と１０００個の場合では、大きな違いは見られず、ほぼ一致しているが、１００個の場合は，大きなずれは無いものの微小なばらつきが一部見られた。このことから、上記実験システムでは、従来千個オーダーの個数が必要だったパーティクルの数を数百個オーダーに減らしても安定した推定が実現できることが分かった。

さらに、図１６に示すように、上記実験システムでは、通常の頭部の姿勢の変化に加えて、口の変形や遮蔽、眉の遮蔽に対しても、追跡が可能であることが分かった。

上記したように本発明の実施の形態に係る頭部の位置・姿勢検出装置１によれば、自動車の室内において安定したドライバの頭部特徴点である左右の鼻孔間中心を正規化相互相関で探索した結果をパーティクルフィルタの仮説の拘束条件とすることにより、サンプリング空間の範囲を限定してサンプリング間隔を密にすることができ、数百オーダーの個数のパーティクルでも高精度かつ高速に頭部姿勢を追跡することができる。

また、パーティクルフィルタの仮説の拘束条件として、各カメラによる撮影画像上で白黒のコントラストが大きい鼻孔から得られる左右の鼻孔間中心を基準特徴点に設定したので、より安定した頭部姿勢の追跡が可能となる。

さらに、正規化相互相関で頭部特徴点を探索する時の検出対象画像の拡大縮小に対しては多重解像度法による多段階ピラミッドを用いることで対応することができ、また、回転による検出対象画像の変形に対しては異なる角度のカメラで撮った複数のテンプレート画像を用いることにより対応することができる。したがって、頭部の移動による検出対象画像の拡大縮小や、回転による検出対象画像の変形のために、検出対象画像とテンプレート画像との間の相関が得られなくなってしまうといった問題を防止することができる。

本発明の実施の形態に係る頭部の位置・姿勢検出装置を示すシステム構成図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において座標系の関係を示す模式図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置においてドライバの頭部特徴点のテンプレート登録処理の手順を示すフローチャートである。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において中央のカメラで撮影した基準画像を示す図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において左のカメラで撮影した基準画像を示す図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において右のカメラで撮影した基準画像を示す図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置においてテンプレート画像を切り出す方法を示す図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において頭部の位置・姿勢の定義を説明する模式図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において追跡プロセスを示すフローチャートである。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において左右の鼻孔間中心の探索方法を示す図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において多重解像度法による探索方法を示す模式図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置においてパーティクルフィルタによる推定処理を示すフローチャートである。 本発明の実施の形態に係る頭部の位置・姿勢検出装置において左右の鼻孔間中心の拘束方法を示す模式図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置による頭部姿勢の追跡結果を従来手法と比較して示す図であり、上段の図は上下方向の追跡結果を示し、中段の図は左右方向の追跡結果を示し、下段の図は軸回転方向の追跡結果を示している。 本発明の実施の形態に係る頭部の位置・姿勢検出装置においてパーティクルの個数の違いによる追跡結果を比較して示す図である。 本発明の実施の形態に係る頭部の位置・姿勢検出装置による各頭部特徴点の追跡画像を示す図である。

符号の説明

１ 頭部の位置・姿勢検出装置
３Ｌ 左のカメラ（撮像手段）
３Ｃ 中央のカメラ（撮像手段）
３Ｒ 右のカメラ（撮像手段）
１１ テンプレート画像生成手段
１２ 三次元座標値演算手段
１３ 基準特徴点探索手段
１４ 特徴点推定手段

Claims (6)

1. 検出対象者の頭部を撮影する撮像手段と、
   該撮像手段により撮影された検出対象者の頭部の基準画像から頭部特徴点を含むテンプレート画像として生成するテンプレート画像生成手段と、
   該テンプレート画像生成手段により生成された前記テンプレート画像における頭部特徴点の二次元画像座標値から該頭部特徴点の三次元座標値を演算する三次元座標値演算手段と、
   前記撮像手段により撮影された前記検出対象者の頭部の検出対象画像から前記頭部特徴点のうちの一つの頭部特徴点を基準特徴点として正規化相互相関により探索し、該基準特徴点の三次元座標値を演算する基準特徴点探索手段と、
   該基準特徴点探索手段により探索した前記基準特徴点の三次元座標値を拘束条件として時系列フィルタにより前記頭部特徴点の位置・姿勢を演算し、推定する特徴点推定手段と、
   を備えていることを特徴とする頭部の位置・姿勢検出装置。
2. 前記撮像手段は、前記検出対象者の頭部を正面側から斜め上方に向かって撮影可能なように取り付けられ、前記基準特徴点は左右の鼻孔間中心に設定されている請求項１に記載の頭部の位置・姿勢検出装置。
3. 前記特徴点推定手段により位置・姿勢を演算する頭部特徴点は、前記基準特徴点を除く、該基準特徴点より多くの頭部特徴点を含んでいる請求項１又は２に記載の頭部の位置・姿勢検出装置。
4. 前記特徴点推定手段により位置・姿勢を演算する頭部特徴点は、左右の眉の内端、左右の目尻、左右の鼻孔の外端、及び口の両端を含んでいる請求項３に記載の頭部の位置・姿勢検出装置。
5. 前記時系列フィルタは、パーティクルフィルタである請求項１〜４のいずれか１の請求項に記載の頭部の位置・姿勢検出装置。
6. 前記撮像手段は、少なくとも２台のカメラを含んでいる請求項１〜５のいずれか１の請求項に記載の頭部の位置・姿勢検出装置。

Images