JP2011089784A - 物体方向推定装置 - Google Patents

Abstract

【課題】左右、上下等の対称性を有する物体の方向を高速に推定する。
【解決手段】対称性を有する顔を含む画像を入力する画像入力部２と、顔の正面画像から抽出した顔検出用特徴量データから生成した顔検出用データを記憶し、顔の方向と方向推定用特徴量分布情報とを対応付けた方向推定用情報を記憶する記憶部３と、入力画像から顔検出用の特徴量を抽出し、抽出した特徴量データと記憶部３の顔検出用データとを用いて入力画像の顔画像領域を設定して顔を検出する対象物体検出部４と、顔画像領域について顔方向を推定するための特徴量データに基づく方向推定用特徴量分布情報を抽出し、抽出した特徴量分布情報を記憶部３の記憶する方向推定用特徴量分布情報と照合し、最も近似する方向推定用特徴量分布情報に対応付けられた方向を顔の方向と推定する対象物体方向推定部５と、推定結果を出力する出力部６とを備える構成とした。
【選択図】図１

Description

本発明は、物体の方向を推定する物体方向推定装置に関し、特に、左右、上下等の対称性を有する物体の方向を推定する物体方向推定装置に関する。

対称性を有する物体、例えば、顔（左右対称）の方向を推定する技術として、従来、特許文献１、２等に記載されたものがある。特許文献１に記載されたものは、目、鼻、口等のパーツの位置と面積とから求める重心位置と、顔領域の重心位置と、顔領域の面積との関係に基づいて顔の方向を推定するものである。また、特許文献２に記載されたものは、入力画像から検出した顔画像を、予め登録した様々な角度の顔画像のテンプレートと比較して最も近似するテンプレートを選択することで顔の方向を推定するものである。

特開平１０−２７４５１６号公報 特開２００８−２８８７０７号公報

しかしながら、従来の特許文献１に記載されたものは目、鼻、口等の各パーツをそれぞれ検出する必要があり、特許文献２に記載されたものは全てのテンプレートと比較する必要ある。このため、どちらも方向推定に時間がかかるという問題がある。また、特許文献２のようなテンプレートマッチング方式においては、例えば方向推定対象物体が顔の場合、サングラス等の装着物が装着されていると、そのようなテンプレートが登録されていない場合には顔の方向推定ができない虞れがあるという問題がある。

本発明は上記問題点に着目してなされたもので、対称性を有する物体の方向を高速に推定可能とした物体方向推定装置を提供することを目的とする。

このため、本発明は、対称性を有する物体の方向を推定する物体方向推定装置であって、方向推定対象の物体を含む画像を入力する画像入力部と、前記対象物体の正面画像から抽出した対象物体を検出するための特徴量データから生成した対象物体検出用データを記憶すると共に、前記対象物体の方向と方向推定用特徴量関連情報とを対応付けた方向推定用情報を記憶する記憶部と、前記画像入力部の入力画像から対象物体を検出するための前記特徴量データを抽出し、当該抽出した特徴量データと前記記憶部の記憶する対象物体検出用データとを用いて前記入力画像における対象物体画像領域を設定して前記入力画像から前記対象物体を検出する対象物体検出部と、該対象物体検出部で設定した前記対象物体画像領域について対象物体の方向を推定するための特徴量データに基づく前記方向推定用特徴量関連情報を抽出し、当該抽出した方向推定用特徴量関連情報を前記記憶部の記憶する前記方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を対象物体の向いている方向と推定する方向推定部と、該方向推定部の推定した前記方向を推定結果として出力する出力部と、を備えることを特徴とする。

かかる構成では、画像入力部から方向推定対象である対称性を有する物体を含む画像が入力されると、対象物体検出部は、入力画像から対象物体を検出するための特徴量データを抽出し、この抽出した特徴量データと記憶部に記憶されている対象物体検出用データとを用いて対象物体画像領域を設定して入力画像から対象物体の検出を行う。この対象物体画像領域が設定されると、方向推定部は、対象物体画像領域について対象物体の方向を推定するための特徴量データに基づく方向推定用特徴量関連情報を抽出し、この抽出した方向推定用特徴量関連情報を記憶部に記憶されている対象物体の方向と方向推定用特徴量関連情報とを対応付けた方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を対象物体の向いている方向と推定する。出力部は、方向推定部の推定した方向を推定結果として出力する。

請求項２のように、前記記憶部は、前記対象物体検出用データを記憶する第１記憶部と、前記方向推定用情報を記憶する第２記憶部とを備える構成である。

請求項３のように、前記対象物体検出部は、前記画像入力部の入力画像から対象物体を検出するための前記特徴量データを抽出する対象物体検出用特徴量抽出手段と、該対象物体検出用特徴量抽出手段で抽出した前記特徴量データと前記記憶部の記憶する対象物体検出用データとを用いて前記対象物体画像領域を設定する対象物体画像領域設定手段とを備える構成とするとよい。

請求項４のように、前記方向推定部は、前記対象物体検出部で設定した前記対象物体画像領域について対象物体の方向を推定するための特徴量データに基づく前記方向推定用特徴量関連情報を抽出する特徴量関連情報抽出手段と、該特徴量関連情報抽出手段で抽出した方向推定用特徴量関連情報を前記記憶部の記憶する前記方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を対象物体の向いている方向と判定する方向判定手段とを備える構成とするとよい。

前記特徴量関連情報抽出手段は、請求項５のように、前記対象物体検出部で設定した前記対象物体画像領域について前記対象物体の方向を推定するための特徴量データを抽出し、この抽出した特徴量データを当該特徴量データの分布状態を示す情報に変換して前記方向推定用特徴量関連情報とする構成とするとよい。この場合、請求項６のように、前記特徴量の分布状態を示す情報として、ヒストグラム及びモーメントの少なくとも１つを用いるとよい。

前記特徴量関連情報抽出手段は、請求項７のように、前記対象物体検出部で設定した前記対象物体画像領域について前記対象物体の方向を推定するための特徴量データを抽出し、この特徴量データを前記方向推定用特徴量関連情報とする構成としてもよい。

請求項８のように、前記方向推定部は、前記対象物体が複数方向に対称性を有する物体であるとき、各対称方向における対象物体の向いている方向をそれぞれ推定し、複数の対称方向について得られた方向推定結果に基づいて、前記対称方向以外の方向に関して対象物体の向いている方向を推定する構成を備えるとよい。

請求項１〜７のいずれか１つに記載の物体方向推定装置において、請求項９のように、前記対象物体は顔である。

本発明の物体方向推定装置によれば、方向推定対象物体を含む画像を入力する画像入力部と、対象物体の正面画像から抽出した対象物体を検出するための特徴量データから生成した対象物体検出用データを記憶すると共に、対象物体の方向と方向推定用特徴量関連情報とを対応付けた方向推定用情報を記憶する記憶部と、入力画像から対象物体検出用特徴量データを抽出し、抽出した対象物体検出用特徴量データと記憶した対象物体検出用データとを用いて対象物体画像領域を設定して入力画像から対象物体を検出する対象物体検出部と、設定した対象物体画像領域について対象物体の方向を推定するための特徴量データに基づく方向推定用特徴量関連情報を抽出し、抽出した方向推定用特徴量関連情報を記憶した方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を対象物体の方向と推定する方向推定部と、推定した方向を推定結果として出力する出力部とを備えて構成したので、対象物体の各パーツの位置関係等から物体方向を推定する場合に比較して、対象物体の各パーツの探索処理等が不要となり方向推定の処理時間を短縮できる。また、テンプレート画像のマッチングにより方向を推定する場合のように多数のテンプレート画像を登録する必要がなく、照合する情報量が少ないので同じく処理時間を短縮できる。

本発明に係る物体方向推定装置の第１実施形態の構成を示すブロック図。 第１実施形態の方向推定動作を説明するフローチャート。 対象物体画像領域設定手段による画像領域の設定動作の説明図。 本発明に係る物体方向推定装置の第２実施形態の構成を示すブロック図。 第２実施形態の方向推定動作を説明するフローチャート。 本発明に係る物体方向推定装置の第３実施形態の構成を示すブロック図。 本発明の物体方向推定装置の応用例の構成を示すブロック図。 本発明の物体方向推定装置の別の応用例の構成を示すブロック図。 本発明の物体方向推定装置の更に別の応用例の構成を示すブロック図。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る物体方向推定装置の第１実施形態の構成を示すブロック図である。
図１において、本実施形態の物体方向推定装置１は、対称性を有する物体の向いている方向を推定するものであり、画像入力部２と、記憶部としての記憶装置３と、対象物体検出部４と、方向推定部としての対象物体方向推定部５と、出力部６と、を備える。

ここで、本発明の物体方向推定装置の方向推定対象物体は、左右、上下及び斜めの少なくとも１つの方向に関して対称性を有する物体である。以下では、方向推定対象物体として左右方向に対称性を有する人間の顔を例とし、顔の向きを推定する場合について説明する。

前記画像入力部２は、方向推定対象の物体である顔を含む画像を入力するもので、例えばカメラ等の撮像装置で構成される。

前記記憶装置３は、対象物体の正面画像についてのみ対象物体画像領域における対象物体検出用データを記憶すると共に、対象物体の方向と方向推定用特徴量関連情報とを対応付けた方向推定用情報を記憶するもので、第１記憶部３Ａと、第２記憶部３Ｂとを備える。

第１記憶部３Ａは、前記対象物体検出用データとして本実施形態では顔検出用データを格納する。具体的には、まず正面を向いた顔の画像データを複数取得し、これら顔正面画像データから顔を検出するための特徴量データをそれぞれ抽出する。同様に、顔が含まれない画像（例えば、背景画像）についても特徴量データを所定数取得しておく。尚、特徴量データとしては、一般的な画像認識上の特徴量データであればよい。そして、顔正面画像に基づく特徴量データと顔が含まれない画像に基づく特徴量データを用いて、学習により、顔か否かを判断するための顔検出用データを生成する。具体的な学習方法として、パターン識別手法であるブースティングやサポートベクトルマシン等があり、学習によって特徴量データから顔検出用データを生成し、これを第１記憶部３Ａに格納する。抽出する特徴量としては、例えば、エッジ情報、輝度値、色情報、或いは、ウェーブレット等を挙げることができる。尚、顔検出用データは、テンプレートマッチング用のテンプレート画像として複数の顔の正面画像自体としてもよい。

第２記憶部３Ｂは、前記方向推定用情報を格納する。方向推定用情報は、後述する対象物体画像領域設定手段４Ｂで設定される対象物体画像領域としての顔画像領域について、顔方向を推定するための特徴量データを抽出し、この特徴量データを当該特徴量データの分布状態を示す特徴量分布情報に変換したものを方向推定用特徴量関連情報とし、この方向推定用特徴量関連情報を顔方向が既知の顔画像を用いて異なる方向毎に取得し、取得したときの顔方向と方向推定用特徴量関連情報とを対応付けて第２記憶部３Ｂに格納したものである。顔方向を推定するための特徴量データとしては、例えば、色情報、エッジ情報、ウェーブレット等を挙げることができ、これらを組合わせてもよい。また、特徴量分布情報としては、例えば、ヒストグラム、モーメント等を挙げることができ、これらを組合わせてもよい。

前記対象物体検出部４は、画像入力部２からの入力画像から対象物体である顔を検出するための前述した顔検出用特徴量を抽出し、この抽出した顔検出用特徴量データと第１記憶部３Ａに格納した顔検出用データとを用いて、入力画像における画像領域を設定して顔を検出するもので、対象物体検出用特徴量抽出手段４Ａと、対象物体画像領域設定手段４Ｂとを備える。

前記対象物体検出用特徴量抽出手段４Ａは、画像入力部２の入力画像から対象物体である顔を検出するための顔検出用特徴量を抽出するもので、具体的には、入力画像から顔内の特徴量データを抽出する。

対象物体画像領域設定手段４Ｂは、対象物体検出用特徴量抽出手段４Ａで抽出した顔検出用特徴量データから第１記憶部３Ａに格納した顔検出用データを用いて、入力画像における顔画像領域を設定するものである。尚、顔検出用データは、前述したようにブースティングやサポートベクトルマシン等を用いた学習によって生成され、顔領域検出用の識別関数となっている。

前記対象物体方向推定部５は、対象物体検出部４の対象物体画像領域設定手段４Ｂで設定した顔画像領域について顔方向を推定するための特徴量データに基づく前述の方向推定用特徴量関連情報を抽出し、この抽出した方向推定用特徴量関連情報を第２記憶部３Ｂに格納した方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を顔の向いている方向と推定するもので、対象物体方向推定用特徴量抽出手段５Ａと、特徴量分布情報変換手段５Ｂと、方向判定手段５Ｃとを備える。

前記対象物体方向推定用特徴量抽出手段５Ａは、対象物体検出部４の対象物体画像領域設定手段４Ｂで設定した顔画像領域について顔方向を推定するための特徴量データを抽出する。この特徴量としては、例えば色情報として肌色を抽出する。肌色か否かの判断は、ＨＳＶ表色系が有効である。ＨＳＶ表色系では、色相Ｈと明度Ｖが独立しており、画像の明るさに影響されずに色合いを調べることができる。

前記特徴量分布情報変換手段５Ｂは、対象物体方向推定用特徴量抽出手段５Ａで抽出した特徴量（例えば肌色）をこの特徴量の分布状態を示す特徴量分布情報に変換して前述の方向推定用特徴量関連情報として出力する。特徴量分布情報としては、前述したヒストグラム、モーメント等である。ここで、本実施形態では、対象物体方向推定用特徴量抽出手段５Ａと特徴量分布情報変換手段５Ｂで特徴量関連情報抽出手段を構成している。

前記方向判定手段５Ｃは、特徴量分布情報変換手段５Ｂで得られた特徴量分布情報を第２記憶部３Ｂに格納した方向推定用情報の特徴量分布情報と照合し、最も近似する特徴量分布情報に対応付けられた方向を顔の向いている方向と判定する。

前記出力部６は、対象物体方向推定部５で推定した顔方向を推定結果として外部に出力する。

次に、本実施形態の物体方向推定装置１による顔の方向推定動作を図２のフローチャートに従って説明する。
ステップ１（図中、Ｓ１で示し、以下同様とする）で、画像入力部２において画像を入力する。
ステップ２で、対象物体検出部４の対象物体検出用特徴量抽出手段４Ａで、顔検出のための特徴量を抽出する。

ステップ３で、対象物体画像領域設定手段４Ｂで、ステップ２で抽出した顔検出用特徴量データから第１記憶部３Ａに格納した顔領域検出用の識別関数となっている顔検出用データを用いて顔画像領域を設定して入力画像から顔を検出する。この場合、顔検出用データが顔の正面画像データのみ学習して得られたものであり、顔の正面画像の検出に最適化されているため、検出した顔画像を正面画像と見なして顔画像領域を設定するので、図３に示すように、顔の対称性を示す目、鼻、口等の部分が顔画像領域１０の対称軸１１について略対称となるよう入力画像の顔部分に顔画像領域１０が設定される。これにより、顔の正面画像に対しては図３（Ｂ）の上図に示すように顔の輪郭１２に合わせて顔画像領域１０が設定されるが、顔の方向が正面以外の顔画像に対しては図３（Ａ）、（Ｃ）の上図に示すように、設定される顔画像領域１０が顔の輪郭１２に対してずれるようになる。

ステップ４では、対象物体方向推定部５の対象物体方向推定用特徴量抽出手段５Ａで、ステップ３で設定された顔画像領域１０について、顔方向を推定するための特徴量データとして例えば顔の肌色部分の検出を行う。

ステップ５では、特徴量分布情報変換手段５Ｂで、顔画像領域１０について検出した肌色部分のピクセル数の横方向の分布状態を示す方向推定用特徴量分布情報として図３（Ａ）〜（Ｃ）の下図に示すような例えばヒストグラムを算出する。このヒストグラムは、顔の正面画像では図３（Ｂ）下図に示すように略対称であるが、正面以外の顔画像では図３（Ａ）、（Ｃ）の下図に示すように偏りが生じる。

ステップ６では、方向判定手段５Ｃで、ステップ５で得られたヒストグラムと記憶部３の第２記憶部３Ｂに予め格納されている方向推定情報の顔の各方向と対応付けたヒストグラムとを照合し、格納されたヒストグラムの中から最も近似するヒストグラムを検索する。そして、検索したヒストグラムに対応付けられている方向情報を、入力画像から検出した顔の向いている方向と判定する。
ステップ７では、ステップ６で推定した顔方向を出力部６から出力する。

かかる構成によれば、顔検出後に、顔画像領域１０における肌色等の顔方向を推定するための特徴量データの分布状態を、予め顔方向と対応付けておいた特徴量分布情報と照合するだけであるので、対称性を有する物体の方向推定処理が従来の方向推定処理手法と比較して非常に高速にできる。また、テンプレート画像を格納する場合と比較して方向推定に用いる情報量も少なくできので、記憶装置３の記憶容量が少なくて済む。

本発明の物体方向推定装置は、複数方向に関して対称性を有する物体であれば、基準となる対称方向を変化させて方向推定処理を繰返すことにより、対称性を有する前記複数方向以外の方向に関して推定することが可能である。

以下に、例えば左右及び上下方向に関して対称性を有する物体の斜め方向の傾きを推定可能な本発明の物体方向推定装置の第２実施形態について説明する。尚、第１実施形態と同一要素には同一符号を付して説明を省略する。
図４は、第２実施形態の物体方向推定装置の構成を示すブロック図である。
図４において、本実施形態の物体方向推定装置２０は、第１実施形態の対象物体方向推定部５における方向判定手段の後段に、推定方向統合手段５Ｄを付加し、推定方向統合手段５Ｄの出力を出力部６に出力する構成である。

前記推定方向統合手段５Ｄは、方向判定手段５Ｃによって判定された左右方向の方向判定結果と上下方向の方向判定結果から、例えば、左右方向と上下方向の各方向ベクトルを求め、両方向ベクトルを合成するような処理によって対象物体の傾き方向を推定する。

尚、推定方向統合手段５Ｄを付加し、この推定方向統合手段５Ｄの出力を出力部６に出力する構成とした以外は、第１実施形態と同じ構成である。ただし、記憶装置３の第１記憶部３Ａには、対象物体検出用データとして左右方向の物体画像領域設定用として方向推定対象物体の左右方向検出用データと上下方向の物体画像領域設定用として方向推定対象物体の上下方向検出用データとが予め格納され、第２記憶部３Ｂには、方向と方向推定用特徴量関連情報とを対応付けた方向推定用情報として、方向推定対象物体の左右方向推定用の方向推定用情報の他に、上下方向推定用の方向推定用情報が予め格納されている。

次に、第２実施形態の物体方向推定装置２０による物体の方向推定動作を図５のフローチャートに従って説明する。
ステップ１１で、画像入力部２において画像を入力する。
ステップ１２で、対象物体検出部４の対象物体検出用特徴量抽出手段４Ａで、対象物体の検出のための左右方向と上下方向に関する特徴量を抽出する。

その後、ステップ１３〜１６によって、第１実施形態のステップ３〜６と同様にして左右方向と上下方向のどちらかの方向について対象物体の方向推定を実行する。

次に、ステップ１７で、全ての方向、本実施形態の場合は左右方向及び上下方向の両方向について方向推定が完了したか否かを判定する。両方向について方向推定が完了していなければステップ１７の判定がＮＯとなり、方向推定が完了していない対称方向についてステップ１３〜１６の動作を繰返し実行する。ステップ１７の判定がＹＥＳになればステップ１８に進む。

ステップ１８で、推定方向統合手段５Ｄにより、方向判定手段５Ｃからの左右及び上下の両方向の方向推定結果を用いて対象物体の傾き方向を推定し、ステップ１９で、ステップ１８の推定結果を出力部６から出力する。

かかる構成の第２実施形態によれば、左右方向と上下方向に対称性を有する物体について、その物体の斜め方向の傾きも推定することができる。

第１及び第２実施形態の対象物体方向推定部５では、対象物体方向推定用特徴量抽出手段５Ａで抽出した特徴量データを、ヒストグラム等のような特徴量分布情報に変換し、この変換情報を方向推定用特徴量関連情報として使用する構成としたが、対象物体方向推定用特徴量抽出手段５Ａの抽出する特徴量データそのものを、方向推定用特徴量関連情報として使用する構成としてもよい。図６に示すように、かかる構成の物体方向推定装置３０は、対象物体方向推定用特徴量抽出手段５Ａの抽出する特徴量データを直接に方向判定手段５Ｃに方向推定用特徴量関連情報として入力する構成になるので、図１の第１実施形態の構成から特徴量分布情報変換手段５Ｂを省くことができ、第１実施形態と比較して対象物体方向推定部５の構成を簡素化でき、延いては物体方向推定装置の構成を簡素化できることになる。

次に、本発明の物体方向推定装置の応用例について説明する。
応用例としては、注目度推定装置、不審人物検出装置、ジェスチャーによる機器操作装置等を挙げることができる。

注目度推定装置は、広告掲載領域の広告費の決定等に用いることができる。例えば、図７に示すように、撮像装置４１、視線推定部４２、注目領域判定部４３、注目度合算出部４４及び広告費決定部４５等で構成する。撮像装置４１から得た画像中に含まれる人物の視線方向を、本発明の物体方向推定装置を用いた視線推定部４２により、その推定した顔方向をその人物の視線方向として推定する。注目領域判定部４３で、視線推定部４２の推定した視線方向と撮像装置４１の位置との関係から人物の注目領域を判別する。注目度合算出部４４で、撮像装置４１の撮像領域内の広告掲載領域毎の注目度合を、統計的処理を用いて算出する。最後に、広告費決定部４５で、その算出結果に基づいて広告掲載領域毎の広告費を決定する。

前記不審人物検出装置は、例えば、図８に示すように、撮像装置５１、人物追跡部５２、視線推定部５３、不審行動判定部５４及び警報発生部５５等で構成する。撮像装置４１から得た画像中に含まれる人物の移動軌跡を人物追跡部５２により追跡し、本発明の物体方向推定装置を用いた視線推定部５３で、その人物の移動軌跡追跡中における視線方向を推定する。次に、不審行動判定部５４で、視線推定部５３の推定した視線方向の時系列推移情報（例えば一定時間内に視線方向が左右に振れた（所謂、キョロキョロした）回数に基づいて画像中の人物の行動が不審か否かを判定し、不審行動と判定した場合、その人物を不審者と判定して警報発生部５５によって不審者検出を知らせる警報を発生する。

前記ジェスチャーによる機器操作装置は、例えば、図９に示すように、撮像装置６１、視線推定部６２、対象機器検出部６３、ジェスチャー認識部６４及び操作信号発信部６５等で構成する。撮像装置６１から得た画像中に含まれる人物の視線方向を、視線推定部６２により推定し、対象機器検出部６３でその視線方向にある機器を対象機器として検出する。ジェスチャー認識部６４で機器操作に関するジェスチャーを認識すると、操作信号発信部６５で認識したジェスチャーに応じた操作信号を対象機器に対して送信する。

１、２０、３０ 物体方向推定装置
２ 画像入力部
３ 記憶装置
３Ａ 第１記憶部
３Ｂ 第２記憶部
４ 対象物体検出部
４Ａ 対象物体検出用特徴量抽出手段
４Ｂ 対象物体画像領域設定手段
５ 対象物体方向推定部
５Ａ 対象物体方向推定用特徴量抽出手段
５Ｂ 特徴量分布情報変換手段
５Ｃ 方向判定手段
５Ｄ 推定方向統合手段
６ 出力部
１０ 顔画像領域（対象物体画像領域）
１１ 対称軸
１２ 輪郭（顔の）

Claims (9)

1. 対称性を有する物体の方向を推定する物体方向推定装置であって、
   方向推定対象の物体を含む画像を入力する画像入力部と、
   前記対象物体の正面画像から抽出した対象物体を検出するための特徴量データから生成した対象物体検出用データを記憶すると共に、前記対象物体の方向と方向推定用特徴量関連情報とを対応付けた方向推定用情報を記憶する記憶部と、
   前記画像入力部の入力画像から対象物体を検出するための前記特徴量データを抽出し、当該抽出した特徴量データと前記記憶部の記憶する対象物体検出用データとを用いて前記入力画像における対象物体画像領域を設定して前記入力画像から前記対象物体を検出する対象物体検出部と、
   該対象物体検出部で設定した前記対象物体画像領域について対象物体の方向を推定するための特徴量データに基づく前記方向推定用特徴量関連情報を抽出し、当該抽出した方向推定用特徴量関連情報を前記記憶部の記憶する前記方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を対象物体の向いている方向と推定する方向推定部と、
   該方向推定部の推定した前記方向を推定結果として出力する出力部と、
   を備えることを特徴とする物体方向推定装置。
2. 前記記憶部は、前記対象物体検出用データを記憶する第１記憶部と、前記方向推定用情報を記憶する第２記憶部とを備える構成とした請求項１に記載の物体方向推定装置。
3. 前記対象物体検出部は、前記画像入力部の入力画像から対象物体を検出するための前記特徴量データを抽出する対象物体検出用特徴量抽出手段と、該対象物体検出用特徴量抽出手段で抽出した前記特徴量データと前記記憶部の記憶する対象物体検出用データとを用いて前記対象物体画像領域を設定する対象物体画像領域設定手段とを備える構成とした請求項１又は２に記載の物体方向推定装置。
4. 前記方向推定部は、前記対象物体検出部で設定した前記対象物体画像領域について対象物体の方向を推定するための特徴量データに基づく前記方向推定用特徴量関連情報を抽出する特徴量関連情報抽出部手段と、該特徴量関連情報抽出手段で抽出した方向推定用特徴量関連情報を前記記憶部の記憶する前記方向推定用情報の方向推定用特徴量関連情報と照合し、最も近似する方向推定用特徴量関連情報に対応付けられた方向を対象物体の向いている方向と判定する方向判定手段とを備える構成とした請求項１〜３のいずれか１つに記載の物体方向推定装置。
5. 前記特徴量関連情報抽出手段は、前記対象物体検出部で設定した前記対象物体画像領域について前記対象物体の方向を推定するための特徴量データを抽出し、この抽出した特徴量データを当該特徴量データの分布状態を示す情報に変換して前記方向推定用特徴量関連情報とする構成とした請求項４に記載の物体方向推定装置。
6. 前記特徴量データの分布状態を示す情報として、ヒストグラム及びモーメントの少なくとも１つを用いる請求項５に記載の物体方向推定装置。
7. 前記特徴量関連情報抽出手段は、前記対象物体検出部で設定した前記対象物体画像領域について前記対象物体の方向を推定するための特徴量データを抽出し、この特徴量データを前記方向推定用特徴量関連情報とする構成とした請求項４に記載の物体方向推定装置。
8. 前記方向推定部は、前記対象物体が複数方向に対称性を有する物体であるとき、各対称方向における対象物体の向いている方向をそれぞれ推定し、複数の対称方向について得られた方向推定結果に基づいて、前記対称方向以外の方向に関して対象物体の向いている方向を推定する構成を備える請求項１〜７のいずれか１つに記載の物体方向推定装置。
9. 前記対象物体が、顔である請求項１〜７のいずれか１つに記載の物体方向推定装置。

Images