JP2007241478A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】簡易に撮像画像の連続的な顔向きを推定する。
【解決手段】撮像部２００が接続される画像処理装置であって、撮像部２００によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定部２０６と、顔領域特定部２０６により特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する顔特徴点位置取得部２０８と、顔特徴点位置取得部２０８により取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する長さ算出部２１０と、長さ算出部２１０により算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定部２１４と、を含む。
【選択図】図５

Description

本発明は、画像処理に関して、特に画像に写されたユーザの顔向きを推定する技術に関する。

ＰＣ等の情報処理装置は、キーボードやマウスにより情報を入力することが一般的である。しかしながら、キーボードやマウスの操作に不慣れなユーザや、病気や怪我によりそのような入力手段を扱えない状況にあるユーザに対しては、カメラを情報処理装置の入力インターフェースとすることが考えられている。

そのような情報処理装置において、カメラでユーザを撮像した２次元画像から、ユーザの顔向きを検出し、検出した顔向きを情報入力に利用すれば、より直感的で多様な操作が可能となる。

従来では、顔向き推定の手法の一つとして、特許文献１に記載のテンプレートマッチングの技術が提案されている。
特開２００３−１４１５５１号公報 特開平７−３１１８３３号公報 ハフ変換と分離度フィルタによる人物顔からの両目の検出、電子情報通信学会論文誌 Vol.J84-D2 No.10 pp.2190-2200 Estimation of Eye and MouthCorner Point Positions in a Knowledge-Based Coding System 1996 Liang Zhang

しかしながら、従来の技術では、各角度毎に用意した顔向きテンプレートをあらかじめ学習しておかなければならないため、事前処理が膨大であった。そのため、学習画像の収集や画像の学習に非常に手間がかかるという課題があった。

また、上記技術で検出できる顔向きは、予めテンプレートで学習した角度に依存してしまうといった課題もあった。

その他にも、上記技術では、リアルタイム処理で精度良く顔向きを検出すると計算負荷が大きくなってしまうという課題もあった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、計算負荷が小さく、かつ、簡易に連続的な顔向きの推定ができる画像処理装置、画像処理装置の制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像処理装置は、撮像手段が接続される画像処理装置であって、前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段と、前記顔領域特定手段により特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する位置取得手段と、前記位置取得手段により取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する算出手段と、前記算出手段により算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定手段と、を含むことを特徴とする。

また、本発明に係る画像処理装置の制御方法は、撮像手段が接続される画像処理装置を制御する制御方法であって、前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定ステップと、前記顔領域特定ステップにより特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する位置取得ステップと、前記位置取得ステップにより取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する算出ステップと、前記算出ステップにより算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定ステップと、を含むことを特徴とする。

また、本発明に係るコンピュータ（例えばパーソナルコンピュータ、サーバコンピュータ、移動体端末、ＰＤＡ、ゲーム機等である。以下、同様。）を機能させるためのプログラムは、撮像手段が接続される画像処理装置をコンピュータとして機能させるためのプログラムであって、前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段、前記顔領域特定手段により特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する位置取得手段、前記位置取得手段により取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する算出手段、及び、前記算出手段により算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定手段、として前記コンピュータを機能させるためのプログラムである。プログラムは、ＣＤ−ＲＯＭ（Compact Disk - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、メモリーカードその他のあらゆるコンピュータ読み取り可能な情報記憶媒体に格納することとしてもよい。

また、本発明の一態様では、前記算出手段は、前記位置取得手段により取得した前記水平長さを、前記垂直長さに対する相対的な長さとして算出し、前記顔向き決定手段は、前記算出手段により算出した水平長さと、前記水平長さの基準値との比に基づいて、前記画像の顔の横向き角度を決定することとする。

また、本発明の一態様では、前記算出手段は、前記位置取得手段により取得した前記垂直長さを、前記水平長さに対する相対的な長さとして算出し、前記顔向き決定手段は、前記算出手段により算出した垂直長さと、前記垂直長さの基準値との比に基づいて、前記画像の顔の縦向き角度を決定することとする。

また、本発明の一態様では、前記位置取得手段は、顔の中心線に対して対称にある二対の第１の特徴点の位置を取得し、前記第２の特徴点の位置を、前記二対の第１の特徴点の各中心点の位置として取得することとする。

また、本発明の一態様では、前記水平長さ及び垂直長さの基準値は、前記ユーザの顔が正面を向いている場合に、前記算出手段により算出した水平長さ及び垂直長さとすることとする。

また、本発明の一態様では、前記第１の特徴点は、目、口角、目頭、目尻、眉、眉頭、眉尻、鼻、鼻腔、口、耳のうちいずれかの部位の一部を示す点であることとする。

以下、本発明の好適な実施形態について、図面を参照しつつ詳細に説明する。

まず、本願発明に係る画像処理装置の処理の概要について図１から図３を参照しつつ説明する。

図１には、カメラで撮像されたユーザの撮像画像の一例を示す。図１に示される撮像画像１０Ａは、ユーザが正面を向いている状態を撮像した画像である。本願発明に係る画像処理装置は、撮像画像１０Ａからユーザの顔領域１２Ａを特定する。そして、特定した顔領域１２Ａの中から顔の中心線に対して垂直な線上にある少なくとも一対の特徴点（本実施形態では、目１４Ａ，１６Ａ及び口角１８Ａ，２０Ａであることとする）と、顔の中心線に対して平行な線上にある少なくとも一対の特徴点（本実施形態では、目及び口角のそれぞれの中心点２２Ａ，２４Ａであることとする）の位置座標を取得する。そして、取得した位置座標に基づいて両目間（１４Ａ，１６Ａ）の距離（以下、両目間距離とする）と、目及び口角の中心点間（２２Ａ，２４Ａ）の距離（以下、中心点間距離とする）を計算する。図１のように顔が正面を向いている場合に計算した両目間距離と中心点間距離は、それぞれの距離の基準値とする。なお、顔の中心線は、図１のＹ軸（垂直方向の軸）と重なる位置にあることとする。

図２には、カメラで順次撮像されるユーザの撮像画像の一例を示す。図２に示される撮像画像１０Ｂは、ユーザの顔が図１の状態から横を向いた状態を撮像した画像である。図１の場合と同様に、画像処理装置は、図２で示される撮像画像１０Ｂから、目１４Ｂ，１６Ｂと口角１８Ｂ，２０Ｂの位置座標を取得する。そして、取得した位置座標に基づいて、図２における両目間距離と中心点間距離とを計算する。そして、計算した両目間距離、中心点間距離とそれぞれの基準値、すなわち、図１における両目間距離と中心点間距離とに基づいて、図１から図２への状態が遷移した場合の顔の横方向（Ｙ軸回り）の回転角を計算する。回転角の計算の詳細については後述する。

図３には、カメラで順次撮像されるユーザの撮像画像の一例を示す。図３に示される撮像画像１０Ｃは、ユーザが図１の状態から下を向いた状態を撮像した画像である。図３においても上記と同様に、図３で示される撮像画像１０Ｃから、目１４Ｃ，１６Ｃと口角１８Ｃ，２０Ｃの位置座標を取得する。そして取得した位置座標に基づいて、図３における両目間距離と中心点間距離とを計算する。そして、計算した両目間距離、中心点間距離とそれぞれの基準値、すなわち、図１における両目間距離と中心点間距離とに基づいて、図１から図３への状態が遷移した場合の顔の縦方向（Ｘ軸回り）の回転角を計算する。回転角の計算の詳細については後述する。

上記処理を実現するために本発明に係る画像処置装置が備える構成を、以下に説明する。

図４には、画像処理装置のハードウェア構成図を示す。図４に示されるように、画像処理装置１００は、物理的な構成として、プロセッサ１０２、メモリ１０４、入出力インターフェース１０６、グラフィックインターフェース１０８とハードディスク１１０等の記憶装置を含む。各部は、バス１１２を介して相互に通信可能に接続される。

プロセッサ１０２は、ハードディスク１１０やメモリ１０４等の記憶装置に格納されるオペレーティングシステムやプログラムに基づいて、画像処理装置１００の各部を制御する。また、メモリ１０４は、プログラムやデータが必要に応じて書き込まれるとともに、プロセッサ１０２の作業用としても用いられる。

入出力インターフェース１０６は、画像処理装置１００へのデータ信号の入出力を制御するハードウェアである。本実施形態では、入出力インターフェース１０６には、カメラ１２０が接続される。また、入出力インターフェース１０６はＵＳＢ等のシリアルインターフェースの規格によるものとしてもよい。

グラフィックインターフェース１０８は、ビデオメモリを含み構成される。そして、ビデオメモリに順次格納されるイメージデータに従って、接続されたディスプレイ１３０に画像の出力を行う。

図５には、画像処理装置１００の機能ブロック図を示す。図５に示されるように、画像処理装置１００は、機能的な構成として、撮像部２００、撮像画像入力部２０２、画像出力部２０４、顔領域特定部２０６、顔特徴点位置取得部２０８、長さ算出部２１０、基準値記憶部２１２と顔向き決定部２１４とを含む。各部の詳細について、以下に説明する。

撮像部２００は、画像を撮像する機能を有する。撮像部２００は、画像処理装置１００に接続されるカメラ１２０により実現される機能である。カメラ１２０は、ＣＣＤカメラを含むＷＥＢカメラ等であってよく、ＵＳＢ等のシリアルインターフェースにより画像処理装置１００と接続することとしてもよい。そして、カメラ１２０は所定の時間間隔毎に画像を順次撮像する機能を有するものであってよい。

撮像画像入力部２０２は、撮像部２００において撮像された画像データの入力を受け付ける機能を有する。撮像画像入力部２０２は、画像処理装置１００の入出力インターフェース１０６により実現される機能である。入出力インターフェース１０６は、ＵＳＢ等のシリアルインターフェースであることとしてもよい。

画像出力部２０４は、撮像画像入力部２０２に入力された画像データに基づいて、画像を可視化して表示する機能を有する。画像出力部２０４は、画像処理装置１００に接続されるディスプレイ１３０を含み構成される。画像出力部２０４は、入力された画像データに対して所定の画像処理を加えた後に画像を出力することとしてもよい。画像出力部２０４では、例えば、図１、２、３に示されるようなユーザの撮像画像が出力される。

顔領域特定部２０６は、撮像された画像の中からユーザの顔が写された領域を特定する機能を有する。顔領域特定部２０６は、例えば、図１の撮像画像１０Ａの全体の中から、顔領域１２Ａを特定するものである。顔領域の特定手法については、様々な手法が提案されており、本発明では、それらの公知の顔領域の特定手法を用いることとしてよい。例えば、顔領域の特定手法の一例として、特許文献２に記載の「人物の顔の検出装置の手法」を用いることとしてもよい。顔領域特定部２０６は、上記顔領域の特定手法に基づいたアルゴリズムに従って作成されたプログラムをメモリ１０４上に読み込み、プロセッサ１０２が読み込んだプログラムに従って動作することで実現される機能である。

顔特徴点位置取得部２０８は、顔領域特定部２０６により特定された顔領域の中から、顔の所定の特徴点の位置を検出する機能を有する。特徴点は、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点を含むものである。本実施形態では、第１の特徴点として、目（右目と左目）及び口角を、また、第２の特徴点として、両目の中心点と、両口角の中心点とを用いることとする顔特徴点位置取得部２０８は、まず顔領域の中から、目と口角の位置を検出して取得し、その取得した位置に基づいて、目と口角のそれぞれの中心点の位置を計算して取得する。

顔領域から目及び口角の位置を検出する手法については、公知の検出方法を用いることとしてよい。目の位置の検出手法には、例えば、非特許文献１に記載の手法によることとしてもよい。また、口角の位置の検出手法には、例えば、非特許文献２に記載の手法によることとしてもよい。

顔特徴点位置取得部２０８は、上記目及び口角の位置の検出手法に基づいたアルゴリズムに従って作成されたプログラムをメモリ１０４上に読み込み、プロセッサ１０２が読み込んだプログラムに従って動作することで実現される機能であることとしてよい。

長さ算出部２１０は、顔特徴点位置取得部２０８により取得した第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する機能を有する。水平長さは、顔画像のＹ軸回りの回転角度を計算するための長さである。また、垂直長さは、顔画像のＸ軸回りの回転角度を計算するための長さである。

本実施形態では、水平長さと垂直長さとは、特徴点として取得された両目間の距離（両目間距離）と、目と口角のそれぞれの中心点間の距離（中心点間距離）に基づいて求められる。ここでは、水平長さと垂直長さを両目間距離と中心点間距離のそのものの長さとはせず、検出する回転方向に応じて、各距離を他方の距離に対する相対的な長さとして表す。これは、ユーザの顔がカメラに対して近づいたり遠ざかったりした場合にも、顔の特徴点から算出される両目間距離と、中心点間距離の長さは変化してしまうので、このような顔とカメラの遠近の変化による影響を受けないようにするためである。

以下、顔の横方向の回転角を求める場合と、顔の縦方向の回転角を求める場合のそれぞれについて計算される水平長さと、垂直長さについて説明する。

まず、顔の横方向の回転角を求める場合には、水平長さを、両目間距離の中心点間距離に対する相対的な長さとして算出する。以下、図１及び図２を用いて具体的に説明する。図１において、両目間距離（１４Ａと１６Ａとの距離）をａ１、中心点間距離（２２Ａと２４Ａとの距離）をａ２とする。この場合に、図１における水平長さＡ１は、Ａ１＝ａ１／ａ２となる。このＡ１は、水平長さの基準値となる。また、図２において、両目間距離（１４Ｂと１６Ｂとの距離）をｂ１、中心点間距離（２２Ｂと２４Ｂとの距離）をｂ２とする。この場合に、図２における水平長さＢ１は、Ｂ１＝ｂ１／ｂ２となる。

次に、顔の縦方向の回転角を求める場合には、垂直長さを、中心点間距離の両目間距離に対する相対的な長さとして算出する。以下、図１及び図３を用いて具体的に説明する。図１において、両目間距離（１４Ａと１６Ａとの距離）をａ１、中心点間距離（２２Ａと２４Ａとの距離）をａ２とする。この場合に、図１における垂直長さＡ２は、Ａ２＝ａ２／ａ１となる。このＡ２は、垂直長さの基準値となる。また、図３において、両目間距離（１４Ｃと１６Ｃとの距離）をｃ１、中心点間距離（２２Ｃと２４Ｃとの距離）をｃ２とする。この場合に、図３における垂直長さＣ２は、Ｃ２＝ｃ２／ｃ１となる。

基準値記憶部２１２は、ユーザの顔が正面を向いている場合に、長さ算出部２１０により算出した水平長さ及び垂直長さを、それぞれの基準値として記憶する機能を有する。基準値記憶部２１２は、画像処理装置１００のメモリ１０４やハードディスク１１０等の記憶装置により実現される機能である。

基準値記憶部２１２に記憶される基準値は、基本的には、初期設定としてユーザにカメラに対して正面を向いて一定時間静止した状態で取得した水平長さと、垂直長さとを記憶する。また、記憶される基準値は、撮像した撮像部２００により撮像されるユーザが切り替わった場合や、撮像される画像から顔領域が認識できなくなった場合にも更新することとしてもよい。基準値を更新する場合には、ユーザに対して、カメラに対して正面を向いて一定時間静止する指示をディスプレイ１３０に表示することとしてもよい。

顔向き決定部２１４は、長さ算出部２１０により算出した水平長さ及び垂直長さと、基準値記憶部２１２に記憶される水平長さ及び垂直長さのそれぞれの基準値とに基づいて、撮像画像の顔が向いている角度を決定する機能を有する。本発明では、顔の横方向の顔向き角と縦方向の顔向き角を以下のようにそれぞれ算出する。

まず、顔の横方向の顔向き角を求める処理について説明する。顔向き角は、正面を向いた状態からの回転角により示すことができる。そして、顔の横方向の回転角は、水平長さと、水平長さの基準値との比に基づいて求められる。ここでは、図６を参照して、Ｙ軸回りの回転角θの求め方について説明する。

図６には、横方向の回転角の説明図を示す。図６に示されるように、正面を向いた状態（図１）から、横を向いた状態（図２）にＹ軸回りに回転することは、模式的に、線分３００Ａが回転して線分３００Ｂの位置に移動したことと表すことができる。ここで、各線分のＸ軸へ射影した線分の長さは、水平長さに対応している。つまり、線分３００ＡのＸ軸方向の長さはＡ１であり、線分３００ＢのＸ軸方向の長さはＢ１である。そして各線分の法線の向きは、各状態におけるユーザの顔向きを表している。ここで、３００Ａの法線方向をＤａ、３００Ｂの法線方向をＤｂとする。ここで、ＤｂはＹ軸回りにＤａからθだけ回転した角度である。そして、θは、正面を向いた状態における水平長さの基準値Ａ１と、横を向いた状態における水平長さＢ１とに基づいて、θ＝ａｃｏｓ（Ｂ１／Ａ１）で表される。ここで、ａｃｏｓとはアークコサインのことである。

次に、顔の縦方向の顔向き角を求める処理について説明する。顔向き角は、正面を向いた状態からの回転角により示すことができる。そして、顔の横方向の回転角は、垂直長さと、垂直長さの基準値との比に基づいて求められる。具体的な角度の算出方法は、横向きの場合と同様である。

以下、本発明の実施の形態に係る画像処理装置１００の顔向き推定処理に関する動作の詳細について説明する。

図７には画像処理装置１００による顔向き推定処理のフロー図を示す。図７に示されるように、画像処理装置１００はカメラにより撮像された画像の入力を受け付ける（Ｓ１０１）。そして、画像処理装置１００は、入力された画像の中から、ユーザの顔が写し出された顔領域を特定する（Ｓ１０２）。画像処理装置１００は、特定した顔領域の中から目の位置と、口角の位置を検出する（Ｓ１０３、Ｓ１０４）。そして、検出した目と口角の位置に基づいて、両目間の距離（両目間距離）と、目と口角のそれぞれの中心点間の距離（中心点間距離）とを算出する（Ｓ１０５、Ｓ１０６）。画像処理装置１００は、算出した距離の正規化を行う（Ｓ１０７）。ここでの正規化とは、顔の横向き推定の場合には、算出した両目間距離を中心点間距離に対する相対的な長さに変換することをいう。また、顔の縦向き推定の場合には、算出した中心点間距離を両目間距離に対する相対的な長さに変換することをいう。そして、画像処理装置１００は、既に基準値が設定されているか否かを判断し（Ｓ１０８）、設定されている場合には（Ｓ１０８；Ｙ）、顔向きの推定処理を行う（Ｓ１０９）。一方で、基準値が設定されていない場合には（Ｓ１０８；Ｎ）、顔が正面を向いている状態での両目間距離と中心点間距離とを取得してこれらを各長さの基準値として記憶する（Ｓ１１０）。

以上説明した本発明の実施の形態に係る画像処理装置１００によれば、顔向きの推定処理に要する計算負荷を小さくし、かつ、簡易に連続的な顔向きの推定を行うことができる。

なお、本発明は上記実施形態に限定されるものではない。

上記実施形態では、特徴点を目と口角とに基づいて取得しているが、これに限られるものではなく、顔の他の部位であっても構わない。例えば、目と口角以外にも、目頭、目尻、眉、眉頭、眉尻、鼻、鼻腔、口、耳、顎などを特徴点とすることとしてもよい。

カメラで撮像されたユーザの撮像画像の一例を示す図である。 カメラで撮像されるユーザの撮像画像の一例を示す図である。 カメラで撮像されるユーザの撮像画像の一例を示す図である。 画像処理装置のハードウェア構成図である。 画像処理装置の機能ブロック図である。 横方向の回転角の説明図である。 画像処理装置による顔向き推定処理のフロー図である。

符号の説明

１０Ａ，Ｂ，Ｃ 撮像画像、１２Ａ，１２Ｂ，１２Ｃ 顔領域、１４Ａ，１４Ｂ，１４Ｃ 目、１６Ａ，１６Ｂ，１６Ｃ 目、１８Ａ，１８Ｂ，１８Ｃ 口角、２０Ａ，２０Ｂ，２０Ｃ 口角、２２Ａ，２２Ｂ，２２Ｃ 中心点、２４Ａ，２４Ｂ，２４Ｃ 中心点、１００ 画像処理装置、１０２ プロセッサ、１０４ メモリ、１０６ 入出力インターフェース、１０８ グラフィックインターフェース、１１０ ハードディスク、１１２ バス、１２０ カメラ、１３０ ディスプレイ、２００ 撮像部、２０２ 撮像画像入力部、２０４ 画像出力部、２０６ 顔領域特定部、２０８ 顔特徴点位置取得部、２１０ 長さ算出部、２１２ 基準値記憶部、２１４ 顔向き決定部、３００Ａ，３００Ｂ 線分。

Claims (8)

1. 撮像手段が接続される画像処理装置であって、
   前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段と、
   前記顔領域特定手段により特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する位置取得手段と、
   前記位置取得手段により取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する算出手段と、
   前記算出手段により算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定手段と、
   を含むことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記算出手段は、
   前記位置取得手段により取得した前記水平長さを、前記垂直長さに対する相対的な長さとして算出し、
   前記顔向き決定手段は、
   前記算出手段により算出した水平長さと、前記水平長さの基準値との比に基づいて、前記画像の顔の横向き角度を決定する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記算出手段は、
   前記位置取得手段により取得した前記垂直長さを、前記水平長さに対する相対的な長さとして算出し、
   前記顔向き決定手段は、
   前記算出手段により算出した垂直長さと、前記垂直長さの基準値との比に基づいて、前記画像の顔の縦向き角度を決定する
   ことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかに記載の画像処理装置であって、
   前記位置取得手段は、
   顔の中心線に対して対称にある二対の第１の特徴点の位置を取得し、前記第２の特徴点の位置を、前記二対の第１の特徴点の各中心点の位置として取得する
   ことを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかに記載の画像処理装置であって、
   前記水平長さ及び垂直長さの基準値は、前記ユーザの顔が正面を向いている場合に、前記算出手段により算出した水平長さ及び垂直長さとする
   ことを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置であって、
   前記第１の特徴点は、目、口角、目頭、目尻、眉、眉頭、眉尻、鼻、鼻腔、口、耳のうちいずれかの部位の一部を示す点である
   ことを特徴とする画像処理装置。
7. 撮像手段が接続される画像処理装置を制御する制御方法であって、
   前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定ステップと、
   前記顔領域特定ステップにより特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する位置取得ステップと、
   前記位置取得ステップにより取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する算出ステップと、
   前記算出ステップにより算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定ステップと、
   を含むことを特徴とする前記画像処理装置の制御方法。
8. 撮像手段が接続される画像処理装置をコンピュータとして機能させるためのプログラムであって、
   前記撮像手段によりユーザを撮像した画像の中から、当該ユーザの顔が写された顔領域を特定する顔領域特定手段、
   前記顔領域特定手段により特定された顔領域の中から、顔の水平方向にある少なくとも一対の第１の特徴点の位置と、顔の垂直方向にある少なくとも一対の第２の特徴点の位置とを取得する位置取得手段、
   前記位置取得手段により取得した前記第１の特徴点のうち所定の一対を結ぶ線分に基づく水平長さと、前記第２の特徴点のうち所定の一対を結ぶ線分に基づく垂直長さを算出する算出手段、及び、
   前記算出手段により算出した水平長さ及び垂直長さと、前記水平長さ及び前記垂直長さのそれぞれの基準値とに基づいて、前記画像の顔が向いている角度を決定する顔向き決定手段、
   として前記コンピュータを機能させるためのプログラム。
   

Images