JP2010134866A - 顔部位検出装置 - Google Patents

Abstract

【課題】顔が回転した場合でもｈａａｒ−ｌｉｋｅ特徴を用いて顔の各部位を高精度に検出できる顔部位検出装置を提供することを課題とする。
【解決手段】ｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出装置であって、撮像手段で撮像された顔を含む画像からｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出手段と、撮像手段で撮像された顔を含む画像から顔の傾き角度を検出する傾き角度検出手段と、傾き角度検出手段で検出された傾き角度に応じてｈａａｒ−ｌｉｋｅ特徴を補正する補正手段とを備え、顔部位検出手段は、補正手段で補正されたｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出することを特徴とする。
【選択図】図９

Description

本発明は、顔部位検出装置に関する。

車両のドライバを支援するために様々な装置が開発されており、例えば、脇見判定装置や衝突防止装置がある。脇見判定装置の場合、カメラによって撮像されたドライバの顔を含む撮像画像から顔を検出し、その顔画像から顔向きや視線方向を検出し、その顔向きや視線方向から脇見しているか否かを判定している。このような装置では、顔向きや視線を高精度に検出することが重要となる。顔向きの検出方法としては、例えば、顔の特定の部位（鼻など）を検出し、その部位の位置に基づいて顔の位置や角度を検出する。特許文献１に記載の装置では、入力画像からｈａａｒ−ｌｉｋｅ特徴を用いて対象画像（例えば、顔）を検出するものにおいて、ｈａａｒ−ｌｉｋｅ特徴の矩形領域の情報を矩形領域の各頂点の座標等を使ってパラメータ表現することにより、対象画像が回転や平行移動した場合でも高速に検出できる。このパラメータ表現としては、大きい矩形領域の内部に小さい矩形領域が存在するので、小さい矩形領域が大きい矩形領域の端から中心方向に何割ずれているかで表される。
特開２００７−１３３８４０号公報

車両のドライバの顔は、頻繁に、様々な方向や角度で回転している。そのため、上記のようなパラメータ表現のｈａａｒ−ｌｉｋｅ特徴を用いた場合、そのような顔の回転に対応することが困難である。その結果、顔の各部位を精度良く検出できず、顔の向きの検出精度も低下する。

そこで、本発明は、顔が回転した場合でもｈａａｒ−ｌｉｋｅ特徴を用いて顔の各部位を高精度に検出できる顔部位検出装置を提供することを課題とする。

本発明に係る顔部位検出装置は、ｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出装置であって、撮像手段で撮像された顔を含む画像からｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出手段と、撮像手段で撮像された顔を含む画像から顔の傾き角度を検出する傾き角度検出手段と、傾き角度検出手段で検出された傾き角度に応じてｈａａｒ−ｌｉｋｅ特徴を補正する補正手段とを備え、顔部位検出手段は、補正手段で補正されたｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出することを特徴とする。

この顔部位検出装置では、撮像手段により撮像し、顔を含む撮像画像を取得する。そして、顔部位検出装置では、傾き角度検出手段によりその撮像画像から顔の傾き角度（例えば、ロール角、ヨー角、ピッチ角）を検出する。さらに、顔部品検出装置では、補正手段により傾き角度に応じて顔の部位検出用のｈａａｒ−ｌｉｋｅ特徴を補正する。そして、顔部品検出装置では、顔部位検出手段により撮像画像から補正されたｈａｒｒ−ｌｉｋｅ特徴を用いて顔の各部位を検出する。このように、顔部品検出装置では、顔の傾き角度に応じてｈａａｒ−ｌｉｋｅ特徴を補正することにより、顔が回転した場合でもｈａａｒ−ｌｉｋｅ特徴を用いて顔の各部位を高精度に検出できる。

本発明の上記顔部位検出装置では、傾き角度検出手段は、顔部位検出手段で検出された複数の部位の位置と顔モデルに基づいて顔の傾き角度を検出すると好適である。このように、顔部位検出装置では、検出された複数の部位の位置と顔モデルを利用することにより、顔の傾き角度を簡単かつ高精度に検出することができる。

本発明に係る顔部位検出装置は、顔画像からｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出し、顔の傾きからｈａａｒ−ｌｉｋｅ特徴の補正量を求め、当該補正量でｈａａｒ−ｌｉｋｅ特徴を補正し、当該補正したｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を再検出することを特徴とする。このように、顔部位検出装置では、顔の傾きから求めた補正量でｈａａｒ−ｌｉｋｅ特徴を補正することにより、顔の部位を高精度に検出できる。

本発明に係る顔部位検出装置は、顔画像の特徴点の位置と顔画像の特徴点の基準位置との比較から求めた顔の傾きを参照して顔画像の特徴点を探索することを特徴とする。

本発明は、顔の傾き角度に応じてｈａａｒ−ｌｉｋｅ特徴を補正することにより、顔が回転した場合でもｈａａｒ−ｌｉｋｅ特徴を用いて顔の各部位を高精度に検出できる。

以下、図面を参照して、本発明に係る顔部位検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る顔部位検出装置を、車両に搭載され、ドライバの顔の向きを検出する顔向き検出装置に適用する。本実施の形態に係る顔向き検出装置は、ｈａａｒ−ｌｉｋｅ特徴を用いて顔の複数の特徴点（部位）を検出し、複数の特徴点に基づいて顔の向きを検出する。そして、本実施の形態に係る顔向き検出装置は、ドライバの顔の向き情報を必要とする運転支援装置（例えば、脇見判定装置、衝突防止装置）に顔向き情報を提供する。

なお、ｈａａｒ−ｌｉｋｅ特徴は、画像における特徴量として照明条件の変動やノイズの影響を受け易い各画素の輝度値をそのまま用いるのではなく、隣接する複数の矩形領域の全画素の輝度の和の差を用いるものであり、その輝度和の差に重みを乗算した値をｈａａｒ−ｌｉｋｅ特徴量とする。画像内のある領域のｈａａｒ−ｌｉｋｅ特徴量が閾値以上の場合、その領域がｈａａｒ−ｌｉｋｅ特徴のパターンを持つ領域であることを示す。ｈａａｒ−ｌｉｋｅ特徴は、複数の矩形領域の組み合わせからなり、矩形領域としては検出対象に応じて様々な形状や大きさが設定される。図４には、ｈａａｒ−ｌｉｋｅ特徴の一例を示しており、様々な大きさと形状の黒い矩形領域（輝度の低い領域）と白い矩形領域（輝度の低い領域）の組み合わせからなり、各ｈａａｒ−ｌｉｋｅ特徴に対して重みと閾値がそれぞれ設定される。なお、本実施の形態に係る顔向き検出装置に備えられるｈａａｒ−ｌｉｋｅ特徴は、人の顔がカメラに対して真正面を向いている場合（少なくともロール角が０°の場合）に撮像した撮像画像から生成されたものである。

図１を参照して、本実施の形態に係る顔向き検出装置１について説明する。図１は、本実施の形態に係る顔向き検出装置の構成図である。

顔向き検出装置１は、撮像画像から顔を検出し、顔画像から顔の各部位検出用のｈａａｒ−ｌｉｋｅ特徴にマッチングする位置（特徴点）を探索する。そして、顔向き検出装置１は、検出した複数の特徴点の位置関係と３次元顔モデルに基づいて顔の傾き角度（ロール角、ヨー角、ピッチ角）を検出し、この顔の傾き角度から顔の向きを検出する。特に、顔向き検出装置１では、顔のロール角に応じてｈａａｒ−ｌｉｋｅ特徴を補正し、この補正したｈａａｒ−ｌｉｋｅ特徴を用いて特徴点を探索する。そのために、顔向き検出装置１は、カメラ２、近赤外線投光器３及びＥＣＵ[Electronic Control Unit]４を備えている。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ４における各処理が特許請求の範囲に記載する顔部位検出手段、傾き角度検出手段及び補正手段に相当する。

ちなみに、顔のロール角は、顔の奥行き方向の軸（図６のＺ軸）を中心とした回転角度（図６に示すＸＹ平面における回転角度）である。顔のヨー角は、顔の上下方向の軸（図６のＹ軸）を中心とした回転角度（図６に示すＸＺ平面における回転角度）である。顔のピッチ角は、顔の左右方向の軸（図６のＸ軸）を中心とした回転角度（図６のＹＺ平面における回転角度）である。図６の各軸は、顔の重心位置を原点とし、Ｘ軸が顔の左右方向の軸であり、Ｙ軸が顔の上下方向の軸であり、Ｚ軸が顔の奥行き方向の軸である。

カメラ２は、ドライバの顔周辺を撮像するためのカメラであり、可視光から近赤外光までの領域を検知可能なカメラである。カメラ２は、一般的なカメラ（例えば、モノクロ、３０ｆｐｓ、ＮＴＳＣ方式）でよい。カメラ２は、ドライバの前方（ステアリングのコラム部分など）に設けられ、ドライバの顔周辺を撮像できる向きで配置される。カメラ２では、ドライバの顔周辺を撮像する毎に、各フレームの撮像画像を画像信号としてＥＣＵ４に送信する。なお、カメラを近赤外光だけを検知可能な近赤外線カメラとしてもよい。

近赤外線投光器３は、少なくも車室内が暗くなった場合（例えば、夜間）にドライバの顔周辺に近赤外線を当てるための投光器である。近赤外線投光器３は、ドライバの前方（ステアリングのコラム部分など）に設けられ、ドライバの顔周辺に近赤外線を当てる向きで配置される。近赤外線投光器３は、少なくも車室内が暗くなった場合にＥＣＵ４によってＯＮされる。なお、カメラが近赤外光だけを検知可能な近赤外線カメラの場合、近赤外線投光器は常時ＯＮされる。

ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、顔向き検出装置１を統括制御する電子制御ユニットである。ＥＣＵ４では、一定時間毎に、カメラ２から画像信号を受信し、画像信号に基づいてドライバの顔の向きを推定する。

ＥＣＵ４では、カメラ２で撮像した画像（フレーム）を入力する毎に、その撮像画像からインテグラルイメージ（積分画像）を作成する。インテグラルイメージは、画像の左上端から右下端までの対角線上の画素が順次選択され、その選択された画素を右下頂点としかつ画像の左上端の画素を左上頂点とする矩形領域内の全画素の輝度の和を選択された画素の値としたものである。例えば、図２に示す例の場合、撮像画像ＰＩの画素Ｐ１が選択された場合には画素Ｐ１を右下頂点とする領域Ａ１内の全画素の輝度の和をインテグラルイメージＩＩの画素Ｐ１の値とし、撮像画像ＰＩの画素Ｐ２が選択された場合には画素Ｐ２を右下頂点とする領域Ａ２内の全画素の輝度の和をインテグラルイメージＩＩの画素Ｐ２の値とする。なお、インテグラルイメージは、顔画像についてのみ作成してもよい。

このインテグラルイメージを用いることにより、画像の任意の矩形領域内の全画素の和を、インテグラルイメージにおいて対応する矩形領域の右下頂点の値−右上頂点の値−左下頂点の値＋左上頂点の値で算出することができる。例えば、図３に示す例の場合、撮像画像ＰＩの画素Ｐ３，Ｐ４，Ｐ５，Ｐ６を頂点とする領域Ａ３の輝度の和は、インテグラルイメージＩＩの画素Ｐ６の値−画素Ｐ５の値−画素Ｐ４の値＋画素Ｐ３の値で算出することができる。このように、インテグラルイメージを求めておくことにより、インテグラルイメージの４点の値を用いて、任意の矩形領域の全画素の輝度の和を簡単に求めることができる。

ＥＣＵ４では、撮像画像から顔を検出し、撮像画像から顔を含む矩形領域（顔画像）を抽出する。この顔の検出方法としては、従来の方法を適用し、例えば、パターンマッチングを用いる。なお、顔を検出せずに（顔画像を抽出せずに）、撮像画像で以下の処理を行ってもよい。

顔の各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、ＥＣＵ４では、ｈａａｒ−ｌｉｋｅ特徴を用いて、顔画像からそのｈａａｒ−ｌｉｋｅ特徴に対応する矩形領域を順次切り出す。ここでは、画像における上下方向及び左右方向に所定数の画素づつずらしながら矩形領域を切り出す。そして、ＥＣＵ４では、切り出した矩形領域毎に、インテグラルイメージを利用し、重みを加味してｈａａｒ−ｌｉｋｅ特徴量を算出する。なお、ここで用いるｈａａｒ−ｌｉｋｅ特徴は、後述するように顔がロール方向に回転している場合には補正が施されたｈａａｒ−ｌｉｋｅ特徴であり、起動時又はロール方向に回転していない場合には顔向き検出装置１に予め格納されているロール角が０°に対応するｈａａｒ−ｌｉｋｅ特徴である。

ＥＣＵ４では、切り出した矩形領域毎に、ｈａａｒ−ｌｉｋｅ特徴量が閾値以上か否かを判定する。ある矩形領域のｈａａｒ−ｌｉｋｅ特徴量が閾値以上と判定した場合、ＥＣＵ４では、その矩形領域の中心位置を特徴点とする。

図５には、カメラ２で撮像したドライバの顔周辺の撮像画像の一例を示している。図５に示すように、特徴点としては、右目の目尻の位置ｃ１と目頭の位置ｃ２、左目の目尻の位置ｃ３と目頭の位置ｃ４、鼻（特に、鼻腔の中心位置）の位置ｃ５、口の右端の位置ｃ６と左端の位置ｃ７の７点とする。これらの顔の左右方向と上下方向に分布された７つの特徴点の位置関係の変化により、顔の様々な方向の回転とその回転角度を検出することができる。

ＥＣＵ４では、検出された７つの特徴点の位置と３次元顔モデルに基づいて、顔の傾き角度（ロール角、ヨー角、ピッチ角）を検出する。ここでは、図５及び図６に示すように、３次元顔モデルＭのロール角、ヨー角、ピッチ角を前回のロール角、ヨー角、ピッチ角から徐々に変化させ、変化させる毎に３次元顔モデルＭでの７つの特徴点ｍ１、ｍ２，ｍ３，ｍ４，ｍ５，ｍ６，ｍ７の位置関係と画像から検出された７つの特徴点ｃ１，ｃ２，ｃ３，ｃ５，ｃ６，ｃ７との位置関係を比較し、その位置関係が一致するようなロール角、ヨー角、ピッチ角を探索する。

なお、３次元顔モデルは、正面を向いている顔の３次元形状を示す多数の点からなるモデルであり、各点が３次元座標を有している。３次元顔モデルの生成方法としては、例えば、レンジスキャナやステレオカメラなどを用いて、ある人物の正面を向いているときの顔の３次元形状（三次元形状を示す点の集まり）を取得する。この３次元顔モデルを生成する対象の人物の顔は顔向き検出装置１で顔の向きを推定する対象の人物の顔でなくてもよく、任意の人物でよい。なお、ドライバの個々の顔から３次元顔モデルを生成してもよい。

ＥＣＵ４では、検出した顔の傾き角度（ロール角、ヨー角、ピッチ角）に基づいて、顔の向きを算出する。

顔のロール角が変わると、顔の各部位もロール方向に回転する。図７と図８には同じ人の鼻付近の撮像画像の一例を示しており、図７が顔のロール角が０°の場合であり、図８が顔のロール角が時計回りにθ°回転した場合である。図７と図８から判るように、ロール角が０°のときには同じ高さ位置であった左右の鼻腔は、ロール回転によって高さ位置が変わる。しかし、顔向き検出装置１に格納されている顔の各部位検出用のｈａａｒ−ｌｉｋｅ特徴は、ロール角が０°の顔の撮像画像に基づいて生成されたものであり、ロール角が０°に対応するものである。図７には、顔向き検出装置１に格納されているロール角が０°に対応する鼻検出用（特に、左右の鼻腔検出用）のｈａａｒ−ｌｉｋｅ特徴ｈ（左右の黒い矩形領域の輝度が低く、中央の白い矩形領域の輝度が高いという輝度パターンを有する領域を検出するためのもの）を示している。このｈａａｒ−ｌｉｋｅ特徴ｈを用いた場合、図７に示す画像からは鼻腔部分を精度良く検出できるが、図８に示す画像からは鼻腔部分を検出できない虞がある。

そこで、顔のロール角を検出すると、ＥＣＵ４では、顔の各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、検出したロール角に応じて、ｈａａｒ−ｌｉｋｅ特徴の矩形領域のずらし量を算出する。ここでは、ロール回転が時計回りか反時計回りかによって、ｈａａｒ−ｌｉｋｅ特徴の複数の矩形領域のうちどの矩形領域を移動させるかを決定するとともに、移動させる矩形領域を上方向に移動させるか下方向に移動させるかをそれぞれ決定する。さらに、移動させる矩形領域の上方向又は下方向へのずらし量（画素数）を、ロール角に応じてそれぞれ算出する。ずらし量は、ロール角が大きくなるほど大きな量となる。なお、起動時及びロール角が０°の場合、ｈａａｒ−ｌｉｋｅ特徴の全ての矩形領域のずらし量は０である。

例えば、図７と図８に示すように、顔の左右方向の中心に位置する鼻腔検出用のｈａａｒ−ｌｉｋｅ特徴ｈの場合、左右の黒い矩形領域だけを移動させ、左右の黒い矩形領域のうち一方の黒い矩形領域を上方向に移動させるずらし量をロール角θに応じて算出するとともに他方の黒い矩形領域を下方向に移動させるずらし量をロール角θに応じて算出する。また、目尻検出用などの顔の左右方向の中心からオフセットした箇所に位置するｈａａｒ−ｌｉｋｅ特徴の場合、全ての矩形領域を同方向に移動させ、各矩形領域について異なるずらし量をそれぞれ算出する。

ｈａａｒ−ｌｉｋｅ特徴量を算出する前に、ＥＣＵ４では、顔の各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、ｈａａｒ−ｌｉｋｅ特徴の移動対象の矩形領域を、前回算出されているずらし量分上方向又は下方向に移動させ、補正したｈａａｒ−ｌｉｋｅ特徴を作成する。例えば、図７と図８に示すように、鼻腔検出用のｈａａｒ−ｌｉｋｅ特徴ｈの場合、左右の黒い矩形領域のうち一方の黒い矩形領域を上方向に移動させかつ他方の黒い矩形領域を下方向に移動させたｈａａｒ−ｌｉｋｅ特徴ｈ’を作成する。なお、起動時及びロール角が０°の場合、ｈａａｒ−ｌｉｋｅ特徴の全ての矩形領域のずらし量は０であるので、ｈａａｒ−ｌｉｋｅ特徴の補正は行わない。

なお、顔のロール角が変化すると各部位検出用のｈａａｒ−ｌｉｋｅ特徴による特徴点の検出に最も大きな影響を与えるので、顔のロール角に対してのみｈａａｒ−ｌｉｋｅ特徴を補正した。

図１を参照して、顔向き検出装置１における動作について説明する。特に、ＥＣＵ４における処理については図９のフローチャートに沿って説明する。図９は、図１のＥＣＵでの処理の流れを示すフローチャートである。

近赤外線投光器３は、車室内が暗い場合、ドライバの顔周辺に対して近赤外線を照射する。カメラ２では、一定時間毎に、ドライバの顔周辺を撮像し、各フレームの画像信号をＥＣＵ４に送信する。ＥＣＵ４では、一定時間毎に、画像信号を受信し、各フレームの撮像画像を入力する（Ｓ１）。なお、顔向き検出装置１に格納されているｈａａｒ−ｌｉｋｅ特徴はロール角が０°に対応するものであるので、そのロール角が０°のｈａａｒ−ｌｉｋｅ特徴によって特徴点を検出できるように、初回に入力される撮像画像はドライバの顔のロール角が０°程度であることが望まれる。

撮像画像が入力される毎に、ＥＣＵ４では、撮像画像からインテグラルイメージを作成する（Ｓ２）。また、ＥＣＵ４では、撮像画像から顔を検出し、撮像画像から顔画像を抽出する（Ｓ３）。

ＥＣＵ４では、各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、ｈａａｒ−ｌｉｋｅ特徴の矩形領域をＳ８の処理で前回求めたずらし量分上下方向にずらし、ｈａａｒ−ｌｉｋｅ特徴を補正する（Ｓ４）。但し、初回は、ずらし量がＳ８の処理で求められておらず、ずらし量（初期値）が０であり、補正を行わない。

ＥＣＵ４では、各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、顔画像からｈａａｒ−ｌｉｋｅ特徴に対応する矩形領域を順次切り出し、補正したｈａａｒ−ｌｉｋｅ特徴又は補正なしのｈａａｒ−ｌｉｋｅ特徴に基づいて、切り出した矩形領域についてインテグラルイメージを使ってｈａａｒ−ｌｉｋｅ特徴量を順次算出する（Ｓ５）。そして、ＥＣＵ４では、各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、各矩形領域についてのｈａａｒ−ｌｉｋｅ特徴量が閾値以上か否かを判定し、その判定結果から各部位の位置（特徴点）を検出する（Ｓ６）。

ＥＣＵ４では、検出した複数の特徴点の位置と３次元顔モデルに基づいて顔の傾き角度（ロール角、ヨー角、ピッチ角）を検出する（Ｓ７）。そして、ＥＣＵ４では、各部位検出用のｈａａｒ−ｌｉｋｅ特徴毎に、ロール角に応じてｈａａｒ−ｌｉｋｅ特徴の矩形領域のずらし量を算出する（Ｓ８）。また、ＥＣＵ４では、顔の傾き角度（ロール角、ヨー角、ピッチ角）に基づいて顔向きを検出する（Ｓ９）。そして、ＥＣＵ４では、検出した顔向き情報を運転支援装置に提供する。

顔向き検出装置１によれば、顔のロール角に応じてｈａａｒ−ｌｉｋｅ特徴を補正することにより、顔が回転した場合（特に、ロール回転した場合）でもｈａａｒ−ｌｉｋｅ特徴を用いて顔の各部位（各特徴点）を高精度に検出できる。この高精度に検出された顔の複数の特徴点を用いて、顔の向きを高精度に検出することができる。

また、顔向き検出装置１によれば、ｈａａｒ−ｌｉｋｅ特徴量を算出するためにインテグラルイメージを予め作成しておくことにより、ｈａａｒ−ｌｉｋｅ特徴量を算出するための処理負荷を軽減でき、画像内での顔の大きさが大きい場合でも小さい場合と比べてフレーム毎の処理負荷に差がない（４点の画素の値で矩形領域の輝度和を算出できる）。

また、顔向き検出装置１によれば、画像から検出した顔の複数の特徴点と３次元顔モデルに基づいて顔の傾き角度を求めることにより、顔の傾き角度を簡単かつ高精度に検出することができる。

また、顔向き検出装置１によれば、ロール角に応じてｈａａｒ−ｌｉｋｅ特徴の矩形領域を上下方向にずらしてｈａａｒ−ｌｉｋｅ特徴を補正するだけなので、顔の回転に対応するための処理負荷を抑制できる。また、顔向き検出装置１によれば、顔の回転に対応するためにロール角が０°に対応するｈａａｒ−ｌｉｋｅ特徴だけがあればよいので、ロール回転した場合に対応したｈａａｒ−ｌｉｋｅ特徴を予め用意する必要はなく、メモリ容量を抑制できる。また、顔向き検出装置１によれば、複数のロール角に対応するｈａａｒ−ｌｉｋｅ特徴を用いて検出を行わないので、不要な誤検出が発生しにくい。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両のドライバの顔向きを検出する顔向き検出装置に適用したが、顔の各部位に基づいて視線などを検出する装置に適用してもよいし、顔向きなどを利用する運転支援装置（例えば、脇見判定装置、衝突防止装置）に適用してもよいし、鼻などの顔の部位を検出する顔部位検出装置に適用してもよい。また、車両のドライバ以外でも、他の人（例えば、電車の運転手）に対しても適用してもよい。

また、本実施の形態ではｈａａｒ−ｌｉｋｅ特徴を補正する際にロール角に応じてｈａａｒ−ｌｉｋｅ特徴の矩形領域を上下方向にずらす構成としたが、ロール角に応じてｈａａｒ−ｌｉｋｅ特徴の全矩形領域を回転させてもよい。

また、本実施の形態ではロール角に応じてｈａａｒ−ｌｉｋｅ特徴を補正する構成としたが、ヨー角に応じてｈａａｒ−ｌｉｋｅ特徴の矩形領域の横幅を変えることによりヨー角に応じて補正してもよいし（ヨー角が大きくなるほど横幅を短くする）、ピッチ角に応じてｈａａｒ−ｌｉｋｅ特徴の矩形領域の縦幅を変えることによりピッチ角に応じて補正してもよい（ピッチ角が大きくなるほど縦幅を短くする）。このように、ヨー角やピッチ角に応じてｈａａｒ−ｌｉｋｅ特徴を補正することにより、顔が様々な方向に回転した場合でもより高精度に顔の各部位を検出できる。

また、本実施の形態では顔の傾き角度としてロール角、ヨー角、ピッチ角を検出する構成としたが、これらの３つの角度のうちの２つまたは１つの角度を検出する構成としてもよいし、あるいは、顔の傾き角度を示す他の角度を検出してもよい。

本実施の形態に係る顔向き検出装置の構成図である。 インテグラルイメージの作成方法の説明図である。 インテグラルイメージを用いた輝度和の算出方法の説明図である。 ｈａａｒ−ｌｉｋｅ特徴の一例である。 ドライバの顔周辺の撮像画像の一例である。 ３次元顔モデルである。 ｈａａｒ−ｌｉｋｅ特徴を示した鼻周辺の画像の一例である。 図７の鼻周辺の画像をロール回転させた画像である。 図１のＥＣＵでの処理の流れを示すフローチャートである。

符号の説明

１…顔向き検出装置、２…カメラ、３…近赤外線投光器、４…ＥＣＵ

Claims (4)

1. ｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出装置であって、
   撮像手段で撮像された顔を含む画像からｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出手段と、
   撮像手段で撮像された顔を含む画像から顔の傾き角度を検出する傾き角度検出手段と、
   前記傾き角度検出手段で検出された傾き角度に応じてｈａａｒ−ｌｉｋｅ特徴を補正する補正手段と
   を備え、
   前記顔部位検出手段は、前記補正手段で補正されたｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出することを特徴とする顔部位検出装置。
2. 前記傾き角度検出手段は、前記顔部位検出手段で検出された複数の部位の位置と顔モデルに基づいて顔の傾き角度を検出することを特徴とする請求項１に記載する顔部位検出装置。
3. 顔画像からｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出し、顔の傾きからｈａａｒ−ｌｉｋｅ特徴の補正量を求め、当該補正量でｈａａｒ−ｌｉｋｅ特徴を補正し、当該補正したｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を再検出することを特徴とする顔部位検出装置。
4. 顔画像の特徴点の位置と顔画像の特徴点の基準位置との比較から求めた顔の傾きを参照して顔画像の特徴点を探索することを特徴とする顔部位検出装置。