JP2010134867A - 顔部位検出装置 - Google Patents

Abstract

【課題】顔に対して当たる光の方向に関係なく、画像から顔の部位を高精度に検出できる顔部位検出装置を提供することを課題とする。
【解決手段】ｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出装置であって、撮像手段で撮像された画像から顔を検出する顔検出手段と、顔検出手段で検出された顔の画像を複数に分け、当該分けた各領域における輝度情報を算出する輝度算出手段と、輝度算出手段でそれぞれ算出された各領域の輝度情報を比較し、輝度の低い領域側のｈａａｒ−ｌｉｋｅ特徴の重みを大きくする又はｈａａｒ−ｌｉｋｅ特徴の閾値を小さくする補正手段とを備えることを特徴とする。
【選択図】図１

Description

本発明は、顔部位検出装置に関する。

車両のドライバを支援するために様々な装置が開発されており、例えば、脇見判定装置や衝突防止装置がある。脇見判定装置の場合、カメラによって撮像されたドライバの顔を含む撮像画像から顔を検出し、その顔画像から顔向きや視線方向を検出し、その顔向きや視線方向から脇見しているか否かを判定している。このような装置では、顔向きや視線を高精度に検出することが重要となる。顔向きの検出方法としては、例えば、顔の特定の部位（鼻など）を検出し、その部位の位置に基づいて顔の位置や角度を検出する。特許文献１に記載の装置では、顔画像から検出した顔の特徴点の位置（左右の鼻腔など）を用いて顔の向きを推定する。特に、この装置では、照明光源の方向や光源の強度の違いによって顔の明るさが異なるため、同一方向を向いた顔であっても輝度値が異なるので、顔画像から照明変動の影響を除去した画像（すなわち、顔における影の影響を排除した画像）を用いて顔の向きを推定する。
特開２００４−９４４９１号公報 特開２００３−２４２４９１号公報 特開２００２−２４８１１号公報 特開２００７−１０９２２９号公報

しかし、屋外環境で移動する車両のドライバの場合、様々な方向から顔に光が当たる。そのため、光の当たる方向によって、鼻などによって影が変化する。その結果、鼻などの顔の部位を精度良く検出できず、顔の向きの推定精度も低下する。

そこで、本発明は、顔に対して当たる光の方向に関係なく、画像から顔の部位を高精度に検出できる顔部位検出装置を提供することを課題とする。

本発明に係る顔部位検出装置は、ｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出装置であって、撮像手段で撮像された画像から顔を検出する顔検出手段と、顔検出手段で検出された顔の画像を複数に分け、当該分けた各領域における輝度情報を算出する輝度算出手段と、輝度算出手段でそれぞれ算出された各領域の輝度情報を比較し、輝度の低い領域側のｈａａｒ−ｌｉｋｅ特徴の重みを大きくする又はｈａａｒ−ｌｉｋｅ特徴の閾値を小さくする補正手段とを備えることを特徴とする。

この顔部位検出装置では、撮像手段により撮像し、顔検出手段によりその撮像画像から顔を検出する。そして、顔部位検出装置では、輝度算出手段により顔画像を複数に分けた各領域の輝度情報（例えば、領域内の全画素の輝度の平均値、領域内の全画像の輝度の和）を算出する。顔画像において、顔の一方側に光が当たっている領域では輝度が高くなり、その他方側の光が当たっていない領域（特に、鼻などで影になっている箇所）では輝度が低くなる。そのため、他方側の領域において算出されるｈａａｒ−ｌｉｋｅ特徴量は、相対的に、一方側の領域において算出されるｈａａｒ−ｌｉｋｅ特徴量よりも小さくなる。そこで、顔部位検出装置では、補正手段により各領域の輝度情報を比較し、輝度の低い領域側においてｈａａｒ−ｌｉｋｅ特徴量を算出する際に用いる重みを大きくするかあるいはｈａａｒ−ｌｉｋｅ特徴量を判定するときの閾値を小さくする。そして、顔部位検出装置では、そのｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する。ここでのｈａａｒ−ｌｉｋｅ特徴は、顔の部位を検出するためのものである。このように、顔部位検出装置では、顔画像における各領域の輝度情報に応じてｈａａｒ−ｌｉｋｅ特徴の重み又は閾値を変えて顔の部位を検出することにより、顔に対して当たる光の方向に応じた影の影響を排除でき、顔に対して当たる光の方向に関係なく画像から顔の部位を高精度に検出できる。この高精度に検出された顔の部位を用いて、顔向きや視線なども高精度に推定することができる。

本発明の上記顔部位検出装置では、輝度算出手段は、顔の画像を左右方向の中心線を基準として左右の領域に分けると好適である。

顔に対して様々な方向から光が当たる場合、影の影響が最も表れるのは鼻に対する左右方向からの光による影である。そこで、顔部位検出装置では、輝度算出手段により顔画像を左右方向の中心線を基準として左右の領域に分け、左側領域と右側領域の輝度情報をそれぞれ算出する。そして、顔部位検出装置では、補正手段により左側領域と右側領域の輝度情報を比較し、左側領域と右側領域のうち輝度の低い領域側のｈａａｒ−ｌｉｋｅ特徴の重みを大きくするかあるいはｈａａｒ−ｌｉｋｅ特徴の閾値を小さくする。このように、顔部位検出装置では、顔画像における左側領域と右側領域の輝度情報に応じてｈａａｒ−ｌｉｋｅ特徴の重み又は閾値を変えて顔の部位を検出することにより、顔において最も影の影響を受ける鼻付近に生じる影の影響を排除でき、画像から顔の部位を高精度に検出できる。

本発明の上記顔部位検出装置では、補正手段で重みを大きくした一方側の領域で当該大きくした重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出するとともに他方側の領域で重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出し、左右の各領域で算出したｈａａｒ−ｌｉｋｅ特徴量に基づいて鼻部位を検出する構成としてもよい。この顔部位検出装置では、顔の画像における左側領域と右側領域のうち輝度の低い領域側のｈａａｒ−ｌｉｋｅ特徴の重みを大きくして鼻部位を検出することにより、画像から鼻部位を高精度に検出できる。

本発明の上記顔部位検出装置では、補正手段で閾値を小さくした一方側の領域で当該小さくした閾値を用いてｈａａｒ−ｌｉｋｅ特徴量を判定するとともに他方側の領域で閾値を用いてｈａａｒ−ｌｉｋｅ特徴量を判定し、左右の各領域での判定結果に基づいて鼻部位を検出する構成としてもよい。この顔部位検出装置では、顔の画像における左側領域と右側領域のうち輝度の低い領域側のｈａａｒ−ｌｉｋｅ特徴の閾値を小さくして鼻部位を検出することにより、画像から鼻部位を高精度に検出できる。

本発明に係る顔部位検出装置は、顔画像から取得される輝度分布に応じてｈａａｒ−ｌｉｋｅ特徴を補正し、当該補正したｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出することを特徴とする。このように、顔部位検出装置では、顔画像における輝度分布に応じてｈａａｒ−ｌｉｋｅ特徴を補正することにより、顔の部位を高精度に検出できる。

本発明は、顔画像における各領域の輝度情報に応じてｈａａｒ−ｌｉｋｅ特徴の重み又は閾値を変えて顔の部位を検出することにより、顔に対して当たる光の方向に応じた影の影響を排除でき、顔に対して当たる光の方向に関係なく画像から顔の部位を高精度に検出できる。

以下、図面を参照して、本発明に係る顔部位検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る顔部位検出装置を、車両に搭載され、ドライバの顔の向きを検出する顔向き検出装置に適用する。本実施の形態に係る顔向き検出装置は、ｈａａｒ−ｌｉｋｅ特徴を用いて鼻（特に、鼻腔）を検出し、鼻の位置に基づいて顔の向きを検出する。そして、本実施の形態に係る顔向き検出装置は、ドライバの顔の向き情報を必要とする運転支援装置（例えば、脇見判定装置、衝突防止装置）に顔向き情報を提供する。

なお、ｈａａｒ−ｌｉｋｅ特徴は、画像における特徴量として照明条件の変動やノイズの影響を受け易い各画素の輝度値をそのまま用いるのではなく、隣接する複数の矩形領域の全画素の輝度の和の差を用いるものであり、その輝度和の差に重みを乗算した値をｈａａｒ−ｌｉｋｅ特徴量とする。画像内のある領域のｈａａｒ−ｌｉｋｅ特徴量が閾値以上の場合、その領域がｈａａｒ−ｌｉｋｅ特徴のパターンを持つ領域であることを示す。ｈａａｒ−ｌｉｋｅ特徴は、複数の矩形領域の組み合わせからなり、矩形領域としては検出対象に応じて様々な形状や大きさが設定される。図４には、ｈａａｒ−ｌｉｋｅ特徴の一例を示しており、様々な大きさと形状の黒い矩形領域（輝度の低い領域）と白い矩形領域（輝度の低い領域）の組み合わせからなり、各ｈａａｒ−ｌｉｋｅ特徴に対して重みと閾値がそれぞれ設定される。なお、本実施の形態に係る顔向き検出装置に備えられるｈａａｒ−ｌｉｋｅ特徴は、人の顔がカメラに対して真正面を向いており、顔に一様に光が当たっている場合に撮像した撮像画像から生成されたものである。

図１を参照して、本実施の形態に係る顔向き検出装置１について説明する。図１は、本実施の形態に係る顔向き検出装置の構成図である。

顔向き検出装置１は、撮像画像から顔を検出し、顔画像から鼻腔検出用のｈａａｒ−ｌｉｋｅ特徴にマッチングする領域を探索する。特に、顔向き検出装置１は、ドライバに対して当たる光の方向に関係なく鼻腔を高精度に検出するために、顔画像の左右の各領域の輝度差に応じてｈａａｒ-ｌｉｋｅ特徴の重みを変える。顔向き検出装置１は、カメラ２、近赤外線投光器３及びＥＣＵ[Electronic Control Unit]４を備えている。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ４における各処理が特許請求の範囲に記載する顔検出手段、輝度算出手段及び補正手段に相当する。

カメラ２は、ドライバの顔周辺を撮像するためのカメラであり、可視光から近赤外光までの領域を検知可能なカメラである。カメラ２は、一般的なカメラ（例えば、モノクロ、３０ｆｐｓ、ＮＴＳＣ方式）でよい。カメラ２は、ドライバの前方（ステアリングのコラム部分など）に設けられ、ドライバの顔周辺を撮像できる向きで配置される。カメラ２では、ドライバの顔周辺を撮像する毎に、各フレームの撮像画像を画像信号としてＥＣＵ４に送信する。なお、カメラを近赤外光だけを検知可能な近赤外線カメラとしてもよい。

近赤外線投光器３は、少なくも車室内が暗くなった場合（例えば、夜間）にドライバの顔周辺に近赤外線を当てるための投光器である。近赤外線投光器３は、ドライバの前方（ステアリングのコラム部分など）に設けられ、ドライバの顔周辺に近赤外線を当てる向きで配置される。近赤外線投光器３は、少なくも車室内が暗くなった場合にＥＣＵ４によってＯＮされる。なお、カメラが近赤外光だけを検知可能な近赤外線カメラの場合、近赤外線投光器は常時ＯＮされる。

ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、顔向き検出装置１を統括制御する電子制御ユニットである。ＥＣＵ４では、一定時間毎に、カメラ２から画像信号を受信し、画像信号に基づいてドライバの顔の向きを推定する。

ＥＣＵ４では、カメラ２で撮像した画像（フレーム）を入力する毎に、その撮像画像からインテグラルイメージ（積分画像）を作成する。インテグラルイメージは、画像の左上端から右下端までの対角線上の画素が順次選択され、その選択された画素を右下頂点としかつ画像の左上端の画素を左上頂点とする矩形領域内の全画素の輝度の和を選択された画素の値としたものである。例えば、図２に示す例の場合、撮像画像ＰＩの画素Ｐ１が選択された場合には画素Ｐ１を右下頂点とする領域Ａ１内の全画素の輝度の和をインテグラルイメージＩＩの画素Ｐ１の値とし、撮像画像ＰＩの画素Ｐ２が選択された場合には画素Ｐ２を右下頂点とする領域Ａ２内の全画素の輝度の和をインテグラルイメージＩＩの画素Ｐ２の値とする。なお、インテグラルイメージは、顔画像についてのみ作成してもよい。

このインテグラルイメージを用いることにより、画像の任意の矩形領域内の全画素の和を、インテグラルイメージにおいて対応する矩形領域の右下頂点の値−右上頂点の値−左下頂点の値＋左上頂点の値で算出することができる。例えば、図３に示す例の場合、撮像画像ＰＩの画素Ｐ３，Ｐ４，Ｐ５，Ｐ６を頂点とする領域Ａ３の輝度の和は、インテグラルイメージＩＩの画素Ｐ６の値−画素Ｐ５の値−画素Ｐ４の値＋画素Ｐ３の値で算出することができる。このように、インテグラルイメージを求めておくことにより、インテグラルイメージの４点の値を用いて、任意の矩形領域の全画素の輝度の和を簡単に求めることができる。

ＥＣＵ４では、撮像画像から顔を検出し、撮像画像から顔を含む矩形領域（顔画像）を抽出する。この顔の検出方法としては、従来の方法を適用し、例えば、パターンマッチングを用いる。

ＥＣＵ４では、顔画像の左右方向の中心線を基準として左側の領域の全画素の輝度の和と右側の領域の全画素の輝度の和を算出する。この各領域の輝度情報としては、輝度和以外の他の輝度情報でもよく、例えば、全画素の輝度の平均値でもよい。

ＥＣＵ４では、左側の領域の輝度和と右側の領域の輝度和との差を算出する。そして、ＥＣＵ４では、その輝度和の差に基づいて左側の領域が明るいか、右側の領域が明るいか、あるいは、左側の領域と右側の領域で同程度の明るさかを判定する。ここでは、例えば、実験などで予め設定された閾値を用いて判定する。この閾値は、実験などによって予め設定される。

左側の領域と右側の領域で同程度の明るさと判定した場合（つまり、ドライバの顔に正面方向から光が当たっている場合あるいはドライバの顔に特定の方向から光が当たっていない場合（例えば、曇りの日、夜間））、ＥＣＵ４では、鼻腔を検出するためのｈａａｒ−ｌｉｋｅ特徴を用いて、顔画像からそのｈａａｒ−ｌｉｋｅ特徴に対応する矩形領域を順次切り出す。ここでは、画像における上下方向及び左右方向に所定数の画素づつずらしながら矩形領域を切り出す。そして、ＥＣＵ４では、切り出した矩形領域毎に、インテグラルイメージを利用し、予め設定されている重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出する。

図５には、ドライバの顔に一様に光が当たっている場合の鼻付近の画像の一例を示しており、図５（ａ）には向かって左側の鼻腔部分を検出するためのｈａａｒ−ｌｉｋｅ特徴ｈ１を示しており、図５（ｂ）には向かって右側の鼻腔部分を検出するためのｈａａｒ−ｌｉｋｅ特徴ｈ２を示している。ｈａａｒ−ｌｉｋｅ特徴ｈ１は、左側の黒い矩形領域の輝度が低く、右側の白い矩形領域の輝度が高いという輝度パターンを有する領域を検出するためのものである。ｈａａｒ−ｌｉｋｅ特徴ｈ２は、左側の白い矩形領域の輝度が高く、右側の黒い矩形領域の輝度が低いという輝度パターンを有する領域を検出するためのものである。なお、鼻腔部分を検出するためのｈａａｒ−ｌｉｋｅ特徴としては、この２つのｈａａｒ−ｌｉｋｅ特徴ｈ１，ｈ２を合わせた左右に黒い矩形領域があり、その２つの黒い矩形領域の間に白い矩形領域がある３つの矩形領域からなるものでもよい。

また、図６には、横軸を画像の左右方向の位置とし、縦軸を輝度値とし、図５に示す鼻腔周辺の輝度変化を示しており、一点鎖線ＳＬが光が当たっている肌の輝度（輝度が高い）を示している。図６に示すように、ドライバの顔に一様に光が当たっている場合、左右両側の頬部分では輝度が高く、鼻の左右の外端付近で輝度が低く、左右の鼻腔の外縁で輝度が高く、左右の鼻腔で輝度が低く、左右の鼻腔の間で輝度が高くなっている。

また、図７には、横軸を画像の左右方向の位置とし、縦軸を輝度値とし、図５（ａ）のｈａａｒ−ｌｉｋｅ特徴ｈ１と図５（ｂ）のｈａａｒ−ｌｉｋｅ特徴ｈ２が表現する輝度の変化を示している。図７に示すように、この２つのｈａａｒ−ｌｉｋｅ特徴ｈ１とｈａａｒ−ｌｉｋｅ特徴ｈ２によって、左右に輝度が低い部分があり、その間に輝度の高い部分がある輝度パターンを示す。この図７に示す輝度パターンと図６に示す左右の鼻腔で輝度が低く、その間で輝度が高くなる輝度パターンとは、同様の輝度パターンとなっている。

左側の領域が明るいと判定した場合（つまり、ドライバの顔に向かって左方向から（顔の右側に）光が当たっている場合）、ＥＣＵ４では、鼻腔を検出するためのｈａａｒ−ｌｉｋｅ特徴を用いて、顔画像からそのｈａａｒ−ｌｉｋｅ特徴に対応する矩形領域を順次切り出す。顔画像の左側の領域（明るい側の領域）から矩形領域が切り出された場合、ＥＣＵ４では、切り出した矩形領域毎に、インテグラルイメージを利用し、予め設定されている重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出する。一方、顔画像の右側の領域（暗い側の領域）から矩形領域が切り出された場合、ＥＣＵ４では、予め設定されている重みを所定量大きくする。そして、ＥＣＵ４では、切り出した矩形領域毎に、インテグラルイメージを利用し、その大きくした重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出する。

右側の領域が明るいと判定した場合（つまり、ドライバの顔に向かって右方向から（顔の左側に）光が当たっている場合）、ＥＣＵ４では、鼻腔を検出するためのｈａａｒ−ｌｉｋｅ特徴を用いて、顔画像からそのｈａａｒ−ｌｉｋｅ特徴に対応する矩形領域を順次切り出す。顔画像の右側の領域（明るい側の領域）から矩形領域が切り出された場合、ＥＣＵ４では、切り出した矩形領域毎に、インテグラルイメージを利用し、予め設定されている重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出する。一方、顔画像の左側の領域（暗い側の領域）から矩形領域が切り出された場合、ＥＣＵ４では、予め設定されている重みを所定量大きくする。そして、ＥＣＵ４では、切り出した矩形領域毎に、インテグラルイメージを利用し、その大きくした重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出する。

なお、重みを大きくする際の所定量は、一定量でもよいし、左側の領域の輝度和と右側の領域の輝度和の差が大きいほど大きくなる量としてもよい。この所定量は、実験などによって予め設定され、可変量とする場合にはマップなどが用意される。

図８には、ドライバの顔に向かって右方向から光が当たっている場合の鼻付近の画像の一例を示しており、右側の領域が全体に明るく、左側の領域が全体に暗い。また、図９には、横軸を画像の左右方向の位置とし、縦軸を輝度値とし、図８に示す鼻腔付近の輝度変化を示しており、一点鎖線ＳＬが図６の一点鎖線ＳＬと同一の輝度を示している。図９に示すように、ドライバの顔に向かって右方向から光が当たっている場合、全体の輝度の変化としては図６に示すような輝度の変化を示すが、右側の領域においては全体に輝度が高くなり、左側の頬部分が鼻の影となって輝度が低くなっている。そのため、左右の鼻腔の間に輝度の差が生じ、向かって左側の鼻腔の輝度と左右の鼻腔の間の部分の輝度との差が非常に大きくなっている。この輝度パターンは、図７に示す２つのｈａａｒ−ｌｉｋｅ特徴ｈ１，ｈ２による輝度パターンとは異なっているので、ｈａａｒ−ｌｉｋｅ特徴ｈ１，ｈ２をそのまま用いても検出できない。

図１０には、横軸を画像の左右方向の位置とし、縦軸を輝度値とし、左側の領域において重み大きくしたｈａａｒ−ｌｉｋｅ特徴ｈ１と右側の領域において重みを変化させないｈａａｒ−ｌｉｋｅ特徴ｈ２が表現する輝度の変化を示している。図１０に示すように、この重みを大きくしたｈａａｒ−ｌｉｋｅ特徴ｈ１と重みを変化させないｈａａｒ−ｌｉｋｅ特徴ｈ２によって、図７の輝度パターンよりも、左側の輝度が低い部分と左右の間の輝度の高い部分との輝度差が大きくなり、右側の輝度が低い部分の輝度が高くなった輝度パターンを示す。この図１０に示す輝度パターンと図９に示す左右の鼻腔で輝度が低く、その間で輝度が高くなる輝度パターンとは、同様の輝度パターンとなっている。

ＥＣＵ４では、切り出した矩形領域毎に、ｈａａｒ−ｌｉｋｅ特徴量が閾値以上か否かを判定する。ある矩形領域のｈａａｒ−ｌｉｋｅ特徴量が閾値以上と判定した場合、ＥＣＵ４では、その矩形領域を鼻腔とする。

ＥＣＵ４では、その検出した鼻腔（鼻）の位置から顔の向きを検出する。この検出方法としては、従来の方法を適用する。

図１を参照して、顔向き検出装置１における動作について説明する。特に、ＥＣＵ４における処理については図１１のフローチャートに沿って説明する。図１１は、図１のＥＣＵでの処理の流れを示すフローチャートである。

近赤外線投光器３は、車室内が暗い場合、ドライバの顔周辺に対して近赤外線を照射する。カメラ２では、一定時間毎に、ドライバの顔周辺を撮像し、各フレームの画像信号をＥＣＵ４に送信する。ＥＣＵ４では、一定時間毎に、画像信号を受信し、各フレームの撮像画像を入力する（Ｓ１）。

撮像画像が入力される毎に、ＥＣＵ４では、撮像画像からインテグラルイメージを作成する（Ｓ２）。また、ＥＣＵ４では、撮像画像から顔を検出し、撮像画像から顔画像を抽出する（Ｓ３）。そして、ＥＣＵ４では、顔画像の左側の領域と右側の領域の輝度和をそれぞれ算出し、その左右の領域の輝度差を算出する（Ｓ４）。

ＥＣＵ４では、左右の領域の輝度差に基づいて左右のどちらかの領域が明るいかを判定する（Ｓ５）。Ｓ５にて左側の領域が明るいと判定した場合、ＥＣＵ４では、右側の領域でのｈａａｒ−ｌｉｋｅ特徴の重みを大きくする（Ｓ６）。Ｓ５にて右側の領域が明るいと判定した場合、ＥＣＵ４では、左側の領域でのｈａａｒ−ｌｉｋｅ特徴の重みを大きくする（Ｓ７）。Ｓ５にて左側の領域と右側の領域で明るさが同程度と判定した場合、ＥＣＵ４では、重みを変化させない。

ＥＣＵ４では、顔画像からｈａａｒ−ｌｉｋｅ特徴に対応する矩形領域を順次切り出し、重みを変えたｈａａｒ−ｌｉｋｅ特徴又は重みを変えないｈａａｒ−ｌｉｋｅ特徴に基づいて、切り出した矩形領域についてインテグラルイメージを使ってｈａａｒ−ｌｉｋｅ特徴量を順次算出する（Ｓ８）。そして、ＥＣＵ４では、各矩形領域についてのｈａａｒ−ｌｉｋｅ特徴量が閾値以上か否かを判定し、その判定結果から鼻（特に、鼻腔）を検出する（Ｓ９）。さらに、ＥＣＵ４では、検出した鼻に基づいて顔向きを検出する（Ｓ１０）。そして、ＥＣＵ４では、検出した顔向き情報を運転支援装置に提供する。

顔向き検出装置１によれば、ドライバの左右の一方向から光が当たっている場合（鼻などで影の影響を受ける場合）でも、光の当たっていない反対側の領域におけるｈａａｒ−ｌｉｋｅ特徴の重みを大きくすることにより、光の方向に応じた影（特に、鼻の影）の影響を排除でき、顔に当たる光の方向に関係なく画像から鼻（特に、鼻腔）を高精度に検出できる。この高精度に検出された鼻を用いて、顔の向きを高精度に検出することができる。

また、顔向き検出装置１によれば、影の影響を排除するために、専用のカメラやＤＳＰを必要とせず、ハードウェアのコストアップがない。また、顔向き検出装置１によれば、カメラ２で撮像されたフレーム毎に処理を行うので、顔や各部位の動きや光の変動に左右されず、高精度に鼻を検出することができる。また、顔向き検出装置１によれば、学習するためのアルゴリズムを用いないので、対応できる画像が学習データに依存することがない。

また、顔向き検出装置１によれば、ｈａａｒ−ｌｉｋｅ特徴量を算出するためにインテグラルイメージを予め作成しておくことにより、ｈａａｒ−ｌｉｋｅ特徴量を算出するための処理負荷を軽減でき、画像内での顔の大きさが大きい場合でも小さい場合と比べてフレーム毎の処理負荷に差がない（４点の画素の値で矩形領域の輝度和を算出できる）。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両のドライバの顔向きを検出する顔向き検出装置に適用したが、顔の各部位に基づいて視線などを検出する装置に適用してもよいし、顔向きなどを利用する運転支援装置（例えば、脇見判定装置、衝突防止装置）に適用してもよいし、鼻などの顔の部位を検出する顔部位検出装置に適用してもよい。また、車両のドライバ以外でも、顔に対して当たる光の方向が変化する他の人（例えば、電車の運転手）に対しても適用してもよい。

また、本実施の形態では顔の部位として鼻（特に、鼻腔）を検出したが、顔の他の部位（特に、影ができる部位）を検出してもよい。

また、本実施の形態では左右の領域において輝度差がある場合には暗い側のｈａａｒ−ｌｉｋｅ特徴の重みを大きくする構成としたが、ｈａａｒ−ｌｉｋｅ特徴量を判定する際の閾値を小さくしてもよい。

また、本実施の形態ではインテグラルイメージを作成し、インテグラルイメージを用いてｈａａｒ−ｌｉｋｅ特徴量を算出する構成としたが、インテグラルイメージを作成しないでｈａａｒ−ｌｉｋｅ特徴量を算出してもよい。

本実施の形態に係る顔向き検出装置の構成図である。 インテグラルイメージの作成方法の説明図である。 インテグラルイメージを用いた輝度和の算出方法の説明図である。 ｈａａｒ−ｌｉｋｅ特徴の一例である。 顔に一様に光が当たっている場合の鼻付近の画像の一例であり、（ａ）が向かって左側の鼻腔を検出するためのｈａａｒ−ｌｉｋｅ特徴も示した画像であり、（ｂ）が向かって右側の鼻腔を検出するためのｈａａｒ−ｌｉｋｅ特徴も示した画像である。 図５の鼻腔付近の輝度変化を示すグラフである。 図５（ａ）のｈａａｒ−ｌｉｋｅ特徴と（ｂ）のｈａａｒ−ｌｉｋｅ特徴が表現する輝度の変化を示すグラフである。 顔の向かって右側から光が当たっている場合の鼻付近の画像の一例である。 図８の鼻腔付近の輝度変化を示すグラフである。 重みを大きくしたｈａａｒ−ｌｉｋｅ特徴と重みを変化させないｈａａｒ−ｌｉｋｅ特徴が表現する輝度の変化を示すグラフである。 図１のＥＣＵでの処理の流れを示すフローチャートである。

符号の説明

１…顔向き検出装置、２…カメラ、３…近赤外線投光器、４…ＥＣＵ

Claims (5)

1. ｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出する顔部位検出装置であって、
   撮像手段で撮像された画像から顔を検出する顔検出手段と、
   前記顔検出手段で検出された顔の画像を複数に分け、当該分けた各領域における輝度情報を算出する輝度算出手段と、
   前記輝度算出手段でそれぞれ算出された各領域の輝度情報を比較し、輝度の低い領域側のｈａａｒ−ｌｉｋｅ特徴の重みを大きくする又はｈａａｒ−ｌｉｋｅ特徴の閾値を小さくする補正手段と
   を備えることを特徴とする顔部位検出装置。
2. 前記輝度算出手段は、顔の画像を左右方向の中心線を基準として左右の領域に分けることを特徴とする請求項１に記載する顔部位検出装置。
3. 前記補正手段で重みを大きくした一方側の領域で当該大きくした重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出するとともに他方側の領域で重みを用いてｈａａｒ−ｌｉｋｅ特徴量を算出し、左右の各領域で算出したｈａａｒ−ｌｉｋｅ特徴量に基づいて鼻部位を検出することを特徴とする請求項２に記載する顔部位検出装置。
4. 前記補正手段で閾値を小さくした一方側の領域で当該小さくした閾値を用いてｈａａｒ−ｌｉｋｅ特徴量を判定するとともに他方側の領域で閾値を用いてｈａａｒ−ｌｉｋｅ特徴量を判定し、左右の各領域での判定結果に基づいて鼻部位を検出することを特徴とする請求項２に記載する顔部位検出装置。
5. 顔画像から取得される輝度分布に応じてｈａａｒ−ｌｉｋｅ特徴を補正し、当該補正したｈａａｒ−ｌｉｋｅ特徴を用いて顔の部位を検出することを特徴とする顔部位検出装置。