JP2020038551A - 顔向き検出装置、顔向き検出方法、及び制御プログラム - Google Patents

Abstract

【課題】対象者の顔向きをより安定してより精度良く検出することを可能にする。【解決手段】ドライバの顔を撮像して得られる顔画像から鼻孔及び耳介といった対象領域を抽出する鼻孔／耳介抽出部２０５と、鼻孔／耳介抽出部２０５で抽出する鼻孔，耳介の面積を特定する面積特定部２０６と、面積特定部２０６で特定する鼻孔，耳介の面積から求められる、基準面積に対する鼻孔，耳介の面積の割合であったり、左右の鼻孔，耳介の面積の比率であったりを用いて、ドライバの顔向きを検出する顔向き検出部２０８とを備える。【選択図】図２

Description

本開示は、対象者の顔向きの検出を行うための顔向き検出装置、顔向き検出方法、及び制御プログラムに関するものである。

従来、カメラで対象者を撮像した顔画像をもとに対象者の顔向きを検出する技術が知られている。特許文献１には、鼻孔を用いることで運転者の顔向きを検出する技術が開示されている。特許文献１では、乗員カメラで取得した顔画像から顔の左右の端部である顔端を検出し、検出した顔端に基づいて頭部回転軸を算出する。また、顔画像から複数の特徴部を抽出し、抽出した複数の特徴部のうち最も移動量が大きいものを鼻孔として抽出する。そして、算出した頭部回転軸と抽出した鼻孔の位置とから算出される値を用いて所定の数式を演算することで左右の顔向きを検出する。

特許第５３６７０３７号公報

しかしながら、特許文献１に開示の技術では、対象者の顔向きの検出精度が安定しない問題が生じる。詳しくは、以下の通りである。特徴部の位置の検出には誤差があるので、抽出する鼻孔の位置にも誤差が生じる。特許文献１に開示の技術では、算出した頭部回転軸と抽出した鼻孔の位置とから算出される値を用いて所定の数式を演算することで左右の顔向きを検出するので、鼻孔の位置の誤差が顔向きの誤差に反映され易く、顔向きの検出精度が安定しない。

また、特許文献１では、左右の顔向きを検出することしか想定していないが、鼻孔の位置は、左右（ヨー方向）以外の方向への動きに対しては移動量が小さいので、頭部回転軸と抽鼻孔の位置とから算出される値を用いて左右以外の顔向きを精度良く検出することは難しい。

この開示のひとつの目的は、対象者の顔向きをより安定してより精度良く検出することを可能にする顔向き検出装置、顔向き検出方法、及び制御プログラムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

上記目的を達成するために、本開示の顔向き検出装置は、対象者の顔を撮像して得られる顔画像から鼻孔及び耳介の少なくともいずれかである対象領域を抽出する対象領域抽出部（２０５）と、対象領域抽出部で抽出する対象領域の面積を特定する面積特定部（２０６）と、面積特定部で特定する対象領域の面積を用いて、対象者の顔向きを検出する顔向き検出部（２０８）とを備える。

上記目的を達成するために、本開示の顔向き検出方法は、対象者の顔を撮像して得られる顔画像から鼻孔及び耳介の少なくともいずれかである対象領域を抽出し、抽出する対象領域の面積を特定し、特定する対象領域の面積を用いて対象者の顔向きを検出する。

上記目的を達成するために、本開示の制御プログラムは、コンピュータを、対象者の顔を撮像して得られる顔画像から鼻孔及び耳介の少なくともいずれかである対象領域を抽出する対象領域抽出部（２０５）と、対象領域で抽出する対象領域の面積を特定する面積特定部（２０６）と、面積特定部で特定する対象領域の面積を用いて対象者の顔向きを検出する顔向き検出部（２０８）として機能させる。

これらによれば、対象者の顔を撮像して得られる顔画像中の鼻孔及び耳介の少なくともいずれかである対象領域の面積は、左右方向に限らない顔向きによっても変化するため、対象領域の面積を用いて対象者の顔向きを検出することで、左右以外の顔向きもより精度良く検出することが可能になる。また、対象者の顔を撮像して得られる顔画像中の鼻孔及び耳介の面積の特定は、対象領域の位置の検出に誤差がある場合でも、対象領域の位置が変動するのであって、対象領域の大きさが変動するのではないため、対象領域の位置の検出誤差の影響を受け難い。よって、対象領域の面積を用いて対象者の顔向きを検出することで、対象者の顔向きの検出精度をより安定させることが可能になる。その結果、対象者の顔向きをより安定してより精度良く検出することが可能になる。

車両システム１の概略的な構成の一例を示す図である。 ドライバの顔向き検出に関連するＨＣＵ２０の概略的な構成の一例を示す図である。 鼻孔を抽出するための閾値で二値化処理を行った二値化画像をピッチ方向の顔向き別に並べた図である。 ピッチ方向の顔向きの変化に応じた、鼻孔についての基準面積に対する右鼻孔の面積の割合の変化の傾向を示すグラフである。 鼻孔を抽出するための閾値で二値化処理を行った二値化画像をヨー方向の顔向き別に並べた図である。 ヨー方向の顔向きの変化に応じた、鼻孔についての基準面積に対する左鼻孔の面積の割合の変化及び左鼻孔に対する右鼻孔の面積の比率の変化の傾向を示すグラフである。 耳介を抽出するための閾値で二値化処理を行った二値化画像をヨー方向の顔向き別に並べた図である。 ヨー方向の顔向きの変化に応じた、耳介についての基準面積に対する左耳介の面積の割合の変化の傾向を示すグラフである。 耳介を抽出するための閾値で二値化処理を行った二値化画像をロール方向の顔向き別に並べた図である。 ロール方向の顔向きの変化に応じた、耳介についての基準面積に対する左耳介の面積の割合の変化及び左耳介の角度の変化の傾向を示すグラフである。 ＨＣＵ２０での顔向き検出関連処理の流れの一例を示すフローチャートである。 ピッチ方向検出処理の流れの一例を示すフローチャートである。 ヨー方向検出処理の流れの一例を示すフローチャートである。 ロール方向検出処理の流れの一例を示すフローチャートである。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜車両システム１の概略構成＞
以下、本実施形態について図面を用いて説明する。図１に示す車両システム１は、自動車といった車両で用いられるものであり、ＨＭＩ（Human Machine Interface）システム２、ロケータ３、車両状態センサ４、操作スイッチ５、周辺監視センサ６、及び運転支援ＥＣＵ７を含んでいる。ＨＭＩシステム２、ロケータ３、車両状態センサ４、操作スイッチ５、及び運転支援ＥＣＵ７は、例えば車内ＬＡＮに接続されているものとする。なお、車両状態センサ４及び操作スイッチ５は、自車に搭載されるＥＣＵを介して車内ＬＡＮに間接的に接続されている構成であってもよい。

ロケータ３は、ＧＮＳＳ（Global Navigation Satellite System）受信機、慣性センサ、地図データを格納した地図データベース（以下、ＤＢ）を備えている。ＧＮＳＳ受信機は、複数の人工衛星からの測位信号を受信する。慣性センサは、例えばジャイロセンサ及び加速度センサを備える。地図ＤＢは、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等の地図データを格納している。なお、地図データは、道路形状及び構造物の特徴点の点群からなる三次元地図を含む構成であってもよい。

ロケータ３は、ＧＮＳＳ受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、ロケータ３を搭載した自車の車両位置を逐次測位する。なお、車両位置の測位には、自車に搭載された車輪速センサから逐次出力されるパルス信号から求めた走行距離等を用いる構成としてもよい。そして、測位した車両位置を車内ＬＡＮへ出力する。地図データとして、道路形状及び構造物の特徴点の点群からなる三次元地図を用いる場合、ロケータ３は、ＧＮＳＳ受信機を用いずに、この三次元地図と、道路形状及び構造物の特徴点の点群を検出するＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）等の周辺監視センサ６での検出結果とを用いて、自車の車両位置を特定する構成としてもよい。

なお、地図データは、例えば車載通信モジュールを介して自車外のサーバから取得する構成としてもよい。また、ロケータ３が地図ＤＢを備える構成に限らず、ロケータ３と地図ＤＢとが別体となっている構成であってもよい。

車両状態センサ４は、自車の走行状態，操作状態等の各種状態を検出するためのセンサ群である。車両状態センサ４としては、自車の車速を検出する車輪速センサ，自車のステアリングの操舵角を検出する操舵センサ等がある。車両状態センサ４は、検出結果を車内ＬＡＮへ出力する。なお、車両状態センサ４での検出結果は、自車に搭載されるＥＣＵを介して車内ＬＡＮへ出力される構成であってもよい。

操作スイッチ５は、電動格納ミラーの鏡面角度を調整するスイッチ（以下、鏡面調整ＳＷ）等のスイッチ群である。操作スイッチ５は、操作に応じた信号を車内ＬＡＮへ出力する。なお、操作スイッチ５の信号は、自車に搭載されるＥＣＵを介して車内ＬＡＮへ出力される構成であってもよい。また、操作スイッチ５は、自車のステアリングのスポーク部に設けられたステアリングスイッチ等を含んでもよく、操作に応じた信号をＨＣＵ２０に出力する構成であってもよい。

周辺監視センサ６は、歩行者、人間以外の動物、自転車、オートバイ、及び他車等の移動物体、さらに路上の落下物、ガードレール、縁石、及び樹木等の静止物体といった自車周辺の障害物を検出する。他にも、自車周辺の走行区画線、停止線等の路面標示を検出する。周辺監視センサ６は、例えば、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ，ソナー，ＬＩＤＡＲ等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として運転支援ＥＣＵ７へ逐次出力する。ソナー，ミリ波レーダ，ＬＩＤＡＲ等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として運転支援ＥＣＵ７へ逐次出力する。

運転支援ＥＣＵ７は、ロケータ３から取得した自車の車両位置及び地図データ，周辺監視センサ６から取得したセンシング情報等から、自車の周辺環境を認識する。また、運転Ｅ支援ＣＵ７は、認識した周辺環境をもとに、障害物回避のための操舵及び制動等を行わせたり、障害物に対して注意喚起するための報知を行わせたりする。

ＨＭＩシステム２は、ＨＣＵ（Human Machine Interface Control Unit）２０、報知装置２１、及びカメラユニット２２を備えている。ＨＭＩシステム２は、ドライバからの入力操作を受け付けたり、ドライバに向けて情報を提示したり、ドライバの状態を監視したりする。このドライバが対象者に相当する。

報知装置２１は、ＨＣＵ２０の指示に従って報知を行う。報知装置２１としては、例えばコンビネーションメータ、ＣＩＤ（Center Information Display）、ＨＵＤ（Head-Up Display）、ＬＥＤ等の表示装置であってもよいし、オーディオスピーカ，ブザー等の音声出力装置であってもよい。

カメラユニット２２は、近赤外カメラ２２１及び近赤外光源２２２を備える。近赤外カメラ２２１は、近赤外線領域に感度を有するカメラであり、近赤外光源２２２により照らされた領域を含む撮像対象を撮像し、撮像した画像をＨＣＵ２０に出力する。近赤外光源２２２は、近赤外光を照射する照明装置であり、ＨＣＵ２０により駆動制御される。なお、近赤外光源２２２はＬＥＤの他、フィラメントなどを有する別の光源であってもよい。

近赤外カメラ２２１は、運転席に着座した際のドライバの顔領域を含む領域の画像（以下、顔画像）を、１秒間に数枚から数百枚分撮像する。近赤外カメラ２２１は、例えばインスツルメントパネルの上面に斜め上向きに仰角を有するように設けられる。近赤外カメラ２２１はドライバのアイリプス部を含む領域を視野角に含めるように設定される。アイリプス部は、車種ごとに決まっている領域であり、通常の運転時に、体格の異なる様々なドライバの眼の位置が分布する楕円の領域である。

なお、近赤外カメラ２２１が設けられる位置は、ドライバの顔画像を撮像できる位置であれば、インスツルメントパネルの上面に限らない。例えば、ステアリングコラム上に設けられる構成であってもよいし、天井に設けられる構成であってもよいし、ルームミラーに設けられる構成であってもよい。

ＨＣＵ２０は、プロセッサ、メモリ、Ｉ／Ｏ、これらを接続するバスを備え、メモリに記憶された制御プログラムを実行することでドライバの顔向き検出等の各種の処理を実行する。プロセッサがこの制御プログラムを実行することは、制御プログラムに対応する顔向き検出方法が実行されることに相当する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non- transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。このＨＣＵ２０が顔向き検出装置に相当する。ＨＣＵ２０での処理の詳細については後述する。

＜ＨＣＵ２０の概略構成＞
続いて、図２を用いて、ドライバの顔向き検出に関連するＨＣＵ２０の概略構成について説明を行う。ＨＣＵ２０は、画像処理部２０１、顔検出部２０２、特徴部位検出部２０３、二値化処理部２０４、鼻孔／耳介抽出部２０５、面積特定部２０６、基準設定部２０７、顔向き検出部２０８、特定顔向き判定部２０９、及びキャリブレーション部２１０を機能ブロックとして備えている。なお、ＨＣＵ２０が実行する機能の一部または全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ２０が備える機能ブロックの一部又は全部を、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現してもよい。

画像処理部２０１は、近赤外カメラ２２１の露光タイミング，露光時間を設定したり、近赤外光源２２２の発光タイミング，発光時間，光量等を設定したりして、近赤外カメラ２２１及び近赤外光源２２２の駆動制御を行う。また、画像処理部２０１は、近赤外カメラ２２１によって撮像される顔画像を取得する。

顔検出部２０２は、画像処理部２０１で取得する顔画像から顔の領域を検出する。一例としては、顔からの反射光が画像全体の画素値分布の中で相対的に明るくなることをもとに、顔画像の画素値分布を解析することで顔の領域を検出する。

特徴部位検出部２０３は、顔検出部２０２で検出する顔の領域での眼，鼻，口，耳といった顔の特徴部位の存在領域を検出する。一例としては、顔検出部２０２で検出する顔の領域から眼，鼻，口，耳といった特徴部位の存在領域を推測し、推測した存在領域を探索領域として、テンプレートマッチング等の手法で処理を行うことで特徴部位を認識する。そして、認識した特徴部位の顔画像における座標情報を取得する。特徴部位検出部２０３で検出する耳は耳介であるものとする。なお、特徴部位検出部２０３は、耳介については、特徴部位検出部２０３で存在領域の検出を行わず、後述する鼻孔／耳介抽出部２０５で顔画像から耳介を抽出する際のその耳介の顔画像における座標情報を取得する構成としてもよい。

二値化処理部２０４は、顔画像に対して二値化処理を行って、輝度が閾値未満の部位を黒色とし、輝度が閾値以上の部位を白色とする。二値化処理は、大津の手法（判別分析法）によって自動的に閾値を決定して行う構成としてもよいし、鼻孔，耳介といった対象領域を識別し得る閾値を探索しながら行う構成としてもよい。例えば、後述の鼻孔／耳介抽出部２０５での鼻孔，耳介の抽出結果をもとに、閾値を変更しつつ二値化処理を複数繰り返して左右を分離できる閾値を探索したり、左右をうまく分離できないことを確認してから、片方の鼻孔，耳介をうまく抽出できる閾値を探索したりすればよい。

二値化処理の閾値は、鼻孔及び耳介で共通である構成に限らず、鼻孔を抽出するための閾値と耳介を抽出するための閾値とで分けるといったように、対象領域別である構成としてもよい。例えば、鼻孔を抽出するための閾値と耳介を抽出するための閾値とで分ける場合には、鼻孔を抽出するための閾値で二値化処理を行った結果を用いて鼻孔／耳介抽出部２０５で鼻孔を抽出し、耳介を抽出するための閾値で二値化処理を行った結果を用いて鼻孔／耳介抽出部２０５で耳介を抽出することになる。なお、二値化処理部２０４は、特徴部位検出部２０３で顔画像を鼻，耳の存在領域に絞り込んだ上で二値化処理を行う構成としてもよい。

鼻孔／耳介抽出部２０５は、二値化処理部２０４で二値化処理を行った顔画像から鼻孔，耳介といった対象領域を抽出する。ここで言うところの鼻孔は、外鼻孔である。この鼻孔／耳介抽出部２０５が対象領域抽出部に相当する。一例として、鼻孔／耳介抽出部２０５は、二値化処理部２０４で二値化処理を行った顔画像のうちの、特徴部位検出部２０３で検出した鼻の存在領域から鼻孔を抽出し、特徴部位検出部２０３で検出した耳の存在領域から耳介を抽出する。鼻孔については、鼻の存在領域のうちの白色領域に囲まれる黒色領域を鼻孔として抽出すればよい。耳介については、黒色領域を境にして顔にあたる白色領域から分離している白色領域を耳介として抽出すればよい。

鼻孔／耳介抽出部２０５は、左右２つ存在する鼻孔，耳介の左右両方を抽出できる場合には、お互いの位置関係から左右識別して抽出する。一方、鼻孔／耳介抽出部２０５は、左右２つ存在する鼻孔，耳介の左右の一方しか抽出できない場合には、特徴部位検出部２０３で検出する鼻，耳以外の特徴部位との位置関係であったり、鼻孔，耳介の候補として抽出している領域の形状であったりをもとに、左右識別して抽出する。

例えば、特徴部位検出部２０３で左右の眼が検出できている場合に、左右の眼のどちらに鼻孔，耳介が近いかによって、左右識別すればよい。また、特徴部位検出部２０３で口が検出できている場合に、口よりも左に位置するか右に位置するかによって、左右の耳介のいずれかを識別してもよい。他にも、耳介であれば、耳介の候補として抽出している領域の形状が左右どちらに尖っているかによって、左右の耳介のいずれかを識別して抽出してもよい。

また、鼻孔／耳介抽出部２０５は、黒子等を鼻孔，耳介として誤って抽出しないために、鼻，耳以外の特徴部位との位置関係、及び／又は鼻孔，耳介の候補として抽出している領域の形状を利用して鼻孔，耳介を抽出する構成としてもよい。

面積特定部２０６は、鼻孔／耳介抽出部２０５で抽出する鼻孔，耳介といった対象領域の面積をそれぞれ特定する。面積特定部２０６は、顔画像における対象領域の面積を特定すればよく、一例としては、対象領域のピクセル数を対象領域の面積として特定する構成とすればよい。

基準設定部２０７は、顔向き検出部２０８で鼻孔，耳介といった対象領域の面積の変化を用いて顔向きを検出する際に基準とする対象領域の基準面積を設定する。基準面積とは、例えばドライバが正面を向いた状態における対象領域の面積といった、特定の顔向きにおける対象領域の面積と推定される面積である。

基準設定部２０７は、例えばドライバが正面を向いた状態における対象領域の面積を基準面積とすればよいが、必ずしもこれに限らず、正面以外の特定の方向を向いた状態における対象領域の面積を基準面積としてもよい。本実施形態では、ドライバが正面を向いた状態における対象領域の面積を基準面積とする場合を例に挙げて以降の説明を行う。なお、ドライバが正面を向いた状態とは、ドライバの左右を軸とする顔の傾きであるピッチ方向，ドライバの上下を軸とする顔の傾きであるヨー方向，ドライバの前後を軸とする顔の傾きであるロール方向の顔向きが全て０°の場合とすればよい。

基準設定部２０７は、ＨＣＵ２０の不揮発性メモリに予め格納されている基準面積を設定する構成とすればよい。この基準面積については、例えば、複数のドライバについての顔画像から対象領域の基準面積の平均値等の代表値を求めることで予め求めておく構成とすればよい。また、この基準面積としては、報知装置２１からドライバに向けて正面を向くようにガイダンスを行った後、ドライバが正面を向いたことを伝えるための操作入力を操作スイッチ５に行った場合に撮像される顔画像から抽出される対象領域の面積を用いる構成としてもよい。

他にも、基準設定部２０７は、基準面積を用いずに逐次検出するドライバの顔向きの分布のうち最も頻度の高い顔向きを正面の向きとし、この正面の向きにおいて面積特定部２０６で特定する対象領域の面積を基準面積として求めて設定してもよい。例えば、基準設定部２０７は、基準面積を用いずにドライバの顔向きを検出する場合には、対象領域の形状及び／又は顔画像中の基準点に対する対象領域の相対位置を用いてドライバの顔向きを検出する構成とすればよい。なお、基準面積を用いずに対象領域の形状及び／又は顔画像中の基準点に対する対象領域の相対位置を用いてドライバの顔向きを検出する方法については、後述する。また、基準設定部２０７は、基準面積を用いずに、特徴部位検出部２０３で検出する各特徴部位の存在領域の相対的な位置関係から顔向きを検出する構成としてもよい。

以上の構成によれば、運転中にドライバが向く方向は正面である頻度が最も高いと考えられるので、個々のドライバに応じて、ドライバが実際に正面を向いた状態における対象領域の面積を基準面積として設定することが可能となる。よって、顔向き検出の精度をより向上させることが可能になる。ドライバが実際に正面を向いた状態における対象領域の面積を基準面積として設定することをより確実にするために、自車の直進中に逐次検出するドライバの顔向きの分布を用いる構成とすることが好ましい。自車が直進中であることは、車両状態センサ４のうちの舵角センサのセンシング結果から基準設定部が判断すればよい。

また、上述のように基準面積を用いずに顔向きを検出することで、顔向き検出の精度が低下する場合であっても、正面と検出した顔向きをそのまま正面の向きとするのではなく、逐次検出するドライバの顔向きの分布のうち最も頻度の高い顔向きを正面の向きとするので、ドライバが実際に正面を向いた状態における対象領域の面積を基準面積とすることが容易に可能となる。

顔向き検出部２０８は、面積特定部２０６で特定する鼻孔，耳介といった対象領域の面積を用いて、ドライバの顔向きを検出する。本実施形態では、ドライバの顔向きとして、ピッチ方向、ヨー方向、及びロール方向の顔向きを検出する場合を例に挙げて説明を行う。

一例として、顔向き検出部２０８は、基準設定部２０７で設定する基準面積に対する、面積特定部２０６で特定する鼻孔，耳介の面積の割合を用いて、顔向きを検出する。より詳しくは、鼻孔，耳介といった対象領域の面積が、ピッチ方向、ヨー方向、及びロール方向の顔向きの変化に応じて変化することを利用して顔向きを検出する。ここで、図３〜図１０を用いて、鼻孔，耳介といった対象領域の面積の、ピッチ方向、ヨー方向、及びロール方向の顔向きの変化に応じた変化の傾向について説明する。

図３及び図４を用いて、ピッチ方向の顔向きの変化に応じた鼻孔の面積の変化の傾向について説明する。図３は、鼻孔を抽出するための閾値で二値化処理を行った顔画像（以下、二値化画像）をピッチ方向の顔向き別に並べたものである。図３では、ヨー方向の顔向き及びロール方向の顔向きは０°とし、ピッチ方向の顔向きを上向きの４５°から下向きの−４５°まで変化した二値化画像を矢印の方向に沿って並べている。図４は、図３に示すピッチ方向の顔向き（図４のpitch）の変化に応じた、鼻孔についての基準面積に対する右鼻孔の面積の割合（図４のnostril size rate）の変化の傾向を示すグラフである。図４に示すように、基準面積に対する鼻孔の面積の割合は、顔が上を向くのに応じて高くなる一方、顔が下を向くのに応じて低くなる傾向を示す。

また、ピッチ方向の顔向きの変化に応じた耳介の面積の変化の傾向については、以下の通りである。基準面積に対する耳介の面積の割合は、顔が正面を向いた状態で最も高くなる一方、顔が上を向くのに応じて低くなるとともに、顔が下を向くのに応じても低くなる傾向を示す。

図５及び図６を用いて、ヨー方向の顔向きの変化に応じた鼻孔の面積の変化の傾向について説明する。図５は、鼻孔を抽出するための閾値で二値化処理を行った二値化画像をヨー方向の顔向き別に並べたものである。図５では、ピッチ方向の顔向きは４５°、ロール方向の顔向きは０°とし、ヨー方向の顔向きを正面の０°から右向きの９０°まで変化した二値化画像を矢印の方向に沿って並べている。図６の実線は、図５に示すヨー方向の顔向き（図６のyaw）の変化に応じた、鼻孔についての基準面積に対する左鼻孔の面積（図６のleft nostril size）の割合の変化の傾向を示すグラフである。図６に示すように、基準面積に対する左鼻孔の面積の割合は、顔が右を向くのに応じて低くなる傾向を示す。なお、右鼻孔の場合は、傾向が逆となり、基準面積に対する右鼻孔の面積の割合は、顔が左を向くのに応じて低くなる傾向を示す。

図７及び図８を用いて、ヨー方向の顔向きの変化に応じた耳介の面積の変化の傾向について説明する。図７は、耳介を抽出するための閾値で二値化処理を行った二値化画像をヨー方向の顔向き別に並べたものである。図７では、ピッチ方向の顔向きは４５°、ロール方向の顔向きは０°とし、ヨー方向の顔向きを正面の０°から右向きの９０°まで変化した二値化画像を矢印の方向に沿って並べている。図８は、図７に示すヨー方向の顔向き（図８のyaw）の変化に応じた、耳介についての基準面積に対する左耳介の面積の割合（図８のleft pinna size rate）の変化の傾向を示すグラフである。図８に示すように、基準面積に対する左耳介の面積の割合は、顔が右を向くのに応じて高くなる傾向を示す。なお、基準面積に対する左耳介の面積の割合は、顔が左を向くのに応じて低くなる傾向を示す。右耳介の場合は、傾向が逆となり、基準面積に対する右耳介の面積の割合は、顔が左を向くのに応じて高くなる一方、顔が右を向くのに応じて低くなる傾向を示す。

図９及び図１０を用いて、ロール方向の顔向きの変化に応じた耳介の面積の変化の傾向について説明する。図９は、耳介を抽出するための閾値で二値化処理を行った二値化画像をロール方向の顔向き別に並べたものである。図９では、ピッチ方向及びヨー方向の顔向きは０°とし、ロール方向の顔向きを正面の０°から時計回りの４５°まで変化した二値化画像を矢印の方向に沿って並べている。図１０の実線は、図９に示すロール方向の顔向き（図１０のroll）の変化に応じた、耳介についての基準面積に対する左耳介の面積（図１０のleft pinna size rate）の割合の変化の傾向を示すグラフである。図１０に示すように、基準面積に対する左耳介の面積の割合は、顔が時計回りに傾くのに応じて高くなる傾向を示す。右耳介の場合は、傾向が逆となり、基準面積に対する右耳介の面積の割合は、顔が反時計回りに傾くのに応じて高くなる。

顔向き検出部２０８は、基準面積に対する対象領域の面積の割合を用いて顔向きを検出する場合、基準面積と対象領域の面積とを比較することになる。ここで、二値化処理において同種の対象領域を抽出するための閾値を固定しない構成を採用している場合には、閾値によって対象領域の面積が変わってしまう問題が生じるため、この問題を解決するための処理を行う。一例としては、基準面積を求めるのに用いた二値化画像の閾値と同じ閾値を用いて二値化処理を行った二値化画像から抽出した対象領域の面積を比較に用いる構成とすればよい。他にも、基準面積を求めるのに用いた二値化画像の閾値との違いによる対象領域の面積の変化分を推定し、比較する対象領域の面積をこの変化分だけ補正して比較に用いる構成としてもよい。なお、基準面積を求めるのに用いた二値化画像の閾値に二値化処理の閾値を固定してしまうことで、このような処理を行わない構成としてもよい。

また、顔向き検出部２０８は、鼻孔／耳介抽出部２０５で鼻孔，耳介の左右両方を抽出できる場合に、左右の鼻孔，耳介の面積の比率を用いて、顔向きを検出してもよい。より詳しくは、左右の鼻孔，耳介の面積の比率が、ヨー方向の顔向きの変化に応じて変化することを利用してヨー方向の顔向きを検出する。

ここで、図５及び図６を用いて、左右の鼻孔の面積の比率の、ヨー方向の顔向きの変化に応じた変化の傾向について説明する。図６の点線は、図５に示すヨー方向の顔向きの変化に応じた、左鼻孔に対する右鼻孔の面積（図６のright nostril/left nostril）の比率の変化の傾向を示すグラフである。図６に示すように、左鼻孔に対する右鼻孔の面積の比率は、顔が右を向くのに応じて高くなる傾向を示す。なお、右鼻孔に対する左鼻孔の面積の比率は、傾向が逆となり、顔が左を向くのに応じて高くなる傾向を示す。

左右の耳介の面積の比率の、ヨー方向の顔向きの変化に応じた変化の傾向については、右耳介に対する左耳介の面積の比率は、顔が右を向くのに応じて高くなる傾向を示す。なお、右耳介に対する左耳介の面積の比率は、顔が左を向くのに応じて低くなる傾向を示す。左耳介に対する右耳介の面積の比率は、傾向が逆となり、顔が左を向くのに応じて高くなる一方、顔が右を向くのに応じて低くなる傾向を示す。

また、顔向き検出部２０８は、左右の耳介の面積の比率が、ロール方向の顔向きの変化に応じて変化することを利用してロール方向の顔向きを検出してもよい。左右の耳介の面積の比率の、ロール方向の顔向きの変化に応じた変化の傾向については、右耳介に対する左耳介の面積の比率は、顔が時計回りに傾くのに応じて高くなる傾向を示す。なお、右耳介に対する左耳介の面積の比率は、顔が反時計回りに傾くのに応じて低くなる傾向を示す。左耳介に対する右耳介の面積の比率は、傾向が逆となり、顔が時計回りに傾くのに応じて高くなる一方、顔が反時計回りに傾くのに応じて低くなる傾向を示す。

上述のような対象領域の面積を用いるのに加え、対象領域の形状も用いて、顔向きを検出してもよい。顔向き検出部２０８は、鼻孔，耳介といった対象領域の形状を用いて、顔向きを検出する。より詳しくは、鼻孔，耳介といった対象領域の形状が、顔向きの変化に応じて変化することを利用して顔向きを検出する。一例としては、耳介の形状が、ロール方向の顔向きの変化に応じて変化することを利用して顔向きを検出する。

ここで、図９及び図１０を用いて、ロール方向の顔向きの変化に応じた耳介の形状の変化の傾向について説明する。図１０の点線は、図９に示すロール方向の顔向きの変化に応じた、左耳介の角度（図１０のleft pinna angle）の変化の傾向を示すグラフである。ここでは一例として、耳介の角度として、二値化画像における耳介のうちの、顔にあたる白色領域との間の黒色領域との境界部分の角度を用いる。図１０では、顔の時計回り方向に傾く角度を正の値とし、反時計回りに傾く角度を負の値としている。図１０に示すように、左耳介の角度は、顔が時計回りに傾くのに応じて大きくなる傾向を示す。右耳介の場合は、傾向が逆となり、右耳介の角度は、顔が反時計回りに傾くのに応じて大きくなる。

他にも、例えば顔が一定以上下を向くと左右の鼻孔が二値化画像において分離できなくなるといった、鼻孔の形状がピッチ方向の顔向きの変化に応じて変化することを利用して顔向きを検出する等してもよい。また、耳介の角度がピッチ方向の顔向きの変化に応じて変化することを利用して顔向きを検出する等してもよい。

また、対象領域の面積を用いるのに加え、顔画像中の基準点に対する対象領域の相対位置も用いて、顔向きを検出してもよい。顔画像中の基準点は、耳，鼻以外の眼，口といった特定の顔部位としてもよいし、顔の領域の中心点等の顔画像上の所定位置としてもよい。本実施形態では、基準点が顔の領域の中心点である場合を例に挙げて以降の説明を行う。

一例として、顔向き検出部２０８は、鼻孔，耳介といった対象領域の基準点に対する相対位置を用いて、顔向きを検出する。顔向き検出部２０８は、顔画像中の基準点に対する、顔画像中の鼻孔，耳介といった対象領域の相対位置が、顔向きの変化に応じて変化することを利用して顔向きを検出する。

例えば、基準点に対する鼻孔，耳介の相対位置は、顔が上を向くのに応じて基準点よりも上方に離間していく一方、顔が下を向くのに応じて基準点よりも下方に離間していくといったように、ロール方向の顔向きの変化に応じて変化する。基準点に対する左鼻孔の相対位置は、顔が右を向くのに応じて基準点よりも画像上の左方に離間していき、基準点に対する右鼻孔の相対位置は、顔が左を向くのに応じて基準点よりも画像上の右方に離間していくといったように、ヨー方向の顔向きの変化に応じて変化する。基準点に対する左耳介の相対位置は、顔が右を向くのに応じて画像上の左方に向けて基準点に接近していき、基準点に対する右鼻孔の相対位置は、顔が左を向くのに応じて画像上の右方に向けて基準点に接近していくといったように、ヨー方向の顔向きの変化に応じて変化する。基準点に対する右耳介の相対位置は、顔が時計回りに傾くのに応じて基準点よりも上方に離間していく一方、基準点に対する左耳介の相対位置は、顔が時計回りに傾くのに応じて基準点よりも下方に離間していくといったように、ロール方向の顔向きの変化に応じて変化する。なお、顔が反時計回りに傾く場合は逆の傾向を示す。

顔向き検出部２０８でのピッチ方向、ヨー方向、及びロール方向の顔向きの検出の具体的な一例については、後に詳述する。なお、顔向き検出部２０８は、鼻孔，耳介のうち、鼻孔／耳介抽出部２０５で左右識別して抽出できない対象部位については、その対象領域の面積を用いずに、顔向きを検出すればよい。ただし、この場合、対象領域の面積を用いない分だけ、顔向きの検出精度が安定しないことになる。一例として、顔向き検出部２０８は、対象領域の面積を用いずに、その対象領域の形状及び／又は顔画像中の基準点に対する対象領域の相対位置を用いて顔向きを検出したり、特徴部位検出部２０３で検出する各特徴部位の存在領域の相対的な位置関係から顔向きを検出したりすればよい。

例えば、対象領域の形状を用いて顔向きを検出する場合には、顔向き別に対象領域の形状を対応付けたマップ等を参照することで、対象領域の形状から顔向きを検出すればよい。顔画像中の基準点に対する対象領域の相対位置を用いて顔向きを検出する場合には、顔向き別に基準点に対する対象領域の相対位置を対応付けたマップ等を参照することで、基準点に対する対象領域の相対位置から顔向きを検出すればよい。

また、顔向き検出部２０８は、基準設定部２０７が、前述した個々のドライバに応じた基準面積を設定する構成を採用する場合には、基準面積が設定されるまで、対象領域の形状及び／又は顔画像中の基準点に対する対象領域の相対位置を用いてドライバの顔向きを検出したり、特徴部位検出部２０３で検出する各特徴部位の存在領域の相対的な位置関係から顔向きを検出したりする構成とすればよい。

特定顔向き判定部２０９は、自車の運転状況及び周辺環境の少なくともいずれかをもとにドライバの特定の顔向きを判定する。特定顔向き判定部２０９は、自車の運転状況については、車両状態センサ４のセンシング結果，操作スイッチ５の信号等から特定すればよい。また、特定顔向き判定部２０９は、自車の周辺環境については、運転支援ＥＣＵ７で認識する周辺環境を取得すればよい。特定顔向き判定部２０９は、ドライバの顔向きが特定の方向を向いていると推定できる自車の運転状況及び周辺環境の少なくともいずれかをもとにドライバの特定の顔向きを判定する。一例としては、鏡面調整ＳＷの信号から、自車の電動格納ミラーの鏡面角度を調整している運転状況を特定している場合には、鏡面角度を調整中の電動格納ミラーが位置する方向をドライバの特定の顔向きとして判定すればよい。

キャリブレーション部２１０は、特定顔向き判定部２０９で特定の顔向きを判定できる場合に、その特定の顔向きに対する、特定顔向き判定部２０９でその特定の顔向きを判定する場合に顔向き検出部２０８で検出するドライバの顔向きのずれを用いて、以降の顔向き検出部２０８でのドライバの顔向きの検出についての補正を行う。一例としては、このずれを解消する分だけ、以降の顔向き検出部２０８で検出するドライバの顔向きをずらす構成とすればよい。このキャリブレーション部２１０が補正部に相当する。

＜ＨＣＵ２０での顔向き検出関連処理＞
続いて、図１１のフローチャートを用いて、ＨＣＵ２０でのドライバの顔向きの検出に関連する処理（以下、顔向き検出関連処理）の流れの一例について説明を行う。図１１のフローチャートは、例えば、自車のイグニッション電源がオンになったときにＨＣＵ２０の電源もオンになり開始する構成とすればよい。

まず、ステップＳ１では、画像処理部２０１が、近赤外カメラ２２１及び近赤外光源２２２の駆動制御を行い、近赤外カメラ２２１によって撮像される顔画像を取得する。ステップＳ２では、顔検出部２０２が、Ｓ１で取得する顔画像から顔の領域を検出する。ステップＳ３では、特徴部位検出部２０３が、Ｓ２で検出する顔の領域での眼，鼻，口，耳といった顔の特徴部位の存在領域を検出する。

ステップＳ４では、二値化処理部２０４が、Ｓ１で取得する顔画像に対して二値化処理を行って、輝度が閾値未満の部位を白色とし、輝度が閾値以上の部位を黒色とする。Ｓ４では、Ｓ１で取得する顔画像に対して、鼻孔を抽出するための閾値を用いる二値化処理と、耳介を抽出するための閾値を用いる二値化処理とをそれぞれ行う。

ステップＳ５では、鼻孔／耳介抽出部２０５が、Ｓ４で二値化処理を行った顔画像から鼻孔，耳介を抽出する。Ｓ５では、鼻孔を抽出するための閾値を用いて二値化処理を行った顔画像から鼻孔を抽出し、耳介を抽出するための閾値を用いて二値化処理を行った顔画像から耳介を抽出する。そして、鼻孔及び／又は耳介の抽出が完了できる場合（Ｓ５でＹＥＳ）には、ステップＳ７に移る。一方、鼻孔及び／又は耳介の抽出が完了できない場合（Ｓ５でＮＯ）には、ステップＳ６に移る。

ステップＳ６では、二値化処理部２０４が、鼻孔及び／又は耳介の抽出が完了できるように閾値を調整し、Ｓ４に戻って処理を繰り返す。鼻孔及び／又は耳介の抽出が完了できる場合とは、抽出できる鼻孔，耳介が確定できる場合を示す。一例としては、左右の鼻孔及び左右の耳介のいずれもが左右を識別して抽出できた場合であったり、Ｓ６での閾値の調整を規定回数繰り返しても左右を識別した鼻孔，耳介の抽出ができなかったりした場合が挙げられる。ステップＳ７では、抽出できた鼻孔及び／又は耳介の面積を特定する。

ここでは、Ｓ２〜Ｓ３の処理の後に、Ｓ４〜Ｓ７の処理を行う構成を例に挙げて説明したが、必ずしもこれに限らない。例えば、Ｓ２〜Ｓ３の処理と、Ｓ４〜Ｓ７の処理とは、並列して処理を行う構成としてもよいし、Ｓ４〜Ｓ７の処理の後に、Ｓ２〜Ｓ３の処理を行う構成としてもよい。

ステップＳ８では、顔向き検出部２０８が、ピッチ方向の顔向きを検出するピッチ方向検出処理を行って、ステップＳ９に移る。ここで、図１２のフローチャートを用いて、ピッチ方向検出処理の流れの一例について説明を行う。

ステップＳ８１では、Ｓ５で鼻孔及び耳介の少なくともいずれかが、左右識別して左右両方抽出できている場合（Ｓ８１でＹＥＳ）には、ステップＳ８２に移る。一方、Ｓ５で鼻孔及び／又は耳介の左右片方しか抽出できていない場合（Ｓ８１でＮＯ）には、ステップＳ８３に移る。

ステップＳ８２では、左右の鼻孔が左右識別して抽出できている場合、基準面積に対する鼻孔の面積の割合（以下、鼻孔面積割合）と、左右の鼻孔の面積の比率とから、ピッチ方向の顔向きを検出する。鼻孔面積割合は、左右の鼻孔についての基準面積に対する鼻孔の面積の割合であってもよいし、片方の鼻孔についての基準面積に対するその片方の鼻孔の面積の割合であってもよい。一例としては、鼻孔面積割合と、左右の鼻孔の面積の比率と、ピッチ方向の顔向きとが対応付けられたマップを参照して、鼻孔面積割合と、左右の鼻孔の面積の比率とから、ピッチ方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ピッチ方向の顔向きを検出するのに、ピッチ方向の顔向きに応じて前述した一定の傾向で変化する鼻孔面積割合だけでなく、左右の鼻孔の面積の比率を用いるのは、ピッチ方向の顔向きに応じた鼻孔面積割合を求めるための基準面積が、ヨー方向の顔向きごとに異なるためである。これに対して、ヨー方向の顔向きに応じて前述した一定の傾向で変化する左右の鼻孔の面積の比率も含むマップを用いることで、異なるヨー方向の顔向きごとのピッチ方向の顔向きを、鼻孔面積割合から検出することが可能になる。ここでは、鼻孔面積割合は、ロール方向の顔向きの変化の影響を受けにくいものとしている。

以上の構成によれば、鼻孔面積割合と左右の鼻孔の面積の比率とのいずれも、鼻孔の位置の検出に誤差がある場合でも、鼻孔の大きさが変動するのではないため、鼻孔の位置の検出誤差の影響を特に受け難い。よって、ドライバのピッチ方向の顔向きの検出精度を特に安定させることが可能になる。

なお、鼻孔面積割合と、左右の鼻孔の面積の比率とに加え、前述したピッチ方向の顔向きの変化に応じて変化する鼻孔の形状も用いることで、ピッチ方向の顔向きの検出精度をさらに向上させてもよい。

また、Ｓ８２では、左右の耳介が左右識別して抽出できている場合、基準面積に対する耳介の面積の割合（以下、耳介面積割合）と、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置とから、ピッチ方向の顔向きを検出する。耳介面積割合は、左右の耳介についての基準面積に対する耳介の面積の割合であってもよいし、片方の耳介についての基準面積に対するその片方の耳介の面積の割合であってもよい。一例としては、耳介面積割合と、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置と、ピッチ方向の顔向きとが対応付けられたマップを参照して、耳介面積割合と、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置とから、ピッチ方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ピッチ方向の顔向きを検出するのに、ピッチ方向の顔向きに応じて前述した一定の傾向で変化する耳介面積割合だけでなく、基準点に対する左右の耳介の相対位置を用いるのは、耳介面積割合だけでは判別が困難な、顔が正面よりも上を向いているか下を向いているかを判別するためである。また、耳介面積割合だけでなく、左右の耳介の面積の比率及び基準点に対する左右の耳介の相対位置を用いるのは、ピッチ方向の顔向きに応じた耳介面積割合を求めるための基準面積が、ヨー方向及びロール方向の顔向きごとに異なるためである。これに対して、ヨー方向の顔向きに応じて前述した一定の傾向で変化する左右の耳介の面積の比率と、ロール方向の顔向きに応じて前述した一定の傾向で変化する基準点に対する左右の耳介の相対位置とをも含むマップを用いることで、異なるヨー方向及びロール方向の顔向きごとのピッチ方向の顔向きを、耳介面積割合から検出することが可能になる。

他にも、Ｓ８２では、左右の耳介が左右識別して抽出できている場合、耳介面積割合と、左右の耳介の面積の比率と、耳介の形状と、基準点に対する耳介の相対位置（以下、耳介相対位置）とから、ピッチ方向の顔向きを検出してもよい。耳介の形状は、片方の耳介についての角度とすればよい。ここでの耳介相対位置は、左右の耳介の相対位置であってもよいし、左右いずれかの耳介の相対位置であってもよい。一例としては、耳介面積割合と、左右の耳介の面積の比率と、耳介の形状と耳介相対位置と、ピッチ方向の顔向きとが対応付けられたマップを参照して、耳介面積割合と、左右の耳介の面積の比率と、耳介の形状と、耳介相対位置とから、ピッチ方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。ヨー方向の顔向きに応じて前述した一定の傾向で変化する左右の耳介の面積の比率と、ロール方向の顔向きに応じて前述した一定の傾向で変化する耳介の形状とをも含むマップを用いることで、異なるヨー方向及びロール方向の顔向きごとのピッチ方向の顔向きを、耳介面積割合から検出することが可能になる。

以上の構成によれば、耳介面積割合と左右の耳介の面積の比率とのいずれも、耳介の位置の検出に誤差がある場合でも、耳介の大きさが変動するのではないため、耳介の位置の検出誤差の影響をより受け難い。よって、ドライバのピッチ方向の顔向きの検出精度をより安定させることが可能になる。

Ｓ８２では、鼻孔と耳介とのうち、左右両方が抽出できている対象領域がいずれか一方のみである場合には、その一方の対象領域の面積を用いてピッチ方向の顔向きを検出する構成とすればよい。これによれば、ドライバがマスクを着用しているため、耳介は抽出できるが鼻孔を抽出できない場合に、耳介の面積を用いてピッチ方向の顔向きを検出することなどが可能になる。また、左右の鼻孔と左右の耳介とのいずれも抽出できている場合には、いずれか一方の対象領域の面積を用いてピッチ方向の顔向きを検出する構成とすればよい。この場合、ピッチ方向の顔向き検出に必須の情報の種類が少ない分だけ処理負荷軽減が可能となるため、鼻孔の面積を用いてピッチ方向の顔向きを検出する構成としてもよい。また、鼻孔の面積を用いて検出したピッチ方向の顔向きと耳介の面積を用いて検出したピッチ方向の顔向きとの平均値を用いるなど、両方を用いてピッチ方向の顔向きを検出する構成としてもよい。なお、Ｓ８２の処理の後は、ステップＳ９に移る。

ステップＳ８３では、Ｓ５で左右片方だけ抽出できたその片方の左右識別ができた場合（Ｓ８３でＹＥＳ）には、ステップＳ８４に移る。一方、Ｓ５で左右片方だけ抽出できたその片方の左右識別ができなかった場合（Ｓ８３でＮＯ）には、ステップＳ８５に移る。

ステップＳ８４では、片方の鼻孔が左右識別して抽出できている場合、鼻孔面積割合と、基準点に対する鼻孔の相対位置（以下、鼻孔相対位置）とから、ピッチ方向の顔向きを検出する。ここでの鼻孔相対位置は、左右の鼻孔の相対位置であってもよいし、左右いずれかの鼻孔の相対位置であってもよい。一例としては、鼻孔面積割合と鼻孔相対位置とが対応付けられたマップを参照して、鼻孔面積割合と鼻孔相対位置とから、ピッチ方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ピッチ方向の顔向きを検出するのに、鼻孔面積割合だけでなく、鼻孔相対位置を用いるのは、ピッチ方向の顔向きに応じた鼻孔面積割合を求めるための基準面積が、ヨー方向の顔向きごとに異なるためである。これに対して、ヨー方向の顔向きに応じて前述した一定の傾向で変化する鼻孔相対位置も含むマップを用いることで、異なるヨー方向の顔向きごとのピッチ方向の顔向きを、鼻孔面積割合から検出することが可能になる。

以上の構成によれば、鼻孔面積割合は、鼻孔の位置の検出に誤差がある場合でも、鼻孔の大きさが変動するのではないため、鼻孔の位置の検出誤差の影響をより受け難い。よって、以上の構成によれば、ドライバのピッチ方向の顔向きの検出精度をより安定させることが可能になる。

なお、鼻孔面積割合と鼻孔相対位置とに加え、前述したピッチ方向の顔向きの変化に応じて変化する鼻孔の形状も用いることで、ピッチ方向の顔向きの検出精度をさらに向上させてもよい。

また、Ｓ８４では、片方の耳介が左右識別して抽出できている場合、耳介面積割合と、耳介の形状と、耳介相対位置とから、ピッチ方向の顔向きを検出する。耳介の形状は、耳介についての角度とすればよい。一例としては、耳介面積割合と、耳介の角度と、耳介相対位置と、ピッチ方向の顔向きとが対応付けられたマップを参照して、耳介面積割合と、耳介の形状と、耳介相対位置とから、ピッチ方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ピッチ方向の顔向きを検出するのに、耳介面積割合だけでなく、耳介の角度及び基準点に対する左右の耳介の相対位置を用いるのは、耳介面積割合だけでは判別が困難な、顔が正面よりも上を向いているか下を向いているかのいずれかを判別するためと、ピッチ方向の顔向きに応じた耳介面積割合を求めるための基準面積が、ヨー方向及びロール方向の顔向きごとに異なるためである。これに対して、ピッチ方向の顔向きに応じて前述した一定の傾向で変化する耳介相対位置をも含むマップを用いることで、顔が正面よりも上を向いているか下を向いているかのいずれかを判別することが可能になる。また、ヨー方向の顔向きに応じて前述した一定の傾向で変化する耳介相対位置と、ロール方向の顔向きに応じて前述した一定の傾向で変化する耳介の角度及び耳介相対位置とをも含むマップを用いることで、異なるヨー方向及びロール方向の顔向きごとのピッチ方向の顔向きを、耳介面積割合から検出することが可能になる。

以上の構成によれば、耳介面積割合は、耳介の位置の検出に誤差がある場合でも、耳介の大きさが変動するのではないため、耳介の位置の検出誤差の影響をより受け難い。よって、ドライバのピッチ方向の顔向きの検出精度をより安定させることが可能になる。

Ｓ８４では、鼻孔と耳介とのうち、抽出できている対象領域がいずれか一方のみである場合には、その一方の対象領域の面積を用いてピッチ方向の顔向きを検出する構成とすればよい。また、鼻孔と耳介とのいずれも抽出できている場合には、いずれか一方の対象領域の面積を用いてピッチ方向の顔向きを検出する構成とすればよい。この場合、ピッチ方向の顔向き検出に必須の情報の種類が少ない分だけ処理負荷軽減が可能となるため、鼻孔の面積を用いてピッチ方向の顔向きを検出する構成としてもよい。また、鼻孔の面積を用いて検出したピッチ方向の顔向きと耳介の面積を用いて検出したピッチ方向の顔向きとの平均値を用いるなど、両方を用いてピッチ方向の顔向きを検出する構成としてもよい。他にも、両方を組み合わせて、例えば、耳介面積割合と鼻孔相対位置と、ピッチ方向の顔向きとが対応付けられたマップを参照して、耳介面積割合と鼻孔相対位置とから、ピッチ方向の顔向きを検出する等してもよい。なお、Ｓ８４の処理の後は、ステップＳ９に移る。

ステップＳ８５では、特徴部位検出部２０３で検出する各特徴部位の存在領域の相対的な位置関係からピッチ方向の顔向きを検出し、ステップＳ９に移る。

ステップＳ９では、顔向き検出部２０８が、ヨー方向の顔向きを検出するヨー方向検出処理を行って、ステップＳ１０に移る。ここで、図１３のフローチャートを用いて、ヨー方向検出処理の流れの一例について説明を行う。

ステップＳ９１では、Ｓ５で鼻孔及び耳介の少なくともいずれかが、左右識別して左右両方抽出できている場合（Ｓ９１でＹＥＳ）には、ステップＳ９２に移る。一方、Ｓ５で鼻孔及び／又は耳介の左右片方しか抽出できていない場合（Ｓ９１でＮＯ）には、ステップＳ９３に移る。

ステップＳ９２では、左右の鼻孔が左右識別して抽出できている場合、左右の鼻孔の面積の比率から、ヨー方向の顔向きを検出する。一例としては、左右の鼻孔の面積の比率と、ヨー方向の顔向きとが対応付けられたマップを参照して、左右の鼻孔の面積の比率から、ヨー方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。ここでは、左右の鼻孔の面積の比率は、ピッチ方向，ロール方向の顔向きの変化の影響を受けにくいものとしている。

以上の構成によれば、左右の鼻孔の面積の比率は、鼻孔の位置の検出に誤差がある場合でも、鼻孔の大きさが変動するのではないため、鼻孔の位置の検出誤差の影響を特に受け難い。よって、ドライバのピッチ方向の顔向きの検出精度を特に安定させることが可能になる。なお、左右の鼻孔の面積の比率に加え、ヨー方向の顔向きの変化に応じて変化する鼻孔の形状等の他の指標も用いることで、ヨー方向の顔向きの検出精度をさらに向上させてもよい。

また、Ｓ９２では、左右の耳介が左右識別して抽出できている場合、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置とから、ヨー方向の顔向きを検出する。一例としては、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置と、ヨー方向の顔向きとが対応付けられたマップを参照して、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置とから、ヨー方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ヨー方向の顔向きを検出するのに、ヨー方向の顔向きに応じて前述した一定の傾向で変化する左右の耳介の面積の比率だけでなく、基準点に対する左右の耳介の相対位置を用いるのは、ヨー方向の顔向きに応じた左右の耳介の面積の比率の変化が、ロール方向の顔向きごとに異なるためである。これに対して、ロール方向の顔向きに応じて前述した一定の傾向で変化する基準点に対する左右の耳介の相対位置も含むマップを用いることで、異なるロール方向の顔向きごとのヨー方向の顔向きを、左右の耳介の面積の比率から検出することが可能になる。ここでは、左右の耳介の面積の比率は、ピッチ方向の顔向きの変化の影響を受けにくいものとしている。

他にも、Ｓ９２では、左右の耳介が左右識別して抽出できている場合、左右の耳介の面積の比率と、耳介の形状と、耳介相対位置とから、ヨー方向の顔向きを検出してもよい。耳介の形状は、片方の耳介についての角度とすればよい。ここでの耳介相対位置は、左右の耳介の相対位置であってもよいし、左右いずれかの耳介の相対位置であってもよい。一例としては、左右の耳介の面積の比率と、耳介の形状と、耳介相対位置と、ヨー方向の顔向きとが対応付けられたマップを参照して、左右の耳介の面積の比率と、耳介の形状と、耳介相対位置とから、ヨー方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。ロール方向の顔向きに応じて前述した一定の傾向で変化する耳介の形状及び耳介相対位置も含むマップを用いることで、異なるロール方向の顔向きごとのヨー方向の顔向きを、左右の耳介の面積の比率から検出することが可能になる。

以上の構成によれば、左右の耳介の面積の比率は、耳介の位置の検出に誤差がある場合でも、耳介の大きさが変動するのではないため、耳介の位置の検出誤差の影響をより受け難い。よって、ドライバのピッチ方向の顔向きの検出精度をより安定させることが可能になる。なお、左右の耳介の面積の比率に加え、ヨー方向の顔向きの変化に応じて変化する他の指標も用いることで、ヨー方向の顔向きの検出精度をさらに向上させてもよい。

Ｓ９２では、鼻孔と耳介とのうち、左右両方が抽出できている対象領域がいずれか一方のみである場合には、その一方の対象領域の面積を用いてピッチ方向の顔向きを検出する構成とすればよい。これによれば、ドライバがマスクを着用しているため、耳介は抽出できるが鼻孔を抽出できない場合に、耳介の面積を用いてヨー方向の顔向きを検出することなどが可能になる。また、左右の鼻孔と左右の耳介とのいずれも抽出できている場合には、いずれか一方の対象領域の面積を用いてヨー方向の顔向きを検出する構成とすればよい。この場合、ヨー方向の顔向き検出に必須の情報の種類が少ない分だけ処理負荷軽減が可能となるため、鼻孔の面積を用いてヨー方向の顔向きを検出する構成としてもよい。また、鼻孔の面積を用いて検出したヨー方向の顔向きと耳介の面積を用いて検出したヨー方向の顔向きとの平均値を用いるなど、両方を用いてピッチ方向の顔向きを検出する構成としてもよい。なお、Ｓ９２の処理の後は、ステップＳ１０に移る。

ステップＳ９３では、Ｓ５で左右片方だけ抽出できたその片方の左右識別ができた場合（Ｓ９３でＹＥＳ）には、ステップＳ９４に移る。一方、Ｓ５で左右片方だけ抽出できたその片方の左右識別ができなかった場合（Ｓ９３でＮＯ）には、ステップＳ９５に移る。

ステップＳ９４では、片方の鼻孔が左右識別して抽出できている場合、鼻孔面積割合と鼻孔相対位置とから、ヨー方向の顔向きを検出する。一例としては、鼻孔面積割合と鼻孔相対位置とが対応付けられたマップを参照して、鼻孔面積割合と鼻孔相対位置とから、ヨー方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ヨー方向の顔向きを検出するのに、鼻孔面積割合だけでなく、鼻孔相対位置を用いるのは、ヨー方向の顔向きに応じた鼻孔面積割合を求めるための基準面積が、ピッチ方向の顔向きごとに異なるためである。これに対して、ピッチ方向の顔向きに応じて前述した一定の傾向で変化する鼻孔相対位置も含むマップを用いることで、異なるピッチ方向の顔向きごとのヨー方向の顔向きを、鼻孔面積割合から検出することが可能になる。ここでは、鼻孔面積割合は、ロール方向の顔向きの変化の影響を受けにくいものとしている。

以上の構成によれば、鼻孔面積割合は、鼻孔の位置の検出に誤差がある場合でも、鼻孔の大きさが変動するのではないため、鼻孔の位置の検出誤差の影響をより受け難い。よって、以上の構成によれば、ドライバのピッチ方向の顔向きの検出精度をより安定させることが可能になる。なお、鼻孔面積割合に加え、ヨー方向の顔向きの変化に応じて変化する鼻孔の形状等の他の指標も用いることで、ヨー方向の顔向きの検出精度をさらに向上させてもよい。

また、Ｓ９４では、片方の耳介が左右識別して抽出できている場合、耳介面積割合と、耳介の形状と、耳介相対位置とから、ヨー方向の顔向きを検出する。耳介の形状は、耳介についての角度とすればよい。一例としては、耳介面積割合と、耳介の角度と、耳介相対位置と、ヨー方向の顔向きとが対応付けられたマップを参照して、耳介面積割合と、耳介の形状と、耳介相対位置とから、ヨー方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ヨー方向の顔向きを検出するのに、耳介面積割合だけでなく、耳介の角度及び耳介相対位置を用いるのは、ヨー方向の顔向きに応じた耳介面積割合を求めるための基準面積が、ピッチ方向及びロール方向の顔向きごとに異なるためである。これに対して、ピッチ方向及びロール方向の顔向きに応じて前述した一定の傾向で変化する耳介の角度及び耳介相対位置をも含むマップを用いることで、異なるピッチ方向及びロール方向の顔向きごとのヨー方向の顔向きを、耳介面積割合から検出することが可能になる。

以上の構成によれば、耳介面積割合は、耳介の位置の検出に誤差がある場合でも、耳介の大きさが変動するのではないため、耳介の位置の検出誤差の影響をより受け難い。よって、ドライバのヨー方向の顔向きの検出精度をより安定させることが可能になる。

Ｓ９４では、鼻孔と耳介とのうち、抽出できている対象領域がいずれか一方のみである場合には、その一方の対象領域の面積を用いてヨー方向の顔向きを検出する構成とすればよい。また、鼻孔と耳介とのいずれも抽出できている場合には、いずれか一方の対象領域の面積を用いてヨー方向の顔向きを検出する構成とすればよい。この場合、ヨー方向の顔向き検出に必須の情報の種類が少ない分だけ処理負荷軽減が可能となるため、鼻孔の面積を用いてヨー方向の顔向きを検出する構成としてもよい。なお、Ｓ９４の処理の後は、ステップＳ１０に移る。

ステップＳ９５では、特徴部位検出部２０３で検出する各特徴部位の存在領域の相対的な位置関係からヨー方向の顔向きを検出し、ステップＳ１０に移る。

ステップＳ１０では、顔向き検出部２０８が、ロール方向の顔向きを検出するロール方向検出処理を行って、ステップＳ１１に移る。ここで、図１４のフローチャートを用いて、ロール方向検出処理の流れの一例について説明を行う。

ステップＳ１０１では、Ｓ５で耳介が左右識別して左右両方抽出できている場合（Ｓ１０１でＹＥＳ）には、ステップＳ１０２に移る。一方、Ｓ５で耳介の左右片方しか抽出できていない場合（Ｓ１０１でＮＯ）には、ステップＳ１０３に移る。

ステップＳ１０２では、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置から、ロール方向の顔向きを検出する。一例としては、左右の耳介の面積の比率と、基準点に対する左右の耳介の相対位置と、ロール方向の顔向きとが対応付けられたマップを参照して、左右の耳介の面積の比率と基準点に対する左右の耳介の相対位置とから、ロール方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ロール方向の顔向きを検出するのに、ロール方向の顔向きに応じて前述した一定の傾向で変化する左右の耳介の面積の比率だけでなく、基準点に対する左右の耳介の相対位置を用いるのは、ロール方向の顔向きに応じた耳介の面積の比率の変化が、ヨー方向の顔向きごとに異なるためである。これに対して、ヨー方向の顔向きに応じて前述した一定の傾向で変化する、基準点に対する左右の相対位置も含むマップを用いることで、異なるヨー方向の顔向きごとのロール方向の顔向きを、左右の耳介の面積の比率から検出することが可能になる。ここでは、左右の鼻孔の面積の比率は、ピッチ方向の顔向きの変化の影響を受けにくいものとしている。

以上の構成によれば、左右の耳介の面積の比率は、耳介の位置の検出に誤差がある場合でも、耳介の大きさが変動するのではないため、耳介の位置の検出誤差の影響をより受け難い。よって、ドライバのロール方向の顔向きの検出精度をより安定させることが可能になる。なお、左右の耳介の面積の比率に加え、ロール方向の顔向きの変化に応じて変化する耳介の形状等の他の指標も用いることで、ロール方向の顔向きの検出精度をさらに向上させてもよい。なお、Ｓ１０２の処理の後は、ステップＳ１１に移る。

ステップＳ１０３では、Ｓ５で左右片方だけ抽出できたその片方の耳介の左右識別ができた場合（Ｓ１０３でＹＥＳ）には、ステップＳ１０４に移る。一方、Ｓ５で左右片方だけ抽出できたその片方の耳介の左右識別ができなかった場合（Ｓ１０３でＮＯ）には、ステップＳ１０５に移る。

ステップＳ１０４では、片方の耳介が左右識別して抽出できている場合、耳介面積割合と、耳介の形状と、耳介相対位置とから、ロール方向の顔向きを検出する。耳介の形状は、耳介についての角度とすればよい。一例としては、耳介面積割合と、耳介の角度と、耳介相対位置と、ロール方向の顔向きとが対応付けられたマップを参照して、耳介面積割合と、耳介の形状と、耳介相対位置とから、ロール方向の顔向きを検出する。このマップは、予めＨＣＵ２０の不揮発性メモリに格納しておく構成とすればよい。

ロール方向の顔向きを検出するのに、耳介面積割合だけでなく、耳介の角度及び耳介相対位置を用いるのは、ロール方向の顔向きに応じた耳介面積割合を求めるための基準面積が、ピッチ方向及びヨー方向の顔向きごとに異なるためである。これに対して、ピッチ方向の顔向きに応じて前述した一定の傾向で変化する耳介の角度及び耳介相対位置と、ヨー方向の顔向きに応じて前述した一定の傾向で変化する耳介相対位置とをも含むマップを用いることで、異なるピッチ方向及びヨー方向の顔向きごとのロール方向の顔向きを、耳介面積割合から検出することが可能になる。

以上の構成によれば、耳介面積割合は、耳介の位置の検出に誤差がある場合でも、耳介の大きさが変動するのではないため、耳介の位置の検出誤差の影響をより受け難い。よって、ドライバのヨー方向の顔向きの検出精度をより安定させることが可能になる。なお、Ｓ１０４の処理の後は、ステップＳ１１に移る。

ステップＳ１０５では、特徴部位検出部２０３で検出する各特徴部位の存在領域の相対的な位置関係からロール方向の顔向きを検出し、ステップＳ１１に移る。

ステップＳ１１では、顔向き検出部２０８が、Ｓ８で検出するピッチ方向，Ｓ９で検出するヨー方向，Ｓ１０で検出するロール方向から、ドライバのピッチ方向、ヨー方向、及びロール方向の顔向きを検出する。Ｓ１１では、キャリブレーション部２１０で顔向きの補正を行ってもよい。

ここでは、ピッチ方向検出処理，ヨー方向検出処理，ロール方向検出処理の順に処理を行う構成を例に挙げて説明したが、必ずしもこれに限らない。例えば、ピッチ方向検出処理，ヨー方向検出処理，ロール方向検出処理を並列して行う構成としてもよいし、順序を入れ替える構成としてもよい。また、ピッチ方向検出処理，ヨー方向検出処理，ロール方向検出処理で用いる上述のマップを統合したマップを用いることで、ピッチ方向、ヨー方向、及びロール方向をまとめて検出する構成としてもよい。

ステップＳ１２では、顔向き検出関連処理の終了タイミングであった場合（Ｓ１２でＹＥＳ）には、顔向き検出関連処理を終了する。一方、顔向き検出関連処理の終了タイミングでなかった場合（Ｓ１２でＮＯ）には、Ｓ１に戻って処理を繰り返す。顔向き検出関連処理の終了タイミングの一例としては、自車のイグニッション電源がオフになったとき等がある。

なお、ピッチ方向検出処理でのピッチ方向の顔向きの検出，ヨー方向検出処理でのヨー方向の顔向きの検出，ロール方向検出処理でのロール方向の顔向きの検出については、あくまで一例である。前述した鼻孔，耳介といった対象領域の面積の、ピッチ方向、ヨー方向、及びロール方向の顔向きの変化に応じた変化の傾向を利用する方法であれば、他の方法によって顔向きを検出してもよい。

＜実施形態１のまとめ＞
実施形態１の構成によれば、ドライバの顔を撮像して得られる顔画像中の鼻孔及び耳介の面積は、左右方向（つまり、ヨー方向）に限らない顔向きによっても変化するため、鼻孔及び／又は耳介の面積を用いてドライバの顔向きを検出することで、左右以外の顔向きもより精度良く検出することが可能になる。また、ドライバの顔を撮像して得られる顔画像中の鼻孔及び耳介の面積の特定は、鼻孔及び耳介の位置の検出に誤差がある場合でも、鼻孔及び耳介の位置が変動するのであって、鼻孔及び耳介の大きさが変動するのではないため、鼻孔及び耳介の位置の検出誤差の影響を受け難い。よって、鼻孔及び／又は耳介の面積を用いてドライバの顔向きを検出することで、ドライバの顔向きの検出精度をより安定させることが可能になる。その結果、ドライバの顔向きをより安定してより精度良く検出することが可能になる。

また、ドライバが眼鏡若しくはサングラスをかけている場合でも、鼻孔及び耳介を検出することは可能であるため、実施形態１の構成によれば、眼を検出して顔向きを検出する構成に比べて、顔向きが検出し易くなる。

（実施形態２）
実施形態１では、二値化処理部２０４で顔画像に対して二値化処理を行った後、鼻孔／耳介抽出部２０５で鼻孔，耳介の抽出を行う構成を示したが、必ずしもこれに限らない。例えば、ＨＣＵ２０は二値化処理部２０４を備えず、顔画像に対して二値化処理を行わずに鼻孔，耳介の抽出を行う構成としてもよい。

一例としては、近赤外光源２２２で照射する近赤外光といった、ドライバに対する照明の強度を上げることで、顔画像の輝度によって鼻孔，耳介の抽出を可能としてもよい。この場合、鼻孔を抽出するための輝度値未満の領域を鼻孔として抽出し、耳介を抽出するための輝度値以上の領域を耳介として抽出すればよい。鼻孔を抽出するための輝度値と、耳介を抽出するための輝度値とは、それぞれ別の輝度値とすればよい。

また、鼻孔，耳介のそれぞれを個別に抽出しやすくするため、照明の強度も対象領域別に切り替える構成としてもよい。さらに鼻孔／耳介抽出部２０５での鼻孔，耳介の抽出結果をもとに、照明の強度を変更しつつ、鼻孔，耳介の左右を分離できる強度の照明を探索したり、左右をうまく分離できないことを確認してから、片方の鼻孔，耳介をうまく抽出できる照明の強度を探索したりしてもよい。

なお、二値化処理部２０４で顔画像に対して二値化処理を行う場合であっても、鼻孔，耳介のそれぞれを個別に抽出しやすくするため、照明の強度を対象領域別に切り替える構成としてもよい。

（実施形態３）
前述の実施形態では、鼻孔及び耳介のいずれも対象領域とする構成を示したが、必ずしもこれに限らない。例えば、鼻孔及び耳介のうちの鼻孔のみを対象領域として顔向きを検出する構成としてもよいし、鼻孔及び耳介のうちの耳介のみを対象領域として顔向きを検出する構成としてもよい。ドライバがマスクをかけている場合でも、耳介を検出することは可能であるため、耳介を対象領域として顔向きを検出する場合、マスクで隠れる顔部位を用いて顔向きを検出する構成に比べて、顔向きが検出し易くなる。

（実施形態４）
前述の実施形態では、ピッチ方向、ヨー方向、及びロール方向の顔向きを検出する構成を示したが、必ずしもこれに限らない。例えば、ピッチ方向、ヨー方向、及びロール方向のうちの一部の方向の顔向きを検出する構成としてもよい。

（実施形態５）
前述の実施形態では、顔向きの検出をＨＣＵ２０で行う構成を示したが、必ずしもこれに限らない。例えば、カメラユニット２２と一体となった制御ユニットといった、ＨＣＵ２０以外の制御装置で顔向きの検出を行う構成としてもよい。

（実施形態６）
前述の実施形態では、顔向きを検出する装置を車両に適用する場合を例に挙げて説明を行ったが、必ずしもこれに限らず、車両以外の家屋，施設等で対象者の顔向きを検出するのに適用してもよい。

なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。

１ 車両システム、２ ＨＭＩシステム、３ ロケータ、４ 車両状態センサ、５ 操作スイッチ、６ 周辺監視センサ、７ 運転支援ＥＣＵ、２０ ＨＣＵ（顔向き検出装置）、２１ 報知装置、２２ カメラユニット、２０１ 画像処理部、２０２ 顔検出部、２０３ 特徴部位検出部、２０４ 二値化処理部、２０５ 鼻孔／耳介抽出部（対象領域抽出部）、２０６ 面積特定部、２０７ 基準設定部、２０８ 顔向き検出部、２０９ 特定顔向き判定部、２１０ キャリブレーション部（補正部）、２２１ 近赤外カメラ、２２２ 近赤外光源

Claims (18)

1. 対象者の顔を撮像して得られる顔画像から鼻孔及び耳介の少なくともいずれかである対象領域を抽出する対象領域抽出部（２０５）と、
   前記対象領域抽出部で抽出する前記対象領域の面積を特定する面積特定部（２０６）と、
   前記面積特定部で特定する前記対象領域の面積を用いて、前記対象者の顔向きを検出する顔向き検出部（２０８）とを備える顔向き検出装置。
2. 前記顔向き検出部は、前記面積特定部で特定する前記対象領域の面積を用いて、前記対象者の左右を軸とする顔の傾きであるピッチ方向の顔向きを検出する請求項１に記載の顔向き検出装置。
3. 前記顔向き検出部は、前記対象領域抽出部で前記顔画像から顔に左右一対存在する前記鼻孔の左右両方を抽出できる場合に、特定の顔向きにおける前記鼻孔の面積と推定される前記鼻孔についての基準面積に対する、前記面積特定部で特定する前記鼻孔の面積の割合と、左右の前記鼻孔の面積の比率とから、前記ピッチ方向の顔向きを検出する請求項２に記載の顔向き検出装置。
4. 前記顔向き検出部は、特定の顔向きにおける前記鼻孔の面積と推定される前記鼻孔についての基準面積に対する、前記面積特定部で特定する前記鼻孔の面積の割合と、前記顔画像中の基準点に対する前記鼻孔の相対位置とから、前記ピッチ方向の顔向きを検出する請求項２又は３に記載の顔向き検出装置。
5. 前記顔向き検出部は、前記対象領域抽出部で前記顔画像から顔に左右一対存在する前記耳介の左右両方を抽出できる場合に、特定の顔向きにおける前記耳介の面積と推定される前記耳介についての基準面積に対する、前記面積特定部で特定する前記耳介の面積の割合と、左右の前記耳介の面積の比率と、前記耳介の形状及び前記顔画像中の基準点に対する前記耳介の相対位置のうちの少なくともこの相対位置とから、前記ピッチ方向の顔向きを検出する請求項２〜４のいずれか１項に記載の顔向き検出装置。
6. 前記顔向き検出部は、特定の顔向きにおける前記耳介の面積と推定される前記耳介についての基準面積に対する、前記面積特定部で特定する前記耳介の面積の割合と、前記耳介の形状と、前記顔画像中の基準点に対する前記耳介の相対位置とから、前記ピッチ方向の顔向きを検出する請求項２〜５のいずれか１項に記載の顔向き検出装置。
7. 前記顔向き検出部は、前記面積特定部で特定する前記対象領域の面積を用いて、前記対象者の上下を軸とする顔の傾きであるヨー方向の顔向きを検出する請求項１〜６のいずれか１項に記載の顔向き検出装置。
8. 前記顔向き検出部は、前記対象領域抽出部で前記顔画像から顔に左右一対存在する前記鼻孔の左右両方を抽出できる場合に、左右の前記鼻孔の面積の比率から、前記ヨー方向の顔向きを検出する請求項７に記載の顔向き検出装置。
9. 前記顔向き検出部は、特定の顔向きにおける前記鼻孔の面積と推定される前記鼻孔についての基準面積に対する、前記面積特定部で特定する前記鼻孔の面積の割合と、前記顔画像中の基準点に対する前記鼻孔の相対位置とから、前記ヨー方向の顔向きを検出する請求項７又は８に記載の顔向き検出装置。
10. 前記顔向き検出部は、前記対象領域抽出部で前記顔画像から顔に左右一対存在する前記耳介の左右両方を抽出できる場合に、左右の前記耳介の面積の比率と、前記耳介の形状及び前記顔画像中の基準点に対する前記耳介の相対位置のうちの少なくともこの耳介の相対位置とから、前記ヨー方向の顔向きを検出する請求項７〜９のいずれか１項に記載の顔向き検出装置。
11. 前記顔向き検出部は、特定の顔向きにおける前記耳介の面積と推定される前記耳介についての基準面積に対する、前記面積特定部で特定する前記耳介の面積の割合と、前記耳介の形状と、前記顔画像中の基準点に対する前記耳介の相対位置とから、前記ヨー方向の顔向きを検出する請求項７〜１０のいずれか１項に記載の顔向き検出装置。
12. 前記対象領域抽出部は、前記顔画像から前記対象領域として少なくとも耳介を抽出するものであり、
    前記顔向き検出部は、前記面積特定部で特定する前記耳介の面積を用いて、前記対象者の前後を軸とする顔の傾きであるロール方向の顔向きを検出する請求項１〜１１のいずれか１項に記載の顔向き検出装置。
13. 前記顔向き検出部は、前記対象領域抽出部で前記顔画像から顔に左右一対存在する前記耳介の左右両方を抽出できる場合に、左右の前記耳介の面積の比率と、前記顔画像中の基準点に対する前記耳介の相対位置とから、前記ロール方向の顔向きを検出する請求項１２に記載の顔向き検出装置。
14. 前記顔向き検出部は、特定の顔向きにおける前記耳介の面積と推定される前記耳介についての基準面積に対する、前記面積特定部で特定する前記耳介の面積の割合と、前記耳介の形状及び前記顔画像中の基準点に対する前記耳介の相対位置の少なくともいずれかとから、前記ロール方向の顔向きを検出する請求項１２又は１３に記載の顔向き検出装置。
15. 車両で用いられ、
    前記車両の運転状況及び周辺環境の少なくともいずれかをもとに前記対象者の特定の顔向きを判定する特定顔向き判定部（２０９）と、
    前記特定顔向き判定部で前記特定の顔向きを判定できる場合に、その特定の顔向きに対する、前記特定顔向き判定部でその特定の顔向きを判定する場合に前記顔向き検出部で検出する前記対象者の顔向きのずれを用いて、以降の前記顔向き検出部での前記対象者の顔向きの検出についての補正を行う補正部（２１０）とを備える請求項１〜１４のいずれか１項に記載の顔向き検出装置。
16. 車両で用いられ、
    前記基準面積を用いずに逐次検出する前記対象者の顔向きの分布のうち最も頻度の高い顔向きを正面の向きとし、この正面の向きにおいて前記面積特定部で特定する前記対象領域の面積を前記基準面積とする基準設定部（２０７）を備える請求項３〜６、９、１１、及び１４のいずれか１項に記載の顔向き検出装置。
17. 対象者の顔を撮像して得られる顔画像から鼻孔及び耳介の少なくともいずれかである対象領域を抽出し、
    抽出する前記対象領域の面積を特定し、
    特定する前記対象領域の面積を用いて前記対象者の顔向きを検出する顔向き検出方法。
18. コンピュータを、
    対象者の顔を撮像して得られる顔画像から鼻孔及び耳介の少なくともいずれかである対象領域を抽出する対象領域抽出部（２０５）と、
    前記対象領域で抽出する前記対象領域の面積を特定する面積特定部（２０６）と、
    前記面積特定部で特定する前記対象領域の面積を用いて前記対象者の顔向きを検出する顔向き検出部（２０８）として機能させるための制御プログラム。