JP2008197722A - 顔追跡装置 - Google Patents

Abstract

【課題】円筒モデルが必要とする正面顔の画像データを自動で取得することができる顔追跡装置を提供
【解決手段】カメラにより運転者の顔を連続して撮像して、撮像した画像データを取得するとともに、カメラにより取得された画像データの中から、追跡対象とする顔領域を抽出する（Ｓ３０）。その後に、顔領域内の顔が正面を向いている顔（正面顔）であるか否かを顔形状モデルを用いて判定する処理を行う（Ｓ４０）。そして、この処理で正面顔であると判定された顔領域の画像データを、円筒モデルで必要とする初期値として、円筒モデルを用いて、カメラにより撮像された人間の顔の向きを検出する。
【選択図】図３

Description

本発明は、人間の顔が向いている方向の変化を追跡する顔追跡装置に関する。

近年、人間の顔を撮像した画像データに基づいて、人間の顔が向いている方向（以下、顔向き方向という）の変化を追跡する顔追跡装置を自動車に装備し、自動車の運転者の顔向き方向に基づいて、運転行動に応じた適切な支援を行う技術が提案されている。

従来、画像データに基づいて顔向き方向を検出する手法として、顔形状モデル（例えば、非特許文献１を参照）と、円筒モデル（例えば、非特許文献２を参照）が知られている。

顔形状モデルによれば、正面を向いている時の顔向き方向の水平角度を０°として水平角度で±１０°以内の顔向き方向を追跡することが可能である。しかし、例えば自動車の運転者が左右の安全確認を行う場合には顔向き方向が水平角度で±６０°程度変化するため、運転者による安全確認の動作を検出することができなかった。

一方、円筒モデルによれば、大きな水平角度の顔向き方向を追跡することが可能であり、運転者による安全確認の動作を検出するのに有効である。
I. Matthews and S. Baker, "Active Appearance Models Revisited," International Journal of Computer Vision, Vol. 60, No. 2, November, 2004, pp. 135 - 164. J. Xiao, T. Moriyama, T.Kanade, and J. Cohn, "Robust Full-Motion Recovery of Head by Dynamic Templates and Re-registration Techniques," International Journal of Imaging Systems and Technology, Vol.13, September, 2003, pp. 85 - 94.

しかしながら、上記円筒モデルは、正面を向いている時の顔（以下、正面顔という）の画像データを初期値として手動で予め設定しておかなければ利用することができないという問題があった。

本発明は、こうした問題に鑑みなされたものであり、円筒モデルが必要とする正面顔の画像データを自動で取得することができる顔追跡装置を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の顔追跡装置では、撮像手段が人間の顔を連続して撮像して、撮像した画像データを取得するとともに、抽出手段が、撮像手段により取得された画像データの中から、追跡対象とする顔の部位を抽出する。その後に判定手段が、抽出手段により抽出された画像データを、円筒モデルで必要とする初期値とすることができるか否かを判定する。そして顔方向検出手段が、判定手段により前記初期値とすることができると判定された画像データを前記初期値として、前記円筒モデルを用いて、前記撮像手段により撮像された人間の顔の向きを検出する。

このように構成された顔追跡装置によれば、円筒モデルで必要とする初期値を判定手段により自動で取得することができる。このため、顔追跡装置の利用者自身が手動で上記初期値を与えるという手間を省略することができ、利用者にとって利便性の高い装置を提供することができるという効果を奏する。

なお、円筒モデルでは通常、正面を向いている時の顔（以下、正面顔という）を上記初期値として利用する。そこで、請求項１に記載の顔追跡装置において、判定手段は、請求項２に記載のように、顔形状モデルを用いて、初期値とすることができるか否かを判定するようにするとよい。

この顔形状モデルは、例えば上記の非特許文献１に記載の技術であり、水平角度で±１０°以内の顔向き方向を追跡することが可能である。したがって、このように構成された顔追跡装置によれば、抽出手段により抽出された画像データが、正面顔であるか否かを精度良く判定することができる。また顔形状モデルは、顔の形状だけでなく顔の色合いをも条件に含めて正面顔であるか否かを判定することができるため、正面顔の表情に依存することなく精度良く正面顔であるか否かを判定することができる。

また、請求項２に記載のように顔形状モデルを用いて正面顔であるか否かを判定してもよいが、車両を運転する人の顔を追跡するために請求項１に記載の顔追跡装置を利用する場合には、請求項３に記載のように、判定手段は、顔形状モデルと、車両の状態を示す車両状態信号とを用いて、初期値とすることができるか否かを判定するようにするとよい。

このように構成された顔追跡装置によれば、顔形状モデルだけでなく車両状態信号を用いることにより、更に精度良く正面顔であるか否かを判定することができる。
この場合に、車両状態信号としては、請求項４に記載のように、車両に取り付けられた操舵角センサからの信号を用いるとよい。なぜならば、操舵角が大きいときには車両は右折か左折をしており、運転者が正面を向いている可能性が低い。このため、運転者が正面を向いているかを操舵角の大きさによりある程度判別可能であるからである。

また上述のように、操舵角が大きいときに運転者は正面を向いている可能性が低いという傾向があるため、正面顔であるか否かの判定に操舵角センサを用いる場合には、請求項５に記載のように、判定手段は、操舵角センサからの信号により得られる操舵角が０度を含むようにして予め設定された所定操舵角判定範囲に含まれる場合に、初期値とすることができると判定するようにするとよい。これにより、操舵角センサを用いた正面顔の判定を簡便に行うことができる。

また車両状態信号としては、請求項６に記載のように、車両に取り付けられた車速センサからの信号を用いるとよい。なぜならば、運転者が左右の確認をする頻度が多い右左折時の場合に車速は小さい。このため、運転者が正面を向いているかを車速の大きさによりある程度判別可能であるからである。

また上述のように、車速が小さいときに運転者は正面を向いている可能性が低いという傾向があるため、正面顔であるか否かの判定に車速センサを用いる場合には、請求項７に記載のように、判定手段は、車速センサからの信号により得られる車速が、予め設定された所定車速判定値以上である場合に、初期値とすることができると判定するようにするとよい。これにより、車速センサを用いた正面顔の判定を簡便に行うことができる。

また車両状態信号としては、請求項８に記載のように、車両に取り付けられた加速度センサからの信号を用いるとよい。なぜならば、運転者は車両の速度を上げるために加速している最中に通常は前方を注視している。このため、運転者が正面を向いているかを加速度の大きさによりある程度判別可能であるからである。

また上述のように、加速度が大きいときに運転者は正面を向いている可能性が高いという傾向があるため、正面顔であるか否かの判定に加速度センサを用いる場合には、請求項９に記載のように、判定手段は、加速度センサからの信号により得られる車両の進行方向に対する加速度が予め設定された所定加速度判定値以上である場合に、初期値とすることができると判定するようにするとよい。これにより、加速度センサを用いた正面顔の判定を簡便に行うことができる。

また車両状態信号としては、請求項１０に記載のように、車両に取り付けられたアクセル開度センサからの信号を用いるとよい。なぜならば、運転者は車両の速度を上げるために加速している最中、即ちアクセルを踏み込んでいる最中に通常は前方を注視している。このため、運転者が正面を向いているかをアクセル開度の大きさによりある程度判別可能であるからである。

また上述のように、アクセル開度が大きいときに運転者は正面を向いている可能性が高いという傾向があるため、正面顔であるか否かの判定にアクセル開度センサを用いる場合には、請求項１１に記載のように、判定手段は、アクセル開度センサからの信号により得られるアクセル開度が、予め設定された所定アクセル開度判定値以上である場合に、初期値とすることができると判定するようにするとよい。これにより、アクセル開度センサを用いた正面顔の判定を簡便に行うことができる。

以下に本発明の実施形態を図面とともに説明する。
図１は、本実施形態の顔追跡装置１の構成、及び顔追跡装置１が接続された車内ＬＡＮ２の概略構成を示すブロック図である。

図１に示すように、顔追跡装置１は、車両に搭載され、車内ＬＡＮ２を介してエンジンＥＣＵ３，ブレーキＥＣＵ４，ステアリングＥＣＵ５，ナビゲーションＥＣＵ６をはじめとする各種ＥＣＵや車載機器と接続されている。

このうちエンジンＥＣＵ３は、少なくとも、運転者のアクセルペダルの踏込量に応じたアクセル開度を検出するアクセル開度センサ１１からの検出信号に基づいて、エンジンの回転を制御するように構成されている。

またブレーキＥＣＵ４は、少なくとも、運転者のブレーキペダル操作に応じてブレーキ油を圧送するマスタシリンダの油圧からブレーキ操作量を検出するマスタシリンダ圧センサ（不図示）や、車速を検出する車速センサ１２からの検出信号に基づいて、ＡＢＳ制御やトラクション制御等を実行するように構成されている。

またステアリングＥＣＵ５は、少なくとも、ドライバのステアリング操作時における前輪の操舵角を検出する操舵角センサ１３からの検出信号に基づいて、操舵輪の舵角変更時のアシスト力を発生させるパワーステアリング制御を実行するように構成されている。

またナビゲーションＥＣＵ６は、ＧＰＳ（Global Positioning System）アンテナ（不図示）を介して受信したＧＰＳ信号や、車両の前後方向の加速度を検出する加速度センサ１４からの検出信号等に基づいて車両の現在位置を検出し、現在地から目的地までの経路案内等を実行するように構成されている。

そして、これらＥＣＵ３〜６等にて検出される各種車両情報（アクセル開度、車速など）は、車内ＬＡＮ２を介して相互に任意に送受信できるようにされている。
次に、顔追跡装置１は車両に搭載され、運転者の顔を連続して撮影するカメラ２１と、カメラ２１により撮影された画像のデータを一時的に記憶する画像キャプチャーボード２２と、各種のガイド音声等を出力するための音声出力部２３と、車内ＬＡＮ２を介して他の装置と各種車両情報等をやりとりする車内ＬＡＮ通信部２４と、上述した画像キャプチャーボード２２及び車内ＬＡＮ通信部２４からの入力に応じて各種処理を実行し、音声出力部２３及び車内ＬＡＮ通信部２４を制御する制御部２５とを備えている。

なお制御部２５は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ及びＲＡＭに記憶されたプログラムに基づいて各種処理を実行する。

ここで、図２は、制御部２５が実行する処理の概要を示す機能ブロック図である。
図２に示すように、制御部２５は、画像キャプチャーボード２２に一時的に記憶されている画像データを取得する顔画像取得部３１と、顔画像取得部３１にて取得した画像データにおいて顔を撮影している領域（以下、顔領域ともいう）を抽出する顔領域抽出部３２と、ＥＣＵ３〜６からの各種車両情報（アクセル開度、車速、操舵角、加速度）を参照して、顔領域抽出部３２にて抽出した顔領域内の顔が円筒モデルで必要とする初期値（以下、円筒モデル初期値という）であるか否かを判定する初期値判定部３３と、初期値判定部３３で円筒モデル初期値と判定された画像データを、円筒モデルで利用可能な形に加工してテンプレートとして記憶するテンプレート記憶部３４と、テンプレート記憶部３４にて保持されたテンプレートを用いて円筒モデルを適用することにより、顔画像取得部３１にて取得した画像データで示される顔が向いている方向（顔向き方向）を追跡する顔追跡部３５とを備えている。

このように構成された顔追跡装置１において、制御部２５は、円筒モデル初期値を取得する初期値取得処理と、カメラ２１で撮影した顔の顔向き方向を追跡する顔追跡処理とをそれぞれ独立に実行する。

ここで、顔追跡装置１の制御部２５が実行する初期値取得処理の手順を、図３を用いて説明する。図３は初期値取得処理を示すフローチャートである。この初期値取得処理は、制御部２５が起動（電源オン）している間に繰り返し実行される処理である。

この初期値取得処理が実行されると、制御部２５は、まずＳ１０にて、Ｓ７０でセットまたはＳ４６０でクリアされる初期値取得済フラグＦ１がセットされているか否かを判断する。即ち、円筒モデル初期値を取得しているか否かを判断する。ここで、初期値取得済フラグＦ１がセットされていれば、円筒モデル初期値を取得していると判断し（Ｓ１０）、初期値取得処理を一旦終了する。一方、初期値取得済フラグＦ１がセットされていなければ、円筒モデル初期値を取得していないと判断し（Ｓ１０）、Ｓ２０にて、画像キャプチャーボード２２から画像データを取得する。

その後Ｓ３０にて、Ｓ２０で取得した画像データから顔領域を抽出する処理を行う。具体的には、図６（ａ）に示すように、Ｓ２０で取得した画像データＧＤの各画素の輝度とその画素に隣接する画素の輝度の差分を算出することにより、縦方向Ｈ１のエッジと横方向Ｈ２のエッジを検出することにより、矩形状の顔領域ＫＲを抽出する。

次にＳ４０にて、Ｓ２０で取得した画像データＧＤの顔領域ＫＲ内の顔が正面を向いている顔（以下、正面顔ともいう）であるか否かを判定する正面顔判定処理（後述）を行う。そしてＳ５０にて、Ｓ４０の正面顔判定処理でセットまたはクリアされる正面顔判定フラグＦ２がセットされているか否かを判断する。即ち、顔領域ＫＲ内の顔が正面顔であるか否かを判断する。ここで、正面顔判定フラグＦ２がセットされていなければ、正面顔でないと判断し（Ｓ５０）、初期値取得処理を一旦終了する。一方、正面顔判定フラグＦ２がセットされていれば、正面顔であると判断し（Ｓ５０）、Ｓ６０に移行する。

そしてＳ６０では、まず、画像データＧＤにおいて顔領域ＫＲとして抽出された画像データを円筒モデル初期値と設定する。そして更に、円筒モデル初期値と設定された画像データを、図６（ｃ）に示すように、縦方向Ｈ１を軸とした円筒ＥＴの円周面に貼り付けるように加工するデータ処理を行う。そして、円筒ＥＴの円周面に貼り付けられた形に加工された画像データを、円筒モデルで使用するテンプレート（以下、初期値テンプレートという）として、制御部２５内のＲＡＭに記憶する。

その後Ｓ７０にて、初期値取得済フラグＦ１をセットするとともに、正面顔判定フラグＦ２をクリアして、初期値取得処理を一旦終了する。
次に、Ｓ４０にて行われる正面顔判定処理を、図４を用いて説明する。図４は正面顔判定処理を示すフローチャートである。

この正面顔判定処理が実行されると、制御部２５は、まずＳ２１０にて、顔形状モデルを用いて、Ｓ３０にて顔領域ＫＲとして抽出された画像データのフィッティングを行う。
ここで、図７（ａ）は基本形状ｓ₀を示す図、図７（ｂ）は形状ベクトルｓ₁を示す図、図７（ｃ）は形状ベクトルｓ₂を示す図、図７（ｄ）は形状ベクトルｓ₃を示す図である。尚、図７（ｂ），（ｃ），（ｄ）では、ベクトルの始点を明確にするために、基本形状ｓ₀の上にベクトルｓ₁，ｓ₂，ｓ₃を上書きしている。

顔形状モデルは、正面顔を三角形状の複数のメッシュで表現した基本形状 (base shape) ｓ₀(図７(ａ)を参照）と、基本形状ｓ₀からの顔向き方向を示すｎ個（ｎは自然数）の形状ベクトル（shape vector）ｓ_i（ｉ＝１，２，３・・・，ｎ）（図７（ｂ），（ｃ），（ｄ）を参照）とが予め設定されており、これら基本形状ｓ₀及びｎ個の形状ベクトルｓ_iを用いて（１）式により計算することにより、人間の顔の形状を表現する。

尚、（１）式のｐ_i（ｉ＝１，２，３・・・）は、重ね合せ係数である。また、形状ベクトルｓ_i（ｉ＝１，２，３・・・）は、基本形状ｓ₀を構成するメッシュの頂点（以下、メッシュ頂点ともいう）を始点とするベクトルであり、基本形状ｓ₀の全頂点について形状ベクトルｓ_iが設定されている（図７（ｂ），（ｃ），（ｄ）では、一部のメッシュ頂点についてのみ形状ベクトルｓ₁，ｓ₂，ｓ₃を表示している）。

更に顔形状モデルは、正面顔についての基本となる色合いを示す画像（base appearance image）Ａ₀（ｘ）（以下、基本色合い像Ａ₀（ｘ）という）と、色合いのフィッティングの際に基本色合い像Ａ₀（ｘ）に重ね合わせるためのｍ個（ｍは自然数）の色合い像（appearance image）Ａ_i（ｘ）（ｉ＝１，２，３・・・，ｍ）とが予め設定されており、これら基本色合い像Ａ₀（ｘ）及びｍ個の色合い像Ａ_i（ｘ）を用いて（２）式で計算することにより人間の顔の色合いを表現する。

ここで、ｘは基本形状ｓ₀内の２次元座標を示す。また、（２）式のλ_i（ｉ＝１，２，３・・・）は、重ね合せ係数である。

即ちＳ２１０では、（１）式および（２）式で得られる画像が、Ｓ２０で取得した画像ＧＤに一致するように、重ね合せ係数ｐ_i及び重ね合せ係数λ_iを変化させるフィッティングを行う（図６（ｂ）を参照）。そして、（１）式および（２）式で得られる画像と、Ｓ２０で取得した画像とが最も一致したときの、両画像の差異の度合いを示すエラー値（以下、顔画像エラー値という）を算出する。尚、この顔画像エラー値は、Ｓ２０で取得した画像の顔が正面顔に近付くほど小さくなるように算出される値である。

尚、顔追跡装置１は、性別、年代、人種に応じて異なる複数種類の基本形状ｓ₀、ｎ個の形状ベクトルｓ_i、基本色合い像Ａ₀（ｘ）、及びｍ個の色合い像Ａ_i（ｘ）を制御部２５のＲＯＭに記憶している。そして顔追跡装置１は、運転者が自身の性別、年代、人種に応じて複数種類のｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）から１つのｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）を選択できるように構成されている。

そしてＳ２１０の処理が終了すると、Ｓ２２０にて、Ｓ２１０のフィッティングで得られた顔画像エラー値が予め設定された第1所定エラー判定値（本実施形態では例えば２０）以下であるか否かを判断する。即ち、顔画像エラー値が第1所定エラー判定値以下であれば、Ｓ２０で取得した画像が正面顔の画像であると判断し、一方、顔画像エラー値が第1所定エラー判定値より大きければ、２０で取得した画像が正面顔の画像でないと判断する。

ここで、エラー値が第1所定エラー判定値より大きい場合には、正面顔の画像でないと判断し（Ｓ２２０）、Ｓ２８０にて正面顔判定フラグＦ２をクリアして、正面顔判定処理を一旦終了する。一方、エラー値が第1所定エラー判定値以下である場合には、正面顔の画像であると判断し（Ｓ２２０）、Ｓ２３０にて、操舵角が予め設定され所定操舵角判定範囲内（本実施形態では例えば−２０°〜＋２０°の範囲に相当する値）であるか否かを判断する。

ここで、操舵角が所定操舵角判定範囲外である場合には（Ｓ２３０）、Ｓ２８０にて、正面顔判定フラグＦ２をクリアして、正面顔判定処理を一旦終了する。一方、操舵角が所定操舵角判定範囲内である場合には（Ｓ２３０）、Ｓ２４０にて、車速が予め設定された所定車速判定値（本実施形態では例えば３０ｋｍ／ｈに相当する値）以上であるか否かを判断する
ここで、車速が所定車速判定値未満である場合には（Ｓ２４０）、Ｓ２８０にて正面顔判定フラグＦ２をクリアして、正面顔判定処理を一旦終了する。一方、車速が所定車速判定値以上である場合には（Ｓ２４０）、Ｓ２５０にて、加速度が予め設定された所定加速度判定値（本実施形態では例えば−０．０３Ｇに相当する値）以下であるか否かを判断する。尚、本実施形態では、加速度の符号がマイナスの場合に車両の進行方向に向かって加速していることを示す。

ここで、加速度が所定加速度判定値より大きい場合には（Ｓ２５０）、Ｓ２８０にて正面顔判定フラグＦ２をクリアして、正面顔判定処理を一旦終了する。一方、加速度が所定加速度判定値以下である場合には（Ｓ２５０）、Ｓ２６０にて、アクセル開度が予め設定された所定アクセル開度判定値（本実施形態では例えば１３％に相当する値）以上であるか否かを判断する。

ここで、アクセル開度が所定アクセル開度判定値未満である場合には（Ｓ２６０）、Ｓ２８０にて正面顔判定フラグＦ２をクリアして、正面顔判定処理を一旦終了する。一方、アクセル開度が所定アクセル開度判定値以上である場合には（Ｓ２６０）、Ｓ２７０にて、正面顔判定フラグＦ２をセットして、正面顔判定処理を一旦終了する。

尚、本実施形態では、運転者が正面を向いて直進路を走行中の操舵角を計測することにより、上記の所定操舵角判定範囲を決定した。この計測結果を図８(ａ)に示す。図８(ａ)は、正面を向いて直進路を走行中の操舵角の分布を示すヒストグラムである。図８(ａ)に示すように、正面を向いて直進路を走行中の操舵角は、−１９．６°から＋１８．１°の範囲に収まっている。尚、左にハンドルを回す方向をマイナスとしている。これにより、所定操舵角判定範囲を−２０°〜＋２０°の範囲と決定した。

また、右左折する時の車速を計測することにより、上記の所定車速判定値を決定した。停止中や右左折の運転者は左右確認をしている場合が多く、運転者は正面を向いている可能性が低いからである。この計測結果を図８(ｂ)に示す。図８(ｂ)は、右左折する時の車速の分布を示すヒストグラムである。図８(ｂ)に示すように、右左折する時の車速は、０から２８．２ｋｍ／ｈの範囲に収まっている。尚、この計測結果は、右折レーン停止中の状況を含んでいる。これにより、所定車速判定値を３０ｋｍ／ｈと決定した。

また、周辺環境確認中の進行方向に対する加速度を計測することにより、上記の所定加速度判定値を決定した。この計測結果を図８(ｃ)に示す。図８(ｃ)は、周辺環境確認中の進行方向に対する加速度の分布を示すヒストグラムである。図８(ｃ)に示すように、走行中に周辺環境を確認する状況での進行方向に対する加速度は、−０．０２８Ｇ上である。即ち、−０．０３Ｇ以下の場合には運転者は前方を注視しながら加速を行っている。これにより、所定加速度判定値を−０．０３Ｇと決定した。

また、周辺環境確認中のアクセル開度を計測することにより、上記の所定アクセル開度判定値を決定した。この計測結果を図８(ｄ)に示す。図８(ｄ)は、周辺環境確認中の進アクセル開度の分布を示すヒストグラムである。図８(ｄ)に示すように、走行中に周辺環境を確認する状況でのアクセル開度は、１２．２％以下である。即ち、１３％以上の場合には運転者は前方を注視しながら加速を行っている。これにより、所定アクセル開度判定値を１３％と決定した。

尚、図８(ａ)〜（ｄ）に示す計測結果は、３人の運転者がそれぞれ一般道と高速道を走行中に計測した結果を平均することで得られたものである。
次に、顔追跡装置１の制御部２５が実行する顔追跡処理の手順を、図５を用いて説明する。図５は顔追跡処理を示すフローチャートである。この顔追跡処理は、制御部２５が起動（電源オン）している間に繰り返し実行される処理である。

この顔追跡処理が実行されると、制御部２５は、まずＳ４１０にて、Ｓ７０でセットまたはＳ４６０でクリアされる初期値取得済フラグＦ１がセットされているか否かを判断する。即ち、円筒モデル初期値を取得しているか否かを判断する。ここで、初期値取得済フラグＦ１がセットされていなければ、円筒モデル初期値を取得していないと判断し（Ｓ４１０）、顔追跡処理を一旦終了する。一方、初期値取得済フラグＦ１がセットされていれば、円筒モデル初期値を取得していると判断し（Ｓ４１０）、Ｓ４２０にて、画像キャプチャーボード２２から画像データを取得する。

次にＳ４３０にて、円筒モデルを用いて、Ｓ４２０で取得した画像データのフィッティングを行う。具体的には、初期値テンプレートにより表現されている円筒を様々な回転角度で回転させる演算を行い、回転角度を変化させる毎に、この演算を行うことで得られた画像と、Ｓ４２０で取得した画像データとの比較を行い、この比較における差異の度合いを示すエラー値（以下、追跡エラー値という）を算出する。そして、この追跡エラー値が最も小さいときの回転角度を、Ｓ４２０で取得した画像データで示される顔が向いている方向（顔向き方向）とする（図６（ｄ）の矢印ＹＪ参照）。尚、この顔向き方向を示す回転角度の情報は、本実施形態では、ロール・ピッチ・ヨー角（θｘ，θｙ，θｚ）で与えられる。

その後Ｓ４４０にて、Ｓ４３０のフィッティングで得られた追跡エラー値が予め設定された第２所定エラー判定値（本実施形態では例えば２０）以下であるか否かを判断する。即ち、Ｓ４３０によるフィッティングが成功したか否かを判断する。

ここで、エラー値が第２所定エラー判定値より大きい場合には、フィッティングが失敗したと判断し（Ｓ４４０）、Ｓ４６０にて、初期値取得済フラグＦ１をクリアして、顔追跡処理を一旦終了する。これにより、再び、円筒モデル初期値を取得する処理（Ｓ２０〜Ｓ７０）が行われる。

一方、エラー値が第２所定エラー判定値以下である場合には、フィッティングが成功したと判断し（Ｓ４４０）、Ｓ４５０にて、Ｓ４３０のフィッティングで得られた回転角度の情報を、運転者の現時点の顔向き方向を示す情報として確定する。そして、顔追跡処理を一旦終了する。

このように構成された顔追跡装置１では、カメラ２１により運転者の顔を連続して撮像して、撮像した画像データを取得するとともに、カメラ２１により取得された画像データの中から、追跡対象とする顔領域ＫＲを抽出する（Ｓ３０）。その後に、顔領域ＫＲ内の顔が正面を向いている顔（正面顔）であるか否かを判定する（Ｓ４０，Ｓ２１０）。そして、この処理で正面顔であると判定された顔領域ＫＲの画像データを円筒モデル初期値として、円筒モデルを用いて、カメラ２１により撮像された人間の顔の向きを検出する（Ｓ４３０）。

このように顔追跡装置１によれば、円筒モデルで必要とする初期値（円筒モデル初期値）をＳ４０の処理により自動で取得することができる。このため、顔追跡装置１の利用者自身が手動で円筒モデル初期値を与えるという手間を省略することができ、利用者にとって利便性の高い装置を提供することができるという効果を奏する。

また、Ｓ２１０の処理では顔形状モデルを用いているので、正面顔であるか否かを精度良く判定することができる。また顔形状モデルは、（１）式による顔形状のフィッティングだけではなく、（２）式による顔の色合いのフィッティングを行うことで、顔の表情に依存することなく、正面顔か否かを精度良く判定することができる。

また、顔形状モデル（Ｓ２１０）だけでなく、操舵角センサ、車速センサ、加速度センサ及びアクセル開度センサからの信号を用いて正面顔か否かの判定を行う（Ｓ２３０〜Ｓ２６０）ため、更に精度良く正面顔であるか否かを判定することができる。

また、操舵角センサ、車速センサ、加速度センサ及びアクセル開度センサからの信号を用いて正面顔であるか否かの判定する場合に、操舵角が所定操舵角判定範囲内であるか否か（Ｓ２３０）、車速が所定車速判定値以上であるか否か（Ｓ２４０）、加速度が所定加速度判定値以下であるか否か（Ｓ２５０）、アクセル開度が所定アクセル開度判定値以上であるか否か（Ｓ２６０）により判定しているため、正面顔の判定を簡便に行うことができる。

以上説明した実施形態において、カメラ２１は本発明における撮像手段、Ｓ３０の処理は本発明における抽出手段、Ｓ４０の処理は本発明における判定手段、Ｓ４３０の処理は本発明における顔方向検出手段、円筒モデル初期値は本発明における初期値である。

以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態においては、操舵角センサ、車速センサ、加速度センサ及びアクセル開度センサの情報を用いて正面顔か否かの判定を行うものを示したが、これら４つのセンサのうち少なくとも１つを用いて判定を行うようにしてもよいし、４つのセンサを用いることなくＳ２１０の処理のみで判定を行うようにしてもよい。

また上記実施形態においては、顔向き方向を示す回転角度の情報をロール・ピッチ・ヨー角で与えるものを示したが、回転角度を特定することができるものであればよく、例えば３次元ベクトルやオイラー角などで与えるようにしてもよい。

また上記実施形態においては、運転者が自身の性別、年代、人種に応じて、ｓ₀，ｓ_i，Ａ₀（ｘ）及びＡ_i（ｘ）を選択できるように構成されているものを示したが、選択条件としては性別、年代、人種に限られない。また、性別、年代、人種等の条件に依存することなく利用できるｓ₀，ｓ_i，Ａ₀（ｘ）及びＡ_i（ｘ）を制御部２５のＲＯＭに記憶するようにしてもよい。これにより、運転者がｓ₀，ｓ_i，Ａ₀（ｘ），Ａ_i（ｘ）を選択する手間を省略することができる。

顔追跡装置１の構成、及び顔追跡装置１が接続された車内ＬＡＮ２の概略構成を示すブロック図である。 制御部２５が実行する処理の概要を示す機能ブロック図である。 初期値取得処理を示すフローチャートである。 正面顔判定処理を示すフローチャートである。 顔追跡処理を示すフローチャートである。 Ｓ３０，Ｓ２１０，Ｓ６０及びＳ４３０の処理を説明する図である。 基本形状ｓ₀、形状ベクトルｓ₁，ｓ₂，ｓ₃を示す図である。 正面顔判定処理での判定値を決定するための操舵角分布図、車速分布図、加速度分布図およびアクセル開度分布図である。

符号の説明

１…顔追跡装置、２…車内ＬＡＮ、３…エンジンＥＣＵ、４…ブレーキＥＣＵ、５…ステアリングＥＣＵ、６…ナビゲーションＥＣＵ、１１…アクセル開度センサ、１２…車速センサ、１３…操舵角センサ、１４…加速度センサ、２１…カメラ、２２…画像キャプチャーボード、２３…音声出力部、２４…車内ＬＡＮ通信部、２５…制御部、３１…顔画像取得部、３２…顔領域抽出部、３３…初期値判定部、３４…テンプレート記憶部、３５…顔追跡部

Claims (11)

1. 人間の顔が向いている方向の変化を、円筒モデルを用いて追跡する顔追跡装置であって、
   人間の顔を連続して撮像して、該撮像した画像データを取得する撮像手段と、
   前記撮像手段により取得された画像データの中から、追跡対象とする顔の部位を抽出する抽出手段と、
   前記抽出手段により抽出された画像データを、前記円筒モデルで必要とする初期値とすることができるか否かを判定する判定手段と、
   前記判定手段により前記初期値とすることができると判定された画像データを前記初期値として、前記円筒モデルを用いて、前記撮像手段により撮像された人間の顔の向きを検出する顔方向検出手段と
   を備えることを特徴とする顔追跡装置。
2. 前記判定手段は、顔形状モデルを用いて、前記初期値とすることができるか否かを判定することを特徴とする請求項１に記載の顔追跡装置。
3. 前記人間は、車両を運転する人であり、
   前記判定手段は、顔形状モデルと、前記車両の状態を示す車両状態信号とを用いて、前記初期値とすることができるか否かを判定することを特徴とする請求項１に記載の顔追跡装置。
4. 前記車両状態信号は、前記車両に取り付けられた操舵角センサからの信号であることを特徴とする請求項３に記載の顔追跡装置。
5. 前記判定手段は、
   前記操舵角センサからの信号により得られる操舵角が０度を含むようにして予め設定された所定操舵角判定範囲に含まれる場合に、前記初期値とすることができると判定する
   ことを特徴とする請求項４に記載の顔追跡装置。
6. 前記車両状態信号は、前記車両に取り付けられた車速センサからの信号であることを特徴とする請求項３に記載の顔追跡装置。
7. 前記判定手段は、
   前記車速センサからの信号により得られる車速が、予め設定された所定車速判定値以上である場合に、前記初期値とすることができると判定する
   ことを特徴とする請求項６に記載の顔追跡装置。
8. 前記車両状態信号は、前記車両に取り付けられた加速度センサからの信号であることを特徴とする請求項３に記載の顔追跡装置。
9. 前記判定手段は、
   前記加速度センサからの信号により得られる前記車両の進行方向に対する加速度が予め設定された所定加速度判定値以上である場合に、前記初期値とすることができると判定する
   ことを特徴とする請求項８に記載の顔追跡装置。
10. 前記車両状態信号は、前記車両に取り付けられたアクセル開度センサからの信号であることを特徴とする請求項３に記載の顔追跡装置。
11. 前記判定手段は、
    前記アクセル開度センサからの信号により得られるアクセル開度が、予め設定された所定アクセル開度判定値以上である場合に、前記初期値とすることができると判定する
    ことを特徴とする請求項１０に記載の顔追跡装置。