JP2004070514A

JP2004070514A - 顔状態検出装置

Info

Publication number: JP2004070514A
Application number: JP2002226516A
Authority: JP
Inventors: Kinya Iwamoto; 岩本　欣也; Masayuki Kaneda; 金田　雅之
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-08-02
Filing date: 2002-08-02
Publication date: 2004-03-04
Anticipated expiration: 2022-08-02
Also published as: JP4151341B2

Abstract

【課題】顔の向きを検出する対象の人が、サングラス等の眼鏡を装着していて、眼を検出できない場合に、鼻或いは口の画像を用いた顔の向きの検出よりも精度良く顔の向きを検出することのできる顔状態検出装置を提供する。
【解決手段】対象者の顔を顔画像撮像手段ＣＬ１にて撮像し、撮像された顔画像に基づいて、当該対象者の顔の向きを検出する顔状態検出装置において、対象者が眼鏡を掛けているかどうかを検出する眼鏡検出手段ＣＬ２と、眼鏡検出手段ＣＬ２にて、対象者が眼鏡を掛けていることが検出された際には、当該眼鏡に映り込みが存在するかどうかを検出する映り込み検出手段ＣＬ３と、映り込み検出手段ＣＬ３にて検出される映り込み映像の位置、或いは検出された眼鏡の特徴量を検出する特徴量検出手段と、特徴量検出手段にて検出された特徴量に基づいて、前記対象者の顔の向きを検出する第１の顔の向き検出手段ＣＬ６と、を具備する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の運転者の顔状態を検出する顔状態検出装置に関する。
【０００２】
【従来の技術】
従来における顔状態検出装置として、例えば、特開平７−６９１３９号公報に記載された「わき見運転防止装置」（以下、従来例という）が知られている。
【０００３】
該従来例では、カメラにて撮影された顔画像を検査画像として取り込み、検査画像に基づき運転者の左右の眼画像の座標を求め、眼画像の座標に基づき左右の眼の距離を演算し、同眼距離データを所定回数取り込むことによって基準眼距離を演算し、基準眼距離と今回の眼距離から正面に顔がないことを検出している。
【０００４】
この際、顔の向きを検出する対象者が、眼鏡を掛けている場合には、光環境の影響によって眼鏡のレンズ部に写り込みが生じ、顔画像から眼を検出できないことがある。また、対象者がサングラスを掛けている場合には眼を全く検出できなくなる。このように対象者の眼を検出できなくなった場合には、眼の代わりに、例えば鼻や口等の顔部位を検出し、その顔部位の位置の変化に基づいて顔の向きを検出していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、運転者がサングラス等の眼鏡を掛けている場合には、該眼鏡のレンズ部分に周囲の映像が映ってしまい、眼の状態を判別できないことがある。また、運転者が眼鏡を掛けている場合で、鼻或いは口の画像を用いて顔の向きを検出する際には、鼻或いは口の輪郭を精度良く検出できず、鼻或いは口の位置の変化や、顔画像での鼻或いは口の大きさの変化を正確に検出することができないので、顔の向きを精度良く検出することができなかったという欠点がある。
【０００６】
【課題を解決するための手段】
本発明は、対象者の顔を顔画像撮像手段にて撮像し、撮像された顔画像に基づいて、当該対象者の顔の向きを検出する顔状態検出装置において、前記対象者が眼鏡を掛けているかどうかを検出する眼鏡検出手段と、前記眼鏡検出手段にて、対象者が眼鏡を掛けていることが検出された際には、当該眼鏡に映り込みが存在するかどうかを検出する映り込み検出手段と、当該映り込み検出手段にて検出される映り込み映像の位置、或いは検出された眼鏡の特徴量を検出する特徴量検出手段と、前記特徴量検出手段にて検出された特徴量に基づいて、前記対象者の顔の向きを検出する第１の顔の向き検出手段と、を具備したことを特徴とする。
【０００７】
【発明の効果】
本発明によれば、モニタ対象者が映り込みを生じる眼鏡を掛けている場合で、直接眼の状態を検出することができない場合でも、眼鏡に生じる映り込み映像の状態、或いは眼鏡フレームの状態に基づいてモニタ対象者の顔の向きを検出することができるので、モニタ対象者が眼鏡を掛けているか否かに関わらず、高精度にモニタ対象者の顔の向きを検出することができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【０００９】
＜第１の実施形態＞
［システムブロック図］
図１は、本発明の顔状態検出装置に係る第１の実施形態の構成を示すブロック図である。同図に示すように、この顔状態検出装置は、顔画像撮像手段ＣＬ１と、眼鏡検出手段ＣＬ２と、映り込み検出手段ＣＬ３と、車体構造物検出手段ＣＬ４（特徴量検出手段）と、車体構造物位置検出手段ＣＬ５と、第１の顔の向き検出手段ＣＬ６と、第３の顔の向き検出手段ＣＬ７と、を備えている。
【００１０】
顔画像撮像手段ＣＬ１は、モニタ対象者の顔を撮像し、撮像により得られた顔画像データを出力する。
【００１１】
眼鏡検出手段ＣＬ２は、顔画像撮像手段ＣＬ１にて撮像された画像に基づいて、モニタ対象者が眼鏡を掛けているかどうかを検出する。
【００１２】
映り込み検出手段ＣＬ３は、顔画像撮像手段ＣＬ１より出力される顔画像データを処理して、モニタ対象者が掛けている眼鏡のレンズ表面上に、車内外の情景が映り込んでいるか否かを検出する。
【００１３】
車体構造物検出手段ＣＬ４は、顔画像撮像手段ＣＬ１より出力される顔画像データを処理して、モニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から、車体構造物を検出する。
【００１４】
車体構造物位置検出手段ＣＬ５は、顔画像撮像手段ＣＬ１より出力される顔画像データを処理して、モニタ対象者が掛けている眼鏡のレンズフレームを検出し、車体構造物検出手段ＣＬ４によって検出されたモニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車体構造物と、レンズフレームとの相対位置関係に基づいて、眼鏡上に映り込んでいる車体構造物の眼鏡上での位置を検出する。
【００１５】
第１の顔の向き検出手段ＣＬ６は、車体構造物位置検出手段ＣＬ５によって検出された眼鏡上に映り込んでいる車体構造物の、眼鏡上での位置に基づいて、モニタ対象者の顔の方向を検出する。
【００１６】
第３の顔の向き検出手段ＣＬ７は、眼鏡検出手段ＣＬ２で眼鏡が検出できなかった場合か、或いは、映り込み検出手段ＣＬ３にてドライバが掛けている眼鏡のレンズ表面上に、車内外の情景の映り込みが検出できなかった場合に、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して、眼の位置を検出し、左右の眼の位置、もしくは検出された眼の位置を基準とした範囲から、画像処理によって得られる左右いずれかの眼の形状に基づいて、ドライバ（モニタ対象者）の顔の向きを検出する。
【００１７】
本装置は、自動車、鉄道車両、船舶の運転手、プラントのオペレータ等のモニタに用いることができるが、以下に示す全ての実施形態で、自動車の運転手の眼に適用した場合を例に挙げて説明する。
【００１８】
［機器の配置］
図２は、本実施形態に係る顔状態検出装置の、機器の配置図である。顔画像撮像手段ＣＬ１としてのＴＶカメラ１が、自動車のインストルメント上で運転者を略正面で撮像できる位置に設置され、運転者の顔部分を撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ軸方向）６４０画素、縦方向（Ｙ軸方向）４８０画素からなる。そして、ＴＶカメラ１で撮像された入力画像は、インストルメント裏側等、車体内部に設置されたマイクロコンピュータ２に画像データとして入力される。
【００１９】
マイクロコンピュータ２には、眼鏡検出手段ＣＬ２と、映り込み検出手段ＣＬ３と、車体構造物検出手段ＣＬ４と、車体構造物位置検出手段ＣＬ５と、第１の顔の向き検出手段ＣＬ６と、第３の顔の向き検出手段ＣＬ７の各処理に関するプログラムがプログラミングされている。次に、システムの処理状況について説明する。
【００２０】
［システム全体の処理］
図３は、システムの全体の処理の流れを示している。まず、処理が開始されると、ステップＳ１（以下、「ステップＳ」は単に「Ｓ」と記す）で、ＴＶカメラ１でモニタ対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力する。
【００２１】
Ｓ２では、モニタ対象者が眼鏡を掛けているか否かを検出する。Ｓ３では、Ｓ２の検出結果に基づき、モニタ対象者が眼鏡を掛けている場合は（Ｓ３でＹＥＳ）、Ｓ４へ処理を進め、モニタ対象者が眼鏡を掛けていない場合は（Ｓ３でＮＯ）、Ｓ９へ処理を進める。
【００２２】
Ｓ４では、マイクロコンピュータ２に入力された画像データを画像処理することによって、モニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込んでいるか否かを検出する。
【００２３】
Ｓ５では、Ｓ４の検出結果に基づき、モニタ対象者が掛けている眼鏡のレンズ表面上に、車内外の情景が映り込んでいる場合は（Ｓ５でＹＥＳ）、Ｓ６へ処理を進め、モニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込んでいない場合は（Ｓ５でＮＯ）、Ｓ９へ処理を進める。
【００２４】
Ｓ６では、マイクロコンピュータ２に入力された画像データを画像処理することによって、モニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から、車体構造物を検出する。
【００２５】
Ｓ７では、マイクロコンピュータ２に入力された画像データを画像処理することによって、モニタ対象者が掛けている眼鏡のレンズフレームを検出し、車体構造物検出手段ＣＬ４によって検出されたモニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車体構造物と、レンズフレームとの相対位置関係に基づいて、眼鏡上に映り込んでいる車体構造物の、眼鏡上での位置を検出する。
【００２６】
Ｓ８では、Ｓ７によって検出された眼鏡上に映り込んでいる車体構造物の眼鏡上での位置に基づいて、モニタ対象者の顔の向きを検出し、処理を終了する。
【００２７】
Ｓ９では、Ｓ３で眼鏡が検出できなかった場合、または、Ｓ５でモニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込みが検出できなかった場合に、マイクロコンピュータ２に入力された画像データを画像処理することによって、眼の位置を検出し、左右の眼の位置もしくは検出された眼の位置を基準にした範囲から画像処理によって得られる左右いずれかの眼の形状から顔の向きを検出しする。即ち、第３の顔の向き検出処理を行う。その後、処理を終了する。
【００２８】
［眼鏡の検出処理］
眼鏡の検出方法としてはモニタ対象者がインストルメントパネル上に設置されたスイッチによって眼鏡を掛けていることを装置に対して操作してもよいし、また装置が、自動的に眼鏡装着か否かを判別してもよい。自動判別の方法については、例えば特許２５４１６８８８号公報や特開平９−２１６６１１号公報で提案している方法を用いることができる。
【００２９】
［映り込み検出処理］
眼鏡の映り込みは、眼鏡レンズの光の透過率が低いほど、また眼鏡レンズ表面の光の反射率が高いほど映り込みが大きい。眼鏡レンズの光の透過率が低い眼鏡としては、一般にサングラスと呼ばれている色つきレンズを使っている眼鏡がそれにあたる。一概にサングラスといっても色の種類や濃さは眼鏡によって千差万別であるが、色が濃く暗いほど映り込みははっきりとしてくる傾向がある。
【００３０】
また、レンズ表面の反射率は同じ材質や色のレンズであれば、一般に無反射コーティングと呼ばれている反射低減のためのコーティングが施されているほど映り込みが少ない傾向がある。なお、同じ眼鏡であっても、外界の光環境によって映り込みの強弱は変化するので、たとえ無色透明で無反射コーティングを施しているレンズを使った眼鏡であっても、映り込みが発生しないとは限らない。
【００３１】
図５に示すように、モニタ対象者が眼鏡を掛けていれば、モニタ対象者の画像上の眼は、眼鏡のフレーム内部に位置する。しかし、図７に示すように、眼鏡に車内外の情景がはっきりと映り込んでいれば、映り込みが眼鏡のフレーム内部に位置するはずのモニタ対象者の眼を隠してしまうことがわかっている。
【００３２】
よって、モニタ対象者が眼鏡を掛けていることが判っていれば、顔画像全体から眼を検出して、その結果、眼を検出できなければ眼鏡上に映り込んでいると判断することができる。
【００３３】
以下、映り込み検出処理Ｓ４を、図４に示すフローチャートを用いて説明する。まず、図４のＳ４１では、眼の候補の位置の特定の処理が実行される。Ｓ４２では、眼判定処理を行う。
【００３４】
Ｓ４３では、眼の候補の位置の特定の処理で検出した眼の候補点すべてを判定したかどうかを判定する。眼の候補点すべてを判定した場合は（Ｓ４３でＹＥＳ）、Ｓ４４に処理が移る。眼の候補点すべてを判定し終わっていない場合は（Ｓ４３でＮＯ）、Ｓ４２の眼判定処理に戻る。
【００３５】
Ｓ４４では、Ｓ４２で眼判定処理を行った結果、眼と判定できた候補点があったか否かを判定する。眼と判定できた候補点があった場合は（Ｓ４４でＹＥＳ）、Ｓ４５で、映り込みなしと判断され、眼と判定できた候補点がなかった場合は（Ｓ４４でＮＯ）、Ｓ４５で映り込みありと判断して、Ｓ５に処理を移す。
【００３６】
なお、Ｓ４１の眼の候補の位置の特定の処理と、Ｓ４２の眼判定処理の詳細については、後述する第３の顔の向き検出手段の、Ｓ９１の眼の候補の位置の特定の処理と、Ｓ９２の眼判定処理と同一であるため、ここでの説明は省略する。
【００３７】
［車両構造物検出処理］
次に、車両構造物の検出処理Ｓ６（図３参照）について、図６，図７，図８を用いて説明する。図６は、眼鏡レンズ上に車室内外の情景が映り込んでいる顔画像を示している。図６〜図８では、モニタ対象者は正面を見ているときの図である。
【００３８】
この顔画像から、図６の枠線で囲まれるような眼鏡を含む矩形エリアを抽出する。矩形エリアは画像上で眼があるエリアの相場値を用いて決定されてもよいし、鼻、口、耳といった眼以外の顔の構成物の位置から矩形エリアを決定してもよい。
【００３９】
この矩形エリアの画像を抜き出したのが図７となり、この図７の画像について輪郭抽出した結果、図８のような輪郭データを生成することができる。
【００４０】
図８の輪郭データからは、右サイドウインドウの輪郭、フロントウインドウの輪郭、ルームミラー、右サイドウインドウ輪郭とフロントウインドウの右端部の輪郭で囲まれたエリアからＡピラーといった車体構造物を抽出することができる。
【００４１】
［車両構造物の画像上の眼鏡上の位置の検出］
次に、車両構造物の画像上の眼鏡上の位置の検出処理Ｓ７について、図８を用いて説明する。
【００４２】
車両構造物の検出処理Ｓ６の中で得られた輪郭データの中から、眼鏡フレームを抽出する。抽出された眼鏡フレーム内の、どの位置に車両構造物の検出処理Ｓ６で抽出された車両構造物が存在するか検出する。
【００４３】
図８では、眼鏡の右フレーム内に右サイドウインドウの輪郭、フロントウインドウの右端部の輪郭、右サイドウインドウの輪郭とフロントウインドウの右端部の輪郭に囲まれた右Ａピラーが存在し、眼鏡の左フレームにはフロントウインドウの中央上部の輪郭、ルームミラーが存在している。
【００４４】
［第１の顔の向き検出処理］
第１の顔の向き検出処理Ｓ８について、図９〜図１２を用いて説明する。図９は、モニタ対象者が右を向いたときの様子であり、同図（ａ）に原画像を示し、同図（ｂ）に、（ａ）の原画像を輪郭抽出した輪郭データを示している。
【００４５】
図９（ｂ）では、眼鏡の右フレーム内に右サイドウインドウの上部の輪郭が存在し、眼鏡の左フレームには右サイドウインドウの前部の輪郭、フロントウインドウの右端部、右上端の輪郭、右サイドウインドウの前部の輪郭とフロントウインドウの右端部の輪郭に囲まれた右Ａピラーが存在している。
【００４６】
図８に示したモニタ対象者が正面を見ているときに映り込んでいる各車両構成物の位置を比較すると、右サイドウインドウの輪郭線はモニタ対象者が正面を見ているときは、眼鏡の右フレームの右側比較的低い位置にあるのに対して、モニタ対象者が右を向くと、眼鏡の右フレームの左側上部に移動するとともに、右サイドウインドウ前部の輪郭線が眼鏡の左フレームに移動している。
【００４７】
また、フロントウインドウの右端の輪郭線は、モニタ対象者が正面を見ているときは眼鏡の右フレームに映っていたのがモニタ対象者が右を向くと眼鏡の左フレームに移動している。
【００４８】
これによって、右側Ａピラーは、左フレームに移動している。また、ルームミラー及びフロントウインドウの中央上部の輪郭線は、モニタ対象者が正面を見ているときは眼鏡の左フレーム左に映っていたのが、モニタ対象者が右を向くと眼鏡の左フレームの左側外に移動し、眼鏡のレンズ上には映りこんでいなくなっている。
【００４９】
図１０は、モニタ対象者が左を向いたときの様子を示しており、図１０（ａ）に原画像を示し、図１０（ｂ）に図１０（ａ）の原画像を輪郭抽出した輪郭データを示している。
【００５０】
図１０（ｂ）では、眼鏡の右フレーム内にフロントウインドウの上部輪郭とルームミラーが存在し、眼鏡の左フレームにはフロントウインドウの左端部、左上端の輪郭、左サイドウインドウの輪郭、左サイドウインドウの前部の輪郭とフロントウインドウの左端部の輪郭に囲まれた左Ａピラーが存在している。
【００５１】
図８に示したモニタ対象者が正面を見ているときに映り込んでいる各車両構成物の位置を比較すると、右サイドウインドウの輪郭線はモニタ対象者が正面を見ているときは、右フレームの比較的低い位置にあるのに対して、モニタ対象者が左を向くと眼鏡の右フレームの右下側外に移動し、眼鏡のレンズ上には映りこんでいなくなっている。
【００５２】
また、フロントウインドウの右端の輪郭線も、モニタ対象者が正面を見ているときは眼鏡の右フレーム映っていたのがモニタ対象者が、左を向くと眼鏡の右フレームの右側外に移動し、眼鏡のレンズ上には映りこんでいなくなっている。また、ルームミラー及びフロントウインドウの中央上部の輪郭はモニタ対象者が正面を見ているときは眼鏡の左フレーム左に映っていたのが、モニタ対象者が左を向くと眼鏡の右フレームの下部に移動している。
【００５３】
変わって、モニタ対象者が正面を見ているときには映っていなかったフロントウインドウの左上端部、左端部の輪郭、左サイドウインドウ、左サイドウインドウの前部の輪郭とフロントウインドウの左端部の輪郭に囲まれた左Ａピラーが眼鏡の左フレームに映りこんできている。
【００５４】
図１１〜図１３には、モニタ対象者が正面から右方向を向くときの様子の原画像を示している。この画像は、１フレームあたり３３ミリ秒（ｍｓｅｃ）でサンプリングしたものを、２４フレーム分（（１）〜（２４））示している。
【００５５】
この連続画像を見ると、モニタ対象者が正面から右側に向くに従い、右サイドウインドウの輪郭線が、眼鏡の右フレームの右側比較的低い位置から、左側上部に移動するとともに、右サイドウインドウ前部の輪郭線が、１８フレーム目以降には眼鏡の左フレーム映り始めてその後、徐々に左側へと移動しているのがわかる。
【００５６】
また、フロントウインドウの右端の輪郭線は、眼鏡の右フレームに映っていたのが、徐々に左に移動していき、７フレーム目で眼鏡の右フレームから消えている。一方、眼鏡の左フレームには６フレーム目からフロントウインドウの右端が映っている。
【００５７】
右側Ａピラーも４フレーム目までは眼鏡の右フレーム上を徐々に左へと移動していき、５フレーム目からは左右のフレームに映り出し、その後は眼鏡の右フレームからは徐々に消えていき、左フレームには徐々にその領域を左側へと広げていっている。
【００５８】
１８フレーム以降は、眼鏡の右フレームには右側Ａピラーは映っておらず、眼鏡の左フレームにだけ右側Ａピラーが映り、その後も眼鏡の左フレーム内を徐々に左側に移動している。
【００５９】
また、ルームミラー及びフロントウインドウの中央上部の輪郭線もモニターが右を向くに従って徐々に左側へと移動し、１７フレーム以降はルームミラーは眼鏡の左フレームの左側外に消えていくのがわかる。
【００６０】
以上のようにして、眼鏡のフレーム内に映る車両構造物の眼鏡フレーム内での位置と顔の向きの相関をとることができ、これによってモニター対象者の顔がどの方向を向いているか検出することができる。
【００６１】
［第３の顔の向き検出処理］
次に、第３の顔の向き検出処理Ｓ９（図３）を、図１４のフローチャートを用いて説明する。
【００６２】
まず、Ｓ９１では、眼の候補の位置の特定の処理が実行される。Ｓ９２では、眼判定処理を行う。Ｓ９３では、Ｓ９１で眼の候補の位置の特定の処理で検出した眼の候補点すべてを判定したかどうかを判定する。眼の候補点すべてを判定した場合には（Ｓ９３でＹＥＳ）、Ｓ９４に処理が移る。眼の候補点すべてを判定し終わっていない場合には（Ｓ９３でＮＯ）、Ｓ９２の眼判定処理に戻る。Ｓ９４では、顔の向き判定処理を行いモニタ対象者の顔の向きを判定する。
【００６３】
［眼の候補の位置の特定の処理］
眼の候補の位置の特定の処理Ｓ９１の流れを、図１５のフローチャートと、図１６〜図２０を用いて説明する。
【００６４】
まず、図１５のＳ９１１では、顔画像の撮像処理Ｓ１（図３参照）で撮像しマイクロコンピュータ２に入力された画像データ全体を、全体画像Ｇとして画像メモリに保存する。次に、Ｓ９１２では、縦方向に１ライン終了後に、一つ隣のラインの処理に移して行き、縦方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００６５】
Ｓ９１２で、全ラインにおいてポイント抽出が行われていないと判断された場合は（Ｓ９１２でＮＯ）、Ｓ９１３に移行する。
【００６６】
Ｓ９１３では、縦方向（Ｙ軸方向）の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。
【００６７】
Ｓ９１４では、Ｓ９１３の演算結果である相加平均値における微分演算を行う。Ｓ９１５では、Ｓ９１４の演算結果である微分値によるポイント抽出を行う。この処理が１ライン終了した後、Ｓ９１６で、次のラインの処理に切り替えて行く。
【００６８】
前述のＳ９１２の処理で、全ラインのポイント抽出が終了したと判断されると、Ｓ９１７へ移行し、隣り合う各ラインの抽出ポイントのＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数、▲４▼連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、▲５▼連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする。ここでの検出対象は眼としているため、その特徴量は横に比較的長く続くデータであるといえるので、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００６９】
このようにして選択した顔の特徴量を連続データＧとして表したものを、図１６に示す。なお、連続データＧの抽出方法をフローチャートの流れのみで簡単に説明したが、処理状態の詳細については、「特開平１０−４０３６１号公報」「特開平１０−１４３６６９号公報」などにも記載されている。
【００７０】
連続データＧがいわば眼の候補となり、この連続データＧの代表座標値Ｃが眼の候補点の位置となる。
【００７１】
次に、図１５のＳ９１８において、図１６に示すような各連続データＧの代表座標値Ｃを基準に各連続データＧを含む存在領域ＥＡを設定する。この存在領域ＥＡは、次のようにして決定する。
【００７２】
（存在領域ＥＡの大きさの決め方）
存在領域ＥＡの大きさは、図１７〜図２０のようにして決定している。図１７は、存在領域ＥＡの大きさを示し、図１８，図１９は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示している。ここで、存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。
【００７３】
現在の居眠り検出などの処理で使っている大きさは数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味した大きさにしている。数人の眼の大きさを統計的に求める方法としては、図１８，図１９のように、眼の縦、横寸法のデータを集め、その分布の、例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。
【００７４】
そしてこの９５％をカバーする寸法、即ち、横寸法ｘａ、縦寸法ｙａに、図１７のように余裕分（×１．５）をみて決定している。なお、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
【００７５】
（存在領域ＥＡの位置の決め方）
図２０は、例えば右眼の存在領域ＥＡを位置決めする方法について示している。眼の座標値（ｘ１，ｙ１）を基準に、距離ｘ２，ｙ２の位置に存在領域ＥＡを描く基準点Ｐを決め、Ｐ点から予め決めておいた存在領域ＥＡの寸法ｘ３，ｙ３を描画し、位置を決める。ｘ２及びｙ２はｘ３，ｙ３の１／２で予め存在領域ＥＡが眼の中心にくるような長さとしている。存在領域ＥＡを画像全体で見つかった連続データＧすべてについて設定する。
【００７６】
［眼判定処理］
眼判定処理を、図２１，図２２に示すフローチャートと、図２３〜図２５を用いて説明する。まず、図２１のＳ９２０１では、眼の候補点の存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する。全体画像Ｇと保存される微小画像ＩＧの状態を図２３に示す。
【００７７】
顔画像の撮像処理Ｓ１（図３参照）で撮像し、マイクロコンピュータ２に入力された画像データ全体を、全体画像Ｇとして画像メモリに保存する。
【００７８】
次に、Ｓ９２０２では、全体画像Ｇの代表座標値Ｃに相当する微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲの濃度情報をもとに、二値化閾値を設定する。
【００７９】
この範囲ＡＲは、前記存在領域ＥＡより小さく、二値化閾値を正確に設定できるようにしている。
【００８０】
各範囲ＡＲでの二値化閾値の算出方法の一例を、図２４を用いて説明する。範囲ＡＲにおいて、縦方向に数ラインの濃度値の読み出しを行う。図２４では、この縦方向へのラインが４本あることを示している。この各ラインにおいて、濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリして行き、全ラインのメモリが終了したら、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求め、その中央値を二値化閾値とする。
【００８１】
この二値化閾値のための範囲ＡＲは、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定し、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにしている。また、二値化閾値は、その領域内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値となる。
【００８２】
更に、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い（暗い）濃度値を用いている理由は、次の通りである。前述したように眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す範囲ＡＲを極力小さくしていても、該範囲ＡＲの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。
【００８３】
Ｓ９２０３では、こうして決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する。
【００８４】
このような二値化閾値を用いて二値化した候補オブジェクトを検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上することができる。
【００８５】
次に、Ｓ９２０４に移行し、全体画像Ｇの代表座標値Ｃに相当する二値画像ｂＧの位置ｂＣを、初期位置に設定する。
【００８６】
Ｓ９２０５で、設定位置が黒画素か否かを判定し、設定位置が黒画素と判定されれば（Ｓ９２０５でＹＥＳ）、処理を図２２のＳ９２０６へ移行し、設定位置が黒画素と判定されなければ（Ｓ９２０５でＮＯ）、Ｓ９２１３にて、設定位置を上下左右に１画素ずつずらして、再度、設定位置が黒画素か否かを判定Ｓ９２０５を行い、設定位置が黒画素になるまで処理を行う。
【００８７】
Ｓ９２０６では、その黒画素を包括する連結成分を候補オブジェクトとして設定する。Ｓ９２０７では、候補オブジェクトの幾何形状を算出し、Ｓ９２０８で特定したい眼テンプレートの幾何形状と候補オブジェクトの幾何形状を比較する。
【００８８】
Ｓ９２０８の候補オブジェクトと眼テンプレートの幾何形状の比較方法の一例を、眼の場合について、図２５を用いて説明する。
【００８９】
眼の二値化した形状は光環境が良く安定した画像であれば、図２５（ａ）に示すようなものになるが、車室内に直射日光が一側から当たる等して光環境が悪化したときは、図２５（ｂ），（ｃ）のような形状になることもある。
【００９０】
眼のテンプレートは、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件▲１▼と、黒眼の左側の凹み形状条件の▲２▼と、黒眼の右側の凹み形状条件の▲３▼とを組み合わせることにより設定し、図２５（ｂ），（ｃ）の例を許容するために、▲１▼と▲２▼、または▲１▼と▲３▼の条件を満たすものであっても良いものとする。
【００９１】
Ｓ９２０９では、Ｓ９２０８の結果、候補オブジェクトと眼テンプレートの幾何形状が一致するか否かを判定する。候補オブジェクトと眼テンプレートの幾何形状が一致する場合には（Ｓ９２０９でＹＥＳ）、Ｓ９２１０で、その候補オブジェクトを眼と判定する。候補オブジェクトと眼テンプレートの幾何形状が一致しない場合には（Ｓ９２０９でＮＯ）、Ｓ９２１４で、その候補オブジェクトを眼ではないと判定する。
【００９２】
Ｓ９２１１では、眼と判定された候補オブジェクトの全体画像Ｇでの代表座標値Ｃをこの画像フレームでの眼の座標としてメモリする。
【００９３】
Ｓ９２１２では、眼であると判定された代表候補点の微少画像ＩＧを、眼画像ＭＧｉとして画像メモリに保存する。
【００９４】
［顔の向きの判定処理］
次に、顔の向きの判定処理Ｓ９４（図１４参照）を、図２６のフローチャートを参照して説明する。まず、Ｓ９４１では、眼の外周輪郭の検出の処理が実行される。Ｓ９４２では、眼の目頭・目尻の位置の検出の処理を行う。
【００９５】
Ｓ９４３では、円弧状ラインのピーク位置の検出の処理を行う。Ｓ９４４では、Ｓ９４２で検出された目尻および目頭の位置、Ｓ９４３で検出された円弧状ラインのピーク位置に基づいて、顔の向きを判定する顔の向き算出処理を行う。
【００９６】
［眼の外周輪郭の検出処理］
眼の外周輪郭の検出処理Ｓ９４１を、図２７〜図３０を参照して説明する。なお、本説明では画像上の右眼（実際の左眼）とする。
【００９７】
図２７は、眼位置特定処理によって特定された眼位置を中心とした微小画像を示している。ここでの微小画像は、眼判定処理のＳ９２１２（図２２）で画像メモリの保管された微小画像ＭＧｉを用いるのが通常であるが、状況に応じて、画像メモリに保管されている全体画像Ｇからサイズや位置を再定義た微小画像を抽出して用いてもよい。
【００９８】
図２８の微小画像を二値化閾値より小さい画素を黒（濃度値０）、二値化閾値よりも大きいところを白（濃度値２５５）となるように二値化することによって、図２７の二値化画像を得ることができる。ここで行う二値化処理の二値化閾値は、眼判定処理で行った二値化処理に用いた二値化閾値と同じとしてもよい。
【００９９】
図２９では、得られた二値化画像の左上から下向きに向かって画素値０の黒画素を検索する。一番下の画素まで検索し終わったら、一つ右の画素列を検索していく。その画素列で最初に見つかった黒画素と、最後に見つかった黒画素をそれぞれの画素列について求めていくと、図３０に示すように、眼の外周輪郭を得ることができる。
【０１００】
［眼の目頭・目尻の検出処理］
眼の目頭・目尻の検出処理Ｓ９４２を、図３１を参照しながら説明する。眼の目頭・目尻の位置は、図３１のように、画像上の右眼の場合では外周輪郭線の左端が目頭、右端が目尻位置となる。
【０１０１】
なお、平面座標として目頭、目尻位置を特定する場合、図３１に示すように下側ラインの左右端を目頭位置、目尻位置として、その座標を使う方法のほかに、上側ラインの左右端を目頭位置、目尻位置として、その座標を使う方法や、上側ラインと下側ラインの左右端の中点を目頭位置、目尻位置として、その座標を使う方法もある。
【０１０２】
［円弧状ラインのピーク位置の検出処理］
円弧状ラインのピーク位置の検出処理Ｓ９４３について、図３１〜図３３を参照して説明する。
【０１０３】
円弧状ラインとして上瞼を用いる場合には、図３１に示すように、眼の外周輪郭のラインで、上側ラインの最も高い位置をピーク位置とすることができる。
【０１０４】
また、図３２のように、顔がカメラに対して正面を向いていないような場合には、図３３に示すように画像上眼が傾き、必ずしも上側ラインの高さ方向で最も高い位置がピーク位置とはならない。このような場合も想定して、目頭位置と目尻位置を結んだ線分と眼の外周輪郭のラインで上側ラインの距離が最も大きいところをピーク位置とすることもできる。
【０１０５】
［顔の向きの算出処理］
顔の向き算出処理Ｓ９４４について、図３１〜図３４を参照して説明する。図３１に示すように、顔を正面に向けている場合には、ピーク位置は眼のほぼ中心位置にあり、ピーク位置から目頭位置までの距離Ｌ１と、ピーク位置から目尻位置までの距離Ｌ２はほぼ等しくなる。次に、図３２のように画像上で顔が右側を向いているような場合には、図３３に示すように、ピーク位置から目頭位置までの距離Ｌ１は大きくなり、ピーク位置から目尻位置までの距離Ｌ２は小さくなる。
【０１０６】
Ｌ１とＬ２の関係をＬ２／Ｌ１というパラメータで表すと、正面に顔がある場合はＬ２／Ｌ１は１となり、顔を画像上の右側に向けていくと、Ｌ２／Ｌ１は次第に小さくなっていき、顔がカメラに対して真横を向いた時（顔を９０度右向いたとき）に、円弧のピークは目尻側に寄り、Ｌ２の長さは０となるので、Ｌ２／Ｌ１は０となる。
【０１０７】
但し、実際は顔の向きが右４５度程度を越えた後は、右目は顔の陰に隠れてカメラには写らなくなるため本来の処理においては両目を監視する。眼に斜視などの異常がなければ、左右両眼とも眼球は同様に動くので、片方の眼が見えないときは、もう片方の眼によって補完する様にする。
【０１０８】
反対に顔が左側を向いていくと、Ｌ２／Ｌ１は次第に大きくなっていき、顔がカメラに対して真横を向いた時（顔を９０度左向いたとき）に円弧のピークは目頭側に寄り、Ｌ１の長さは０となるので、Ｌ２／Ｌ１は無限大となる。
【０１０９】
この関係を示したグラフを図３４に示す。このグラフの関係から、Ｌ２／Ｌ１から顔の向き量を正面を向いたときを０度として右向きを正とした角度θｆを求めることができる。
【０１１０】
ここで例示した顔の向き検出処理は一例であり、この方法のほかにも両目の間隔から顔の向きを検出する方法等が知られている。
【０１１１】
このようにして、本実施形態に係る顔状態検出装置では、車両の運転者（対象者）が眼鏡を掛けている場合であっても、眼鏡レンズへの映り込み、或いは、当該眼鏡の特徴量に応じて、対象者の顔の向きを検出することができるので、対象者が眼鏡を掛けているかどうかに関わらず、高精度に顔の向きを検出することができるようになる（請求項１の効果）。
【０１１２】
また、特徴量検出手段は、車体構造物検出手段と、車体構造物位置検出手段を具備しており、眼鏡レンズに映り込んでいる映像から、車体構造物を検出し、更に、レンズ中における車体構造物の位置に基づいて、対象者の顔の向きを検出するようにしているので、高精度な顔の向きの検出ができる（請求項２の効果）。
【０１１３】
更に、車体構造物として、対象者よりも前方に存在するフロントウインドウの輪郭、サイドウインドウの輪郭、ルームミラー、或いはＡピラー等を検出する構成とすることにより、より一層検出精度を向上させることができる（請求項３，４の効果）。
【０１１４】
また、レンズフレーム検出手段を具備し、レンズフレーム検出手段により検出されるレンズフレームの位置と、車体構造物検出手段にて検出される車体構造物の位置（映り込みの位置）との相対的な関係に基づいて、対象者の顔の向きを検出する構成としているので、検出精度を向上させることができる（請求項５の効果）。
【０１１５】
更に、対象者の眼の位置を検出し、対象者の眼が検出されないときに、第１の顔の位置検出手段により、対象者の顔の位置を検出するので、より高精度に顔状態を検出することができる（請求項６の効果）。
【０１１６】
また、眼鏡検出手段により、眼鏡のフレーム位置を検出し、このフレーム位置と、レンズに映り出されたフロントウインドウの輪郭、サイドウインドウの輪郭、ルームミラー、或いはＡピラー等の車体構造物の映像の位置とに基づいて、対象者の顔の向きを検出するようにしているので、高精度な検出が可能となる（請求項７の効果）。
【０１１７】
更に、特徴量検出手段は、眼鏡のレンズ部の横径、或いは縦径を特徴量として検出し、この横径、縦径に基づいて、対象者の顔の状態を検出するので、高精度な検出が可能となる（請求項８の効果）。
【０１１８】
また、レンズフレームの横方向の最大幅を横径、縦方向の最大幅を縦径とするので、検出が容易となる（請求項９の効果）。
【０１１９】
＜第２の実施形態＞
［システムブロック図］
図３５は、本発明を適用した顔状態検出装置の、第２の実施形態の構成を示すブロック図である。この顔状態検出装置は、顔画像撮像手段ＣＬ１と、眼鏡検出手段ＣＬ２と、眼鏡レンズ径検出手段ＣＬ８と、第２の顔の向き検出手段ＣＬ９と、第３の顔の向き検出手段ＣＬ７と、を備えている。
【０１２０】
顔画像撮像手段ＣＬ１は、モニタ対象者の顔を撮像して顔画像データを出力する。眼鏡検出手段ＣＬ２は、モニタ対象者が眼鏡を掛けているかどうかを検出する。
【０１２１】
眼鏡レンズ径検出手段ＣＬ８は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理してモニタ対象者が掛けている眼鏡のレンズの横径または縦径の少なくともいずれか一方を検出する。
【０１２２】
第２の顔の向き検出手段ＣＬ９は、眼鏡レンズ径検出手段ＣＬ８によって検出されたモニタ対象者が掛けている眼鏡のレンズの横径または縦径の少なくともいずれか一方から顔の方向を検出する。
【０１２３】
第３の顔の向き検出手段ＣＬ７は、眼鏡検出手段ＣＬ２で眼鏡が検出できなかった場合に、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出し、左右の眼の位置もしくは検出された眼の位置を基準にした範囲にて、画像処理によって得られる左右いずれかの眼の形状から顔の向きを検出する。
【０１２４】
［機器の配置］
本発明の機器の配置、顔画像撮像手段ＣＬ１としてのＴＶカメラ１は、前述した第１の実施形態と同じであるので、その説明を省略する。マイクロコンピュータ２には、眼鏡検出手段ＣＬ２と、眼鏡レンズ径検出手段ＣＬ８と、第２の顔の向き検出手段ＣＬ９と、第３の顔の向き検出手段ＣＬ７の処理に関するプログラムがプログラミングされている。
【０１２５】
［システム全体の処理］
図３６は、システムの全体の処理の流れを示している。まず、処理が開始されると、Ｓ１で、ＴＶカメラ１でモニタ対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力される。
【０１２６】
Ｓ２では、モニタ対象者が眼鏡を掛けているか否かを検出する。Ｓ３では、Ｓ２の検出結果に基づいて、モニタ対象者が眼鏡を掛けている場合には（Ｓ３でＹＥＳ）、Ｓ１０へ処理を進め、モニタ対象者が眼鏡を掛けていない場合は（Ｓ３でＮＯ）、Ｓ９へ処理を進める。
【０１２７】
Ｓ１０では、マイクロコンピュータ２に入力された画像データを画像処理することによって、モニタ対象者が掛けている眼鏡のレンズの横径、或いは縦径の少なくとも一方を検出する。
【０１２８】
Ｓ１１では、Ｓ１０で検出されたモニタ対象者が掛けている眼鏡のレンズの横径、又は縦径の少なくとも一方のデータに基づいて、モニタ対象者の顔の向きを検出し（第２の顔の向き検出処理）、処理を終了する。
【０１２９】
Ｓ９では、Ｓ３で眼鏡が検出できなかった場合、又はＳ５でモニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込みが検出できなかった場合に、マイクロコンピュータ２に入力された画像データを画像処理することによって、眼の位置を検出し、左右の眼の位置から、或いは検出された眼の位置を基準にした範囲から画像処理によって得られる左右いずれかの眼の形状から、顔の向きを検出し（第３の顔の向き検出処理）、処理を終了する。
【０１３０】
［眼鏡の検出処理］
第１実施形態と同様であるので、その詳細説明を省略する。
【０１３１】
［眼鏡レンズ径の検出処理］
レンズ径の検出処理Ｓ１０を、図３７を用いて説明する。輪郭抽出することによって眼鏡フレーム輪郭データを原画像から抽出する。抽出された眼鏡フレームの輪郭線の右フレーム、及び左フレームの外接四角形を検出する。検出された右フレーム、及び左フレームの、外接四角形の横辺が右フレームの横径ＬＨＲ、左フレームの横径ＬＨＬ、縦辺が右フレームの縦径ＬＶＲ、左フレームの縦径ＬＶＬとなる。
【０１３２】
［第２の顔の向き検出処理］
第２の顔の向き検出処理Ｓ１１を、図３７〜図４０を用いて説明する。図３７は、モニタ対象者が正面を向いているときの、眼鏡フレームの輪郭線であり、図３８は、モニタ対象者が右を向いているときの、眼鏡フレームの輪郭線であり、図３９は、モニタ対象者が左を向いているときの、眼鏡フレームの輪郭線である。
【０１３３】
この図から判るように、モニタ対象者が左右を顔を向けると向いた側の眼鏡フレームの横経が正面を向いている状態より小さくなっている。また、向いた側の眼鏡フレームの横径が、反対側の眼鏡フレームの横径よりも小さくなっている。の関係を示したのが、図４０に示すグラフとなる。
【０１３４】
ここでは、モニタ対象者が左右に顔を向けた時のみ眼鏡フレームの横径を使って検出する方法を例示したが、上下方向に顔を向けた場合は眼鏡フレームの縦径を使って検出することができる。また、モニタ対象者の顔は上下左右の合成の動きをするので眼鏡フレームの横径、縦径を同時に使うことでより精度のよい顔の向き検出ができる。
【０１３５】
［第３の顔の向き検出処理］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１３６】
このようにして、第２の実施形態に係る顔状態検出装置では、眼鏡のレンズ径の縦径、或いは横径に基づいて対象者の顔の向きを検出する第２の顔の向き検出手段を具備し、眼鏡に映り込んだ映像から車体構造物が検出されない場合には、この第２の顔の向き検出手段を用いて、対象者の顔の向きを検出するように構成するので、第１の実施形態に記載した効果に加え、より一層検出精度を向上させることができる（請求項１０の効果）。
【０１３７】
＜第３の実施形態＞
［システムブロック図］
図４１は、本発明を適用した顔状態検出装置の、第３の実施形態の構成を示すブロック図である。この顔状態検出装置は、顔画像撮像手段ＣＬ１と、眼鏡検出手段ＣＬ２と、映り込み検出手段ＣＬ３と、車体構造物検出手段ＣＬ４と、車体構造物位置検出手段ＣＬ５と、第１の顔の向き検出手段ＣＬ６と、第３の顔の向き検出手段ＣＬ７と、眼鏡レンズ径検出手段ＣＬ８と、第２の顔の向き検出手段ＣＬ９と、備えている。
【０１３８】
顔画像撮像手段ＣＬ１は、モニタ対象者の顔を撮像して顔画像データを出力する。眼鏡検出手段ＣＬ２は、モニタ対象者が眼鏡を掛けているかどうかを検出する。
【０１３９】
映り込み検出手段ＣＬ３は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して、モニタ対象者が掛けている眼鏡のレンズ表面上に、車内外の情景が映り込んでいるか否かを検出する。
【０１４０】
車体構造物検出手段ＣＬ４は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して、モニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から車体構造物を検出する。
【０１４１】
車体構造物位置検出手段ＣＬ５は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して、モニタ対象者が掛けている眼鏡のレンズフレームを検出し、車体構造物検出手段ＣＬ４によって、検出されたモニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車体構造物とレンズフレームの相対位置関係によって眼鏡上に映り込んでいる車体構造物の眼鏡上での位置を検出する。
【０１４２】
第１の顔の向き検出手段ＣＬ６は、車体構造物位置検出手段ＣＬ５によって検出された眼鏡上に映り込んでいる車体構造物の眼鏡上での位置から顔の方向を検出する。
【０１４３】
第３の顔の向き検出手段ＣＬ７は、眼鏡検出手段ＣＬ２で眼鏡が検出できなかった場合か、映り込み検出手段ＣＬ３でドライバが掛けている眼鏡のレンズ表面上に車内外の情景の映り込みが検出できなかった場合に、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出し、左右の眼の位置もしくは検出された眼の位置を基準にした範囲から画像処理によって得られる左右いずれかの眼の形状から顔の向きを検出する。
【０１４４】
眼鏡レンズ径検出手段ＣＬ８は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理してモニタ対象者が掛けている眼鏡のレンズの横径または縦径の少なくともいずれか一方を検出する。
【０１４５】
第２の顔の向き検出手段ＣＬ９は、眼鏡レンズ径検出手段ＣＬ８によって検出されたモニタ対象者が掛けている眼鏡のレンズの横径または縦径の少なくともいずれか一方から顔の方向を検出する。
【０１４６】
［機器の配置］
本発明の機器の配置、顔画像撮像手段ＣＬ１としてのＴＶカメラ１は、前述した第１の実施形態と同一であるので、その説明を省略する。
【０１４７】
マイクロコンピュータ２には、眼鏡検出手段ＣＬ２と、映り込み検出手段ＣＬ３と車体構造物検出手段ＣＬ４と、車体構造物位置検出手段ＣＬ５と、第１の顔の向き検出手段ＣＬ６と、第３の顔の向き検出手段ＣＬ７と、眼鏡レンズ径検出手段ＣＬ８と、第２の顔の向き検出手段ＣＬ９の処理に関するプログラムがプログラミングされている。
【０１４８】
［システム全体の処理］
図４２は、システムの全体の処理の流れを示している。まず、処理が開始されると、Ｓ１で、ＴＶカメラ１でモニタ対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力される。Ｓ２では、モニタ対象者が眼鏡を掛けているか否かを検出する。
【０１４９】
Ｓ３では、Ｓ２の検出結果に基づき、モニタ対象者が眼鏡を掛けている場合には（Ｓ３でＹＥＳ）、Ｓ４へ処理を進め、モニタ対象者が眼鏡を掛けていない場合は（Ｓ３でＮＯ）、Ｓ９へ処理を進める。
【０１５０】
Ｓ４では、マイクロコンピュータ２に入力された画像データを画像処理することによって、モニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込んでいるか否かを検出する。
【０１５１】
Ｓ５では、Ｓ４の検出結果に基づき、モニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込んでいる場合は（Ｓ５でＹＥＳ）、Ｓ６へ処理を進め、モニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込んでいない場合は（Ｓ５でＮＯ）、Ｓ９へ処理を進める。
【０１５２】
Ｓ６では、マイクロコンピュータ２に入力された画像データを画像処理することによってモニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から車体構造物を検出する。
【０１５３】
Ｓ１２では、モニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から車体構造物が検出できた場合は（Ｓ１２でＹＥＳ）、Ｓ７へ処理を進め、図４３に示すような状況でモニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から車体構造物が検出できなかった場合は（Ｓ１２でＮＯ）、Ｓ１０へ処理を進める。
【０１５４】
Ｓ７では、マイクロコンピュータ２に入力された画像データを画像処理することによってモニタ対象者が掛けている眼鏡のレンズフレームを検出し、車体構造物検出手段ＣＬ４によって検出されたモニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車体構造物とレンズフレームの相対位置関係によって眼鏡上に映り込んでいる車体構造物の眼鏡上での位置を検出する。
【０１５５】
Ｓ８では、Ｓ７によって検出された眼鏡上に映り込んでいる車体構造物の眼鏡上での位置から、モニタ対象者の顔の向きを検出し（第１の顔の向き検出処理）、処理を終了する。
【０１５６】
Ｓ９では、Ｓ３で眼鏡が検出できなかった場合、又はＳ５でモニタ対象者が掛けている眼鏡のレンズ表面上に車内外の情景が映り込みが検出できなかった場合に、マイクロコンピュータ２に入力された画像データを画像処理することによって眼の位置を検出し、左右の眼の位置もしくは検出された眼の位置を基準にした範囲から画像処理によって得られる左右いずれかの眼の形状から顔の向きを検出し（第３の顔の向き検出処理）、処理を終了する。
【０１５７】
Ｓ１０では、マイクロコンピュータ２に入力された画像データを画像処理することによってモニタ対象者が掛けている眼鏡のレンズの横径または縦径の少なくともいずれか一方を検出する。
【０１５８】
Ｓ１１では、Ｓ１０で検出されたモニタ対象者が掛けている眼鏡のレンズの横径または縦径の少なくとも一方から、モニタ対象者の顔の向きを検出し（第２の顔の向き検出処理）、処理を終了する。
【０１５９】
［眼鏡の検出処理］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１６０】
［映り込み検出処理］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１６１】
［車両構造物検出処理］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１６２】
［車両構造物の画像上の眼鏡上の位置の検出］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１６３】
［第１の顔の向き検出処理］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１６４】
［第３の顔の向き検出処理］
前述した第１の実施形態と同様であるので、その詳細説明を省略する。
【０１６５】
［眼鏡レンズ径の検出処理］
前述した第２の実施形態と同様であるので、その詳細説明を省略する。
【０１６６】
［第２の顔の向き検出処理］
前述した第２の実施形態と同様であるので、その詳細説明を省略する。
【０１６７】
このようにして、本実施形態に係る顔状態検出装置では、対象者の顔画像から、眼の位置を検出し、眼の位置或いは眼の形状に基づいて、対象者の顔の向きを検出する第３の顔の位置検出手段を備え、眼鏡のレンズに映り込んだ映像から車体構造物を検出することができない場合に、第３の顔の向き検出手段により、対象者の顔の向きを検出するようにしているので、前述した第１，第２の実施形態に記載した顔状態検出装置に記載した効果に加え、より一層検出精度を向上させることができる（請求項１１の効果）。
【図面の簡単な説明】
【図１】本発明の、第１の実施形態に係る顔状態検出装置の構成を示すブロック図である。
【図２】本発明に係る顔状態検出装置の、各構成要素の配置図である。
【図３】第１の実施形態に係る顔状態検出装置の、全体の処理手順を示すフローチャートである。
【図４】映り込み判定処理の具体的な内容を示すフローチャートである。
【図５】眼鏡に映り込みが発生していないときの様子を示す説明図である。
【図６】眼鏡に映り込みが発生しているときの、モニタ対象者の顔画像である。
【図７】図６に示した画像から、眼鏡部分を抽出した画像を示す説明図である。
【図８】眼鏡、及び映り込み画像の輪郭データを示す説明図である。
【図９】モニタ対象者が右側を見たときの、眼鏡部分の原画像、及び輪郭データを示す説明図である。
【図１０】モニタ対象者が左側を見たときの、眼鏡部分の原画像、及び輪郭データを示す説明図である。
【図１１】モニタ対象者が、正面から右方向を向くときの変化の様子を示す説明図の、第１の分図である。
【図１２】モニタ対象者が、正面から右方向を向くときの変化の様子を示す説明図の、第２の分図である。
【図１３】モニタ対象者が、正面から右方向を向くときの変化の様子を示す説明図の、第３の分図である。
【図１４】顔の向き判定処理の具体的な内容を示すフローチャートである。
【図１５】眼の候補の位置特定処理の具体的な内容を示すフローチャートである。
【図１６】眼のテンプレートを用いて、対象者の眼の位置を検出する様子を示す説明図である。
【図１７】眼の存在領域の大きさを示す説明図である。
【図１８】眼の横方向の長さの統計を示す説明図である。
【図１９】眼の縦方向の長さの統計を示す説明図である。
【図２０】眼の存在領域の位置を決める処理を示す説明図である。
【図２１】眼判定処理の具体的な内容を示すフローチャートの、第１の分図である。
【図２２】眼判定処理の具体的な内容を示すフローチャートの、第２の分図である。
【図２３】微小画像を抽出する処理の説明図である。
【図２４】二値化閾値を求める処理を示す説明図である。
【図２５】眼のテンプレートを用いて、眼の位置を検出する処理を示す説明図である。
【図２６】顔の向き判定処理の具体的な内容を示すフローチャートである。
【図２７】眼の輪郭線を画像処理によって抽出する処理の説明図である。
【図２８】眼の輪郭線を画像処理によって抽出する処理の説明図である。
【図２９】眼の輪郭線を画像処理によって抽出する処理の説明図である。
【図３０】眼の輪郭線を画像処理によって抽出する処理の説明図である。
【図３１】目頭・目尻、円弧状ラインピーク位置を示す説明図である。
【図３２】対象者が眼球を動かしたときの映像を示す説明図である。
【図３３】対象者が眼球を動かしたときの、目頭・目尻、円弧状ラインピーク位置を示す説明図である。
【図３４】顔の向きと目尻ピーク距離、目頭ピーク距離との関係を示す特性図である。
【図３５】本発明の、第２の実施形態に係る顔状態検出装置の構成を示すブロック図である。
【図３６】第２の実施形態に係る顔状態検出装置の、処理全体を示すフローチャートである。
【図３７】モニタ対象者が正面を見ているときの、眼鏡のフレーム輪郭データを示す説明図である。
【図３８】モニタ対象者が右側を見ているときの、眼鏡のフレーム輪郭データを示す説明図である。
【図３９】モニタ対象者が左側を見ているときの、眼鏡のフレーム輪郭データを示す説明図である。
【図４０】顔の向きと、眼鏡の横径との関係を示す特性図である。
【図４１】第３の実施形態に係る顔状態検出装置の、処理全体を示すフローチャートである。
【図４２】第３の実施形態に係る顔状態検出装置の、処理全体を示すフローチャートである。
【図４３】モニタ対象者が掛けている眼鏡のレンズ表面上に映り込んでいる車内外の情景から、車体構造物を検出することができない場合の眼鏡部分の画像を示す説明図である。
【符号の説明】
１　カメラ
２　マイクロコンピュータ
ＣＬ１　顔画像撮像手段
ＣＬ２　眼鏡検出手段
ＣＬ３　映り込み検出手段
ＣＬ４　車体構造物検出手段
ＣＬ５　車体構造物位置検出手段
ＣＬ６　第１の顔の向き検出手段
ＣＬ７　第３の顔の向き検出手段
ＣＬ８　眼鏡レンズ径検出手段
ＣＬ９　第２の顔の向き検出手段

Claims

対象者の顔を顔画像撮像手段にて撮像し、撮像された顔画像に基づいて、当該対象者の顔の向きを検出する顔状態検出装置において、
前記対象者が眼鏡を掛けているかどうかを検出する眼鏡検出手段と、
前記眼鏡検出手段にて、対象者が眼鏡を掛けていることが検出された際には、当該眼鏡に映り込みが存在するかどうかを検出する映り込み検出手段と、
当該映り込み検出手段にて検出される映り込み映像の位置、或いは検出された眼鏡の特徴量を検出する特徴量検出手段と、
前記特徴量検出手段にて検出された特徴量に基づいて、前記対象者の顔の向きを検出する第１の顔の向き検出手段と、
を具備したことを特徴とする顔状態検出装置。
前記特徴量検出手段は、前記対象者が掛けている眼鏡のレンズに映し出されている車体構造物を検出する車体構造物検出手段と、当該車体構造物のレンズ上での位置を検出する車体構造物位置検出手段と、を有し、
前記第１の顔の向き検出手段は、前記車体構造物位置検出手段にて検出された車体構造物の位置に基づいて、前記対象者の顔の位置を検出することを特徴とする請求項１に記載の顔状態検出装置。
前記車体構造物は、前記対象者よりも前方に存在するものとすることを特徴とする請求項２に記載の顔状態検出装置。
前記車体構造物は、フロントウインドウの輪郭、サイドウインドウの輪郭、ルームミラー、或いはＡピラーのうちの、少なくとも１つであることを特徴とする請求項２または請求項３のいずれかに記載の顔状態検出装置。
前記眼鏡検出手段は、前記対象者が掛けている眼鏡のレンズフレームを検出するレンズフレーム検出手段を具備し、前記第１の顔の向き検出手段は、レンズフレーム検出手段により検出されたレンズフレームの位置と、車体構造物位置検出手段にて検出される車体構造物の位置との相対関係から、前記対象者の顔の位置を検出することを特徴とする請求項２〜請求項４のいずれか１項に記載の顔状態検出装置。
前記映り込み検出手段は、前記顔画像撮像手段にて撮像された画像から、前記対象者の眼を検出する眼検出手段を具備し、当該眼検出手段にて前記対象者の眼が検出された際には、この眼の画像に基づいて、前記対象者の顔位置を検出し、
対象者の眼が検出されない場合には、前記第１の顔位置検出手段による顔位置検出を行うことを特徴とする請求項１〜請求項５のいずれか１項に記載の顔状態検出装置。
前記眼鏡検出手段は、前記顔画像撮像手段にて撮像された画像から眼鏡のフレーム位置を検出し、
前記第１の顔位置検出手段は、前記車体構造物検出手段により検出される、フロントウインドウの輪郭、サイドウインドウの輪郭、ルームミラー、或いはＡピラーのうちの、少なくとも１つの位置と、前記検出された眼鏡のフレーム位置と、の相対関係に基づいて、前記対象者の顔の向きを検出することを特徴とする請求項１〜請求項６のいずれか１項に記載の顔状態検出装置。
前記特徴量検出手段は、顔画像に含まれる眼鏡のレンズ部の横径、或いは縦径を特徴量として検出し、前記第１の顔の向き検出手段は、レンズ部の横径、或いは縦径の大きさに基づいて、前記対象者の顔の向きを検出することを特徴とする請求項１に記載の顔状態検出装置。
前記眼鏡検出手段は、前記画像撮像手段にて撮像された画像から眼鏡のレンズフレームを検出し、
前記特徴量検出手段は、検出されたレンズフレームの横方向の最大幅をレンズの横径、レンズフレームの縦方向の最大幅をレンズの縦径とすることを特徴とする請求項８に記載の顔状態検出装置。
前記眼鏡検出手段は、前記顔画像撮像手段にて撮像された顔画像から、眼鏡のレンズの縦径、或いは横径の少なくとも一方を検出し、
検出された眼鏡のレンズの縦径、或いは横径の大きさに基づいて、前記対象者の顔の向きを検出する第２の顔の向き検出手段を有し、
前記特徴量検出手段にて、車体構造物を検出することができなかった際に、前記第２の顔の向き検出手段により、対象者の顔の向きを検出することを特徴とする請求項１に記載の顔状態検出装置。
前記対象者の眼の位置を検出し、左右の眼の位置、或いは眼の形状に基づいて、対象者の顔の向きを検出する第３の顔の向き検出手段を具備し、前記特徴量検出手段にて、対象者の眼鏡に映し出される車体構造物、及び眼鏡の特徴量を検出することができない場合には、当該第３の顔の向き検出手段により対象者の顔の向きを検出することを特徴とする請求項１に記載の顔状態検出装置。