JP2010198313A

JP2010198313A - 開眼度特定装置

Info

Publication number: JP2010198313A
Application number: JP2009042342A
Authority: JP
Inventors: Takuhiro Omi; 拓寛大見; Takehiko Tanaka; 勇彦田中; Shinichi Kojima; 真一小島; Takashi Naito; 貴志内藤; Satoru Nakanishi; 悟中西
Original assignee: Denso Corp; Toyota Motor Corp
Current assignee: Denso Corp; Toyota Motor Corp
Priority date: 2009-02-25
Filing date: 2009-02-25
Publication date: 2010-09-09
Anticipated expiration: 2029-02-25
Also published as: JP5177011B2

Abstract

【課題】撮影画像を縮小した縮小画像を用いて人の開眼度を特定する技術において、特定された開眼度の精度を向上させる。
【解決手段】開眼度特定装置は、取得した撮影画像を単純間引き法または近傍画素平均法のいずれかで縮小し（ステップ２１５、２２０、２２５）、縮小した結果の縮小画像を用いてドライバの開眼度を特定し（ステップ２５５）、特定した開眼度の確からしさを示す適合度が閾値を超えていれば（ステップ２６０）、次回以降に取得する撮影画像についても同じ縮小方法を採用し、閾値以下であれば（ステップ２６０）、次回以降に取得する撮影画像についても同じ縮小方法を切り替える（ステップ２８０）。
【選択図】図６

Description

本発明は、開眼度特定装置に関するものである。

従来、人の顔を撮影し、その撮影画像に基づいてその人の瞼の開き度合い（以下、開眼度という）を繰り返し特定する開眼度特定装置が知られている（例えば、特許文献１〜５参照）。特定された開眼度は、例えば、車両のドライバの居眠り運転の検出等に用いることができる。その場合は、特定されたドライバの開眼度から、ドライバの瞬きの挙動を特定し、その特定結果からドライバの眠気のレベルを推定することになる。

開眼度特定装置の技術においては、人の顔の撮影画像をそのまま用いて開眼度を算出するのではなく、撮影画像の画素数を減らすことで撮影画像を一旦縮小し、その結果の縮小画像を用いて開眼度を算出する場合がある。このようにすることで、開眼度を算出するために処理する画像の画素数が小さくなり、その結果、処理負荷（具体的には、演算量および使用メモリ量）が軽減される。

画像の画素を減らして縮小する方法としては、単純間引きの方法、平均化手法等、種々の方法がある（例えば、特許文献６〜８参照）。縮小する方法によって、元の画像中のどのような情報を残してどのような情報を捨てるかが異なっている。例えば、単純間引きの方法では、画素中の特定の行または列を単純に削除するようになっており、平均化手法では、残す画素の輝度として、その画素の周囲の画素の輝度の平均値を採用するようになっている。

特開２００５−２５１２２４号公報特開２００７−２１３３７６号公報特開２００７−２５７３２１号公報特開２００１−３０７０７６号公報特開２００５−１８６５６号公報特開２００６−２６２３８２号公報特開２００６−２６１７８９号公報特開２００１−２４５１４１号公報

北川洋介他３名、「アイモデルを用いたCondensationによる黒目追跡」、電子情報通信学会技術研究報告NLC言語理解とコミュニケーション、電子情報通信学会、第１０４巻、第６６８号、ｐ．１３−１８

しかし、縮小画像を用いて開眼度を特定する場合、縮小画像を用いているがために、特定された開眼度の精度が低くなる傾向がある。

本発明は上記点に鑑み、撮影画像を縮小した縮小画像を用いて人の開眼度を特定する技術において、特定された開眼度の精度を向上させることを目的とする。

上記目的を達成するための請求項１に記載の発明は、人の顔が撮影された撮影画像を繰り返し取得する取得手段（１１０、２１０）と、前記取得手段が繰り返し取得した撮影画像のそれぞれについて、当該撮影画像の画素数を減らして縮小することで縮小画像を生成する、という作動を繰り返す縮小画像生成手段（２１５、２２０、２２５）と、前記縮小画像生成手段によって作成された縮小画像に基づいて、前記人の目の開眼度を繰り返し特定する開眼度特定手段（２５５）と、撮影画像の画素数を減らして縮小する際においてどのような情報を残すかについての方法（以下、縮小方法という）を、複数の縮小方法のうちから選択し、選択した縮小方法を前記縮小画像生成手段（２１５、２２０、２２５）に採用させる選択手段（２０３、２０５、２６０、２６１、２６３、２７０、２７５、２８０）と、を備えた開眼度特定装置についてのものである。

この開眼度特定装置において、前記縮小画像生成手段が前記複数の縮小方法のうち第１の縮小方法を用いて第１の縮小画像を生成し、前記開眼度特定手段（２５５）が前記第１の縮小画像に基づいて第１の開眼度を特定した場合に、前記選択手段は、前記第１の開眼度が前記人の開眼度としてどの程度確からしいかを示す指標（以下、第１の開眼度の適合度という）に基づいて、前記縮小画像生成手段が縮小画像を生成する際に採用する縮小方法を前記第１の縮小方法から他の縮小方法に切り替えるか否かを判定することを特徴とする。

このように、第１の縮小方法で縮小された第１の縮小画像から第１の開眼度を特定する場合において、当該第１の開眼度の適合度を用いて、縮小方法を他の縮小方法に切り替えるか否かを判定することで、第１の縮小方法の良否に関するフィードバック情報を利用して縮小方法を選択することができるようになる。その結果、状況に応じた縮小方法を用いて撮影画像を縮小することができる。すなわち、縮小方法を適材適所に使い分けることができる。それ故、特定された開眼度の精度を向上させることができる。

また、請求項２に記載のように、前記選択手段は、前記複数の縮小方法のそれぞれ毎に、当該縮小方法を用いて縮小画像を作成し当該縮小画像に基づいて開眼度を特定した場合における当該開眼度の適合度について、過去の統計的代表値を算出し、また、前記複数の縮小方法の適合度に対応する複数の統計的代表値間の比較結果に基づいて、前記縮小画像生成手段に採用させる縮小方法を決定するようになっていてもよい。

このように、複数の縮小方法間の適合度の統計的代表値の比較結果に基づいて、採用する縮小方法を決定することで、１回の適合度のみに基づいて採用する縮小方法を決定する場合に比べ、縮小方法の選択が、より信頼性の高いものとなる。

また、請求項３に記載のように、開眼度特定装置は、前記人を他の人と区別された個人として特定する個人識別手段（２０３）を備え、また、前記選択手段は、当該開眼度特定装置の作動開始の後に初めて前記縮小画像生成手段が開眼度の特定のために縮小画像を生成するときに、採用する縮小方法として、デフォルトの縮小方法を選択するようになっていてもよい。

さらに前記選択手段は、縮小方法と前記特定された個人との組み合わせ毎に、当該縮小方法を用いて開眼度を特定した場合における当該開眼度の適合度について、過去の統計的代表値を算出し、算出した統計的代表値間の比較結果に基づいて、前記デフォルトの縮小方法を決定するようになっていてもよい。

このようになっていることで、当該開眼度特定装置の作動開始直後において開眼度算出のために初めて用いられる縮小方法も、個人識別手段によって特定された個人（つまり、撮影される人）についての縮小方法毎の適合度の統計的代表値に基づいて決定されるので、当該開眼度特定装置の作動の当初から、縮小方法の適切な作動が実現されることになる。

また、上記目的を達成するための請求項４に記載の発明は、人の顔が撮影された撮影画像を取得する取得手段（２１０）と、前記取得手段が取得した撮影画像の画素数を減らして縮小することで縮小画像を生成する縮小画像生成手段（２１５、２２０、２２５）と、前記縮小画像生成手段によって作成された縮小画像に基づいて、前記人の開眼度を特定する開眼度特定手段（２５５）と、撮影画像の画素数を減らして縮小する際においてどのような情報を残すかについての方法（以下、縮小方法という）を、複数の縮小方法のうちから選択し、選択した縮小方法を前記縮小画像生成手段（２１５、２２０、２２５）に採用させる選択手段（２０３、２０５、２６０、２６１、２６３、２７０、２７５、２８０）と、を備えた開眼度特定装置についてのものである。

この開眼度特定装置において、前記選択手段は、前記撮影画像に基づいて、前記撮影画像中の前記人の顔の揺動速度を特定し、特定した前記揺動速度に基づいて、前記複数の縮小方法から１つの縮小方法を選択するようになっていてもよい。

人の顔の揺動速度の大小によっては、どの縮小方法が開眼度の特定に適しているかが大きく変化する。したがって、人の顔の揺動速度に基づいて縮小方法を選択することで、状況に応じた縮小方法を用いて撮影画像を縮小することができる。すなわち、縮小方法を適材適所に使い分けることができる。それ故、特定された開眼度の精度を向上させることができる。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

本発明の実施形態に係るドライバモニタリング装置１０の車両への搭載形態を示す図である。ドライバモニタリング装置１０の構成を示すブロック図である。開眼度１８と開閉閾値１９との関係を示すグラフである。画像処理ＥＣＵ３の作動モード１００、２００およびそれら作動モード１００、２００間の遷移１１、１２を示す図である。初期発見モード１００において実行されるプログラムのフローチャートである。トラッキングモード２００において実行されるプログラムのフローチャートである。撮影画像の一例を示す図である。撮影画像および撮影画像中の顔部品２２〜２５の一例を示す図である。顔特徴点を示す図である。単純間引き法および近傍画素平均法による縮小方法を例示する図である。近傍画素平均法における注目画素８０と近傍画素との位置関係の例を複数示す図である。右目頭２２ａ、右目尻２２ｂを両端とする上瞼輪郭用のベジエ曲線１５ａ〜１５ｄおよび下瞼輪郭１６を示す図である。上瞼輪郭用のベジエ曲線１７上の複数の点１７ａ〜１７ｄのうち１つの点１７ｄにおける法線ベクトルｈ_ｋおよび輝度勾配ベクトルｇ_ｋを示す図である。第２実施形態においてトラッキングモード２００で実行されるプログラムのフローチャートである。第２実施形態においてトラッキングモード２００で実行されるプログラムのフローチャートである。第３実施形態において初期発見モード１００で実行されるプログラムのフローチャートである。第３実施形態においてトラッキングモード２００で実行されるプログラムのフローチャートである。第４実施形態において初期発見モード１００に遷移する前に実行するプログラムのフローチャートである。第５実施形態においてトラッキングモード２００で実行されるプログラムのフローチャートである。縮小方法の他の例を示す図である。

（第１実施形態）
以下、本発明の一実施形態について説明する。図１に、本実施形態に係るドライバモニタリング装置１０の車両への搭載形態を示し、図２に、ドライバモニタリング装置１０のブロック構成を示す。

これらの図に示すように、車両に搭載されるドライバモニタリング装置１０は、カメラ１、投光器２、画像処理ＥＣＵ（開眼度特定装置の一例に相当する）３、状態推定ＥＣＵ４、およびアクチュエータ５を有している。なお、ドライバモニタリング装置１０は、車両の主電源がオンとなった場合（例えば、イグニッションがオンとなった場合）に作動を開始し、オフとなった場合に作動を終了する。したがって、ドライバモニタリング装置１０は、その１回の作動中においては、同じドライバを対象として作動する。

カメラ１は、ドライバ席６の正面に近い位置（例えば、メータ付近やステアリングコラム上）に取り付けられている。カメラ１の撮影範囲は、通常の体格のドライバ７がドライバ席６に通常の姿勢で着座したときに、ドライバ７の顔８が存在するであろう空間領域を含むように設計されている。すなわち、カメラ１は、ドライバ席６に着座したドライバ７の顔８を正面から撮影できるように配置されている。

このカメラ１は、ドライバモニタリング装置１０の作動中、繰り返し定期的に（例えば１秒に３０回）ドライバ７の顔８を撮影し、その撮影の結果得た撮影画像（すなわち、顔８を含む画像）を、撮影順に逐次ＥＣＵ３に出力する。

投光器２は、ドライバ席６に着座したドライバ７の顔８に主に近赤外光を照射するための装置である。投光器は夜間の車室内のように低照度下においても安定的にカメラ１が撮影できるようにするための補助光を発するものであり、昼間のように太陽光に含まれる近赤外成分がその役割を担う場合には必須ではないが、太陽光の顔８への照射方向が時間的に変化するなど外乱となることを防ぐために、昼間においても使用されることが望ましい。この投光器２によって照射された近赤外光が顔８で反射することで、カメラ１によって撮影される顔８の撮影画像が、外部の環境に大きく影響されることなく、鮮明になる。

なお、カメラ１は、撮影の際には、主に近赤外光を利用する。具体的には、カメラ１には、投光器２から発する近赤外光以外の光をほぼ遮るフィルタが取り付けられており、そのフィルタ越しに受けた光を用いて撮影を行うようになっている。つまり、なるべく投光器２から発する波長の光以外はカットすることが常時安定的に顔８を撮像するのに好ましい。ここで、ほぼ遮るという表現をしているのは、カメラ１の感度不足を補うために投光器２以外の環境光を一部利用したり、また完全に遮るだけの性能の良いフィルタが実用上ないためである。

投光器２としては、例えば近赤外光を照射するＬＥＤを用いてもよい。この投光器２は、車両のインストゥルメントパネルのうち、ドライバ席６の正面に近い位置に取り付けられている。そして投光器２は、通常の体格のドライバ７が通常の姿勢でドライバ席６に着座したときに、ドライバ７の顔８が存在するであろう空間領域に赤外光が照射されるように、設計配置されている。

なお、投光器２は、画像処理ＥＣＵ３からの制御に基づいて、カメラ１による撮影のタイミングに合わせて光を照射するようになっていてもよいし、ドライバモニタリング装置１０の作動中常時光を照射し続けるようになっていてもよい。

画像処理ＥＣＵ３は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ等を有するマイコン等から成る。そして、ＣＰＵがＲＯＭから読み出したプログラムをＲＡＭに読み出して実行し、その実行の際に、必要に応じてフラッシュメモリ、カメラ１等から情報を取得し、また必要に応じて、状態推定ＥＣＵ４に信号を出力する。このようなＣＰＵ等の作動により、画像処理ＥＣＵ３の作動が実現する。

具体的には、画像処理ＥＣＵ３は、カメラ１により取得した画像からドライバ７の顔８を探索し、ドライバ７の顔動作状態を繰り返し特定し、特定したそれら顔動作状態の情報を、繰り返し状態推定ＥＣＵ４に出力する。ここで、ドライバ７の顔動作状態とは、ドライバ７の顔の動作の状態をいう。例えば、顔８の向き、開眼度は、それぞれ顔動作状態の一種である。なお、開眼度とは、瞼の開き度合いを示す指標であり、瞼がより大きく開いているほど開眼度の値も大きくなる。画像処理ＥＣＵ３の詳細な作動については後述する。

状態推定ＥＣＵ４は、図示しないＣＰＵ（コンピュータの一例に相当する）、ＲＡＭ、ＲＯＭ、フラッシュメモリ、Ｉ／Ｏ等を有するマイコン等から成る。そして、ＣＰＵがＲＯＭから読み出したプログラムをＲＡＭに読み出して実行し、その実行の際に、必要に応じてフラッシュメモリ、カメラ１、画像処理ECU３等から情報を取得し、また必要に応じて、状態推定ＥＣＵ４からの情報に基づいて、アクチュエータ５を制御する。

具体的には、状態推定ＥＣＵ４は、画像処理ＥＣＵ３から受けたドライバ７の顔動作状態の情報に基づいて、ドライバ７が眠気を催しているか否か、ドライバ７が居眠り運転をしているか否か、ドライバ７が脇見運転をしているか否か、等の運転状態を判定し、その判定結果に基づいて、ドライバに警告を与える、または、ドライバを覚醒させるため、アクチュエータ５を制御する。このようなＣＰＵ等の作動により、状態推定ＥＣＵ４の作動が実現する。

アクチュエータ５は、ドライバの感覚器官（耳、皮膚等）を刺激するための装置であり、スピーカ５ａ、シート振動装置５ｂ、および空調装置５ｃなどを単一または複数組み合わせて作動することで、ドライバに眠気レベルなどの情報を提示したり覚醒を促したりするものである。ここで例示したスピーカ５ａは、ドライバの聴覚に働きかける装置である。シート振動装置５ｂは、ドライバ席６に埋め込まれ、自ら振動することで、その振動をドライバ席６越しにドライバ７に伝える装置である。空調装置５ｃは、車両の車室内の空気の温度を変化させることで、ドライバの体感温度を変化させる装置である。

状態推定ＥＣＵ４の具体的な作動は、以下の通りである。状態推定ＥＣＵ４は、ドライバ７の顔姿勢（すなわち、顔の向き）の変化に基づいてドライバ７の頭の揺れの状態を検出し、また、ドライバ７の開眼度の変化に基づいてドライバ７の瞬きの状態を検出し、それら頭の揺れの状態および／または瞬きの状態に基づいて、ドライバ７が居眠り状態であるか否か、およびドライバ７がどの程度の眠気レベルに陥っているかを判定する。また状態推定ＥＣＵ４は、ドライバ７の顔姿勢に基づいて、ドライバ７が脇見運転をしているか、また視線方向を検出しての脇見状態や視線の停留時間から漫然状態など否かを判定する。

ここで、状態推定ＥＣＵ４によるドライバ７の瞬きの状態の検出方法について説明する。状態推定ＥＣＵ４は、画像処理ＥＣＵ３から取得した開眼度の値を用い、その開眼度と別途算出した閾値とを比較し、開眼度が開眼閾値以上であるときにはドライバ７が目を開いていると判定し、開眼度が閉眼閾値未満であるときにはドライバ７が目を閉じていると判定する。図３のグラフに、開眼度１８の時間的変化の例を実線で、閾値１９の例を破線で示す。ここでは開眼閾値と閉眼閾値を共通の値とした場合を例示している。この図に併せて示すように、画像処理ＥＣＵ３で繰り返し算出される開眼度１８の精度が低いと、開眼度１８のばらつき（暴れ）が大きくなり、その結果、状態推定ＥＣＵ４におけるドライバ７の瞬きの状態の検出の精度が悪化してしまう。

後述するように、画像処理ＥＣＵ３においては、カメラ１によって撮影された画像を縮小し、その縮小した画像に基づいて開眼度を算出する。この縮小の方法が、開眼度のばらつきに影響する。つまり、作成画像の縮小方法が適切でないと、撮影画像中の重要な情報が欠損したり濃淡情報がボケて薄められたりしてしまう。特に、閉眼時の目は、撮影画像中で横にほぼ真一文字となっているので、画像の前処理方法が悪いと開眼度の検出に大きな影響が及ぶ。

次に状態推定ＥＣＵ４が前述した方法により求めた瞬きの状態をもとにどのように眠気状態を推定するかについて代表的な例を用いて以下に説明する。人間の特性として、覚醒状態から眠気が強くなるに従い、一定時間内の累積閉眼時間が増加することが知られている。この特性を用いて、単位時間あたりに発生する瞬きを解析することで眠気のレベルを推定することができる。この推定手法はＰＥＲＣＬＯＳと言われている。ただし、この手法は比較的強い眠気に対しては有効であるが弱い眠気レベルの推定においては感度が悪いと言われている。それを補うために、瞬き１回に要する所要時間を比較したり、開眼速度や閉眼速度、半眼状態などの現象に着目したりする推定手法も各種提案されている。詳細な開眼度の情報を用いて推定すれば感度や精度は向上することは明らかであるが、図３に示すように実際に画像処理手法により検出した開眼度波形は平滑なものが得られにくくかえってノイズ要因となることが懸念される。また、画像処理ＥＣＵ３が検出した生波形に前処理としてフィルタによるスムージングする方法も有効ではあるが、フィルタをかけすぎると本来の情報を消失させることになりかねないため、如何に画像処理ＥＣＵ内で正確に開眼度を検出するかが重要である。

ここで眠気レベルについて言及する。覚醒状態での眠気レベルについては標準となる指標が存在していないが発明者らは少なくとも３レベル以上に分けて推定結果を出力すべきと考えている。それは（１）全く眠くないレベル、（２）眠気はあるが運転には支障のないレベル（注意喚起すべきレベル）、（３）強い眠気があり運転リスクを伴うレベル（警報レベル）。さらにレベルを細分化すれば、ドライバの状態に応じて決め細やかな支援を行うことができ、効果的である。

また、詳述はしないが、状態推定ＥＣＵ４では、画像処理ＥＣＵ３が出力するドライバの顔向きや視線方向、さらにその結果をもとに視線の停留時間などを演算利用し、ドライバの脇見などの不注意状態または漫然状態を推定することもできる。

また、状態推定ＥＣＵ４は、ドライバ７が居眠り状態であると判定した場合、または、ドライバ７が強い眠気状態に陥っていると判定した場合、スピーカ５ａに大きな音を出力させ、かつまたは、シート振動装置５ｂを振動させ、さらに空調装置５ｃに車室内温度を低下させることで、ドライバを覚醒させ、ドライバの眠気を覚ます。同様に弱い眠気があると判定した場合、スピーカ５ａから弱い音を発生させたり、５ｂから軽い振動を発生させるなど、ドライバが煩わしく感じない程度の注意を喚起するアクチュエーション手段を作動させる。また、状態推定ＥＣＵ４は、ドライバ７が脇見運転をしていると判定した場合、スピーカ５ａに、「脇見注意」等の警告音声を出力させる。

次に、画像処理ＥＣＵ３のドライバの顔動作状態の判定の詳細について説明する。画像処理ＥＣＵ３は、ドライバモニタリング装置１０の作動中、図４に示すように、初期発見モード１００、トラッキングモード２００という２つの作動モードの間を遷移する。

より具体的には、画像処理ＥＣＵ３は、ドライバモニタリング装置１０の起動直後に、まず初期発見モード１００に入る。そして、初期発見モード１００において、ドライバ７の顔８の位置および特徴量、ならびに、顔８の特徴点の位置および特徴量の特定を試み、その試みに成功すると、特定した顔８の位置および特徴量、ならびに、顔８の特徴点の位置および特徴量を、ＲＡＭまたはフラッシュメモリに登録する。ここで、特徴量とは、顔８固有の情報であり、顔部品を切り出した濃淡画像などをいう。また、顔８の特徴点とは、例えば、右目頭、右目尻、左目頭、左目尻、鼻腔中心（２つの鼻腔の中間点）、左右口端等の点をいう。そして登録の後、矢印１１のようにトラッキングモード２００に遷移する。

また、トラッキングモード２００において、繰り返し取得する撮影画像に基づいて、初期発見モード１００において特定した特徴点（以下、顔特徴点という）の位置の追跡を撮影順に試み、特定した特徴点の位置等に基づいて、ドライバ７の顔動作状態（ドライバ７の顔姿勢および開眼度等）を特定し、特定した顔動作状態の情報を状態推定ＥＣＵ４に出力する。また、トラッキングモード２００において、顔特徴点の検出に失敗すると、矢印１２に示すように、初期発見モード１００に遷移する。

このように、画像処理ＥＣＵ３は、まず初期発見モード１００からトラッキングモード２００へと遷移し、追跡が成功している間は常にトラッキングモード２００が継続することになる。しかしながら、追跡に失敗し特徴点を見つけられなくなると初期発見モード１００に戻る。ここでは説明を簡単化するために初期発見モード１００とトラッキングモード２００の状態遷移を説明したが、実際には、ドライバの安全確認作業などで後側方ミラーを見た際に顔特徴点の一部が画像から消えることがあり、その度にモード遷移するのは現実的ではないため、実用上はディレイを設けることが一般的である。

このような作動を実現するために画像処理ＥＣＵ３のＣＰＵが実行するプログラムのフローチャートを、図５、図６に示す。図５は、初期発見モード１００において実行されるプログラムに相当し、図６は、トラッキングモード２００において実行されるプログラムに相当する。以下、画像処理ＥＣＵ３がこれらプログラムを実行するものとして説明する。

画像処理ＥＣＵ３は、ドライバモニタリング装置１０の起動直後に初期発見モード１００の実行を開始し、まずステップ１１０で、カメラ１によって撮影された撮影画像を１フレーム分（すなわち１枚）取得する。図７に、撮影画像の一例を示す。なお、取得した撮影画像に対し、輝度調整等の前処理を行うようになっていてもよい。取得する撮影画像は、グレースケール画像である。すなわち、撮影画像は、色についての情報を有さず、複数の画素（ピクセルともいう）のそれぞれについての輝度値を有し、各画素が取り得る輝度値が多段階（例えば０から２５５まで）となっている。

本実施形態においては、ドライバ７の顔動作状態を特定するためにドライバ７の顔８を撮影するようになっている。しかしならが、撮影画像に含まれる位置範囲（すなわち、カメラ１の撮影範囲）は、図７に示すように、顔８の範囲よりも面積にして数倍（例えば５倍）以上広い。すなわち、撮影画像中に占める顔８の範囲は非常に小さくなっている。このように、カメラ１の画角が広くとられているのは、個々のドライバ７間の体型差、ドライバ７の運転操作中の姿勢変化があっても、撮像範囲内からドライバ７の顔８が外れないようにするためである。

図７の例においては、撮影画像が縦６４０ピクセル×横４８０ピクセルのＶＧＡサイズの画像であり、ドライバ７のそれぞれの目が占める範囲は、１０〜２０ピクセル×１０〜２０ピクセル（例えば、１５ピクセル×１５ピクセル程度）となっている。

続いてステップ１２０で、当該撮影画像から、顔８の眼、口、および鼻を含む領域（以下、顔領域という）２１（図７参照）を検出し、検出した顔領域２１中の画像を撮影画像から抽出する。

顔８を含む撮影画像から顔領域２１を検出するために採用する方法は、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴量と、今回のドライバ７の撮影画像の一部分を占める画像の特徴量との比較に基づいて、顔領域２１を検出する方法である。

例えば、ニューラルネット、ブースティング等の周知の統計的手法を用いる。すなわち、あらかじめ多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔の顔領域に相当する画像の特徴量を統計的に学習した結果の学習データ（比較用の画像の特徴量の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。そして、撮影画像全体を探索領域とし、その探索領域中に種々の大きさと種々の中心位置を有する候補領域を画定し、それら画定した種々の候補領域のそれぞれについて、当該候補領域の画像の特徴量と、学習データとの一致度を算出する。そして、これら候補領域のうち、最も一致度の高い候補領域を、顔領域２１として特定する。ここで比較対象とする画像の解像度は撮影画像のオリジナルではなく、大幅にデフォルメした、例えば４０ピクセル×３０ピクセルほどの縮小画像を用いる。

続いてステップ１４０では、顔領域２１中の顔部品の位置および範囲の検出を試み、検出した顔部品中の画像を撮影画像から抽出する。顔部品とは、眼、鼻（より詳細には鼻腔）、口等、顔の器官（以下、顔器官という）のそれぞれをいう。図８に、撮影画像中の顔部品２２〜２５の一例を示す。

特定の顔部品を検出するために採用する方法は、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴量と、顔領域２１の一部を占める画像の特徴量との比較に基づいて、顔部品を検出する方法である。

例えば、ニューラルネット、ブースティング等の周知の統計的手法を用いる。すなわち、あらかじめ多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔部品に相当する画像の特徴量を統計的に学習した結果の学習データ（比較用の画像の特徴量の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。そして、当該顔領域２１を探索領域とし、その探索領域中に種々の大きさと種々の中心位置を有する候補領域を画定し、それら画定した種々の候補領域のそれぞれについて、当該候補領域の特徴量と、学習データとの一致度を算出する。そして、これら候補領域のうち、最も一致度の高い候補領域を、当該顔部品として特定する。

このように、画像処理ＥＣＵ３はこのステップ１４０において、学習データを用いて統計的にドライバ７の目の位置を発見することができる。

続いてステップ１５０では、顔特徴点を検出する。顔特徴点とは、既述の通り、図９に示すように、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、左目尻２３ｂ、鼻腔中心２４ａ、右口端２５ａ、左口端２５ｂ等の点をいう。

特定の顔特徴点を検出するために採用する方法は、あらかじめ画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意された（すなわち、記録された）比較用の画像の特徴量と、顔特徴点を含む顔部品中の一部を占める画像の特徴量との比較に基づいて、顔特徴点を検出する方法である。

例えば、ニューラルネット、ブースティング等の周知の統計的手法やテンプレートマッチングなどを用いる。すなわち、あらかじめ多くの人（ほとんどの場合全員が現在のドライバ７と異なる）の顔特徴点に相当する画像の特徴量を統計的に学習した結果の学習データ（比較用の画像の特徴量の一例に相当する）を、画像処理ＥＣＵ３のＲＯＭまたはフラッシュメモリに用意しておく（すなわち、記録しておく）。そして、当該顔特徴点を含む顔部品の範囲を探索領域とし、その探索領域中に種々の大きさと種々の中心位置を有する候補領域を画定し、それら画定した種々の候補領域のそれぞれについて、当該候補領域の特徴量と、学習データとの一致度を算出する。そして、これら候補領域のうち、最も一致度の高い候補領域を、当該顔特徴点として特定する。

続いてステップ１６０では、ステップ１５０で検出した顔特徴点の位置関係が適正か否かを判定する。顔特徴点の位置関係が適正であるか否かは、例えば、右目頭２２ａ、右目尻２２ｂ、左目頭２３ａ、および左目尻２３ｂの顔特徴点が所定の誤差範囲内で左右に一直線に並んでいるか否かで判定してもよい。また例えば、撮影画像中において鼻腔中心２４ａが右口端２５ａおよび左口端２５ｂよりも上方にあるか否かで判定してもよい。適正であると判定した場合、続いてステップ１６５を実行し、適正でないと判定した場合、次の撮影画像の撮影タイミングまで待ち、撮影タイミングが来ると、再度ステップ１１０に処理を戻す。

ステップ１６５では、顔画像、顔部品画像、および顔特徴点画像を撮影画像から切り出し、切り出した各画像を縮小する。縮小比率としては、例えば、元の画像に対して総画素数で１／４を用いる。これによって、縦方向に並ぶ画素の行数と横方法に並ぶ画素の列数は、それぞれ１／２に減少する。なお、顔画像とは顔領域２１内の画像をいい、顔部品画像とは顔部品の画像をいい、顔特徴点画像とは、顔特徴点の画像をいう。また、ここでいう画像の縮小とは、撮影画像の一部としての顔画像、顔部品画像、および顔特徴点画像のそれぞれについて、画素数を減らして縮小することをいう。

縮小の方法としては、単純間引き法、近傍画素平均法等がある。図１０に、単純間引き法および近傍画素平均法による縮小方法を例示する。この図に示すように、縦６ピクセル×横６ピクセルから成る画像７０を単純間引き法または近傍画素平均法で１／４に縮小する場合、横に並ぶ画素の行を１行置きで間引き、更に縦に並ぶ画素の列を一列置きで間引くことで、注目画素７１〜７９を残す。この注目画素が、縮小後の画像（以下、縮小画像という）の画素となる。

このとき、単純間引き法においては、注目画素７１〜７９の輝度値をそのまま縮小画像においても保持する。一方、近傍画素平均法においては、注目画素７１〜７９のそれぞれの輝度値を、当該注目画素およびその近傍の画素の平均値に変更し、その変更後の輝度値を、縮小画像における当該注目画素の輝度値として用いる。

図１１（ａ）〜（ｄ）に、注目画素８０と、平均値の算出対象となる近傍画素との対応関係の例を複数示す。図１１（ａ）においては、注目画素８０、注目画素８０のすぐ下の画素８１、すぐ右斜め下の画素８２、すぐ右の画素８３という４個の画素の輝度値の平均が、縮小画像中の当該注目画素８０の輝度となる。また、図１１（ｂ）の例においては、注目画素８０を中心とする３ピクセル×３ピクセルという９個の画素８０〜８８の輝度値の平均が、縮小画像中の当該注目画素８０の輝度となる。また、図１１（ｃ）の例においては、注目画素８０を中心とする５ピクセル×５ピクセルという２５個の画素の輝度値の平均が、縮小画像中の当該注目画素８０の輝度となる。また、図１１（ｄ）の例においては、注目画素８０、注目画素８０のすぐ下の画素８１、すぐ右の画素８３、すぐ上の画素８５、すぐ左の画素８７という４個の画素の輝度値の平均が、縮小画像中の当該注目画素８０の輝度となる。近傍画素平均法においては、これらの例のうちいずれを採用してもよいし、また平均値を取る際に画素の部位によって重み係数を掛け合わせた平均値としても良い。例えば、注目画素８０の輝度値の重みを高くするなどが考えられる。

単純間引き法と近傍画素平均法とを比較すると、単純間引き法は簡便な方法ではあるが、間引かれる画素の情報は完全に消えてしまう。一方、近傍画素平均処理では、注目画素の周囲の画素の輝度を平均化するため、本当に必要な情報が薄まってしまい、縮小結果の画像がぼやけてしまいがちである。ステップ１６５では、単純間引き法、近傍画素平均法のどちらを用いて縮小してもよいし、その両方でもよいし、これら以外の方法で縮小してもよい。

続いてステップ１７０では、顔パターン登録を行う。具体的には、ステップ１２０で検出した顔領域２１の中心位置（撮影画像中の位置座標。以下同じ）、大きさ、およびステップ１６５で縮小した顔画像の特徴量、ステップ１４０で検出した顔部品２２〜２５の中心位置、大きさ、およびステップ１６５で縮小した顔画像の特徴量、ステップ１５０で検出した顔特徴点の中心位置、大きさ、およびステップ１６５で縮小した顔特徴点画像の特徴量を、画像処理ＥＣＵ３のＲＡＭまたはフラッシュメモリに記録する。これら登録された登録情報は、トラッキングモード２００においてトラッキング対象として用いられる。

ステップ１７０に続いては、ステップ１７５で、図４の矢印１１に示すように、トラッキングモード２００に遷移する。トラッキングモード２００に入ると、画像処理ＥＣＵ３は、初期発見モード１００に遷移するまでは、図６に示す処理を、カメラ１の撮影タイミングと同期して、繰り返し実行する。

まずステップ２１０で、次の撮影画像の撮影タイミングを待ち、撮影タイミングが来ると、ステップ１１０と同様に、カメラ１から撮影画像を取得する。このとき、ステップ１１０と同様に、撮影画像に対して前処理を行うようになっていてもよい。

続いてステップ２１５では、今回の撮影画像（すなわち、直前のステップ２１０で取得した撮影画像）を縮小する方法として、単純間引き法と近傍画素平均法のうちいずれを採用するかを判定する。

具体的には、画像処理ＥＣＵ３は、ドライバモニタリング装置１０が作動を開始した後（すなわち、画像処理ＥＣＵ３が作動を開始した後）に最初にステップ２１５を実行する際には、デフォルトの縮小方法を選択する。本実施形態においては、デフォルトの縮小方法は、あらかじめ画像処理ＥＣＵ３のＲＯＭ等に記録されている。また、ドライバモニタリング装置１０が作動を開始したときから数えて２回目以降のステップ２１５の実行の際には、その時点で選択されている縮小方法を引き続き選択する。なお、選択されている縮小方法の情報は、ドライバモニタリング装置１０の作動中はＲＡＭ等に保持され、イグニッションスイッチがオフとなる等によってドライバモニタリング装置１０が作動を終了すると、ＲＡＭから消去される。

ステップ２１５で単純間引き法を選択した場合は、続いてステップ２２０で単純間引き法によって撮影画像を縮小する。ステップ２１５で近傍画素平均法を選択した場合は、続いてステップ２２５で近傍画素平均法によって撮影画像を縮小する。どちらの場合も、縮小比率としては、初期発見モード１００におけるステップ１６５の縮小比率と同じものを用いる。すなわち、ＶＧＡサイズの画像である撮影画像が、ＱＶＧＡサイズ（縦３２０ピクセル×縦２４０ピクセル）の画像に縮小される。このような、ステップ２１５、２２０、２２５の処理によって、撮影画像の画素数を減らして縮小することで縮小画像を生成する。

ステップ２２０または２２５に続いては、ステップ２３０で、初期発見モード１００のステップ１７０で登録された情報をＲＡＭまたはフラッシュメモリから読み出す。読み出す情報は、顔画像の特徴量、顔部品画像の特徴量、顔特徴点画像の特徴量、およびそれら部位の中心位置、大きさの情報等である。これら読み出された情報は、後述するように、顔、顔部品、顔特徴点のトラッキング（すなわち追跡）に用いられる。

続いてステップ２３５では、顔のトラッキングを行う。具体的には、ステップ２３０で読み出した顔画像の情報（特徴量、中心位置、大きさ等の情報）を用いて、テンプレートマッチング等の周知の方法により、最新の縮小画像中における顔領域２１の中心位置および大きさを特定する。なお、テンプレートマッチングを行う場合は、読み出した顔画像の特徴量をテンプレート画像として用い、また、読み出した顔画像の中心位置を中心とする所定の範囲を、探索範囲とする。ただし、トラッキングモード２００に遷移してから数えて２回目以降のステップ２３５の実行においては、探索範囲は、前回のステップ２３５の実行時において特定した顔領域２１の中心位置を中心とする所定の範囲とする。

この探索範囲は、カメラ１の撮影周期（具体的には１／３０秒）の間に顔領域２１が移動できる範囲であればよいので、縮小画像全体に比べて非常に小さい範囲となる。したがって、ステップ２３５の顔部のトラッキングは、初期発見モード１００のステップ１２０における顔領域検出に比べて、処理負荷が小さい。

更にステップ２３５では、各顔部品のトラッキングを行う。具体的には、ステップ２３０で読み出した各顔部品画像の情報（特徴量、中心位置、大きさ等の情報）を用いて、テンプレートマッチング等の周知の方法により、最新の縮小画像中における各顔部品の中心位置および大きさを特定する。なお、テンプレートマッチングを行う場合は、読み出した顔部品画像の特徴量をテンプレート画像として用い、また、読み出した顔部品画像の中心位置を中心とする所定の範囲を、探索範囲とする。ただし、トラッキングモード２００に遷移してから数えて２回目以降のステップ２３５の実行においては、探索範囲は、前回のステップ２３５の実行時において特定した各顔部品の中心位置を中心とする所定の範囲とする。このステップ２５３により、初期発見モード１００によって発見された目部品等の位置の変化を繰り返し特定することができる。

この探索範囲は、カメラ１の撮影周期（具体的には１／３０秒）の間に顔部品が移動できる範囲であればよいので、顔画像全体に比べて非常に小さい範囲となる。したがって、ステップ２３５の顔部品のトラッキングは、初期発見モード１００のステップ１４０における顔部品検出に比べて、処理負荷が小さい。

ステップ２４０では、縮小画像中の各顔特徴点の位置の検出を行う。つまり、顔特徴点のトラッキングを行う。具体的には、ステップ２３０で読み出した各顔特徴点画像の情報（特徴量、中心位置、大きさ等の情報）を用いて、テンプレートマッチング等の周知の方法により、最新の縮小画像中における各顔特徴点の中心位置および大きさを特定する。なお、テンプレートマッチングを行う場合は、読み出した顔特徴点画像の特徴量をテンプレート画像として用い、また、読み出した顔特徴点画像の中心位置を中心とする所定の範囲を、探索範囲とする。ただし、トラッキングモード２００に遷移してから数えて２回目以降のステップ２４０の実行においては、探索範囲は、ステップ２３５で検出した顔部品位置を中心とする所定の範囲とする。なお、この処理で用いるテンプレート画像については、初期発見モード１００において登録した画像とは顔向きの違いによる顔の回転から異なる特徴量となることがあるため、直近に検出、登録した顔部品特徴量を用いるようにしても良いし、それらをミックスしたものを用いても良い。

この探索範囲は、カメラ１の撮影周期（例えば１／３０秒）の間に顔特徴点が移動可能な範囲を見込んで広めに設定するが、顔画像全体に比べて移動量はそれほど大きくなることはなく小さい範囲となる。したがって、ステップ２４０の顔特徴点のトラッキングは、初期発見モード１００のステップ１５０における顔特徴点検出に比べて、処理負荷が小さい。

続いてステップ２４５では、ステップ２４０において顔特徴点のうちあらかじめ定められた下限個数以上の顔特徴点の検出に成功したか否かを判定する。初期発見モード１００で検出できた顔特徴点がトラッキングモード２００では検出できない場合としては、例えば、手で眼をこすったり、ジュースを飲むために顔にジュース容器を近づけたり、強い西日が顔の一部を照らしたり、撮影画像が局所的にサチュレーションしたりした場合が考えられる。下限個数以上の顔特徴点の検出に成功した場合、続いてステップ２５０を実行し、そうでない場合、ステップ２４７で、図４の矢印１２に示すように、直ちにトラッキングモード２００から初期発見モード１００に遷移する。

ステップ２５０では、ドライバの顔動作状態の１つとして、顔姿勢を算出する。顔姿勢の算出は、ステップ２４０で検出した顔特徴点の位置に基づいて算出する。さらに続いてステップ２５５では、ドライバの顔動作状態の１つとして、開眼度を算出する。開眼度の算出は、ステップ２４０で検出した顔特徴点の位置および目の部品の画像に基づいて算出する。顔特徴点の位置等から顔姿勢、開眼度を検出する技術は周知であり、例えば、特許文献１〜５に詳細に記載されている。

ここでは、開眼度の算出方法の一例について説明する。例えば、右目の開眼度は、図１２に示すように、最新の縮小画像から、ステップ２３５で検出した右目の顔部品に該当する画像（以下、目画像という）を切り出す。そして、ステップ２４０で検出した顔特徴点のうち、右目頭２２ａおよび右目尻２２ｂの位置を、切り出した目画像中で特定する。そして、それら特定した位置を両端とする直線１６を下瞼輪郭として特定する。下瞼輪郭とは、下瞼と眼球との境界線をいう。

また、特定した右目頭２２ａおよび右目尻２２ｂの位置を両端とする上瞼輪郭候補のベジエ曲線１５ａ〜１５ｄを複数本作成する。上瞼輪郭とは、上瞼と眼球との境界線をいう。そして、上述のように作成した上瞼輪郭候補のベジエ曲線１５ａ〜１５ｄのそれぞれに対して、当該切り出した目画像に対する適合度を算出する。

ここでいう「画像に対するベジエ曲線の適合度」とは、目画像中の上瞼の輪郭として、当該ベジエ曲線がどの程度もっともらしいかを表す指標であり、よりもっともらしいほど適合度が高くなる。

人のある部位の画像（上記目画像がその一例である）に対する当該部位の輪郭線（上記ベジエ曲線がその一例である）の適合度の算出方法は、種々の方法が周知である。例えば、目の画像に対する人の黒目（虹彩）の輪郭線の適合度の算出方法が、非特許文献１に記載されている。

上記目画像に対するベジエ曲線の適合度を算出する方法の一例を、図１３を用いて説明する。まず、当該ベジエ曲線上の複数個の点１７ａ〜１７ｄを抽出し、それら複数の点のそれぞれについて、法線ベクトルｈ_ｋと輝度勾配ベクトルｇ_ｋとを算出する。図１３においては、点１７ｄについての法線ベクトルｈ_ｋおよび輝度勾配ベクトルｇ_ｋのみを例示する。

ここで、法線ベクトルｈ_ｋとは、当該点を始点とし、当該点において当該ベジエ曲線に直交するベクトルである。ベジエ曲線は、パラメータをｔとすると、その軌跡の座標が、（ｘ（ｔ）、ｙ（ｔ））＝Ｐ（ｔ）＝２（１―ｔ）Ｑｓ＋２ｔ（１−ｔ）Ｑｍ＋２ｔＱｅで表される。ただし、Ｑｓは、ベジエ曲線の始点の座標値であり、Ｑｍはベジエ曲線の中点の座標であり、Ｑｅはベジエ曲線の終点の座標である。したがって、法線ベクトルｈ_ｋは、ｈ_ｋ＝（−ｄｙ／ｄｔ、ｄｘ／ｄｔ）という成分を有する。なお、変数ｘおよびｙは、それぞれ画像中の横方向の座標値および縦方向の座標値である。

また、輝度勾配ベクトルｇ_ｋは、目画像中の輝度分布Ｌ（ｘ、ｙ）の勾配（∂Ｌ／∂ｘ、∂Ｌ／∂ｘ）である。この輝度勾配ベクトルｇ_ｋは、切り出した目画像に対して周知のソーベルフィルタを施すことによって算出することができる。すなわち、目画像中の特定の点における輝度勾配ベクトルｇ_ｋの横方向の成分および縦方向の成分は、その点におけるｘソーベル値およびｙソーベル値から算出することができる。

そして、当該ベジエ曲線上の複数個の点１７ａ〜１７ｄのそれぞれについて、当該点における法線ベクトルｈ_ｋと輝度勾配ベクトルｇ_ｋの内積を算出し、算出された点１７ａ〜１７ｄの内積の総和を算出する。この総和が、目画像に対する当該ベジエ曲線１７の適合度となる。

上瞼輪郭用のベジエ曲線１５ａ〜１５ｄのそれぞれについて、目画像に対する適合度を算出した後は、上瞼輪郭用のベジエ曲線１５ａ〜１５ｄのうちで最も適合度の高いものを抽出する。そして、そのように抽出したベジエ曲線を上瞼輪郭として特定する。

そして、このように特定した上瞼輪郭、下瞼輪郭に基づいて、当該目の開眼度を算出する。上瞼輪郭および下瞼輪郭から開眼度を算出する方法としては、種々の方法が知られている。例えば、上瞼輪郭の複数の点から下瞼輪郭に縦に直線を引き、それらの直線のうち、最も長い直線の長さを、当該目の開眼度としてもよいし、それらの直線の平均の長さを、当該目の開眼度としてもよい。このように、目の上瞼輪郭、下瞼輪郭から、当該目の開眼度が一意に算出されるので、上瞼輪郭用のベジエ曲線の適合度は、開眼度がドライバ７の開眼度としてどの程度確からしいかを示す指標でもある。すなわち、この適合度は、算出された開眼度の適合度でもある。

続いてステップ２５０では、算出された開眼度の適合度が所定の閾値Ｔｈよりも大きいか否かを判定し、所定の閾値Ｔｈより大きい場合続いてステップ２６５に進み、所定の閾値Ｔｈ以下である場合続いてステップ２７０に進む。

ステップ２６５では、ステップ２５０、２５５で算出したドライバの顔動作状態（顔姿勢および開眼度）の情報を、状態推定ＥＣＵ４に出力する。ステップ２６５に続いては、次のカメラ１の撮影タイミングを待ち、撮影タイミングが訪れると、再度ステップ２１０を実行する。

ステップ２７０では、カウンタを１だけ増加させる。なお、カウンタとは、画像処理ＥＣＵ３のＲＡＭに記録される変数であり、ステップ２６５およびステップ２８０において画像処理ＥＣＵ３によってゼロにリセットされるようになっている。したがって、このカウンタの値は、ステップ２６０で否定判定が連続する回数に相当する。

続いてステップ２７５では、このカウンタの値が所定の回数Ｎを超えたか否かを判定する。超えていない場合、次のカメラ１の撮影タイミングを待ち、撮影タイミングが訪れると、再度ステップ２１０を実行する。また、超えている場合、続いてステップ２８０を実行する。

ステップ２８０では、縮小方法として、現在選択されている方法とは別の縮小方法を選択する。つまり、単純間引き法を選択している場合は、近傍画素平均法を選択し、近傍画素平均法を選択している場合は、単純間引き法を選択する。ここで選択された縮小方法は、次回以降のステップ２１５の判定に反映される。

ステップ２８０に続いては、次のカメラ１の撮影タイミングを待ち、撮影タイミングが訪れると、再度ステップ２１０を実行する。

以上説明した通り、画像処理ＥＣＵ３は、取得した撮影画像から人の目の位置を発見するための初期発見モード１００と、初期発見モードによって発見された目の位置の変化を繰り返し特定するトラッキングモード２００との間で、当該開眼度特定装置の作動を遷移させる。

そして画像処理ＥＣＵ３は、トラッキングモード２００において、繰り返し撮影画像を取得し（ステップ２１０参照）、取得した撮影画像を逐次縮小し（ステップ２１５、２２０、２２５参照）、その縮小の結果得た縮小画像を用いて、逐次開眼度を算出する（ステップ２５５参照）。

より詳しくは、トラッキングモード２００中の繰り返しの各回において、画像処理ＥＣＵ３は、ドライバ７の撮影画像を複数の縮小方法のうち１つ（第１の縮小方法に相当する）を用いて縮小し（ステップ２１５、２２０、２２５参照）、その結果得た縮小画像（第１の縮小画像に相当する）から、ドライバ７の目の顔部品および目尻、目頭の顔特徴点を検出し（ステップ２３０、２３５、２４０参照）、その目の部品の画像および目尻、目頭の顔特徴点の位置に基づいて、目の開眼度の複数の候補毎に、その候補の開眼度としての適合度を算出し、最も適合度の高い候補を開眼度として確定する（ステップ２５５参照）。

そして、確定した開眼度（第１の開眼度に相当する）の適合度が閾値を超えている場合（ステップ２６０→ＹＥＳに相当する）、すなわち、確定した開眼度がドライバ７の開眼度として十分もっともらしい場合、縮小方向を変更せず、現在選択している縮小方法（第１の縮小方法）を継続して選択する。

また、確定した開眼度（第１の開眼度に相当する）の適合度が閾値を超えていない場合、すなわち、確定した開眼度がドライバ７の開眼度として必ずしももっともらしくない場合、画像処理ＥＣＵ３は、次回以降に取得する撮影画像に対する縮小方法を変更する（ステップ２８０参照）。

ただし、確定した開眼度の適合度が閾値を超えていない場合でも、直ちに縮小方法を変更するのではなく、確定した開眼度の適合度が閾値を超えていない場合がＮ回を超えて連続するまでは（ステップ２７５→ＮＯ参照）、現在の縮小方法を維持し、Ｎ回を超えて連続した場合に（ステップ２７５→ＹＥＳ参照）、初めて縮小方法を変更する（ステップ２８０参照）。

このようにするのは、縮小方法の切り替えが過度に頻繁に発生することを防ぐためである。縮小方法が切り替わると、切り替わりの前後では、縮小画像の算出方法が異なっているので、切り替わりの前後において特定される開眼度も、異なる画像で算出されることになり、図３に示す開眼度１８のばらつき（暴れ）を大きくしてしまう要因になる。したがって、縮小方法の切り替わりが頻繁に発生すると、算出される開眼度の時間的連続性が損なわれる可能性が高くなってしまう。

なお、人の状態および他の外的要因の変化は、本実施形態の撮影画像の取得間隔（例えば３３ｍｓｅｃ）程度では起きないことがほとんどである。例えば、人の瞬きには１００〜２００ｍｓｅｃの時間がかかる。したがって、撮影画像の取得毎に縮小方法を切り替える必要性は少ない。

（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、第１実施形態に対して一部変更を加えたものである。以下、本実施形態が第１実施形態と異なる点を中心に説明する。本実施形態が第１実施形態と異なるのは、トラッキングモード２００における処理内容である。図１４および図１５に、本実施形態において画像処理ＥＣＵ３がトラッキングモード２００で実行するプログラムのフローチャートを示す。

本実施形態の画像処理ＥＣＵ３は、ドライバモニタリング装置１０が起動してから初めてトラッキングモード２００に遷移した際に、まず図１４に示すプログラムのサイクル（ステップ２１０〜２８０までの処理）を所定の複数サイクル（例えば１０サイクル）分実行し、その後は、車両のイグニッションがオフとなるまでは、トラッキングモード２００において、図１５のプログラムを実行するようになっている。なお、図１４、図１５、図６の処理ステップのうち、同じ内容の処理を実行するステップには、同じステップ番号を付している。

図１４のプログラムの処理内容が、図６のプログラムの処理内容と異なる点は、図１４の処理においては、ステップ２５５で開眼度を算出した後、ステップ２６１を実行し、さらに続いてステップ２６５で演算結果（すなわち顔動作状態）を状態推定ＥＣＵ４に出力し、その後ステップ２８０で、縮小方法として、現在採用されている方法とは別の縮小方法を選択し、その後、次のカメラ１の撮影タイミングを待ち、撮影タイミングが訪れると、再度ステップ２１０を実行するようになっていることである。

すなわち、図１４のプログラムを実行している間、画像処理ＥＣＵ３は、撮影画像を取得して縮小する度に、縮小方法を切り替えることで、選択可能な全ての縮小方法（本実施形態では、単純間引き法および近傍画素平均法）をそれぞれ１回以上用いて、開眼度を算出するようになる。

なお、ステップ２６１では、縮小方法毎に適合度の平均値を算出するようになっている。具体的には、単純間引き法を縮小方法１とし、近傍画素平均法を縮小方法２とすると、ステップ２６１では、今回取得した撮影画像に対して用いた縮小方法ｉ（ただし、ｉは１または２）に対応する実行カウント値Ｎ_ｉの値を１だけ増加させ、さらに、当該縮小方法に対する前回までの平均適合度Ｍｏｌｄ_ｉと当該実行カウント値Ｎ_ｉに基づいて、今回算出した適合度も含めた平均適合度Ｍｎｅｗ_ｉを算出する。算出式としては、以下のようなものを用いる。
Ｍｎｅｗ_ｉ＝｛Ｍｏｌｄ_ｉ×（Ｎ_ｉ−１）＋Ｍｎｏｗ_ｉ｝／Ｎ_ｉ
ただし、Ｍｎｏｗは、直前のステップ２５５で算出した開眼度に対する適合度である。ここで算出した今回までの平均適合度Ｍｎｅｗは、次に今回と同じ縮小方法で撮影画像を縮小した後のステップ２６１では、縮小方法についての前回までの平均適合度Ｍｏｌｄとなる。

なお、各縮小方法ｉに対する実行カウント値Ｎ_ｉおよび平均適合度Ｍｎｅｗ_ｉは、ドライバモニタリング装置１０が始動した時点で画像処理ＥＣＵ３がすべてゼロにリセットするようになっている。したがって、ある縮小方法ｉに対応する実行カウント値Ｎ_ｉは、ドライバモニタリング装置１０の始動後から現在までの、当該縮小方法を採用した際の適合度の平均値となる。

また、図１５のプログラムの処理内容が、図６のプログラムの処理内容と異なる点は、図１５の処理においては、ステップ２６０で肯定判定があった後に、ステップ２６１およびステップ２６３をこの順に実行し、その後にステップ２６５で演算結果（すなわち顔動作状態）を状態推定ＥＣＵ４に出力するようになっていることである。ステップ２６１では、上述の通り、今回採用された縮小方法に対する適合度の平均値を更新する。

ステップ２６３では、各縮小方法についての適合度の平均値に基づいて、次回以降の縮小方法（すなわち、次回以降に取得する撮影画像に対して用いる縮小方法）を選択する。具体的には、複数の縮小方法（すなわち、本実施形態においては単純間引き法と近傍画素平均法）のうち、適合度の平均値が高い方を選択する。

なお、このようにして算出される平均値は、ステップ２６０で肯定判定となった場合、すなわち、適合度が閾値Ｔｈを超えた場合の適合度のみを母集団に加えた平均値である。すなわち、画像処理ＥＣＵ３は、適合度が閾値Ｔｈより高い場合の適合度はすべて平均値計算の母集団に含め、適合度が閾値Ｔｈ以下の場合の適合度の一部は母集団から除外している。

このように、画像処理ＥＣＵ３は、まずドライバモニタリング装置１０の作動が開始してから最初にトラッキングモード２００に入った場合のみ、最初の所定の複数枚の撮影画像については、単純間引き法と近傍画素平均法とを交互に切り替えて縮小画像を生成していく（図４のステップ２１０〜２８０参照）。

そしてその後は、ドライバモニタリング装置１０の作動が終了するまで、トラッキングモード２００において、縮小方法毎に、閾値Ｔｈを超える適合度を母集団とする適合度の平均値を算出する。そして、この平均値の算出は、開眼度算出の度に実行する（ステップ２６１参照）。

そして、平均値の算出の度に、２つの縮小方法間で当該平均値の大小を比較し、平均値の高い方を、次回以降に採用する縮小方法として選択する（ステップ２６３）。

つまり、画像処理ＥＣＵ３は、複数の縮小方法のそれぞれ毎に、当該縮小方法を用いて縮小画像を作成し当該縮小画像に基づいて開眼度を特定した場合における当該開眼度の適合度について、過去の平均値を算出し、また、それら複数の縮小方法に対応する複数の平均値の比較結果に基づいて、平均値の最も高いものを次回以降に撮影される撮影画像の縮小方法として採用するようになっている。

このように、複数の縮小方法間の適合度の平均値の比較結果に基づいて、採用する縮小方法を決定することで、１回の適合度のみに基づいて採用する縮小方法を決定することがないので、縮小方法の選択が、より信頼性の高いものとなる。

また、単純間引き法と近傍画素平均法どちらを用いても適合度が十分高い場合、第１実施形態においては、適合度が相対的に低い縮小方法を継続的に使用してしまう可能性があるが、本実施形態においては、適合度が相対的に高い縮小方法を使用することができる。

（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、第１実施形態に対して一部変更を加えたものである。以下、本実施形態が第１実施形態と異なる点を中心に説明する。

本実施形態が第１実施形態と異なるのは、初期発見モード１００およびトラッキングモード２００における処理内容である。図１６に、本実施形態の画像処理ＥＣＵ３が初期発見モード１００において実行するプログラムのフローチャートを示し、図１７に、本実施形態にて画像処理ＥＣＵ３がトラッキングモード２００において実行するプログラムのフローチャートを示す。

本実施形態において初期発見モード１００で実行する図１６のプログラムが図５のプログラムと異なるのは、ステップ１６５、１７０の内容のみである。

すなわち、画像処理ＥＣＵ３は、ステップ１６５では、顔画像、顔部品画像、および顔特徴点画像を撮影画像から切り出し、切り出した各画像を、単純間引き法および近傍画素平均法のいずれか一方ではなく両方の方法で縮小画像を生成する。したがって、ステップ１６５では、単純間引き法で縮小された縮小画像と近傍画素平均法を用いて縮小された縮小画像を生成する。これら２つの縮小画像は、同じ撮影画像を縮小したものである。

続いてステップ１７０では、顔パターン登録を行う点は、図５の場合と同じである。ただし、縮小した顔画像の特徴量、縮小した顔部品画像の特徴量、縮小した顔特徴点画像の特徴量は、それぞれ縮小方法毎に記録する。

すなわち、単純間引き法で縮小した顔画像の特徴量、近傍画素平均法で縮小した顔画像の特徴量、単純間引き法で縮小した顔部品画像の特徴量、近傍画素平均法で縮小した顔部品画像の特徴量、単純間引き法で縮小した顔特徴点画像の特徴量、近傍画素平均法で縮小した顔特徴点画像の特徴量を記録する。

また、本実施形態においてトラッキングモード２００で実行する図１７のプログラムが図６のプログラムと異なるのは、ステップ２３０に代えてステップ２２３およびステップ２２８を実行するようになっていることである。

具体的には、画像処理ＥＣＵ３は、ステップ２２０の実行後、ステップ２２３を実行し、その後ステップ２３５を実行する。また、ステップ２２５の実行後、ステップ２２８を実行し、その後ステップ２３５を実行する。

ステップ２２０で単純間引き法で撮影画像を縮小した後のステップ２２３では、初期発見モード１００のステップ１７０で登録された情報を読み出すのは同じである。ただし、縮小した顔画像の特徴量、縮小した顔部品画像の特徴量、縮小した顔特徴点画像の特徴量については、単純間引き法で縮小した画像についてのみの特徴量を採用する。

また、ステップ２３０で近傍画素平均法で撮影画像を縮小した後のステップ２２８では、初期発見モード１００のステップ１７０で登録された情報を読み出すのは同じである。ただし、縮小した顔画像の特徴量、縮小した顔部品画像の特徴量、縮小した顔特徴点画像の特徴量については、近傍画素平均法で縮小した画像についてのみの特徴量を採用する。

このように、本実施形態では、初期発見モード１００において、選択可能なすべての縮小方法で顔画像、顔部品画像、顔特徴点画像の縮小画像を生成し、それらの特徴量を登録しておき、トラッキングモード２００における撮影画像毎の縮小の繰り返しにおいては、今回の縮小に用いた縮小方法を用いて縮小した特徴量を読み出してトラッキング（ステップ２３５、２４０）に用いるので、より正確なトラッキングが実現し、ひいては、より正確な開眼度の算出が可能となる。

（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態は、第２実施形態に対して一部変更を加えたものである。以下、本実施形態が第２実施形態と異なる点を中心に説明する。

本実施形態が第２実施形態と異なるのは、本実施形態の画像処理ＥＣＵ３が、ドライバ７を他の人と区別された個人として特定し、特定した個人に対応する縮小方法を、デフォルトの縮小方法として採用するようになっていることである。

この作動のために、画像処理ＥＣＵ３は、ドライバモニタリング装置１０の始動後（すなわち、車両のイグニッションスイッチがオンとなった後）、初期発見モード１００を実行する前に、図１８に示すプログラムを実行する。

画像処理ＥＣＵ３は、まずステップ３１０で、図５のステップ１１０と同様に、カメラ１によって撮影された撮影画像を１フレーム分取得する。続いてステップ３２０で、取得した撮影画像に基づいて個人識別を行う。

個人識別とは、撮影画像中に写っているドライバ７を、他の人と区別された個人として特定することをいう。個人識別を実現するために、画像処理ＥＣＵ３は、この車両を運転する可能性のある複数の人のそれぞれについて、その人の顔画像の特徴量をあらかじめフラッシュメモリ中に記録している。

車両のドライバ席にある人が座った場合に、その人の顔画像の特徴量のフラッシュメモリへ記録する方法としては、例えば、以下のような方法を採用する。画像処理ＥＣＵ３の図示しない操作部に対してその人が所定の登録操作を行った際に、画像処理ＥＣＵ３が、カメラ１を用いてその人の顔画像を撮影し、その顔画像の特徴量を算出し、フラッシュメモリに記録する。

ステップ３２０の個人識別においては、画像処理ＥＣＵ３は、ステップ３１０で取得した画像の特徴量（すなわち、現在のドライバ７の特徴量）と、フラッシュメモリに記録されている複数人分の特徴量とを比較し、現在のドライバ７の特徴量と最も一致度が高い特徴量に対応する個人を、現在のドライバ７であるとして特定する。

続いてステップ３３０では、個人識別において現在のドライバ７として特定した個人に対応する縮小方法を、フラッシュメモリから読み出す。

特定した個人に対応する縮小方法の情報は、後述するとおり、図１５のステップ２６３において、フラッシュメモリに記録されるようになっている。なお、ステップ３３０において、個人識別において現在のドライバ７として特定した個人に対応する縮小方法がフラッシュメモリに記録されていない場合には、ＲＯＭにあらかじめ記録されている暫定用の縮小方法を、当該個人に対応する縮小方法とする。

続いてステップ３４０では、ステップ３３０で特定した、現在のドライバ７として特定した個人に対応する縮小方法を、デフォルトの縮小方法として特定する。デフォルトの縮小方法は、既述の通り、ドライバモニタリング装置１０が作動を開始した後に最初にトラッキングモード２００のステップ２１５を実行する際に、使用する縮小方法として選択される。

また画像処理ＥＣＵ３は、トラッキングモード２００において、図１５のステップ２６３で、決定した次回の縮小方法を、個人識別において現在のドライバ７として特定した個人に対応する縮小方法として、フラッシュメモリに記録する。

また、画像処理ＥＣＵ３は、トラッキングモード２００において、図１５のステップ２６３で、次の縮小方法として選択した縮小方法を、ステップ３２０で特定した個人に対応する縮小方法として、フラッシュメモリに記録する。

このように、画像処理ＥＣＵ３は、ドライバ７を他の人と区別された個人として特定し、また、縮小方法と特定された個人との組み合わせ毎に、当該縮小方法を用いて開眼度を特定した場合における当該開眼度の適合度について、過去の算術平均値を算出し、算出した統計的代表値間の比較結果に基づいて、デフォルトの縮小方法を決定するようになっている。

このようになっていることで、ドライバモニタリング装置１０の作動開始直後のトラッキングモード２００において初めて開眼度算出のために用いられる縮小方法も、個人識別によって特定された個人（つまり、撮影される人）についての縮小方法毎の適合度の算術平均値に基づいて決定されるので、画像処理ＥＣＵ３の作動の当初から、縮小方法の適切な作動が実現されることになる。

（第５実施形態）
次に、本発明の第５実施形態について説明する。本実施形態は、第１実施形態に対して一部変更を加えたものである。以下、本実施形態が第１実施形態と異なる点を中心に説明する。

本実施形態が第１実施形態と異なるのは、トラッキングモード２００における作動である。本実施形態において画像処理ＥＣＵ３がトラッキングモード２００で実行するプログラムのフローチャートを、図１９に示す。

図１９のプログラムと図６のプログラムとが異なるのは、図６のステップ２６０およびステップ２８０が、図１９ではそれぞれステップ２６２、２８２に置き換えられていること、および、図１９では、ステップ２６５の後にステップ２８４が実行されるようになっていることである。

すなわち、本実施形態の画像処理ＥＣＵ３は、ステップ２５５で開眼度を算出した後、ステップ２６２に進み、撮影画像中の顔の揺動速度（すなわち、顔の移動速度）が閾値Ｔｈｖを超えているか否かを判定する。顔の揺動速度は、今回取得した撮影画像についてステップ２３５で特定した顔の位置と、前回（またはそれ以前に）取得した撮影画像についてステップ２３５で特定した顔の位置との間の変化に基づいて算出する。

揺動速度が閾値Ｔｈｖを超えていれば続いてステップ２６５を実行し、閾値Ｔｈｖ以下であれば続いてステップ２７０を実行する。また、ステップ２８２では、次回以降に取得する撮影画像に対する縮小方法として、単純間引き法を採用し、ステップ２８４では、次回以降に取得する撮影画像に対する縮小方法として、近傍画素平均法を採用する。

このようになっているので、画像処理ＥＣＵ３は、最新の顔の揺動速度が閾値Ｔｈｖを超えているときは、次の撮影画像に対する縮小方法として近傍画素平均法を採用する（ステップ２６２→ステップ２６５→ステップ２８４）。

このようにするのは、車両の振動やドライバ７の首振り動作（顔向き変更動作）などで、顔が揺動している場合、単純間引き法を用いて撮影画像の縮小処理を行うと、瞼の輪郭線が濃く線が細いことが問題となるからである。すなわち、単純間引き法を用いると、ある撮影画像では瞼の輪郭線がはっきり検出できるにもかかわらず、次の撮影画像では瞼の輪郭線がまったく検出できないようになってしまうという風に、検出結果が不安定なとなってしまうことがある。そのため、顔の揺れていると言える程度に顔の揺動速度が大きい場合には、次の撮影画像の処理から、単純間引き法を用いずに近傍画素平均法を用いるようにする。なお、瞼の輪郭線は、概ね横方向に延びているので、顔の上下方向の揺動に特に悪影響を受けやすい。したがって、ステップ２６２において閾値Ｔｈｖと比較する揺動速度は、縦方向（すなわち上下方向）の揺動速度であってもよい。

また、画像処理ＥＣＵ３は、それまで顔の揺動速度が閾値Ｔｈｖを超えていたが、揺動速度が閾値Ｔｈｖを下回るようになって以降は、揺動速度が連続的に閾値Ｔｈｖ以下となった回数を示すカウンタＮが所定の回数Ｎを超えるまでは、次の撮影画像に対する縮小方法として近傍画素平均法を採用する（ステップ２６２→ステップ２７０→ステップ２７５→ステップ２８４参照）。このようにするのは、縮小方法の切り代わりが撮影画像毎に毎回変化してしまい、その結果、開眼度の値の時間的連続性が失われてしまうことを防ぐためである。

また画像処理ＥＣＵ３は、揺動速度がＮ回を超えて連続的に閾値Ｔｈｖ以下となって以降は、揺動速度が閾値Ｔｈｖ以下である限り、次の撮影画像に対する縮小方法として近傍画素平均法を採用する（ステップ２６２→ステップ２７０→ステップ２７５→ステップ２８０参照）。

このように、本実施形態の画像処理ＥＣＵ３は、縮小画像に基づいてドライバ７の揺動速度を特定し、特定した揺動速度に基づいて、複数の縮小方法から１つの縮小方法を選択するようになっている。

上述の通り、ドライバ７の顔の揺動速度の大小によっては、どの縮小方法が開眼度の特定に適しているかが大きく変化する。したがって、ドライバ７の顔の揺動速度に基づいて縮小方法を選択することで、状況に応じた縮小方法を用いて撮影画像を縮小することができる。すなわち、縮小方法を適材適所に使い分けることができる。それ故、特定された開眼度の精度を向上させることができる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。

例えば、撮影画像から縮小画像への縮小比率は、ＶＧＡサイズからＱＶＧＡサイズへの縮小、すなわち縮小比率１／４の縮小のみならず、どのような縮小比率であってもよい。ただし、撮影画像の縦方向の画素の行数および横方向の画素の列数のいずれかに、縮小比率１／４の平方根（すなわち１／２）を乗じた結果が、整数とならない場合は、整数となるように、撮影画像にダミーデータとしての画素の行または列を追加し、その上で、縮小するようになっていてもよい。ダミーデータとしての画素の輝度値は、どのような値であってもよい。例えば、隣接する画素の平均値であってもよい。

またカメラ１の解像度はＶＧＡサイズでなくてもＳＶＧＡやＸＧＡなど、より解像度の高いものであってもよいし、ＣＩＦのように低解像度のカメラであってもよい。また、特別にアスペクト比を定めた異型サイズの解像度をもったカメラであってもよい。

また例えば、上記実施形態においては、選択可能な縮小方法として、単純間引き法と近傍画素平均法とが用いられていたが、選択可能な縮小方法としては、単純間引き法と近傍画素平均法以外の方法であってもよいし、選択可能な縮小方法の数は２より多くてもよい。

また、撮影画像全体に対して顔８が非常に小さい場合、すなわち、個人差により元々顔が小さかったり、ドライビングポジションによってはカメラから顔８の距離が離れている場合などは、縮小処理を省略する選択肢を用意しても良い。本発明は画像サイズを縮小することによるメモリ使用量の削減や処理負荷軽減を目的としたものであるが、検出した顔部品のサイズが小さい場合は、オリジナルの状態であっても本来も目的を害することはない。

例えば、図２０に示すように、ＶＧＡサイズの撮影画像９１を単純間引き法で１／４に縮小し、さらにそれを単純間引き法で１／４に縮小した結果のＱＱＶＧＡサイズ（縦１６０ピクセル×横１２０ピクセル）の画像９２を縮小画像とする縮小方法、撮影画像９１を単純間引き法で１／４に縮小し、さらにそれを近傍画素平均法で１／４に縮小した結果の画像９３を縮小画像とする縮小方法、撮影画像９１を近傍画素平均法で１／４に縮小し、さらにそれを単純間引き法で１／４に縮小した結果の画像９４を縮小画像とする縮小方法、撮影画像９１を近傍画素平均法で１／４に縮小し、さらにそれを近傍画素平均法で１／４に縮小した結果の画像９５を縮小画像とする縮小方法という４つの縮小方法のうち、任意の２つ以上を、選択可能な縮小方法としてもよい。なお、図２０では、撮影画像９１、縮小画像９２〜９５とも、目の部分のみが表されているが、撮影画像９１、縮小画像９２〜９５の表示範囲は、実際には顔よりも大きい。

また例えば、上記実施形態においては、下瞼輪郭は目画像中の目頭２２ａから目尻２２ｂまでの直線１６であるとみなし、上瞼輪郭の候補となるベジエ曲線を複数個作成し、それら複数のベジエ曲線１７ａ〜１７ｄのそれぞれについて適合度を算出し、最も高い適合度を有するベジエ曲線を上瞼輪郭として特定し、特定したベジエ曲線と下瞼輪郭に基づいて開眼度を算出し、当該開眼度の適合度として、当該ベジエ曲線の適合度を用いるようになっている。すなわち、上瞼輪郭と下瞼輪郭のうち、上瞼輪郭のみの適合度を、当該開眼度の適合度として用いるようになっている。

しかし、必ずしもこのようにする必要はなく、上瞼輪郭と下瞼輪郭のうち、上瞼輪郭の適合度と下瞼輪郭の適合度の両方に基づいて、開眼度の適合度を決定するようになっていてもよい。すなわち、下瞼輪郭の候補としても、複数個のベジエ曲線を作成し、それら複数のベジエ曲線のそれぞれについて、上瞼輪郭の候補のベジエ曲線と同様に適合度を算出し、最も高い適合度を有する上瞼輪郭候補のベジエ曲線を下瞼輪郭として特定し、特定した下瞼輪郭候補のベジエ曲線と上瞼輪郭候補のベジエ曲線に基づいて開眼度を算出し、当該開眼度の適合度として、当該下瞼輪郭候補のベジエ曲線の適合度に、当該上瞼輪郭候補のベジエ曲線の適合度を乗算したものを、当該開眼度の適合度として用いるようになっていてもよい。

また例えば、上記実施形態において画像処理ＥＣＵ３は、ある縮小方法を用いて確定した開眼度の適合度に基づいて、次回以降に取得する撮影画像の縮小方法を決定しているが、次回以降に取得する撮影画像の縮小方法のみならず、今回取得して開眼度を確定した撮影画像についても、今回決定した縮小方法を用いて再度縮小して開眼度を再確定するようになっていてもよい。あるいは、前回以前に取得して開眼度を確定した撮影画像についても、今回決定した縮小方法を用いて再度縮小して開眼度を再確定するようになっていてもよい。

また例えば、第２、第４実施形態においては、縮小方法毎の過去の適合度の平均値の計算の母集団は、最後にドライバモニタリング装置１０が起動してから以降の期間における適合度に限定されている。しかし、母集団は、ドライバモニタリング装置１０の製造後の全期間における適合度であってもよい。

また例えば、第２、第４実施形態においては、縮小方法毎の過去（今回も含む）の適合度の算術平均値を算出し、その算術平均値を縮小方法の選択に利用するようになっている。しかし、過去の適合度の算術平均値に代えて、縮小方法毎の適合度の重み付き平均値、調和平均値、幾何平均値、メジアン（中央値）、モード（最頻値）等を用いるようになっていてもよい。すなわち、縮小方法毎の過去の適合度の統計的代表値を算出し、その統計的代表値を縮小方法の選択に利用するようになっていればよい。なお統計的代表値とは、母集団（本実施形態にいては同じ縮小方法に対する過去の複数の適合度）の中心的な値を代表的に表す値である。

また、画像処理ＥＣＵ３は、適合度、顔の揺動速度のみならず、車両内に入る外乱光の強度、ドライバの着用物（メガネ、サングラス）の有無にも基づいて、縮小方法を変更するようになっていてもよい。

また、第５実施形態のステップ２８２では、一律に単純間引き法を採用するのではなく、何らかの基準に基づいて単純間引き法と近傍画素平均法のいずれかを選択的に採用するようになっていてもよい。例えば、ステップ２８２では、今回採用した縮小方法による開眼度の適合度が閾値Ｔｈを超えていれば、今回採用した縮小方法を次回の縮小方法として選択し、適合度が閾値Ｔｈ以下であれば、今回採用した縮小方法と異なる縮小方法を次回の縮小方法として選択するようになっていてもよい。

また例えば、第１実施形態のトラッキングモード２００において、最初に取得した撮影画像に対しては、単純間引き法を採用して縮小し、２回目に取得した撮影画像に対しては、近傍画素平均法を採用して縮小し、その結果に基づいて、どちらの縮小方法の適合度が高いかを判定し、適合度が高い方をデフォルトの適合度として採用するように、画像処理ＥＣＵ３の作動を変更してもよい。

また例えば、カメラ１から取得する１枚の撮影画像において、カメラの撮像方式、画像伝送方式によっては、上から数えて奇数行の画素と偶数行の画素とで、撮影タイミングが異なっているような場合がある。以下、このような画像を時差インターレース画像という。このような時差インターレース画像を撮影画像として取得する場合、画像処理ＥＣＵ３は、縮小方法として、単純間引き法を採用してもよいし、単純間引き法で縮小して次に単純間引き法または近傍画素平均法のいずれかで縮小を行う方法を採用してもよい。すなわち、まず最初に単純間引き法で縮小するような縮小方法を採用する。このようにすることで、時間的に異なるタイミングで撮影された情報が排除され、縮小画像中の画素は、同じタイミングで撮影された画素のみとなる。なお、時差インターレース画像であるか否かの情報は、画像処理ＥＣＵ３に対するユーザの入力操作に基づいて特定してもよいし、カメラ１から、時差インターレース画像を出力しているか否かの情報を取得し、その情報に基づいて特定してもよい。

また、上記実施形態においては、デフォルトの縮小方法は、ドライバモニタリング装置１０が起動した後に最初にトラッキングモード２００に遷移し、そのトラッキングモード２００で初めて撮影画像を取得した際に、その取得画像に対してのみ採用するようになっている。しかし、ドライバモニタリング装置１０が起動した後に最初にトラッキングモード２００に遷移した場合に限らず、初期発見モード１００からトラッキングモード２００に遷移した場合は必ず、そのトラッキングモード２００で初めて取得した撮影画像に対してデフォルトの縮小方法を採用するようになっていてもよい。

この場合において、第１実施形態のように、画像処理ＥＣＵ３が、トラッキングモード２００において、デフォルトの縮小方法を用いて縮小画像Ｘを生成し、その縮小画像Ｘに基づいて開眼度を特定した場合に、その開眼度の適合度が閾値より大きいことに基づいて、前記縮小画像生成手段が縮小画像Ｘより後に生成する縮小画像Ｙの縮小方法として、デフォルトの縮小方法を継続して選択するようになっていたとする。

この場合、デフォルトの縮小方法を用いて特定した開眼度の適合度が閾値を超えていれば、仮に他の縮小方法がより適していたとしても、デフォルトの縮小方法が継続して採用されてしまう。

そこで、画像処理ＥＣＵ３は、複数の縮小方法のそれぞれについて、過去に当該縮小方法で縮小画像が生成され、当該縮小画像に基づいて開眼度が特定されたときの、当該開眼度の適合度の統計的代表値（例えば算術平均値）を特定し、それら特定した統計的代表値の間の比較に基づいて、複数の縮小方法のうちから最も適合度の統計的代表値が高いものをデフォルトの縮小方法として選択するようになっていてもよい。

このようになっていることで、初期発見モード１００からトラッキングモード２００に入る際には、デフォルトの縮小方法の選択に、複数の縮小方法のそれぞれを採用した場合の過去の開眼度の適合度が反映されるので、デフォルトの縮小方法として最適な縮小方法が選択される可能性が高くなり、ひいては、必ずしも最適ではない縮小方法が継続的に採用されてしまう可能性が低減される。

あるいは、画像処理ＥＣＵ３は、複数の縮小方法のそれぞれについて、過去に当該縮小方で縮小画像が生成された回数を特定し、それら特定した回数の間の比較に基づいて、最も回数の多いものを、デフォルトの縮小方法として選択するようになっていてもよい。

このようになっていることで、初期発見モード１００からトラッキングモード２００に入る際には、デフォルトの縮小方法の選択に、複数の縮小方法のそれぞれが過去に採用された回数が反映されるので、デフォルトの縮小方法として最適な縮小方法が選択される可能性が高くなり、ひいては、必ずしも最適ではない縮小方法が継続的に採用されてしまう可能性が低減される。

あるいは、画像処理ＥＣＵ３は、個人識別によって特定した個人にあらかじめ対応付けられた縮小方法を、デフォルトの縮小方法として決定するようになっていてもよい。

このようになっていることで、初期発見モード１００からトラッキングモード２００に入る際には、デフォルトの縮小方法として、特定された個人についてあらかじめ定められた縮小方法が採用される。開眼度の特定のためにどの縮小方法が適しているかは、撮影される人の個人差によるところが大きい。したがって、このようになっていることで、デフォルトの縮小方法として最適な縮小方法が選択される可能性が高くなり、ひいては、必ずしも最適ではない縮小方法が継続的に採用されてしまう可能性が低減される。

個人識別の方法としては、顔画像による比較照合を例に説明したが、それに限らず、個人単位で所有する識別可能なキーなど持ち物であってもよいし、暗証番号などを個人単位で記憶させておいて都度入力することで識別してもよいし、あるいは、指紋や静脈など生体情報を用いた識別であってもよい。

また、上記の実施形態において、画像処理ＥＣＵ３がプログラムを実行することで実現している各機能は、それらの機能を有するハードウェア（例えば回路構成をプログラムすることが可能なＦＰＧＡ）を用いて実現するようになっていてもよい。

１カメラ
２投光器
３画像処理ＥＣＵ
４状態推定ＥＣＵ
５アクチュエータ
７ドライバ
８顔
１０ドライバモニタリング装置
１５ａ〜１５ｄ上瞼輪郭用のベジエ曲線
１６下瞼輪郭
２２ａ目頭
２２ｂ目尻
７１〜８０注目画素
８１〜８８近傍画素
９１撮影画像
９２〜９５縮小画像
１００初期発見モード
２００トラッキングモード

Claims

人の顔が撮影された撮影画像を繰り返し取得する取得手段（１１０、２１０）と、
前記取得手段が繰り返し取得した撮影画像のそれぞれについて、当該撮影画像の画素数を減らして縮小することで縮小画像を生成する縮小画像生成手段（２１５、２２０、２２５）と、
前記縮小画像生成手段によって作成された縮小画像に基づいて、前記人の瞼の開き度合い（以下、開眼度という）を特定する開眼度特定手段（２５５）と、
撮影画像の画素数を減らして縮小する際においてどのような情報を残すかについての方法（以下、縮小方法という）を、複数の縮小方法のうちから選択し、選択した縮小方法を前記縮小画像生成手段（２１５、２２０、２２５）に採用させる選択手段（２０３、２０５、２６０、２６１、２６３、２７０、２７５、２８０）と、を備え、
前記縮小画像生成手段が前記複数の縮小方法のうち第１の縮小方法を用いて第１の縮小画像を生成し、前記開眼度特定手段（２５５）が前記第１の縮小画像に基づいて第１の開眼度を特定した場合に、前記選択手段は、前記第１の開眼度が前記人の開眼度としてどの程度確からしいかを示す指標（以下、第１の開眼度の適合度という）に基づいて、前記縮小画像生成手段が縮小画像を生成する際に採用する縮小方法を前記第１の縮小方法から他の縮小方法に切り替えるか否かを判定することを特徴とする開眼度特定装置。
前記選択手段は、前記複数の縮小方法のそれぞれ毎に、当該縮小方法を用いて縮小画像を作成し当該縮小画像に基づいて開眼度を特定した場合における当該開眼度の適合度について、過去の統計的代表値を算出し、また、前記複数の縮小方法の適合度に対応する複数の統計的代表値間の比較結果に基づいて、前記縮小画像生成手段に採用させる縮小方法を決定することを特徴とする請求項１に記載の開眼度特定装置。
前記人を他の人と区別された個人として特定する個人識別手段（２０３）を備え、
前記選択手段は、当該開眼度特定装置の作動開始の後に初めて前記縮小画像生成手段が開眼度の特定のために縮小画像を生成するときに、採用する縮小方法として、デフォルトの縮小方法を選択し、
さらに前記選択手段は、縮小方法と前記特定された個人との組み合わせ毎に、当該縮小方法を用いて開眼度を特定した場合における当該開眼度の適合度について、過去の統計的代表値を算出し、算出した統計的代表値間の比較結果に基づいて、前記デフォルトの縮小方法を決定することを特徴とする請求項１または２に記載の開眼度特定装置。
人の顔が撮影された撮影画像を取得する取得手段（２１０）と、
前記取得手段が取得した撮影画像の画素数を減らして縮小することで縮小画像を生成する縮小画像生成手段（２１５、２２０、２２５）と、
前記縮小画像生成手段によって作成された縮小画像に基づいて、前記人の瞼の開き度合い（以下、開眼度という）を特定する開眼度特定手段（２５５）と、
撮影画像の画素数を減らして縮小する際においてどのような情報を残すかについての方法（以下、縮小方法という）を、複数の縮小方法のうちから選択し、選択した縮小方法を前記縮小画像生成手段（２１５、２２０、２２５）に採用させる選択手段（２０３、２０５、２６０、２６１、２６３、２７０、２７５、２８０）と、を備え、
前記選択手段は、前記撮影画像に基づいて、前記撮影画像中における前記人の顔の揺動速度を特定し、特定した前記揺動速度に基づいて、前記複数の縮小方法から１つの縮小方法を選択することを特徴とする開眼度特定装置。