JP2005066023A - 運転者状態検出装置 - Google Patents

Abstract

【課題】 運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることが可能な運転者状態検出装置を提供する。
【解決手段】 車両運転者の顔を撮影して得られた撮影画像から、運転者の視線領域を検出する運転者状態検出装置であって、基準位置検出部２２は基準となる運転者の眼の基準位置を検出する。また、顔位置検出部２３は、前後方向の運転者の顔位置を検出する。これにより、運転者の顔を３次元的にとらえることができるため、運転者の体格等を考慮して、正確に運転者の視認領域を検出することができる。
【選択図】 図２

Description

本発明は、運転者状態検出装置に関する。

従来、運転者の顔を撮影し、撮影された画像上の眼の位置から、運転者の視線方向を推定する運転者状態検出装置が知られている。この装置は、運転者の視線方向が車両のルームミラーやサイドミラーなど特定の対象物等を視認するものであるかを推定し、当該対象物等の視認回数が減少したことにより、運転者の漫然運転を検出している（例えば特許文献１）。
特開平８−１７８７１２号公報

しかし、上記運転者状態検出装置では、体格の異なる運転者が同じ対象物等を視認していたとしても、体格の相違により画像上の眼の位置が異なることとなり、運転者が見ている対象物を正確に検出することが困難である。すなわち、従来の運転者状態検出装置では、運転者の体格の相違により運転者の視線がどの視認領域に向いているのかを判断することが困難となっている。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることが可能な運転者状態検出装置を提供することにある。

本発明によれば、撮影手段は車両運転者の顔を撮影し、眼位置データ取得手段は、撮影手段により得られた運転者の顔を含む撮影画像から、運転者の眼の位置データを取得する。基準位置検出手段は、眼位置データ取得手段によって時系列的に取得された眼の位置データから、基準となる運転者の眼の基準位置を検出し、顔位置検出手段は、撮影手段の撮影光軸方向の運転者の顔位置を検出する。そして、視認領域検出手段は、上記の眼位置データ取得手段によって取得された眼の位置データ、基準位置検出手段により検出された運転者の眼の基準位置、及び、顔位置検出手段により検出された撮影光軸方向の運転者の顔位置に基づいて、運転者の視認領域を検出する。

本発明によれば、眼の位置データと基準位置と撮影光軸方向の運転者の顔位置とに基づいて、運転者の視認領域を検出している。このため、運転者の体格等によって左右される基準位置と撮影光軸方向の運転者の顔位置とが考慮された上で、眼の位置データに基づいて、運転者の視認領域を検出することとなる。これにより、運転者の体格等に関係なく視認領域を検出することができる。

従って、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明の第１実施形態に係る運転者状態検出装置の構成図である。同図に示すように、本実施形態の運転者状態検出装置１は、車両の運転者の顔を撮影する撮影部（撮影手段）１０を備えている。この撮影部１０は、例えば可視光を撮影するためのＣＣＤカメラなどであり、運転席の正面側、具体的に正面下方に設置されている。

また、上記運転者状態検出装置１は、撮影部１０により撮影された撮影画像に基づき、運転者の脇見行為を検出する処理装置２０と、処理装置２０が運転者の脇見行為を検出した場合に、その旨を運転者に報知する報知器３０とを備えている。

次に、処理装置２０の詳細構成を図２を参照して説明する。図２は、本発明の第１実施形態に係る処理装置２０の機能ブロック図である。なお、図２では、接続関係を明確にすべく、撮影部１０についても図示するものとする。

上記処理装置２０は、撮影部１０により撮影された運転者の顔を含む撮影画像から、運転者の眼の位置データを取得する眼位置データ取得部（眼位置データ取得手段）２１を備えている。この眼位置データ取得部２１は、眼位置検出部（眼位置検出手段）２１ａと、眼追跡部（眼追跡手段）２１ｂとを具備している。

眼位置検出部２１ａは、撮影部１０により撮影された画像の全体から眼の位置を検出するものである。また、眼位置検出部２１ａは、眼の位置を検出すると、例えば眼の座標データを眼の位置データとして取得するものである。

眼追跡部２１ｂは、眼位置検出部２１ａにより検出された運転者の眼の位置を基準にして、眼の位置を含む追跡領域を画像上に定め、新たに撮影された画像から眼の位置を検出する場合、追跡領域内から運転者の眼を検出するものである。また、眼追跡部２１ｂは、自己が検出した眼の位置に基づき追跡領域を随時更新し、眼を追跡していくものである。さらに、眼追跡部２１ｂは、眼の位置を検出・追跡すると、例えば眼の座標データを眼の位置データとして取得するものである。

また、上記処理装置２０は、眼位置データ取得部２１によって時系列的に取得された眼の位置のデータから、基準となる運転者の眼の基準位置を検出する基準位置検出部（基準位置検出手段）２２を有している。この基準位置検出部２２は、例えば、運転者個々人の体格やシート位置の要因により異なってくる車両前方視認時の眼の位置を、基準にとして検出するものである。

また、上記処理装置２０は、撮影部１０の撮影光軸方向の運転者の顔位置を検出する顔位置検出部（顔位置検出手段）２３を備えている。この顔位置検出部２３は、撮影光軸方向、すなわち奥行き方向について運転者の顔位置を検出するものである。なお、本実施形態において、撮影部１０は運転席の正面側に設置されている。このため、顔位置検出部２３は、撮影光軸方向の運転者の顔位置として、車両前後方向の運転者の顔位置を検出することとなる。

また、上記処理装置２０は、運転者が視認している視認領域を検出する視認領域検出部（視認領域検出手段）２４を備えている。この視認領域検出部２４は、眼位置データ取得部２１により取得された眼の位置データと、基準位置検出部２２にて検出された運転者の眼の基準位置と、顔位置検出部２３にて検出された撮影光軸方向の運転者の顔位置とに基づいて、運転者の視線領域を検出するものである。

より詳しくは、視認領域検出部２４は、眼の基準位置と、撮影光軸方向の運転者の顔位置とに基づいて、画像上に所定個数の画像領域を設定し、その後、現在の眼の位置データがいずれの画像領域に属するかを判断して、運転者の視線領域を検出するものである。ここで、画像領域とは、運転者の視認領域を検出するために撮影画像上に設定されるものである。また、画像領域には、それぞれ異なる時間のデータが割り振られる。すなわち、視認領域検出部２４は、これら所定個数の画像領域それぞれに異なる時間データを割り振る。

上記処理装置２０は、視認領域検出部２４により検出された視認領域に基づいて、脇見検出を行う脇見状態検出部（脇見状態検出手段）２５を具備している。具体的に脇見状態検出部２５は、運転者が同一の視認領域を視認している時間と、上記画像領域に割り振られた時間のデータに基づいて脇見検出を行うものである。すなわち、脇見状態検出部２５は、運転者が同一の視認領域を視認している時間が、上記画像領域に割り振られた時間を超える場合に、脇見状態を検出するものである。また、脇見状態検出部２５は、運転者の脇見状態が検出された場合、その旨を報知器３０に伝え、報知器３０に報知動作を行わせる。これにより、脇見状態検出部２５は、運転者に脇見状態にあることを知覚させることとなる。

なお、視認領域検出部２４が画像領域それぞれに異なる時間データを割り振る理由は以下による。すなわち、運転者が見ている領域が本来視認すべき領域から遠く離れている場合は、運転者の視界には本来視認すべき領域が極めて入りにくくなっており、早期に運転者に注意を促す必要がある。このため、運転者が見ている領域が本来視認すべき領域から遠く離れている場合、上記の時間データは短く設定されるべきである。

一方、運転者が見ている領域が本来視認すべき領域に比較的近い場合は、運転者の視界には本来視認すべき領域が入り易くなっており、或る程度の余裕をもって運転者に注意を促せばよい。このため、運転者が見ている領域が本来視認すべき領域に比較的近い場合、上記の時間データは長く設定されてもよいこととなる。

このように、運転者の見ている領域によって適切な時間がある。よって、視認領域検出部２４は画像領域それぞれに異なる時間データを割り振っている。

ここで、以下、運転者が同一の視認領域を視認している時間を滞留時間と称し、上記時間データを脇見許容時間と称する。

次に、上記運転者状態検出装置１の動作の概略を説明する。まず、撮影部１０は、運転者の顔を含む領域を撮影し、得られた撮影画像のデータを処理装置２０に送出する。処理装置２０の眼位置検出部２１ａは、撮影画像データの入力し、運転者の眼の位置を検出する。眼の位置の検出は、例えば以下のように行う。図３は、眼位置検出部２１ａが眼の位置の検出に際して行う初期処理の説明図である。なお、図３においては、縦４８０画素、横５１２画素の撮影画像を例に説明する。

まず、眼位置検出部２１ａは、画像縦方向（図３のＹ方向）にすべての画素について、濃度値のデータを取得する。すなわち、眼位置検出部２１ａは、図３に示す座標（０，０）から（０、４７９）に向かって濃度値データを取得する。次に、眼位置検出部２１ａは、座標（１，０）から（１、４７９）に向かって濃度値データを取得する。そして、眼位置検出部２１ａは、図３に示すＸ座標値Ｘａ及びＸｂのラインを経て、最終的に座標（５１１，０）から（５１１、４７９）のラインについて濃度値データを取得する。

その後、眼位置検出部２１ａは、濃度値の変化が所定の条件を満たす画素を抽出して、図４に示すような画素群を得る。図４は、眼位置検出部２１ａが所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。

詳細に説明すると、Ｘｃラインについては、２つの画素Ａ１，Ａ２が抽出されている。また、Ｘｄラインについては、４つの画素Ａ１〜Ａ４が抽出されている。これらの画素Ａ１〜Ａ４は、例えば、それぞれ濃度値の変化量によって区別されている。そして、画素の抽出後、眼位置検出部２１ａは、画像横方向に近接する画素をグループ化する。

図５は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、眼位置検出部２１ａは、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データＧ１〜Ｇ６を形成する。

その後、眼位置検出部２１ａは、ゾーン化の処理を行う。図６は、眼位置検出部２１ａによるゾーン化後の様子を示す説明図である。眼位置検出部２１ａは、連続データＧ１〜Ｇ６の存在位置について画像縦方向にゾーン化する。この際、眼位置検出部２１ａは、３つのゾーン（ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒ）を形成する。そして、眼位置検出部２１ａは、相対位置関係を判断して眼の位置を検出する。

眼の位置の検出後、眼追跡部２１ｂは、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも狭くされた追跡領域を設定する。その後、眼追跡部２１ｂは、撮影画像が入力される毎に、追跡領域内において眼の位置を検出する。

図７は、眼追跡部２１ｂによる眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図７において、破線で示す眼は前回検出されたものとし、実線で示す眼は今回検出されたものとする。

眼位置検出部２１ａにより眼の位置が検出された場合、眼追跡部２１ｂは、検出された眼の位置を中心として追跡領域を設定する（図７（ａ））。このときの眼の座標位置を（ｘｋ１，ｙｋ１）とする。その後、撮影画像が入力された場合、眼追跡部２１ｂは、（ｘｋ１，ｙｋ１）を中心とする追跡領域内から眼の位置を検出する（図７（ｂ））。このとき検出された眼の座標位置を（ｘｋ２，ｙｋ２）とする。

そして、眼追跡部２１ｂは、新たに検出された眼の座標位置（ｘｋ２，ｙｋ２）を中心とする追跡領域を設定する（図７（ｃ））。その後、再度撮影画像が入力された場合、眼追跡部２１ｂは、（ｘｋ２，ｙｋ２）を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を（ｘｋ３，ｙｋ３）とする（図７（ｃ））。

そして、眼追跡部２１ｂは、再度、新たな眼の座標位置（ｘｋ３，ｙｋ３）を中心とする追跡領域を設定する（図７（ｄ））。その後、同様に、眼追跡部２１ｂは、追跡領域内から眼の位置を検出していく。

眼追跡部２１ｂは、図７に示すように時系列的に検出した眼の位置のデータを基準位置検出部２２に送出する。基準位置検出部２２は、時系列的に入力される眼の位置のデータから基準位置を求める。

基準位置を求める方法としては種々のものが考えられるが、本実施形態では以下の方法を行う。まず、運転しているときの運転者の視線方向は、図８に示すように或る程度限られている。

図８は、運転者の視線方向の説明図である。同図に示すように、通常、車両運転中の運転者は、前方を視認していることから、視線方向は、車両前方方向を中心とした領域となる。また、車両前方方向を視認しているとき、運転者の視線方向は、図８に示す「前方注視時の眼の滞留領域」に集中するが、運転者は左右や後方の確認を行う場合には、ルームミラーや左右のドアミラー等を視認する。このため、運転者の視線方向は、車両前方やミラー設置個所など、或る程度限られた箇所に集中するようになっている。

ここで、運転者は、特に車両前方に視線方向を向けていることが多い。これは、約６時間半におよぶ一般道路の走行実験からも明らかになっている。具体的に、この実験において、運転者の視線方向は、９０％以上の時間、車両前方方向に向いていることがわかっている。

このことから、基準位置検出部２２は、時系列的に入力される眼の位置のデータから、眼の位置が滞留する箇所を学習することで、基準位置を検出することができる。ここで、基準位置検出部２２は、車両前方方向を基準位置とすることで、基準位置の検出を短時間で行うことができる。これは、運転者の視線が車両前方方向に約９０％以上の時間向くためである。すなわち、最も多く運転者の視線が向くことから、基準位置検出部２２は、早期に基準位置のデータを収集できるためである。

基準位置検出部２２が基準位置を検出した後、顔位置検出部２３は、顔の前後方向の位置を検出する。ここで、顔の前後方向の位置を検出する必要性について説明する。図９は、体格の異なる運転者がルームミラーを見たときの様子を示す説明図であり、（ａ）は運転者上方からの様子を示し、（ｂ）は運転者側方からの様子を示している。なお、図９では、体格が小さい運転者Ｄ１と体格の大きい運転者Ｄ２とを比較して図示している。

まず、図９（ａ）及び（ｂ）に示すように、通常、体格が小さい運転者Ｄ１は、体格が大きい運転者Ｄ２よりも比較的前方にシートを移動させている傾向にある。また、体格が小さい運転者Ｄ１は、体格が大きい運転者Ｄ２よりも鉛直方向下側に顔が位置する。このように、両者は視点位置が異なっており、同じ対象物、例えばルームミラーを視認する場合であっても、顔の移動量が異なる。

図９（ａ）に示すように、運転者Ｄ１が車両前方位置を視認している状態からルームミラーを視認する場合、水平方向の顔の移動角度はθ１である。これに対し、運転者Ｄ２が車両前方位置を視認している状態からルームミラーを視認する場合、水平方向の顔の移動角度はθ２であり、運転者Ｄ１がルームミラーを視認するときの角度θ１よりも小さくなっている。

また、図９（ａ）に示すように、運転者Ｄ１が車両前方位置を視認している状態からルームミラーを視認する場合、垂直方向の顔の移動角度はθ３である。これに対し、運転者Ｄ２が車両前方位置を視認している状態からルームミラーを視認する場合、垂直方向の顔の移動角度はθ４であり、運転者Ｄ１がルームミラーを視認するときの角度θ３よりも小さくなっている。

このように、顔の移動角度が異なることから、撮影された２次元平面の画像からだけでは、運転者の視認領域を正確に検出することは困難である。特に、図９（ｂ）に示すように、画像上端からの眼の位置と画像下端からの眼の位置の比率が運転者Ｄ１と運転者Ｄ２とで同じである場合、すなわち、「ｈｕ１：ｈｄ１＝ｈｕ２：ｈｄ２」である場合、眼の大きさは異なるものの、画像上の眼の座標位置はほぼ等しくなり、運転者の視認領域を正確に検出することが一層困難となる。従って、運転者の前後方向の顔位置を検出することは、運転者の視認領域を正確に検出するうえで、重要となってくる。

ここで、顔位置検出部２３は、顔の前後方向の位置を検出するに当たり、ヘッドレストの左端及び右端の一方又は双方のエッジラインを利用する。例えば、左端及び右端の双方を利用する例としては、図１０に示すものがある。

図１０は、顔位置検出部２３が顔の前後方向の位置を検出する場合の一例を示す説明図であり、（ａ）は図９に示す運転者Ｄ１を撮影したときの撮影画像例を示し、（ｂ）図９に示す運転者Ｄ２を撮影したときの撮影画像例を示している。

図１０（ａ）に示すように、運転者Ｄ１がシート位置を車両前方方向に移動させているため、運転者Ｄ１の顔１０１の後方に映るヘッドレスト１０２の横幅は、ＨＲＷ１となる。一方、図１０（ｂ）に示すように、運転者Ｄ２のシート位置は運転者Ｄ１よりも車両後方側に位置しているため、運転者Ｄ２の顔１０１の後方に映るヘッドレスト１０２の横幅は、ＨＲＷ２となり、運転者Ｄ１のときよりも小さくなっている。このように、顔位置検出部２３は、ヘッドレスト１０２の両端を利用して、顔の前後方向の位置を検出する。

また、顔位置検出部２３は、顔の前後方向の位置を検出するに当たり、ヘッドレストの左端及び右端の一方のみを利用する。例えば、左端及び右端の一方を利用する例としては、以下のものがある。

例えば、図１０（ａ）及び（ｂ）に示すように、予めヘッドレスト１０２の中心ライン１０３と、撮影部１０の中心とを合わせておく。そして、中心ライン１０３とヘッドレスト１０２の左端又は右端との距離を求める。このようにすることで、顔位置検出部２３は、ヘッドレスト１０２の左端又は右端のみを利用して、顔の前後方向の位置を検出する。なお、ヘッドレスト１０２の左端又は右端のみを利用する場合、運転者の顔がズレて、一方のエッジラインが見えなくなったとしても、顔位置検出部２３は、何ら支障無く顔の前後方向の位置を検出することができる。

さらに、顔位置検出部２３は、顔の前後方向の位置を検出するに当たり、シート状態やルームミラーの角度などを利用してもよい。図１１は、顔位置検出部２３が顔の前後方向の位置を検出する場合の他の例を示す説明図である。

図１１に示す例において、顔位置検出部２３は、ルームミラー１０４に取り付けられたセンサ等からの信号を読み取り、ルームミラー１０４の角度を求める。そして、顔位置検出部２３は、ルームミラー１０４の角度から運転者の顔の前後方向の位置を検出する。

通常、ルームミラーは、運転者の視点位置から、車両後方側を視認しやすいように調整される。このため、運転者の顔の位置によってルームミラー１０４の角度は異なってくる。故に、顔位置検出部２３は、ルームミラー１０４の角度から、運転者の顔の前後方向の位置を検出することができる。

また、顔位置検出部２３は、シート状態を検出するシート状態検出センサ１０５の信号に基づいて、運転者の顔位置を検出する。ここで、シート状態とは、例えば、シートのスライド位置Ｘやシートバックの角度θを指すものである。通常、運転者は、車両前方等が視認しやすいように、顔位置を移動させるべく、シート状態を適切なものとする。すなわち、シート状態は、運転者の顔位置を直接的に示すものともいえる。このため、顔位置検出部２３は、シート状態検出センサ１０５からの信号を読み取り、解析等することで運転者の顔位置を検出することができる。

また、顔位置検出部２３は、シートベルトの引き出し量に基づいて、運転者の顔位置を検出する。通常、シートベルトの引き出し量は、シート位置や運転者の体格によって異なってくるものである。すなわち、シートベルトの引き出し量は、上記のものと同様に、運転者の顔位置を示す基準となる。このため、顔位置検出部２３は、例えば、リトラクタ１０６に設けられたセンサからの信号を読み取り、解析等することでシートベルトの引き出し量を求め、運転者の顔位置を検出することができる。

以上のようにして、顔位置検出部２３は、車両前後方向の運転者の顔位置を検出する。その後、視認領域検出部２４は、上記基準位置と、運転者の顔位置とに基づいて、画像上に所定個数の画像領域を設定する。図１２は、視認領域検出部２４による画像領域の設定方法を示す説明図であり、（ａ）は基準位置の眼の位置を示している。また、（ｂ）は基準位置から得られる特定対象物視認時の眼の位置を表す予測座標値運転者を示している。また、（ｃ）はルームミラーを視認しているときの運転者の顔の予測画像例を示し、（ｄ）は右ドアミラーを視認しているときの運転者の顔の予測画像例を示し、（ｅ）は左ドアミラーを視認しているときの運転者の顔の予測画像例を示している。なお、図１２（ｂ）においては、Ｘ方向に６４０画素、Ｙ方向に４８０画素の画像を例に説明する。

まず、図１２（ａ）に示す車両前方方向を視認しているときの座標値から、基準位置が求められている。視認領域検出部２４は、この基準位置から、ルームミラー、左ドアミラー、及び右ドアミラーを視認したときの座標値を求める。ここで、座標値を求める際には、基準位置の他に、顔位置検出部２３により検出された顔の前後方向の位置、及び予め記憶された各ミラーの位置データが利用される。

例えば、視認領域検出部２４は、予め設定される各ミラーの位置データと基準位置とに基づいて、基準位置からどれだけＸ方向及びＹ方向に移動した位置に両眼の中心が存すれば、各ミラーを視認しているかを求める。これにより、運転者の体格や着座位置等を考慮していない状態で、運転者が各ミラーを視認したときの両眼の中心座標値が求められる。

その後、視認領域検出部２４は、例えば、体格等が考慮されていないときの座標値を、顔の前後方向位置に基づいて補正等する。すなわち、視認領域検出部２４は、顔の前後方向の位置により、顔の移動量が相違するため、この相違分を補正する。そして、図１２（ｂ）に示す座標データを取得する。

図１２（ｂ）に示すように、基準位置（ｘ，ｙ）は、（２６０，２２０）〜（２８５，２４０）となっている。なお、ここでは両眼の中心位置を眼の座標位置としている。この表において、演算により得られた運転者が右ドアミラーを視認している場合の予測座標値（ｘ，ｙ）は、（１７５，２４５）付近となっている。また、左ドアミラーを視認している場合の予測座標値（ｘ，ｙ）は、（３９５，２４５）付近となっている。さらに、運転者がルームミラーを視認している場合の予測座標値（ｘ，ｙ）は、（３８０，２２０）付近となっている。

すなわち、これらの座標値を求めることにより、図１２（ｃ）〜（ｅ）の画像を取得して、座標データを採取したときと同様の座標値を求めることができる。

以上のようにして座標値を求めると、視認領域検出部２４は、これらの座標値に基づいて画像領域を設定する。すなわち、視認領域検出部２４は、左右ドアミラー、ルームミラーを視認しているときの予測座標値に基づいて、撮影画像上に画像領域を設定する。

図１３は、図１２にて得られた座標値に基づいて設定される画像領域の例を示す説明図である。なお、画像領域は、本来撮影画像上に設定されるものであるが、図１３においては説明の便宜上、運転者の視界に基づいた画像領域を説明することとする。さらに、以下の説明において、基準位置が属する車両前方の領域を前方注視領域とする。

視認領域検出部２４は、図１３に示すように、例えば５つの画像領域Ａ〜Ｅを設定する。まず、視認領域検出部２４は、ルームミラー視認時の眼の予測座標値に基づいて、画像領域Ａの右端を決定する。また、視認領域検出部２４は、右ドアミラー視認時の眼の予測座標値に基づいて、画像領域Ｂの左端及び下端を決定し、左ドアミラー視認時の眼の予測座標値に基づいて、画像領域Ｃの右端及び下端を決定する。また、画像領域Ｅについて、左右ドアミラー視認時の眼の予測座標値に基づいて、上端を決定する。

また、視認領域検出部２４は、画像領域Ｄの左端を右方向の追跡限界位置に基づいて決定する。ここで、追跡限界位置とは、演算により求められるものであり、例えば、Ｘ方向について左ドアミラーと対象の位置などである。

このように、視認領域検出部２４は、各画像領域の端部を決定して、画像領域を設定する。その後、視認領域検出部２４は、画像領域Ａ〜Ｅのそれぞれに異なる脇見許容時間を設定する。例えば、画像領域Ｄの脇見許容時間は、画像領域Ｂの脇見許容時間よりも小さい。これは、画像領域Ｄの方が画像領域Ｂよりも顔を向けたときの角度が大きくなるからである。また、同様に、画像領域Ｃの脇見許容時間は、画像領域Ａの脇見許容時間よりも小さくなる。

さらに、画像領域Ｂの脇見許容時間は、画像領域Ａの脇見許容時間よりも小さくなる。両領域Ａ，Ｂを視認した場合、運転者が顔を向けたときの角度はほぼ同じである。ところが、画像領域Ｂと前方注視領域の間にはピラーが設けられている。そして、このピラーにより運転者が画像領域Ｂを視認している場合には、前方注視領域が見えにくくなってしまう。このため、運転者が両領域Ａ，Ｂに顔を向けたときの角度はほぼ同じであっても、画像領域Ｂの脇見許容時間は、画像領域Ａの脇見許容時間よりも小さくなる。

また、画像領域Ｄの脇見許容時間は、画像領域Ｃの脇見許容時間よりも小さくなる。これら両領域Ｃ，Ｄについても顔を向けたときの角度はほぼ同じである。そして、画像領域Ｂと前方注視領域の間には、画像領域Ｂを介してピラーが設置されている。同様に、画像領域Ｃと前方注視領域の間にもピラーが設置されている。ところが、左側のピラーは運転者に対して右側のピラーよりも遠い位置に設置されている。このため、運転者からの見かけ上のピラーの太さは、異なることとなる。そして、運転者にとっては、見かけ上のピラーの太さが太い方が、前方注視領域の視認の障害となる。故に、画像領域Ｄの脇見許容時間は、画像領域Ｃの脇見許容時間よりも小さくなる。

さらに、画像領域Ｅの脇見許容時間は、画像領域Ｄの脇見許容時間とほぼ同じである。例えば運転者がオーディオ装置等の設置位置を視認する場合、瞼が下がるために前方注視領域が殆ど見えなくなってしまう。このため、画像領域Ｅは、脇見許容時間が短くなり、前述までに最も脇見許容時間が最も短かった画像領域Ｄとほぼ同等となってしまう。以上をまとめると、脇見許容時間は、「Ｄ＝Ｅ＜Ｃ＜Ｂ＜Ａ」とされることとなる。

このように、脇見許容時間を割り付けた後、視認領域検出部２４は、運転者の現在の眼の位置データから、運転者の視認領域を検出する。図１４は、撮影画像上に設定された画像領域を運転者の視点から示した説明図である。図１３に示す画像領域を撮影画像上に置き換えると、図１４に示すようになる。

ここで、例えば、撮影部１０が新たに取得した画像から、眼位置データ取得部２１が点Ｐ１を示す運転者の眼の位置データを取得したとする。このとき、視認領域検出部２４は、図１４に示す画像領域のデータに基づいて、運転者の視認領域が画像領域Ａであると検出する。また、同様に、眼位置データ取得部２１が点Ｐ２を示す運転者の眼の位置データを取得したとすると、視認領域検出部２４は、図１４に示す画像領域のデータに基づいて、視認領域が前方注視領域であると検出する。さらに、眼位置データ取得部２１が点Ｐ３を示す運転者の眼の位置データを取得したとすると、視認領域検出部２４は、視認領域が画像領域Ｅであると検出する。

このように、画像領域の設定を終えた後、視認領域検出部２４は、現在の眼の位置データがいずれの画像領域に属するかを判断して、運転者の視線領域を検出する。

その後、脇見状態検出部２５は、視認領域とその視認領域に割り振られた脇見許容時間に基づいて、運転者が脇見状態であると検出する。すなわち、視認領域に眼の位置が納まったまま、脇見許容時間が経過した場合に、脇見状態検出部２５は、運転者が脇見状態であると検出する。

検出後、脇見状態検出部２５は、脇見状態である旨を報知器３０に出力する。そして、報知器３０は、警報音等により運転者に注意喚起を行う。

次に、本実施形態に係る運転者状態検出装置１の動作の一例を説明する。まず、運転者状態検出装置１の撮影部１０は、運転者の顔を含む領域を撮影し、得られた撮影画像のデータを処理装置２０に送出する。

そして、処理装置２０は、図１５に従う処理を実行する。図１５は、図２に示した処理装置２０の詳細動作を示すフローチャートである。

同図に示すように、まず、眼位置データ取得部２１は、撮影画像のデータを入力する（ＳＴ１０）。その後、眼位置データ取得部２１は、眼の追跡領域が設定されているか否かを判断する（ＳＴ１１）。眼の追跡領域が設定されていると判断した場合（ＳＴ１１：ＹＥＳ）、処理はステップＳＴ１４に移行する。

一方、眼の追跡領域が設定されていないと判断した場合（ＳＴ１１：ＮＯ）、眼位置検出部２１ａは、画像全体から眼の位置を検出する（ＳＴ１２）。ここでは、図３〜図６を参照して説明したように、眼の位置を検出する。そして、眼位置検出部２１ａは、眼の位置のデータを眼追跡部２１ｂに送出する。

その後、眼追跡部２１ｂは、眼位置検出部２１ａからの眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ１３）。そして、眼追跡部２１ｂは、新たに入力される撮影画像のデータに基づいて、追跡領域内から眼を検出する（ＳＴ１４）。ここでは、図７を参照して説明したようにして、追跡領域内から眼を検出する。

その後、眼追跡部２１ｂは、眼の追跡が正しく行われているか否かを判断する（ＳＴ１５）。眼の追跡が正しく行われていないと判断した場合（ＳＴ１５：ＮＯ）、眼追跡部２１ｂは、眼の追跡領域をクリアし（ＳＴ１６）、処理はステップＳＴ１０に戻る。この場合、再度追跡領域の設定が行われることとなる。

一方、眼の追跡が正しく行われていると判断した場合（ＳＴ１５：ＹＥＳ）、眼追跡部２１ｂは、目の追跡領域を更新する（ＳＴ１７）。すなわち、図７を参照して説明したように、眼の位置に基づき追跡領域を更新することとなる。

その後、基準位置検出部２２は、時系列的な眼の位置データに基づいて、基準位置を検出する（ＳＴ１８）。ここで、基準位置検出部２２は、運転者が車両前方に視線方向を多く向ける傾向から、車両前方方向を基準位置として検出する。

そして、顔位置検出部２３は、前後方向の運転者顔位置を検出する（ＳＴ１９）。ここで、顔位置検出部２３は、図１０及び図１１に示した方法のうち、少なくとも１つの方法により前後方向の運転者顔位置を検出する。

その後、視認領域検出部２４は、画像領域を設定する（ＳＴ２０）。ここで、視認領域検出部２４は、図１２〜図１４に示したようにして、画像領域を設定する。なお、この設定の際に、視認領域検出部２４は脇見許容時間についても設定する。設定後、視認領域検出部２４及び脇見状態検出部２５は、脇見判定処理を実行する（ＳＴ２１）。

図１６は、図１５に示した脇見判定処理（ＳＴ２１）の詳細を示す説明図である。まず、視認領域検出部２４は、現在の運転者の眼の位置が画像領域Ａ内に存在するか否かを判断する（ＳＴ３０）。眼が画像領域Ａ内に存在すると判断した場合（ＳＴ３０：ＹＥＳ）、視認領域検出部２４は、タイマーが作動中か否かを判断する（ＳＴ３１）。なお、視認領域検出部２４は、ステップＳＴ３０の時点で、運転者の視認領域を検出したこととなる。

タイマーが作動中であると判断した場合（ＳＴ３１：ＹＥＳ）、処理はステップＳＴ３３に移行する。一方、タイマーが作動中でないと判断した場合（ＳＴ３１：ＮＯ）、視認領域検出部２４は、タイマーをスタートさせる（ＳＴ３２）。

その後、脇見状態検出部２５は、タイマーにて計時される時間（即ち滞留時間）が、画像領域Ａに設定される脇見許容時間を超えたか否かを判断する（ＳＴ３３）。脇見許容時間を超えていないと判断した場合（ＳＴ３３：ＮＯ）、図１６に示す処理は終了する。

一方、脇見許容時間を超えたと判断した場合（ＳＴ３３：ＹＥＳ）、脇見状態検出部２５は、警報出力を行うと共に、タイマーをリセットする（ＳＴ３４）。そして、図１６に示す処理は終了する。

また、ステップＳＴ３０において、眼が画像領域Ａ内に存在しないと判断した場合（ＳＴ３０：ＮＯ）、視認領域検出部２４は、タイマーをリセットし（ＳＴ３５）、その後、視認領域検出部２４及び脇見状態検出部２５は、画像領域Ｂ〜Ｅ、及び前方注視領域についても同様の処理を行っていく。その後、処理は、図１５のステップＳＴ２２に戻る。

そして、報知器３０は、図１６のステップＳＴ３４等の処理により脇見状態検出部２５が警報出力していた場合、警報音等により運転者に注意喚起を行う（ＳＴ２２）。そして、処理は終了する。

このようにして、本実施形態に係る運転者状態検出装置１によれば、眼の位置データと基準位置と撮影光軸方向の運転者の顔位置とに基づいて、運転者の視認領域を検出している。このため、運転者の体格等によって左右される基準位置と撮影光軸方向の運転者の顔位置とが考慮された上で、眼の位置データに基づいて、運転者の視認領域を検出することとなる。これにより、運転者の体格等に関係なく視認領域を検出することができる。

従って、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることができる。

また、検出された視認領域に基づいて脇見状態の検出を行うので、精度良く検出された視認領域に基づいて脇見検出を行うこととなり、脇見検出の検出精度の向上を図ることができる。

また、初期的な画像に対しては眼位置検出部２１ａが画像全体から眼を検出して、眼の位置データを取得し、眼の位置が検出された後には、眼追跡部２１ｂが画像全体よりも狭くされた追跡領域から眼を検出して、眼の位置データを取得している。すなわち、一度、画像全体から眼の位置を検出するものの、その後は、画像全体から眼の位置を検出する必要がなく、眼の検出精度及び検出速度の向上を図ることができる。

また、運転者が車両前方方向を視認しているときの眼の位置を基準位置としている。ここで、運転者は、車両前方を最も多く視認することから、車両前方視認時のデータは他の視認箇所よりも早くに収集される。このため、基準位置の検出に必要なデータが早くに収集できることとなり、基準位置の検出を短時間で行うことができる。

また、撮影部１０は運転席の正面側に設置されている。このため、撮影部１０は運転者の顔を撮影しやすい位置に設置されているといえる。また、顔位置検出部２３は、車両前後方向の顔位置を検出している。このため、撮影部１０のみでは検出できない方向について、略垂直に検出することとなる。そして、撮影部１０と顔位置検出部２３とにより、効果的に運転者の三次元的な顔位置を検出することとなる。従って、眼の位置を検出しやすく、且つ効果的に顔位置を検出することとができる。

また、ヘッドレスト１０２の左端及び右端の少なくとも一方により検出するので、新たな構成物を付加する必要がなく、処理内容を変更するだけでよく、シンプルなシステム構成にて顔位置の検出を実現することができる。

また、シート状態検出センサからの信号に基づいて運転者の顔位置を検出している。ここで、運転者は、車両前方等が視認しやすいように、顔位置を移動させるべく、シート状態を適切なものとする。すなわち、シート状態は、運転者の顔位置を直接的に示すものである。このため、直接的に運転者の顔位置を示す信号から、運転者の顔位置を検出することとなり、精度良く顔位置を検出することができる。

また、ルームミラー１０４の角度に基づいて運転者の顔位置を検出している。ここで、ルームミラー１０４は、運転者の視点位置から、車両後方側を視認しやすいように調整される。また、ルームミラー１０４は、上下左右に動くものであり、ミラー角度に基づくことで、３次元的に精度良く運転者の顔位置を検出することとなる。従って、精度良く顔位置を検出することができる。

また、シートベルトの引き出し量に基づいて運転者の顔位置を検出している。ここで、シートベルトの引き出し量は、シート位置や運転者の体格によって異なってくるものである。すなわち、シートベルトの引き出し量は、シート位置、運転者の体格などの様々な要因により異なってくるものである。シートベルトの引き出し量に基づいて運転者の顔位置を検出することで、多くの要因を考慮した顔位置の検出を行っているといえる。従って、精度良く顔位置を検出することができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る運転者状態検出装置２は、第１実施形態のものと同様であるが、車両走行状態検出センサ（車速センサ）４０を備える点で、第１実施形態のものと異なっている。また、処理装置２０の処理内容についても一部異なっている。

以下、第２実施形態に係る運転者状態検出装置２について説明する。図１７は、本発明の第２実施形態に係る運転者状態検出装置２の構成図である。車両走行状態検出センサ４０は、車両の車速を検出するものである。また、車両走行状態検出センサ４０は、処理装置２０に接続されており、検出した車速の情報を処理装置２０に送信する構成とされている。

図１８は、本発明の第２実施形態に係る処理装置２０の機能ブロック図である。なお、図１８では、接続関係を明確にするために、撮影部１０及び車両走行状態検出センサ４０についても図示するものとする。

同図に示すように、処理装置２０の構成は、第１実施形態と同様である。但し、基準位置検出部２２が車両走行状態検出センサ４０に接続され、車速の情報を入力するようになっている。

また、処理装置２０にて実行される処理は、第１実施形態と同様であるが、第２実施形態では、車速の情報を受けた基準位置検出部２２は、車両走行状態検出センサ４０からの車速の情報等に基づいて、実行する処理内容を変更するようになっている。

図１９は、図１８に示した基準位置検出部２２及び車両走行状態検出センサ４０の動作の一例を示すフローチャートである。このフローは、図１５のステップＳＴ１８〜ＳＴ２０の処理に代えて行われる処理である。

まず、車両走行状態検出センサ４０は、車両の車速を検出する（ＳＴ４０）。そして、車両走行状態検出センサ４０は、車速の情報を基準位置検出部２２に送信する。送信後、基準位置検出部２２は、車速が予め記憶される所定値以上であるか否かを判断する（ＳＴ４１）。

車速が所定値以上であると判断した場合（ＳＴ４１：ＹＥＳ）、基準位置検出部２２は、基準位置の検出を行うべく、ステップＳＴ４２以下の処理を行っていく。一方、車速が所定値以上でないと判断した場合（ＳＴ４１：ＮＯ）、基準位置検出部２２は、基準位置の検出を行うことなく、処理は図１５のステップＳＴ２１に移行する。ここで、基準位置が求められていない場合、運転者が脇見状態であると判断されることなく、処理はステップＳＴ１０に戻ることとなる。

このように、第２実施形態では、車速が所定値以上のときのみに基準位置を検出することとなる。これは以下の理由による。すなわち、車速が所定値以下の場合、例えば車速が「０」の場合、運転者は、車両前方方向を多く見るとは限らない。例えば、ナビゲーション装置の操作を行っていたり、道路マップ等を見ていたりすることがある。このような場合に、基準位置の検出を行ってしまうと、正確に基準位置を検出できなくなる可能性がある。このため、第２実施形態では、正確に基準位置を検出すべく、車速が所定値以上のときのみに基準位置を検出することとしている。

ステップＳＴ４２において、基準位置検出部２２は、眼の位置データ（座標データ）を所定数（２以上）メモリしたか否かを判断する（ＳＴ４２）。所定数メモリしていないと判断した場合（ＳＴ４２：ＮＯ）、基準位置検出部２２は、眼位置データ取得部２１にて取得された眼の座標データをメモリする（ＳＴ４３）。そして、処理は図１５のステップＳＴ２１に移行する。

一方、所定数メモリしていたと判断した場合（ＳＴ４２：ＹＥＳ）、基準位置検出部２２は、所定数メモリした座標データの分散値を算出する（ＳＴ４４）。そして、基準位置検出部２２は、分散値が所定値以下か否かを判断する（ＳＴ４５）。

分散値が所定値以下でないと判断した場合（ＳＴ４５：ＮＯ）、処理はステップＳＴ４９に移行する。一方、分散値が所定値以下であると判断した場合（ＳＴ４５：ＹＥＳ）、所定数メモリした座標データを基に眼の基準位置を検出する（ＳＴ４６）。ここで、基準位置検出部２２は、前回処理等により既に基準位置が求められている場合には、基準位置の更新を行い、求められていない場合には、新たに基準位置を設定することとなる。

ここで、分散値を所定値と比較する理由は以下による。すなわち、分散値が所定値以下でない場合、眼の座標データがばらついていることから、基準位置検出部２２は、基準位置を求めてしまうと不正確になる可能性が高いと判断し、基準位置の検出を行わないようにしている。一方、分散値が所定値以下である場合、眼の座標データが比較的同じ座標位置に集中していることから、基準位置検出部２２は、正確な基準位置を求めることができると判断し、基準位置の検出を行うようにしている。

基準位置の検出後、顔位置検出部２３は、第１実施形態と同様にして運転者の前後方向の顔位置を検出する（ＳＴ４７）。そして、視認領域検出部２４は、第１実施形態と同様に画像領域を設定する（ＳＴ４８）。その後、基準位置検出部２２はメモリした所定数の座標データをクリアする（ＳＴ４９）。そして、処理は図１５のステップＳＴ２１に移行する。

このようにして、本実施形態に係る運転者状態検出装置２によれば、第１実施形態と同様に、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることができ、脇見検出するに当たり検出精度の向上を図ることができる。

また、眼の検出精度及び検出速度の向上を図ることができ、基準位置の検出を短時間で行うことができ、眼の位置を検出しやすく、且つ効果的に顔位置を検出することとができる。

また、シンプルなシステム構成にて顔位置の検出を実現することができ、精度良く顔位置を検出することができる。

さらに、本実施形態に係る運転者状態検出装置２によれば、車速が所定値以上のときに基準位置を検出している。ここで、車速が所定値以下の場合、例えば車速が「０」の場合、運転者は、車両前方方向を多く見るとは限らない。例えば、ナビゲーション装置の操作を行っていたり、道路マップ等を見ていたりすることがある。このような場合に、基準位置の検出を行ってしまうと、正確に基準位置を検出できなくなる可能性がある。そこで、本実施形態では、車速が所定値以上の場合に基準位置を検出している。このため、正確な基準位置を検出することができる。

また、所定数（２以上）の眼の位置データに基づいて分散値を求め、分散値が所定値以下であるときに、基準位置を検出している。ここで、分散値が所定値以下でない場合、眼の座標データがばらついていることから、基準位置を求めてしまうと不正確になる可能性が高い。一方、分散値が所定値以下である場合、眼の座標データが比較的同じ座標位置に集中していることから、正確な基準位置を求めるやすくなっている。そこで、本実施形態では、分散値が所定値以下であるときに基準位置を検出している。このため、正確に基準位置を検出することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではない。例えば、上記実施形態では、基準位置と顔の前後位置から、画像領域を設定して視認領域を検出するようにしている。しかし、この構成に限られず、以下のようなものであってもよい。

すなわち、現在の眼の位置データと基準位置とに基づいて、基準位置から現在の眼の位置までの移動ベクトルを求め、この移動ベクトルと顔の前後位置に基づいて、実際の眼の動きを推定し、この動きと予め記憶されるマップ等に基づいて視認領域を検出するようにしてもよい。

本発明の第１実施形態に係る運転者状態検出装置の構成図である。 本発明の第１実施形態に係る処理装置の機能ブロック図である。 眼位置検出部が眼の位置の検出に際して行う初期処理の説明図である。 眼位置検出部が所定の画素を抽出したとき様子を示す説明図である。 画像横方向に近接する画素をグループ化したときの様子を示す説明図である。 眼位置検出部によるゾーン化後の様子を示す説明図である。 眼追跡部による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。 運転者の視線方向の説明図である。 体格の異なる運転者がルームミラーを見たときの様子を示す説明図であり、（ａ）は運転者上方からの様子を示し、（ｂ）は運転者側方からの様子を示している。 顔位置検出部が顔の前後方向の位置を検出する場合の一例を示す説明図であり、（ａ）は図９に示す運転者Ｄ１を撮影したときの撮影画像例を示し、（ｂ）図９に示す運転者Ｄ２を撮影したときの撮影画像例を示している。 顔位置検出部が顔の前後方向の位置を検出する場合の他の例を示す説明図である。 視認領域検出部による画像領域の設定方法を示す説明図であり、（ａ）は基準位置の眼の位置を示し、（ｂ）は基準位置から得られる特定対象物視認時の眼の位置を表す予測座標値運転者を示し、（ｃ）はルームミラーを視認しているときの運転者の顔の予測画像例を示し、（ｄ）は右ドアミラーを視認しているときの運転者の顔の予測画像例を示し、（ｅ）は左ドアミラーを視認しているときの運転者の顔の予測画像例を示している。 図１２にて得られた座標値に基づいて設定される画像領域の例を示す説明図である。 撮影画像上に設定された画像領域を運転者の視点から示した説明図である。 図２に示した処理装置の詳細動作を示すフローチャートである。 図１５に示した脇見判定処理（ＳＴ２１）の詳細を示す説明図である。 本発明の第２実施形態に係る運転者状態検出装置の構成図である。 本発明の第２実施形態に係る処理装置の機能ブロック図である。 図１８に示した基準位置検出部及び車両走行状態検出センサの動作の一例を示すフローチャートである。

符号の説明

１，２…運転者状態検出装置
１０…撮影部（撮影手段）
２０…処理装置
２１…眼位置データ取得部（眼位置データ取得手段）
２１ａ…眼位置検出部（眼位置検出手段）
２１ｂ…眼追跡部（眼追跡手段）
２２…基準位置検出部（基準位置検出手段）
２３…顔位置検出部（顔位置検出手段）
２４…視認領域検出部（視線領域検出手段）
２５…脇見状態検出部（脇見状態検出手段）
３０…報知器
４０…車両走行状態検出センサ（車速センサ）
１０２…ヘッドレスト
１０４…ルームミラー
１０５…シート状態検出センサ

Claims (12)

1. 車両運転者の顔を撮影する撮影手段と、
   前記撮影手段により撮影された運転者の顔を含む撮影画像から、運転者の眼の位置データを取得する眼位置データ取得手段と、
   前記眼位置データ取得手段によって時系列的に取得された眼の位置データから、基準となる運転者の眼の基準位置を検出する基準位置検出手段と、
   前記撮影手段の撮影光軸方向の運転者の顔位置を検出する顔位置検出手段と、
   前記眼位置データ取得手段によって取得された眼の位置データ、前記基準位置検出手段により検出された運転者の眼の基準位置、及び、顔位置検出手段により検出された撮影光軸方向の運転者の顔位置に基づいて、運転者の視認領域を検出する視認領域検出手段と、
   を備えることを特徴とする運転者状態検出装置。
2. 前記視認領域検出手段により検出された運転者の視認領域に基づいて、運転者が脇見状態であることを検出する脇見状態検出手段と更に備えることを特徴とする請求項１に記載の運転者状態検出装置。
3. 前記眼位置データ取得手段は、
   撮影手段により撮影された画像全体から眼の位置を検出する眼位置検出手段と、
   前記眼位置検出手段により検出された運転者の眼の位置を基準にして、眼の位置を含む追跡領域を画像上に定め、新たに撮影された画像から眼の位置を検出する場合、追跡領域内から運転者の眼を検出し、追跡していく眼追跡手段と、
   を有することを特徴とする請求項１又は請求項２のいずれかに記載の運転者状態検出装置。
4. 前記基準位置検出手段は、運転者が車両前方方向を視認しているときの眼の位置を前記基準位置として検出する
   ことを特徴とする請求項１〜請求項３のいずれか１項に記載の運転者状態検出装置。
5. 車両の車速を検出する車速センサを更に備え、
   前記基準位置検出手段は、前記車速センサにより検出された車速が所定値以上である場合に、前記基準位置を検出する
   ことを特徴とする請求項１〜請求項４のいずれか１項に記載の運転者状態検出装置。
6. 前記基準位置検出手段は、車速が所定値以上である場合に、前記眼位置データ取得手段によって取得された複数個の眼の位置データについて分散値を求め、この分散値が所定値以下であるときに、前記基準位置を検出することを特徴とする請求項５に記載の運転者状態検出装置。
7. 前記撮影手段は、運転席の正面側に設置され、
   前記顔位置検出手段は、撮影光軸方向の運転者の顔位置として、車両前後方向の運転者の顔位置を検出する
   ことを特徴とする請求項１〜請求項６のいずれか１項に記載の運転者状態検出装置。
8. 前記顔位置検出手段は、前記撮影手段により撮影されるヘッドレスト左端及び右端の少なくとも一方のエッジラインに基づいて運転者の顔位置を検出することを特徴とする請求項１〜請求項７のいずれか１項に記載の運転者状態検出装置。
9. 前記顔位置検出手段は、運転席の状態を検出するシート状態検出センサからの信号に基づいて運転者の顔位置を検出することを特徴とする請求項１〜請求項７のいずれか１項に記載の運転者状態検出装置。
10. 前記顔位置検出手段は、ルームミラーの角度に基づいて運転者の顔位置を検出することを特徴とする請求項１〜請求項７のいずれか１項に記載の運転者状態検出装置。
11. 前記顔位置検出手段は、シートベルトの引き出し量に基づいて運転者の顔位置を検出することを特徴とする請求項１〜請求項７のいずれか１項に記載の運転者状態検出装置。
12. 車両運転者の顔を撮影して得られた撮影画像から、運転者の眼の位置データを取得し、取得した眼の位置データから、基準となる運転者の眼の基準位置を検出する一方、撮影光軸方向の運転者の顔位置を検出し、これら基準位置、及び撮影光軸方向の運転者の顔位置に加えて、前記眼の位置データに基づいて、運転者の視認領域を検出することを特徴とする運転者状態検出装置。
    
    

Images