JP2008225578A - 車両用監視装置 - Google Patents

Abstract

【課題】 画像処理を用いて運転者の顔向きを特定するときに、処理時間を短縮すると共に特定精度を向上させることができる車両用監視装置を提供する。
【解決手段】 車両用監視装置１は、運転者の顔の画像を取得する顔画像センサ２と、車両前方を監視する前方画像センサ３及び前方ミリ波レーダ４と、監視ＥＣＵ７とを備えている。監視ＥＣＵ７は、顔向き検出部８と、視線検出部９と、探索範囲推定部１０とを有している。顔向き検出部８は、顔画像センサ２の撮像画像を画像処理し、運転者の顔（頭）の向いている角度（顔向き角度）を検出する。視線検出部９は、顔画像センサ２の撮像画像を画像処理し、運転者の視線の動きを検出する。探索範囲推定部１０は、顔向き検出部８及び視線検出部９の検出データと、前方画像センサ３及び前方ミリ波レーダ４の出力とに基づいて、運転者の顔が動く範囲を顔向きの探索範囲として推定する。
【選択図】 図１

Description

本発明は、車両の周囲を監視するための車両用監視装置に関するものである。

従来の車両用監視装置としては、例えば特許文献１に記載されているように、ミリ波レーダにより車両前方の障害物を検出すると共に、カメラにより車両前方の画像を取得し、この画像を画像認識することによって障害物を検出し、各検出結果を融合して障害物を特定するものが知られている。
特開２００５−２０２８７８号公報

ところで、上記従来技術のような車両用監視装置を例えば運転支援システムに適用する際には、運転者の動作状態、特に運転中の運転者の顔向きを検出することが必要となる場合がある。しかし、画像処理を用いて運転者の顔向きを特定する場合に、顔向きの探索範囲をむやみに広げると、処理時間が長くなり、誤検出も多くなってしまう。

本発明の目的は、画像処理を用いて運転者の顔向きを特定するときに、処理時間を短縮すると共に特定精度を向上させることができる車両用監視装置を提供することである。

本発明は、自車両の周囲を監視する監視手段を備えた車両用監視装置において、自車両の運転者の顔向き角度を検出する顔向き検出手段と、運転者の視線の動きを検出する視線検出手段と、顔向き検出手段で検出された運転者の顔向き角度と視線検出手段で検出された運転者の視線の動きとに基づいて、運転者の顔が動く範囲を推定する顔向き推定手段とを備えることを特徴とするものである。

車両の運転者は、例えば車両周囲に存在する監視対象物を注視したり、車両周囲の安全確認を行う場合には、まず顔の向きは変えずに視線のみで対象物を注視し、その後で顔を注視すべき方向に向けることがある。従って、運転者の視線が動く傾向が分かれば、運転者がどの方向を注視しているかが分かるため、その注視方向に顔を向ける可能性があると推測することができる。そこで、運転者の顔向き角度及び視線の動きを検出することにより、運転者の顔が動く範囲を限定して推定することができる。これにより、画像処理を用いて運転者の顔向きを特定するときに、処理時間を短縮し、更に特定精度を向上させることができる。

好ましくは、顔向き推定手段は、視線検出手段で検出された運転者の視線の動きに基づいて、運転者の視線の方向及び停留時間を抽出して視線範囲を求め、視線範囲及び顔向き角度に基づいて、運転者の顔が動く範囲を推定する。

例えば運転者が注視すべき監視対象物が存在する場合には、運転者の視線がその監視対象物の方向を向く時間が長くなる傾向にある。そこで、運転者の視線の方向及び停留時間を抽出して視線範囲を求めることにより、運転者の注視方向が正確に分かるようになるため、運転者の顔が動く範囲の推定精度を向上させることができる。

このとき、顔向き推定手段は、監視手段により自車両の周囲に存在する移動対象物が検知された場合に、視線範囲内に移動対象物があるかどうかを判断し、視線範囲内に移動対象物があると判定されたときに、視線範囲及び顔向き角度に基づいて、運転者の顔が動く範囲を推定するのが好ましい。

例えば走行している自車両の周囲に歩行者や自転車等の移動対象物が存在する場合に、移動対象物を含むような視線範囲を求めることで、運転者の顔が動く範囲を確実に推定することができる。

また、自車両の速度を検出する車速検出手段を更に備え、顔向き推定手段は、車速検出手段により自車両が所定速度以下に減速したことが検出されたときに、視線範囲及び顔向き角度に基づいて、運転者の顔が動く範囲を推定するのが好ましい。

例えば一時停止ラインのある交差点において安全確認を行う場合に、自車両が一時停止ラインで停止するまでの視線範囲を求めることで、運転者の顔が動く範囲を確実に推定することができる。

さらに、車両の方向指示器の操作状態を検出する方向指示検出手段と、車両のステアリングの操作状態を検出する操舵検出手段とを更に備え、顔向き推定手段は、方向指示検出手段により検出された方向指示器の指示方向と操舵検出手段により検出されたステアリングの操舵角とに応じて視線範囲を補正し、当該補正された視線範囲及び顔向き角度に基づいて、運転者の顔が動く範囲を推定するのが好ましい。

例えば自車両が交差点を曲がるときには、自車両の曲がり具合に応じて運転者の顔向き方向がずれてしまう。従って、そのような交差点において右左折を行う場合には、方向指示器の指示方向及びステアリングの操舵角に応じて視線範囲を補正することで、右左折中に運転者の顔が動く範囲を確実に推定することができる。

また、自車両に接近する対象物の情報を取得する接近情報取得手段を更に備え、顔向き推定手段は、接近情報取得手段により自車両に接近する対象物が検知されたときに、対象物の位置、視線範囲及び顔向き角度に基づいて、運転者の顔が動く範囲を推定するのが好ましい。

例えば交差点の左方または右方から自車両に接近する車両の存在が事前に分かっている場合に、当該接近車両の位置を検知することで、運転者の顔が動く範囲を確実に推定することができる。

本発明によれば、画像処理を用いて運転者の顔向きを特定するときに、処理時間を短縮すると共に特定精度を向上させることができる。これにより、本発明の車両用監視装置を例えば運転支援システム等に有効適用することが可能となる。

以下、本発明に係わる車両用監視装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる車両用監視装置の第１実施形態を示す構成図である。同図において、本実施形態の車両用監視装置１は、自動車等の車両に搭載され、例えば衝突防止等を行う運転支援システムに適用されるものである。

車両用監視装置１は、運転者の顔を撮像して、顔の画像を取得する顔画像センサ２と、車両前方を撮像して、車両前方の画像を取得する前方画像センサ３と、ミリ波帯の電波を用いて車両前方の対象物を探知する前方ミリ波レーダ４と、車両後方を撮像して、車両後方の画像を取得する後方画像センサ５と、ミリ波帯の電波を用いて車両後方の対象物を探知する後方ミリ波レーダ６と、監視ＥＣＵ（電子制御ユニット）７とを備えている。

監視ＥＣＵ７は、顔向き検出部８と、視線検出部９と、探索範囲推定部１０とを有している。顔向き検出部８は、顔画像センサ２による撮像画像を画像処理し、車両前方を基準として運転者の顔（頭）の向いている角度、いわゆる顔向き角度θ_Ｆ（図３参照）を検出する。視線検出部９は、顔画像センサ２による撮像画像を画像処理し、運転者の視線の動きを検出する。なお、上記の画像処理は、個別ではなく一括して行っても良い。

探索範囲推定部１０は、顔向き検出部８及び視線検出部９の検出データと、前方画像センサ３及び後方画像センサ５による撮像画像と、前方ミリ波レーダ４及び後方ミリ波レーダ６の検知信号とに基づいて、運転者の顔（頭）が動く範囲を顔向きの探索範囲として推定する。

歩行者が道路脇を歩いていたり、自転車等が道路脇を走っているときには、自車両の運転者は、通常は横目つまり視線だけで歩行者や自転車等を確認する。しかし、歩行者や自転車等がふらつく動きや急に飛び出す動きをした場合には、運転者は、その動きに応じて反射的に顔を向けることがある。また、運転者がサイドミラーやルームミラーを視線だけで確認しているときに、車両の後方や死角から二輪車等が急接近すると、運転者は、顔を向けてサイドミラーやルームミラーを凝視し、二輪車等を確認する動作を行うこともある。なお、上記の歩行者、自転車及び二輪車や停車車両等といった自車両の走行にとって障害となる移動対象物は、ここでは総称して障害物と呼ぶこととする。

探索範囲推定部１０は、自車両の周囲に障害物が存在する場合に、上記のような運転者の動作傾向を利用して、運転者の顔が動く範囲を推測するものである。そのような探索範囲推定部１０による推定処理手順の詳細を図２に示す。

同図において、まず前方画像センサ３及び後方画像センサ５による撮像画像と、前方ミリ波レーダ４及び後方ミリ波レーダ６の検知信号とに基づき、自車両の前方及び後方に歩行者や他車両等の障害物が存在するかどうかを検出する（Ｓ１０１）。続いて、視線検出部９の検出データに基づき、運転者の視線方向及び視線停留時間を検出し、視線方向とその視線停留時間（頻度）との関係を示す視線停留分布を作成する（Ｓ１０２）。

続いて、顔向き検出部８の検出データ（顔向き角度θ_Ｆ）から、運転者がサイドミラーまたはルームミラーを見ているかどうかを判断し（Ｓ１０３）、運転者がサイドミラーまたはルームミラーを見ているときは、サイドミラー上またはルームミラー上における障害物の位置を計算する（Ｓ１０４）。

続いて、手順Ｓ１０２で得られた視線停留分布を用いて、運転者の視線範囲θ_Ｅ（図３参照）を計算する（Ｓ１０５）。具体的には、視線停留分布において視線停留時間の比較的長い（比較的頻度の高い）視線方向を選択し、その選択された視線方向を含むような視線範囲θ_Ｅを求める。

続いて、手順Ｓ１０１で検出された障害物がその視線範囲θ_Ｅ内に入っているかどうかを判断し（Ｓ１０６）、障害物が視線範囲θ_Ｅ内に入っているときは、その障害物を含む視線範囲θ_Ｅをメモリに記憶する（Ｓ１０７）。そして、視線範囲θ_Ｅ内に入っている障害物の中から、例えば不意の動きをする可能性がある障害物（歩行者や自転車等）を選択する（Ｓ１０８）。

続いて、選択された障害物に自車両が急接近しているか又は選択された障害物が自車両に急接近している、つまり自車両と障害物とが相対的に急接近しているかどうかを判断する（Ｓ１０９）。この判断は、例えば前の画像フレームから得られて記憶されている視線範囲θ_Ｅと比較することにより行う。自車両と障害物とが相対的に急接近しているときは、顔向き検出部８で検出された顔向き角度θ_Ｆと手順Ｓ１０５で得られた視線範囲θ_Ｅとから、運転者の顔が動く範囲を推定し、これを顔向き検出部８による顔向きの探索範囲として設定する（Ｓ１１０）。

この探索範囲のデータは、顔向き検出部８に送られる。そして、顔向き検出部８は、その探索範囲に応じて顔画像センサ２による撮像画像を画像処理して、運転者の顔向き状態を特定し、その結果を例えば監視制御部（図示せず）に送出する。監視制御部では、例えば自車両と障害物とが衝突する可能性がある場合に、運転者が脇見をしていると判定されたときに、警報を発したり、強制ブレーキをかける等といった制御を行う。

ここで、図３は、運転者の顔向き方向及び視線方向をＸＹ座標上に示したものであり、Ｘ軸が車両の車幅方向（正の値が車両右側）を示し、Ｙ軸が車両の前後方向（正の値が車両前側）を示している。図３は、車両の右側に障害物が存在しているために、運転者の視線が顔向き方向に対して頻繁に右側を向くことが多い例を示したものである。

この場合、本実施形態では、図３（ａ）に示すように、運転者の視線範囲θ_Ｅは、運転者の顔向き方向から右側の所定領域となるように設定される。従って、運転者の顔が動く範囲つまり顔向きの探索領域は、ＸＹ座標系において以下のように表される。
θ_Ｆ≦探索領域≦θ_Ｆ＋θ_Ｅ

ところで、従来一般では、運転者の顔向きの探索領域を設定する際には、図３（ｂ）に示すように、運転者の視線の動きを全く考慮せずに、運転者の顔向き方向に対して左右両側に対称となるような範囲を設定している。つまり、顔向きの探索領域は、ＸＹ座標系において以下のように表される。
θ_Ｆ−θ_Ｓ≦探索領域≦θ_Ｆ＋θ_Ｓ

しかし、この場合には、歩行者や自転車等の障害物が急な動作を行ったために運転者の顔が大きく動いたときに、運転者の顔向き方向が探索領域から外れてしまう可能性がある。この不具合を防止すべく、探索領域をむやみに広げると、画像処理に要する時間が長くなり、障害物の誤検出も多くなる。

これに対し本実施形態では、自車両の周囲に歩行者や自転車等の障害物が存在するときに、運転者の視線の動きを検出して視線範囲θ_Ｅを求め、運転者の顔向き角度θ_Ｆ及び視線範囲θ_Ｅから、運転者の顔（頭）が動く範囲を推定することにより、顔向き検出部８による顔向きの探索範囲を絞り込むようにする。これにより、顔向き検出部８において、画像処理に要する処理時間が短縮されると共に、運転者の顔向き状態の特定を高精度に行うことができる。

図４は、本発明に係わる車両用監視装置の第２実施形態を示す構成図である。図中、第１実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両用監視装置２０は、第１実施形態における前方画像センサ３、前方ミリ波レーダ４、後方画像センサ５及び後方ミリ波レーダ６に代えて、ＧＰＳ（全地球測位システム）等を利用して、車両の現在位置や車両前方の道路形状の案内等を行うナビゲーション端末（以下、略してナビ）２１を備えている。

運転中に車両の運転者が視線だけでナビ２１を見ているときに、ナビ２１からの情報（ナビ情報）の提供が開始されると、運転者は、ナビ２１のほうに顔を向けてナビ２１を凝視することがある。本実施形態の探索範囲推定部１０は、ナビ２１を見ながら運転する場合に、そのような運転者の動作傾向を利用して、運転者の顔が動く範囲を推測するものである。本実施形態の探索範囲推定部１０による推定処理手順の詳細を図５に示す。

同図において、まず視線検出部９の検出データに基づき、運転者の視線方向及び視線停留時間を検出して、視線停留分布（前述）を作成する（Ｓ１２１）。続いて、顔向き検出部８の検出データ（顔向き角度θ_Ｆ）から、運転者がナビ２１を見ているかどうかを判断し（Ｓ１２２）、運転者がナビ２１を見ているときは、手順Ｓ１２１で得られた視線停留分布を用いて、運転者の視線範囲θ_Ｅ（図３参照）を計算する（Ｓ１２３）。

続いて、ナビ情報の提供が開始されたかどうかを判断し（Ｓ１２４）、ナビ情報の提供が開始されたときは、顔向き検出部８で検出された顔向き角度θ_Ｆ（図３参照）と手順Ｓ１２３で得られた視線範囲θ_Ｅとから、運転者の顔が動く範囲を推定し、これを顔向き検出部８による顔向き探索範囲として設定する（Ｓ１２５）。

以上のように本実施形態においては、運転者がナビ２１を見ているときに、運転者の視線の動きを検出して視線範囲θ_Ｅを求め、運転者の顔向き角度θ_Ｆ及び視線範囲θ_Ｅから、運転者の顔が動く範囲を推定することにより、顔向き検出部８による顔向きの探索範囲を絞り込むので、第１実施形態と同様の効果が得られる。

図６は、本発明に係わる車両用監視装置の第３実施形態を示す構成図である。図中、第２実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両用監視装置３０は、第２実施形態における各要素に加え、自車両の走行速度（車速）を検出する車速センサ３１を備えている。

交差点において安全確認を行う場合、自車両の運転者は、通常は顔（頭）を動かして周辺の確認を行うが、交差点に進入する前の段階では、顔を動かさずに視線だけで見える範囲で左右の確認を行うことがある。例えば図７に示すように、自車両Ｐが一時停止ラインＳを有する交差点を右折する際には、運転者は、まず視線だけで右側を比較的長い時間確認し（図中Ａ参照）、次いで視線だけで左側を確認し（図中Ｂ参照）、次いで前方を確認する（図中Ｃ参照）。

本実施形態の探索範囲推定部１０は、交差点において安全確認を行う場合に、上記のような運転者の動作傾向を利用して、運転者の顔が動く範囲を推測するものである。本実施形態の探索範囲推定部１０による推定処理手順の詳細を図８に示す。

同図において、まずナビ情報から、交差点までの距離の情報を取得し（Ｓ１３１）、交差点までの距離が所定値以下であるかどうかを判断する（Ｓ１３２）。交差点までの距離が所定値以下であるときは、視線検出部９の検出データに基づき、運転者の視線方向及び視線停留時間を検出し、視線停留分布（前述）を作成する（Ｓ１３３）。続いて、その視線停留分布を用いて、運転者の視線範囲θ_Ｅ（図３参照）を計算する（Ｓ１３４）。そして、交差点手前までの運転者の視線範囲θ_Ｅを順次求め、メモリに記憶していく（Ｓ１３５）。

続いて、車速センサ３１の検出値に基づいて、自車両が所定値以上減速したかどうかを判断し（Ｓ１３６）、自車両が所定値以上減速したときは、手順Ｓ１３３で得られた視線停留時間の長さと視線で見た順番とを重視して、運転者の視線範囲θ_Ｅをソート（分類）する（Ｓ１３７）。

続いて、車速センサ３１の検出値に基づいて、車速がほぼゼロになったかどうかを判断し（Ｓ１３８）、車速がほぼゼロになったときは、顔向き検出部８で検出された顔向き角度θ_Ｆと手順Ｓ１３７でソートされた視線範囲θ_Ｅとから、運転者の顔が動く範囲を推定し、これを顔向き検出部８による顔向き探索範囲として設定する（Ｓ１３９）。

ここで、図７に示すように、視線だけで右側を確認する時間が視線だけで左側を確認する時間よりも長い場合には、その後で運転者の顔が右側に動くものと推定され、自車両に対して右側寄りの顔向き探索範囲が設定されるようになる。

このように本実施形態においては、交差点で運転者が安全確認を行うときに、運転者の視線の動きを検出して視線範囲θ_Ｅを順次求め、運転者の顔向き角度θ_Ｆ及び各視線範囲θ_Ｅから、交差点の手前で運転者の顔が動く範囲を推定することにより、顔向き検出部８による顔向きの探索範囲を絞り込むので、第１実施形態と同様の効果が得られる。

図９は、本発明に係わる車両用監視装置の第４実施形態を示す構成図である。図中、第３実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両用監視装置４０は、第３実施形態における各要素に加え、右左折や進路変更を行う際に、図示しないウィンカースイッチ（方向指示器）による指示方向を検出するウィンカーセンサ４１と、ステアリング操作した時の操舵方向及び操舵角度を検出するステアリングセンサ４２とを更に備えている。

交差点において右左折を行う場合、車両の運転者は、交差点での一時停止時と同様に、通常は顔（頭）を動かして周辺の確認を行うが、交差点に進入する前の段階では、視線だけで左右の確認を行うことがある。例えば図１０に示すように、自車両Ｐが左折を行う場合には、運転者は、まず視線だけで右側を確認し（図中Ａ参照）、次いで視線だけで左側を確認してから（図中Ｂ参照）、ウィンカースイッチを操作して左ウィンカーを出し（ＯＮ）、前方を確認する（図中Ｃ参照）。

本実施形態の探索範囲推定部１０は、交差点において右左折を行う場合に、上記のような運転者の動作傾向を利用して、運転者の顔が動く範囲を推測するものである。本実施形態の探索範囲推定部１０による推定処理手順の詳細を図１１に示す。

同図において、まずナビ情報から、交差点までの距離及び交差点形状の情報を取得し（Ｓ１４１）、交差点までの距離が所定値以下であるかどうかを判断する（Ｓ１４２）。交差点までの距離が所定値以下であるときは、視線検出部９の検出データに基づき、運転者の視線方向及び視線停留時間を検出し、視線停留分布（前述）を作成する（Ｓ１４３）。続いて、その視線停留分布を用いて、運転者の視線範囲θ_Ｅ（図３参照）を計算する（Ｓ１４４）。そして、交差点手前までの運転者の視線範囲θ_Ｅを順次求め、メモリに記憶していく（Ｓ１４５）。

続いて、車速センサ３１の検出値に基づいて、自車両が所定値以上減速したかどうかを判断し（Ｓ１４６）、自車両が所定値以上減速したときは、ウィンカーセンサ４１の出力信号（ウィンカー信号）を検出する（Ｓ１４７）。そして、手順Ｓ１４３で得られた視線停留時間の長さと視線で見た順番とを重視して、運転者の視線範囲θ_Ｅをソート（分類）する（Ｓ１４８）。

続いて、ステアリングセンサ４２の出力信号（ステアリング信号）を検出する（Ｓ１４９）。そして、その時の運転者の視線方向、手順Ｓ１４１で得られた交差点形状の情報、手順Ｓ１４７で得られたウィンカースイッチの指示方向の情報、手順Ｓ１４９で得られたステアリングの操舵方向及び操舵角度の情報に基づき、自車両の右左折時の視線範囲θ_Ｅを求める（Ｓ１５０）。一般に車両が右左折するときには、運転者の体自体が動き、これに伴って運転者の顔向き角度が変わるため、上記のようにウィンカースイッチの指示方向とステアリングの操舵方向及び操舵角度等とに応じて視線範囲θ_Ｅを補正する。

続いて、顔向き検出部８で検出された顔向き角度θ_Ｆと手順Ｓ１４８でソートされた視線範囲θ_Ｅ及び手順Ｓ１５０で求められた視線範囲θ_Ｅとから、運転者の顔が動く範囲を推定し、これを顔向き検出部８による顔向き探索範囲として設定する（Ｓ１５１）。

ここで、図１０に示すように、自車両Ｐが左折を行う場合には、ウィンカー信号及びステアリング信号から左に曲がることが検出されるため、その後で運転者の顔が当然に左側に動くものと推定され、自車両に対して左側寄りの顔向き探索範囲が設定されるようになる。

このように本実施形態においては、交差点で右左折を行うときに、運転者の視線の動きを検出して視線範囲θ_Ｅを順次求め、更に自車両が曲がる方向及び曲がり量に応じた視線範囲θ_Ｅを求め、運転者の顔向き角度θ_Ｆ及び各視線範囲θ_Ｅから、右左折時に運転者の顔が動く範囲を推定することにより、顔向き検出部８による顔向きの探索範囲を絞り込むので、第１実施形態と同様の効果が得られる。

図１２は、本発明に係わる車両用監視装置の第５実施形態を示す構成図である。図中、第３実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両用監視装置５０は、第３実施形態における各要素に加え、車車間通信や路車間通信を行う際に、他車両等からの情報（インフラ情報）を取得するインフラセンサ５１を更に備えている。

他車両等からのインフラ情報を利用することで、交差点の死角から接近する他車両を事前に知っている場合、自車両の運転者は、交差点に進入する前の段階では、接近車両の方向を、顔を動かさずに視線だけで確認することがある。例えば図１３に示すように、交差点の左側から他車両Ｑが接近する場合には、運転者は、まず視線だけで右側を確認し（図中Ａ参照）、次いで視線だけで左側を比較的長い時間確認し（図中Ｂ参照）、次いで前方を確認する（図中Ｃ参照）。

本実施形態の探索範囲推定部１０は、インフラ情報から接近車両の存在を知った場合に、上記のような運転者の動作傾向を利用して、運転者の顔が動く範囲を推測するものである。本実施形態の探索範囲推定部１０による推定処理手順の詳細を図１４に示す。

同図において、まずインフラ情報から、交差点脇からの接近車両の有無情報を取得する（Ｓ１６１）。また、ナビ情報から、交差点までの距離及び交差点形状の情報を取得し（Ｓ１６２）、交差点までの距離が所定値以下であるかどうかを判断する（Ｓ１６３）。

交差点までの距離が所定値以下であるときは、視線検出部９の検出データに基づき、運転者の視線方向及び視線停留時間を検出し、視線停留分布（前述）を作成する（Ｓ１６４）。続いて、その視線停留分布を用いて、運転者の視線範囲θ_Ｅ（図３参照）を計算する（Ｓ１６５）。そして、交差点手前までの運転者の視線範囲θ_Ｅを順次求め、メモリに記憶していく（Ｓ１６６）。続いて、手順Ｓ１６４で得られた視線停留時間の長さと視線で見た順番とを重視して、運転者の視線範囲θ_Ｅをソート（分類）する（Ｓ１６７）。

続いて、手順Ｓ１６１で取得した接近車両の有無情報から、視線範囲θ_Ｅ内に接近車両が含まれるかどうかを判断する（Ｓ１６８）。視線範囲θ_Ｅ内に接近車両が含まれるときは、顔向き検出部８で検出された顔向き角度θ_Ｆ、手順Ｓ１６７でソートされた視線範囲θ_Ｅ、手順Ｓ１６１で取得された接近車両の位置や速度の情報、手順Ｓ１６２で取得された交差点形状の情報から、運転者の顔が動く範囲を推定し、これを顔向き検出部８による顔向きの探索範囲として設定する（Ｓ１６９）。一方、視線範囲θ_Ｅ内に接近車両が含まれないときは、上記の顔向き角度θ_Ｆ及び視線範囲θ_Ｅから、運転者の顔が動く範囲を推定し、これを顔向き検出部８による顔向きの探索範囲として設定する（Ｓ１７０）。

ここで、図１３に示すように、交差点の左側から接近する他車両Ｑの存在を予め知っている場合には、その後で運転者の顔が当然に左側に動くものと推定され、自車両に対して左側寄りの顔向き探索範囲が設定されるようになる。

このように本実施形態においては、インフラ通信により交差点脇から接近する他車両の存在が予め分かっているときに、運転者の視線の動きを検出して視線範囲θ_Ｅを順次求め、運転者の顔向き角度θ_Ｆ、各視線範囲θ_Ｅ及び接近車両の位置等から、右左折時に運転者の顔が動く範囲を推定することにより、顔向き検出部８による顔向きの探索範囲を絞り込むので、第１実施形態と同様の効果が得られる。

なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、図３（ａ）に示すように、運転者の視線範囲θ_Ｅは、運転者の顔向き方向を含み且つ顔向き方向に対して一方側のみの領域に設定されているが、特にこれには限られず、顔向き方向に対して他方側の領域も一部含むように設定されていても良い。

本発明に係わる車両用監視装置の第１実施形態を示す構成図である。 図１に示した探索範囲推定部により実行される推定処理手順の詳細を示すフローチャートである。 図２に示す処理により得られる運転者の顔向き方向及び視線方向を比較例と共に示す概念図である。 本発明に係わる車両用監視装置の第２実施形態を示す構成図である。 図４に示した探索範囲推定部により実行される推定処理手順の詳細を示すフローチャートである。 本発明に係わる車両用監視装置の第３実施形態を示す構成図である。 交差点において安全確認を行う場合における運転者の視線の動き及び顔向きの探索範囲を示す概念図である。 図６に示した探索範囲推定部により実行される推定処理手順の詳細を示すフローチャートである。 本発明に係わる車両用監視装置の第４実施形態を示す構成図である。 交差点において左折する場合における運転者の視線の動き及び顔向きの探索範囲を示す概念図である。 図９に示した探索範囲推定部により実行される推定処理手順の詳細を示すフローチャートである。 本発明に係わる車両用監視装置の第５実施形態を示す構成図である。 インフラ情報により交差点の左側から接近する車両の存在を事前に知っている場合における運転者の視線の動き及び顔向きの探索範囲を示す概念図である。 図１２に示した探索範囲推定部により実行される推定処理手順の詳細を示すフローチャートである。

符号の説明

１…車両用監視装置、２…顔画像センサ（顔向き検出手段、視線検出手段）、３…前方画像センサ（監視手段）、４…前方ミリ波レーダ（監視手段）、５…後方画像センサ（監視手段）、６…後方ミリ波レーダ（監視手段）、７…監視ＥＣＵ、８…顔向き検出部（顔向き検出手段）、９…視線検出部（視線検出手段）、１０…探索範囲推定部（顔向き推定手段）、２０…運転支援装置、２１…ナビ（監視手段）、３０…運転支援装置、３１…車速センサ（車速検出手段）、４０…運転支援装置、４１…ウィンカーセンサ（方向指示検出手段）、４２…ステアリングセンサ（操舵検出手段）、５０…運転支援装置、５１…インフラセンサ（接近情報取得手段）。

Claims (6)

1. 自車両の周囲を監視する監視手段を備えた車両用監視装置において、
   前記自車両の運転者の顔向き角度を検出する顔向き検出手段と、
   前記運転者の視線の動きを検出する視線検出手段と、
   前記顔向き検出手段で検出された運転者の顔向き角度と前記視線検出手段で検出された運転者の視線の動きとに基づいて、前記運転者の顔が動く範囲を推定する顔向き推定手段とを備えることを特徴とする車両用監視装置。
2. 前記顔向き推定手段は、前記視線検出手段で検出された運転者の視線の動きに基づいて、前記運転者の視線の方向及び停留時間を抽出して視線範囲を求め、前記視線範囲及び前記顔向き角度に基づいて、前記運転者の顔が動く範囲を推定することを特徴とする請求項１記載の車両用監視装置。
3. 前記顔向き推定手段は、前記監視手段により前記自車両の周囲に存在する移動対象物が検知された場合に、前記視線範囲内に前記移動対象物があるかどうかを判断し、前記視線範囲内に前記移動対象物があると判定されたときに、前記視線範囲及び前記顔向き角度に基づいて、前記運転者の顔が動く範囲を推定することを特徴とする請求項２記載の車両用監視装置。
4. 前記自車両の速度を検出する車速検出手段を更に備え、
   前記顔向き推定手段は、前記車速検出手段により前記自車両が所定速度以下に減速したことが検出されたときに、前記視線範囲及び前記顔向き角度に基づいて、前記運転者の顔が動く範囲を推定することを特徴とする請求項２記載の車両用監視装置。
5. 前記車両の方向指示器の操作状態を検出する方向指示検出手段と、
   前記車両のステアリングの操作状態を検出する操舵検出手段とを更に備え、
   前記顔向き推定手段は、前記方向指示検出手段により検出された前記方向指示器の指示方向と前記操舵検出手段により検出された前記ステアリングの操舵角とに応じて前記視線範囲を補正し、当該補正された視線範囲及び前記顔向き角度に基づいて、前記運転者の顔が動く範囲を推定することを特徴とする請求項２記載の車両用監視装置。
6. 前記自車両に接近する対象物の情報を取得する接近情報取得手段を更に備え、
   前記顔向き推定手段は、前記接近情報取得手段により前記自車両に接近する対象物が検知されたときに、前記対象物の位置、前記視線範囲及び前記顔向き角度に基づいて、前記運転者の顔が動く範囲を推定することを特徴とする請求項２記載の車両用監視装置。

Images