JP2010100088A - 運転支援システム - Google Patents

Abstract

【課題】運転支援が解除されたときに、運転者の状態に応じて当該運転者に対して行う報知を変化することのできる運転支援システムを提供する。
【解決手段】本発明の運転支援システムは、運転者の顔を撮像する顔画像撮像手段と、撮像した画像を用いて、上記運転者の目の状態を示す情報を生成する画像処理手段と、上記運転者が開眼状態か閉眼状態かを判定する運転者状態判定手段と、上記車両が予め定められた解除条件を満たす場合に上記運転支援を解除する運転支援解除手段と、当該運転支援解除手段からの指示に応じて上記運転支援が解除された旨を上記運転者に対して通知する通知手段とを備える。また、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記通知手段に上記開眼状態とは異なる通知を行わせる。
【選択図】図１

Description

本発明は、運転支援システムに関し、より特定的には、走行中の車両が走行範囲内から逸脱することを防止するための運転支援システムに関する。

近年、車両の前部に設置されたカメラなどにより、上記車両が走行している走行路面の区画線を認識し、当該認識結果に基づいてドライバーが行うハンドル操作を補助したり、車両が区画線から逸脱する可能性が高い場合に、ドライバーに警告したりする装置が実用化されている。このような装置の一例として、例えば特許文献１に開示された装置がある。
特開２００５−１４５４０２号公報

上記特許文献１に開示されている装置は、車両前部設置されたカメラにより当該車両の前方を撮影し、当該撮影した画像に基づいて上記車両が走行している走行路面の白色線、黄色線などの区画線を検出する。そして、上記装置は、当該検出結果に基づいて、基づいて上記車両が走行路面の所定範囲から逸脱する可能性を判断する。なお、このとき、上記特許文献１に開示されている装置を含む、他の従来の装置は、車両が所定範囲から逸脱する可能性が高いと判断した場合、上記車両の車速、ハンドル角、ヨー角などの車両情報を基本にして、当該車両が所定範囲内を走行するようにドライバーが行うハンドル操作を補助する（以下、運転支援と称す）。

また、上記装置は、運転支援中であってもレーンチェンジや緊急回避等で上記車両の運転者が急なステアリング操作を行ったの場合には運転支援は解除されるようになっている。なお、上記車両が走行している走行路面の区画線が検出できなかった場合も、運転支援は一時的に解除される。このような場合、一般的には、運転支援が解除された旨を上記車両に備わった表示、警報装置により上記運転者に対して報知を行う。これによって、上記運転者は運転支援が解除されたことを知ることができるようになっている。

しかしながら、運転支援が解除された旨の報知は常に同じであるため、運転者の状態（例えば運転者が眠気を感じているなど）によっては、上記報知に気付かないことが予想される。したがって、運転支援が解除されたにも関わらず、運転者は運転支援が行われていると思いこみ、注意して運転することを怠ってしまう可能性がある。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、運転支援が解除されたときに、運転者の状態に応じて当該運転者に対して行う報知を変化させることのできる運転支援システムを提供することにある。

上記目的を達成するために、本発明は以下の構成を採用した。すなわち、第１の発明は、車両前方の走行路面の区画線に基づいて当該車両を制御して運転支援する運転支援システムである。上記運転支援システムは、上記車両の運転席に着席した運転者の顔を撮像する顔画像撮像手段と、当該顔画像取得手段が撮像した画像を用いて、上記運転者の目の状態を示す情報を生成する画像処理手段と、上記目の状態を示す情報に基づいて上記運転者が開眼状態か閉眼状態かを判定する運転者状態判定手段と、上記車両が予め定められた解除条件を満たす場合に上記運転支援を解除する運転支援解除手段と、上記運転支援解除手段からの指示に応じて前記運転支援が解除された旨を前記運転者に対して通知する通知手段とを備える。また、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記通知手段に前記開眼状態とは異なる通知を行わせる。

第２の発明は、上記第１の発明において、上記通知手段は、上記車両に設けられた音響機器を作動させることで警告音を鳴動する警告音発生手段を含む。上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記警告音発生手段によって警告音を鳴動させ、上記運転支援解除手段は、上記運転者が上記開眼状態で上記運転支援を解除する場合、上記警告音発生手段とは異なる上記通知手段によって上記運転支援を解除する通知を行わせる。

第３の発明は、上記第１の発明において、上記通知手段は、上記車両に設けられた音響機器を作動させることで鳴動する警告音を用いて、上記運転者に対して上記運転支援が解除された旨を通知し、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記通知手段に上記開眼状態とは異なる警告音を鳴動させる。

第４の発明は、上記第３の発明において、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記開眼状態で警告音が鳴動する音間隔より短い音間隔で警告音を鳴動させる。

第５の発明は、上記第３または第４の発明において、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記開眼状態で警告音が鳴動する期間より長い期間に警告音を鳴動させる。

第６の発明は、上記第３の発明において、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記開眼状態で鳴動させる警告音より音量の大きな警告音を鳴動させる。

第７の発明は、上記第３の発明において、上記運転支援解除手段は、上記運転者が上記閉眼状態で上記運転支援を解除する場合、上記開眼状態で鳴動させる警告音より音程が高い警告音を鳴動させる。

第８の発明は、上記第２または第３の発明において、通知手段は、上記車両に設けられた表示灯を点灯させることで上記運転者に対して上記運転支援が解除された旨を通知する表示灯点灯手段を、さらに含む。上記運転支援解除手段は、上記運転者の状態に関わらず上記運転支援を解除する場合、上記表示灯点灯手段によって上記運転支援を解除する通知を行わせる。

第９の発明は、上記第１の発明において、上記画像処理手段は、上記画像を用いて上記運転者の上瞼と下瞼とを検出し、当該上瞼と下瞼との間隔が予め定められた間隔以下となった継続時間を閉眼時間として算出し、当該閉眼時間を前記目の状態を示す情報として生成する。上記運転者状態判定手段は、上記閉眼時間が予め定められた閾値以上である場合に、上記運転者が閉眼状態であると判定する。

上記第１の発明によれば、運転支援が解除されたときに行う通知を、運転者の目の開閉状態に応じて変化させることができる。具体的には、運転者が閉眼状態（例えば、運転者が居眠りしている場合、眠気などで運転者の目が薄目の場合、運転者の注意力が低下している場合等）、運転者が開眼状態（例えば、運転者が通常の状態）と比べて運転支援の解除の通知を変化させることができる。つまり、運転者の意識レベルが低い場合でも運転者に運転支援が解除されたことを注意喚起することができる。したがって、運転者は、意識レベルが低い場合でも上記運転支援が解除されたことを知ることができ、上記運転支援に頼ることなく安全運転しなければならないと意識することができる。

上記第２の発明によれば、運転者が閉眼状態で運転支援が解除されるときに当該運転者に対して通知を行うことができる。例えば、通常は鳴動しない音が、ドライバーの目が閉眼状態（例えば、運転者が居眠りしている場合、眠気などで運転者の目が薄目の場合、運転者の注意力が低下している場合等）のときに音が鳴動するようになる。したがって、ドライバーは運転支援が解除されたことを知ることができることができる。また、閉眼状態のときに音が鳴動ことによって、ドライバーに覚醒を促すことも可能になる。

上記第３の発明によれば、運転者が閉眼状態で運転支援が解除されるときに、開眼状態で鳴動される音と異なる音を鳴動ことができる。これによって、ドライバーは「運転支援が解除される音が違う」と感じ、警告音により気付きやすくなる。

上記第４の発明によれば、閉眼状態では、開眼状態で警告音が鳴動する音間隔より短い音間隔で警告音が鳴動する。例えば、警告音が「ピピピピ」となる場合、音間隔が短いと、短い時間に多くの音が鳴動することになり、ドライバーは、より警告音により気付きやすくなる。

上記第５の発明によれば、閉眼状態では、開眼状態で警告音が鳴動する期間より長い期間で警告音が鳴動する。これによって、ドライバーの目が閉眼状態（例えば、運転者が居眠りしている場合、眠気などで運転者の目が薄目の場合、運転者の注意力が低下している場合等）で、短い音では気付きにくい状況でも、長い間鳴動させることでドライバーは警告音に気付くことが期待される。

上記第６の発明によれば、閉眼状態では、開眼状態で警告音が鳴動する音量より大きな警告音が鳴動する。これによって、ドライバーは、より警告音により気付きやすくなる。

上記第７の発明によれば、閉眼状態では、開眼状態で鳴動させる警告音より音程が高い警告音が鳴動する。一般的に、音に対する気付きやすさは、低音より高音の方がよい。したがって、ドライバーは、より警告音により気付きやすくなる。

上記第８の発明によれば、表示灯によって運転支援が解除された旨を通知する。したがって、例えば、運転者が音によって解除されたことに気付いた後、さらに視覚によって、運転支援が解除されたことを知ることができる。

上記第９の発明によれば、運転者の上瞼と下瞼とを検出することによって閉眼状態であるか否かを判断することができる。したがって、限定された顔部品に絞って閉眼状態であるか否かを判断するため、画像処理が容易になる。

以下、図面を参照して、本発明の一実施形態に係る運転支援システムの構成および動作について説明する。なお、本実施形態では、当該運転支援システムが自動車（以下、単に車両と称す）に設置された場合を想定して説明する。

図１は、本発明の一実施形態に係る運転支援システムの構成の一例を示したブロック図である。図１に示すように、運転支援システムは、白線認識装置１と、顔画像認識装置２と、車両制御ＥＣＵ３と、表示・警報装置４を備えている。図２は、一実施形態に係る運転支援システムが搭載された車内の様子を示す図である。

まず、白線認識装置１の装置構成について説明する。白線認識装置１は、カメラ１０とレーンキープＥＣＵ（Electric Control Unit）１１とを備えている。

カメラ１０は、例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ等である。カメラ１０は、車両前方を撮像するため、例えばバックミラー５の裏側に設置されている。そして、カメラ１０は、車両の車室内からフロントウィンドウ６を通して（図２参照）、例えば所定時間間隔で車両前方を撮像し、当該撮像した画像をレーンキープＥＣＵ１１へ出力する。

レーンキープＥＣＵ１１は、白線検出部１１１、および車両位置算出部１１２などを備える情報処理装置である。レーンキープＥＣＵ１１は、典型的には中央演算装置や読み書き可能な記憶媒体等を備えるマイクロコンピューターである。レーンキープＥＣＵ１１は、カメラ１０が撮像した画像を処理し、上記車両が走行している道路と上記車両に関する情報を生成し、当該情報を車両制御ＥＣＵ３へ出力する。

白線検出部１１１は、カメラ１０が撮像した画像を用いて、上記車両が走行している道路の白色線、黄色線などの区画線（以下、単に白線と称す）を検出し、車両位置算出部１１２へ出力する。

車両位置算出部１１２は、詳細は後述するが、白線検出部１１１が検出した白線に基づいて、上記車両が走行している道路と上記車両とに関する情報を生成する。そして、車両位置算出部１１２は、当該生成された情報を車両制御ＥＣＵ３に出力する。

次に、顔画像認識装置２の装置構成について説明する。顔画像認識装置２は、カメラ２０とドライバモニタＥＣＵ２１とを備えている。

カメラ２０は、例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ等である。カメラ２０は、運転席に着席したドライバーの顔を撮像するため、例えば、ステアリングコラム上に設置される。そして、カメラ２０は、例えば所定時間間隔でドライバーの顔を撮像し、当該撮像した画像をドライバモニタＥＣＵ２１へ出力する。なお、カメラ２０は、請求項に記載の顔画像撮像手段の一例に相当する。

ドライバモニタＥＣＵ２１は、顔向き検出部２１１、閉眼検出部２１２、および顔画像パターン格納部２１３などを備える情報処理装置である。ドライバモニタＥＣＵ２１は、典型的には中央演算装置や読み書き可能な記憶媒体等を備えるマイクロコンピューターである。ドライバモニタＥＣＵ２１は、カメラ２０が撮像した画像を処理し、ドライバーの顔に関する情報（具体的には、ドライバーの顔向き、閉眼時間、閉眼時刻など）を生成し、当該情報を車両制御ＥＣＵ３に出力する。

顔向き検出部２１１は、カメラ２０が撮像した画像を用いて、ドライバーの顔向き検出を行う。

閉眼検出部２１２は、カメラ２０が撮像した画像を用いて、閉眼時間、閉眼時刻など、ドライバーの目に関する情報を検出して、それら情報をドライバーの顔に関する情報として生成し、車両制御ＥＣＵ３へ出力する。なお、閉眼検出部２１２は、請求項に記載の画像処理手段の一例に相当する。

顔画像パターン格納部２１３は、読み書き可能な記憶媒体で構成され、人物の顔画像パターンを示す情報が記憶されている。具体的には、顔画像パターンは、顔の大きさ、目の位置や大きさ、口の位置や大きさ、鼻の位置や大きさ等の様々なパターンを含んでいる。また、顔画像パターンは、様々な人物の顔部品のテンプレート画像（例えば、口のテンプレート画像）を含んでいる。なお、顔画像パターン格納部２１３に記憶されている顔の情報は、例えば上記車両のユーザーの書き換え作業によって、適宜情報が更新されてもよい。

次に車両制御ＥＣＵ３について説明する。車両制御ＥＣＵ３は、演算装置および記憶媒体等を備える情報処理装置である。なお、車両制御ＥＣＵ３は、請求項に記載の運転者状態判定手段および運転支援解除手段の一例に相当する。

車両制御ＥＣＵ３は、レーンキープＥＣＵ１１から出力される情報を用いて、上記車両に搭載された各種装置を制御して、上記車両が車線内を走行するように支援する。具体的には、車両制御ＥＣＵ３は、レーンキープＥＣＵ１１から出力された情報に用いて、上記車両が車線から逸脱する可能性があると判断した場合、上記車両に搭載された各種装置（例えば、後述の表示・警報装置４など）を作動させドライバーに注意喚起を促す。また、車両制御ＥＣＵ３は、レーンキープＥＣＵ１１から出力された情報に基づいて、上記車両が車線中央付近を走行するように、上記車両に搭載されたパワーステアリング装置を作動させ、ドライバーのハンドル操作を支援するなどの、いわゆるレーンキープアシストを行う（以下、ドライバーに対して注意喚起を行ったり、ドライバーの運転の支援を行ったりすることを単に運転支援と称する）。これによって、例えば、高速道路や自動車専用道路を走行している場面において、車線内走行がしやすいようにドライバーをサポートする。

また、車両制御ＥＣＵ３は、ドライバモニタＥＣＵ２１から出力されるドライバーのドライバーの顔に関する情報（ドライバーの顔向き、閉眼時間、閉眼時刻など）を用いて、ドライバーの状態を判断する。具体的には、車両制御ＥＣＵ３は、ドライバモニタＥＣＵ２１から出力された情報を用いて、「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」などのドライバーの状態を判断する。そして、車両制御ＥＣＵ３は、例えば、ドライバーが「わき見をしている」、「居眠りをしている」など、そのまま放置すれば事故に繋がってしまうような状態のとき、上記車両に搭載された表示・警報装置４を制御して、警報等によりドライバーに対して警告を行ったりしてドライバーの覚醒を促す。なお、車両制御ＥＣＵ３が行う動作として、当該車両制御ＥＣＵ３が各種装置を制御して、ドライバーが行うブレーキ操作をアシストして障害物との衝突を回避するなどの、いわゆるプリクラッシュ制御も含まれる。

表示・警報装置４は、具体的には、当該車両に備わった表示灯やスピーカー等である。表示・警報装置４は、車両制御ＥＣＵ３からの指示に従って、ドライバーが例えば「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」などといった状態のとき、上記車両に備わった表示灯を点灯させる。また、スピーカーを鳴動させ、音声によってドライバーに覚醒を促す。なお、表示・警報装置４は、請求項に記載の通知手段の一例に相当する。

ここで、上述した運転支援は、例えば車線変更をするために、ドライバーが方向指示器を操作したり、また、ドライバーが急なハンドル操作を行ったりした場合にはキャンセルされるようになっている。つまり、上記運転支援はドライバーの運転操作、意志が優先されるため、ドライバーが上述したような操作を行うことにより、運転支援はキャンセルされるようになっている。

また一方で、例えば、白線検出部１１１が走行路面の白線を認識できなくなった場合や、上記車両の車速が予め定められた車速の範囲にない場合においても、上記運転支援は自動的にキャンセルされるようになっている。このように、上記運転支援が自動的にキャンセルされる場合、車両制御ＥＣＵ３は、ドライバーに対して上記運転支援がキャンセルされた旨を報知する。具体的には、車両制御ＥＣＵ３は、表示・警報装置４を制御して、運転支援がキャンセルされたことをドライバーに対して音により知らせている（以下、通常キャンセル音と称す）。また、車両制御ＥＣＵ３は、表示・警報装置４を制御して、運転支援がキャンセルされたことを上記車両の表示灯を点灯させることによってドライバーに知らせている。これによって、ドライバーは、上記運転支援はキャンセルされたと認識することができるようになっている。

ところが、例えば、ドライバーが眠気を催している状態などで運転支援がキャンセルされた場合、通常キャンセル音にドライバーが気付かないことが考えられる。そのため、詳細は後述するが、車両制御ＥＣＵ３は、ドライバーの状態に応じて、当該ドライバーに対して上記運転支援がキャンセルされたことを強く喚起することが必要か否かを判断し、当該ドライバーに対して上記運転支援がキャンセルされたことを強く喚起するか必要があると判断した場合、通常キャンセル音とは異なる通知を行う。

図３は、本実施形態に係る運転支援システムにおいて行われる処理の流れの一例を示したフローチャートである。なお、図３に示したフローチャートに示される処理は、レーンキープＥＣＵ１１内に備わった白線検出部１１１、車両位置算出部１１２、および車両制御ＥＣＵ３がそれぞれ所定のプログラムを実行することにより行われる。また、図３に示すフローチャートに示す処理は、運転支援システムの電源がＯＮ（例えば、運転支援システムが搭載された車両のイグニッションスイッチがＯＮ）されることによって開始され、ＯＦＦされることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。

ステップＳ３１において、レーンキープＥＣＵ１１は、ＩＧがＯＮであるか否かを判断する。そして、ＩＧがＯＮであると判断した場合（ＹＥＳ）、次のステップＳ３２に処理を進める。一方、レーンキープＥＣＵ１１は、ＩＧがＯＮではない、つまりＩＧがＯＦＦであると判断した場合（ＮＯ）、当該フローチャートでの処理を終了する。

ステップＳ３２において、レーンキープＥＣＵ１１は、上記車両の車両情報を取得する。なお、車両情報とは、例えば上記車両の車速などである。また上記車両のユーザー自身が行う操作によって得られる情報なども含まれる。そして、レーンキープＥＣＵ１１は、次のステップＳ３３へ処理を進める。

ステップＳ３３において、レーンキープＥＣＵ１１は、運転支援を行うか否かを判断する。具体的には、レーンキープＥＣＵ１１は、上記車両情報を参照して、運転支援を行うか否かを判断する。レーンキープＥＣＵ１１は、上記車両情報から、例えば、上記車両の車速が予め定められた車速以上であった場合、レーンキープＥＣＵ１１は車両は走行状態であるので運転支援が必要であると判断する。また、レーンキープＥＣＵ１１は、例えば、上記車両のユーザーが当該車両に備わったスイッチ（運転支援を実行または停止させるためのスイッチ）などを押すことによって得られる情報により、運転支援が必要であるか否かを判断してもよい。そして、レーンキープＥＣＵ１１は、判断を肯定した場合（ＹＥＳ）、つまり運転支援を行うと判断した場合、次のステップＳ３４に処理を進める。一方、レーンキープＥＣＵ１１は、判断を否定した場合（ＮＯ）、つまり運転支援は行わないと判断した場合、ステップＳ３１に処理を戻す。

ステップＳ３４において、白線検出部１１１は、カメラ１０から画像を取得する。具体的には、白線検出部１１１は、カメラ１０によって撮像された車両前方の画像を当該カメラ１０から取得する。そして、ステップＳ３５に処理を進める。

ステップＳ３５において、白線検出部１１１は、白線を検出する。具体的には、白線検出部１１１は、上記ステップＳ３４で取得した画像（車両前方の走行路面の画像）について、エッジ点を抽出する処理を施すことにより、右側白線ＬＬと左側白線ＬＲとを検出する（図４参照）。そして、白線検出部１１１は、次のステップＳ３６へ処理を進める。

ステップＳ３６において、白線検出部１１１は、上記ステップＳ３５で白線が検出できたか否かを判断する。そして、白線検出部１１１は、白線が検出できた場合（ＹＥＳ）、次のステップＳ３７に処理を進める。一方、画像からエッジ点が抽出できなかった場合（ＮＯ）、白線検出部１１１は、ステップＳ４０に処理を進める。

ステップＳ３７において、車両位置算出部１１２は、白線検出部１１１が検出した白線に基づいて車両位置情報を算出する。以下、図５および図６を用いて、車両位置算出部１１２が行う、車両位置情報の算出の処理の方法について説明する。図５は、ステップＳ３７における車両位置情報を算出する動作の一例を示すフローチャートであり、図６は、車両の走行路面の図である。

図５のステップＳ５１において、車両位置算出部１１２は、白線検出部１１１が検出した右側白線ＬＲと左側白線ＬＬとから車線幅Ｗを求め、当該車線幅Ｗから上記車両が走行するときの目標軌道となる、仮想的な中央線ＬＣを設定する（図６参照）。

次に、ステップＳ５２において、車両位置算出部１１２は、上記ステップＳ５１で設定した中央線ＬＣと上記車両とのズレ幅Ｄを算出する。この処理の一例として、図６に示すように、車両位置算出部１１２は、上記車両の重心Ｇから横に線を引いたときに中央線ＬＣと交わる点Ｐを求める。さらに、車両位置算出部１１２は、上記重心Ｇから上記点Ｐまでの距離を横方向のズレ幅Ｄとして算出し、当該算出値（横方向のズレ幅Ｄ）を車両制御ＥＣＵ３に出力する。そして、車両位置算出部１１２は、次のステップＳ５３に処理を進める。

ステップＳ５３において、車両位置算出部１１２は、上記重心Ｇから上記車両の進行方向に引いた線と上記点Ｐでの接線とがなす角θ（以下、ヨー角θと称す）、すなわち、中央線ＬＣに対する上記車両の向きを算出する。そして、車両位置算出部１１２は、算出値（ヨー角θ）を車両制御ＥＣＵ３に出力し、次のステップＳ５４に処理を進める。

ステップＳ５４において、車両位置算出部１１２は、中央線ＬＣのカーブ半径Ｒを算出する。ここで、車両位置算出部１１２が行う処理の一例を示すと、車両位置算出部１１２は、上記車両が現在走行している道路の中央線ＬＣと少しだけ過去に走行していた道路の中央線ＬＣとに基づいて、当該中央線ＣＬを円弧として近似し、当該円弧の半径を求めることによってカーブ半径Ｒを算出する。そして、車両位置算出部１１２は、算出値（カーブ半径Ｒ）を車両制御ＥＣＵ３に出力し、図５に示したフローチャートの処理を終了する。

図４の説明に戻って、ステップＳ３８において、車両制御ＥＣＵ３は、レーンキープＥＣＵ１１から出力された情報を用い、上記車両に搭載されている各種装置の動作を制御して、例えば、上記車両が車線内を走行するように運転支援を行う。具体的には、車両制御ＥＣＵ３が行う動作は、レーンキープＥＣＵ１１から出力された情報に基づいて、上記車両が車線から逸脱する可能性があると判断した場合、上記車両に搭載されている表示・警報装置４を作動させドライバーに注意喚起を促す。また、車両制御ＥＣＵ３は、レーンキープＥＣＵ１１から出力された情報に基づいて、上記車両が車線中央付近を走行するように、上記車両に搭載されたパワーステアリング装置を作動させ、ドライバーのハンドル操作の支援などを行う。そして、車両制御ＥＣＵ３は、次のステップＳ３９に処理を進める。

ステップＳ３９において、車両制御ＥＣＵ３は、上記車両の車両情報を取得して、運転支援を継続する否かを判断する。そして、車両制御ＥＣＵ３は、取得した車両情報に基づいて、運転支援を継続するか否かを判断する。そして、車両制御ＥＣＵ３は、判断を肯定した場合（ＹＥＳ）、ステップＳ３１に処理を戻す。一方、判断を否定した場合（ＮＯ）、ステップＳ４０に処理を進める。なお、当該ステップでの判断が否定される場合とは、例えば、上記車両の車速が予め定められた車速以下の場合や、走行路面の白線が認識できなった場合などが考えられる。また、車両制御ＥＣＵ３は、例えば、上記車両のドライバーが当該車両に備わったスイッチ（運転支援を実行または停止させるためのスイッチ）などを押すことによって得られる情報により、運転支援を継続するか（継続することができるか）否かを判断してもよい。つまり、レーンキープＥＣＵ１１は、上記車両情報から得られる情報を総合的に判断して運転支援を継続できるか否かを総合的に判断すればよい。

ステップＳ４０において、車両制御ＥＣＵ３は、ドライバモニタＥＣＵ２１からドライバーの顔に関する情報を取得する。上述したように、車両制御ＥＣＵ３は、ドライバーの状態に応じて、上記運転支援がキャンセルされたことを喚起することが必要か否かを判断し、当該ドライバーに対して上記運転支援がキャンセルされたことを強く主張するか必要があると判断した場合、通常キャンセル音とは異なる通知を行う。このため、本実施形態に係る運転支援システムの車両制御ＥＣＵ３は、ドライバーの状態を判断するために顔画像認識装置２からドライバーの顔の状態（具体的には、閉眼時間、閉眼時刻など）を取得する。ここで、顔画像認識装置２のドライバモニタＥＣＵ２１が、ドライバーの目の閉眼時間、閉眼時刻を算出する動作について説明する。

図７は、顔画像認識装置２のドライバモニタＥＣＵ２１において行われる処理の一例の前半を示したフローチャートであり、図８は、ドライバモニタＥＣＵ２１において行われる処理の一例の後半を示したフローチャートである。なお、図７に示したフローチャートに示される処理は、ドライバモニタＥＣＵ２１内に備わった顔向き検出部２１１、閉眼検出部２１２がそれぞれ所定のプログラムを実行することにより行われる。また、図７に示すフローチャートに示す処理は、運転支援システムの電源がＯＮ（例えば、運転支援システムが搭載された車両のイグニッションスイッチがＯＮ）されることによって開始され、ＯＦＦされることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。

ステップＳ７１において、ドライバモニタＥＣＵ２１は、ＩＧがＯＮであるか否かを判断する。そして、ＩＧがＯＮであると判断した場合（ＹＥＳ）、次のステップＳ７２に処理を進める。一方、ドライバモニタは、ＩＧがＯＮではない、つまりＩＧがＯＦＦであると判断した場合（ＮＯ）、当該フローチャートでの処理を終了する。

ステップＳ７２において、顔向き検出部２１１は、カメラ２０から画像を取得する。具体的には、顔向き検出部２１１は、車両のステアリングコラム上に設置されたカメラ２０によって撮像されたドライバーの顔画像を当該カメラ２０から取得する。そして、ステップＳ７３に処理を進める。

ステップＳ７３において、顔向き検出部２１１は、上記ステップＳ７２取得した画像に対してソーベルフィルタ処理を行うことによってエッジ点を抽出し、所定方向にソーベルフィルタ処理を施す。そして、顔向き検出部２１１は、ソーベルフィルタ処理後のソーベル処理画像内における輝度差を用いて、当該ソーベル処理画像内から所定方向のエッジ点を抽出する処理を行い、次のステップＳ７４に処理を進める。

ステップＳ７４において、顔向き検出部２１１は、顔の幅を算出する。具体的には、顔向き検出部２１１は、上記ステップＳ７３でのソーベル処理画像内から抽出した所定方向のエッジ点を用いて、当該ソーベル処理画像内におけるドライバーの顔の幅を算出する処理を行う。より具体的には、顔向き検出部２１１は、抽出された所定方向のエッジ点に対するヒストグラム（エッジヒストグラム）を生成し、顔の左右両端の長い輪郭を検出することによってドライバーの顔右端および顔左端を抽出する。そして、顔向き検出部２１１は、抽出された顔右端の位置から顔左端の位置を減算した長さを、ドライバーの顔幅として算出する。そして、顔向き検出部２１１は、算出されたドライバーの顔の幅の情報を閉眼検出部２１２に出力し、次のステップＳ７５に処理を進める。

なお、顔向き検出部２１１は、これまでのステップでの処理で、顔幅が検出できなかった場合（例えば、画像から所定方向のエッジ点が抽出できなかったり、ドライバーの顔右端および顔左端が抽出できなかったりした場合）、上記ステップＳ７１に戻って再びカメラ画像を取得してもかまわない。また、カメラ２０の撮像エリアにドライバーの顔がない場合においても、顔向き検出部２１１は顔幅を算出することができない。すなわちドライバーが横を向いていたり、わき見運転をしていたりする場合、ドライバーの顔の幅の情報が算出できないことがある。この場合、顔向き検出部２１１は、車両制御ＥＣＵ３に対して警報を発するよう指示してもよい。

ステップＳ７５において、閉眼検出部２１２は、上記ステップＳ７２で取得した画像からドライバーの鼻孔を探す。例えば、閉眼検出部２１２は、顔向き検出部２１１から取得した顔幅を示すデータと、顔画像パターン格納部２１３に格納されている顔画像パターンとを用いて、上記撮像画像において鼻孔が存在していると予想される範囲、すなわち鼻孔検索範囲を設定する。次いで、閉眼検出部２１２は、設定した鼻孔検索範囲内の撮像画像から輝度が相対的に低い画素を検出し、それら低輝度画素群の円らしさを算出する。そして、閉眼検出部２１２は、円らしさが最も高い（円に近い）点群をドライバーの鼻孔とし、ステップＳ７６に処理を進める。

ステップＳ７６において、閉眼検出部２１２は、鼻孔を探すことができたか否かを判断する。そして、閉眼検出部２１２は、鼻孔を探すことができた（例えば、口のテンプレート画像との一致度が予め定められた閾値以上）場合（ＹＥＳ）、次のステップＳ７９に処理を進める。一方、閉眼検出部２１２は、鼻孔を探すことができなかった場合（ＮＯ）、ステップＳ７７に処理を進める。

ステップＳ７７において、閉眼検出部２１２は、上記ステップＳ７２で取得した画像からドライバーの口を探す。例えば、閉眼検出部２１２は、顔向き検出部２１１から取得した顔幅を示すデータと、顔画像パターン格納部２１３に格納されている顔画像パターンとを用いて、上記撮像画像において口が存在していると予想される範囲、すなわち口検索範囲を設定する。次いで、顔画像パターン格納部２１３は、設定した口検索範囲内の撮像画像に対してエッジラインを抽出する画像処理を実施する。そして、閉眼検出部２１２は、顔画像パターン格納部２１３に記憶されている口のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出し、次のステップＳ７８に処理を進める。

ステップＳ７８において、閉眼検出部２１２は、口を探すことができたか否かを判断する。閉眼検出部２１２は、口を探すことができた（例えば、口のテンプレート画像との一致度が予め定められた閾値以上）場合（ＹＥＳ）、ステップＳ７９に処理を進める。一方、は、閉眼検出部２１２は、口を探すことができなかった場合、上記ステップＳ７２に戻って処理を繰り返す。

ステップＳ７９において、閉眼検出部２１２は、上記ステップＳ７２で取得した撮像画像からドライバーの目を特定して、ステップＳ８０へ処理を進める。例えば、上記ステップＳ７５またはステップＳ７７で検出したドライバーの鼻孔または口の位置を基準として、上記撮像画像における目の位置を推定する。そして、閉眼検出部２１２は、推定された目の位置における撮像画像に対して、エッジラインを抽出する画像処理を行う。さらに、閉眼検出部２１２は、顔画像パターン格納部２１３に記憶されている目のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。

ステップＳ８０において、閉眼検出部２１２は、目を特定できたか否かを判断する。そして、閉眼検出部２１２は、目を特定ができた（例えば、目のテンプレート画像との一致度が予め定められた閾値以上）場合、次のステップＳ８１に処理を進める。一方、閉眼検出部２１２は、目が特定できなかった場合、上記ステップＳ７２に戻って処理を繰り返す。

ステップＳ８１において、閉眼検出部２１２は、上瞼を検出する。具体的には、閉眼検出部２１２は、上記ステップＳ７９で推定した目の位置においてエッジラインを抽出する処理を行い、眼画像を抽出する。そして、閉眼検出部２１２は、抽出した眼画像にからパターンマッチングなどにより上瞼を検出し、次のステップＳ８２に処理を進める。

ステップＳ８２において、閉眼検出部２１２は、下瞼を検出する。具体的には、閉眼検出部２１２は、上記ステップＳ７９で推定した目の位置においてエッジラインを抽出する処理を行い、眼画像を抽出する。そして、閉眼検出部２１２は、抽出した眼画像にからパターンマッチングなどにより下瞼を検出し、図８のステップＳ８３に処理を進める。

図８のフローチャートの説明に進んで、ステップＳ８３において、閉眼検出部２１２は、上記ステップＳ８１およびステップＳ８２で検出された上瞼と下瞼とについて、当該上瞼と下瞼との距離を算出し、上瞼と下瞼との距離は閾値Ｌ以上であるか否かを判断する。そして、閉眼検出部２１２は、上瞼と下瞼との距離が閾値Ｌ以上であった場合（ＹＥＳ）、ステップＳ９０に処理を進める。一方、閉眼検出部２１２は、上瞼と下瞼との距離が閾値Ｌ以上ではなかった場合（ＮＯ）、ステップＳ８４に処理を進める。

なお、カメラが撮像した画像からドライバーの目の開度（上瞼と下瞼との距離）を算出する手法は一例であり、上述した例に限らず既知の手法を用いても構わない。

ステップＳ８４において、閉眼検出部２１２は、開眼フラグがＯＮになっているのか否かを判断する。ここで、開眼フラグとは、ドライバーの目が開眼している状態（具体的には、上瞼と下瞼との距離が閾値Ｌ以上である場合）でＯＮに設定され、ドライバーの目が閉眼している状態（具体的には、上瞼と下瞼との距離が閾値Ｌ未満である場合）でＯＦＦに設定され、ドライバモニタＥＣＵ２１内に備わったメモリに記憶される。そして、閉眼検出部２１２は、開眼フラグがＯＮの場合（ＹＥＳ）、ステップＳ８６に処理を進める。一方、閉眼検出部２１２は、開眼フラグがＯＦＦの場合（ＮＯ）、ステップＳ８５に処理を進め、開眼フラグをＯＦＦに設定してメモリの開眼フラグを更新（ステップＳ８５）した後、ステップＳ８６に処理を進める。

ステップＳ８６において、閉眼検出部２１２は、閉眼時間を加算する処理を行い、ステップＳ８７に処理を進める。ここで、閉眼時間とは、ドライバーが閉眼（上瞼と下瞼との距離が閾値Ｌ未満）してから開眼（上瞼と下瞼との距離が閾値Ｌ以上）するまでの時間であり、ドライバモニタＥＣＵ２１内のメモリに現時点までの閉眼時間が記憶される。上記ステップＳ８６においては、現時点に記憶されている閉眼時間に処理周期を加算して新たな閉眼時間を算出し、そして新たな閉眼時間を用いることによって、記憶されている閉眼時間を更新する。

ステップＳ８７において、閉眼検出部２１２は、ドライバモニタＥＣＵ２１内のメモリに記憶されている閉眼時間がＴ１以上であるか否かを判断する。つまり、当該ステップでの処理では、閉眼検出部２１２は、ドライバーの目が閉じた状態が時間Ｔ１以上であるかを判断している。そして、閉眼検出部２１２は、閉眼時間が時間Ｔ１以上である場合（ＹＥＳ）、次のステップＳ８８に処理を進める。なお、後述より明らかとなるが、閉眼時間Ｔ１以上になることで、車両制御ＥＣＵ３は、ドライバーは何らかの原因（例えば、微睡み、居眠りなど）で目を閉じていると判断されることとなる。一方、閉眼検出部２１２は、閉眼時間が時間Ｔ１未満である場合、ステップＳ９２に処理を進める。

ステップＳ８８において、閉眼検出部２１２は、現時点の閉眼状態に対する閉眼時刻が記録済みか否かを判断する。閉眼検出部２１２は、現時点の閉眼状態に対する閉眼時刻が記録されていない場合（ＮＯ）、現在時刻を用いて現時点の閉眼状態に対する閉眼時刻を時系列順にドライバモニタＥＣＵ２１内のメモリに記述し（ステップＳ８９）、ステップＳ９２に処理を進める。一方、閉眼検出部２１２は、現時点の閉眼状態に対する閉眼時刻が既に記録されている場合（ＹＥＳ）、ステップＳ９２に処理を進める。

また、上記ステップＳ８３において、閉眼検出部２１２が、上瞼と下瞼との距離は閾値Ｌ以上であると判断した場合（ＹＥＳ）、次のステップＳ９０において、開眼フラグをＯＮに設定してドライバモニタＥＣＵ２１内のメモリの開眼フラグを更新する。そして、次のステップＳ９１において、ドライバモニタＥＣＵ２１内のメモリに記録されている閉眼時間を０に初期化し、ステップＳ９２に処理を進める。

ステップＳ９２において、閉眼検出部２１２は、処理結果（閉眼時間、閉眼時刻など）を車両制御ＥＣＵ３に出力し、ステップＳ７１に処理を戻す。

以上説明したように、ドライバモニタＥＣＵ２１は、ドライバーの目の閉眼状態（上瞼と下瞼との距離が閾値Ｌ未満の状態）が時間Ｔ１以上の長さまで継続した場合の閉眼時刻を記録することができる。

図７の説明に戻って、ステップＳ４１において、車両制御ＥＣＵ３は、上記ステップＳ４０でドライバモニタＥＣＵ２１から取得したドライバーの目に関する情報に基づいて、キャンセル警告が必要であるか否か、つまり、上記運転支援がキャンセルされたことをドライバーに対して強く喚起する必要があるか否かを判断する。ここで、図９を用いて、当該ステップでの判断について具体的に説明する。

図９は、閉眼時間と各種警告との関係を示した図である。図９において、縦軸に閉眼状態と開眼状態、横軸に経過時間として表した図である。

図９の開眼状態とは開眼フラグがＯＮに設定されている状態であり、閉眼状態とは開眼フラグがＯＦＦに設定されている状態である。そして、閉眼状態（開眼フラグがＯＦＦ）になったときから時間がカウントされる。なお、このとき、閉眼時間が時間Ｔ１以上であった場合に閉眼時間の記録が開始される（図８のステップＳ８７〜ステップＳ８９）。これによって、例えば、時間Ｔ１を普段人間が無意識に行う周期性瞬きによって一時的に閉眼状態になる時間として設定すれば、通常の瞬きをドライバーが閉眼状態であると判定することを避けることができる。

図９に示すプリクラッシュ事前警告判定時間とは、プリクラッシュ制御を行う前にドライバーの状態を判断して、事前に警告等を行う基準となる判定時間である。具体的には、プリクラッシュ事前警告判定時間とは、車両に備わったレーダー等により車両前方の障害物を検知する装置において、ドライバーが閉眼状態（より具体的には、ドライバーが目を閉じている時間が通常より長い状態）であり、かつ、上記障害物との衝突の可能性が高いと判断した場合に、早いタイミングでドライバーに警報等で注意喚起を行うために設定される判定時間である。つまり、上記障害物との衝突の可能性が高い状況になり、プリクラッシュ制御が行われる前のタイミングでドライバーに対して注意喚起が行われ、障害物との衝突被害低減が図られる。

また、図９に示す閉眼警告判定時間とは、具体的には、一定時間継続してドライバーの目が閉眼状態になり当該ドライバーが居眠りしている可能性が高いと推定するための基準となる判定時間である。そして、閉眼警告判定時間を超えると、車両制御ＥＣＵ３は、現時点でのドライバーの状態は「ドライバーは居眠りをしている可能性が高い（目を閉じている）」と判断し、上記車両に搭載された各種装置を制御して、警報等によりドライバーの覚醒を促す。

ここで、運転支援がキャンセルされたことをドライバーに対して強く喚起する必要があるか否かの基準となる判定時間を、判定時間Ｔとする。なお、判定時間Ｔは、図９に示すように、プリクラッシュ事前警告判定時間より短い時間に設定される。つまり、継続してドライバーが閉眼状態である時間が判定時間Ｔ以上であり、プリクラッシュ事前警告判定時間未満であった場合に、上記運転支援が解除されるとキャンセル警告を発することになる。これによって、例えば、ドライバーの意識レベルは通常よりは低下している状態（つまり、居眠りや眠気を感じていると判断される手前）でキャンセル警告音を鳴動ことができ、ドライバーの意識レベルを通常に戻し（覚醒させ）、運転に集中させることができる。

このように判定時間Ｔが設定されることによって、ドライバーの意識レベルが通常より低下している状態で上記運転支援がキャンセルされた場合に、上記キャンセル警告を行うことができる。つまり、上記キャンセル警告が行われる場合、プリクラッシュ事前警告や閉眼警告より早いタイミングで行われることになる。なお、プリクラッシュ制御を行わない場合においては、上記判定時間Ｔは、閉眼警告判定時間よりも短い時間で設定されればよい。

図７の説明に戻って、ステップＳ４１において、車両制御ＥＣＵ３は、運転支援がキャンセルされたことをドライバーに対して強く喚起（キャンセル警告）する必要があるか否かを判断する。つまり、車両制御ＥＣＵ３は、ドライバーの閉眼状態が判定時間Ｔを超えているか否かを判断する。

ここで、当該ステップでの具体的な処理の一例を説明する。車両制御ＥＣＵ３は、上記ステップＳ４０でドライバモニタＥＣＵ２１から取得した目に関する情報（具体的には、閉眼時刻）を参照する。そして、車両制御ＥＣＵ３は、上記ステップＳ４０で取得した閉眼時刻から当該ステップＳ４１での判断処理を行うまでの時間を算出し、当該算出された時間が判定時間Ｔ以上であるか否かを判断する。その結果、車両制御ＥＣＵ３が判断を肯定した場合（ＹＥＳ）、ステップＳ４２に処理を進める。一方、その結果、車両制御ＥＣＵ３が判断を否定した場合（ＮＯ）、ステップＳ４３に処理を進める。

ステップＳ４２において、車両制御ＥＣＵ３は、表示・警報装置４を制御して、キャンセル警告音を鳴動させる。一方、ステップＳ４３において、車両制御ＥＣＵ３は、表示・警報装置４を制御して、通常キャンセル音を鳴動させる。なお、上記キャンセル警告音は、ドライバーが上記通常キャンセル音に比べてドライバーが気付きやすい音にすればよい。

ここで、上記運転支援が解除されたとき、上記運転者に対して行う通知（音）について具体的に説明する。上述したように、本実施形態に係る運転支援システムは、運転支援がキャンセルされたことを喚起することが必要か否かを判断し、当該ドライバーに対して上記運転支援がキャンセルされたことを喚起するか必要があると判断した場合、通常キャンセル音とは異なる通知を行う。例えば、音の特性を、音の大きさ、音の長さ、音の間隔、音程と考える。このように考えた場合、例えば、キャンセル警告音は、通常キャンセル音に比べて短い間隔で鳴動すれば、ドライバーは「通常のキャンセル音とは違う」と感じ、音に注意が向くようになる。

また、キャンセル警告音は、通常キャンセル音に比べて長い期間鳴動すれば（例えば、通常キャンセル音が「ピピッ」と鳴る場合、キャンセル警告音を「ピピピピ…」とする）、ドライバーは「通常のキャンセル音より長く鳴っている」と感じ、音に注意が向くようになる。同様に、音の大きさや音の音程を変えることによっても、ドライバーは音に対して注意が向くようになる。つまり、音の大きさの違い、音の長さの違い、音の音間隔の違い、音程の違いの１つまたは複数の組み合わせを利用して、キャンセル警告音とすればよい。

また、上述した例では、上記運転支援がキャンセルされるとき、ドライバーの目が閉眼状態（判定時間Ｔ以上）であれば、通常キャンセル音からキャンセル警告音に変える形態を説明したが、別の例ではこれに限られるものではない。例えば、車両制御ＥＣＵ３は、上記運転支援がキャンセルされ、ドライバーの目が閉眼状態（判定時間Ｔ以上）であるときのみキャンセル警告音を鳴動してもよい。このような場合、ドライバーは、「通常は鳴ることのない音が鳴った」と感じ、音に対して注意が向くようになる。

以上説明したように、本実施形態に係る運転支援システムによれば、上記運転支援がキャンセルされるときの音が通常とは異なるので、ドライバーは音の気付きやすくなる。したがって、ドライバーの意識レベルが低い状態においても、上記運転支援が解除されたことを知ることができ、より心がけて車線内走行をしなければならいと意識付けを行うことができる。

上記の実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって本願の効果を奏する範囲において、任意の構成を採用することが可能である。

本発明にかかる運転支援システムは、運転支援が解除されたときに、運転者の状態に応じて当該運転者に対して行う通知を変化させることができ、走行中の車両が走行範囲内から逸脱することを防止するための運転支援システム等に有用である。

一実施形態に係る運転支援システムの構成の一例を示したブロック図 一実施形態に係る運転支援システムが搭載された車内の様子を示す図 運転支援システムにおいて行われる処理の流れの一例を示したフローチャート カメラ１０によって撮影された車両前方の図 ステップＳ３７における車両位置情報を算出する動作の一例を示すフローチャート 車両の走行路面の図 ドライバモニタＥＣＵ２１において行われる処理の一例を示したフローチャート（前半） ドライバモニタＥＣＵ２１において行われる処理の一例を示したフローチャート（後半） 閉眼時間と各種警告との関係を示した図

符号の説明

１…白線認識装置
１０…カメラ
１１…レーンキープＥＣＵ
１１１…白線検出部
１１２…車両位置算出部
２…顔画像認識装置
２０…カメラ
２１…ドライバモニタＥＣＵ
２１１…顔向き検出部
２１２…閉眼検出部
２１３…顔画像パターン格納部
３…車両制御ＥＣＵ
４…表示・警報装置
５…バックミラー
６…フロントウィンドウ

Claims (9)

1. 車両前方の走行路面の区画線に基づいて当該車両を制御して運転支援する運転支援システムであって、
   前記車両の運転席に着席した運転者の顔を撮像する顔画像撮像手段と、
   前記顔画像取得手段が撮像した画像を用いて、前記運転者の目の状態を示す情報を生成する画像処理手段と、
   前記目の状態を示す情報に基づいて前記運転者が開眼状態か閉眼状態かを判定する運転者状態判定手段と、
   前記車両が予め定められた解除条件を満たす場合に前記運転支援を解除する運転支援解除手段と、
   前記運転支援解除手段からの指示に応じて前記運転支援が解除された旨を前記運転者に対して通知する通知手段とを備え、
   前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記通知手段に前記開眼状態とは異なる通知を行わせる、運転支援システム。
2. 前記通知手段は、前記車両に設けられた音響機器を作動させることで警告音を鳴動する警告音発生手段を含み、
   前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記警告音発生手段によって警告音を鳴動させ、
   前記運転支援解除手段は、前記運転者が前記開眼状態で前記運転支援を解除する場合、前記警告音発生手段とは異なる前記通知手段によって前記運転支援を解除する通知を行わせる、請求項１に記載の運転支援システム。
3. 前記通知手段は、前記車両に設けられた音響機器を作動させることで鳴動する警告音を用いて、前記運転者に対して前記運転支援が解除された旨を通知し、
   前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記通知手段に前記開眼状態とは異なる警告音を鳴動させる、請求項１に記載の運転支援システム。
4. 前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記開眼状態で警告音が鳴動する音間隔より短い音間隔で警告音を鳴動させる、請求項３に記載の運転支援システム。
5. 前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記開眼状態で警告音が鳴動する期間より長い期間に警告音を鳴動させる、請求項３または４に記載の運転支援システム。
6. 前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記開眼状態で鳴動させる警告音より音量の大きな警告音を鳴動させる、請求項３に記載の運転支援システム。
7. 前記運転支援解除手段は、前記運転者が前記閉眼状態で前記運転支援を解除する場合、前記開眼状態で鳴動させる警告音より音程が高い警告音を鳴動させる、請求項３に記載の運転支援システム。
8. 前記通知手段は、前記車両に設けられた表示灯を点灯させることで前記運転者に対して前記運転支援が解除された旨を通知する表示灯点灯手段を、さらに含み、
   前記運転支援解除手段は、前記運転者の状態に関わらず前記運転支援を解除する場合、前記表示灯点灯手段によって前記運転支援を解除する通知を行わせる、請求項２または３に記載の運転支援システム。
9. 前記画像処理手段は、前記画像を用いて前記運転者の上瞼と下瞼とを検出し、当該上瞼と下瞼との間隔が予め定められた間隔以下となった継続時間を閉眼時間として算出し、当該閉眼時間を前記目の状態を示す情報として生成し、
   前記運転者状態判定手段は、前記閉眼時間が予め定められた閾値以上である場合に、前記運転者が閉眼状態であると判定する、請求項１に記載の運転支援システム。

Images