JP2021017112A - 運転支援装置 - Google Patents

Abstract

【課題】ドライバに運転に対する関心を持たせることが可能な運転支援装置を提供する。【解決手段】ドライバがステアリングの手放しをした状態でのハンズオフ走行が可能な車両の運転支援装置（制御部１００）であって、ドライバの状態を表すセンサ情報に基づいて、ハンズオフ走行中にドライバが車両の周辺監視に不適切な状態となっているか否かを判定する状態判定部１２と、ドライバが周辺監視に不適切な状態と判定された場合に、通知部を介してドライバに警告する警告制御部１４と、ステアリングを把持する要求を、通知部を介してドライバに通知する通知制御部１６と、を有する。【選択図】図２

Description

本発明は、運転者の運転を支援する運転支援装置に関する。

自動運転と手動運転とを切り替え可能な自動運転システムにおいて、運転者における脇見、覚醒度の低下、漫然度の上昇等を運転者検出信号として検出し、運転者検出信号に基づき、運転者の覚醒度、漫然度、運転姿勢情報等を判定する技術が提案されている（例えば、特許文献１を参照）。

特開２０１７−１５９８８５号公報

上記特許文献１には、ドライバの覚醒度及び漫然度等に応じて、自動運転機能からドライバへ運転操作を引き渡すことについての情報提示を行うことが記載されている。

しかしながら、自動運転中には、車両のドライバの意識が運転から離れてしまうため、ドライバの覚醒度、漫然度、運転姿勢等に応じて、ドライバに単に警告するのみでは、ドライバが運転に対して十分な関心を持たないという問題がある。

そこで、本発明は、ドライバに運転に対する関心を持たせることが可能な運転支援装置を提供することを目的とする。

一つの実施形態によれば、運転支援装置が提供される。この運転支援装置は、ドライバがステアリングの手放しをした状態でのハンズオフ走行が可能な車両の運転支援装置であって、前記ドライバの状態を表すセンサ情報に基づいて、前記ハンズオフ走行中に前記ドライバが前記車両の周辺監視に不適切な状態となっているか否かを判定する状態判定部と、前記ドライバが前記周辺監視に不適切な状態と判定された場合に、通知部を介して前記ドライバに警告する警告制御部と、前記ステアリングを把持する要求を、前記通知部を介して前記ドライバに通知する通知制御部と、を有する。

この運転支援装置において、前記通知制御部は、前記警告が解除された以降に前記要求を前記ドライバに通知することが好ましい。

また、この運転支援装置において、前記通知制御部は、前記警告の解除と同時に前記要求を前記ドライバに通知することが好ましい。

また、この運転支援装置において、前記通知制御部は、前記通知を開始してから一定期間継続して前記ドライバが前記ステアリングを把持した状態を保つと前記通知を解除することが好ましい。

また、この運転支援装置において、前記状態判定部は、前記通知を開始した以降についても、前記ドライバが前記周辺監視に不適切な状態となっているか否かを判定し、前記通知制御部は、前記通知を開始してから一定期間継続して前記ドライバが前記周辺監視に適した状態を保ち、且つ前記一定期間継続して前記ドライバが前記ステアリングを把持した状態を保つと前記通知を解除することが好ましい。

また、この運転支援装置において、前記通知制御部は、前記通知を開始してから一定期間経過すると前記通知を解除することが好ましい。

また、この運転支援装置において、前記通知制御部は、所定時間経過後に自動運転制御から手動運転制御に切り替わることが通知され、且つ前記ドライバが前記周辺監視に不適切な状態と判定された場合は、前記警告よりも以前に前記通知を行い、前記警告制御部は、前記通知が解除された後に前記警告を行うことが好ましい。

本発明に係る運転支援装置は、ドライバに運転に対する関心を持たせることができるという効果を奏する。

一つの実施形態による運転支援装置の概略構成図である。 制御部のプロセッサの機能ブロックを示す模式図である。 運転支援に関する処理の流れを示すフローチャートである。 ドライバが一定時間以上の間、操作部を保持していることと、ドライバが運転操作に適した状態であること、の双方が一定時間以上継続した場合に、接触要求を解除する処理を示すフローチャートである。 接触要求を行った後、ドライバが操作部を保持しているか否かに関わらず一定時間の間通知を行い、その後に接触要求を解除する処理を示すフローチャートである。 ドライバの運転への関与度を高めることに緊急性を要する場合は、接触要求を警告よりも先に行う処理を示すフローチャートである。 ドライバが運転操作に不適切な状態となっているかどうかを判定する処理の例を示すフローチャートである。 図７のステップＳ３０２において、映像中に顔らしいものがあるか否かを判定する手法を示す模式図である。 図７のステップＳ３０３、ステップＳ３０４において、顔特徴点間の距離から顔向き角度を算出する手法を示す模式図である。 顔向き角度の定義を示す模式図である。

以下、図を参照しつつ、運転支援システム４０について説明する。この運転支援システム４０は、例えば、ドライバがステアリングの手放しをした状態での走行（ハンズオフ走行）が可能な車両に搭載される。このような走行として、例えば、米国自動車技術会（ＳＡＥ）が定めるレベル２またはレベル３程度の走行を想定する。

車両走行中に、ドライバが車両を運転するのに不適切な状態となる場合がある。このような不適切な状態として、例えば、ドライバが居眠りをしている状態、ドライバが前方を注視せずに脇見をしている状態などが挙げられる。

ドライバが車両を運転するのに不適切な状態となっている場合において、ただ単にドライバに警告しても、ドライバが運転に対して十分に関心を持たないことがある。特に、車両自身がある程度自律的に運転を制御する場合、ドライバの意識が運転から離れてしまうため、警告をしたとしても、ドライバが運転に対して十分に関心を持たない場合がある。その結果として、ドライバ自身が運転に関与することが必要な場合に、ドライバが運転操作を行わないことで、事故を防止しきれないことがある。

本実施形態の運転支援システム４０は、ドライバがハンズオフ走行をしている際に、ドライバの居眠り、脇見などの不安全行動に対して、ドライバの運転への関与度を高めるものである。

図１は、一つの実施形態による運転支援システム４０の概略構成図である。運転支援システム４０は、ドライバモニタカメラ１、タッチセンサ２、スピーカ３、ＧＵＩ（Graphical User Interface）４、操作部５、ステアリングトルクセンサ６、制御部（Electronic Control Unit (ECU)）１００、を有する。ドライバモニタカメラ１、タッチセンサ２、スピーカ３、ＧＵＩ４、操作部５、ステアリングトルクセンサ６、制御部１００のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して通信可能に接続される。

ドライバモニタカメラ１は、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１は、車両内部のダッシュボード、またはフロントガラスの近辺等に設けられ、ドライバの顔を撮影する。ドライバモニタカメラ１は、所定の撮影周期（例えば１／３０秒〜１／１０秒）ごとにドライバを撮影し、ドライバが写った画像を生成する。なお、ドライバモニタカメラ１により得られた画像は、カラー画像であることが好ましい。ドライバモニタカメラ１は、画像を生成する度に、その生成した画像を、車内ネットワークを介して制御部１００へ出力する。

タッチセンサ２は、静電容量式、感圧式等のセンサから構成され、操作部５に設けられている。タッチセンサ２は、ドライバが操作部５を触れているか否かを検出する。操作部５は、ドライバにより操作される、ステアリング、アクセルペダル、ブレーキペダル、シフトレバー等の構成要素である。操作部５がステアリングの場合、タッチセンサ２は、ドライバがステアリングを把持しているか否かを検出する。

同様に、操作部５がアクセルペダル、またはブレーキペダルの場合、タッチセンサ２は、ドライバの足がアクセルペダル、またはブレーキペダルに触れているか否かを検出する。なお、アクセルペダルに連動して動作する電子スロットルを用いている場合は、電子スロットルの開度を示す電気信号に基づいて、ドライバの足がアクセルペダルに触れているか否かを検出してもよい。また、操作部５がブレーキペダルの場合、ブレーキランプがオンとなるオン信号に基づいて、ドライバの足がブレーキペダルに触れていることを検出してもよい。

スピーカ３は、通知部の一例であり、ダッシュボードの近辺等に設けられ、ドライバに対する警告のための音声を出力する。ＧＵＩ４は、通知部の他の一例であり、メーターパネル、またはダッシュボードの近辺等に設けられ、ドライバに対する警告のための表示を出力する。ＧＵＩ４は、例えば液晶表示装置（ＬＣＤ）等から構成される。

ステアリングトルクセンサ６は、ステアリングのトルクを検出するセンサである。ステアリングをドライバが握って操作している場合は、その操作に応じて、ステアリングのトルク（反力）が変化する。従って、ステアリングのトルクの検出値に基づいて、ドライバがステアリングを操作しているか否かを判定することができる。

制御部１００は、運転支援システム４０の全体を制御する構成要素であり、運転支援装置の一態様である。制御部１００は、プロセッサ１０と、メモリ２０と、通信インターフェース３０とを有する。プロセッサ１０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ２０は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。通信インターフェース３０は、通信部の一例であり、制御部１００を車内ネットワークに接続するためのインターフェース回路を有する。

以上のように構成された運転支援システム４０では、ドライバモニタカメラ１から得られるドライバの状態を表す情報に基づいて、ドライバが運転操作に不適切な状態となっているか否かを検知する。そして、ドライバが運転操作に不適切な状態となっていることが検知された場合に、ドライバに対して運転操作に適した状態を取るよう警告する。運転操作に不適切な状態としては、例えば、ドライバの脇見状態、居眠りの状態、離席の状態、姿勢崩れ状態等が挙げられる。換言すれば、ドライバの運転操作に不適切な状態の一態様として、車両の周辺監視に不適切な状態を挙げることができる。

このような警告を行うことで、ドライバが警告に反応して、脇見を止めて車両前方を直視する、居眠りから覚醒する、運転席に戻る、姿勢を正すなど、運転操作に適した状態を取ることが期待される。従って、ドライバに運転操作に適した状態をとらせるためには、警告を行うことである程度の効果が得られる。

一方、単に警告をしただけでは、ドライバが運転操作に適した状態を取らない場合も想定される。特に、上述したレベル２またはレベル３程度のハンズオフ走行が可能な車両に乗車しているドライバは、ハンズオフ走行中に運転から意識が離れてしまうため、単に警告をしただけでは、ドライバが運転操作に適した状態にならない場合がある。また、警告により一時的にドライバが運転操作に適した状態となったとしても、その後、ドライバが運転操作に不適切な状態に戻ってしまうことも想定される。

例えば、ハンズオフ走行中にドライバが居眠りしていた場合に、警告によりドライバが覚醒したとしても、ドライバには車両が自律的に運転している感覚があるため、警告後に再び居眠り状態に戻ってしまう場合がある。同様に、ハンズオフ走行中にドライバが脇見をしていた場合に、警告によりドライバが車両前方を向いたとしても、ドライバには車両が自動で運転している感覚があるため、警告後に再び脇見をしてしまう場合がある。つまり、警告のみでは、ドライバの運転への関与度が依然として低い場合がある。従って、ハンズオフ走行を行う車両において、ドライバを運転操作に適した状態とするためには、警告のみでは不十分である。

このため、本実施形態の運転支援システム４０は、警告を行った後、運転操作を行うための操作部５をドライバが触れることを要求（以下、接触要求とも称する）する。運転操作に適した状態をとることの警告と接触要求とを順に実施することで、運転操作に必要な２種類の準備をドライバに順に行わせることができる。そして、接触要求を受けたドライバが実際に操作部５に触れることで、ドライバが操作部５を操作可能となり、ドライバの運転に対する関与度が高くなる。

従って、単に警告を行った場合と比較すると、ドライバを操作部５に触れさせることで、ドライバの運転への関心をより向上させることができる。そして、この結果として、ドライバ自身が運転に関与することが必要となる場合に、ドライバに対して適切な運転操作を行わせることができる。これにより、ハンズオフ走行時に、運転への関与度が低いドライバに対しても、運転への関与度の向上を達成できる。

接触要求は、警告を行っても運転への関与度が低いドライバに対して運転への関与度を高めるために行われる。このため、原則的には、警告を行った後に接触要求が行われる。接触要求は、警告の解除と同時に行ってもよいし、警告の解除からある程度の時間が経過した後に行ってもよい。

一方、警告と接触要求は、必ずこの順で行わなければならないものではなく、警告と接触要求を同時に行ってもよいし、接触要求を警告よりも先に行ってもよい。但し、警告と接触要求を同時に行った場合、ドライバが双方に対して同時に対応することは比較的難しい場合もあるため、警告と接触要求は時間的にずらして行うことが好ましい。

また、自動運転から手動運転へ切り替わる場合など、ドライバの運転への関与度を高めることに緊急性を要する場合は、接触要求を警告よりも先に行うことが好ましい。例えば、ハンズオフ走行中に車両前方に障害物が存在することが検知された場合において、ドライバが運転に不適切な状態となっている場合は、手動運転へ切り替えることをドライバに通知するとともに、ドライバに接触要求を通知する。また、緊急を要する車線変更時に、ドライバが運転に不適切な状態となっている場合は、手動運転へ切り替えることをドライバに通知するとともに、ドライバに接触要求を通知する。これにより、手動運転に切り替わる際には、先に操作部５に触れされることで、手動運転に切り替わった際にドライバが操作部５に触れておらず運転操作ができないといった事態が生じることを防止できる。従って、自動運転から手動運転への移行を確実に行うことができる。

接触要求は、ドライバが一定時間以上の間、操作部５に触れていた場合に解除される。ドライバが一定時間以上操作部５に触れていれば、ドライバの運転への関与度が十分に高く、接触要求を解除してもドライバは操作部５を操作し続けることが見込まれるためである。

例えば、操作部５がステアリングの場合、ドライバが一定時間以上の間ステアリングを触っていることがタッチセンサ２から検出された場合、接触要求が解除される。また、操作部５がステアリングの場合に、ドライバが一定時間以上の間ステアリングを操作していることがステアリングトルクセンサ６の検出値から検出された場合に、接触要求が解除される。また、ステアリングトルクセンサ６の検出を用いる場合は、一定時間の経過を待つことなく、ドライバのステアリング操作による反力が一度でも検出された場合に接触要求を解除してもよい。

ドライバが一定時間以上の間、操作部５に触れていなければ、接触要求は解除されないため、ドライバを継続的に操作部５に触れさせることができる。従って、ドライバの運転への関与度を確実に高めることができる。

また、ドライバが一定時間以上の間、操作部５に触れていることと、ドライバが運転操作に適した状態であること、の双方が一定時間以上継続した場合に、接触要求を解除してもよい。この場合、ドライバが操作部５に継続的に触れ、且つ運転操作に適した状態を取らないと接触要求が解除されないため、ドライバの運転への関与度をより確実に高めることができる。

また、接触要求の通知を開始した後、ドライバが操作部５に触れているか否かに関わらず一定時間の間は接触要求を継続して行い、一定時間の経過後に接触要求を解除してもよい。この場合、一定時間継続して操作部５にドライバが触れることを要求することで、ドライバが操作部５に意識的に触れることを期待でき、その結果としてドライバの運転への関心を高めることができる。また、接触要求の通知を開始した後は、タッチセンサ２によりドライバが操作部５に触れているか否かを検出する処理が不要となるため、処理を簡素化することができる。

接触要求を行ったにも関わらず、ドライバが一定時間以上の間、操作部５に触れない場合は、ドライバに手放し警告を行う。手放し警告は、例えば大音量のブザーを鳴らすなど、接触要求よりも強度の高い警告として行われる。

図２は、制御部１００のプロセッサ１０の機能ブロックを示す模式図である。制御部１００のプロセッサ１０は、以上のような動作を行うために、状態判定部１２、警告制御部１４、通知制御部１６、接触判定部１８を有している。プロセッサ１０が有するこれらの各部は、例えば、プロセッサ１０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１０の機能ブロックは、プロセッサ１０とこれを機能させるためのプログラム（ソフトウェア）から構成され、そのプログラムは、制御部１００が備えるメモリ２０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１０が有するこれらの各部は、プロセッサ１０に設けられる専用の演算回路であってもよい。

状態判定部１２は、ドライバモニタカメラ１が撮影した車両のドライバの画像情報に基づいて、ドライバが車両の周辺監視に不適切な状態となっているか否かを判定する。警告制御部１４は、状態判定部１２によりドライバが車両の周辺監視に不適切な状態であると判定された場合に、周辺監視に適した状態を取るよう、スピーカ３、ＧＵＩ４を介してドライバに警告するための制御を行う。

通知制御部１６は、操作部５を操作可能なように触れる要求を、スピーカ３、ＧＵＩ４を介してドライバに通知するための制御を行う。接触判定部１８は、ドライバが操作部５に対して一定時間継続して接触したか否かを判定する。

図３は、運転支援に関する処理の流れを示すフローチャートである。図３の処理は、制御部１００のプロセッサ１０により所定の制御周期毎に実行される。先ず、ドライバモニタカメラ１からドライバを撮影した画像情報を取得する（ステップＳ１０１）。次に、状態判定部１２が、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが運転操作に不適切な状態となっているかどうかを判定する（ステップＳ１０２）。具体的に、状態判定部１２は、ドライバモニタカメラ１から得られる画像に基づいて、ドライバが脇見状態、居眠りの状態、離席の状態、姿勢崩れ状態等であるか否かを判定する。

次に、警告制御部１４が、ステップＳ１０２の判定の結果に基づき、ドライバが運転操作に不適切な状態であれば、ドライバに対して運転操作に適した状態をとるように警告をする（ステップＳ１０３）。警告は、スピーカ３からの音声出力、またはＧＵＩ４への表示により行う。例えば、ドライバが脇見状態である場合、警告は、「前方を見なさい！」などの文字をメーターパネルに表示し、また音声で同様の出力をすることによって行われる。また、警告は、スピーカ３からの警告音の出力により行われるものであってもよく、更に、上述した表示、音声、警告音の少なくともいずれか２つの組み合わせにより行われるものであってもよい。また、警告は、ハプティックデバイスによる触覚を介した警告、シートベルトの振動による警告、シートの振動による警告等であってもよい。なお、ステップＳ１０２の判定の結果に基づき、ドライバが運転操作に不適切な状態でなければ処理を終了する。

次に、状態判定部１２が、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが運転操作に適した状態であるか否かを判定する（ステップＳ１０４）。そして、警告制御部１４は、ドライバが運転操作に適した状態であれば警告を解除する（ステップＳ１０５）。一方、ドライバが運転操作に適した状態でない場合は、再度ステップＳ１０４へ遷移し、ステップＳ１０４の処理を繰り返す。

具体的に、ステップＳ１０４において、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが脇見状態、居眠りの状態、離席の状態、または姿勢崩れ状態等ではない場合、警告制御部１４は、ステップＳ１０５で警告を解除する。

次に、通知制御部１６が、ドライバに対し、操作部５に対して操作可能に触れる要求（接触要求）を通知する（ステップＳ１０６）。接触要求の通知は、スピーカ３からの音声出力、またはＧＵＩ４への表示により行われる。接触要求の通知は、例えば「ステアリングを保持してください！」などの通知をメーターパネルに表示し、また音声で同様の通知を発することによって行われる。また、接触要求の通知は、ハプティックデバイスによる触覚を介した通知、シートベルトの振動による通知、シートの振動による通知等であってもよい。

次に、接触判定部１８が、タッチセンサ２の検出信号に基づき、ドライバが操作部５に対して一定時間継続して接触したか否かを判定する（ステップＳ１０７）。そして、ドライバが操作部５に対して一定時間継続して接触した場合、通知制御部１６は、接触要求の通知を解除し（ステップＳ１０８）、処理を終了する。一方、ドライバが操作部５に対して一定時間継続して接触していない場合は、再度ステップＳ１０７へ遷移し、ステップＳ１０７の処理を繰り返す。

以上のように、図３の処理によれば、ドライバが運転操作に不適切な状態であることが判定されると、ドライバに対して警告が行われ、警告を解除した後に接触要求の通知が行われる。そして、接触要求の通知を行った後、一定時間継続してドライバが操作部５に触れている場合は、接触要求の通知が解除される。従って、警告を行っても運転への関与度が低いドライバに対して、運転への関与度を高めることが可能となる。

上述したように、通知制御部１６は、ドライバが一定時間以上の間、操作部５を触れていることと、ドライバが運転操作に適した状態であること、の双方が一定時間以上継続した場合に、接触要求を解除してもよい。図４は、この場合の処理を示すフローチャートである。

図４では、図３のステップＳ１０７の処理の代わりにステップＳ１０９の処理が設けられている。図４の他の処理は、図３と同様である。ステップＳ１０９では、ドライバが操作部５に対して一定時間継続して接触し、かつ、ドライバが一定時間継続して運転操作に適した状態であるか否かを判定する。そして、ドライバが操作部５に対して一定時間継続して接触し、かつ、ドライバが一定時間継続して運転操作に適した状態である場合、通知制御部１６は、接触要求の通知を解除する（ステップＳ１０８）。例えば、運転操作に不適切な状態として、ドライバの脇見状態が検出された場合に、ドライバがステアリングを一定時間継続して保持し、且つドライバが一定時間継続して前方を注視している場合に、接触要求の通知が解除される。

一方、ドライバが操作部５に対して一定時間継続して接触していない場合、または、ドライバが一定時間継続して運転操作に不適切な状態である場合は、再度ステップＳ１０９へ遷移し、ステップＳ１０９の処理を繰り返す。

図４の処理によれば、ドライバが操作部５に対して一定時間継続して接触し、且つ、ドライバが一定時間継続して運転操作に適した状態となるまでの間は、ドライバに接触要求が通知されるため、ドライバの運転への関与度を確実に高めることができる。

また、上述したように、接触要求の通知を開始した後、ドライバが操作部５に触れているか否かに関わらず一定時間の間は接触要求を継続して行い、一定時間の経過後に接触要求を解除してもよい。図５は、この場合の処理を示すフローチャートである。

図５では、図３のステップＳ１０７の処理の代わりにステップＳ２００の処理が設けられている。図５の他の処理は、図３と同様である。ステップＳ２００では、一定時間継続して接触要求の通知を行ったか否かを判定する。そして、一定時間継続して通知を行った場合、通知制御部１６は、接触要求の通知を解除する（ステップＳ１０８）。一方、一定時間継続して通知を行っていない場合は、再度ステップＳ２００へ遷移し、ステップＳ２００の処理を繰り返す。

図５の処理によれば、ドライバが操作部５に触れているか否かに関わらず一定時間の間は接触要求を継続して行い、一定時間の経過後に接触要求を解除するため、ドライバが操作部５に意識的に触れることを期待でき、その結果としてドライバの運転への関心を高めることができる。また、図３と比較すると処理をより簡素に行うことができる。

また、上述したように、自動運転から手動運転へ切り替わる場合など、ドライバの運転への関与度を高めることに緊急性を要する場合は、接触要求を警告よりも先に行うことが好ましい。図６は、この場合の処理を示すフローチャートである。先ず、ハンズオフ走行中に車両前方に障害物が存在することが検知された場合等において、所定時間経過後に手動運転に切り替わることがドライバに通知される（ステップＳ２０１）。

次に、状態判定部１２が、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが運転操作に不適切な状態となっているかどうかを判定する（ステップＳ２０２）。具体的に、状態判定部１２は、ドライバモニタカメラ１から得られる画像に基づいて、ドライバが脇見状態、居眠りの状態、離席の状態、姿勢崩れ状態等であるか否かを判定する。

次に、通知制御部１６が、ドライバに対し、操作部５に対して操作可能に触れる要求（接触要求）を通知する（ステップＳ２０３）。次に、接触判定部１８が、タッチセンサ２の検出信号に基づき、ドライバが操作部５に対して一定時間継続して接触したか否かを判定する（ステップＳ２０４）。そして、ドライバが操作部５に対して一定時間継続して接触した場合、通知制御部１６は、接触要求の通知を解除する（ステップＳ２０５）。一方、ドライバが操作部５に対して一定時間継続して接触していない場合は、再度ステップＳ２０４へ遷移し、ステップＳ２０４の処理を繰り返す。

次に、警告制御部１４が、ドライバに対して運転操作に適した状態をとるように警告をする（ステップＳ２０６）。

次に、状態判定部１２が、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが運転操作に適した状態であるか否かを判定する（ステップＳ２０７）。そして、警告制御部１４は、ドライバが運転操作に適した状態であれば警告を解除する（ステップＳ２０８）。一方、ドライバが運転操作に適した状態でない場合は、再度ステップＳ２０７へ遷移し、ステップＳ２０７の処理を繰り返す。

図６の処理によれば、手動運転に切り替わる際に、ドライバに対して操作部５に操作可能に触れる要求を通知することで、ドライバを操作部５に触れされることができる。従って、手動運転に切り替わる前にドライバの運転への関与度を高めることができるため、自動運転から手動運転への移行を確実に行うことができる。

次に、図７のフローチャート、および図８〜図９に基づいて、ドライバが運転操作に不適切な状態となっているかどうかを判定する処理の例として、ドライバの脇見状態を判定する処理について説明する。

図７は、ドライバの脇見状態を判定する処理を示すフローチャートである。先ず、ドライバモニタカメラ１から、着目するフレームの映像を取得する（ステップＳ３０１）。次に、取得した映像の中に顔らしいものがあるか否かを判定する（ステップＳ３０２）。図８は、ステップＳ３０２において、映像中に顔らしいものがあるか否かを判定する手法を示す模式図である。図８に示すように、ドライバモニタカメラ１が取得したフレームの映像５０と顔辞書５１の画像との比較を行い、映像５０中に顔らしいものがあるか否かを判定する。なお、比較は公知のテンプレートマッチング等の手法により行うことができる。

映像３０中に顔らしいものがある場合は、映像３０の中から目尻、口角、鼻などの顔特徴点を例えばこれらのテンプレート画像に基づいて抽出し（ステップＳ３０３）、特徴点間の距離から顔向き角度を算出する（ステップＳ３０４）。図９は、ステップＳ３０３、ステップＳ３０４において、顔特徴点間の距離から顔向き角度を算出する手法を示す模式図である。図９に示すように、顔特徴点ｐ１〜ｐ９が抽出されると、特徴点間の距離に応じて顔向き角度を算出することができる。

一例として、顔向き角度の算出は、ドライバが正面を向いている場合の特徴点間の距離を基準として行われる。図１０は、顔向き角度の定義を示す模式図である。ドライバの水平方向の顔向き角度をヨー（Ｙａｗ）角、上下方向の顔向き角度をピッチ（Ｐｉｔｃｈ）角と定義する。ドライバが正面を向いている場合の特徴点間の距離として、制御部１００のメモリ２０に予め記憶した値を用いることができる。例えば、ドライバが正面を向いている場合のｐ１−ｐ２間の距離を基準として、ドライバが任意の方向を向いた場合にｐ１−ｐ２間の距離が基準よりも短くなった場合は、ヨー角が変化したことを判定できる。ヨー角の変化量はｐ１−ｐ２間の距離の変化量から求めることができる。

同様に、ドライバが正面を向いている場合のｐ１−ｐ５間の距離を基準として、ドライバが任意の方向を向いた場合にｐ１−ｐ５間の距離が基準よりも短くなった場合は、ピッチ角が変化したことを判定できる。そして、ピッチ角の変化量はｐ１−ｐ５間の距離の変化量から求めることができる。なお、ロール（Ｒｏｌｌ）角の変化は、脇見の判定に直接的には使用されないが、各特徴点の移動軌跡からドライバの顔（頭部）のモデルの回転中心を求め、回転中心に対する各特徴点の回転角から求めることができる。

次に、顔向き角度が脇見角度閾値を超えているか否かを判定する（ステップＳ３０５）。顔向き角度が脇見角度閾値を超えている場合は、脇見継続時間がｔ秒を経過したか否かを判定する（ステップＳ３０６）。そして、脇見継続時間がｔ秒を経過した場合は、脇見であると判定する（ステップＳ３０７）。ステップＳ３０５で顔向き角度が脇見角度閾値を超えていない場合、またはステップＳ３０６で脇見継続時間がｔ秒を経過していない場合は、ステップＳ３０１へ戻る。

例えば、ヨー角の変化量が脇見角度閾値を超えており、脇見継続時間がｔ秒を経過した場合は、ドライバが水平方向に顔を回転させて脇見をしていると判定できる。また、ピッチ角の変化量が所定の閾値を超えており、脇見継続時間がｔ秒を経過した場合は、ドライバが上下方向に顔を回転させて脇見をしていると判定できる。このように、ステップＳ３０７へ進んだ場合は、ドライバが脇見状態であり、運転操作に不適切な状態であると判定される。ステップＳ３０７の後は、処理を終了する。

以上のように図７の処理によれば、映像中の顔の特徴点間の距離に基づいて、ドライバが脇見状態であるか否かを判定することができる。

図７では、ドライバが運転操作に不適切な状態であるか否かを判定する処理として、ドライバが脇見状態であるか否かを判定する処理を例示したが、運転操作に不適切な他の状態についても、ドライバモニタカメラ１が撮影した画像に基づいて判定することができる。例えば、ドライバが居眠り状態であるか否かは、ドライバの眼の閉眼率に基づいて求めることができる。閉眼率は、ドライバの顔画像から眼の開閉を捉えて、所定時間内で目を閉じている時間の割合を算出することで求まる。この際、例えばテンプレートマッチングまたは眼検出用の識別器に画像を入力することにより、ドライバの眼を検出し、眼の縦横比に閾値を設けて眼の開閉を判定し、閉眼率を算出する。閉眼率が所定値以上の場合は、ドライバが居眠り状態であると判定し、ドライバが運転操作に不適切な状態であると判定する。

また、ドライバの離席の状態、姿勢崩れ状態等についても、ドライバモニタカメラ１から得られるドライバの画像情報と、基準となるテンプレート画像とを比較することによって検出することができる。ドライバの離席の状態については、ドライバモニタカメラ１で撮影した画像中にドライバの顔が存在しない場合に、離席と判断することもできる。

更に、図７では、ドライバが運転操作に不適切な状態であるか否かを判定する処理として、ドライバの顔の向きに基づいてドライバが脇見状態であるか否かを判定する処理を例示したが、公知の手法によりドライバの視線の方向を検知するようにしても良い。そして、視線の方向に基づいてドライバが運転操作に不適切な状態であるか否かを判定しても良い。

以上説明したように本実施形態によれば、ドライバが運転操作に不適切な状態であることが判定されると、ドライバに対して警告が行われ、ドライバに対して操作部５を触れるように接触要求の通知が行われる。従って、警告を行っても運転への関与度が低いドライバに対して、接触部５に触れるよう通知を行うことで、運転への関与度を高めることが可能となる。これにより、ドライバが運転に無関心な状態を回避でき、危険回避など所望の運転操作を実現することが可能となる。

１ ドライバモニタカメラ
２ タッチセンサ
３ スピーカ
４ ＧＵＩ
５ 操作部
６ ステアリングトルクセンサ
１０ プロセッサ
１２ 状態判定部
１４ 警告制御部
１６ 通知制御部
１８ 接触判定部
２０ メモリ
３０ 通信インターフェース
４０ 運転支援システム
５０ 映像
５１ 顔辞書
１００ 制御部（ＥＣＵ）

Claims (7)

1. ドライバがステアリングの手放しをした状態でのハンズオフ走行が可能な車両の運転支援装置であって、
   前記ドライバの状態を表すセンサ情報に基づいて、前記ハンズオフ走行中に前記ドライバが前記車両の周辺監視に不適切な状態となっているか否かを判定する状態判定部と、
   前記ドライバが前記周辺監視に不適切な状態と判定された場合に、通知部を介して前記ドライバに警告する警告制御部と、
   前記ステアリングを把持する要求を、前記通知部を介して前記ドライバに通知する通知制御部と、
   を有する運転支援装置。
2. 前記通知制御部は、前記警告が解除された後に前記要求を前記ドライバに通知する、請求項１に記載の運転支援装置。
3. 前記通知制御部は、前記警告の解除と同時に前記要求を前記ドライバに通知する、請求項１に記載の運転支援装置。
4. 前記通知制御部は、前記通知を開始してから一定期間継続して前記ドライバが前記ステアリングを把持した状態を保つと前記通知を解除する、請求項１〜３のいずれか１項に記載の運転支援装置。
5. 前記状態判定部は、前記通知を開始した以降についても、前記ドライバが前記周辺監視に不適切な状態となっているか否かを判定し、
   前記通知制御部は、前記通知を開始してから一定期間継続して前記ドライバが前記周辺監視に適した状態を保ち、且つ前記一定期間継続して前記ドライバが前記ステアリングを把持した状態を保つと前記通知を解除する、請求項１〜４のいずれか１項に記載の運転支援装置。
6. 前記通知制御部は、前記通知を開始してから一定期間経過すると前記通知を解除する、請求項１〜３のいずれか１項に記載の運転支援装置。
7. 前記通知制御部は、所定時間経過後に自動運転制御から手動運転制御に切り替わることが通知され、且つ前記ドライバが前記周辺監視に不適切な状態と判定された場合は、前記警告よりも以前に前記通知を行い、
   前記警告制御部は、前記通知が解除された後に前記警告を行う、請求項１に記載の運転支援装置。