JP2019089512A - 運転支援装置及び運転支援方法 - Google Patents

Abstract

【課題】ドライバに提示するオプティカルフローを最適に制御することが可能な運転支援装置及び運転支援方法を提供する。【解決手段】車両のドライバの疲労度を推定する疲労度推定部４０６と、疲労度に基づいて、ドライバに提示するオプティカルフロー６１０の表示範囲を変更する表示制御部４１０と、を備える運転支援装置が提供される。この構成により、疲労度に基づいてドライバに提示するオプティカルフロー６１０の表示範囲が変更されるため、ドライバに提示するオプティカルフローを最適に制御することが可能となる。【選択図】図１

Description

本発明は、運転支援装置及び運転支援方法に関する。

従来、下記の特許文献１には、推定運転意思が増速アシスト領域に存在する場合、フロントウインドガラスに投影された光点を走行車線に沿って手前から前方に向けて進行方向に移動するようにその投影個数を増加し、推定運転意思が減速アシスト領域に存在する場合、光点を走行車線に沿って前方から手前に向けて進行方向と逆方向に移動するようにその投影個数を増加することが記載されている。

特開２０１６−５７２号公報

特許文献１に記載された技術は、増速アシストを行う場合、減速アシストを行う場合のそれぞれについて、フロントガラスに投影された光点の表示状態を変化させている。しかしながら、特許文献１に記載された手法では、光点を走行車線に沿って表示させるため、光点の表示がドライバにとって煩わしくなり、ドライバの運転に支障が生じる問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドライバに提示するオプティカルフローを最適に制御することが可能な、新規かつ改良された運転支援装置及び運転支援方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、車両のドライバの疲労度を推定する疲労度推定部と、前記疲労度に基づいて、ドライバに提示するオプティカルフローの表示範囲を変更する表示制御部と、を備える運転支援装置が提供される。

前記表示制御部は、前記ドライバが疲労状態にある場合は、前記オプティカルフローの非表示範囲を拡大するものであっても良い。

また、前記疲労度推定部は、前記ドライバの心拍、前記ドライバを撮像して得られる画像情報、前記ドライバがステアリングホイールを操作する際の操舵角加速度、前記車両の周辺の他車両の情報、前記車両の走行する道路の道路情報、又は前記ドライバの運転継続時間に基づいて、前記疲労度を推定するものであっても良い。

また、車両の周辺の環境情報を取得する環境情報取得部を備え、前記表示制御部は、前記環境情報又は前記疲労度に基づいて、ドライバに提示するオプティカルフローの表示範囲を変更するものであっても良い。

また、前記表示制御部は、前記環境情報に応じて、前記オプティカルフローの非表示範囲を拡大するものであっても良い。

また、前記表示制御部は、前記環境情報に応じて前記ドライバの視界を確保する必要がなく、且つ前記ドライバが疲労状態にない場合は、前記オプティカルフローの前記表示範囲を変更することなく、前記オプティカルフローの移動速度を速くするものであっても良い。

また、前記環境情報は、前記車両の周辺の他車両の数に関する情報、前記車両が旋回する道路の曲率に関する情報、又は前記車両が走行する道路の幅に関する情報であっても良い。

また、前記オプティカルフローは、前記ドライバの前面のフロントガラスに表示されるものであっても良い。

また、前記オプティカルフローは少なくとも線または点を含み、投影されるものであっても良い。

また、車両速度を取得する車両速度取得部を備え、前記表示制御部は、前記車両速度が所定範囲を外れる場合に、前記表示範囲を変更するものであっても良い。

また、前記表示制御部は、前記車両速度が予め定められた前記所定範囲から乖離している場合は、前記疲労度によらず、前記オプティカルフローの前記表示範囲を変更するとともに前記オプティカルフローの移動速度を変更するものであっても良い。

また、前記表示制御部は、前記車両速度が前記所定範囲を超えて前記所定範囲から乖離している場合は、前記オプティカルフローの非表示範囲を拡大するとともに、前記移動速度を速くするものであっても良い。

また、前記表示制御部は、前記車両速度が前記所定範囲を下回って前記所定範囲から乖離している場合は、前記オプティカルフローの非表示範囲を縮小するとともに、前記移動速度を遅くするものであっても良い。

また、前記表示制御部は、前記オプティカルフローの表示状態を変更した後、一定時間の経過後に前記車両速度が予め定められた前記所定範囲内となった場合は、前記オプティカルフローの表示状態を変更前の状態に戻すものであっても良い。

また、前記オプティカルフローの表示状態を変更した後、一定時間が経過しても前記車両速度が予め定められた前記所定範囲内とならない場合は、警告を発するものであっても良い。

また、上記課題を解決するために、本発明の別の観点によれば、車両速度を取得する車両速度取得部と、前記車両速度が所定範囲を外れる場合に、ドライバに提示するオプティカルフローの移動速度又は表示範囲を変更する表示制御部と、を備える、運転支援装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両のドライバの疲労度を推定するステップと、前記疲労度に基づいて、ドライバに提示するオプティカルフローの表示範囲を変更するステップと、を備える、運転支援方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両速度を取得するステップと、前記車両速度が所定範囲を外れる場合に、ドライバに提示するオプティカルフローの移動速度又は表示範囲を変更するステップと、を備える、運転支援方法が提供される。

以上説明したように本発明によれば、ドライバに提示するオプティカルフローを最適に制御することが可能となる。

本発明の一実施形態に係る運転支援システムの構成を示す模式図である。 フロントガラスにオプティカルフローを表示した状態を示す模式図である。 フロントガラスにオプティカルフローを表示した状態を示す模式図である。 オプティカルフローの速度知覚を調査するための実験を行った結果を示す特性図である。 ドライバセンサがカメラから構成される場合に、ドライバセンサがドライバを撮影している状態を示す模式図である。 ドライバの口が開いているか否かを判定する開口検知を示す模式図である。 ドライバ目が閉じているか否かを判定する様子を示す模式図である。 ドライバ状態判定部によりドライバの顔の表情を判定する手法を示す模式図である。 本実施形態の運転支援システムで行われる処理を示すフローチャートである。 ドライバへのお知らせ表示の例を示す模式図である。 ドライバへのお知らせ表示の例を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る運転支援システム１０００の構成を示す模式図である。運転支援システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、運転支援システム１０００は、心拍センサ１００、車両センサ１５０、操舵角センサ２００、車外センサ３００、ドライバセンサ３５０、制御装置４００、ＨＵＤ装置６００、通信装置８００、ナビゲーション装置９００、スピーカ９１０、シート振動部９２０、メモリ９５０を有して構成されている。

心拍センサ１００は、例えばドライバが操作するステアリングホイール、ドライバが着座するシート等に設けられ、ドライバの心拍を検出する。心拍センサ１００が検出したドライバの心拍は、制御装置４００に送られる。心拍センサ１００は、時計型デバイスなどのウェアラブルデバイスであっても良い。この場合、心拍センサ１００は、検出した心拍を制御装置４００へ無線で送信する。

車両センサ１５０は、車両速度Ｖ、車両の加速度、車軸（ドライブシャフトなど）の角速度などの車両情報を検出する各種センサを含む。なお、これらの車両情報は一般的に車両内のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）で通信されるため、車両センサ１００は、ＣＡＮからこれらの車両情報を取得するものであっても良い。操舵角センサ２００は、ドライバ（運転者）によるステアリングホイールの操作を検出する。

車外センサ３００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ３００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。

ドライバセンサ３５０は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の顔を検出する。また、ドライバセンサ３５０は、ドライバの頭や腕の動き、視線方向などを測定する。ドライバセンサ３５０がカメラから構成される場合、カメラが撮像した画像を画像処理することで、ドライバの顔、ドライバの頭や腕の動き、視線方向などが取得される。また、ドライバセンサ３５０が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。

制御装置４００は、運転支援システム１０００の全体を制御する構成要素であって、本実施形態に係る運転支援装置として機能する。

ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）装置６００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像、虚像を表示する。ＨＵＤ装置６００として、より具体的には、例えば自発光中間膜を用いる装置を用いることができる。この場合、車両のフロントガラスにおいて、表裏の２枚のガラスで挟むように自発光中間膜を配置する。自発光中間膜には発光材料が含まれており、車内に設置するプロジェクターからレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、ＨＵＤ装置６００は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機ＥＬ素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、ＨＵＤ装置６００以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やＬＥＤ表示装置などをＨＵＤ装置６００の代わりに用いても良い。また、ＨＵＤ装置６００の代わりに、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などのウェアラブル装置を用いても良い。

通信装置８００は、車両外部と通信を行い、渋滞情報、道路情報などの各種情報を受信する。ナビゲーション装置９００は、地図情報に基づいて、現在地から目的地までの経路を検索する。このため、ナビゲーション装置９００は、グローバル・ポジショニング・システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等により車両の現在位置を取得することができる。また、ナビゲーション装置９００は現在地まで車両が走行してきた経路を記憶している。スピーカ９１０は、ＨＵＤ装置６００によってドライバに警告を表示する際に、警告音を発生させる。シート振動部９２０は、車両の座席に設けられ、ＨＵＤ装置６００によって車両内へ警告を表示する際に、座席を振動することでドライバ、同乗者へ警告を行う。メモリ９５０は、制御装置４００が制御を行う際に使用する各種情報を記憶する。メモリ９５０は、車両速度Ｖが適正な場合のオプティカルフロー６１０（点群・線群）の速度（オプティカルフロー６１０が発生する点から放射方向の速度）、非表示範囲６２０の大きさの情報（デフォルト値）を予め記憶している。

本実施形態では、ＨＵＤ装置６００により、車両のフロントガラスにオプティカルフロー６１０を表示（投影）する。オプティカルフロー６１０は、ドライバが正面を見た場合に、奥から手前に移動するように視認される。このため、ドライバは、オプティカルフローを視認することで、オプティカルフローの動きに応じた速度で車両が進行していることを体感できる。図２及び図３は、フロントガラス６０２にオプティカルフロー６１０を表示した状態を示す模式図である。オプティカルフロー６１０は、フロントガラス６０２上では、図２中に矢印で示す方向に移動するように表示される。つまり、オプティカルフロー６１０は、フロントガラス６０２上のドライバの正面に位置する任意の点から外側に向けて放射状に移動するように表示される。本実施形態では、車両速度、車両周辺の状況、ドライバの疲労度等に応じてオプティカルフロー６１０の動く速さを変更する。上述のように、ドライバは、オプティカルフロー６１０に動きに応じた速度で車両が進行していることを体感するため、オプティカルフロー６１０の動く速さを変更することで、車両速度が適切となるようにドライバを誘導することができる。

オプティカルフロー６１０は、車外センサ３００が撮像した外部環境の画像情報に基づいて、ブロックマッチング等の方法により複数の特徴点の動きをフレーム毎に検出し、この特徴点の動きによって表示することができる。従って、車両速度Ｖが大きいほど、フロントガラス６０２上でのオプティカルフロー６１０の動きは速くなる。

また、オプティカルフロー６１０の動きは、予め所定のパターンとして記憶させておいても良い。この場合、車両速度Ｖと紐付けて、オプティカルフロー６１０が動く各パターンをメモリ等に記憶させておく。オプティカルフロー６１０を表示する際は、現在の車両速度Ｖに応じたオプティカルフロー６１０の動きのパターンをメモリ９５０から抽出し、抽出したパターンに従ってフロントガラス６０２上にオプティカルフロー６１０を表示させる。

フロントガラス６０２上では、オプティカルフロー６１０のそれぞれの点の速度は、基本的には等速であるが、フロントガラス６０２の中央付近を通過するオプティカルフロー６１０は、端付近を通過するオプティカルフロー６１０より速い見え方となる。つまり、フロントガラス６０２上の表示位置に応じてオプティカルフロー６１０の速度を変化させることができる。また、オプティカルフロー６１０の速度を時間的に変化させてもよい。

本実施形態では、車両速度Ｖに応じてオプティカルフロー６１０の動く速さを変化させる。車両速度Ｖが過度に大きい場合は、実際の車両速度Ｖに対応するオプティカルフロー６１０の動きよりも速くなるようにオプティカルフロー６１０を移動させる。これにより、ドライバは、車両速度Ｖが速いことを認識し、アクセル開度を緩めるなどの操作を行う。また、車両速度Ｖが過度に遅い場合は、実際の車両速度Ｖに対応するオプティカルフロー６１０の動きよりも遅くなるようにオプティカルフロー６１０を移動させる。これにより、ドライバは、車両速度Ｖが遅いことを認識し、アクセルをより開くなどの操作を行う。従って、オプティカルフロー６１０の動く速さを変化させることで、車両速度Ｖを適切な速度に誘導することができる。

具体的には、オプティカルフロー６１０の速度は、車両速度Ｖより速く感じる速度をＶｕ、車両速度Ｖより遅く感じる速度をＶｄ、初期速度を車両速度Ｖと等速に感じる速度Ｖｃとする。そして、オプティカルフロー６１０の速度をＶｃからＶｕへ変化させ、またＶｃからＶｄへ変化させることで、車両速度Ｖを適切な速度に誘導することができる。Ｖｕは、例えば以下の（１）式から決定することができる。
Ｖｕ＝Ｖｃ＋ｕ ・・・（１）

（１）式におけるｕは、周囲状況に応じて決定する。例えば、先行車との車間距離が近づいている場合は、以下の（２）式からｕの値を決定する。
ｕ＝|Ｖ−Ｖｍａｘ|×Ａｕ ・・・（２）

（２）式のＡｕは先行車との相対速度から決定する。例えば、Ａｕは以下のように決定される。
相対速度＞１０ｋｍ／ｈの場合、Ａｕ＝２
相対速度≦１０ｋｍ／ｈの場合、Ａｕ＝１

また、Ｖｄは、例えば以下の（３）式から決定することができる。
Ｖｄ＝Ｖｃ−ｄ ・・・（３）

（３）式におけるｄは、周囲状況に応じて決定する。例えば、上り坂で車両速度Ｖが減速している場合、以下の（４）式からｕの値を決定する。
ｄ＝|Ｖ−Ｖｍｉｎ|×Ａｄ ・・・（４）

（４）式のＡｄは|Ｖ−Ｖｍｉｎ|の値から決定する。例えば、Ａｄは以下のように決定される。
|Ｖ−Ｖｍｉｎ|＞１０ｋｍ／ｈの場合、Ａｄ＝２
|Ｖ−Ｖｍｉｎ|≦１０ｋｍ／ｈの場合、Ａｄ＝１

また、図２及び図３では、車両のフロントガラス６０２にオプティカルフロー６１０を表示した場合に、オプティカルフロー６１０を表示しない非表示範囲６２０を設定している。オプティカルフロー６１０は、非表示範囲６２０の周囲にのみ表示される。これにより、ドライバが正面の走行路を視認する際に、オプティカルフロー６１０が視界に入ることによる煩わしさを低減できる。

本実施形態では、実際の車両速度Ｖに対応するオプティカルフロー６１０の速度（車両速度Ｖと等速に感じる速度Ｖｃ）から、オプティカルフロー６１０の速度を増減することで、ドライバに対して車両速度Ｖを適切な速度に誘導する。一方、オプティカルフロー６１０の速度が車両速度Ｖと等速に感じる速度Ｖｃであっても、オプティカルフロー６１０の非表示範囲６２０の大きさに応じて、ドライバが体感する車両の速度は異なる。図４は、オプティカルフロー６１０の速度知覚を調査するための実験を行った結果を示す特性図である。この実験では、車両速度が３０（ｋｍ／ｈ）と６０（ｋｍ／ｈ）の風景映像に対して、非表示範囲６２０が１５°と３０°のオプティカルフロー６１０を重ねて表示した。そして、風景映像と同じ速度に感じられるオプティカルフロー６１０の速度（速度Ｖｃ）の評価を行なった。なお、評価には知覚心理実験における上下法を改良したＰＥＳＴ(Parameter Estimation by Sequential Testing)を用いた。

図４の縦軸は主観的等価値点（ｋｍ／ｈ）を示している。主観的等価値点は、風景映像に対して同じ速度であると感じられるオプティカルフロー６１０の速度（速度Ｖｃ）を表す。つまり、主観的等価値点が遅いほど、実験参加者はオプティカルフロー６１０を速く感じていることになる。また、棒グラフの系列はオプティカルフロー６１０の異なる大きさの非表示範囲６２０（１５°、３０°）による要因を示し、横軸は速度条件の要因を示している。ここでは、非表示範囲６２０を視野角で示しており、視野角１５°の場合よりも視野角３０°の方が非表示範囲６２０は大きくなる。図４に示すように、非表示範囲６２０が大きいほどオプティカルフロー６１０が速く感じられる結果となった。例えば、オプティカルフロー６１０の動きを３０ｋｍ／ｈの車両速度Ｖに対応させた場合、視野角１５°よりも視野角３０°の方が主観的等価値点は遅くなっている。これは、視野角３０°の方が視野角１５°よりもオプティカルフロー６１０が速く感じられることを示している。

従って、非表示範囲６２０の大きさを変化することで、ドライバが体感するオプティカルフロー６１０の速度を変化させることができる。図３に示す非表示範囲６２０の大きさは、図２に示す非表示範囲６２０よりも大きくなっている。オプティカルフロー６１０の速度を変化させない場合であっても、非表示範囲６２０を大きくすると、ドライバは、オプティカルフロー６１０がより速く移動するように感じる。なお、非表示範囲６２０の大きさ（面積）は、図２に示す最小範囲をＡ、図３に示す最大範囲をＢ、初期範囲を（Ａ＋Ｂ）/２とする。このため、本実施形態では、車両の運転状況、ドライバの状況に応じて非表示範囲６２０の大きさを変化させる。

以上のように、非表示範囲６２０の大きさを変更することで、ドライバが体感するオプティカルフロー６１０の速度を変化させることができ、また非表示範囲６２０の大きさを変更することで、ドライバの前方への視認性を変化させることができる。ドライバの視認性に関しては、車両周辺の環境状態が運転が困難な状態であるほど、またドライバの疲労度が高いほど、視認性を確保して運転をし易くすることが望ましい。

以上の観点から、本実施形態では、車両速度、車両周辺の状況、ドライバの疲労度に応じてオプティカルフロー６１０の動く速さを変更し、またオプティカルフロー６１０の非表示範囲６２０の大きさを変更することで、車両速度が適切となるように誘導を行う。このため、制御装置４００は、車両センサ１５０から車両速度Ｖを取得する車両速度取得部４０１、車両周辺の環境情報を取得する環境情報取得部４０２、環境情報に基づいて車両周辺の環境状態を判定する環境状態判定部４０４、ドライバの状態を判定するドライバ状態判定部４０５、ドライバの疲労度を推定する疲労度推定部４０６、操舵角センサ２００の検出値から操舵加角速度を算出する操舵角加速度算出部４０８、ＨＵＤ装置６００による表示を制御する表示制御部４１０、を有して構成されている。なお、図１に示す制御装置４００の各構成要素は回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。

環境情報取得部４０２は、車外センサ３００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部４０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置４００は、人物、他車両、速度標識、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。

また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。

このように、環境情報取得部４０２は、車外センサ３００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報の分析結果から車両外の環境情報を取得する。

環境状態判定部４０４は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０４は、車両周辺に人、車両、その他の物体などの障害物が存在するか否か、および、車両周辺に存在する人、車両、その他の物体などの障害物の数、車両周辺の道幅などを判定する。

疲労度推定部４０６は、心拍センサ１００、車外センサ３００、ドライバセンサ３５０が検知した情報に基づいてドライバの疲労度を推定する。また、疲労度推定部４０６は、通信装置８００が外部から受信した情報等に基づいて、ドライバの疲労度を推定する。また、疲労度推定部４０６は、ドライバの運転継続時間に基づいて、運転継続時間が長いほど疲労度が高いものと推定する。以下では、疲労度推定部４０６がドライバの疲労度を推定する方法について説明する。

心拍センサ１００が検知した情報に基づいてドライバの疲労度を推定する場合、心拍変動の時系列データの高周波成分（ＬＨ）と低周波成分（ＬＦ）の割合（ＬＦ／ＬＨ）から疲労度を推定する。具体的に、交感神経と副交感神経の緊張状態のバランスによって、心拍変動への高周波成分（ＬＨ）の変動波と低周波成分（ＬＦ）の変動波の現れる大きさが変わってくることが知られている。従って、これを利用して心拍変動から自律神経のバランスを推定することができる。なお、高周波成分（ＬＨ）は交換神経系成分に対応し、低周波成分（ＬＦ）は副交感神経系成分に対応する。疲労度は、交感神経と副交感神経の緊張の程度、バランスから求めることができ、交感神経が緊張状態にあれば「ストレス状態」で疲労していると推定でき、反対に、副交感神経が緊張状態にあれば「リラックス状態」と推定することができる。つまり、高周波成分（ＬＨ）と低周波成分（ＬＦ）の割合（ＬＦ／ＬＨ）は、疲労度が増すほど低下する。

従って、疲労度推定部４０６は、心拍変動の時系列データの高周波成分（ＬＨ）と低周波成分（ＬＦ）の割合（ＬＨ／ＦＨ）に基づいて、ドライバの疲労度を推定することができる。

車外センサ３００が検知した情報に基づいてドライバの疲労度を推定する場合、疲労度推定部４０６は、環境状態判定部４０４が判定した車両周辺の人、車両、その他の物体などの障害物の数を取得する。車両周辺に存在する障害物の数が多いほど、ドライバは障害物に気を使いながら運転を行うことになる。従って、疲労度推定部４０６は、障害物の数が多いほど、ドライバの疲労度が高いものと推定する。

図５は、ドライバセンサ３５０が検知した情報に基づいてドライバの疲労度を推定する場合であって、ドライバセンサ３５０がカメラから構成される場合に、ドライバセンサ３５０がドライバ２０を撮影している状態を示す模式図である。図５に示すように、ドライバセンサ３５０は、一例としてステアリングコラム３５２の上部に設置される。

ドライバセンサ３５０がカメラから構成される場合、ドライバセンサ３５０によって撮影された画像は、制御装置４００に入力される。ドライバ状態判定部４０５は、入力画像から目、鼻、口など顔の各部位の特徴点の位置情報を検知し、位置情報に基づいて眠気、居眠りなど前方不注意の可能性などドライバの状態を判定する。

図６は、ドライバの口が開いているか否かを判定する開口検知を示す模式図である。図３に示すように、口の上下の特徴点間の距離Ｄ１から口の開閉状態を判定し、特徴点間の距離Ｄ１が所定値を超える場合（図６に示す開口状態）では、ドライバの口が開いている可能性があり、あくびの可能性があると判定することができる。また、例えば開口状態のまま一定時間が経過する状況が複数回検知される場合は、居眠りの危険性が増大していると判断できる。

図７は、ドライバ目が閉じているか否かを判定する様子を示す模式図である。図７に示すように、目の上下の特徴点間の距離Ｄ２から目が閉じていることを検知し、特徴点間の距離Ｄ２が所定値以下の場合（図７に示す目閉じ状態）では、居眠りの可能性があると判定することができる。居眠りをしているか否かの判定は、例えば基準時間に対して目が閉じている時間の比率（閉眼率）が所定のしきい値を超えたか否かによって判定することができる。また、目閉じ検知が複数回検知されると居眠りの危険性が増大していると判断できる。また、画像処理により瞬きを検出し、瞬きの回数に基づいて居眠りをしているか否かの判定を行っても良い。図６、図７に関連するこれらの判定は、ドライバ状態判定部４０５によって行われる。疲労度推定部４０６は、ドライバ状態判定部４０５による判定結果に基づいてドライバの疲労度を推定する。

ドライバセンサ３５０が検知した情報に基づいてドライバの疲労度を推定する場合に、顔の表情に基づいて疲労度を判定することもできる。この場合、ドライバ状態判定部４０５によりドライバの顔の表情を判定する。予め疲労状態を定義した顔画像と、現状の顔画像とを比較し、比較の結果に応じて疲労度を推定する。主観評価によって数段階の疲労度を定義した人物の複数の顔画像を教師データとして学習させ、ドライバの現在の顔画像を入力して対比し、疲労度を判定する。

図８は、予め疲労状態を定義した顔画像に基づいて疲労度推定部４０６が疲労度を推定する手法を示す模式図である。図８に示すように、顔の表情の画像情報と、各画像情報に対応する疲労度（疲労度１〜４）とが対応付けられてメモリ９５０に予め保持されている。ドライバ状態判定部４０５は、ドライバセンサ３５０から取得したドライバの顔の画像情報と、予め保持している図８に示す画像情報とをブロックマッチング等の方法により対比し、図８に示す画像情報の中からドライバの画像情報との類似度が高いものを抽出し、抽出した画像情報に対応する疲労度に基づいてドライバの疲労度を判定する。

また、通信装置８００が外部から受信した情報に基づいて、ドライバの疲労度を推定する場合、疲労度推定部４０６は、通信装置８００が受信した車両周辺の交通量、渋滞情報に基づいてドライバの疲労度を推定する。例えば、車両周辺の交通量が多いほど、ドライバの疲労度が高いことが推定できる。また、車両周辺の道路に渋滞が発生している場合は、渋滞の度合いに応じてドライバの疲労度を推定することができる。この場合、渋滞している距離が長いほど、ドライバの疲労度が高いことが推定できる。

また、疲労度推定部４０６は、通信装置８００が受信した車両周辺の道路情報等に基づいてドライバの疲労度を推定する。例えば、車両周辺の道路情報に基づいて、道路が狭かったり、カーブが連続している場合は、ドライバの疲労度が高いことが推定できる。

また、疲労度推定部４０６は、ナビゲーション装置９００から得られる情報に基づいて、現在位置まで走行した経路の道路情報、または、これから目的地に向けて走行する経路の道路情報に基づいて、ドライバの疲労度を推定することもできる。例えば、現在位置まで走行した経路または目的地に向けて走行する経路において、所定区間内におけるカーブ区間の割合が高いほど、ドライバの疲労度が高いことが推定できる。

また、疲労度推定部４０６は、操舵角加速度算出部４０８が算出した操舵角加速度を取得し、一定時間内に操舵角加速度が所定のしきい値を超えた回数に基づいてドライバの疲労度を推定することもできる。操舵角加速度が所定のしきい値を超えた回数が多いほど、急激なステアリング操作が行われている度合いが高くなる。つまり、一定時間内に操舵角加速度が所定のしきい値を超えた回数に基づいて操舵の滑らかさを判定することができ、これに基づいてドライバの疲労度を推定することが可能である。

表示制御部４１０は、ＨＵＤ装置６００による表示を制御し、特にオプティカルフロー６１０の表示状態を制御する。表示制御部４１０は、オプティカルフロー６１０の速度、非表示範囲６２０を変更するための制御を行う。より具体的には、表示制御部４１０は、オプティカルフロー６１０の速度が、車両速度Ｖと等速に感じる速度Ｖｃ、車両速度Ｖより速く感じる速度Ｖｕ、車両速度Ｖより遅く感じる速度をＶｄとなるように制御を行う。なお、オプティカルフロー６１０の速度の変更は、フロントガラス６０２上でのオプティカルフロー６１０の移動速度を変更することによって行われる。また、表示制御部４１０は、ドライバセンサ３５０が検出した視線位置、またはドライバの目の位置と、オプティカルフロー６１０が発生する点（非表示範囲６２０の中心点）を適合する制御を行う。

次に、本実施形態の運転支援システム１０００で行われる処理について説明する。図９は、本実施形態の運転支援システム１０００で行われる処理を示すフローチャートである。図９の処理は、主に制御装置４００において所定の周期毎に行われる。

先ず、ステップＳ１０では、車外センサ３００、ナビゲーション装置９００等から得られる情報に基づいて、車両の適切な速度域［Ｖｍｉｎ,Ｖｍａｘ］を推定する。上述したように、環境情報取得部４０２は、車外センサ３００から得られる画像情報に基づいて速度標識を認識できるため、速度標識に基づいて車両の適切な速度域を推定できる。また、ナビゲーション装置９００が有する地図情報には、地図上の位置と制限速度が紐付けて記憶されている。従って、車両の現在位置に対応する制限速度に基づいて、車両の適切な速度域を推定することができる。

次のステップＳ１２では、現在の車両速度Ｖが適切な速度域内か否かを判定する。具体的に、ステップＳ１２では、車両速度Ｖが所定のしきい値Ｖｍｉｎ以上であり、且つ所定のしきい値Ｖｍａｘ以下であるか否かを判定する。つまり、ステップＳ１２では、Ｖｍｉｎ≦Ｖ≦Ｖｍａｘであるか否かを判定する。

ステップＳ１２でＶｍｉｎ≦Ｖ≦Ｖｍａｘでない場合は、ステップＳ１４へ進む。ステップＳ１４では、車両速度Ｖと適切な速度域内との乖離が大きいか否かを判定する。具体的に、ステップＳ１４では、Ｖ＞Ｖｍａｘかつ|Ｖ−Ｖｍａｘ|＞ｄｍａｘであるか否か、又はＶ＜Ｖｍｉｎかつ|Ｖ−Ｖｍｉｎ|＞ｄｍａｘであるか否かを判定する。ステップＳ１４でＶ＞Ｖｍａｘかつ|Ｖ−Ｖｍａｘ|＞ｄｍａｘの条件が成立するか、又は、Ｖ＜Ｖｍｉｎかつ|Ｖ−Ｖｍｉｎ|＞ｄｍａｘの条件が成立する場合は、ステップＳ１６へ進む。

ステップＳ１６では、オプティカルフロー６１０の速度と非表示範囲６２０を変更する。具体的に、Ｖ＞Ｖｍａｘかつ|Ｖ−Ｖｍａｘ|＞ｄｍａｘの条件が成立する場合は、適切な速度域よりも過度に車両速度Ｖが大きいため、オプティカルフロー６１０の速度をより速くし、非表示範囲６２０をより大きくする。例えば、オプティカルフロー６１０の速度は、上述したＶｕに設定され、非表示範囲６２０は図３に示す最大範囲Ｂに設定される。これにより、ドライバが体感する速度がより大きくなり、車両速度Ｖが低下するようにドライバを誘導できる。また、Ｖ＜Ｖｍｉｎかつ|Ｖ−Ｖｍｉｎ|＞ｄｍａｘの条件が成立する場合は、適切な速度域よりも過度に車両速度Ｖが小さいため、オプティカルフロー６１０の速度をより遅くし、非表示範囲６２０をより小さくする。例えば、オプティカルフロー６１０の速度は、上述したＶｄに設定され、非表示範囲６２０は図２に示す最小範囲Ａに設定される。これにより、ドライバが体感する速度がより小さくなり、車両速度Ｖが上昇するようにドライバを誘導できる。なお、通常時はオプティカルフロー６１０を表示せずに、ステップＳ１４で車両速度Ｖと適切な速度域内との乖離が大きいと判定された場合にのみオプティカルフロー６１０を表示するようにしても良い。

また、ステップＳ１４で適切な速度域内との乖離が大きくない場合は、ステップＳ２８へ進む。具体的に、ステップＳ１４でＶ＞Ｖｍａｘかつ|Ｖ−Ｖｍａｘ|＞ｄｍａｘの条件とＶ＜Ｖｍｉｎかつ|Ｖ−Ｖｍｉｎ|＞ｄｍａｘの条件が共に成立しない場合は、ステップＳ２８へ進む。

ステップＳ２８では、Ｖ＞Ｖｍａｘであるか否かを判定し、Ｖ＞Ｖｍａｘの場合はステップＳ３０へ進む。ステップＳ３０では、車両の周辺の環境情報に基づいて、ドライバの視界の確保が必要であるか否かを判定する。具体的に、ステップＳ３０では、車両の周辺の他車両の台数Ｎ_Ｖがしきい値Ｎ_ＶＣよりも大きいか（Ｎ_Ｖ＞Ｎ_ＶＣ）、ステアリング操舵角θ_Ｓがしきい値θ_ＳＣよりも大きいか（θ_Ｓ＞θ_ＳＣ）、車両周辺の道幅Ｗ_Ｒがしきい値Ｗ_ＲＣよりも小さいか（Ｗ_Ｒ＜Ｗ_ＲＣ）であるか否かを判定する。なお、車両の周辺の他車両の台数Ｎ_Ｖ、車両周辺の道幅Ｗ_Ｒは、環境情報取得部４０２が取得した環境情報に基づいて環境状態判定部４０４により判定される。ステアリング操舵角θ_Ｓは、操舵角センサ２００の検出値から得ることができる。ステアリング操舵角θ_Ｓは、車両が旋回する道路の曲率に関する情報に相当する。なお、ステップＳ３０では、障害物を検知した場合にドライバの視界の確保が必要であると判定しても良い。

ステップＳ３０でいずれかの条件が成立する場合はステップＳ３２へ進む。ステップＳ３０でいずれかの条件が成立する場合は、車両周辺の環境状態が比較的悪く、ドライバの視界の確保が必要であるため、ステップＳ３２では、オプティカルフロー６１０の非表示範囲６２０を変更する処理を行う。具体的に、ステップＳ３２では、オプティカルフロー６１０の非表示範囲６２０を広くする処理を行う。例えば、非表示範囲６２０は図３に示す最大範囲Ｂに設定される。これにより、ドライバの視界を確保するとともに、ドライバがオプティカルフロー６１０により体感する車両の速度が高くなるため、車両速度Ｖが低下するようにドライバを誘導することができる。

また、ステップＳ３０でいずれの条件も成立しない場合は、ステップＳ３４へ進む。ステップＳ３４では、疲労度推定部４０６による推定結果からドライバが疲労状態であるか否かを判定し、ドライバが疲労状態である場合はステップＳ３２へ進む。ステップＳ３２では、ドライバが疲労状態であるため、オプティカルフロー６１０の非表示範囲６２０を変更する処理を行う。具体的に、ステップＳ３２では、オプティカルフロー６１０の非表示範囲６２０を広くする処理を行う。これにより、疲労状態にあるドライバの視界を確保して運転をし易くするとともに、ドライバがオプティカルフロー６１０により体感する車両の速度が高くなるため、車両速度Ｖが低下するようにドライバを誘導することができる。

また、ステップＳ３４でドライバが疲労状態でないと判定された場合は、ステップＳ３６へ進む。ステップＳ３６では、オプティカルフロー６１０の速度を変更する処理を行う。具体的に、ステップＳ３６では、オプティカルフロー６１０の速度をより速くする処理を行う。例えば、オプティカルフロー６１０の速度は、上述したＶｕに設定される。これにより、ドライバがオプティカルフロー６１０により体感する車両の速度が高くなるため、車両速度Ｖが低下するようにドライバを誘導することができる。

また、ステップＳ２８でＶ＞Ｖｍａｘでない場合はステップＳ３６へ進み、オプティカルフロー６１０の速度を変更する処理を行う。

以上のように、車両速度Ｖと適切な速度域内との乖離が大きい場合は、オプティカルフロー６１０の速度と非表示範囲６２０が共に変更される（ステップＳ１６）。また、車両速度Ｖと適切な速度域内との乖離が大きくない場合であっても、Ｖ＞Ｖｍａｘであり、且つ、ドライバの視界の確保が必要な場合またはドライバが疲労状態にある場合は、オプティカルフロー６１０の非表示範囲６２０のみが変更され、速度は変更されない（ステップＳ３２）。また、ドライバが疲労状態にない場合は、オプティカルフロー６１０の速度のみが変更され、非表示範囲６２０は変更されない（ステップＳ３６）。

ステップＳ１６，Ｓ３２，Ｓ３６の後はステップＳ１８に進む。次のステップＳ１８では、ステップＳ１６，Ｓ３２，Ｓ３６でオプティカルフロー６１０の表示を変更してから一定時間ｔ１以上の時間が経過したか否かを判定し、一定時間ｔ１以上の時間が経過した場合はステップＳ２０へ進む。なお、一定時間ｔ１は、適切な速度域の範囲や、車外の環境状態に応じて変化させることができる。例えば、適切な速度域が狭いほど一定時間ｔ１を長くしたり、車外の他車両の数が多いほど一定時間ｔ１を長くすることができる。ステップＳ２０では、現在の車両速度Ｖが適切な速度域内か否かを判定する。具体的に、ステップＳ２０では、ステップＳ１２と同様に、車両速度ＶがＶｍｉｎ≦Ｖ≦Ｖｍａｘであるか否かを判定する。

ステップＳ２０でＶｍｉｎ≦Ｖ≦Ｖｍａｘの場合は、ステップＳ２４へ進む。ステップＳ２４では、ステップＳ１６，Ｓ３２，Ｓ３６でオプティカルフロー６１０の表示を変更した結果、現在の車両速度Ｖが適切な速度域内となったため、オプティカルフロー６１０の表示を元の状態に戻す処理を行う。

一方、ステップＳ２０でＶｍｉｎ≦Ｖ≦Ｖｍａｘでない場合は、ステップＳ２６へ進む。ステップＳ２６では、ステップＳ１６でオプティカルフロー６１０の表示を変更したにも関わらず、現在の車両速度Ｖが適切な速度域内になっていないため、ドライバにお知らせ表示（警告表示）を行う。具体的に、ステップＳ２６では、一定時間ｔ２の間、ＨＵＤ装置６００やドライバ正面のメータの周辺にお知らせ表示（警告表示）をした後、オプティカルフロー６１０の表示を元の状態に戻す処理を行う。

図１０及び図１１は、ステップＳ２６で行われる、ドライバへのお知らせ表示の例を示す模式図である。図１０は、減速のお知らせ表示を示す模式図である。車両速度ＶがＶｍｉｎ≦Ｖ≦Ｖｍａｘの上限を超えている場合、ＨＵＤ装置６００により、ドライバに減速を促すための表示「速度超過」がフロントガラス６０２上に表示される。また、図１１は、加速のお知らせ表示を示す模式図である。車両速度ＶがＶｍｉｎ≦Ｖ≦Ｖｍａｘの下限を下回っている場合、ＨＵＤ装置６００により、ドライバに加速を促すための表示「速度不足」がフロントガラス６０２上に表示される。ドライバへのお知らせ表示を行うことで、車両速度Ｖを確実に適切な速度域に誘導することが可能となる。

以上説明したように本実施形態によれば、車両速度Ｖ、車両周辺の状況、ドライバの疲労度に応じてオプティカルフロー６１０の動く速さを変更し、またオプティカルフロー６１０の非表示範囲６２０の大きさを変更することで、車両速度が適切となるように誘導を行うとともに、ドライバの視界を確保することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

４００ 制御装置
４０１ 車両速度取得部
４０２ 環境情報取得部
４０６ 疲労度推定部
４１０ 表示制御部
６１０ オプティカルフロー
６２０ 非表示範囲

Claims (18)

1. 車両のドライバの疲労度を推定する疲労度推定部と、
   前記疲労度に基づいて、ドライバに提示するオプティカルフローの表示範囲を変更する表示制御部と、
   を備えることを特徴とする、運転支援装置。
2. 前記表示制御部は、前記ドライバが疲労状態にある場合は、前記オプティカルフローの非表示範囲を拡大することを特徴とする、請求項１に記載の運転支援装置。
3. 前記疲労度推定部は、前記ドライバの心拍、前記ドライバを撮像して得られる画像情報、前記ドライバがステアリングホイールを操作する際の操舵角加速度、前記車両の周辺の他車両の情報、前記車両の走行する道路の道路情報、又は前記ドライバの運転継続時間に基づいて、前記疲労度を推定することを特徴とする、請求項１又は２に記載の運転支援装置。
4. 車両の周辺の環境情報を取得する環境情報取得部を備え、
   前記表示制御部は、前記環境情報又は前記疲労度に基づいて、ドライバに提示するオプティカルフローの表示範囲を変更することを特徴とする、請求項１〜３のいずれかに記載の運転支援装置。
5. 前記表示制御部は、前記環境情報に応じて、前記オプティカルフローの非表示範囲を拡大することを特徴とする、請求項４に記載の運転支援装置。
6. 前記表示制御部は、前記環境情報に応じて前記ドライバの視界を確保する必要がなく、且つ前記ドライバが疲労状態にない場合は、前記オプティカルフローの前記表示範囲を変更することなく、前記オプティカルフローの移動速度を速くすることを特徴とする、請求項４又は５に記載の運転支援装置。
7. 前記環境情報は、前記車両の周辺の他車両の数に関する情報、前記車両が旋回する道路の曲率に関する情報、又は前記車両が走行する道路の幅に関する情報であることを特徴とする、請求項４〜６のいずれかに記載の運転支援装置。
8. 前記オプティカルフローは、前記ドライバの前面のフロントガラスに表示されることを特徴とする、請求項１〜７のいずれかに記載の運転支援装置。
9. 前記オプティカルフローは少なくとも線または点を含み、投影されることを特徴とする、請求項１〜８のいずれかに記載の運転支援装置。
10. 車両速度を取得する車両速度取得部を備え、
    前記表示制御部は、前記車両速度が所定範囲を外れる場合に、前記表示範囲を変更することを特徴とする、請求項１に記載の運転支援装置。
11. 前記表示制御部は、前記車両速度が予め定められた前記所定範囲から乖離している場合は、前記疲労度によらず、前記オプティカルフローの前記表示範囲を変更するとともに前記オプティカルフローの移動速度を変更することを特徴とする、請求項１０に記載の運転支援装置。
12. 前記表示制御部は、前記車両速度が前記所定範囲を超えて前記所定範囲から乖離している場合は、前記オプティカルフローの非表示範囲を拡大するとともに、前記移動速度を速くすることを特徴とする、請求項１１に記載の運転支援装置。
13. 前記表示制御部は、前記車両速度が前記所定範囲を下回って前記所定範囲から乖離している場合は、前記オプティカルフローの非表示範囲を縮小するとともに、前記移動速度を遅くすることを特徴とする、請求項１１又は１２に記載の運転支援装置。
14. 前記表示制御部は、前記オプティカルフローの表示状態を変更した後、一定時間の経過後に前記車両速度が予め定められた前記所定範囲内となった場合は、前記オプティカルフローの表示状態を変更前の状態に戻すことを特徴とする、請求項１１〜１３のいずれかに記載の運転支援装置。
15. 前記オプティカルフローの表示状態を変更した後、一定時間が経過しても前記車両速度が予め定められた前記所定範囲内とならない場合は、警告を発することを特徴とする、請求項１１〜１４のいずれかに記載の運転支援装置。
16. 車両速度を取得する車両速度取得部と、
    前記車両速度が所定範囲を外れる場合に、ドライバに提示するオプティカルフローの移動速度又は表示範囲を変更する表示制御部と、
    を備えることを特徴とする、運転支援装置。
17. 車両のドライバの疲労度を推定するステップと、
    前記疲労度に基づいて、ドライバに提示するオプティカルフローの表示範囲を変更するステップと、
    を備えることを特徴とする、運転支援方法。
18. 車両速度を取得するステップと、
    前記車両速度が所定範囲を外れる場合に、ドライバに提示するオプティカルフローの移動速度又は表示範囲を変更するステップと、
    を備えることを特徴とする、運転支援方法。
    

Images