JP2018198842A - 運転者状態推定装置 - Google Patents

Abstract

【課題】運転者の視野欠損等の異常も検知することが可能な、運転者状態推定装置を提供する。
【解決手段】本発明は、車両を運転する運転者の状態を推定する運転者状態推定装置(1)であって、運転者によるステアリング操作を検出するステアリングセンサ(6)と、車両を運転する運転者を撮像する運転者カメラ(8)と、この運転者カメラにより撮像された画像に基づいて運転者の視線の方向を検出する画像解析部(16)と、ステアリングセンサにより検出されたステアリング操作、及び画像解析部により検出された視線の方向に基づいて運転者の異常を判定する運転者異常判定部(18)と、を有し、運転者異常判定部は、運転者の視線の方向の通常状態に対する分布の拡大が検出され、且つステアリング操作の通常状態に対する変化が検出され場合に、運転者に視野欠損の疑いがあると判定するように構成されていることを特徴としている。
【選択図】図２

Description

本発明は、運転者状態推定装置に関し、特に、車両を運転する運転者の状態を推定する運転者状態推定装置に関する。

走行車両による事故発生の確率を低下させることができる車両を開発することが望まれている。事故発生原因の統計によれば、運転者の体調不良に起因する車両事故は、事故発生原因の約１０％を占めている。また、これら体調不良に起因する事故のうち約３０％は、脳梗塞等の脳疾患に関係した体調不良であることが知られている。これら脳疾患に起因する事故の多くは、脳疾患に罹患している運転者の体調が運転中に急変することにより、運転不能な状態に陥り、事故に至るというものである。従って、運転者の脳疾患に関係した初期症状の発生を早期に検知し、運転者への報知等、適切な対応をとることにより、運転者自身の疾患の悪化や、体調不良に起因する車両事故の発生を未然に防ぐことができ、車両事故発生の確率を低下させることができる。

特開２０１７−１６５６８号広報（特許文献１）には、運転者異常検出装置が記載されている。この特許文献１記載の運転者異常検出装置は、車両の運転者の頭部を撮影し、撮像した画像に基づき運転者の視線の方向、運転者の眼の高さ、及び運転者の頭部の車幅方向の位置を求め、これらに基づいて運転者に異常があるか否かを判定している。

特開２０１７−１６５６８号広報

しかしながら、運転者の視線の方向や、頭部の位置は、車両が走行している外部の環境による影響を受けやすく、運転者の異常を誤判定しやすいという問題がある。さらに、特許文献１記載の発明によれば、運転者の居眠りや、脇見等の異常を検出することは可能であるとしても、運転者に脳疾患等に基づく視野欠損等の異常がある場合には、運転者の頭部位置等には大きな変化がなく、これらの異常を検知することは困難である。
従って、本発明は、運転者の視野欠損等の異常も検知することが可能な、運転者状態推定装置を提供することを目的としている。

上述した課題を解決するために、本発明は、車両を運転する運転者の状態を推定する運転者状態推定装置であって、運転者によるステアリング操作を検出するステアリングセンサと、車両を運転する運転者を撮像する運転者カメラと、この運転者カメラにより撮像された画像に基づいて運転者の視線の方向を検出する画像解析部と、ステアリングセンサにより検出されたステアリング操作、及び画像解析部により検出された視線の方向に基づいて運転者の異常を判定する運転者異常判定部と、を有し、運転者異常判定部は、運転者の視線の方向の通常状態に対する分布の拡大が検出され、且つステアリング操作の通常状態に対する変化が検出される場合に、運転者に視野欠損の疑いがあると判定するように構成されていることを特徴としている。

このように構成された本発明においては、ステアリングセンサが運転者によるステアリング操作を検出する。一方、運転者カメラは、車両を運転する運転者を撮像し、画像解析部は、撮像された画像に基づいて運転者の視線の方向を検出する。運転者異常判定部は、ステアリングセンサにより検出されたステアリング操作、及び画像解析部により検出された視線の方向に基づいて運転者の異常を判定する。特に、運転者の視線の方向の通常状態に対する分布の拡大が検出され、且つステアリング操作の通常状態に対する変化が検出され場合には、運転者異常判定部は、運転者に視野欠損の疑いがあると判定する。

特許文献１記載の発明にように、運転者を撮像するカメラの画像に基づいて、運転者の異常を検出する装置が種々提案されている。しかしながら、運転者に、脳疾患等に基づく視野欠損等の異常がある場合には、運転者の頭部の位置が大きく変化したり、運転者の視線の方向が定常的に所定の範囲から外れるといった異常は表れず、このような異常を検出することは困難である。また、本件発明者の研究によれば、運転者に視野欠損等の異常がある場合には、ステアリング操作に変化が表れることが明らかとなったが、運転者のステアリング操作は、車両が走行する路面等の影響を受けやすいので、誤判定を生じる可能性がある。さらに、本件発明者の研究によれば、運転者に視野欠損等の異常がある場合には、運転者は視野欠損により欠落している情報を補うために、無意識に視線の方向の分布が、異常のない通常時よりも拡大することが明らかとなった。上記のように構成された本発明によれば、運転者異常判定部は、運転者の視線の方向の分布が通常状態に対して拡大し、且つステアリング操作が通常状態に対して変化した場合に、運転者に視野欠損の疑いがあると判定するので、誤判定を十分に抑制しながら、運転者の視野欠損を判定することができる。

本発明において、好ましくは、さらに、車両の周辺環境を撮像する車外環境カメラを有し、この車外環境カメラによって撮像された車外環境と、画像解析部により検出された視線の方向が整合している場合には、運転者異常判定部は、運転者の視線の方向の分布が通常状態に対して拡大していても、運転者に視野欠損の疑いがあると判定しないように構成されている。

上記のように、運転者に視野欠損等の異常がある場合、視線の方向の分布が拡大することが、本件発明者の研究により明らにされたが、運転者の視線の分布は車外の環境によっても拡大してしまう場合がある。上記のように構成された本発明によれば、車外環境カメラによって撮像された車外環境と、画像解析部により検出された視線の方向が整合している場合には、運転者の視線の方向の分布が拡大していても、運転者に視野欠損の疑いありと判定しないので、視線の分布に基づく誤判定の発生を抑制することができる。

本発明において、好ましくは、さらに、車両の周辺環境を撮像する車外環境カメラを有し、運転者異常判定部は、車外環境カメラによって撮像された画像に多くの視認対象物が含まれている場合には、運転者の視線の方向の分布が通常状態に対して拡大している場合であっても運転者に視野欠損の疑いがあると判定しないように構成されている。

このように構成された本発明によれば、車外環境カメラによって撮像された画像に多くの視認対象物が含まれている場合には、運転者異常判定部は、運転者に視野欠損の疑いがあると判定しないので、視認対象物が多い環境における視線の方向の分布の拡大により誤判定が発生するのを防止することができる。

本発明において、好ましくは、画像解析部は車外環境カメラによって撮像された画像から道路標識を抽出するように構成され、運転者異常判定部は、運転者の視線の方向が画像解析部によって抽出された道路標識に向けられている場合には、運転者の視線の方向と車外環境カメラによって撮像された車外環境が整合していると判定するように構成されている。

このように構成された本発明によれば、運転者の視線の方向が道路標識に向けられている場合には、運転者異常判定部は、視線の方向と車外環境が整合していると判断し、運転者に視野欠損の疑いがあると判定しないので、運転者が道路標識に視線を向けることによる誤判定を抑制することができる。

本発明において、好ましくは、運転者異常判定部は、運転者の視線の方向の分布が通常状態に対して拡大している場合であっても、視線の方向の分布に偏りがない場合には運転者に視野欠損の疑いがあると判定しないように構成されている。

本件発明者の研究によれば、運転者に視野欠損がある場合には、その視線の方向の分布が拡大するものの、視線の分布が視野全体に均等に拡大することが明らかとなった。上記のように構成された本発明によれば、運転者異常判定部は、視線の方向の分布に偏りがない場合には運転者に視野欠損の疑いがあると判定しないので、誤判定を抑制することができる。

本発明において、好ましくは、運転者異常判定部は、運転者に視野欠損の疑いがあると判定された場合には、車両に搭載されている運転支援装置の設定を変更するように構成されている。

このように構成された本発明によれば、運転者に視野欠損の疑いがあると判定された場合には、車両に搭載されている運転支援装置の設定が変更されるので、運転者の状態に応じた適切な運転支援を行うことが可能になり、視野欠損のある運転者が運転を中止するまでの間に、事故等が発生するのを抑制することができる。

本発明の実施形態による運転者状態推定装置の全体を示すブロック図である。 本発明の実施形態の運転者状態推定装置に備えられているコントロールユニットにおいて実行される処理を示すフローチャートである。 視野欠損のある運転者を模擬するための視野欠損メガネを着用した被験者の写真を示す。 ドライブシミュレータによる運転の結果を、通常時と、視野欠損時について示す時系列データの一例である。 図４に示した時系列データにＦＦＴ解析を施すことにより得られたパワースペクトル密度を示す図である。 二人の被験者がドライブシミュレータ上で運転した際の視線分布の一例を示す図である。

次に、添付図面を参照して、本発明の好ましい実施形態による運転者状態推定装置を説明する。
図１は、本発明の実施形態による運転者状態推定装置の全体を示すブロック図である。

図１に示すように、本発明の実施形態による運転者状態推定装置１は、コントロールユニット２と、車室外カメラ４と、ステアリングセンサ６と、車室内カメラ８と、警報器１０と、通信機１２と、を有する。また、コントロールユニット２は、接続された運転支援装置１４に指令信号を出力可能に構成されている。

コントロールユニット２は、車室外カメラ４、ステアリングセンサ６、及び車室内カメラ８による各検出信号を受信し、警報器１０と、通信機１２、及び運転支援装置１４に制御信号を出力するように構成されている。具体的には、コントロールユニット２は、各機器からの検出信号を入力するための入力インターフェイス回路、各機器へ制御信号を出力するための出力インターフェイス回路、入力された信号を処理するためのマイクロプロセッサ、メモリ、及びこれらを作動させるためのプログラム（以上、図示せず）から構成されている。さらに、コントロールユニット２は、内蔵されたマイクロプロセッサ等の作用により、画像解析部１６、及び運転者異常判定部１８として機能する。

車室外カメラ４は、運転者状態推定装置１が搭載されている車両が走行している車両の周辺状況を撮像するように設けられた車外環境カメラである。本実施形態においては、車室外カメラ４は、車両のバックミラー（図示せず）の背面側に取り付けられており、車両の運転者の視界と概ね同等の視野で走行環境を撮像するように設けられたビデオカメラである。

ステアリングセンサ６は、運転者によるステアリング操作を検出するように設けられたセンサであり、ステアリングシャフトの回転角を検出可能に構成されている。本実施形態においては、ステアリングセンサ６として、ロータリーエンコーダが使用されている。
車室内カメラ８は、車両の車室内に配置された運転者カメラであり、主として、車両を運転する運転者の頭部を前方から撮影するように向けられたビデオカメラである。

警報器１０は、コントロールユニット２に内蔵された運転者異常判定部１８により、運転者の体調不良が推定されたとき、その旨を視覚的、聴覚的に運転者に伝達するための装置である。本実施形態においては、運転席に設けられたディスプレイ（図示せず）及びスピーカ（図示せず）が警報器１０として機能する。警報器１０は、運転者に体調不良の疑いがあり、運転不能の状態に陥る可能性があるので、速やかに安全な場所に車両を停止させるよう、ディスプレイに表示すると共に、音声で運転者に報知するように構成されている。

通信機１２は、運転者異常判定部１８により、運転者の体調不良が推定されたとき、その旨を近隣の警察や、公共機関に無線で通報するように構成されている。これにより、運転者が体調不良により運転不能な状態に陥った場合でも、被害を最小限に食い止める措置をとることが可能になる。

運転支援装置１４は、車両に搭載された各種センサ、ステアリングアクチュエータ、ブレーキアクチュエータ等（以上、図示せず）を備えている。本実施形態においては、運転支援装置１４は、各種センサの検出信号に基づいて上記のアクチュエータを制御することにより、衝突防止機能や、レーンキープアシスト機能等、様々な機能を実現可能に構成されている。また、運転支援装置１４は、コントロールユニット２から送信された指令信号に基づいて、各機能の設定を変更可能に構成されている。

次に、図２乃至図６を参照して、コントロールユニット２における情報処理を説明する。
図２は、本実施形態の運転者状態推定装置に備えられているコントロールユニットにおいて実行される処理を示すフローチャートである。

コントロールユニット２は、車両の走行中において、図２に示すフローチャートによる処理を所定の時間間隔で繰り返し実行するように構成されている。まず、図２のステップＳ１においては、車室内カメラ８により撮像されたビデオ画像のデータがコントロールユニット２に入力される。コントロールユニット２に内蔵された画像解析部１６は、車室内カメラ８から入力された画像を画像解析し、運転者の視線の方向を所定の時間間隔で特定する。画像解析部１６において求められた運転者の視線の方向のデータは、コントロールユニット２に記憶される。

次に、ステップＳ２においては、車室外カメラ４により撮像されたビデオ画像のデータがコントロールユニット２に入力される。コントロールユニット２に内蔵された画像解析部１６は、車室外カメラ４から入力された画像を画像解析し、走行している車両の車外環境を所定の時間間隔で特定する。具体的には、画像解析部１６は、車室外カメラ４により撮像された画像を解析し、車両が走行すべき車線、歩行者、先行車両、対向車線の車両、信号機、道路標識、その他の看板等の情報を抽出する。画像解析部１６において求められた車外環境のデータは、コントロールユニット２に記憶される。

さらに、ステップＳ３においては、ステアリングセンサ６により検出されたステア角［ｄｅｇ］がコントロールユニット２に入力される。
次いで、ステップＳ４において、コントロールユニット２は、ステップＳ３において取得されたステア角の時系列波形をＦＦＴ（高速フーリエ変換）解析し、各周波数におけるパワースペクトル密度（ＰＳＤ）を算出して記憶する。また、コントロールユニット２には、運転者に異常がない状態における通常のステアリング操作波形をＦＦＴ解析したパワースペクトル密度のデータがあらかじめ記憶されている。

さらに、ステップＳ５においては、ステップＳ４において取得されたパワースペクトル密度の高周波領域と、予め記憶されている、その運転者の通常時におけるパワースペクトル密度の高周波領域との差ΔＰＳＤが所定の閾値以上であるか否かが判断される。パワースペクトル密度の高周波領域の差ΔＰＳＤが所定の閾値以上である場合にはステップＳ６に進み、所定の閾値未満である場合には、ステップＳ１１において「異常なし」と判定し、図２に示すフローチャートの１回の処理を終了する。

ここで、図３乃至図５を参照して、運転者に視野欠損がある場合の、ステアリング操作の変化の一例を説明する。
図３は、視野欠損のある運転者を模擬するための視野欠損メガネを着用した被験者の写真を示す。図４は、ドライブシミュレータによる運転の結果を、通常時と、視野欠損時について示す時系列データの一例である。図５は、図４に示した時系列データにＦＦＴ解析を施すことにより得られたパワースペクトル密度を示す図である。

視野欠損がある場合における運転者のステアリング操作の変化を、健常な被験者によるドライブシミュレータの実験により明らかにした。また、同一の運転者が視野欠損を生じた場合の運転行動は、同一の被験者が図３に示す視野欠損メガネを着用した状態でドライブシミュレータを運転することにより測定した。図３に示すように、視野欠損メガネは、各メガネレンズの中心軸線の片側半分（図３では被験者から見て右側半分）が黒く塗りつぶされたメガネであり、これにより被験者は視界の右又は左の一方が遮られ、視野が欠損した状態が模擬される。

図４は、健常な同一の被験者が、視野欠損メガネを着用した状態と、着用していない状態において、同一車線をドライブシミュレータにより運転した結果を示すグラフである。図４の上段は、ドライブシミュレータにおけるステアリング操作を示すグラフであり、下段は、ドライブシミュレータ上で走行した車両の横位置（オフセット）を示すグラフである。各グラフにおいて、実線は健常な被験者による運転結果を示し、破線は視野欠損を模擬した被験者の運転結果を示しており、実線及び破線はドライブシミュレータにより同一の車線を走行した結果を示している。

まず、図４の上段のグラフから明らかなように、破線で示す視野欠損を模擬した被験者では、実線で示す健常な被験者によるステアリング操作よりも、細かな波形の振動が全体的に多くなっている。例えば、グラフ中のＡ部では、視野欠損を模擬した被験者の操作量が大きくなっていると共に、Ｂ部では大きな修正操舵が見られる。

さらに、図４の下段のグラフに示すように、破線で示す視野欠損を模擬した被験者では、実線で示す健常な被験者による走行位置よりも、車線中央からのオフセットが全体的に大きくなっている。例えば、グラフ中のＣ部では車両の横位置が大きく車線中央からずれており、Ｄ部では走行位置が大きくふらついている。また、Ｅ部に見られるように走行位置に安定感が欠如している。

図５は、図４の上段に示したステアリング操作の時系列波形に対してＦＦＴ解析を施すことにより得られたパワースペクトル密度を示すグラフである。図５の左欄は健常な被験者におけるパワースペクトル密度を示し、右欄は視野欠損を模擬した被験者におけるパワースペクトル密度を示す。

図５から明らかなように、右欄に示す視野欠損を模擬した被験者では、左欄に示す健常な被験者におけるパワースペクトル密度よりも、高周波領域におけるスペクトルが大きくなっている。特に、図５において太枠で囲った０．２５Ｈｚ〜０．５Ｈｚの周波数領域におけるパワースペクトルが、視野欠損を模擬した被験者において大きくなっている。

本実施形態においては、図２のステップＳ４において計算されたパワースペクトル密度が０．２５Ｈｚ〜０．５Ｈｚの範囲で積分され、その積分値ＰＳＤ１が、予め測定され、記憶されていた通常時における積分値ＰＳＤＮとステップＳ５において比較される。これら積分値ＰＳＤ１とＰＳＤＮの差ΔＰＳＤが所定の閾値未満であれば視野欠損の疑いはないので、コントロールユニット２に内蔵された運転者異常判定部１８によって、「異常なし」と判定される（図２のステップＳ５→Ｓ１１）。

また、本件発明者の研究によれば、視野欠損が生じた運転者では、視野欠損がないときよりもステアリング操作が大きく、振動的になり、ステアリング操作が円滑でなくなるためステアリングエントロピーが増大することも明らかとなっている。しかしながら、車両が渋滞した道路を走行している場合等、車速が遅い場合や、積雪や道路の凹凸等で通常の運転行動がとりにくい場合には、ステアリング操作のみからでは、視野欠損の有無の判定が困難であることが、本件発明者の研究から明らかとなっている。このため、本実施形態においては、図２のステップＳ６以下の処理を実行することにより、誤判定の発生を抑制している。

次に、図２のステップＳ６においては、ステップＳ１において画像解析部１６によって画像解析され、コントロールユニット２に記憶されていた運転者の視線の方向のデータについて判定が行われる。即ち、本件発明者の研究によれば、運転者が視野欠損状態となると、健常時に比べ、視野の欠損した部分を補うために視線の方向を大きく移動させることが明らかとなっている。ステップＳ６においては、所定期間における運転者の視線の方向の分布が、予め記憶されている、その運転者の通常時における視線の方向の分布に対して拡大しているか否かが判断される。視線の方向の分布が拡大している場合にはステップＳ７に進み、拡大していない場合にはステップＳ１１において「異常なし」と判定し、図２に示すフローチャートの１回の処理を終了する。

さらに、ステップＳ７においては、ステップＳ１において画像解析部１６によって画像解析され、コントロールユニット２に記憶されていた運転者の視線の方向の分布に偏りがあるか否かが判断される。即ち、本件発明者の研究によれば、運転している車両の外部環境によっては、健常な運転者であっても視線の方向の分布が拡大する場合もあるが、そのような場合には、視線の方向の分布に偏りがない。これに対し、運転者の視線の方向の分布が視野欠損により拡大している場合には、分布に偏りが生じていることが明らかとなっている。ステップＳ７において、視線の方向の分布に偏りがある場合にはステップＳ８に進み、偏りがない場合にはステップＳ１１において「異常なし」と判定し、図２に示すフローチャートの１回の処理を終了する。

次いで、ステップＳ８においては、ステップＳ２において画像解析部１６により画像解析された車室外カメラ４によるビデオ画像に基づいて、運転者の視線の方向の分布の拡大が、外部環境によるものであるか否かが判定される。視線の分布の拡大が外部環境によるものでない場合にはステップＳ９に進み、運転者に「視野欠損の疑いあり」と判定する。一方、外部環境によるものである場合にはステップＳ１１に進み、「異常なし」と判定して図２に示すフローチャートの１回の処理を終了する。即ち、走行している車両の周辺に運転者が注目すべき物標があり、その周辺物標に運転者が視線を向けることにより、視線の分布が拡大すると共に、分布が偏っている場合には、運転者異常判定部１８は「異常なし」と判定する。即ち、運転者異常判定部１８は、車室内カメラ８により撮像されたビデオ画像を画像解析して検出された運転者の視線の方向と、車室外カメラ４によって撮像されたビデオ画像が整合している場合には、運転者の視線の方向の分布が通常状態に対して拡大していても、運転者に視野欠損の疑いがあるとは判定しない。

具体的には、画像解析部１６は、車室外カメラ４によるビデオ画像を解析して、車両周辺の歩行者、先行車両、対向車線の車両、信号機、道路標識、その他の看板等の物標を抽出し、その物標の位置を特定する。次に、画像解析部１６は、車室内カメラ８により撮像されたビデオ画像から運転者の視線の方向を特定する。運転者異常判定部１８は、車室外カメラ４の画像から抽出された物標の位置と、車室内カメラ８の画像から特定された運転者の視線の方向を照合し、運転者の視線が抽出された物標（例えば、道路標識）に向けられたものであれば、「視野欠損の疑いあり」とは判定しない。

このように、運転者が車両の周辺に存在する種々の物標に視線を向けることは自然な運転行為であり、運転者の視線がこのように分布している場合には、運転者の視線の方向が車室外カメラ４で撮像した車外環境と整合しているということができ、「異常なし」と判定する。また、車両が市街地などを走行し、車両の周辺に多数（例えば、１０個以上）の認識対象物（物標）が存在する場合には、運転者が視線を向けている認識対象物を特定することが困難である。このような場合にも、運転者異常判定部１８は「視野欠損の疑いあり」とは判定せず、ステップＳ１１に進み、図２に示すフローチャートの１回の処理を終了する。

ステップＳ９において「視野欠損の疑いあり」と判定された場合には、さらに、ステップＳ１０に進む。ステップＳ１０においては、運転者異常判定部１８は、警報器１０である車室内のディスプレイ（図示せず）及びスピーカ（図示せず）に信号を送り、運転者に対し警報を発する。本実施形態において、運転者異常判定部１８は、ディスプレイ（図示せず）に「視野欠損の疑いがあります、速やかに安全な場所に車両を停車させて下さい」とのメッセージを表示し、同内容の音声をスピーカから出力させる。さらに、運転者異常判定部１８は、運転支援装置１４に指令信号を送り、運転支援装置１４の設定を状況に合わせて変更する。具体的には、運転支援装置１４が実行するレーンキープアシスト制御を強化し、車両がより車線から外れにくくなるように、レーンキープアシスト制御の制御パラメータを変更する。

また、運転支援装置１４が自動運転機能を備えている場合には、自動運転により車両が自動的に安全な場所に停車するように、運転者異常判定部１８が運転支援装置１４に指令を出すように本発明を構成することもできる。さらに、運転者異常判定部１８は、通信機１２に指令信号を送り、運転者が運転不能に陥る恐れがあることを最寄りの警察署等に緊急通報して、図２のフローチャートの１回の処理を終了する。このように、運転者状態推定装置１は、警報器１０や通信機１２、運転支援装置１４等に何らかの出力をする出力装置を備え、運転者が運転不能に陥る可能性がある事態に対処することが好ましい。

次に、図６を参照して、運転者の視線の方向の分布の一例を説明する。
図６は、二人の被験者がドライブシミュレータ上で運転した際の視線分布の一例を示す図である。

図６は、二人の被験者がドライブシミュレータ上で高速道路を走行した際の視線の分布の一例を示す図であり、図６の（ａ）欄は被験者Ａが視野欠損メガネを着用せずに運転した場合を示し、（ｂ）欄は同被験者が視野欠損メガネを着用して運転した場合を示している。同様に、図６の（ｃ）欄は被験者Ｂが視野欠損メガネを着用せずに運転した場合を示し、（ｄ）欄は同被験者が視野欠損メガネを着用して運転した場合を示している。図６は、各被験者がドライブシミュレータを１分３０秒間運転している間の視線の分布を示している。

図６に示す例のように、通常の状態の被験者が高速道路を走行し、対向車等がない状況では、被験者の視線の方向は比較的狭い範囲に分布する（図６の（ａ）欄及び（ｃ）欄）。これに対し、各被験者とも視野欠損メガネを着用した状態（図６の（ｂ）欄及び（ｄ）欄）では、着用していない状態よりも視線の方向が広い範囲に分布している。また、視野欠損メガネを着用していない状態において、被験者Ｂは被験者Ａよりも広い範囲に視線が分布しており、分布の範囲が被験者毎に異なっているが、何れの被験者においても視野欠損メガネを着用すると、着用していない場合よりも視線が分布する範囲が拡大している。このため、運転者毎に健常な状態における視線の分布を測定して記憶しておき、運転中における視線の分布と比較することにより、運転者の視野欠損を検知することが可能になる。

本実施形態においては、視界の中に分布している運転者の視線を示すプロット点の分散を、上下方向及び左右方向について計算し、それらの平均値により視線の分布の広さを評価している。即ち、本実施形態においては、運転者の通常時における視線の方向の分布の分散を測定し、その値を予め記憶しておく。さらに、図２のステップＳ５においては、その運転者の運転中における視線の方向の分布の分散を計算し、求められた分散が予め記憶されている分散よりも所定値以上増加している場合に、視線分布が拡大していると判断される。

また、図６の（ｂ）欄及び（ｄ）欄に示すように、被験者Ａ、Ｂとも、視野欠損メガネを着用した状態では、視野の分布が左右方向の何れかに偏っていることがわかる。即ち、視野欠損メガネを着用していない状態においては、被験者の視線は、走行すべき車線の中央を中心に左右に概ね均等に分布している（図６の（ａ）欄及び（ｃ）欄）のに対し、視野欠損メガネを着用した状態では、視線の分布が車線の中央に対して右側又は左側に偏っていることが分かる。このような視線の分布の偏りは、視野欠損を生じた運転者特有の傾向であることが本件発明者の研究により明らかにされている。本実施形態においては、運転者の視線の分布が、車線の中央に対して所定割合以上右側又は左側に偏った場合に「視線分布に偏りがある」と判定し、このような偏りが見られない場合には「視野欠損の疑いなし」と判定している（図２のステップＳ７）。

さらに、図６に示した結果は、車両が高速道路を走行した場合におけるものであるが、本件発明者の実験によれば、車両が市街地等、視認対象物の多い環境を走行する場合には、運転者の視線の分布は視認対象物の位置により大きく変化した。このため、このような走行環境においては、視線の分布のみから運転者の視野欠損の有無を明確に特定することは困難であった。特に、運転者の視界に歩行者や、信号機、道路標識等、多数の視認対象物が存在する場合には、車室外カメラ４の画像と運転者の視線の方向を照合しても、運転者がどの対象物に視線を向けているか特定することが困難であった。このため、車室外カメラ４で撮像された車外環境に多数の視認対象物が存在する場合には、「視野欠損の疑いあり」との判定は行わず、「視野欠損の疑いなし」と判定している（図２のステップＳ８）。

また、車両が高速道路等を走行しており、視認対象物が少ない状況であっても、運転者の視線が先行車両や対向車に向けられている場合には、運転者の視線の分布が拡大し、分布に偏りが生じる。このような場合には、運転者の視線の方向と、車外環境を照合し、それらが整合していれば（視認対象物に視線を向けていれば）「視野欠損の疑いなし」と判定し、整合していなければ「視野欠損の疑いあり」と判定するように本発明を構成することもできる。

本発明の実施形態の運転者状態推定装置１によれば、運転者異常判定部１８は、運転者の視線の方向の分布が通常状態に対して拡大し（図２のステップＳ６）、且つステアリング操作が通常状態に対して変化した（図２のステップＳ５）場合に、運転者に視野欠損の疑いがあると判定するので、誤判定を十分に抑制しながら、運転者の視野欠損を判定することができる。

また、本実施形態の運転者状態推定装置１によれば、車室外カメラ４によって撮像された車外環境と、画像解析部１６により検出された視線の方向が整合している場合には、運転者の視線の方向の分布が拡大していても、運転者に視野欠損の疑いありと判定しない（図２のステップＳ８）ので、視線の分布に基づく誤判定の発生を抑制することができる。

さらに、本実施形態の運転者状態推定装置１によれば、車室外カメラ４によって撮像された画像に多くの視認対象物が含まれている場合には、運転者異常判定部１８は、運転者に視野欠損の疑いがあると判定しない（図２のステップＳ８）ので、視認対象物が多い環境における視線の方向の分布の拡大により誤判定が発生するのを防止することができる。

また、本実施形態の運転者状態推定装置１によれば、運転者の視線の方向が道路標識に向けられている場合には、運転者異常判定部１８は、視線の方向と車外環境が整合していると判断し、運転者に視野欠損の疑いがあると判定しない（図２のステップＳ８）ので、運転者が道路標識に視線を向けることによる誤判定を抑制することができる。

さらに、本実施形態の運転者状態推定装置１によれば、運転者異常判定部１８は、視線の方向の分布に偏りがない場合には運転者に視野欠損の疑いがあると判定しない（図２のステップＳ７）ので、誤判定を抑制することができる。

また、本実施形態の運転者状態推定装置１によれば、運転者に視野欠損の疑いがあると判定された場合には、車両に搭載されている運転支援装置１４の設定が変更される（図２のステップＳ１０）ので、運転者の状態に応じた適切な運転支援を行うことが可能になり、視野欠損のある運転者が運転を中止するまでの間に、事故等が発生するのを抑制することができる。

以上、本発明の好ましい実施形態を説明したが、上述した実施形態に種々の変更を加えることができる。

１ 運転者状態推定装置
２ コントロールユニット
４ 車室外カメラ（車外環境カメラ）
６ ステアリングセンサ
８ 車室内カメラ（運転者カメラ）
１０ 警報器
１２ 通信機
１４ 運転支援装置
１６ 画像解析部
１８ 運転者異常判定部

Claims (6)

1. 車両を運転する運転者の状態を推定する運転者状態推定装置であって、
   運転者によるステアリング操作を検出するステアリングセンサと、
   車両を運転する運転者を撮像する運転者カメラと、
   この運転者カメラにより撮像された画像に基づいて運転者の視線の方向を検出する画像解析部と、
   上記ステアリングセンサにより検出されたステアリング操作、及び上記画像解析部により検出された視線の方向に基づいて運転者の異常を判定する運転者異常判定部と、を有し、
   上記運転者異常判定部は、運転者の視線の方向の通常状態に対する分布の拡大が検出され、且つステアリング操作の通常状態に対する変化が検出される場合に、運転者に視野欠損の疑いがあると判定するように構成されていることを特徴とする運転者状態推定装置。
2. さらに、車両の周辺環境を撮像する車外環境カメラを有し、この車外環境カメラによって撮像された車外環境と、上記画像解析部により検出された視線の方向が整合している場合には、上記運転者異常判定部は、上記運転者の視線の方向の分布が通常状態に対して拡大していても、運転者に視野欠損の疑いがあると判定しないように構成されている請求項１記載の運転者状態推定装置。
3. さらに、車両の周辺環境を撮像する車外環境カメラを有し、上記運転者異常判定部は、上記車外環境カメラによって撮像された画像に多くの視認対象物が含まれている場合には、運転者の視線の方向の分布が通常状態に対して拡大している場合であっても運転者に視野欠損の疑いがあると判定しないように構成されている請求項１記載の運転者状態推定装置。
4. 上記画像解析部は上記車外環境カメラによって撮像された画像から道路標識を抽出するように構成され、上記運転者異常判定部は、運転者の視線の方向が上記画像解析部によって抽出された道路標識に向けられている場合には、運転者の視線の方向と上記車外環境カメラによって撮像された車外環境が整合していると判定するように構成されている請求項２記載の運転者状態推定装置。
5. 上記運転者異常判定部は、運転者の視線の方向の分布が通常状態に対して拡大している場合であっても、視線の方向の分布に偏りがない場合には運転者に視野欠損の疑いがあると判定しないように構成されている請求項１乃至４の何れか１項に記載の運転者状態推定装置。
6. 上記運転者異常判定部は、運転者に視野欠損の疑いがあると判定された場合には、車両に搭載されている運転支援装置の設定を変更するように構成されている請求項１乃至５の何れか１項に記載の運転者状態推定装置。