JP2017165137A

JP2017165137A - 運転者心理判定装置

Info

Publication number: JP2017165137A
Application number: JP2016049782A
Authority: JP
Inventors: 勝哉樋崎; Katsuya Hizaki
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2017-09-21
Anticipated expiration: 2036-03-14
Also published as: JP6558283B2

Abstract

【課題】運転者の心理状態が運転動作に表れる前の早い段階にあっても運転者の心理状態を判定することのできる運転者心理判定装置を提供する。
【解決手段】この装置は、運転者の視線を複数の領域に分類してそれら分類した領域への所定時間内における視線の滞留割合を計測するとともに、車載機器の操作が一定時間変化しない状態を平常時として定義したときに当該平常時からのその都度の視線の滞留割合の変化量を視線変化判定部１０７を通じて判定する。そして、視線変化判定部１０７により判定される視線の滞留割合の変化量が所定値以上であること、又は、足状態変化判定部１０８によりブレーキペダルに対する運転者の足の接触が判定されたこと、又は、手状態変化判定部１１１によりウィンカースイッチに対する運転者の手の接触が判定されたことを条件に、運転者に余裕がないものとして運転者の心理状態を心理状態判定部１０３を通じて判定する。
【選択図】図１

Description

本発明は、運転者の心理状態を判定する運転者心理判定装置に関する。

従来、この種の運転者心理判定装置として、例えば特許文献１に記載の装置が知られている。この装置では、例えば車線変更時、発進を含めた乗車時、赤信号での停止時等、様々な運転場面における運転者の一連の動作を検出し、その検出した一連の動作と運転者が通常行っている一連の動作（基本動作）とを比較する。そしてこうした比較に基づき、普段よりも急いで運転動作を行ったり、あるいは普段行っている運転動作を省いたりしていることが明らかとなったときには、運転者が焦っている（先を急いでいる）状態にあるものとして運転者の心理状態を判定するようにしている。

特開２００７−１９３６０４号公報

ところで、上記文献に記載の装置では、運転者の心理状態が運転動作に表れる前の段階では運転者の心理状態を判定することができない。そもそもこのような心理状態の判定は早いに越したことはなく、判定処理の早期化が望まれている。

本発明は、このような実情に鑑みてなされたものであり、その目的は、運転者の心理状態が運転動作に表れる前の早い段階にあっても運転者の心理状態を判定することのできる運転者心理判定装置を提供することにある。

上記課題を解決する運転者心理判定装置は、車両の運転者の心理状態を判定する運転者心理判定装置であって、前記運転者の視線を複数の領域に分類してそれら分類した領域への所定時間内における視線の滞留割合を計測するとともに、車載機器の操作が一定の時間変化しない状態を平常時として定義したときに当該平常時の視線の滞留割合に対するその都度の前記分類した領域への所定時間内における視線の滞留割合の変化量を判定する視線変化判定部と、車両のアクセルペダル又はブレーキペダルに対する運転者の足の運びの有無を判定する足状態変化判定部と、車両のハンドル又はウィンカースイッチに対する運転者の手の運び度合いを判定する手状態変化判定部と、前記視線変化判定部により判定される視線の滞留割合の変化量が所定値以上であること、又は、前記足状態変化判定部により前記アクセルペダル又は前記ブレーキペダルに対する運転者の足の運びが判定されたこと、又は、前記手状態変化判定部により前記ハンドル又は前記ウィンカースイッチに対する運転者の所定以上の手の運び度合いが判定されたことを条件に、運転者に余裕がないものとして運転者の心理状態を判定する心理状態判定部とを備える。

車載機器の操作が一定の時間変化せず、運転以外の行動や運転操作に依存する行動が視線に影響しにくい状態を平常時として定義したとき、運転者に余裕が無くなったとするとその心理状態の変化が運転者の視線の挙動に大きく表れるようになる。そこで上記構成では、平常時からの視線の挙動、すなわち上記分類した領域への所定時間内における視線の滞留割合の変化量を監視することにより運転者の心理状態を早期に判定することを可能にしている。また上記構成では、例えば車線変更時や車両の加減速時等、運転者に心理的なストレスを強いる状況下にあって運転者の運転動作に先立つ初動操作として行われるアクセルペダル又はブレーキペダルに対する運転者の足の運び、若しくはハンドル又はウィンカースイッチに対する運転者の所定以上の手の運び度合いが判定された時点で、運転者に余裕がないものとして判定するようにしている。そして、これによっても運転者の心理状態の判定処理を早期に判定することを可能にしている。

運転者心理判定装置の一実施の形態の概略構成を示すブロック図。運転者の視線の分類に用いられる領域の一例を説明するための図。図２に示した各分類領域における運転者の視線の滞留時間を学習更新するときの処理の一例を説明するための図。同実施の形態の装置が実行する運転者の心理状態判定処理の処理手順を示すフローチャート。同実施の形態の装置が実行する早期判定処理の処理手順を示すフローチャート。同実施の形態の装置が実行する足状態判定処理の処理手順を示すフローチャート。同実施の形態の装置が実行する手状態判定処理の処理手順を示すフローチャート。

以下、運転者心理判定装置の一実施の形態について図面を参照して説明する。
本実施の形態の運転者心理判定装置は、車載機器の操作が一定の時間変化せず、運転以外の行動や運転操作に依存する行動が運転者の視線の挙動に影響しにくい状態を平常時として定義している。そして、この平常時から運転者の視線の挙動が大きく変化したとき、運転者が焦っている（先を急いでいる）ものとして運転者の心理状態を判定するようにしている。また、この装置では、運転者の手及び足の挙動も併せて監視しており、これら挙動が大きく変化したときにも、運転者が焦っているものとして運転者の心理状態を判定するようにしている。なお、これら運転者の視線、手、足の挙動の変化は、運転者の心理状態が運転動作に表れる前の初期動作として生じるものである。そのため、この装置では、これら挙動の変化に基づき、運転者の心理状態が運転動作に表れる前の早い段階にあっても運転者の心理状態を判定できるようにしている。

はじめに、本実施の形態の装置の構成について図面を参照して説明する。
図１に示すように、車両１００は、当該車両１００の周辺を撮影対象とする第１の車載カメラ１０１を有しており、第１の車載カメラ１０１により撮影された車両周辺の画像は周辺認識部１０２に出力される。周辺認識部１０２は、第１の車載カメラ１０１から入力される車両周辺の画像に対して画像認識処理を行うことにより、例えば自車両周辺に存在する周辺車両、道路上に置かれた落下物、道路に進入する虞のある人や動物等、車両周辺の走行環境の認識を通じて自車両に影響する事象の有無を判定する。また、周辺認識部１０２は、当該事象による影響への対応がすぐに必要な状況であるか否かも併せて判定する。なお、事象による影響への対応がすぐに必要な状況とは、例えば隣車線を走行する車両からの割り込み等により車間距離が短くなったことに起因してブレーキペダルを踏むといった状況や、自車両の前方の落下物を回避するためにハンドルを操作するといった状況等、運転者が様子見をする間も無く即座に運転行動に移る必要のある状況を意味している。そして、これら周辺認識部１０２による判定結果は心理状態判定部１０３に出力され、心理状態判定部１０３における運転者の心理状態の判定に用いられる。

具体的には、心理状態判定部１０３は、周辺認識部１０２により車両１００に影響を及ぼす事象がないと判定されたときには、運転者に「余裕がある」ものとして運転者の心理状態を判定する。また、心理状態判定部１０３は、周辺認識部１０２により車両１００に影響を及ぼす事象があり、且つ、当該事象による影響への対応がすぐに必要であると判定されたときには、運転者に「余裕がない」ものとして運転者の心理状態を判定するようにしている。その一方で、心理状態判定部１０３は、周辺認識部１０２により車両１００に影響を及ぼす事象があるものの、当該事象による影響への対応がすぐには必要でないと判定されたときには、運転者の運転動作に先立つ初動操作の一例として運転者の視線、足の状態、及び手の状態に基づき運転者の心理状態を判定する。そして、心理状態判定部１０３は、それら判定結果を用いつつ運転者の心理状態が運転動作に表れる前の早期の段階にて運転者の心理状態の判定を行う。

ここで、運転者の視線に基づく判定では、平常状態学習部１０４は、第２の車載カメラ１０５により撮影された運転者の顔の画像に対して視線認識処理を行うことにより運転者の視線を認識する。この運転者の視線の認識は、車載機器の操作が一定の時間変化せず、運転以外の行動や運転操作に依存する行動が視線に影響しにくい状況を平常時として定義したとき、当該平常時に該当するときにのみ行われる。なお、平常時に該当しないケースとしては、例えば以下の（Ａ）〜（Ｆ）に列挙するケースが想定される。

（Ａ）停車前後（停車直後、停車中、発進直後）。
（Ｂ）現状の速度を維持する以上の加減速中。
（Ｃ）操舵中。
（Ｄ）ウィンカーやハザードを点灯中。
（Ｅ）カーナビゲーションシステムやオーディオシステムを操作中。
（Ｆ）居眠り中等、運転者の視線が検知できない。

そして、平常状態学習部１０４は、上記（Ａ）〜（Ｆ）に列挙する何れのケースにも該当しない平常時において、運転者の視線を複数の領域に分類して各領域における視線の滞留割合を算出する。また、平常状態学習部１０４は、こうして算出した視線の滞留割合を平常時における運転者の視線の挙動として視線学習結果データベース１０６に格納する。

図２は、平常状態学習部１０４により運転者の視線の挙動を学習する際の視線の分類に用いられる領域の一例を説明するための図である。同図に示す例では、分類の対象となる領域として５つの領域が設定されている。そしてこの例では、第１の領域（ａ）は、車両のルームミラー（バックミラー）に対応する領域として設定されている。また、第２の領域（ｂ）は、車両のサイドミラーに対応する領域として設定されている。また、第３の領域（ｃ）は、車両のフロントガラスを車両の幅方向に５つに等分割したときに左から４番目となる領域であり、運転者の正面に位置する領域として設定されている。また、第４の領域（ｄ）は、車両のフロントガラスのうち、上記第３の領域（ｃ）以外の領域として設定されている。また、第５の領域（ｅ）は、車両のフロントガラスから外れた領域であり、上記第１〜第４の領域（ａ）〜（ｄ）に区分されない他の領域として設定されている。

図３は、平常状態学習部１０４が図２に示した各領域（ａ）〜（ｅ）における運転者の視線の滞留割合を学習更新するときの処理の一例を説明するための図である。同図に示す例では、平常状態学習部１０４は、上記第１〜第５の領域（ａ）〜（ｅ）への運転者の視線の滞留時間としてそれぞれ、「１分」、「５０秒」、「６分」、「２分」、「１０秒」を算出している。また、平常状態学習部１０４は、これら滞留時間の合算値が所定時間（同図に示す例では、「１０分」）に達した時点で、各領域（ａ）〜（ｅ）の滞留割合としてそれぞれ、「１０％」、「８．３％」、「６０％」、「２０％」、「１．７％」を算出している。そして、平常状態学習部１０４は、こうして新たに算出した視線の滞留割合を、視線学習結果データベース１０６から読み出した過去の視線の滞留割合と所定の比率（例えば、１：９）で合算することにより、視線学習結果データベース１０６に格納される平常時における運転者の視線の滞留割合として更新する。

図１に示すように、こうして視線学習結果データベース１０６に格納された平常時における運転者の視線の滞留割合は視線変化判定部１０７により読み出され、視線変化判定部１０７における運転者の視線に基づく運転者の心理状態の判定に用いられる。

具体的には、視線変化判定部１０７は、第２の車載カメラ１０５からその都度入力される運転者の顔の画像に対して視線認識処理を行うことにより、運転者の視線の滞留割合を監視している。なお、視線変化判定部１０７による運転者の視線の認識についても、平常状態学習部１０４と同様にして、上記（Ａ）〜（Ｆ）に列挙されたケースに該当しないことを前提として行われる。そして、視線変化判定部１０７は、運転者の視線の認識により得られるその都度の運転者の所定時間内における視線の滞留割合と、その時点で視線学習結果データベース１０６に格納されている平常時における運転者の視線の滞留割合とを比較しつつ、平常時からの運転者の視線の挙動の変化量を算出する。なお、視線の挙動の変化量の算出方法としては、例えば母分散や母平均に基づく検定等、統計的な手法を用いることが可能である。そして、視線変化判定部１０７は、平常時における運転者の視線の挙動と現時点における運転者の視線の挙動との間に有意な差があると判定したときには、平常時からの運転者の視線の挙動の変化量が所定値以上であって、当該視線の挙動に基づく運転者の心理状態が「余裕がない」ものとして判定する。

また、運転者の足の状態に基づく判定は、上述した平常時における運転者の視線の挙動とその都度の運転者の視線の挙動との間に有意な差がないことを条件に行われる。そしてこの判定ではまず、足状態変化判定部１０８は、運転者によるアクセルペダルやブレーキペダルの操作の有無に関する情報を車両データ取得部１０９から取得する。ここで、足状態変化判定部１０８は、ブレーキペダルが操作中である旨の情報を取得したときには、車両が減速中にあって運転者が心理的なストレスを強いられる状況にあるものと判断する。このとき、足状態変化判定部１０８は、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定する。

また、足状態変化判定部１０８は、アクセルペダルが操作中である旨の情報を取得したときには、その操作量（アクセル開度）に関する情報を車両データ取得部１０９から取得する。そして、足状態変化判定部１０８は、アクセルペダルの操作量の単位時間ごとの変化量を算出し、その変化量が所定値以上であって大きいときにはアクセルペダルの操作が急峻であって運転者が心理的なストレスを強いられる状況にあるものと判断する。このときにも、足状態変化判定部１０８は、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定する。

また、足状態変化判定部１０８は、車両の走行中、アクセルペダルやブレーキペダルの操作が行われていないときには、第３の車載カメラ１１０からその都度入力される運転者の足元の画像に対して画像認識処理を行うことにより、運転者の足がブレーキペダルに接触しているか否かを判定する。そして、足状態変化判定部１０８は、運転者の足がブレーキペダルに接触していると判定したときには、車両の減速時のように運転者が心理的なストレスを強いられる状況にあって運転者の運転動作に先立つ初動操作として行われるブレーキペダルに対する運転者の足の接触が行われているものと判断する。このとき、足状態変化判定部１０８は、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定する。一方、足状態変化判定部１０８は、運転者の足がブレーキペダルに接触していないと判定したときには、アクセルペダルやブレーキペダルの操作自体だけでなく、上述したブレーキペダルの初動操作さえ何ら実行されていないと判断する。このとき、足状態変化判定部１０８は、運転者の足の状態に基づく運転者の心理状態が「余裕がある」ものとして判定する。

また、運転者の手の状態に基づく判定は、上述した運転者の視線に基づく判定、及び運転者の足の状態に基づく判定の何れにおいても、運転者に「余裕がある」ものとして運転者の心理状態が判定されたことを条件に行われるものである。そしてこの判定ではまず、手状態変化判定部１１１は、第４の車載カメラ１１２からその都度入力される運転者の手元の画像に対して画像認識処理を行うことにより、運転者によるハンドルの持ち位置や運転者の指がウィンカースイッチに対して接触しているか否かを判定する。そして、手状態変化判定部１１１は、運転者によるハンドルの持ち位置が大きく変化していると判定したときには、車両周辺での事象の存在に起因して運転者によるハンドルの持ち位置が緩慢なハンドル操作に対応する持ち位置から急峻なハンドル操作に対応する持ち位置へと変更されているものと判断する。このとき、手状態変化判定部１１１は、運転者の手の状態に基づく運転者の心理状態が「余裕はない」ものとして判定する。

また、手状態変化判定部１１１は、運転者によるハンドルの持ち位置の変更が行われていないとしても、運転者の指がウィンカースイッチに接触しているのであれば、車両の車線変更に先立つ初動操作が行われているものと判断する。このときにも、手状態変化判定部１１１は、運転者の手の状態に基づく運転者の心理状態が「余裕がない」ものとして判定する。一方、手状態変化判定部１１１は、運転者によるハンドルの持ち位置の変更がなく、且つ、運転者の指がウィンカースイッチに接触もしていないと判定したとき、ハンドルやウィンカースイッチの操作自体だけでなく、これらの初動操作さえ何ら実行されていないと判断する。このとき、手状態変化判定部１１１は、運転者の手の状態に基づく運転者の心理状態が「余裕がある」ものとして判定する。

そして、上述した運転者の視線、足の状態、及び手の状態に基づく判定結果は心理状態判定部１０３における運転者の心理状態の判定に用いられる。この判定では、心理状態判定部１０３は、運転者の視線、足の状態、手の状態の何れか一つに基づいたときにあっても運転者に「余裕がない」と判定されたときには、全体としても運転者に「余裕がない」ものとして運転者の心理状態を判定する。逆に、心理状態判定部１０３は、運転者の視線、足の状態、手の状態の何れに基づいたとしても、運転者に「余裕がある」と判定されたときには、全体としても運転者に「余裕がある」ものとして運転者の心理状態を判定する。

次に、上記実施の形態の運転者心理判定装置が実行する運転者の心理状態判定処理について、その具体的な処理手順を説明する。ここで、運転者心理判定装置は、車両のイグニッションスイッチがオンとなったことを条件に、図４に示す心理状態判定処理を開始する。

図４に示すように、この心理状態判定処理ではまず、第１の車載カメラ１０１により撮影された車両周囲の画像を用いつつ周辺認識部１０２を通じて車両周辺の状況を認識する（ステップＳ１００）。そして、車両に影響する事象がないと判定されるときには（ステップＳ２００＝ＹＥＳ）、現状を維持しつつ運転者に「余裕がある」ものとして運転者の心理状態を判定する（ステップＳ３００）。一方、車両に影響する事象があると判定されるときには（ステップＳ２００＝ＮＯ）、その事象による影響への対応が直ちに必要であるか否かを判定する（ステップＳ４００）。そして、事象による影響への対応がすぐに必要であると判定されるときには（ステップＳ４００＝ＹＥＳ）、影響への対応を行いつつ運転者に「余裕がない」ものとして運転者の心理状態を判定する（ステップＳ５００）。一方、事象による影響への対応がすぐには必要でないと判定されるときには（ステップＳ４００＝ＮＯ）、事象への注意を継続しつつ運転者の心理状態を早期に判定するべく早期判定処理を実行する（ステップＳ６００）。

図５に示すように、上記早期判定処理ではまず、運転者の視線の挙動が平常時と異なるか否かを判定する（ステップＳ６１０）。そして、運転者の視線の挙動が平常時とは異なると判定したときには（ステップＳ６１０＝ＹＥＳ）、運転者に「余裕がない」ものとして運転者の心理状態を判定した上で（ステップＳ６２０）、図５に示す早期判定処理を終了する。一方、運転者の視線の挙動が平常時と異ならないと判定したときには（ステップＳ６１０＝ＮＯ）、運転者の足の状態に基づく運転者の心理状態の判定を足状態判定処理として行う（ステップＳ６３０）。

図６に示すように、上記足状態判定処理ではまず、ブレーキの作動状態がＯＮとなっているか否かを判定する（ステップＳ６３１）。そして、ブレーキの作動状態がＯＮとなっているときには（ステップＳ６３１＝ＹＥＳ）、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定した上で（ステップＳ６３２）、図６に示す足状態判定処理を終了する。一方、ブレーキの作動状態がＯＦＦとなっているときには（ステップＳ６３１＝ＮＯ）、アクセル操作の実行に伴ってアクセル開度が「０」より大きくなっているか否かを判定する（ステップＳ６３３）。そして、アクセル開度が「０」より大きいときには（ステップＳ６３３＝ＹＥＳ）、単位時間ごとのアクセル開度の変化量を算出するとともに（ステップＳ６３４）、その算出したアクセル開度の変化量（差分）が所定値以上であって大きいか否かを判定する（ステップＳ６３５）。また、アクセル開度の変化量が大きいと判定したときには（ステップＳ６３５＝ＹＥＳ）、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定した上で（ステップＳ６３２）、図６に示す足状態判定処理を終了する。一方、アクセル開度の変化量が小さいと判定したときには（ステップＳ６３５＝ＮＯ）、運転者の足の状態に基づく運転者の心理状態が「余裕がある」ものとして判定した上で（ステップＳ６３８）、図６に示す足状態判定処理を終了する。また、先のステップＳ６３３においてアクセル操作が何ら行われておらずアクセル開度が「０」であると判定したときには（ステップＳ６３３＝ＮＯ）、第３の車載カメラ１１０により撮影された運転者の足元の画像を取得する（ステップＳ６３６）。また、この取得した画像を用いつつ運転者の足がブレーキペダルに接触しているか否かを判定する（ステップＳ６３７）。そして、運転者の足がブレーキペダルに接触していると判定したときには（ステップＳ６３７＝ＹＥＳ）、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定した上で（ステップＳ６３２）、図６に示す足状態判定処理を終了する。一方、運転者の足がブレーキペダルに接触していないと判定したときには（ステップＳ６３７＝ＮＯ）、運転者の足の状態に基づく運転者の心理状態が「余裕がある」ものとして判定した上で（ステップＳ６３８）、図６に示す足状態判定処理を終了する。

図５に戻り、図６に示した足状態判定処理により、運転者の足の状態に基づく運転者の心理状態として「余裕がない」との判定結果が得られたときには（ステップＳ６４０＝ＮＯ）、全体としても運転者に「余裕がない」ものとして運転者の心理状態を判定した上で（ステップＳ６２０）、図５に示す早期判定処理を終了する。一方、図６に示した足状態判定処理により、運転者の足の状態に基づく運転者の心理状態として「余裕がある」との判定結果が得られたときには（ステップＳ６４０＝ＹＥＳ）、運転者の手の状態に基づく運転者の心理状態の判定を手状態判定処理として行う（ステップＳ６５０）。

図７に示すように、上記手状態判定処理ではまず、第４の車載カメラ１１２により撮影された運転者の手元の画像を取得するとともに（ステップＳ６５１）、当該取得した画像を用いつつ運転者によるハンドルの持ち位置が大きく変化しているか否かを判定する（ステップＳ６５２）。そして、運転者によるハンドルの持ち位置が大きく変化していると判定したときには（ステップＳ６５２＝ＹＥＳ）、運転者の手の状態に基づく運転者の心理状態が「余裕がない」ものとして判定した上で（ステップＳ６５３）、図７に示す手状態判定処理を終了する。一方、運転者によるハンドルの持ち位置が大きく変化していないと判定したときには（ステップＳ６５２＝ＮＯ）、先のステップＳ６５１において取得した運転者の手元の画像を用いつつ運転者の指がウィンカースイッチに接触しているか否かを判定する（ステップＳ６５４）。そして、運転者の指がウィンカースイッチに接触していると判定したときには（ステップＳ６５４＝ＹＥＳ）、運転者の手の状態に基づく運転者の心理状態が「余裕がない」ものとして判定した上で（ステップＳ６５３）、図７に示す手状態判定処理を終了する。一方、運転者の指がウィンカースイッチに接触していないと判定したときには（ステップＳ６５４＝ＮＯ）、運転者の手の状態に基づく運転者の心理状態が「余裕がある」ものとして判定した上で（ステップＳ６５５）、図７に示す手状態判定処理を終了する。

図５に戻り、図７に示した手状態判定処理により、運転者の手の状態に基づく運転者の心理状態として「余裕がない」との判定結果が得られたときには（ステップＳ６６０＝ＮＯ）、全体としても運転者に「余裕がない」ものとして運転者の心理状態を判定した上で（ステップＳ６２０）、図５に示す早期判定処理を終了する。一方、図７に示した手状態判定処理により、運転者の手の状態に基づく運転者の心理状態として「余裕がある」との判定結果が得られたときには（ステップＳ６６０＝ＹＥＳ）、全体としても運転者に「余裕がある」ものとして運転者の心理状態を判定した上で（ステップＳ６７０）、図５に示す早期判定処理を終了する。すなわち、図５に示す早期判定処理では、運転者の視線、足の状態、手の状態の何れか一つでも運転者に「余裕がない」との判定結果が得られたときには、全体としても運転者に「余裕がない」ものとして運転者の心理状態を判定する。逆に、運転者の視線、足の状態、手の状態の何れも運転者に「余裕がある」との判定結果が得られたときには、全体としても運転者に「余裕がある」ものとして運転者の心理状態を判定する。

図４に戻り、こうして運転者の心理状態の判定が行われた後、車両のイグニッションスイッチがオンである間は（ステップＳ７００＝ＮＯ）、その処理をステップＳ１００に戻し、ステップＳ１００〜ステップＳ６００の処理を所定の周期で繰り返す。そして、車両のイグニッションスイッチがオフとなった時点で（ステップＳ７００＝ＹＥＳ）、図４に示す心理状態判定処理を終了する。

以上説明したように、本実施の形態によれば、以下に示す効果を得ることができる。
（１）心理状態判定部１０３は、視線変化判定部１０７により判定される視線の滞留割合の変化量が所定値以上であること、又は、足状態変化判定部１０８によりブレーキペダルに対する運転者の足の接触が判定されたこと、又は、手状態変化判定部１１１によりハンドルの持ち位置が大きく変化したこと又はウィンカースイッチに対する運転者の指の接触が判定されたことを条件に、運転者に余裕がないものとして運転者の心理状態を判定するようにしている。すなわち、運転者に余裕が無くなったときに車両の運転操作に先立ってその心理状態の変化が表れる運転者の視線の挙動を監視することを通じて運転者の心理状態を判定するようにしている。これにより、運転者の心理状態を早期に判定することが可能となる。また、例えば車線変更時や車両の加減速時等、運転者に心理的なストレスを強いる状況下にあって運転者の運転動作に先立つ初動操作として行われるブレーキペダルに対する運転者の足の接触、若しくはハンドルやウィンカースイッチに対する運転者の手の動きも併せて監視することを通じて運転者の心理状態を判定するようにしている。これによっても、運転者の心理状態の判定処理の早期化を図ることが可能となる。ちなみに、このような運転者の心理状態の判定結果は、例えば車両の走行中にプッシュ通知サービスの提供を行うような場合の、サービスの提供の適否判断等に用いることができる。

なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、図５に示した早期判定処理において、運転者の視線の挙動、足の挙動、及び手の挙動の判定をこの順に行ったが、これら判定の順序は任意に変更することが可能である。

・上記実施の形態においては、車載カメラにより撮影された画像を用いつつ運転者の手の挙動や足の挙動を判定するようにした。これに代えて、光学式センサ等の他の検出方式のセンサを用いつつ運転者の手の挙動や足の挙動を判定するようにしてもよい。要は、運転者の手や足と車載機器との接触を含めた位置関係を検出できるセンサであればよい。

・上記実施の形態においては、平常時における運転者の視線の滞留割合を、その都度の車両の走行環境を何ら考慮せずに管理するようにした。これに代えて、例えば車両の走行時間帯や天候等、車両の走行環境ごとに区別しつつ平常時における運転者の視線の滞留割合を管理するようにしてもよい。

・上記実施の形態においては、平常時における運転者の視線の滞留割合の更新として、過去の時点で視線学習結果データベース１０６に格納されていたデータと、新たに取得されたデータとを所定の比率（上記実施の形態では、９：１）で組み合わせるようにした。これに代えて、新たに取得されたデータを平常時における運転者の視線の滞留割合のデータとして書換更新するようにしてもよい。

・上記実施の形態においては、運転者の足がブレーキペダルに接触したことをもって、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定するようにした。これに代えて、又は、これに加えて、運転者の足がアクセルペダルに接触したことをもって、運転者の足の状態に基づく運転者の心理状態が「余裕がない」ものとして判定するようにしてもよい。

・上記実施の形態、並びに上記変形例においては、運転者の足がブレーキペダルもしくはアクセルペダルの接触したことをもって、運転者に「余裕がない」ものとして運転者の心理状態の判定を行うようにした。これに代えて、運転者の足がブレーキペダルもしくはアクセルペダルから所定距離の範囲内まで接近したことをもって、運転者に「余裕がない」ものとして運転者の心理状態の判定を行うようにしてもよい。要は、ブレーキペダルもしくはアクセルペダルに対する運転者の足の運びが判定されたことをもって、運転者に「余裕がない」ものとして運転者の心理状態の判定を行うようにしてもよい。

・上記実施の形態においては、ハンドルの持ち位置が大きく変化したこと、又は、運転者の指がウィンカースイッチに接触したことをもって、運転者に「余裕がない」ものとして運転者の心理状態の判定を行うようにした。ただし、運転者の手の挙動に基づく運転者の心理状態の判定条件はこれらに限られない。要は、ハンドル又はウィンカースイッチに対する運転者の手の運び度合いが所定以上となったことをもって、運転者に「余裕がない」ものとして運転者の心理状態の判定を行うようにしてもよい。

１００…車両、１０１…第１の車載カメラ、１０２…周辺認識部、１０３…心理状態判定部、１０４…平常状態学習部、１０５…第２の車載カメラ、１０６…視線学習結果データベース、１０７…視線変化判定部、１０８…足状態変化判定部、１０９…車両データ取得部、１１０…第３の車載カメラ、１１１…手状態変化判定部、１１２…第４の車載カメラ。

Claims

車両の運転者の心理状態を判定する運転者心理判定装置であって、
前記運転者の視線を複数の領域に分類してそれら分類した領域への所定時間内における視線の滞留割合を計測するとともに、車載機器の操作が一定の時間変化しない状態を平常時として定義したときに当該平常時の視線の滞留割合に対するその都度の前記分類した領域への所定時間内における視線の滞留割合の変化量を判定する視線変化判定部と、
車両のアクセルペダル又はブレーキペダルに対する運転者の足の運びの有無を判定する足状態変化判定部と、
車両のハンドル又はウィンカースイッチに対する運転者の手の運び度合いを判定する手状態変化判定部と、
前記視線変化判定部により判定される視線の滞留割合の変化量が所定値以上であること、又は、前記足状態変化判定部により前記アクセルペダル又は前記ブレーキペダルに対する運転者の足の運びが判定されたこと、又は、前記手状態変化判定部により前記ハンドル又は前記ウィンカースイッチに対する運転者の所定以上の手の運び度合いが判定されたことを条件に、運転者に余裕がないものとして運転者の心理状態を判定する心理状態判定部とを備える
ことを特徴とする運転者心理判定装置。