以下、本発明に係る実施の一形態を図面に基づいて説明する。尚、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。
図1は、運転支援装置100の全体像の一例を示すブロック図である。図1に示すように、運転支援装置100は、マイクロフォン2、車速センサー3、イグニッションキー4、液晶パネル5、スピーカー6、エアコン7、GPS(Global Positioning System)装置8、通信インターフェイス(I/F)回路9及び制御部1を備えている。
マイクロフォン2、車速センサー3、イグニッションキー4、液晶パネル5、スピーカー6、エアコン7、GPS装置8及び通信インターフェイス(I/F)回路9は、不図示のハーネスによって制御部1と通信可能に接続されている。
マイクロフォン2は、運転席前方に設けられたハンドル付近に設けられ、運転者の発話による音声等、マイクロフォン2付近の音声を示す音声信号を制御部1へ出力する。車速センサー3は、車速を計測し、当該計測した車速を示す車速信号を制御部1へ出力する。イグニッションキー4は、オン状態又はオフ状態に切り替えられる度に、当該切り替えられた後のオン状態又はオフ状態を示す信号を制御部1へ出力する。液晶パネル5は、制御部1から入力された各種情報を表示する。
スピーカー6は、制御部1から入力された音声信号を示す音声を出力する。エアコン7は、制御部1による制御の下、車室内の空気温度を調整する。GPS装置8は、GPS衛星が発信する信号等を受信し、当該受信した信号に基づき車両の現在位置を取得する。そして、GPS装置8は、当該現在位置を示すデータを制御部1へ出力する。通信インターフェイス回路9は、制御部1による制御の下、制御部1により指示された外部装置との間で無線通信を行う。
制御部1は、所定の演算処理を実行する不図示のCPU(Central Processing Unit)、所定の制御プログラムが記憶されたEEPROM等の不図示の不揮発性メモリー、データを一時的に記憶するための不図示のRAM(Random Access Memory)、現在日時を計時する不図示のタイマー回路、及びこれらの周辺回路等を備えている。
制御部1は、不揮発性メモリー等に記憶された制御プログラムをCPUに実行させることにより、音声取得部11、情動取得部12、快活度算出部13、寛ぎ度算出部14、活性度算出部15、疲労度算出部16、支援内容決定部17及び支援実行部18として動作する。
音声取得部11は、マイクロフォン2から入力された音声信号から、運転者の発話を示す発話音声を取得する。
図2は、音声信号から発話音声SVn(nは0以上の整数)を取得する方法の説明図である。具体的には、図2に示すように、音声取得部11は、マイクロフォン2から入力された音声信号の強度SSが所定の強度TT0を超えた時点tsnから、強度TT0以下になる時点tnまでの音声信号を発話音声SVnとして取得する。以下、上記の時点tnを発話音声SVnの終了時刻tnと記載する。例えば、図2は、音声取得部11が、音声信号から、m+1個の発話音声SV1、SV2、・・・、SVmー1、SVm、SVm+1を取得した例を示している。
情動取得部12は、音声取得部11が発話音声SVnを取得する度に、当該取得された発話音声SVnを解析することによって運転者の喜び、悲しみ、平静及び興奮の度合を取得する。
図3は、発話音声SVnの基本周波数と運転者の情動との関係を示す判断木の一例を示す図である。具体的には、情動取得部12は、先ず、FFT(FastFourier Transform)等によって発話音声SVnの周波数解析を行い、発話音声SVnに含まれる基本周波数の高さ、強度及び平均強度を取得する。そして、情動取得部12は、当該取得した基本周波数の高さ、強度及び平均強度と、図3に示す判断木と、に基づき、発話音声SVnが示す発話をした運転者の平静、悲しみ、怒り及び喜びの情動の割合を算出する。
図3に示す判断木は、例えば100名以上の運転者から取得した各発話音声SVnを周波数解析して得られた基本周波数の高さ、強度および平均強度と、各発話音声SVnが示す発話をした運転者の平静、悲しみ、怒り及び喜びの情動の割合を主観的に評価した結果と、に基づき生成されたものである。当該判断木は、予め不揮発性メモリー等に記憶されている。
例えば、情動取得部12は、図3に示す判断木を用いて、発話音声SVnに含まれている、基本周波数の高さが150ヘルツ未満、且つ基本周波数の強度が100以上の信号を、平静の情動を示す信号と判断する。以下同様に、情動取得部12は、発話音声SVnに含まれている、基本周波数の高さが150ヘルツ未満、且つ基本周波数の強度が100未満の信号を悲しみの情動を示す信号と判断する。情動取得部12は、発話音声SVnに含まれている、基本周波数の高さが150ヘルツ以上、且つ基本周波数の平均強度が80以上の信号を、怒りの情動を示す信号と判断する。情動取得部12は、発話音声SVnに含まれている、基本周波数の高さが150ヘルツ以上、且つ基本周波数の強度が80未満の信号を喜びの情動を示す信号と判断する。
そして、情動取得部12は、発話音声SVnに含まれている、平静、悲しみ、怒り及び喜びの情動をそれぞれ示す信号の割合を、当該四つの割合の合計値が10となるように、0から10までの値の範囲で算出する。情動取得部12は、当該算出結果をそれぞれ、発話音声SVnが示す発話をした運転者の平静、悲しみ、怒り及び喜びの情動の割合とする。
次に、情動取得部12は、発話音声SVnにおける同一周波数成分の信号を抽出し、当該抽出した各信号が出現する時間間隔を抑揚として算出する。また、情動取得部12は、発話音声SVnの周波数解析から周波数スペクトルを取得し、当該取得した周波数スペクトルを周波数軸上でシフトしながら自己相関処理を実行し、自己相関係数の波形を算出する。そして、情動取得部12は、当該算出した自己相関係数の波形における山と山又は谷と谷の間隔に基づきピッチ周波数を算出する。
情動取得部12は、当該算出した抑揚及びピッチ周波数と、所定の間隔及び所定の周波数とを比較し、発話音声SVnが示す発話に含まれている運転者の興奮の度合En(nは0以上の整数)を0から10までの値の範囲で算出する。具体的には、情動取得部12は、抑揚が示す同一周波数成分の各信号の出現間隔が上記所定の間隔より短くなる程、又は、ピッチ周波数が上記所定の周波数より高い程、興奮の度合Enが高くなるようにして、興奮の度合Enを算出する。
そして、情動取得部12は、当該算出した興奮の度合Enと、平静、悲しみ及び喜びの情動それぞれの割合と、の積を算出する。情動取得部12は、当該算出した各積を、発話音声SVnが示す発話をした運転者の平静、悲しみ及び喜びそれぞれの度合Cn、Son、Jnとして取得する。
図1に参照を戻す。快活度算出部13は、情動取得部12によって取得された喜び及び悲しみの度合Jn、Sonに基づき、発話音声SVnが示す発話をした運転者の快活さの度合いを示す快活度Vnを算出する。
具体的には、快活度算出部13は、情動取得部12によって取得された喜び及び悲しみの度合Jn、Sonを用いて表される下記の式(1)によって快活度Vnを算出する。
寛ぎ度算出部14は、情動取得部12によって取得された平静及び興奮の度合Cn、Enに基づき、発話音声SVnが示す発話をした運転者が寛いでいる度合いを示す寛ぎ度Rnを算出する。
具体的には、寛ぎ度算出部14は、情動取得部12によって取得された平静及び興奮の度合Cn、Enを用いて表される下記の式(2)によって寛ぎ度Rnを算出する。
活性度算出部15は、快活度算出部13によって算出された快活度Vnに基づき、発話音声SVnが示す発話をした運転者の心が活性化している度合を示す活性度Anを算出する。活性度算出部15による活性度Anの算出方法の詳細については後述する。
疲労度算出部16は、快活度算出部13によって算出された快活度Vn及び寛ぎ度算出部14によって算出された寛ぎ度Rnに基づき、発話音声SVnが示す発話をした運転者が疲労している度合を示す疲労度Fnを算出する。疲労度算出部16による疲労度Fnの算出方法の詳細については後述する。
支援内容決定部17は、活性度算出部15によって算出された活性度An及び疲労度算出部16によって算出された疲労度Fnの組み合わせに応じて、予め設定された運転支援の内容を決定する。支援実行部18は、支援内容決定部17によって決定された内容の運転支援を実行する。支援内容決定部17による運転支援の内容の決定方法、及び、支援実行部18による運転支援の実行方法の詳細については後述する。
以下、運転支援装置100の動作について説明する。当該説明の中で、活性度算出部15による活性度Anの算出方法、疲労度算出部16による疲労度Fnの算出方法、支援内容決定部17による運転支援の内容の決定方法、及び、支援実行部18による運転支援の実行方法の詳細について説明する。図4及び図5は、運転支援の内容を決定する動作の一例を示すフローチャートである。
運転者等によりイグニッションキー4がオン状態に切り替えられ、オン状態であることを示す信号が制御部1へ出力されると、運転支援装置100は動作を開始する。図4に示すように、運転支援装置100の動作が開始されると、制御部1は初期化処理を行う(S1)。
具体的には、ステップS1の初期化処理において、音声取得部11は、タイマー回路が計時した現在時刻を時刻t0とし、発話音声SVnの取得数を示す発話数nを0とする。快活度算出部13は、快活度V1の前回に算出した快活度を示す快活度V0を0に設定する。寛ぎ度算出部14は、寛ぎ度R1の前回に算出した寛ぎ度を示す寛ぎ度R0を0に設定する。活性度算出部15は、活性度A1の前回に算出した活性度を示す活性度A0を0に設定する。疲労度算出部16は、疲労度F1の前回に算出した疲労度を示す疲労度F0を0に設定する。
次に、音声取得部11は、車速センサー3によって出力された車速信号が示す車速Spを取得する(S2)。そして、音声取得部11は、マイクロフォン2から入力された音声信号の強度SSが所定の強度TT0(図2参照)を超えない間(S3;NO)、ステップS2以降を繰り返す。
その後、音声取得部11は、マイクロフォン2から入力された音声信号の強度SSが所定の強度TT0(図2参照)を超えると、運転者による発話があったと判定し(S3;YES)、発話数nを1つ繰り上げる(S4)。そして、音声取得部11は、n回目の発話の終了時刻tn及びn回目の発話を示す発話音声SVnを取得する(S5)。
具体的には、図2に示したように、ステップS5において、音声取得部11は、ステップS3で発話があったと判定した後、音声信号の強度SSが強度TT0以下になったときにタイマー回路が計時した現在時刻を、n回目の発話の終了時刻tnとして取得する。そして、音声取得部11は、ステップS3において発話があったと判定した時点tsnから、当該終了時刻tnまでの音声信号を発話音声SVnとして取得する。
次に、情動取得部12は、上述のようにして、ステップS5で取得された発話音声SVnを解析することによって、当該発話音声SVnが示す発話をした運転者の喜び、悲しみ、平静及び興奮の度合Jn、Son、Cn、Enを取得する(S6)。
次に、快活度算出部13は、ステップS6で取得された喜び及び悲しみの度合Jn、Sonを上記の式(1)に入力することで、発話音声SVnが示す発話をした運転者の快活度Vnを算出する(S7)。また、寛ぎ度算出部14は、ステップS6で取得された平静及び興奮の度合Cn、Enを上記の式(2)に入力することで、発話音声SVnが示す発話をした運転者の寛ぎ度Rnを算出する(S7)。
そして、ステップS2で取得された車速Spが0を超えていたとする(S8;YES)。この場合、運転者は運転中であると考えられる。この場合に、疲労度算出部16によって前回算出された運転者の疲労度Fn−1が1000未満であり(S9;YES)、ステップS7で算出された快活度Vnが0.17を超え、且つ、ステップS7で算出された寛ぎ度Rnが0.75未満であったとする(S10;YES)。この場合、運転者は、過度には疲れていず、また、過度には寛いでいず、快活さを感じながら運転を行っていると考えられる。この場合、活性度算出部15及び疲労度算出部16は、ステップS11を実行する(S11)。
具体的には、活性度算出部15は、ステップS11において、ステップS7で算出された快活度Vn、快活度算出部13によって当該ステップS7の前回に算出された快活度Vn−1、活性度算出部15自身が当該ステップS11の前回に算出した活性度An−1、ステップS5で取得された発話音声SVnの終了時刻tn及び当該ステップS5の前回に取得された発話音声SVn−1の終了時刻tn−1を下記の式(3)に入力することで、活性度Anを算出する。
ステップS11を実行する場合、上述のように、運転者は過度には疲れていないと考えられる。この場合に、快活度Vnと前回算出された快活度Vn−1の平均値が0.17よりも大きいときは、快活度の高い状態が継続しており、活性度Anが前回算出された活性度An−1よりも増大していると考えられる。活性度算出部15は、これを考慮した上記の式(3)を用いて、活性度Anを適切に算出することができる。
一方、疲労度算出部16は、ステップS11において、ステップS7で算出された快活度Vn、快活度算出部13によって当該ステップS7の前回に算出された快活度Vn−1、疲労度算出部16自身が当該ステップS11の前回に算出した疲労度Fn−1、ステップS5で取得された発話音声SVnの終了時刻tn及び当該ステップS5の前回に取得された発話音声SVn−1の終了時刻tn−1を下記の式(4)に入力することで、疲労度Fnを算出する。
上述のように、ステップS11を実行する場合、快活度Vnと前回算出された快活度Vn−1の平均値が0.17よりも大きいときは、活性度Anが前回算出された活性度An−1よりも増大していると考えられる。このため、運転者が気付かなくても、活性度の増大に応じて運転者の体力は少なからず消耗しており、疲労度Fnは前回算出された疲労度Fn−1よりも増大していると考えられる。疲労度算出部16は、これを考慮した上記の式(4)を用いて、疲労度Fnを適切に算出することができる。
又は、運転者が運転中であると考えられ(S8;YES)、疲労度算出部16によって前回算出された運転者の疲労度Fn−1が1000未満である場合に(S9;YES)、ステップS7で算出された快活度Vnが0.17以下である、又は、ステップS7で算出された寛ぎ度Rnが0.75以上であったとする(S10;NO)。この場合、運転者は、過度には疲労していず、快活さを感じずに運転を行っている、又は、過度に寛いで運転を行っていると考えられる。この場合、活性度算出部15及び疲労度算出部16は、ステップS12を実行する(S12)。
具体的には、活性度算出部15は、ステップS12において、ステップS11と同様、上記の式(3)によって発話音声SVnが示す発話をした運転者の活性度Anを算出する。
ステップS12を実行する場合、上述のように、ステップS11を実行する場合と同様、運転者は過度には疲れていないと考えられる。このため、ステップS12を実行する場合も、活性度算出部15は、ステップS11を実行する場合と同様、上記の式(3)を用いて活性度Anを適切に算出することができる。
一方、疲労度算出部16は、ステップS12において、ステップS7で算出された快活度Vn及び寛ぎ度Rn、快活度算出部13によって当該ステップS7の前回に算出された快活度Vn−1、寛ぎ度算出部14によって当該ステップS7の前回に算出された寛ぎ度Rn−1、疲労度算出部16自身が当該ステップS12の前回に算出した疲労度Fn−1、ステップS5で取得された発話音声SVnの終了時刻tn及び当該ステップS5の前回に取得された発話音声SVn−1の終了時刻tn−1を下記の式(5)に入力することで、疲労度Fnを算出する。
上述のように、ステップS12を実行する場合、運転者は過度には疲れていないと考えられる。この場合、ステップS11を実行する場合と同様、快活度Vnと前回算出された快活度Vn−1の平均値が0.17よりも大きいときは、快活度の高い状態が継続しており、活性度Anが前回算出された活性度An−1よりも増大していると考えられる。このため、運転者が気付かなくても、活性度の増大に応じて運転者の体力は少なからず消耗しており、疲労度Fnは前回算出された疲労度Fn−1よりも増大していると考えられる。
また、上述のように、ステップS12を実行する場合、運転者は快活さを感じずに運転を行っている、又は、過度に寛いで運転を行っていると考えられる。この場合、寛ぎ度Rnと前回算出された寛ぎ度Rn−1の平均値が大きい程、つまり、運転者が寛いでいる可能性が高い程、退屈さからくる疲労が増大し、疲労度Fnは更に増大していると考えられる。疲労度算出部16は、これらを考慮した上記の式(5)を用いて、疲労度Fnを適切に算出することができる。
又は、運転者が運転中であると考えられる場合に(S8;YES)、疲労度算出部16によって前回算出された運転者の疲労度Fn−1が1000以上であったとする(S9;NO)。この場合、運転者は、過度に疲労している状態で運転を行っていると考えられる。この場合、活性度算出部15及び疲労度算出部16は、ステップS13を実行する(S13)。
具体的には、活性度算出部15は、ステップS13において、活性度算出部15自身が当該ステップS13の前回に算出した活性度An−1、ステップS5で取得された発話音声SVnの終了時刻tn及び当該ステップS5の前回に取得された発話音声SVn−1の終了時刻tn−1を下記の式(6)に入力することで、活性度Anを算出する。
上述のように、ステップS13を実行する場合、運転者は過度に疲労している状態で運転を行っていると考えられる。この場合、運転者は、今後、心が活性化するよりも強い度合で疲労を感じるようになり、これに応じて、運転者の活性度は減少し続ける傾向にあると考えられる。つまり、活性度算出部15は、この傾向を考慮した式(6)を用いて、活性度Anを適切に算出することができる。
一方、疲労度算出部16は、ステップS13において、ステップS12と同様、上記の式(5)によって発話音声SVnが示す発話をした運転者の疲労度Fnを算出する。
ステップS13を実行する場合、上述のように、運転者の活性度は今後減少し続ける傾向にあると考えられる。しかし、この場合でも、快活度Vnと前回算出された快活度Vn−1の平均値が0.17よりも大きいときは、快活度の高い状態が継続していたために、活性度Anが前回算出された活性度An−1よりも増大する傾向にあったと考えられる。このため、運転者が気付かなくても、活性度の増大に応じて運転者の体力は少なからず消耗しており、疲労度Fnは前回算出された疲労度Fn−1よりも増大していると考えられる。
また、運転者は、過度に疲労している状態で運転を行っているので、寛ぎ度Rnと前回算出された寛ぎ度Rn−1の平均値が大きい程、つまり、運転者が寛いでいる可能性が高い程、退屈さからくる疲労が増大し、疲労度Fnは更に増大していると考えられる。疲労度算出部16は、これらを考慮した上記の式(5)を用いて、疲労度Fnを適切に算出することができる。
又は、ステップS2で取得された車速Spが0を超えていなかった場合(S8;NO)、運転者は運転中ではないと考えられる。この場合、活性度算出部15及び疲労度算出部16は、ステップS14を実行する(S14)。
具体的には、活性度算出部15は、ステップS14において、ステップS11と同様、上記の式(3)によって発話音声SVnが示す発話をした運転者の活性度Anを算出する。
ステップS14を実行する場合、上述のように、運転者は運転中ではないと考えられ、ステップS11を実行する場合と同様、運転者は過度には疲れていないと考えられる。このため、ステップS14を実行する場合も、活性度算出部15は、ステップS11を実行する場合と同様、上記の式(3)を用いて活性度Anを適切に算出することができる。
一方、疲労度算出部16は、ステップS14において、ステップS7で算出された快活度Vn及び寛ぎ度Rn、快活度算出部13によって当該ステップS7の前回に算出された快活度Vn−1、寛ぎ度算出部14によって当該ステップS7の前回に算出された寛ぎ度Rn−1、疲労度算出部16自身が当該ステップS14の前回に算出した疲労度Fn−1、ステップS5で取得された発話音声SVnの終了時刻tn及び当該ステップS5の前回に取得された発話音声SVn−1の終了時刻tn−1を下記の式(7)に入力することで、疲労度Fnを算出する。
ステップS14を実行する場合、上述のように、運転者は運転中ではないと考えられ、ステップS11を実行する場合と同様、運転者は過度には疲れていないと考えられる。この場合、ステップS11を実行する場合と同様、快活度Vnと前回算出された快活度Vn−1の平均値が0.17よりも大きいときは、快活度Vnの高い状態が継続しており、活性度Anが前回算出された活性度An−1よりも増大していると考えられる。このため、運転者が気付かなくても、活性度Anの増大に応じて運転者の体力は少なからず消耗しており、疲労度Fnは前回算出された疲労度Fn−1よりも増大していると考えられる。
しかし、ステップS14を実行する場合、上述のように、運転者は運転中ではないと考えられる。このため、寛ぎ度Rnと前回算出された寛ぎ度Rn−1の平均値が大きい程、つまり、運転者が寛いでいる可能性が高い程、疲労は回復し、疲労度Fnは前回算出された疲労度Fn−1よりも減少していると考えられる。疲労度算出部16は、これらを考慮した上記の式(7)を用いて、疲労度Fnを適切に算出することができる。
次に、図5に示すように、ステップS11〜S14の何れかにおいて算出された疲労度Fnが800(第一閾値)未満であり(S21;YES、S22;YES)、且つ、当該疲労度FnがステップS11〜S14の何れかにおいて算出された活性度An未満であったとする(S23;YES)。
この場合、支援内容決定部17は、支援実行部18に実行させる運転支援の内容を、予め定められた、運転を助長する内容に決定し、支援実行部18は、当該決定された内容の運転支援を実行する(S24)。
具体的には、運転を助長する内容の運転支援には、例えば、車室内の空気温度が運転者にとって快適な温度となるように、エアコン7によって車室内の空気温度を調節するか否かを案内する音声(以下、空調案内音声)をスピーカー6から出力すること(以下、空調案内支援)が含まれる。空調案内音声とは、例えば「車室内の空気温度を調整しましょうか?」等を示す音声である。
支援内容決定部17によって運転支援の内容が空調案内支援に決定された場合、支援実行部18は、スピーカー6に空調案内音声を出力させる。その後、支援実行部18は、マイクロフォン2から入力された音声信号が示す運転者の発話の意図を、公知の音声認識技術及び意図解釈技術を用いて解釈する。その結果、支援実行部18は、運転者が、エアコン7によって車室内の空気温度を調節することを意図する発話(例えば、「はい」、「お願いします」等)をしたと判断した場合、エアコン7によって車室内の空気温度を所定の温度に調整させる。
また、運転を助長する内容の運転支援には、例えば、液晶パネル5に表示された文字や地図等の情報が見やすくなるように、当該情報を拡大表示するか否かを案内する音声(以下、拡大表示案内音声)をスピーカー6から出力すること(以下、拡大表示案内支援)が含まれる。拡大表示案内音声とは、例えば「液晶パネルに表示中の情報を拡大しましょうか?」等を示す音声である。
支援内容決定部17によって運転支援の内容が拡大表示案内支援に決定された場合、支援実行部18は、スピーカー6に拡大表示案内音声を出力させる。その後、支援実行部18は、マイクロフォン2から入力された音声信号が示す運転者の発話の意図を、公知の音声認識技術及び意図解釈技術を用いて解釈する。その結果、支援実行部18は、運転者が、液晶パネル5に表示されている情報を拡大表示することを意図する発話(例えば、「はい」、「お願いします」等)をしたと判断した場合、液晶パネル5によって、表示中の情報を所定の拡大率で拡大表示させる。
このように、運転者の疲労度Fnが800未満であり(S21;YES、S22;YES)、且つ、疲労度Fnが活性度An未満である場合(S23;YES)、運転者は、あまり疲れていず、且つ、疲れを感じない程度に心が活性化していると考えられる。この場合、運転を助長する内容の運転支援が実行される(S24)。これにより、運転者は、心が活性化している状態のまま、運転を継続することができる。
又は、ステップS11〜S14の何れかにおいて算出された疲労度Fnが800未満であり(S21;YES、S22;YES)、且つ、当該疲労度FnがステップS11〜S14の何れかにおいて算出された活性度An以上であったとする(S23;NO)。
この場合、支援内容決定部17は、支援実行部18に実行させる運転支援の内容を、予め定められた、娯楽情報を提供する内容に決定し、支援実行部18は、当該決定された内容の運転支援を実行する(S25)。
具体的には、娯楽情報を提供する内容の運転支援には、例えば、予め設定された音楽をスピーカー6から出力するか否かを案内する音声(以下、音楽出力案内音声)をスピーカー6から出力すること(以下、音楽出力案内支援)が含まれる。音楽出力案内音声とは、例えば「お気に入りの音楽を再生しましょうか?」等を示す音声である。
支援内容決定部17によって運転支援の内容が音楽出力案内支援に決定された場合、支援実行部18は、スピーカー6に音楽出力案内音声を出力させる。その後、支援実行部18は、マイクロフォン2から入力された音声信号が示す運転者の発話の意図を、公知の音声認識技術及び意図解釈技術を用いて解釈する。その結果、支援実行部18は、運転者が、予め設定された音楽をスピーカー6から出力することを意図する発話(例えば、「はい」、「お願いします」等)をしたと判断した場合、スピーカー6によって予め設定された音楽を出力させる。
また、娯楽情報を提供する内容の運転支援には、例えば、新着のニュースをスピーカー6から出力するか否かを案内する音声(以下、ニュース出力案内音声)をスピーカー6から出力すること(以下、ニュース出力案内支援)が含まれる。ニュース出力案内音声とは、例えば「新着のニュースを読みましょうか?」等を示す音声である。
支援内容決定部17によって運転支援の内容がニュース出力案内支援に決定された場合、支援実行部18は、スピーカー6にニュース出力案内音声を出力させる。その後、支援実行部18は、マイクロフォン2から入力された音声信号が示す運転者の発話の意図を、公知の音声認識技術及び意図解釈技術を用いて解釈する。その結果、支援実行部18は、運転者が、新着のニュースをスピーカー6から出力することを意図する発話(例えば、「はい」、「お願いします」等)をしたと判断したとする。
この場合、支援実行部18は、通信インターフェイス回路9によって、新着ニュースの提供を要求する信号を所定のニュース提供サイトのサーバ装置へ送信させる。その後、通信インターフェイス回路9によって、当該サーバ装置によって返信された新着ニュースを示す信号が受信されると、支援実行部18は、当該受信された信号が示す新着ニュースをスピーカー6によって出力させる。
このように、運転者の疲労度Fnが800未満であり(S21;YES、S22;YES)、且つ、疲労度Fnが活性度An以上である場合(S23;NO)、運転者は、あまり疲れていないが、心があまり活性化していないので、疲れや退屈さを感じていると考えられる。この場合、娯楽情報を提供する内容の運転支援が実行される(S25)。これにより、運転者は、心が活性化し、疲れや退屈さを感じずに運転することができる。
又は、ステップS11〜S14の何れかにおいて算出された疲労度Fnが、800よりも大きい1000(第二閾値)未満であるが(S21;YES)、800以上であったとする(S22;NO)。
この場合、支援内容決定部17は、支援実行部18に実行させる運転支援の内容を、予め定められた、運転者に間接的に休憩を促す内容に決定し、支援実行部18は、当該決定された内容の運転支援を実行する(S26)。
具体的には、運転者に間接的に休憩を促す内容の運転支援には、例えば、運転者に食事や買い物等の運転とは異なる活動を提案する音声(以下、他活動提案音声)をスピーカー6から出力すること(以下、他活動提案支援)が含まれる。他活動提案音声とは、例えば「どこかに寄り道しませんか?」等を示す音声である。
支援内容決定部17によって運転支援の内容が他活動提案支援に決定された場合、支援実行部18は、スピーカー6に他活動提案音声を出力させる。その後、支援実行部18は、マイクロフォン2から入力された音声信号が示す運転者の発話の意図を、公知の音声認識技術及び意図解釈技術を用いて解釈する。その結果、支援実行部18は、運転者が、どこかに寄り道することを承諾する発話(例えば、「はい」、「わかりました」等)をしたと判断したとする。
この場合、支援実行部18は、通信インターフェイス回路9によって、GPS装置8から入力された車両の現在位置を示す情報と共に、当該現在位置付近に存在するレストランやショッピングセンター等の公共施設の情報提供を要求する信号を、所定の情報提供サイトのサーバ装置へ送信させる。その後、通信インターフェイス回路9によって、当該サーバ装置によって返信された当該現在位置付近に存在する公共施設の情報を示す信号が受信されると、支援実行部18は、当該受信された信号が示す情報をスピーカー6によって出力させる。
このように、運転者の疲労度Fnが800以上且つ1000未満である場合(S21;YES、S22;NO)、運転者は、過度には疲れていないが、少し疲れていると考えられる。この場合、例えば、上述の他活動提案支援等、間接的に休憩を促す内容の運転支援が実行される(S26)。これにより、運転者は、間接的に休憩を取り、疲労を回復することができる。
又は、ステップS11〜S14の何れかにおいて算出された疲労度Fnが1000以上であったとする(S21;NO)。
この場合、支援内容決定部17は、支援実行部18に実行させる運転支援の内容を、予め定められた、運転者に直接的に休憩を促す内容に決定し、支援実行部18は、当該決定された内容の運転支援を実行する(S27)。
具体的には、運転者に直接的に休憩を促す内容の運転支援には、例えば、運転者に休憩することを直接的に提案する音声(以下、休憩提案音声)をスピーカー6から出力すること(以下、休憩提案支援)が含まれる。休憩提案音声とは、例えば「お疲れのようなので休憩しませんか?」等を示す音声である。
支援内容決定部17によって運転支援の内容が休憩提案支援に決定された場合、支援実行部18は、スピーカー6に休憩提案音声を出力させる。その後、支援実行部18は、マイクロフォン2から入力された音声信号が示す運転者の発話の意図を、公知の音声認識技術及び意図解釈技術を用いて解釈する。その結果、支援実行部18は、運転者が、休憩することを承諾する発話(例えば、「はい」、「わかりました」等)をしたと判断したとする。
この場合、支援実行部18は、通信インターフェイス回路9によって、GPS装置8から入力された車両の現在位置を示す情報と共に、当該現在位置付近に存在するサービスエリアや道の駅等の休憩施設の情報提供を要求する信号を、所定の情報提供サイトのサーバ装置へ送信させる。その後、通信インターフェイス回路9によって、当該サーバ装置によって返信された当該現在位置付近に存在する休憩施設の情報を示す信号が受信されると、支援実行部18は、当該受信された信号が示す情報をスピーカー6によって出力させる。
このように、運転者の疲労度Fnが1000以上である場合(S21;NO)、運転者は過度に疲れていると考えられる。この場合、例えば上述の休憩提案支援等、運転者に直接的に休憩を促す内容の運転支援が実行される(S27)。これにより、運転者は、早急に休憩を取り、疲労を回復することができる。
その後、イグニッションキー4がオン状態である場合(S28;YES)、ステップS2(図4)以降の処理が繰り返され、イグニッションキー4がオフ状態に切り替えられると(S28;NO)、運転支援装置100は動作を終了する。
以上のように、本実施形態の運転支援装置100によれば、発話音声SVnを解析することによって取得した運転者の喜び、悲しみ、平静及び興奮の度合Jn、Son、Cn、Enに基づき、運転者の疲労度Fnだけでなく、活性度Anを算出することができる。そして、当該算出した疲労度Fn及び活性度Anの組み合わせに応じて、運転者の疲労度Fnだけでなく、活性度Anも考慮して、支援実行部18により実行される運転支援の内容を決定することができる。
つまり、この運転支援装置100によれば、運転者の疲労度Fnによって運転者の体の状態を考慮するだけでなく、運転者の活性度Anによって運転者の心の状態も考慮して、運転者の体と心の状態に適した運転支援を実行することができる。
以下、上述の運転支援装置100が搭載された車両を運転者が運転するシミュレーションを実行した結果の一例について説明する。先ず、運転者が楽しんで運転する場合を想定してシミュレーションを実行した結果について説明する。尚、当該シミュレーションでは、ステップS6で取得される運転者の喜び、悲しみ、平静及び興奮の度合Jn、Son、Cn、Enの度合を、運転者が楽しんで運転するときの運転者の喜び、悲しみ、平静及び興奮の度合として予め定められた固定値に設定した。
図6(A)は、運転者が楽しんで運転する場合のシミュレーション結果の一例を示す図である。この場合、図6(A)に示すように、運転開始当初から約4400秒が経過するまでの間、疲労度Fnは、800未満(S22;YES)の範囲内で増大し、且つ、活性度An未満(S23;YES)となった。このため、運転開始当初から約4400秒が経過するまでの間、運転を助長する内容の運転支援が実行された(S24)。
その後、運転開始当初から約5600秒が経過するまでの間、疲労度Fnは、800以上且つ1000未満の範囲内で増大した(S21;YES、S22;NO)。このため、運転者に間接的に休憩を促す内容の運転支援が実行された(S26)。
その後、運転開始当初から約5600秒が経過する頃になると、前回算出された疲労度Fn−1が1000以上となり(S9;NO)、式(4)によって活性度Anが算出されるようになった(S13)。これにより、式(4)から明らかなように、活性度Anは減少し、疲労度Fnよりも小さくなった。また、前回算出された疲労度Fn−1が1000以上となったので(S21;NO)、運転者に直接的に休憩を促す内容の運転支援が実行された(S27)。
次に、運転者が楽しまずに運転する場合を想定してシミュレーションを実行した結果について説明する。尚、当該シミュレーションでは、ステップS6で取得される運転者の喜び、悲しみ、平静及び興奮の度合Jn、Son、Cn、Enの度合を、運転者が楽しまずに運転するときの運転者の喜び、悲しみ、平静及び興奮の度合として予め定められた固定値に設定した。
図6(B)は、運転者が楽しまずに運転する場合のシミュレーション結果の一例を示す図である。この場合、図6(B)に示すように、運転開始当初から約2800秒が経過するまでの間、疲労度Fnは、800未満(S22;YES)の範囲内で増大し、且つ、活性度An以上(S23;NO)であった。このため、娯楽情報を提供する内容の運転支援が実行された(S25)。
その後、運転開始当初から約4200秒が経過するまでの間、疲労度Fnは、800以上且つ1000未満の範囲内で増大した(S21;YES、S22;NO)。このため、運転者に間接的に休憩を促す内容の運転支援が実行された(S26)。
その後、運転開始当初から約4200秒が経過する頃になると、前回算出された疲労度Fn−1が1000以上となり(S9;NO)、式(4)によって活性度Anが算出されるようになった(S13)。これにより、式(4)から明らかなように、活性度Anは減少し、疲労度Fnよりも小さくなった。また、前回算出された疲労度Fn−1が1000以上となったので(S21;NO)、運転者に直接的に休憩を促す内容の運転支援が実行された(S27)。
このように、運転者が楽しんで運転する場合は、図6(A)に示すように、運転開始当初から約5600秒が経過する頃に、運転者に直接的に休憩を促す内容の運転支援が実行された。しかし、運転者が楽しまずに運転する場合は、図6(B)に示すように、運転開始当初から約5600秒が経過するよりも前の、運転開始当初から約4200秒が経過する頃に、運転者に直接的に休憩を促す内容の運転支援が実行された。このように、運転支援装置100によれば、運転者が楽しんで運転しているか否かを考慮して、つまり、運転者の心が活性化しているか否かを考慮して、運転支援の内容を変更できることがわかった。
尚、上記実施形態は、本発明に係る実施形態の例示に過ぎず、本発明を上記実施形態に限定する趣旨ではない。
例えば、通信インターフェイス回路9を介して車両内の各部2〜8との間で無線通信可能なサーバ装置に、制御部1と同様の構成の制御部を設けるようにしてもよい。
また、支援内容決定部17は、図5に示したステップS21〜S23に代えて、図7に示すステップS31〜S33によって活性度An及び疲労度Fnを判定した結果に基づき、支援実行部18に実行させる運転支援の内容を決定するようにしてもよい。図7は、運転支援の内容を決定する動作の変形例を示すフローチャートである。
具体的には、図7に示すように、ステップS11〜S14の何れかにおいて算出された疲労度Fnが800(第三閾値)未満であり(S31;YES)、且つ、活性度Anが600(第四閾値)以上である場合(S32;YES)に、ステップS24を実行するようにしてもよい。一方、ステップS11〜S14の何れかにおいて算出された疲労度Fnが800未満であり(S31;YES)、且つ、活性度Anが600未満である場合(S32;NO)に、ステップS25を実行するようにしてもよい。
また、ステップS11〜S14の何れかにおいて算出された疲労度Fnが800以上であり(S31;NO)、且つ、活性度Anが600以上である場合(S33;YES)に、ステップS26を実行するようにしてもよい。一方、ステップS11〜S14の何れかにおいて算出された疲労度Fnが800以上であり(S31;NO)、且つ、活性度Anが600未満である場合(S33;NO)に、ステップS27を実行するようにしてもよい。
運転者の疲労度Fnが800未満であり(S31;YES)、且つ、活性度Anが600以上である場合(S32;YES)、運転者は、あまり疲れていず、且つ、心が活性化していると考えられる。本変形構成の運転支援装置によれば、このような場合に、運転を助長する内容の運転支援が実行される(S24)。これにより、運転者は、心が活性化している状態のまま、運転を継続することができる。
一方、運転者の疲労度Fnが800未満であり(S31;YES)、且つ、活性度Anが600未満である場合(S32;NO)、運転者は、あまり疲れていないが、心が活性化していないため、疲れや退屈さを感じていると考えられる。本変形構成の運転支援装置によれば、このような場合に、娯楽情報を提供する内容の運転支援が実行される(S25)。これにより、運転者は、心が活性化し、疲れや退屈さを感じずに運転することができる。
また、運転者の疲労度Fnが800以上であり(S31;NO)、且つ、活性度Anが600以上である場合(S33;YES)、運転者は、疲れているが心が活性化しているため、疲れに気付いていない状態であると考えられる。本変形構成の運転支援装置によれば、このような場合に、例えば、上述した他活動提案支援等、間接的に休憩を促す内容の運転支援が実行される(S26)。これにより、運転者は、間接的に休憩を取り、疲労を回復することができる。
一方、運転者の疲労度Fnが800値以上であり(S31;NO)、且つ、活性度Anが600未満である場合(S33;NO)、運転者は、疲れており、且つ、心が活性化していない状態であり、運転に支障をきたす虞がある状態であると考えられる。本変形構成の運転支援装置によれば、このような場合に、例えば、上述した休憩提案支援等、運転者に直接的に休憩を促す内容の運転支援が実行される(S27)。これにより、運転者は、早急に休憩を取り、疲労を回復することができる。
また、情動取得部12が、平静、悲しみ、怒り、喜びの情動の割合の合計値が10とは異なる一定値となるように、平静、悲しみ、怒り、喜びの情動をそれぞれ示す信号の割合を、0から当該一定値までの値の範囲で算出するようにしてもよい。同様に、情動取得部12が、興奮の度合Enを、0から当該一定値までの値の範囲で算出するようにしてもよい。これに合わせて、ステップS9、S10、S21、S22、S31、S32、S33)において用いる定数(1000、0.17と0.75、1000、800、800、600、600)の値を適宜変更してもよい。
また、図5に示すステップS21、S22を省略し、これに合わせて、ステップS26、S27を省略するようにしてもよい。