JP2017161423A - 車載用情報提示装置、情報提示方法 - Google Patents

Abstract

【課題】周囲の状況に拘わらず、運転者が容易に且つ確実に把握可能な態様で情報を提示する。【解決手段】車両から撮影した前方画像を解析して、運転者の視覚に対する刺激の大きさである視覚刺激量を検出する。視覚刺激量と所定の視覚許容量とを比較して、視覚刺激量が視覚許容量に満たない場合には、運転者の視覚に働きかける方法で情報を提示し、視覚刺激量が視覚許容量を超えていた場合には、運転者の聴覚に働きかける方法で情報を提示する。こうすれば、予め適切な視覚許容量を設定しておけば、周囲の状況に応じて、運転者の視覚に働きかける方法と、聴覚に働きかける方法とを切り替えて情報を提示することで、運転者が容易に且つ確実に把握可能な態様で情報を提示することが可能となる。また、運転者の聴覚に対する聴覚刺激量を検出して、聴覚刺激量が所定の聴覚許容量を超えた場合には、運転者の触覚に働きかける方法で情報を提示しても良い。【選択図】図２

Description

本発明は、車両の運転者に対して情報を提示する技術に関する。

車両の運転者は、運転に際して、周囲の様々な状況（例えば、対向車や、二輪車、歩行者の有無や、信号機の表示内容、道路標識など）を把握していることが求められる。加えて、運転に必要な情報だけでなく、経路案内や、渋滞情報や、駐車場の位置などのように運転に役立つ情報や、更には、各種の警報などのように多様な情報を把握して運転する必要がある。

そこで、これら多くの情報を運転者が容易に把握できるようにすることを目的として、様々な技術が提案されている。例えば、運転席前方の窓ガラスやコンバイナーなどの透明部材に画像を投影して、その画像を虚像表示するＨＵＤ（Head Up Display ）と呼ばれる技術が開発されている。ＨＵＤ技術を用いて画像を表示すれば、画像を認識する運転者が視線移動や焦点調整に感じる負担を軽減することができる。
更に、投影部材の向こう側に見える前方の状況と、透明部材上に虚像表示された画像とが重なって、虚像表示された画像を運転者が煩わしく感じることを防止することを目的として、前方の状況に応じて画像を虚像表示する態様を変更する技術も提案されている（特許文献１）。

特開２０１５−００９６７７号公報

しかし、提案されている技術を用いても、依然として運転者が提示された情報を把握することが困難な場合があるという問題があった。例えば、ＨＵＤ技術を用いた場合では、運転席から見える前方の状況によっては、画像が虚像表示されること自体を運転者が煩わしく感じてしまい、その結果、虚像表示された画像の内容を把握することが困難になる場合があるという問題があった。

この発明は、従来技術における上述した課題に鑑みてなされたものであり、周囲の状況に拘わらず、運転者が容易に且つ確実に把握可能な態様で情報を提示する技術の提供を目的とする。

上述した課題を解決するために本発明の車載用情報提示装置および車載用情報提示方法は、車両から前方の状況を撮影した前方画像を取得し、その前方画像を解析することによって、運転者の視覚に対する刺激の大きさである視覚刺激量を検出する。そして、得られた視覚刺激量と、所定の視覚許容量とを比較して、視覚刺激量が視覚許容量に満たない場合には、運転者の視覚に働きかけることによって、運転者に対して情報を提示する。これに対して、視覚刺激量が視覚許容量を超えていた場合には、運転者の聴覚に働きかけることによって情報を提示する。

視覚刺激量が大きすぎる状況では、運転者の視覚に働きかけて情報を提示しても、運転者が情報を把握することができない場合がある。そこで、予め適切な視覚許容量を設定しておき、視覚刺激量が視覚許容量以下の場合には、運転者の視覚に働きかけて情報を提示するが、視覚刺激量が視覚許容量を超える場合には、運転者の聴覚に働きかけて情報を提示する。こうすれば、周囲の状況に拘わらず、運転者が容易に且つ確実に把握可能な態様で情報を提示することが可能となる。

車載用情報提示装置１００を搭載した車両１を示す説明図である。 車載用情報提示装置１００の内部構成を示すブロック図である。 前方窓ガラス３の表示領域３ａに提示画像３ｆが表示された様子を例示した説明図である。 情報提示処理の前半部分を示すフローチャートである。 情報提示処理の後半部分を示すフローチャートである。 前方画像のオプティカルフローに基づいて視覚刺激量を検出した様子を例示した説明図である。 前方画像のオプティカルフローに基づいて視覚刺激量を検出した様子を例示した説明図である。 表示領域３ａ内の標準位置での視覚刺激量を検出することによって、提示画像３ｆの表示位置を変更する様子を例示した説明図である。 ２つのスピーカー２０Ｌ，２０Ｃを用いて情報を提示する様子を例示した説明図である。 スピーカー２０Ｒを用いて情報を提示する様子を例示した説明図である。 振動アクチュエーター３０Ｌ，３０Ｒを用いて情報を提示する様子を例示した説明図である。 振動アクチュエーター３０Ｌ，３０Ｒを用いて情報を提示する種々の態様を例示した説明図である。 モニター画面４０を用いて提示画像３ｆを表示する変形例についての説明図である。 第１変形例の情報提示処理の前半部分を示すフローチャートである。 第１変形例の情報提示処理の後半部分を示すフローチャートである。 第２変形例の情報提示処理についての説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、車載用情報提示装置１００を搭載した車両１の大まかな構成が示されている。図１（ａ）に示されるように、車両１には、車載用情報提示装置１００に加えて、ＨＵＤ装置１０や、スピーカー２０Ｌ，２０Ｃ，２０Ｒ、振動アクチュエーター３０Ｌ，３０Ｒなどが搭載されている。更に、車両１には、車載カメラ６や、室内マイク７、運転制御装置２００、ナビゲーション装置（以下、ナビ装置）３００なども搭載されている。

ＨＵＤ装置１０は、車両１のダッシュボード２内に収納されており、前方窓ガラス３に画像を投影することによって、運転席から見て前方窓ガラス３の向こう側に虚像４を表示することができる。
スピーカー２０Ｌ，２０Ｃ，２０Ｒは、運転者に向かって、３箇所から音声を出力することができる。
振動アクチュエーター３０Ｌ，３０Ｒは、ステアリングハンドル５の内部に組み込まれており、振動子が内蔵されている。このため、運転者がステアリングハンドル５を握った状態で振動アクチュエーター３０Ｌ，３０Ｒの振動子を振動させると、その振動が運転者の手に伝わって、振動を運転者に認識させることができる。
尚、本実施例では、ステアリングハンドル５に組み込まれた振動アクチュエーター３０Ｌ，３０Ｒを振動させるものとして説明するが、運転者が振動を認識可能であれば、どのようなものを振動させても構わない。例えば、シートを振動させても構わない。また、運転者の触覚に働きかける動きを運転者が認識することができるのであれば、振動以外の態様で、運転者の触覚に働きかけることとしてもよい。

車載カメラ６は、車両１の進行方向前方の状況を写した画像（以下、前方画像）を撮影して、車載用情報提示装置１００に出力する。
室内マイク７は、車両１の室内に搭載されており、主に運転席周辺での室内音を取得して、車載用情報提示装置１００に出力する。
運転制御装置２００は、図示しない各種のセンサーからの出力を受け取って、車両１の運転に伴う制御を実行する。
ナビ装置３００は、図示しない測位装置を用いて自車位置を検出し、予め記憶している地図情報の中から自車位置の周辺の地図情報を読み出して、車載用情報提示装置１００に出力する。

図１（ｂ）には、運転席から見た状態で、ＨＵＤ装置１０や、スピーカー２０Ｌ，２０Ｃ，２０Ｒや、振動アクチュエーター３０Ｌ，３０Ｒが搭載されている位置関係が示されている。図示されるように、ＨＵＤ装置１０は、運転席の正面のダッシュボード２内に収納されており、運転席から見て正面の前方窓ガラス３上の表示領域３ａ内に、画像を虚像表示することができる。
スピーカー２０Ｌ，２０Ｃ，２０Ｒは、ダッシュボード２の左端の位置と、中央の位置と、右端の位置の３箇所に収納されている。尚、それぞれのスピーカー２０Ｌ，２０Ｃ，２０Ｒを区別する必要がある場合には、ダッシュボード２の左端のスピーカーを左スピーカー２０Ｌ、中央のスピーカーを中央スピーカー２０Ｃ、右端のスピーカーを右スピーカー２０Ｒと呼んで区別するものとする。
振動アクチュエーター３０Ｌ，３０Ｒは、ステアリングハンドル５の左右の運転者が握る部分に内蔵されている。ステアリングハンドル５の左側の振動アクチュエーター３０Ｌを振動させると、運転者はステアリングハンドル５の左側が振動していることを認識することができる。同様に、ステアリングハンドル５の右側の振動アクチュエーター３０Ｒを振動させると、ステアリングハンドル５の右側が振動していることを認識することができる。尚、それぞれの振動アクチュエーター３０Ｌ，３０Ｒを区別する必要がある場合には、ステアリングハンドル５の左端の振動アクチュエーター３０Ｌを左振動アクチュエーター３０Ｌと呼び、ステアリングハンドル５の右端の振動アクチュエーター３０Ｒを右振動アクチュエーター３０Ｒと呼んで区別するものとする。

本実施例の車載用情報提示装置１００は、運転者に情報を提示する際に、車両１の周囲の状況に応じて、ＨＵＤ装置１０や、スピーカー２０Ｌ、２０Ｃ，２０Ｒや、振動アクチュエーター３０Ｌ，３０Ｒを使い分けている。こうすることで、車両１の周囲の状況に拘わらず、運転者が容易に且つ確実に把握可能な態様で情報を提示することが可能となる。以下では、こうしたことを可能とする車載用情報提示装置１００について説明する。

図２には、車載用情報提示装置１００の内部構成が示されている。図示されるように車載用情報提示装置１００は、提示情報取得部１０１と、前方画像取得部１０２と、視覚刺激量検出部１０３と、室内温取得部１０４と、聴覚刺激量検出部１０５と、提示制御部１０６と、視覚提示部１０７と、聴覚提示部１０８と、触覚提示部１０９とを備えている。
尚、これらの「部」は、車載用情報提示装置１００が運転者に情報を提示するために備える機能に着目して、車載用情報提示装置１００の内部を便宜的に分類した抽象的な概念である。従って、車載用情報提示装置１００がこれらの「部」に物理的に区分されることを表すものではない。これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

提示情報取得部１０１は、運転制御装置２００やナビ装置３００などに接続されており、運転者に対して提示する提示情報（例えば、車両１の走行速度や、経路情報）を、運転制御装置２００やナビ装置３００などから取得して提示制御部１０６に出力する。
前方画像取得部１０２は、車載カメラ６に接続されており、車載カメラ６が一定周期で撮影した前方画像を取得して、視覚刺激量検出部１０３に出力する。
視覚刺激量検出部１０３は、前方画像を受け取ると、前方画像のオプティカルフローを解析することによって、運転者が視覚的に受けている刺激の大きさ（以下、視覚刺激量）を検出する。前方画像のオプティカルフローを解析して視覚刺激量を検出する方法の詳細については、後ほど詳しく説明する。
また、室内温取得部１０４は、室内マイク７に接続されており、室内マイク７によって得られた運転席周辺での室内音を取得して、聴覚刺激量検出部１０５に出力する。
そして、聴覚刺激量検出部１０５は、受け取った室内音を解析することによって、運転者が聴覚的に受けている刺激の大きさ（以下、聴覚刺激量）を検出する。

提示制御部１０６は、提示情報取得部１０１から提示情報を受け取ると、視覚刺激量検出部１０３から受け取った視覚刺激量に基づいて、あるいは聴覚刺激量検出部１０５から受け取った聴覚刺激量に基づいて、視覚提示部１０７、聴覚提示部１０８、触覚提示部１０９の何れかを選択する。
視覚提示部１０７はＨＵＤ装置１０に接続されており、聴覚提示部１０８はスピーカー２０Ｌ，２０Ｃ，２０Ｒに接続されており、触覚提示部１０９は振動アクチュエーター３０Ｌ，３０Ｒに接続されている。
そして、提示制御部１０６が視覚提示部１０７を選択した場合には、視覚提示部１０７が提示情報に基づいてＨＵＤ装置１０を駆動することによって、運転者に対して提示情報が視覚的に提示される。また、提示制御部１０６が聴覚提示部１０８を選択した場合には、聴覚提示部１０８が提示情報に基づいてスピーカー２０Ｌ，２０Ｃ，２０Ｒを駆動することによって、運転者に対して提示情報が聴覚的に提示される。更に、提示制御部１０６が触覚提示部１０９を選択した場合には、触覚提示部１０９が提示情報に基づいて振動アクチュエーター３０Ｌ，３０Ｒを駆動することによって、提示情報が触覚的に提示される。
尚、本実施例では、振動アクチュエーター３０Ｌ，３０Ｒがステアリングハンドル５に組み込まれているものとして説明するが、シートなど、他の物に振動アクチュエーター３０Ｌ，３０Ｒを組み込んでも構わない。

このように本実施例では、同じ内容の提示情報であるにも拘わらず、ＨＵＤ装置１０を用いて視覚的に提示される場合と、スピーカー２０Ｌ，２０Ｃ，２０Ｒを用いて聴覚的に提示される場合と、振動アクチュエーター３０Ｌ，３０Ｒを用いて触覚的に提示される場合とが起こり得る。これは次のような理由による。

例えば、図３（ａ）には、高速道路の走行中に、運転席から進行方向を見た前方の状況が例示されている。図示した状況では、運転席から見た前方には、先行車両や、路面の白線や、道路脇のフェンスなどが存在するが、先行車両との相対的な位置関係や、路面の白線や、道路脇のフェンスの位置は急に変化することはないので、これらが運転者の注意を引くこともない。従って、このような状況であれば、図３（ａ）に示すように、表示領域３ａに提示画像３ｆを虚像表示することによって、運転者は提示画像３ｆの内容を容易に且つ確実に把握することが可能と考えられる。

これに対して、図３（ｂ）には、道幅の狭い繁華街を走行中に、運転席から進行方向を見た前方の状況が例示されている。図示した状況では、直ぐ手前を走る自転車や、前方から歩道を近付いてくる２人の歩行者や、横断歩道を渡り始めた歩行者や、信号機や、駐車場からバックで車道に出ようとしている乗用車などが存在する。そして、これらは、何れも動いているので、それぞれが運転者の注意を引き付ける。このような状況では、図３（ｂ）に示すように、表示領域３ａに提示画像３ｆを虚像表示しても、運転者が別の箇所を見ていたために、提示画像３ｆが表示されたことに気付かなかったり、あるいは提示画像３ｆに気付いても、表示の内容を把握できなかったりする可能性がある。
従って、このような状況下では、運転者の視覚に働きかける方法ではなく、聴覚や触覚などの他の感覚に働きかける方法で情報を提示した方が、運転者が、容易に且つ確実に内容を把握できるものと考えられる。このような理由から、本実施例の車載用情報提示装置１００は、同じ内容の提示情報であっても、運転者に対して提示する方法を使い分けることとしているのである。

Ｂ．情報提示処理 ：
図４および図５には、本実施例の車載用情報提示装置１００が運転者に対して提示する方法を使い分けながら情報を提示する処理のフローチャートが示されている。
図示されるように、情報提示処理では先ず始めに、運転制御装置２００やナビ装置３００などからの情報を取得する（Ｓ１００）。車載用情報提示装置１００は、運転制御装置２００やナビ装置３００など、車両１に搭載された種々の機器と、図示しないネットワークで接続されており、ネットワークから様々な情報を取得することができる。
続いて、取得した情報の中に、運転者に提示する情報（すなわち、提示情報）が存在するか否かを判断する（Ｓ１０１）。その結果、提示情報が存在しなかった場合は（Ｓ１０１：ｎｏ）、以下の処理は不要となるので、先頭に戻って再び、外部からの情報を取得する（Ｓ１００）。

これに対して、取得した情報の中に提示情報が存在していた場合は（Ｓ１０１：ｙｅｓ）、車載カメラ６から取得した前方画像のオプティカルフローを解析することによって、運転者に対する聴覚刺激量を検出する（Ｓ１０２）。ここで、オプティカルフローとは、画像に写った物体の動きをベクトルで表したものをいう。画像中で止まっている物体が写っている部分ではベクトルの大きさが「０」となり、画像中で動いている物体が写っている部分では、動きが速くなるほどベクトルの大きさが大きくなる。
例えば、解析する画像が、図６（ａ）に例示したような高速道路を走行中に得られた前方画像であったとする。車自体は高速で走行しているが、先行車両との位置関係は大きく変わらないので、前方画像中で先行車両は止まって見える。また、路面に描かれた白線や、道路脇のフェンスなども、白線やフェンス自体は止まって見える。従って、このような画像のオプティカルフローを解析しても、小さなベクトルしか検出されることはない。
図６（ｂ）には、オプティカルフローの解析結果が例示されている。尚、オプティカルフローは物体の動きをベクトルで表したものであるから、解析結果にはベクトルの大きさと方向とが含まれるが、図６（ｂ）ではベクトルの大きさを表示している。すなわち、検出されたベクトルの大きさを、斜線の密度によって表示することとして、検出されたベクトルが大きくなるほど、密な斜線を付して表示している。図６（ｂ）に示されるように、ベクトルの大きさとしては、先行車両や白線やフェンスの部分などでは、ごく小さな値しか検出されず、白線の切れ目や、フェンスの柱の部分で、少し大きな値が検出されるに過ぎない。

これに対して、図７（ａ）に例示したような道幅の狭い繁華街を走行中に得られた前方画像についてのオプティカルフローを解析した場合は、大きく異なった結果が得られる。すなわち、直ぐ手前を走る自転車や、前方から歩道を近付いてくる２人の歩行者や、横断歩道を渡り始めた歩行者や、駐車場からバックで車道に出ようとしている乗用車など、何れも動いている。従って、オプティカルフローを解析すると、前方画像中でこれらが写った部分では大きなベクトルが検出される（図７（ｂ）を参照のこと）。
図４に示した情報提示処理のＳ１０２では、このようにして前方画像のオプティカルフローを解析し、得られたベクトルの大きさを検出し画面全体で積分した値を、視覚刺激量として検出する。

その後、こうして検出した視覚刺激量を、所定の視覚許容量と比較して、視覚刺激量が視覚許容量以下に収まっているか否かを判断する（Ｓ１０３）。すなわち、前方画像の視覚刺激量が大きな値を取るということは、前方画像中に動きのある物体が多く写っているか、若しくは大きく動く物体が写っていることを表している。そして、図３を用いて前述したように、このような場合には、運転者に対して画像を表示して情報を伝えようとしても、情報が十分には伝わらない可能性がある。逆に言えば、画像を表示することによって運転者に情報を伝える場合、情報を十分に伝えるためには、視覚刺激量が小さい方が望ましい。そこで、画像を表示することによって情報を提示されても運転者が情報を十分に把握可能な視覚刺激量（すなわち、視覚許容量）を予め設定しておく。そして、前方画像から視覚刺激量を検出すると、その視覚刺激量を視覚許容量と比較して、視覚刺激量が視覚許容量以下であれば、画像を表示して情報を提示しても、運転者が情報を十分に把握可能と判断するのである。

その結果、視覚刺激量が視覚許容量以下であった場合は（Ｓ１０３：ｙｅｓ）、画像を表示することによって提示情報を運転者に伝えることができると判断して、今度は、画像を表示する標準位置の刺激量が、所定の閾値以下か否かを判断する（Ｓ１０４）。このような判断を行うのは、次のような理由による。
例えば、提示情報として、前述したＨＵＤ装置１０を用いて経路案内の提示画像３ｆを表示するものとして、経路案内の提示画像３ｆは、標準的には表示領域３ａの中央の位置に表示されることになっていたものとする。
ここで、前方の状況が図８に示すような状況であった場合、動きのある物体は直前を走る自転車しか存在しないので、前方画像全体での視覚刺激量は視覚許容量よりも小さくなり、提示画像３ｆを用いて経路案内を行っても運転者は十分に認識可能と考えられる。しかし、図８（ａ）に例示したように、提示画像３ｆが表示される位置（すなわち、表示領域３ａの中央）のちょうど向こう側に自転車が存在していると、その自転車に重なって提示画像３ｆが表示されてしまうので、提示画像３ｆの認識が困難となる。
そこで、このような場合には、図８（ｂ）に例示したように、提示画像３ｆの表示位置を、表示領域３ａの範囲内で自転車と重ならない位置に変更すれば、運転者は提示画像３ｆを容易に認識できるようになると考えられる。

図４のＳ１０４では、このような理由から、画像を表示する標準位置（上述した例では、表示領域３ａの中央）での刺激量（すなわち、オプティカルフローとして検出されたベクトルの大きさ）が、所定の閾値以下か否かを判断する。
そして、標準位置での刺激量が閾値以下であった場合は（Ｓ１０４：ｙｅｓ）、提示情報を表す画像（すなわち、提示画像）を標準位置に表示する（Ｓ１０５）。
これに対して、標準位置での刺激量が閾値以下でなかった場合は（Ｓ１０４：ｎｏ）、画像を表示可能な位置として、刺激量が閾値以下となる位置を選択して、選択した位置に提示画像を表示する（Ｓ１０６）。尚、ＨＵＤ装置１０を用いて画像を表示する場合には、表示可能な位置は、表示領域３ａの範囲内から選択されることになる。

以上に説明したように、前方画像を解析して得られた視覚刺激量が視覚許容量以下であった場合には（Ｓ１０４：ｙｅｓ）、画像を表示することによって運転者に情報を提示する（Ｓ１０５、Ｓ１０６）。そして、情報を提示した後は、再び先頭に戻って、外部からの情報を取得した後（Ｓ１００）、上述した続く一連の処理を開始する。

これに対して、視覚刺激量が視覚許容量よりも大きかった場合は（Ｓ１０３：ｎｏ）、
提示情報を表す画像を表示しても、運転者には提示情報が十分には伝わらない可能性が高いと考えられる。
そこで、このような場合は、室内マイク７で取得した室内音を解析して、聴覚刺激量を検出する（Ｓ１０７）。ここで、聴覚刺激量とは、運転者の聴覚に対する刺激の大きさを表す指標であり、本実施例では室内音の音量を、聴覚刺激量として使用する。もっとも、音の高さによって、耳に付き易い音と付き難い音とが存在するので、室内音を解析して、周波数に応じた重みを付けて積算した音量を、聴覚刺激量としてもよい。

そして、取得した聴覚刺激量が、予め設定しておいた所定の聴覚許容量以下か否かを判断する（Ｓ１０８）。すなわち、室内音から検出した聴覚刺激量（ここでは、音量）があまりに大きい場合には、音声を用いて情報を提示しようとしても、運転者が認識できない可能性がある。そこで、音声を用いて提示した情報を運転者が認識可能な聴覚刺激量（ここでは音量）を求めて、聴覚許容量として予め設定しておく。そして、室内音から聴覚刺激量を検出したら（Ｓ１０７）、検出した聴覚刺激量を、予め設定しておいた聴覚許容量と比較するのである。
その結果、聴覚刺激量が聴覚許容量以下であった場合は（Ｓ１０８：ｙｅｓ）、３つのスピーカー２０Ｌ，２０Ｃ，２０Ｒの中から、音声を出力するスピーカーを選択した後（Ｓ１０９）、選択したスピーカーを用いて、提示情報を音声として出力する（図５のＳ１１０）。

図９には、選択したスピーカーを用いて音声として提示情報を出力する様子が例示されている。例えば、図３（ｂ）に示した状況で、提示画像３ｆの代わりに音声を用いて、「次の信号を左折する」旨を運転者に経路案内するのであれば、音声を出力するスピーカーとして、中央スピーカー２０Ｃと、左スピーカー２０Ｌとを選択する（図９（ａ）参照）。
そして、図９（ｂ）に示したように、中央スピーカー２０Ｃから「次の信号を」という音声を出力した後、図９（ｃ）に示したように、左スピーカー２０Ｌから「左折です」という音声を出力する。こうすれば、運転者が容易に把握可能な態様で、音声を用いて経路案内することができる。

加えて、初めから左スピーカー２０Ｌから音声を出力するのではなく、初めは、図９（ｂ）に示すように中央スピーカー２０Ｃから音声を出力し、その後、図９（ｃ）に示すように左スピーカー２０Ｌから音声を出力する。このため運転者には、音声の出所が移動したように感じられるので、音声によって出力した内容を運転者に強く印象づけることができる。その結果、音声による経路案内を運転者に確実に認識させることが可能となる。
更に、初めは中央スピーカー２０Ｃから音声が出力され、その後に左スピーカー２０Ｌから音声が出力されるので、音声による経路案内の内容が、暫く直進した後に左折する内容であることを、直感的に認識することも可能となる。

もちろん、音声として出力する提示情報の内容によっては、音声を出力するスピーカーは２つに限られるものではない。例えば、車両１の右側の死角の位置に自転車がいる旨を警告する場合には、図１０（ａ）に示したように、右スピーカー２０Ｒを選択して、右スピーカー２０Ｒから「自転車がいます」という音声を出力する。こうすれば、急いで運転者に警告する必要がある場合でも、図１０（ｂ）に示すように、右側に自転車がいる旨を、運転者は直ちに認識することが可能となる。

以上では、聴覚刺激量が聴覚許容量以下であった場合に（Ｓ１０８：ｙｅｓ）、音声を用いて運転者に情報を提示する方法について説明した。
これに対して、聴覚刺激量が聴覚許容量を超えていた場合には（Ｓ１０８：ｎｏ）、音声を用いて情報を提示しても、運転者が内容を把握できない可能性がある。そこで、このような場合には、運転者の触覚に働きかけることによって情報を提示することとして、振動アクチュエーター３０Ｌ，３０Ｒの中から、情報の提示に用いるアクチュエーターを選択する（図５のＳ１１１）。
そして、選択した振動アクチュエーターを用いて提示情報を出力する（Ｓ１１２）。

例えば、図１１（ａ）に例示したように、左振動アクチュエーター３０Ｌと右振動アクチュエーター３０Ｒとを選択して、初めに、左振動アクチュエーター３０Ｌおよび右振動アクチュエーター３０Ｒを同時に振動させた後、左振動アクチュエーター３０Ｌを、所定回数、繰り返して振動させる。
こうすれば、図１１（ｂ）に示したように、ステアリングハンドル５の左側と右側とが同時に振動した後、図１１（ｃ）に示したように、ステアリングハンドル５の左側が振動するので、暫く直進した後に左折する旨を、触覚を用いて運転者に伝えることができる。

もちろん、触覚を用いて情報を提示する場合は、視覚を用いた場合や、聴覚を用いた場合に比べれば、提示された内容を運転者が直感的に理解できるわけではないし、提示可能な内容にも限りがある。
しかし、２つの振動アクチュエーター３０Ｌ，３０Ｒを用いる場合でも、図１２（ａ）に例示したように、振動アクチュエーター３０Ｌ，３０Ｒを交互に振動させたり、あるいは図１２（ｂ）に例示したように、振動させる時間の長さを徐々に変えていったり、図１２（ｃ）に例示したように、左右で振動させる時間を異ならせたり、図１２（ｄ）に例示したように、一方が振動している途中で他方を振動させるなど、多くの態様を採ることができる。これらに加えて、振動の大きさや、振動のさせ方も異ならせれば、更に多くの態様で振動させることができる。
従って、触覚を用いて提示する場合でも、予め約束事を決めておけば、様々な内容の情報を運転者に対して提示することが可能となる。

こうして、振動アクチュエーター３０Ｌ，３０Ｒを振動させることによって、運転者に情報を提示したら（図５のＳ１１２）、再び処理の先頭に戻って、外部からの情報を取得した後（図４のＳ１００）、上述した続く一連の処理を継続する。
尚、上述した本実施例では、振動アクチュエーター３０Ｌ，３０Ｒがステアリングハンドル５に組み込まれているものとして説明したが、振動アクチュエーター３０Ｌ，３０Ｒは、シートなど、他の物に組み込まれていてもよい。

以上に説明したように、本実施例の車載用情報提示装置１００は、運転者の視覚、聴覚、あるいは触覚の何れに働きかけることによっても情報を提示することができる。そして、図４および図５に示した情報提示処理を実行することによって、運転者が受ける視覚刺激量の大きさや、聴覚刺激量の大きさに応じて、視覚、聴覚、触覚の何れかを選択して、運転者に情報を提示する。こうすれば、図３（ｂ）を用いて前述したように、提示された情報に運転者が気付かなかったり、提示された情報の内容を認識できなかったりする事態を回避することができるので、運転者に対して提示した内容を確実に認識させることが可能となる。

尚、上述した実施例では、運転者の視覚に働きかける態様で情報を提示する機器が、ＨＵＤ装置１０であるものとして説明した。しかし、運転者の視覚に働きかけて情報を提示することが可能であれば、ＨＵＤ装置１０の代わりに他の装置を用いても構わない。
例えば、図１３に例示したように、運転席から見てステアリングハンドル５の奥側の位置にモニター画面４０を搭載しておき、モニター画面４０に提示画像３ｆを表示することによって、運転者に情報を提示するようにしても構わない。

Ｃ．変形例 ：
上述した本実施例には、幾つかの変形例が存在する。以下では、それらの変形例について、本実施例との相違点を中心にして簡単に説明する。

Ｃ−１．第１変形例 ：
上述した実施例では、運転者の視覚に働きかける態様、聴覚に働きかける態様、あるいは触覚に働きかける態様を切り替えることによって、運転者に対して情報を提示するものとして説明した。従って、運転者に対しては、視覚、聴覚、触覚の何れか１つの感覚に働きかけることによって情報が提示されることになる。
しかし、運転者の複数の感覚に働きかけて情報を提示するようにしても良い。

図１４および図１５には、第１変形例の情報提示処理のフローチャートが示されている。第１変形例の情報提示処理は、図４および図５を用いて前述した本実施例の情報提示処理に対して、運転者に対して働きかける感覚を切り替えるのではなく、働きかける感覚を追加していく点で異なるが、その他の点については同様である。以下、簡単に説明する。
図１４に示されるように、第１変形例の情報提示処理でも、先ず始めに、運転制御装置２００やナビ装置３００などからの情報をネットワークを介して取得する（Ｓ２００）。
続いて、取得した情報の中に、運転者に提示する情報（すなわち、提示情報）が存在するか否かを判断し（Ｓ２０１）、提示情報が存在しなかった場合は（Ｓ２０１：ｎｏ）、再び、ネットワークからの情報を取得する（Ｓ２００）。

これに対して、提示情報が存在していた場合は（Ｓ２０１：ｙｅｓ）、車載カメラ６から取得した前方画像のオプティカルフローを解析することによって、運転者に対する聴覚刺激量を検出する（Ｓ２０２）。
その後、第１変形例では、運転者に対して提示情報を表す画像を表示するための標準位置の刺激量が、所定の閾値以下か否かを判断する（Ｓ２０３）。その結果、標準位置の刺激量が閾値以下であった場合は（Ｓ２０３：ｙｅｓ）、提示情報を表す画像（すなわち、提示画像）を標準位置に表示する（Ｓ２０４）。
これに対して、標準位置での刺激量が閾値以下でなかった場合は（Ｓ２０３：ｎｏ）、画像を表示可能な位置として、刺激量が閾値以下となる位置を選択して、選択した位置に提示画像を表示する（Ｓ２０５）。

第１変形例では、こうして運転者に対して提示画像を表示した後（Ｓ２０４あるいはＳ２０５）に、Ｓ２０２で求めておいた前方画像の視覚刺激量が視覚許容量以下に収まっているか否かを判断する（Ｓ２０６）。
その結果、前方画像の視覚刺激量が視覚許容量以下であった場合は（Ｓ２０６：ｙｅｓ）、提示画像を表示することで運転者が情報を認識できたと考えられるので、再び、処理の先頭に戻って、外部からの情報を取得した後（Ｓ２００）、上述した続く一連の処理を開始する。

これに対して、前方画像の視覚刺激量が視覚許容量以下に収まっていない場合は（Ｓ２０６：ｎｏ）、提示画像を表示しても運転者が情報を十分には認識できていない可能性がある。そこで、今度は、室内マイク７で取得した室内音を解析して、聴覚刺激量を検出する（Ｓ２０７）。
そして、複数のスピーカー２０Ｌ，２０Ｃ，２０Ｒの中から音声を出力するスピーカーを選択した後（Ｓ２０８）、選択したスピーカーを用いて、提示情報を音声として出力する（Ｓ２０９）。第１変形例では、既に提示画像も表示されている（Ｓ２０４またはＳ２０５）から、この提示画像に加えて、音声によっても提示情報が提示されることになる。

そして、Ｓ２０７で取得しておいた聴覚刺激量が、予め設定しておいた所定の聴覚許容量以下か否かを判断する（Ｓ２１０）。
その結果、聴覚刺激量が聴覚許容量以下であった場合は（Ｓ２１０：ｙｅｓ）、提示画像に加えて音声を出力することで運転者が情報を認識できたと考えられる。そこで、再び、処理の先頭に戻って、外部からの情報を取得した後（Ｓ２００）、上述した続く一連の処理を開始する。

これに対して、前方画像の視覚刺激量が視覚許容量以下に収まっていない場合は（Ｓ２１０：ｎｏ）、提示画像に加えて音声を出力しても、依然として運転者は情報を十分には認識できていない可能性がある。
そこで、このような場合には、運転者の触覚に働きかけることによって情報を提示することとして、複数の振動アクチュエーター３０Ｌ，３０Ｒの中から、情報の提示に用いるアクチュエーターを選択する（図１５のＳ２１１）。
そして、選択した振動アクチュエーターを用いて提示情報を出力する（Ｓ２１２）。その後、再び、処理の先頭に戻って、外部からの情報を取得した後（Ｓ２００）、上述した続く一連の処理を開始する。

以上に説明したように、第１変形例では、初めは運転者の視覚に働きかけて情報を提示するが、視覚だけでは運転者が提示された情報を十分に認識できない可能性があると判断すると、視覚に加えて聴覚にも働きかけて情報を提示する。更に、それでも運転者が情報を十分に認識できない可能性があると判断した場合には、視覚および聴覚に加えて、触覚にも働きかけて情報を提示する。
このように、働きかける感覚を増やしていくことで、運転者に対して確実に情報を提示することが可能となる。

尚、上述した第１変形例では、提示画像を表示した後（図１４のＳ２０４またはＳ２０５）、視覚刺激量が視覚許容量以下に収まっていない場合には（Ｓ２０６：ｎｏ）、音声による提示情報の出力を追加し（Ｓ２０９）、更に、聴覚刺激量が聴覚許容量以下に収まっていない場合には（Ｓ２１０：ｎｏ）、振動による提示情報の出力も追加する（図１５のＳ２１２）ものとして説明した。
しかし、提示画像を表示する前に、視覚刺激量が視覚許容量以下に収まっているか否か、および聴覚刺激量が聴覚許容量以下に収まっているか否かを判断しても良い。

そして、視覚刺激量は視覚許容量以下に収まっていないが、聴覚刺激量は聴覚許容量以下に収まっている場合には、提示画像を表示すると同時に、音声も出力することによって提示情報を提示することとしてもよい。
また、視覚刺激量が視覚許容量以下に収まっておらず、聴覚刺激量も聴覚許容量以下に収まっていない場合には、初めから、提示画像と音声と振動とを出力することによって、運転者に提示情報を提示することとしてもよい。

Ｃ−２．第２変形例 ：
上述した実施例および第１変形例では、情報を提示するために働きかける運転者の感覚（ここでは、視覚、聴覚、触覚）のうち、働きかける順序が、視覚、聴覚、触覚の順番に固定されているものとして説明した。
しかし、運転者に対して提示する情報の内容に応じて、運転者に対して働きかける順番を異ならせても良い。
例えば、図３に例示したように、道順を提示する場合には、視覚に働きかける提示方法が最も分かり易く、その次は聴覚に働きかける提示方法が分かり易く、最後が触覚に働きかける提示方法になると考えられる。これに対して、図１０に例示したように、死角に歩行者や自転車などが存在することを提示するのであれば、運転者の視覚に働きかける提示方法よりも、聴覚に働きかける提示方法の方が分かり易いと考えられる。もちろん、提示する情報によっては、触覚に働きかける提示方法が最も分かり易いことも起こり得る。

そこで、提示方法が分かり易いと考えられる順番によって、提示情報を分類しておく。ここでは、視覚、聴覚、触覚の３つの感覚を想定しているから、図１６に示したように、全部で６通りの分類が考えられることになる。
そして、車載用情報提示装置１００は、ネットワークを介して提示情報を取得すると、その提示情報が、図１６に例示した何れのカテゴリーに該当するかを判断する。例えば、提示情報が道順であれば、第１のカテゴリーと判断する。また、提示情報が、歩行者などの存在を知らせる警告であれば、第３のカテゴリーと判断する。
車載用情報提示装置１００が提示する提示情報の種類には限りがあるから、それらの提示情報に対してカテゴリーを予め設定しておけば、提示情報のカテゴリーは直ちに決定することができる。また、ネットワークから取得した提示情報が、カテゴリーが設定されていない提示情報であった場合には、第１のカテゴリーとして取り扱えばよい。
こうすれば、運転者に対して提示する情報の内容に応じて、効果的な態様で運転者に情報を認識させることが可能となる。

尚、第１選択肢の態様で提示したのでは運転者が十分に認識できない可能性があると判断される場合には、前述した本実施例のように第２選択肢の態様に切り替えても良いし、前述した第１変形例のように、第１選択肢に加えて第２選択肢の態様も併用しても良い。もちろん、第３選択肢についても同様である。

以上、本実施例および各種の変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ３…前方窓ガラス、 ３ａ…表示領域、 ３ｆ…提示画像、
５…ステアリングハンドル、 ６…車載カメラ、 ７…室内マイク、
１０…ＨＵＤ装置、 ２０Ｌ，２０Ｃ，２０Ｒ…スピーカー、
３０Ｌ，３０Ｒ…振動アクチュエーター、 ４０…モニター画面、
１００…車載用情報提示装置、 １０１…提示情報取得部、
１０２…前方画像取得部、 １０３…視覚刺激量検出部、
１０４…室内温取得部、 １０５…聴覚刺激量検出部、
１０６…提示制御部、 １０７…視覚提示部、 １０８…聴覚提示部、
１０９…触覚提示部、 ２００…運転制御装置、 ３００…ナビ装置。

Claims (9)

1. 車両（１）に搭載されて、該車両の運転者に情報を提示する車載用情報提示装置（１００）であって、
   前記運転者の視覚に働きかけることによって前記情報を提示する視覚提示部（１０７）と、
   前記運転者の聴覚に働きかけることによって前記情報を提示する聴覚提示部（１０８）と、
   前記車両から前方の状況を撮影した前方画像を取得する前方画像取得部（１０２）と、
   前記前方画像を解析することによって、前記運転者の視覚に対する刺激の大きさである視覚刺激量を検出する視覚刺激量検出部（１０３）と、
   前記情報を提示するに際して、前記視覚刺激量と所定の視覚許容量とを比較して、該視覚刺激量が前記視覚許容量に満たない場合には、前記視覚提示部を用いて前記情報を提示し、前記視覚刺激量が前記視覚許容量を超える場合には、前記聴覚提示部を用いて前記情報を提示する提示制御部（１０６）と
   を備える車載用情報提示装置。
2. 請求項１に記載の車載用情報提示装置であって、
   前記運転者の触覚に働きかけることによって前記情報を提示する触覚提示部（１０９）と、
   運転室の室内音を取得する室内音取得部（１０４）と、
   前記室内音を解析することによって、前記運転者の聴覚に対する刺激の大きさである聴覚刺激量を検出する聴覚刺激量検出部（１０５）と
   を備え、
   前記提示制御部は、前記情報を提示するに際して、前記視覚刺激量と前記視覚許容量とを比較すると共に、前記聴覚刺激量と所定の聴覚許容量とを比較して、前記視覚刺激量が前記視覚許容量を超えており、且つ、前記聴覚刺激量が前記聴覚許容量を超える場合には、前記触覚提示部を用いて前記情報を提示する
   ことを特徴とする車載用情報提示装置。
3. 請求項１または請求項２に記載の車載用情報提示装置であって、
   前記視覚刺激量検出部は、前記前方画像のオプティカルフローを解析することによって、前記視覚刺激量を検出する
   ことを特徴とする車載用情報提示装置。
4. 請求項１ないし請求項３の何れか一項に記載の車載用情報提示装置であって、
   前記視覚提示部は、前記情報を提示するための提示画像を、前記車両の運転席から見える前方の状況に重ねて虚像表示させることによって前記情報を提示する
   ことを特徴とする車載用情報提示装置。
5. 請求項４の車載用情報提示装置であって、
   前記視覚刺激量検出部は、前記提示画像が虚像表示される標準位置での前記視覚刺激量を検出し、
   前記視覚提示部は、前記標準位置での前記視覚刺激量が所定の閾値を超えていた場合には、前記提示画像を虚像表示させる位置を移動させる
   ことを特徴とする車載用情報提示装置。
6. 車両（１）の運転者に情報を提示する情報提示方法であって、
   前記車両から前方の状況を撮影した前方画像を取得して、該前方画像を解析することによって、前記運転者の視覚に対する刺激の大きさである視覚刺激量を検出する工程（Ｓ１０２）と、
   前記視覚刺激量と所定の視覚許容量とを比較して、前記視覚刺激量が前記視覚許容量に満たない場合には、前記運転者の視覚に働きかけることによって前記情報を提示する工程（Ｓ１０５、Ｓ１０６）と、
   前記視覚刺激量と前記視覚許容量とを比較して、前記視覚刺激量が前記視覚許容量を超える場合には、前記運転者の聴覚に働きかけることによって前記情報を提示する工程（Ｓ１１０）と
   を備える情報提示方法。
7. 請求項６に記載の情報提示方法であって、
   前記運転者の聴覚に働きかけることによって前記情報を提示する工程は、前記運転者の視覚に働きかけることによって前記情報を提示したままで、前記聴覚にも働きかけることによって前記情報を提示する工程である
   ことを特徴とする情報提示方法。
8. 請求項６または請求項７に記載の情報提示方法であって、
   前記視覚刺激量と前記視覚許容量とを比較して、前記視覚刺激量が前記視覚許容量を超える場合には、前記車両の運転室の室内音を解析することによって、前記運転者の聴覚に対する刺激の大きさである聴覚刺激量を検出する工程（Ｓ１０７）と、
   前記視覚刺激量と前記視覚許容量とを比較すると共に、前記聴覚刺激量と所定の聴覚許容量とを比較して、前記視覚刺激量が前記視覚許容量を超えており、且つ、前記聴覚刺激量が前記聴覚許容量を超える場合には、前記運転者の触覚に働きかけることによって前記情報を提示する工程（Ｓ１１２）と
   を備える情報提示方法。
9. 請求項８に記載の情報提示方法であって、
   前記運転者の触覚に働きかけることによって前記情報を提示する工程は、前記運転者の聴覚に働きかけることによって前記情報を提示したままで、前記触覚にも働きかけることによって前記情報を提示する工程である
   ことを特徴とする情報提示方法。

Images