JP2020152246A - 情報提供システム、移動体、情報提供方法及び情報提供プログラム - Google Patents

Abstract

【課題】情報を提供する際の運転者の負担を軽減させることを目的とする。【解決手段】投射装置と、前記投射装置を制御する制御装置とを有する情報提供システムであって、前記情報提供システムが設けられた移動体の外部の情報を取得する外部情報取得部と、前記外部の情報に基づき対象物を認識する対象物認識部と、認識された対象物に対する序列を推定する推定部と、前記序列に応じて特定された対象物に対する通知を示す画像を前記移動体の外部に投射させる投射制御部と、を有する。【選択図】図１２

Description

本発明は、情報提供システム、移動体、情報提供方法及び情報提供プログラムに関する。

従来から、車両のヘッドライト等を用いて路面上に図形や文字等を照射（描画）し、車両の情報を歩行者、対向車等の他者に対して通知する技術が知られている。また、従来から、車両内の表示エリアに虚像を表示させて、運転者に様々な情報を通知するヘッドアップディスプレイ装置が知られている。

上述した技術を利用した場合、車両内では運転者に対する情報が提示され、路面には他者に対する情報が提示されることになる。このため、近年では、運転者の視野に提示される情報量が増大し、運転者の視認性に影響を及ぼす、運転者に煩わしさを感じさせる、といった可能性がある。

開示の技術は、情報を提供する際の運転者の負担を軽減させることを目的とする。

開示の技術は、投射装置と、前記投射装置を制御する制御装置とを有する情報提供システムであって、前記情報提供システムが設けられた移動体の外部の情報を取得する外部情報取得部と、前記外部の情報に基づき対象物を認識する対象物認識部と、認識された対象物に対する序列を推定する推定部と、前記序列に応じて特定された対象物に対する通知を示す画像を前記移動体の外部に投射させる投射制御部と、を有する。

情報を提供する際の運転者の負担を軽減させることができる。

第一の実施形態の情報提供システムの一例を示す図である。 情報提供システムが有する各装置の移動体における配置例を示す図である。 投射装置のハードウェア構成例を示す第一の図である。 投射装置のハードウェア構成例を示す第二の図である。 投射装置のハードウェア構成例を示す第三の図である。 制御装置のハードウェア構成例を示す図である。 第一の実施形態の制御装置の機能構成を説明する図である。 第一の実施形態の優先度推定テーブルの一例を示す図である。 第一の実施形態の通知内容テーブルの一例を示す図である。 第一の実施形態の制御装置の動作を説明するフローチャートである。 第一の実施形態の投射制御部の処理を説明するフローチャートである。 第一の実施形態の投射装置による通知の例を示す第一の図である。 第一の実施形態の投射装置による通知の例を示す第二の図である。 第一の実施形態の投射装置による通知の例を示す第三の図である。 第二の実施形態の情報提供システムの一例を示す図である。 第二の実施形態のＨＵＤ装置の構成の概略を説明する図である。 ＨＵＤ装置の光学部の構成を示す図の一例である。 ＨＵＤ装置の制御装置のハードウェア構成を説明する図の一例である。 第二の実施形態の制御装置の機能構成を説明する図である。 第二の実施形態の通知内容テーブルの一例を示す図である。 第二の実施形態の制御装置の説明するフローチャートである。 第二の実施形態の投射装置及びＨＵＤ装置による通知の例を示す第一の図である。 第二の実施形態の投射装置及びＨＵＤ装置による通知の例を示す第二の図である。 第二の実施形態の投射装置及びＨＵＤ装置による通知の例を示す第三の図である。 第二の実施形態の投射装置による通知の例を示す図である。

（第一の実施形態）
以下に図面を参照して、本実施形態の情報提供システムについて説明する。図１は、第一の実施形態の情報提供システムの一例を示す図である。

本実施形態の情報提供システム１００は、移動体に搭載されるものである。以下では、移動体の一例として四輪で走行する車両を例にして説明する。

本実施形態の情報提供システム１００は、制御装置２００と、投射装置３００とを有する。制御装置２００と投射装置３００とは、互いに接続される。

本実施形態の制御装置２００は、例えば、車両に関する制御を行う。また、制御装置２００は、情報提供システム１００が搭載された車両（移動体）に関する車両情報（移動体情報）や、車両の外部の情報を取得する。車両の外部の情報は、例えば、制御装置２００と接続されたセンサ装置４００によって取得される。センサ装置４００は、例えば、車両に設置されたステレオカメラ等であっても良い。

投射装置３００は、制御装置２００によって制御される。本実施形態の投射装置３００は、移動体が有する光源を用いて、移動体（車両）の外部を投射面として、画像を投射（描画）する。車両の外部とは、例えば、移動体が走行している道路の路面であっても良いし、移動体の外部に存在する壁面等であっても良い。本実施形態の投射装置３００によって投射される画像は、主に、車両の外部に存在する人物に対して、車両の存在を通知するための画像である。

本実施形態では、投射装置３００によって路面に画像を投射することで、この画像を視認できる範囲に存在する人物に対して、車両の存在等を通知することができる。

図２は、情報提供システムが有する各装置の移動体における配置例を示す図である。情報提供システム１００は、制御装置２００と、投射装置３００−１、３００−２を有する。図２（Ａ）に示すように、投射装置３００−１は、例えば、車両１の左側ヘッドライトの位置に配置され、車両１の前方に所定の画像を投射する。また、３００−２は、例えば、車両１の右側ヘッドライトの位置に配置され、車両１の前方に所定の画像を投射する。

尚、本実施形態の投射装置３００−１、３００−２は、同様の構成を有する。したがって、以下の説明では、投射装置３００−１、３００−２を区別しない場合には、投射装置３００と呼ぶ。

本実施形態の制御装置２００は、図２（Ｂ）に示すように、例えば、車両１のダッシュボード内に配置される。制御装置２００は、投射装置３００にて投射される投射画像データを生成し、投射装置３００に送信する。

尚、情報提供システム１００が有する投射装置の数は２台に限定されず、１台であってもよい。この場合、１台の投射装置は、例えば、車両１の前面中央位置に配置され、車両１の前方に所定の画像を投射する。また、情報提供システム１００が有する投射装置の数は、３台以上であってもよい。この場合、投射装置３００は、例えば、車両１の両ヘッドライトに加え、車両０の両側面、後面（例えば、テールランプの位置）に配置され、車両１の前方、両側方、後方に所定の画像を投射する。

次に、投射装置３００のハードウェア構成例について説明する。以下では、３種類のハードウェア構成例について説明する。

図３は、投射装置のハードウェア構成例を示す第一の図である。

本実施形態の投射装置３００は、光源３０１、コリメータレンズ３０２、ＭＥＭＳ（Micro Electro Mechanical Systems）３０３、波長変換素子３０５、投射レンズ３０６を有する。

光源３０１は、制御装置２００にて生成された所定の投射画像データを描画するために、例えば、青色の波長帯域を有する光を出射する。コリメータレンズ３０２は、光源３０１から出射された光束をＭＥＭＳ３０３に集光する。

ＭＥＭＳ３０３は、制御装置００からの制御信号に基づいて、縦横の２軸方向に傾斜可動する機構により扇動駆動する反射ミラーを有している。ＭＥＭＳ３０３は、コリメータレンズ３０２によって集光された光を反射する際、走査幅３０４に示す範囲で反射光を制御することで、波長変換素子３０５上を２次元に走査する。

波長変換素子３０５は、所定の投射画像データが描画される反射型の蛍光体であり、ＭＥＭＳ３０３により２次元に走査された青色の光束が前面側に照射されることで、黄色の蛍光（少なくとも、緑色及び赤色の波長帯域を含む蛍光）を発する。

投射レンズ３０６は、波長変換素子３０５にて変換された変換後の光と、変換されなかった光とが混合されて白色となった光を、前方に投射する。これにより、図３に示す投射装置３００では、制御装置２００にて生成された所定の投射画像データに応じた画像を、車両１の前方の空間内に投射することができる。

図４は、投射装置のハードウェア構成例を示す第二の図である。図４に示す投射装置３００と、図３に示す投射装置３００との相違点は、波長変換素子３０５ａが、透過型の蛍光体であるため、ＭＥＭＳ３０３により２次元に走査された青色の光束が、波長変換素子３０５の背面側から照射される点である。

図４に示す投射装置３００の構成の場合も、図３と同様に、制御装置２００にて生成された所定の投射画像データに応じた画像を、車両１の前方の空間内に投射することができる。

図５は、投射装置のハードウェア構成例を示す第三の図である。図３、４との相違点は、図５の投射装置３００の場合、光源３０１に代えて光源３０１ａを有している点、波長変換素子３０５、３０５ａに代えてマイクロディスプレイ３０５ｂを有している点である。

光源３０１ａは、白色ＬＥＤであり、制御装置２００からの制御信号に基づいて、白色の光を出射する。光源３０１ａから出射された光は、コリメータレンズ３０２を介してマイクロディスプレイ３０５ｂに照射される。

マイクロディスプレイ３０５ｂは、例えば、デジタルマイクロディスプレイデバイス（ＤＭＤ（登録商標））である。マイクロディスプレイ３０５ｂは、制御装置２００にて生成された所定の投射画像データを表示するとともに、表示された所定の投射画像データに応じて、画素毎に画像光をオンオフ制御する。光源３０１ｂによりマイクロディスプレイ３０５ｂ上に照射された光は、画像光がオンの場合には、投射レンズ３０６に向かうように反射する。これにより、図５に示す投射装置３００では、制御装置２００にて生成された所定の投射画像データに応じた画像を、車両１の前方の空間内に投射することができる。

また、光源３０１ａによりマイクロディスプレイ３０５ｂ上に照射された光は、画像光がオフの場合には、投射レンズ３０６とは異なる方向へ向かう（点線矢印３０７参照）。この場合、車両１の前方の空間内には、黒画像が投射されることになる。

尚、マイクロディスプレイ３０５ｂは、ＤＭＤ（登録商標）に限定されず、他の反射型の液晶パネルであってもよいし、あるいは透過型の液晶パネルであってもよい。

次に、制御装置２００のハードウェア構成について説明する。図６は、制御装置のハードウェア構成例を示す図である。

本実施形態の制御装置２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、記憶装置２０３、入出力装置２０４を備える。なお、制御装置２００の各装置は、バス２０５を介して相互に接続されているものとする。

ＣＰＵ２０１は、記憶装置２０３に格納されたプログラム（後述する制御プログラム等）を実行するコンピュータである。ＲＡＭ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ２０２は、記憶装置２０３に格納されたプログラムがＣＰＵ２０１によって実行される際に展開される、作業領域として機能する。

記憶装置２０３は、ＥＰＲＯＭやＥＥＰＲＯＭ等の不揮発性のメモリであり、ＣＰＵ２０１にて実行されるプログラムを格納する。入出力装置２０４は、投射装置３００やＣＡＮ（Controller Area Network）と通信するためのインタフェースデバイスである。

次に、図７を参照して、本実施形態の制御装置２００の機能構成について説明する。図７は、第一の実施形態の制御装置の機能構成を説明する図である。

本実施形態の制御装置２００は、記憶部２１０を有する。記憶部２１０は、例えば、記憶装置２０３によって実現される。

また、制御装置２００は、車両情報取得部２２１、外部情報取得部２２２、対象物認識部２２３、認識情報生成部２２４、優先度推定部２２５、通知対象特定部２２６、通知判定部２２７、投射制御部２３０を有する。これらの各部は、制御装置２００にインストールされた制御プログラムが実行されることで、実現される。

本実施形態の記憶部２１０は、優先度推定テーブル２１１と、通知内容テーブル２１２とを格納する。優先度推定テーブル２１１は、車両の周辺で認識された対象物の優先度を推定する際に参照される情報を管理する。通知内容テーブル２１２は、投射装置３００による投射画像データを管理する。

本実施形態の車両情報取得部２２１は、入出力装置２０４により、ＣＡＮを介した通信や、ナビゲーションシステム等から、情報提供システム１００が搭載された車両１に関する車両情報を取得する。車両情報とは、車両１の速度、移動方向、位置を示す情報等を含む。

外部情報取得部２２２は、車両１の外部の状態を示す外部情報を取得する。具体的には、外部情報取得部２２２は、センサ装置４００によって撮像された車両１の周辺の動画データから、車両１の外部情報を取得しても良い。また、外部情報取得部２２２は、車両１以外の監視装置等から、入出力装置２０４を介した通信によって、外部情報を取得しても良い。車両１以外の監視装置とは、例えば、信号機等に設けられた撮像装置等であっても良い。

本実施形態の外部情報とは、車両１の外部の空間における人物、車両、建物といった物体の存在の有無を示す情報や、各物体の形状を示す情報等が含まれる。また、外部情報は、車両１の外部の空間の３次元情報を含む。

本実施形態では、センサ装置４００により、外部情報を逐次取得することで、対象物の移動速度や移動方向を示す情報を取得することができる。したがって、本実施形態によれば、車両１の周辺に複数の対象物が存在する場合等であっても、対象物の動きに合わせて、対象物に対する通知の優先度を推定することができる。

以下の説明では、車両１の外部の空間に存在する物体を、対象物と呼ぶ。本実施形態の対象物とは、車両１の存在を通知する対象となる人物や、車両１の運転者に存在を通知すべき物体を示す。

対象物認識部２２３は、外部情報に基づき、車両１の外部の空間に存在する対象物を認識する。具体的には、対象物認識部２２３は、対象物となり得る物体の形状を示すパターン情報が格納されており、外部情報と、パターン情報とを照合することによって、対象物を認識する。

パターン情報とは、具体的には、例えば、自転車、オートバイ、ガードレール、人物車両、建造物等、様々なものの形状を示すパターン情報が含まれて良い。

認識情報生成部２２４は、対象物認識部２２３による認識結果と、車両情報取得部２２１が取得した車両情報とに基づき、対象物毎の認識情報を取得する。

以下に認識情報について説明する。本実施形態の認識情報は、情報の項目として、例えば、対象物の種類、対象物の移動速度、車両１に対する対象物の位置、車両１と対象物との距離、対象物の移動方向等を含む情報である。つまり、認識情報は、対象物認識部２２３によって認識された対象物の状態を示す情報である。

本実施形態の認識情報生成部２２４は、対象物認識部２２３が認識した対象物について、外部情報と車両情報とに基づき、上述した認識情報を対象物毎に生成する。

優先度推定部２２５は、認識情報生成部２２４によって生成された認識情報と、車両情報とに基づき、対象物に関する通知の優先度を推定する。具体的には、優先度推定部２２５は、優先度推定テーブル２１１を参照し、各対象物について、認識情報と車両情報との組み合わせと対応する優先度を取得する。

通知対象特定部２２６は、対象物に関する通知の優先度に応じて、投射装置３００に通知を投射させる対象物を特定する。

通知判定部２２７は、通知対象特定部２２６によって特定された対象物に応じて、投射装置３００による投射画像データの投射を行うか否かを判定する。言い換えれば、通知判定部２２７は、特定された対象物に対して、車両１の存在を通知するか否かを判定する。

具体的には、例えば、通知判定部２２７は、特定された対象物が、人物又は人物によって運転される移動体である場合に、投射画像データの投射を行うものと判定する。また、本実施形態の通知判定部２２７は、さらに、特定された対象物と対応する優先度が所定の度合いよりも高い場合に、投射画像データによる投射を行うものと判定する。

つまり、本実施形態では、特定された対象物が物又は人物によって運転される移動体であり、且つ、優先度が所定の度合いより大きい場合に、この対象物に対して車両１の存在が通知される。

投射制御部２３０は、投射装置３００による投射画像データの投射を制御する。投射制御部２３０は、投射位置決定部２３１、可否判定部２３２、内容決定部２３３、投射指示部２３４を有する。

投射位置決定部２３１は、路面において、投射画像データを投射する位置を決定する。具体的には、投射位置決定部２３１は、特定された対象物の位置、移動速度、移動方向に応じて、投射する位置を決定する。

可否判定部２３２は、投射位置決定部２３１によって決定された位置が、投射画像データの投射が可能な状態の路面であるか否かを判定する。具体的には、可否判定部２３２は、３次元情報である外部情報に基づき、路面の凹凸が、投射画像データの投射が可能な程度であるか否かを判定する。

内容決定部２３３は、通知内容テーブル２１２を参照し、対象物の種別と優先度とに応じて、投射する投射画像データを決定する。

投射指示部２３４は、投射装置３００に対して、決定された投射画像データの投射を指示する。

次に、図８を参照して、本実施形態の優先度推定テーブル２１１について説明する。図８は、第一の実施形態の優先度推定テーブルの一例を示す図である。

本実施形態の優先度推定テーブル２１１は、情報の項目として、対象物の種類、対象物の位置、対象物の移動速度、車両との距離、対象物の移動方向、車両の速度、車両の移動方向、優先度を有する。優先度推定テーブル２１１において、各項目は対応付けられている。

ここで、優先度推定テーブル２１１が有する情報の項目のうち、項目「対象物の種類」、「対象物の位置」、「対象物の移動速度」、「車両との距離」、「対象物の移動方向」は、認識情報生成部２２４によって、外部情報から生成される認識情報に含まれる項目である。

また、優先度推定テーブル２１１が有する情報の項目のうち、項目「車両の速度」、「車両の移動方向」は、車両情報取得部２２１によって取得される車両情報に含まれる項目である。

つまり、優先度推定テーブル２１１には、認識情報と車両情報と、項目「優先度」とが対応付けられている。

本実施形態の優先度推定テーブル２１１において、項目「対象物の種類」の値は、対象物の種類を示す。項目「対象物の位置」の値は、車両に対する対象物の位置を示す。尚、項目「対象物の位置」の値は、緯度と経度によって示されても良い。

項目「対象物の移動速度」の値は、対象物の速度を示し、項目「車両との距離」の値は、車両と対象物との間の距離を示し、項目「対象物の移動方向」の値は、対象物の移動方向を示す。

項目「車両の速度」の値は、車両の速度を示し、項目「車両の移動方向」の値は、車両の移動方向を示す。

項目「優先度」の値は、項目「対象物の種類」、「対象物の位置」、「対象物の移動速度」、「車両との距離」、「対象物の移動方向」の値が示す認識情報と、項目「車両の速度」、「車両の移動方向」の値が示す車両情報との組み合わせに対する、通知の優先度を示す。

図８の例では、例えば、認識情報が示す対象物の種類が自転車であり、対象物が車両の左前方を南に向かって１０ｋｍ／ｈで走行しており、対象物と車両との距離が５０ｍである。これに対し、車両情報が示す車両は、時速３０ｋｍ／ｈで北に向かって走行している。

この組み合わせでは、対象物である自転車と、車両とは、互いに接近していくように走行しているため、自転車の運転者に対して、車両の存在を知らせる通知を行うことが好ましい。したがって、この組み合わせの優先度は、「大」とされている。

また、図８の例では、例えば、対象物が車両であり、この対象物は、車両の後方を時速５０ｋｍ／ｈで北東に向かって走行しており、対象物と車両との間の距離は１００ｍである。これに対し、車両は、車両も時速５０ｋｍ／ｈで北東に向かって走行しているため、この車両と対象物とが接触したりする可能性は低い。したがって、この組み合わせの優先度は、「低」とされている。

このように、本実施形態の優先度推定テーブル２１１では、認識情報と車両情報の組み合わせに応じた通知の優先度が設定されている。言い換えれば、本実施形態の優先度推定テーブル２１１は、認識された対象物に対して、優先的に通知を行う対象物と、そうではない対象物とを振り分けるために参照される。したがって、本実施形態では、優先度推定テーブル２１１を参照して、認識された対象物に対して序列を設定していると言える。

また、優先度の高い認識情報と車両情報の組み合わせとは、優先的に通知を行うべき状態を示している。したがって、優先度の高い認識情報と車両情報の組み合わせとは、危険度が高い状態とも言える。

本実施形態の優先度推定テーブル２１１は、予め記憶部２１０に格納されていても良い。また、本実施形態の優先度推定テーブル２１１は、例えば、交通に関する情報が収集されるサーバ等によって、定期的に更新されても良い。その場合、制御装置２００は、定期的にサーバへアクセスして更新された優先度推定テーブル２１１を取得し、記憶部２１０に上書きするようにしても良い。

本実施形態では、このように、優先度推定テーブル２１１を更新することで、事故発生に至ったケースの事例等を優先度推定テーブル２１１に反映させることができる。また、本実施形態では、優先度推定テーブル２１１を保持することで、車両１の外部と通信を行わずに優先度の推定を行うことができるため、通信の負荷を低減し、処理速度を向上させることができる。

尚、認識情報と車両情報の組み合わせに対する優先度は、優先度推定テーブル２１１のようなテーブルとして保持されていなくても良い。優先度は、認識情報と車両情報の組み合わせによって示される条件に基づき算出される値であっても良い。

次に、図９を参照して、本実施形態の通知内容テーブル２１２について説明する。図９は、第一の実施形態の通知内容テーブルの一例を示す図である。

本実施形態の優先度推定テーブル２１１は、情報の項目として、対象物の種類と、優先度と、通知内容とを有し、それぞれが対応付けられている。

項目「通知内容」の値は、投射装置３００に描画させる投射画像データである。図９の例では、例えば、対象物の種類が自転車であり、優先度が「大」である場合には、投射画像データ１１を投射装置３００に投射させる。

本実施形態の通知内容テーブル２１２は、予め記憶部２１０に格納されていても良い。

次に、図１０を参照して、本実施形態の制御装置２００の動作について説明する。図１０は、第一の実施形態の制御装置の動作を説明するフローチャートである。

本実施形態の制御装置２００は、車両情報取得部２２１と外部情報取得部２２２により、車両情報と外部情報とを取得する（ステップＳ１００１）。

続いて、制御装置２００は、対象物認識部２２３により、車両の外部に対象物が存在するか否かを判定する（ステップＳ１００２）。ステップＳ１００２において、対象物が存在しない場合、制御装置２００は、後述するステップＳ１００９へ進む。

ステップＳ１００２において、対象物が存在する場合、制御装置２００は、認識情報生成部２２４により、対象物認識部２２３が認識した対象物毎の認識情報を生成する（ステップＳ１００３）。

続いて、制御装置２００は、優先度推定部２２５により、対象物毎の優先度を推定する（ステップＳ１００４）。具体的には、優先度推定部２２５は、優先度推定テーブル２１１を参照し、認識情報生成部２２４によった対象物毎の生成された認識情報と車両情報との組み合わせと合致する組み合わせと対応付けられた優先度を、この対象物の通知に関する優先度として取得する。

尚、優先度推定部２２５は、認識情報と車両情報との組み合わせは、優先度推定テーブル２１１に格納された組み合わせと完全に一致しなくても良い。例えば、優先度推定部２２５は、認識情報生成部２２４が生成した認識情報に含まれる対象物の移動速度が、優先度推定テーブル２１１に格納された認識情報における対象物の移動速度を含む所定範囲内の値であれば、認識情報が一致するものと判定しても良い。

続いて、制御装置２００は、通知対象特定部２２６により、優先度が推定された対象物の中から、優先度が最も大きい対象物を特定する（ステップＳ１００５）。

続いて、制御装置２００は、通知判定部２２７により、特定された対象物の優先度が、通知を行う必要がある優先度であるか否かを判定する（ステップＳ１００６）。本実施形態では、例えば、優先度が一定の度合い以下である場合には、投射装置３００による投射画像データの投射を行わない場合がある。一定の度合いは、予め設定されていても良い。

ステップＳ１００６において、通知判定部２２７は、例えば、特定された対象物の優先度が、「低い」である場合には、投射画像データの投射を行わないものとし、通知を行う必要がない優先度であるものとは判定しても良い。

ステップＳ１００６において、通知の必要がないと判定された場合、制御装置２００は後述するステップＳ１００９へ進む。

ステップＳ１００６において、通知の必要があると判定された場合、通知判定部２２７は、特定された対象物の種類が、人物又は人物が関わる種類であるか否かを判定する（ステップＳ１００７）。具体的には、通知判定部２２７は、特定された対象物が、歩行者か、又は、自転車、オートバイ等のように、人物によって運転されるものであるか否かを判定している。

ステップＳ１００７において、特定された対象物の種類が、人物又は人物が関わる種類でない場合、制御装置２００は、後述するステップＳ１００９へ進む。人物又は人物が関わる種類ではない対象物とは、例えば、ガードレールや建造物等である。

ステップＳ１００７において、特定された対象物の種類が、人物又は人物が関わる種類である場合、制御装置２００は、投射制御部２３０により、投射装置３００による投射画像データの投射を行う（ステップＳ１００８）。ステップＳ１００８の詳細は後述する。

続いて、制御装置２００は、車両１のエンジンが停止されたか否かを判定する（ステップＳ１００９）。ステップＳ１００９において、エンジンが停止されていない場合、制御装置２００は、ステップＳ１００１へ戻る。ステップＳ１００９において、エンジンが停止されると、制御装置２００は、処理を終了する。

次に、図１１を参照して、本実施形態の投射制御部２３０の動作を説明する。図１１は、第一の実施形態の投射制御部の処理を説明するフローチャートである。図１１に示す処理は、図１０のステップＳ１００８の詳細を示す。

本実施形態の投射制御部２３０は、投射位置決定部２３１によって、投射画像データを投射する位置を決定する（ステップＳ１１０１）。投射画像データを投射する位置とは、路面において、画像が投影される投射領域を示す。

具体的には、投射位置決定部２３１は、例えば、対象物の位置と移動方向及び移動速度な基づき、投射装置３００によって投射画像データの投射が可能な範囲であって、且つ、対象物とされた人物や、対象物を運転する人物によって視認することができる範囲を投射する位置に決定しても良い。

続いて、投射制御部２３０は、可否判定部２３２によって、決定した位置の路面が、投射画像データの投射が可能な路面であるか否かを判定する（ステップＳ１１０２）。

具体的には、可否判定部２３２は、路面の凹凸の幅が所定の幅以上である場合には、投射画像データの投射が不可能と判定する。

ステップＳ１１０２において、投射が可能と判定された場合、投射制御部２３０は、内容決定部２３３によって、通知内容テーブル２１２を参照し、特定された対象物と、対象物の優先度とに応じて、投射する投射画像データを決定する（ステップＳ１１０３）。そして、投射制御部２３０は、投射指示部２３４によって、投射装置３００に対し、決定した投射画像データの投射を指示し（ステップＳ１１０４）、処理を終了する。

ステップＳ１１０２において、投射が不可能と判定された場合、投射制御部２３０は、投射位置決定部２３１によって、投射する位置を変更する（ステップＳ１１０５）。具体的には、投射位置決定部２３１は、画像が投影される投射領域を小さくするように、変更する。

続いて、投射制御部２３０は、可否判定部２３２により、変更後の投射領域に対する投射画像データの投影が可能か否かを判定する（ステップＳ１１０６）。ステップＳ１１０６において、投影が可能と判定された場合、投射制御部２３０は、ステップＳ１１０４へ進む。

ステップＳ１１０６において、投影が不可能と判定された場合には、投射制御部２３０は、処理を終了する。

この処理からわかるように、本実施形態の投射制御部２３０は、路面の凹凸に応じて、画像の投射領域を決定している。

次に、図１２乃至図１４を参照して、本実施形態による通知の例について説明する。

図１２は、第一の実施形態の投射装置による通知の例を示す第一の図である。図１２は、車両１の運転者の視界を模式的に示している。

図１２の場合、車両１の制御装置２００は、対象物認識部２２３によって、対象物１２１、１２２、１２３を認識する。対象物１２１は、車両１が走行する車線と対向する車線を走行する車両であり、対象物１２２は、車両１に接近する方向に走行している自転車であり、対象物１２３は、静止している歩行者である。

また、図１２では、対象物１２１、１２２、１２３のうち、対象物１２２と対応する優先度が最も高く、通知対象特定部２２６によって、車両１の存在を通知する対象物として、対象物１２２が特定された場合を示している。

この場合、制御装置２００は、対象物１２２である自転車の運転者に視認可能な投射領域１２５に、車両１が接近していることを通知する画像１２６を投射する。尚、画像１２６は、例えば、車両１が左折しようとしている場合に投射される画像であっても良い。

本実施形態では、このように画像１２６を投射することで、自転車の運転者に対して車両１の存在を通知することができる。

図１３は、第一の実施形態の投射装置による通知の例を示す第二の図である。図１３では、投射領域１２５に、画像１２６Ａが投射されている。画像１２６Ａは、例えば、車両１が直進しようとしている場合に投影されても良い。

図１４は、第一の実施形態の投射装置による通知の例を示す第三の図である。図１４の例では、車両１の後方に対象物が認識され、通知の対象に特定された場合を示している。具体的には、例えば、図１４の例では、車両１の後方に歩行者が存在した場合等が想定される。

この場合、車両１は、車両１の後方の投射領域１４１に、車両１が存在することを示す画像１４２が投射される。

このように、本実施形態によれば、通知の優先度が最も高い対象物を特定し、特定された対象物に対する通知のみを投射するため、車両１の運転者の視界に提示される情報が複雑化することがない。

また、本実施形態では、図１０に示す処理が常に実行されるため、時間の経過に応じて、車両１の外部の状況に基づき、投射装置３００による投射画像データの投射を行うことができる。

また、本実施形態によれば、車両１の存在を通知したい対象者に対してのみ、必要なタイミングで画像を路面に投射することができるので、この対象者の視線を車両に誘導し、注意喚起を促すことができる。

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態は、情報提供システムにＨＵＤ（ヘッドアップディスプレイ）装置が含まれる点が、第一の実施形態と相違する。以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１５は、第二の実施形態の情報提供システムの一例を示す図である。本実施形態の情報提供システム１００Ａは、制御装置２００Ａと、投射装置３００と、ＨＵＤ装置５００を有する。制御装置２００Ａは、投射装置３００と、ＨＵＤ装置５００と、に接続される。

また、本実施形態の制御装置２００Ａは、センサ装置４００と、センサ装置４５０と接続されている。センサ装置４５０は、例えば、ステレオカメラであり、車両の内部に設けられ、車両の内部を撮影しても良い。センサ装置４５０によって取得された情報は、車両の内部を示す内部情報である。

本実施形態のＨＵＤ装置５００は、車両に設けられたナビゲーションシステム６００等とも接続されていても良く、車両情報や、ナビゲーションシステム６００によって提供される情報を投影させても良い。

以下に、ＨＵＤ装置５００について説明する。図１６は、第二の実施形態のＨＵＤ装置の構成の概略を説明する図である。

ＨＵＤ装置５００は、車両１に搭載されている。ＨＵＤ装置５００はダッシュボードの内部に埋め込まれており、ＨＵＤ装置５００の上面に設けられ射出窓５０１からフロントウィンドウシールド１２に向けて画像を投影する投影装置である。投影された画像はフロントウィンドウシールド１２よりも前方に虚像Ｉとして表示される。したがって、ＨＵＤ装置５００は表示装置の一態様である。運転者Ｖは視線を前方の車両や路面に保ったまま（少ない視線移動で）運転を支援する情報を目視できる。運転を支援する情報については例えば車速が挙げられるがどのような情報でもよく車速以外の例は後述される。なお、ＨＵＤ装置５００はフロントウィンドウシールド１２に画像を投影できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。

ＨＵＤ装置５００は、汎用的な情報処理端末である場合とＨＵＤ専用端末の場合がある。ＨＵＤ専用端末は単にヘッドアップディスプレイ装置と呼ばれる他、ナビゲーション装置と一体である場合にはナビゲーション装置と呼ばれる場合がある。また、ＰＮＤ（Portable Navigation Device）とも呼ばれる。あるいはディスプレイオーディオ（又はコネクティッドオーディオ）と呼ばれてもよい。ディスプレイオーディオとは、ナビゲーションの機能を搭載せずに主にＡＶ機能と通信機能を提供する装置である。

汎用的な情報処理端末は、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、及び、ウェアラブルＰＣ（例えば、腕時計型、サングラス型など）などである。汎用的な情報処理端末はこれらに限定されるものではなく、一般的な情報処理装置の機能を有していればよい。汎用的な情報処理端末は、普段は各種のアプリケーションを実行する情報処理装置として利用されるが、例えばＨＵＤ装置のためのアプリケーションソフトウェアを実行する場合に、ＨＵＤ専用端末と同様、運転を支援する情報を表示する。

本実施形態のＨＵＤ装置５００は、汎用的な情報処理端末とＨＵＤ専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってよい。

ＨＵＤ装置５００は、主要な構成要素として、光学部５１０と、制御装置５２０とを有している。ＨＵＤ装置５００の投射方式としては、パネル方式及びレーザ走査方式が知られている。パネル方式は、液晶パネル、ＤＭＤパネル（デジタルミラーデバイスパネル）、蛍光表示管（ＶＦＤ）等のイメージングデバイスで中間像を形成する方式である。一方、レーザ走査方式は、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し中間像を形成する方式である。

レーザ走査方式は、全画面発光の部分的遮光で画像を形成するパネル方式とは違い、各画素に対して発光／非発光を割り当てることができるため、一般に高コントラストの画像を形成することができる点で好適である。本実施形態では、ＨＵＤ装置５００の投射方式としてレーザ走査方式を採用する例を説明するが、あくまで一例であり浮遊感の低減の処理ができる投射方式であればよい。

図１７は、ＨＵＤ装置の光学部の構成を示す図の一例である。光学部５１０は、主に、光源部５０２と、光偏向器５０３と、ミラー５０４と、スクリーン５０５と、凹面ミラー５０６とを有している。尚、図１７は主要な構成要素を示したに過ぎず、主要なＨＵＤ装置５００が備える構成要素を有するものとする。

光源部５０２は、例えば、ＲＧＢに対応した３つのレーザ光源（以下、ＬＤ：レーザダイオードとする）、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのＬＤから出射されたレーザビームを合成して光偏向器５０３の反射面に向かって導く。光偏向器５０３の反射面に導かれたレーザビームは、光偏向器５０３により２次元的に偏向される。

光偏向器５０３としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器５０３は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとすることができる。光偏向器５０３は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。光偏向器５０３として、ガルバノミラーやポリゴンミラー等を用いてもよい。

光偏向器５０３により２次元的に偏向されたレーザビームはミラー５０４に入射し、ミラー５０４により折り返され、スクリーン５０５の表面（被走査面）上に２次元の画像（中間像）を描画する。ミラー５０４としては、例えば凹面鏡を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器５０３とミラー５０４でレーザビームの方向を偏向することで、ＨＵＤ装置５００の小型化又は構成要素の配置を柔軟に変更できる。

スクリーン５０５としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。

スクリーン５０５から射出されたレーザビームは、凹面ミラー５０６で反射され、フロントウィンドウシールド１２に投影される。凹面ミラー５０６はレンズと似た働きを有し、所定の焦点距離に像を結像させる機能を有する。このため、物体に相当するスクリーン５０５と凹面ミラー５０６との距離、及び、凹面ミラー５０６の焦点距離によって定まる位置に虚像Ｉが表示される。図１７ではレーザビームが凹面ミラー５０６によりフロントウィンドウシールド１２に投影されるため、運転者Ｖの視点Ｅから距離Ｌの位置に虚像Ｉが表示される（結像する）。

フロントウィンドウシールド１２への光束の少なくとも一部は運転者Ｖの視点Ｅに向けて反射される。この結果、運転者Ｖはフロントウィンドウシールド１２を介してスクリーン５０５の中間像が拡大された虚像Ｉを視認可能となる。すなわち、運転者Ｖから見てフロントウィンドウシールド１２越しに中間像が虚像Ｉとして拡大表示される。

尚、通常、フロントウィンドウシールド１２は、平面ではなく僅かに湾曲している。このため、凹面ミラー５０６の焦点距離だけでなくフロントウィンドウシールド１２の曲面によっても虚像Ｉの結像位置が決定される。凹面ミラー５０６の集光パワーは、運転者Ｖの視点Ｅから虚像Ｉの結像位置までの距離Ｌが４ｍ以上かつ１０ｍ以下（好ましくは６ｍ以下）の位置（奥行位置）に表示されるように設定されることが好ましい。

尚、フロントウィンドウシールド１２の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー５０４及び凹面ミラー５０６の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される画像が歪みを考慮して補正されることが好ましい。

また、フロントウィンドウシールド１２よりも視点Ｅ側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラーからの光を照射するようにしても、フロントウィンドウシールド１２に凹面ミラー５０６からの光を照射した場合と同様に、虚像Ｉを表示することができる。尚、「虚像を表示する」とは透過部材を介して運転者に視認可能に画像を表示することをいうが、説明を簡単にするため「画像を投影する」と記載する場合がある。

また、フロントウィンドウシールド１２に画像が投影されるのではなく、フロントウィンドウシールド１２が発光して画像を表示してもよい。

図１８は、ＨＵＤ装置の制御装置のハードウェア構成を説明する図の一例である。制御装置５２０は、ＦＰＧＡ５１１と、ＣＰＵ５１２と、ＲＯＭ５１３と、ＲＡＭ５１４と、Ｉ／Ｆ５１５と、バスライン５１６と、ＬＤドライバ５１７と、ＭＥＭＳコントローラ５１８とを有している。ＦＰＧＡ５１１、ＣＰＵ５１２、ＲＯＭ５１３、ＲＡＭ５１４、及びＩ／Ｆ５１５は、バスライン５１６を介して相互に接続されている。

ＣＰＵ５１２は、ＨＵＤ装置５００の各機能を制御する。ＲＯＭ５１３は、ＣＰＵ５１２がＨＵＤ装置５００の各機能を制御するために実行するプログラム５３０を記憶している。ＲＡＭ５１４にはプログラム５３０が展開され、ＣＰＵ５１２がプログラム５３０を実行するためのワークエリアとして使用される。また、ＲＡＭ５１４は画像メモリ５１９を有している。画像メモリ５１９は虚像Ｉとして表示される画像の生成に使用される。Ｉ／Ｆ５１５は、車載された他の装置と通信するためのインターフェイスであり、例えば車両１のＣＡＮバス又はイーサネット（登録商標）等に接続される。

ＦＰＧＡ５１１は、ＣＰＵ５１２が作成した画像に基づいてＬＤドライバ５１７を制御する。ＬＤドライバ５１７は光学部５１０の光源部５０２のＬＤを駆動することで、画像に応じたＬＤの発光を制御する。ＦＰＧＡ５１１は、画像の画素位置に応じた方向にレーザビームが偏向されるようにＭＥＭＳコントローラ５１８を介して光学部５１０の光偏向器５０３を動作させる。

次に、図１９を参照して、本実施形態の制御装置２００Ａの機能構成について説明する。図１９は、第二の実施形態の制御装置の機能構成を説明する図である。

本実施形態の制御装置２００Ａは、記憶部２１０Ａ、車両情報取得部２２１、外部情報取得部２２２、対象物認識部２２３、認識情報生成部２２４、優先度推定部２２５、通知対象特定部２２６、通知判定部２２７Ａ、内部情報取得部２２８、投射制御部２３０、ＨＵＤ制御部２４０を有する。

記憶部２１０Ａは、優先度推定テーブル２１１と、通知内容テーブル２１２Ａとを格納する。通知内容テーブル２１２Ａは、投射装置３００により投射する投射画像データと、ＨＵＤ装置５００により投影する画像データとが格納される。通知内容テーブル２１２Ａの詳細は後述する。

通知判定部２２７Ａは、特定された対象物の種類と、特定された対象物と対応する優先度に応じて、投射装置３００Ａによる投射画像データの投射と、ＨＵＤ装置５００による画像データの投影とを行うか否かを判定する。

具体的には、通知判定部２２７Ａは、特定された対象物と対応する優先度の度合いが所定の値よりも大きい場合には、投射装置３００による投射とＨＵＤ装置５００による投影を行うものと判定する。また、通知判定部２２７Ａは、特定された対象物の種類が、人物又は人物によって運転される移動体である場合には、投射装置３００による投射画像データの投射と、ＨＵＤ装置５００による画像データの投影と、を行うものと判定する。また、通知判定部２２７Ａは、特定された対象物の種類が、人物又は人物によって運転される移動体でない場合には、ＨＵＤ装置５００による画像データの投影のみを行うものと判定する。

内部情報取得部２２８は、センサ装置４５０が取得した車両１の内部の情報である内部情報を取得する。内部情報とは、例えば、車両１に乗車している人物の人数を示す情報、人物が座っている位置を示す情報、人物が大人であるか、子供であるか等を示す情報等を含む。

本実施形態のＨＵＤ制御部２４０は、ＨＵＤ装置５００を制御する。言い換えれば、ＨＵＤ制御部２４０は、投影装置であるＨＵＤ装置５００を制御する投影制御部である。ＨＵＤ制御部２４０は、投影位置決定部２４１、内容決定部２４２、投影指示部２４３を有する。

投影位置決定部２４１は、車両１の内部における、画像を投影する位置を決定する。また、本実施形態の投影位置決定部２４１は、ＨＵＤ装置５００による投影領域のうち、投射装置３００による投射画像データの投射領域と重ならない位置を、画像データの投影位置にする。

具体的には、投影位置決定部２４１は、センサ装置４５０によって車両１の内部から撮像された、運転者の視界と対応する動画データ等から、運転者の視界における投射領域の位置を求め、投射領域以外の領域を、画像データの投影位置としても良い。

内容決定部２４２は、通知内容テーブル２１２Ａを参照し、特定された対象物と通知の優先度に応じた画像データを決定する。

投影指示部２４３は、内容決定部２４２によって決定された画像データの投影をＨＵＤ装置５００に対して指示する。

図２０は、第二の実施形態の通知内容テーブルの一例を示す図である。本実施形態の通知内容テーブル２１２Ａは、情報の項目として、対象物の種類、優先度、通知内容を有する。また、項目「通知内容」は、投射装置３００によって路面に投射される投射画像データと、ＨＵＤ装置５００によって車両１の内部の投影領域に投影される画像データとが含まれる。尚、本実施形態の投影領域とは、ＨＵＤ装置５００によって画像を投影させることが可能な領域であり、ＨＵＤ装置５００の光学部５１０の構造に依存する。

図２０の例では、例えば、対象物の種類が歩行者であり、優先度が「中」である場合、投射装置３００によって投射画像データ２２を路面に投射させ、ＨＵＤ装置５００によって、画像データ５を車両１内に投影される。

また、図２０の例では、例えば、対象物の種類がガードレールであり、優先度が「大」ある場合、射装置３００により投射画像データの投射は行われず、ＨＵＤ装置５００による画像データ７が車両１内に投影される。つまり、ＨＵＤ装置５００によって、フロントウィンドウシールド１２に、画像データ７が示す画像を表示させる。

このように、本実施形態の投射装置３００は、対象物の種類が人又は人が運転者となるものである場合に、投射画像データを路面に投射する。したがって、本実施形態の投射装置３００は、車両１の外部の人物に対する通知を行う装置と言える。

また、本実施形態では、ＨＵＤ装置５００は、対象物の種類が人又は人が運転者となるものでない場合も、画像データを車両１の内部に投影する。したがって、本実施形態のＨＵＤ装置５００は、車両１の運転者に対する通知を行う装置と言える。

次に、図２１を参照して、本実施形態の制御装置２００Ａの動作について説明する。図２１は、第二の実施形態の制御装置の説明するフローチャートである。

本実施形態の制御装置２００Ａは、車両情報取得部２２１、外部情報取得部２２２、対象物認識部２２３により、車両情報、外部情報、内部情報を取得し（ステップＳ２１０１）、ステップＳ２１０２へ進む。

ステップＳ２１０２からステップＳ２１０５までの処理は、図１０のステップＳ１００２からステップＳ１００５までの処理と同様であるから、説明を省略する。

ステップＳ２１０５に続いて、制御装置２００Ａは、通知判定部２２７により、推定された優先度が投射装置３００による投射画像データの投影及びＨＵＤ装置５００による画像データの投影を行うか否かを判定する（ステップＳ２１０６）。言い換えれば、通知判定部２２７Ａは、投射装置３００及びＨＵＤ装置５００を用いた通知を行うか否かを判定している。

ステップＳ２１０６において、通知を行わないと判定された場合、制御装置２００Ａは、後述するステップＳ２１１０へ進む。

ステップＳ２１０６において、通知を行うものと判定された場合、通知判定部２２７Ａは、特定された対象物、人物又は人物によって運転される移動体であるか否かを判定する（ステップＳ２１０７）。

ステップＳ２１０７において、特定された対象物が人物又は人物によって運転される移動体である場合でない場合、制御装置２００Ａは、後述するステップＳ２１０９へ進む。

ステップＳ２１０７において、特定された対象物の種類が、人物又は人物によって運転される移動体である場合には、制御装置２００Ａは、投射制御部２３０により、投射装置３００に対して、路面への投射画像データの投射を指示する（ステップＳ２１０８）。ステップＳ２１０８は、図１０のステップＳ１００８と同様である。

続いて、制御装置２００Ａは、ＨＵＤ制御部２４０により、ＨＵＤ装置５００に対して画像データの投影を指示する（ステップＳ２１０９）。

具体的には、ＨＵＤ制御部２４０は、投影位置決定部２４１によって、車両１の運転者に対する通知を示す画像データの投影位置を決定する。そして、ＨＵＤ制御部２４０は、内容決定部２４２により、通知内容テーブル２１２Ａを参照して、特定された対象物の優先度と対応する通知内容（画像データ）を決定する。そして、ＨＵＤ制御部２４０は、投影指示部２４３により、ＨＵＤ装置５００に対し、内容決定部２４２によって決定された画像データの投影を指示し、フロントウィンドウシールド１２に画像を表示させる。

続いて、制御装置２００Ａは、エンジンが切れられたか否かを判定する（ステップＳ２１１０）。ステップＳ２１１０において、エンジンが切られていない場合、制御装置２００Ａは、ステップＳ２１０１へ戻る。

ステップＳ２１１０において、エンジンが切られた場合には、制御装置２００Ａは、処理を終了する。

次に、図２２乃至図２５を参照して、本実施形態の通知の例について説明する。図２２は、第二の実施形態の投射装置及びＨＵＤ装置による通知の例を示す第一の図である。

図２２は、情報提供システム１００Ａが搭載された車両１の運転者の視界を模式的に示している。

図２２では、対象物１２１、１２２、１２３が認識されており、対象物１２２と対応する優先度が最も高く、通知を行う対象物として、対象物１２２が特定された場合を示している。

この場合、路面の投射領域１２５に、車両１が接近していることを通知する画像１２６が投射される。

また、ＨＵＤ装置５００は、車両１の投影領域において、対象物１２２を強調させる画像２６０を投影させることで、対象物１２２の存在を車両１の運転者に通知する。

また、ＨＵＤ装置５００は、投影領域の一部である領域２６１に、画像２６２と画像２６３を投影させる。

画像２６２は、対象物１２２である自転車が接近していることを示すマークであり、画像２６３は、車両１が左折しようとしていることを示すマークである。

本実施形態の制御装置２００Ａは、ＨＵＤ制御部２４０の投影位置決定部２４１により、この領域２６１が、投射装置３００による投射領域１２５と重ならない位置とされる。

本実施形態では、このように、ＨＵＤ装置５００によって、特定された対象物が強調されるように画像を投影させるため、車両の運転者に対して、速やかに注意すべき対象物の存在を通知することができる。

また、本実施形態では、車両の運転者の視界において、投射装置３００によって投射画像データが投射される領域と、ＨＵＤ装置５００によって画像データが投影される領域とが重ならないようにした。

このため、本実施形態によれば、路面上に投射された画像と、ＨＵＤ装置５００によって投影された画像と、が重なることがなく、視認性を向上させることができる。

また、本実施形態によれば、車両の外部の人物に対しては、路面に投射される画像によって車両に関する情報を通知し、車両の内部の人物（運転者）に対しては、車寮内の投影領域に投影された画像によって、注意すべき対象物に関する情報を通知することができる。したがって、本実施形態によれば、車両の外部の人物と車両の運転者のそれぞれに対して、同時に注意喚起を促すことができ、安全性を向上させることができる。

尚、図２２の例では、特定された対象物１２２のみを強調する画像２６０を投影させるものとしたが、これに限定されない。ＨＵＤ装置５００は、例えば、認識された対象物のうちも、歩行者に対しては、優先度に関わらず、強調するための画像を投影させても良い。

この場合、対象物１２３にも、対象物１２３を強調するための画像が投影されるが、この画像は、対象物１２２を強調するための画像２６０と、表示態様が異なるように投影されても良い。具体的には、例えば、優先度が最も高い対象物を強調するための画像と、その他の対象物に対する画像とで、色や輝度を異ならせるようにしても良い。

図２３は、第二の実施形態の投射装置及びＨＵＤ装置による通知の例を示す第二の図である。

図２３でも、図２２と同様に、情報提供システム１００Ａが搭載された車両１の運転者の視界を模式的に示している。

図２３では、対象物２７１が認識されている。対象物２７１は、車両１の前方を走行する車両である。

また、図２３では、車両１が走行している車線の隣の車線を走行している他の車両が、車両１と対象物２７１の車両との間に進入しようとしている状態を示している。また、図２３では、この場合において、他の車両に搭載された投射装置３００によって、他の車両の投射領域２８１内に画像２８２が投射されており、この画像２８２は、車両１の運転者の視界に入る。

そこで、本実施形態の投射制御部２３０は、他の車両によって投射された画像２８１に、自車両が投射する画像が重ならないようにする。

図２３の例では、車両１の前方の投射領域１２５Ａに、画像１２６Ａが投射されている。本実施形態では、この画像１２６Ａが、画像２８２と重ならない位置に投射される。

具体的には、投射制御部２３０の投射位置決定部２３１は、センサ装置４００によって撮像される車両１の外部の動画データ等から、画像２８２が投射されている位置を求め、この位置と重ならない位置を投射装置３００による投射画像データの投射位置とする。

このように、本実施形態では、複数の車両によって投射された画像が路面上で重なることを抑制でき、画像による通知を明確に行うことができる。

また、図２３の例では、領域２９０に、画像２９２と画像２９３が投影されている。画像２９２は、他の車両の進入を示す画像であり、画像２９３は、車両１と前方の車両との車間距離が狭くなっていることを示す画像である。本実施形態では、領域２９０も、画像２８１と重ならない位置に表示される。

図２４は、第二の実施形態の投射装置及びＨＵＤ装置による通知の例を示す第二の図である。

図２４の例では、車両１の前方を走行する車両の後方に設置された投射装置３００から、画像２７２が投射された状態を示している。

この場合に、車両１の投射装置３００が画像を投射する場合には、画像２７２と重ならない位置に投射される。

図２４の例では、車両１の投射領域１２５Ａにおける画像１２８は、画像２７２と重ならないように投射されている。また、図２４では、ＨＵＤ装置５００によって画像２９３が投影されている領域２９０Ａも、画像１２８及び画像２７２の何れとも重ならない位置に投影されている。

図２５は、第二の実施形態の投射装置による通知の例を示す図である。本実施形態の制御装置２００Ａは、例えば、内部情報取得部２２８によって取得した内部情報に応じて、投射装置３００による通知を周囲に行っても良い。

図２５の例では、車両１の後方の投射領域１２９に、画像１３０が投射されている。この場合、制御装置２００Ａは、内部情報によって車両１内に乗っている人物（搭乗者）の中に乳児がいることが検出した結果として、画像１３０を投射させている。

また、本実施形態では、内部情報によって、車両１に乗っている人物の状態に異変が生じたことが検出されると、その旨を示す画像を投射装置３００やＨＵＤ装置５００によって投射又は投影させても良い。

このようにすることで、車両内の異変を、車両の外部へ伝達することができる。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００、１００Ａ 情報提供システム
２００、２００Ａ 制御装置
２１０ 記憶部
２１１ 優先度推定テーブル
２１２、２１２Ａ 通知内容テーブル
２２１ 車両情報取得部
２２２ 外部情報取得部
２２３ 対象物認識部
２２４ 認識情報生成部
２２５ 優先度推定部
２２６ 通知対象特定部
２２７ 通知判定部
２２８ 内部情報取得部
２３０ 投射制御部
２４０ ＨＵＤ制御部
３００ 投射装置
４００、４５０ センサ装置
５００ ＨＵＤ装置

特開２０１６−５５６９１号公報 特開２０１８−１０６６５５号公報

Claims (17)

1. 投射装置と、前記投射装置を制御する制御装置とを有する情報提供システムであって、
   前記情報提供システムが設けられた移動体の外部の情報を取得する外部情報取得部と、
   前記外部の情報に基づき対象物を認識する対象物認識部と、
   認識された対象物に対する序列を推定する推定部と、
   前記序列に応じて特定された対象物に対する通知を示す画像を前記移動体の外部に投射させる投射制御部と、を有する、情報提供システム。
2. 前記通知を示す画像が投射される前記移動体の外部は、前記移動体が走行している道路の路面である、請求項１記載の情報提供システム。
3. 移動体の状態を示す移動体情報と、対象物の状態を示す認識情報との組み合わせと、優先度とが対応付けられた情報が格納された記憶部を有し、
   前記推定部は、
   前記記憶部を参照し、前記認識された対象物の状態を示す情報と、前記移動体の状態を示す移動体情報と、に基づき、前記認識された対象物に対する優先度を推定する、請求項２記載の情報提供システム。
4. 前記投射制御部は、
   前記投射装置に対し、
   前記優先度が最も高い対象物に対する通知を示す画像を、前記移動体が走行している路面上に投射させる、請求項３記載の情報提供システム。
5. 前記外部の情報は、前記移動体の周辺の空間を示す３次元情報を含む、請求項２乃至４の何れか一項に記載の情報提供システム。
6. 前記投射制御部は、
   前記路面上の凹凸に応じて、前記画像を投射する領域を決定する、請求項２乃至５の何れか一項に記載の情報提供システム。
7. 前記投射制御部は、
   前記移動体とは別の移動体によって前記路面に投影された画像が存在する場合に、該画像が投射された領域とは異なる領域に、前記通知を示す画像を投影させる、請求項２乃至６の何れか一項に記載の情報提供システム。
8. 前記移動体の内部に背景と重ねて虚像を投影させる投影装置を有し、
   前記認識された対象物の序列に応じて、前記虚像を表示させる投影制御部を有する、請求項１乃至７の何れか一項に記載の情報提供システム。
9. 前記投影制御部は、
   前記序列に応じて特定された対象物を強調するための虚像を表示させる、請求項８記載の情報提供システム。
10. 前記投影制御部は、
    前記序列に応じて特定された対象物と対応する虚像と、他の認識された対象物と対応する虚像との表示態様を異ならせる、請求項８又は９記載の情報提供システム。
11. 前記投影制御部は、
    前記背景の路面に投射された画像が存在する場合に、前記虚像を表示させる領域を、前記投射された画像と重ならない領域とする、請求項８乃至１０の何れか一項に記載の情報提供システム。
12. 前記認識された対象物の種類が、人物又は人物によって運転される移動体であった場合に、前記投射制御部に前記通知を示す画像を投射させ、前記投影制御部に前記虚像を表示させ、
    前記認識された対象物の種類が、人物又は人物によって運転される移動体でない場合に、前記投影制御部に前記虚像を表示させる、請求項８乃至１１の何れか一項に記載の情報提供システム。
13. 前記移動体の内部の情報を取得する内部情報取得部を有し、
    前記投影制御部は、
    前記内部の情報が示す前記移動体の搭乗者の状態に応じて、前記虚像を表示させる、請求項８乃至１２の何れか一項に記載の情報提供システム。
14. 前記外部の情報を取得する第一のセンサ装置と、
    前記内部の情報を取得する第二のセンサ装置と、を有し、
    前記第一のセンサ装置及び前記第二のセンサ装置は、ステレオカメラである、請求項１３に記載の情報提供システム。
15. 請求項１乃至１４の何れか一項に記載の情報提供システムを搭載した移動体。
16. 投射装置と、前記投射装置を制御する制御装置とを有する情報提供システムによる情報提供方法であって、
    前記情報提供システムが設けられた移動体の外部の情報を取得し、
    前記外部の情報に基づき対象物を認識し、
    認識された対象物に対する序列を推定し、
    前記序列に応じて特定された対象物に対する通知を示す画像を、前記移動体の外部に投射させる、情報提供方法。
17. 投射装置を制御する制御装置に、
    投射装置が設けられた移動体の外部の情報を取得する処理と、
    前記外部の情報に基づき対象物を認識する処理と、
    認識された対象物に対する序列を推定する処理と、
    前記序列に応じて特定された対象物に対する通知を示す画像を前記移動体の外部に投射させる処理と、を実行させる情報提供プログラム。
    
    

Images