JP2020095350A - 支援装置、支援方法およびプログラム - Google Patents

Abstract

【課題】ユーザが周辺環境を直感的に把握することができる支援装置、支援方法およびプログラムを提供する。【解決手段】ウェアラブル装置２は、メモリと、ハードウェアを有する制御部１８と、を備え、制御部１８は、ユーザの視線に関する視線情報を取得し、この視線情報に基づいて、ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成して出力する。【選択図】図３

Description

本発明は、支援装置、支援方法およびプログラムに関する。

車両内のユーザの視点から視た車両周辺の画像を携帯電話に表示する技術が知られている（例えば特許文献１参照）。この技術では、ユーザが車内から携帯電話を向けると、向けた方向の車両が透けた画像が携帯電話のディスプレイ上に表示される。

特開２０１３−１６２３２８号公報

ところで、高速大容量通信の発展に伴って、ネットワークを介して大量の情報を取得できる装置が製造されるようになってきている。このような状況下では、装置が通信によって取得した情報をもとに、装置を装着したユーザの周辺環境に潜む危険をユーザに対して直感的に把握させることが可能になると期待される。

本発明は、上記に鑑みてなされたものであって、ユーザが周辺環境を直感的に把握することができる支援装置、支援方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る支援装置は、ウェアラブル装置と通信可能な支援装置であって、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、前記ウェアラブル装置を装着したユーザの視線に関する視線情報を取得し、前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、前記死角状況情報を前記ウェアラブル装置へ出力する。

また、前記プロセッサは、前記死角状況情報が前記ユーザの視線と一致する領域に表示されるように前記ウェアラブル装置へ前記死角状況情報を出力してもよい。

これによれば、プロセッサが死角領域とユーザの視線とが一致する領域に死角状況情報を出力するため、ユーザは、死角領域の状況を直感的に把握することができる。

また、前記プロセッサは、前記死角領域を撮像した画像データを取得し、前記画像データに基づいて、前記死角領域に物体が存在するか否かを判定し、前記物体が存在すると判定した場合、前記死角状況情報を前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが死角領域に物体が存在している場合に死角状況情報を出力するため、ユーザは、死角領域に物体が存在することを把握することができる。

また、前記プロセッサは、時間的に連続する複数の前記画像データを順次取得し、前記死角領域に前記物体が存在すると判定した場合、複数の前記画像データに基づいて、前記物体が移動体であるか否かを判定し、前記物体が移動体であると判定した場合、前記移動体に応じた前記死角状況情報を前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが死角領域の移動体に応じた死角状況情報を出力するため、ユーザは、死角領域から接近する移動体の状況を把握することができる。

また、前記プロセッサは、前記物体が移動体であると判定した場合、複数の前記画像データに基づいて、前記移動体の速度を算出し、前記移動体と当該支援装置との相対速度に応じた前記死角状況情報を前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが死角領域の移動体と当該支援装置との相対速度に応じた死角状況情報を出力するため、ユーザは、死角領域から接近する移動体の状況をリアルタイムで把握することができる。

また、前記プロセッサは、前記画像データを用いて前記死角状況情報を生成し、前記死角状況情報を前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが死角領域を撮像した画像データを用いて死角状況情報を生成して出力するため、ユーザは、死角領域における現在の状況を把握することができる。

また、前記プロセッサは、前記視線情報に基づいて、前記ユーザが前記遮蔽物を注視したときの注視領域を検出し、前記死角状況情報が前記注視領域に表示されるように前記ウェアラブル装置へ前記死角状況情報を出力してもよい。

これによれば、ユーザが注視した注視領域に死角状況情報が出力されるため、ユーザは、必要な箇所の死角領域の状況を把握することができる。

また、前記プロセッサは、前記ユーザが前記注視領域に対して注視した注視時間が所定時間以上であるか否かを判定し、前記注視時間が所定時間以上である場合、前記死角状況情報を前記ウェアラブル装置へ出力してもよい。

これによれば、ユーザの注視時間が所定時間以上である場合、プロセッサが死角状況情報を出力するため、ユーザは、所望の時だけ死角領域の状況を把握することができる。

また、前記プロセッサは、前記遮蔽物を撮像した画像データを取得し、前記遮蔽物を撮像した画像データと前記死角領域を撮像した画像データとを所定の比率で合成した合成画像データを生成し、前記合成画像データに対応する合成画像を前記死角状況情報として前記ウェアラブル装置へ出力してもよい。

これによれば、遮蔽物が半透過した合成画像が死角状況情報として出力されるため、ユーザは、死角領域の状況を違和感なく把握することができる。

また、前記プロセッサは、前記画像データに対応する画像を前記死角状況情報として前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが死角領域を撮像した画像データに対応する画像を死角状況情報として出力するため、ユーザは、死角領域の実際の状況を把握することができる。

また、前記プロセッサは、前記遮蔽物を撮像した画像データと前記死角領域を撮像した画像データとに基づいて、前記遮蔽物を仮想的に円柱状、円錐状および球状のいずれかにくり抜いた開口部を有する画像を生成し、前記画像を前記死角状況情報として前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが開口部を有する画像を死角状況情報として出力するため、ユーザは、死角領域の状況を違和感なく把握することができる。

また、前記プロセッサは、当該支援装置が搭載された車両の車速に関する車速情報を取得し、前記車速情報に基づいて、前記車両の車速が所定速度以下であるか否かを判定し、前記車両の車速が前記所定速度以下である場合、前記死角状況情報を前記ウェアラブル装置へ出力してもよい。

これによれば、プロセッサが低速時または停車時のみ死角状況情報を出力するので、むやみに作動して違和感を生じさせることを防止することができる。

また、本発明に係る支援装置は、ユーザが装着可能な支援装置であって、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、前記ユーザの視線に関する視線情報を取得し、前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、前記死角状況情報を出力する。

また、本発明に係る支援方法は、ウェアラブル装置と通信可能な支援装置が実行する支援方法であって、前記ウェアラブル装置を装着したユーザの視線に関する視線情報を取得し、メモリから読み出した前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、前記死角状況情報を前記ウェアラブル装置へ出力する。

また、本発明に係るプログラムは、ウェアラブル装置と通信可能な支援装置に実行させるプログラムであって、前記ウェアラブル装置を装着したユーザの視線に関する視線情報を取得し、前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、前記死角状況情報を前記ウェアラブル装置へ出力する。

本発明によれば、ユーザの視野領域から視て遮蔽物で遮蔽された死角となる死角領域の状況を示す死角状況情報が出力されるため、ユーザが周辺環境を直感的に把握することができるという効果を奏する。

図１は、実施の形態１に係る支援システムの概略構成を示す模式図である。 図２は、実施の形態１に係るウェアラブル装置の概略構成を示す図である。 図３は、実施の形態１に係るウェアラブル装置の機能構成を示すブロック図である。 図４は、実施の形態１に係るウェアラブル装置が実行する処理の概要を示すフローチャートである。 図５は、遮蔽物の一例を模式的に示す図である。 図６は、実施の形態１に係る死角状況情報の一例を模式的に示す図である。 図７は、実施の形態２に係るウェアラブル装置が実行する処理の概要を示すフローチャートである。 図８は、実施の形態１に係る死角状況情報の一例を模式的に示す図である。 図９は、実施の形態３に係るウェアラブル装置が実行する処理の概要を示すフローチャートである。 図１０は、実施の形態３に係る死角状況情報の一例を模式的に示す図である。 図１１は、実施の形態３の変形例に係る制御部が投影部に出力する死角状況情報の一例を模式的に示す図である。 図１２は、実施の形態４に係る支援システムの概略構成を示す図である。 図１３は、実施の形態４に係る支援システムの機能構成を示すブロック図である。 図１４は、実施の形態４に係る支援装置が実行する処理の概要を示すフローチャートである。 図１５は、実施の形態４に係る死角状況情報の一例を模式的に示す図である。 図１６は、実施の形態４に係る死角状況情報の別の一例を模式的に示す図である。 図１７は、実施の形態４に係る死角状況情報の別の一例を模式的に示す図である。 図１８は、実施の形態４に係る死角状況情報に対応する画像における形状の一例を示す図である。 図１９は、実施の形態４に係る死角状況情報に対応する画像における別の形状の一例を示す図である。 図２０は、実施の形態４に係る死角状況情報に対応する画像における別の形状の一例を示す図である。 図２１は、実施の形態５に係る支援システムの概略構成を示す模式図である。 図２２は、その他の実施の形態に係るウェアラブル装置の概略構成を示す図である。 図２３は、その他の実施の形態に係るウェアラブル装置の概略構成を示す図である。 図２４は、その他の実施の形態に係るウェアラブル装置の概略構成を示す図である。 図２５は、その他の実施の形態に係るウェアラブル装置の概略構成を示す図である。 図２６は、その他の実施の形態に係るウェアラブル装置の概略構成を示す図である。

以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔支援システムの構成〕
図１は、実施の形態１に係る支援システムの概略構成を示す模式図である。図２は、実施の形態１に係るウェアラブル装置の概略構成を示す図である。図３は、実施の形態１に係るウェアラブル装置の機能構成を示すブロック図である。

図１〜図３に示す支援システム１０００は、ユーザＵ１が装着可能なウェアラブル装置１と、サーバ２と、を備える。ウェアラブル装置１およびサーバ２は、基地局３およびネットワーク４を介して相互に情報通信可能に構成されている。また、ウェアラブル装置１は、複数のＧＰＳ衛星５からの信号を受信し、受信した信号に基づいてウェアラブル装置１自身の位置を算出する。また、サーバ２は、基地局３およびネットワーク４を介してＧＰＳ衛星５がウェアラブル装置１を装着したユーザＵ１を含む周辺の上空を撮像して生成した画像データを取得する。なお、実施の形態１では、ウェアラブル装置１が支援装置として機能する。

〔ウェアラブル装置の構成〕
まず、ウェアラブル装置１の構成について説明する。図１〜図３に示すように、ウェアラブル装置１は、撮像装置１１と、９軸センサ１２と、視線センサ１３と、投影部１４と、ＧＰＳ（Global Positioning System）センサ１５と、装着センサ１６と、通信部１７と、制御部１８と、を備える。本例題では、９軸センサ１２としているが３及び６軸で可能であれば少機能であっても良い。

撮像装置１１は、制御部１８の制御のもと、例えばユーザの視線の先を撮像することによって画像データを生成し、この画像データを制御部１８へ出力する。撮像装置１１は、１または複数のレンズで構成される光学系と、この光学系で集光された被写体像を受光することによって画像データを生成するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像装置１１は、図２に示すように、ウェアラブル装置１に複数設けられてもよい。

９軸センサ１２は、３軸ジャイロセンサ、３軸加速度センサおよび３軸地磁気センサ（コンパス）を用いて構成される。９軸センサ１２は、ウェアラブル装置１に生じる角速度および加速度を検出し、この検出結果を制御部１８へ出力する。また、９軸センサ１２は、地磁気を検出することによって絶対方向を検出し、この検出結果を制御部１８へ出力する。

視線センサ１３は、ウェアラブル装置１の装着者である運転者の視線の向きを検出し、この検出結果を制御部１８へ出力する。視線センサ１３は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵやＧＰＵ等のハードウェアを有するプロセッサを用いて構成される。視線センサ１３は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線の向きを検出する。

投影部１４は、制御部１８の制御のもと、画像、映像および文字情報をウェアラブル装置表示部（例えばレンズ部）や運転者の網膜に向けて投影する。投影部１４は、ＲＧＢの各々のレーザ光を照射するＲＧＢレーザビーム、レーザ光を反射するＭＥＭＳミラー、ＭＥＭＳミラーから反射されたレーザ光を運転者の網膜へ投影する反射ミラー等を用いて構成される。

ＧＰＳセンサ１５は、複数のＧＰＳ衛星からの信号を受信した信号に基づいてウェアラブル装置１の位置に関する位置情報を算出し、算出した位置情報を制御部１８へ出力する。ＧＰＳセンサ１５は、ＧＰＳ受信センサ等を用いて構成される。

装着センサ１６は、ユーザの装着状態を検出し、この検出結果を制御部１８へ出力する。装着センサ１６は、例えばユーザがウェアラブル装置１を装着した際の圧力を検出する圧力センサ、ユーザの体温、脈拍、脳波、血圧および発汗状態等のバイタル情報を検出するバイタルセンサ等を用いて構成される。

通信部１７は、制御部１８の制御のもと、ネットワーク４を介して所定の通信規格に従って各種情報をサーバ２へ送信するとともに、サーバ２から各種情報を受信する。通信部１７は、無線通信可能な通信モジュールを用いて構成される。

制御部１８は、ウェアラブル装置１を構成する各部の動作を制御する。制御部１８は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。制御部１８は、視線センサ１３からウェアラブル装置１を装着したユーザＵ１の視線に関する視線情報を取得し、この視線情報に基づいて、ユーザＵ１の視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成して投影部１４に出力する。なお、実施の形態１では、制御部１８がプロセッサとして機能する。

〔サーバの構成〕
次に、サーバ２の構成について説明する。サーバ２は、通信部２０１と、制御部２０２と、を備える。

通信部２０１は、制御部２０２の制御のもと、ネットワーク４および基地局３を介して所定の通信規格に従って各種情報を送信するとともに、各種情報を受信する。また、通信部２０１は、制御部２０２の制御のもと、所定の通信規格に従ってウェアラブル装置１に対して各種情報を送信するとともに、ＧＰＳ衛星５およびウェアラブル装置１から各種情報を受信する。通信部２０１は、無線通信可能な通信モジュールを用いて構成される。

制御部２０２は、メモリと、ＣＰＵ等のいずれかのハードウェアを有するプロセッサを用いて構成される。制御部２０２は、サーバ２を構成する各部を制御する。

〔ウェアラブル装置の処理〕
次に、ウェアラブル装置１が実行する処理について説明する。図４は、ウェアラブル装置１が実行する処理の概要を示すフローチャートである。

図４に示すように、まず、制御部１８は、装着センサ１６から入力される検出結果に基づいて、ユーザＵ１がウェアラブル装置１を装着しているか否かを判定する（ステップＳ１０１）。制御部１８によってユーザＵ１がウェアラブル装置１を装着していると判定された場合（ステップＳ１０１：Ｙｅｓ）、ウェアラブル装置１は、後述するステップＳ１０２へ移行する。

続いて、制御部１８は、ＧＰＳセンサ１５が検出したウェアラブル装置１の位置情報を取得し（ステップＳ１０２）、通信部１７を介してウェアラブル装置１の位置情報をサーバ２へ送信する（ステップＳ１０３）。

その後、制御部１８は、撮像装置１１が生成した画像データおよび視線センサ１３からユーザＵ１の視線に関する視線情報を取得する（ステップＳ１０４）。

続いて、制御部１８は、撮像装置１１が生成した画像データと視線センサ１３から取得した視線情報とに基づいて、ユーザＵ１が視野領域内の遮蔽物に対して、視線を注視している注視時間が所定時間以上注視しているか否かを判定する（ステップＳ１０５）。具体的には、図５に示すように、制御部１８は、撮像装置１１が生成した画像データと視線センサ１３から取得した視線情報とに基づいて、ユーザＵ１が注視する遮蔽物Ｑ１の注視領域を検出する。そして、制御部１８は、遮蔽物Ｑ１の注視領域に対して、ユーザＵ１が注視する注視時間が所定時間以上、例えば１秒〜２秒以上であるか否かを判定する。ここで、遮蔽物Ｑ１とは、ユーザＵ１が視認できない死角領域を遮蔽する壁や部材等である。さらに、死角領域とは、遮蔽物Ｑ１によって遮蔽されることによってユーザＵ１が視認できない領域や空間である。また、所定時間は、ユーザＵ１の操作やユーザＵ１が歩く速度に応じて適宜変更することができる。制御部１８によってユーザＵ１が遮蔽物に対して視線を注視する注視時間が所定時間経過していると判定された場合（ステップＳ１０５：Ｙｅｓ）、ウェアラブル装置１は、後述するステップＳ１０６へ移行する。これに対して、制御部１８によってユーザＵ１が遮蔽物に対して視線を注視する注視時間が所定時間経過していないと判定された場合（ステップＳ１０５：Ｎｏ）、ウェアラブル装置１は、後述するステップＳ１０８へ移行する。

ステップＳ１０６において、制御部１８は、通信部１７を介してサーバ２からユーザＵ１の視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を取得する。具体的には、制御部１８は、９軸センサ１２が検出した検出結果で定まるユーザＵ１の視野方向の画像データであって、ＧＰＳセンサ１５が検出した現在のウェアラブル装置１の位置を上空から撮影した現在の画像データをサーバ２から取得する。ここで、現在の画像データとは、例えばＧＰＳ衛星５によって取得された画像データである。

続いて、制御部１８は、死角状況情報がユーザＵ１の視線と一致する領域に表示されるように投影部１４へ出力する（ステップＳ１０７）。具体的には、図６に示すように、制御部１８は、遮蔽物Ｑ１における注視領域に死角状況情報Ａ１が表示されるようにサーバ２から取得した画像データに対応する画像を投影部１４に出力する。これにより、ユーザＵ１は、死角状況情報Ａ１が現在の状況の画像のため、遮蔽物Ｑ１から先の死角領域の状況を直感的に把握することができる。

続いて、制御部１８は、ユーザＵ１がウェアラブル装置１を脱着することによって、ウェアラブル装置１による安全支援を終了するか否かを判定する（ステップＳ１０８）。制御部１８によってウェアラブル装置１による安全支援を終了すると判定された場合（ステップＳ１０８：Ｙｅｓ）、ウェアラブル装置１は、本処理を終了する。これに対して、制御部１８によってウェアラブル装置１による安全支援を終了しないと判定された場合（ステップＳ１０８：Ｎｏ）、ウェアラブル装置１は、上述したステップＳ１０１へ戻る。

以上説明した実施の形態１によれば、制御部１８が遮蔽物Ｑ１に死角状況情報Ａ１が表示されるように投影部１４にサーバ２から取得した画像データを出力するため、ユーザＵ１は、遮蔽物Ｑ１から先の死角領域の状況を直感的に把握することができる。

また、実施の形態１によれば、制御部１８によって死角状況情報がユーザＵ１の視線と一致する領域に表示されるように投影部１４へ出力するため、ユーザＵ１は、死角状況情報Ａ１が現在の状況の画像のため、遮蔽物Ｑ１から先の死角領域の状況を直感的に把握することができる。

また、実施の形態１によれば、ユーザＵ１が遮蔽物Ｑ１を注視する注視時間が所定時間以上である場合、制御部１８が死角状況情報を出力するため、ユーザは、所望の時だけ死角領域の状況を把握することができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２に係る支援システムは、上述した実施の形態１に係る支援システム１０００と同一の構成を有し、ウェアラブル装置が実行する処理が異なる。以下においては、ウェアラブル装置が実行する処理について説明する。なお、上述した実施の形態１に係る支援システム１０００と同一の部分には同一の符号を付して詳細な説明は省略する。

〔ウェアラブル装置の処理〕
図７は、実施の形態２に係るウェアラブル装置１が実行する処理の概要を示すフローチャートである。図７において、ステップＳ２０１〜ステップＳ２０６は、上述した図４のステップＳ１０１〜ステップＳ１０６それぞれに対応する。

ステップＳ２０７において、制御部１８は、サーバ２から取得した画像データに対して、周知のパターンマッチング等を行うことによって死角領域に物体が存在するか否かを判定する。例えば、制御部１８は、サーバ２から取得した画像データに対応する画像内にパターンマッチング等を行うことによって、人、車、自転車、動物等の物体が存在するか否かを判定する。制御部１８によって死角領域に物体が存在すると判定された場合（ステップＳ２０７：Ｙｅｓ）、ウェアラブル装置１は、後述するステップＳ２０８へ移行する。これに対して、制御部１８によって死角領域に物体が存在しないと判定された場合（ステップＳ２０７：Ｎｏ）、ウェアラブル装置１は、後述するステップＳ２０９へ移行する。

ステップＳ２０８において、制御部１８は、遮蔽物Ｑ１における注視領域に死角状況情報が表示されるように投影部１４へ死角状況情報を出力する。具体的には、図８に示すように、制御部１８は、遮蔽物Ｑ１における注視領域に死角状況情報Ａ２，Ａ２１が表示されるように投影部１４に死角状況情報Ａ２を出力する。これにより、ユーザＵ１は、死角状況情報Ａ２，Ａ２１を直感的に把握することができるので、遮蔽物Ｑ１から先の死角領域に物体が存在することを把握することができる。なお、図８では、死角状況情報Ａ２，Ａ２１として矢印やマークのアイコンを出力しているが、矢印やマーク以外にも、例えば物体に応じた図形、記号、カラーおよびメッセージ等、例えば人の場合であれば、人の形状をなすアイコンやメッセージ等であってもよい。もちろん、制御部１８は、死角状況情報Ａ２とあわせて、図示しないスピーカ等によって音声を出力させてもよい。

続いて、制御部１８は、ユーザＵ１がウェアラブル装置１を脱着することによって、ウェアラブル装置１による安全支援を終了するか否かを判定する（ステップＳ２０９）。制御部１８によってウェアラブル装置１による安全支援を終了すると判定された場合（ステップＳ２０９：Ｙｅｓ）、ウェアラブル装置１は、本処理を終了する。これに対して、制御部１８によってウェアラブル装置１による安全支援を終了しないと判定された場合（ステップＳ２０９：Ｎｏ）、ウェアラブル装置１は、上述したステップＳ２０１へ戻る。

以上説明した実施の形態２によれば、制御部１８が遮蔽物Ｑ１における注視領域に死角状況情報Ａ２が表示されるように投影部１４へ死角状況情報Ａ２を出力するため、ユーザＵ１は、死角状況情報Ａ２を直感的に把握することができるので、遮蔽物Ｑ１から先の死角領域に物体が存在することを把握することができる。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３に係る支援システムは、上述した実施の形態１に係る支援システム１０００と同一の構成を有し、ウェアラブル装置が実行する処理が異なる。以下においては、ウェアラブル装置が実行する処理について説明する。なお、上述した実施の形態１に係る支援システム１０００と同一の部分には同一の符号を付して詳細な説明は省略する。

〔ウェアラブル装置の処理〕
図９は、実施の形態３に係るウェアラブル装置１が実行する処理の概要を示すフローチャートである。図９において、ステップＳ３０１〜ステップＳ３０６は、上述した図４のステップＳ１０１〜ステップＳ１０６それぞれに対応する。

ステップＳ３０７において、制御部１８は、サーバ２から取得した画像データに対して、周知のパターンマッチング等を行うことによって死角領域に物体が存在するか否かを判定する。制御部１８によって死角領域に物体が存在すると判定された場合（ステップＳ３０７：Ｙｅｓ）、ウェアラブル装置１は、後述するステップＳ３０８へ移行する。これに対して、制御部１８によって死角領域に物体が存在しないと判定された場合（ステップＳ３０７：Ｎｏ）、ウェアラブル装置１は、後述するステップＳ３１２へ移行する。

ステップＳ３０８において、制御部１８が死角領域に存在する物体が移動体であるか否かを判定する。具体的には、制御部１８は、少なくともサーバ２から取得した時間的に前後する２つの画像データを用いて物体の移動量、例えば物体の移動ベクトルを算出し、この算出した移動量が所定値以上であるか否かを判定する。ここで、移動体とは、子供、動物、歩行者、自転車、バイクおよび車両等であり、一定の速度で移動しているものである。制御部１８によって死角領域に存在する物体が移動体であると判定された場合（ステップＳ３０８：Ｙｅｓ）、ウェアラブル装置１は、後述するステップＳ３０９へ移行する。これに対して、制御部１８によって死角領域に存在する物体が移動体でないと判定された場合（ステップＳ３０８：Ｎｏ）、ウェアラブル装置１は、後述するステップＳ３１０へ移行する。

ステップＳ３０９において、制御部１８は、撮像装置１１が生成した画像データとサーバ２から取得した画像データに基づいて、移動体に応じた死角状況情報を投影部１４に出力する。具体的には、図１０に示すように、制御部１８は、撮像装置１１が生成した画像データとサーバ２から取得した死角領域の画像データとを所定の比率（例えば５：５）で合成した合成画像データに対応する合成画像を、遮蔽物Ｑ１における注視領域に表示されるように投影部１４に出力する。これにより、遮蔽物Ｑ１から先の死角領域が仮想的に半透過した状態で表示されるため、ユーザＵ１は、死角領域の現状を違和感なく把握することができる。また、制御部１８は、サーバ２から取得した死角領域の画像データに対して、周知のパターンマッチング等を行うことによって子供等の移動体Ｈ１を検出した場合において、移動体Ｈ１を中心とするマークＭ１，Ｍ２が表示されるように投影部１４に出力する。このとき、制御部１８は、少なくともサーバ２から取得した時間的に前後する２つの画像データを用いて移動体Ｈ１の速度およびウェアラブル装置１を装着したユーザＵ１の歩行速度およびの各々を算出し、この移動体Ｈ１とウェアラブル装置１との相対速度および移動体Ｈ１およびウェアラブル装置１を装着したユーザＵ１の進行方向に基づいて、緊急度を算出する。そして、制御部１８は、緊急度に応じて、マークＭ１，Ｍ２の各々の表示態様を変更、例えば緊急度に応じて赤色や黄色で表示されるように投影部１４に出力する。これにより、ユーザＵ１は、死角状況情報Ａ３を直感的に把握することができるので、遮蔽物Ｑ１に隠れる移動体Ｈ１の状況を把握することができる。さらに、ユーザＵ１は、マークＭ１，Ｍ２の状態に基づいて、移動体Ｈ１の速度を把握することができるので、移動体Ｈ１と出会うまでの時間を予測することができる。なお、図１０では、制御部１８は、合成比率を５：５で合成していたが、これに限定されることなく、適宜変更することができる。また、制御部１８は、死角状況情報Ａ３における移動体Ｈ１を正確に表現する必要がなく、画像生成を行う処理速度に応じて簡易的な図形等、例えばアイコンやアバターによって表現するようにしてもよい。ステップＳ３０９の後、ウェアラブル装置１は、後述するステップＳ３１２へ移行する。

ステップＳ３１０において、制御部１８は、サーバ２から取得した画像データに基づいて、静物に応じた死角状況情報を投影部１４に出力する。具体的には、制御部１８は、遮蔽物Ｑ１に相当する領域に死角状況情報Ａ２（上述した図８を参照）が表示されるように投影部１４に死角状況情報Ａ２を出力する。これにより、ユーザＵ１は、死角状況情報Ａ１を直感的に把握することができるので、遮蔽物Ｑ１から先の死角領域に物体が存在することを把握することができる。ステップＳ３１０の後、ウェアラブル装置１は、後述するステップＳ３１２へ移行する。

続いて、制御部１８は、ユーザＵ１がウェアラブル装置１を脱着することによって、ウェアラブル装置１による安全支援を終了するか否かを判定する（ステップＳ３１２）。制御部１８によってウェアラブル装置１による安全支援を終了すると判定された場合（ステップＳ３１２：Ｙｅｓ）、ウェアラブル装置１は、本処理を終了する。これに対して、制御部１８によってウェアラブル装置１による安全支援を終了しないと判定された場合（ステップＳ３１２：Ｎｏ）、ウェアラブル装置１は、上述したステップＳ３０１へ戻る。

以上説明した実施の形態３によれば、遮蔽物Ｑ１から先の死角領域が仮想的に半透過した状態で表示されるため、ユーザＵ１は、死角状況情報Ａ３を直感的に把握することができるので、遮蔽物Ｑ１に隠れる移動体Ｈ１の状況を違和感なく把握することができる。

また、実施の形態３によれば、制御部１８が移動体Ｈ１とウェアラブル装置１との相対速度に応じてマークＭ１，Ｍ２の各々の表示態様を変更して表示されるように投影部１４に出力するため、ユーザＵ１は、死角状況情報Ａ３を直感的に把握することができるので、遮蔽物Ｑ１に隠れる移動体Ｈ１の状況を把握することができる。

また、実施の形態３によれば、制御部１８が画像データを用いて死角状況情報を生成してウェアラブル装置１へ出力するので、ユーザは、死角領域における現在の状況を把握することができる。

（実施の形態３の変形例）
次に、実施の形態３の変形例について説明する。図１１は、実施の形態３の変形例に係る制御部１８が投影部１４に出力する死角状況情報の一例を模式的に示す図である。

図１１に示すように、制御部１８は、サーバ２から取得した死角領域の画像データと視線センサ１３が検出した視線情報とに基づいて、遮蔽物Ｑ１における注視領域を含む所定の領域を仮想的にくり抜いた開口部を有する画像データを生成し、この画像データに対応する画像を死角状況情報Ａ４として投影部１４に出力する。これにより、遮蔽物Ｑ１におけるユーザＵ１が注視した注視領域を含む領域がくり抜かれた状態で、遮蔽物Ｑ１から先の死角領域が表示されるため、ユーザＵ１は、死角領域の現状を違和感なく把握することができる。さらに、制御部１８は、移動体Ｈ２とウェアラブル装置１を装着したユーザＵ１との相対速度および移動体Ｈ２とウェアラブル装置１を装着したユーザＵ１の各々の進行方向に基づいて、緊急度を算出し、緊急度に応じて開口部を任意の色、例えば緊急度に応じて緑色、黄色および赤色で縁取りしてもよい。

以上説明した実施の形態３の変形例によれば、遮蔽物Ｑ１におけるユーザＵ１が注視した注視領域がくり抜かれた状態で、遮蔽物Ｑ１から先の死角領域が表示されるため、ユーザＵ１は、死角領域の現状を違和感なく把握することができる。

（実施の形態４）
次に、実施の形態４について説明する。上述した実施の形態１〜３では、ウェアラブル装置１がネットワーク４を介してサーバ２から画像データを取得していたが、実施の形態４に係る支援システムでは、車両内に設けられたＥＣＵ（Electronic Control Unit）とウェアラブル装置とが連携しながらＥＣＵがウェアラブル装置へ死角状況情報を出力することによってウェアラブル装置が死角状況情報を投影して表示する。なお、上述した実施の形態１に係る支援システム１０００と同一の構成には同一の符号を付して詳細な説明は省略する。

〔支援システムの構成〕
図１２は、実施の形態４に係る支援システムの概略構成を示す図である。図１３は、実施の形態４に係る支援システムの機能構成を示すブロック図である。

図１２および図１３に示す支援システム１００１は、ウェアラブル装置１と、ウェアラブル装置１と所定の通信規格に従って双方向に通信を行う支援装置６と、を備える。

〔支援装置の構成〕
支援装置６の構成について説明する。図１２および図１３に示す支援装置６は、車両６００に搭載され、この車両６００に搭載された他のＥＣＵと連携しながら車両６００内の運転者に対して運転時や駐車時の安全を支援する。支援装置６は、イグニッションスイッチ６０（以下、「ＩＧスイッチ６０」という）と、車速センサ６１と、視線センサ６２と、撮像装置６３と、通信部６４と、カーナビゲーションシステム６５と、ＥＣＵ６６と、を備える。

ＩＧスイッチ６０は、エンジンやモータ等の電気系統の始動および停止を受け付ける。ＩＧスイッチ６０は、オン状態となった場合、ＩＧ電源を始動させ、オフ状態となった場合、ＩＧ電源を停止させる。

車速センサ６１は、車両６００の走行時における車速を検出し、この検出結果を６６へ出力する。

視線センサ６２は、運転者の視線を検出し、この検出結果をＥＣＵ６６へ出力する。視線センサ６２は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵやＧＰＵ等のハードウェアを有するプロセッサを用いて構成される。視線センサ６２は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。なお、実施の形態３では、視線センサ６２を可視カメラによって運転者の視線を検出しているが、これに限定されることなく、赤外カメラによって運転者の視線を検出してもよい。視線センサ６２を赤外カメラによって構成する場合、赤外ＬＥＤ（Light Emitting Diode）等によって赤外光を運転者に照射し、赤外カメラで運転者を撮像することによって生成された画像データから基準点（例えば角膜反射）および動点（例えば瞳孔）を検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。

撮像装置６３は、図１２に示すように、車両６００の外部に複数、例えば撮像画角が３６０°となるように少なくとも前側方、後方および両側方の３箇所以上に設けられる。撮像装置６３は、ＥＣＵ６６の制御のもと、車両６００の周辺を撮像することによって画像データを生成し、この画像データをＥＣＵ６６へ出力する。撮像装置６３は、１または複数のレンズで構成された光学系と、この光学系が集光した被写体像を受光することによって画像データを生成するＣＣＤやＣＭＯＳ等を用いて構成される。

通信部６４は、ＥＣＵ６６の制御のもと、ウェアラブル装置１、他の車両またはユーザ端末装置等に対して所定の通信規格に従って各種情報を送信するとともに、各種情報をウェアラブル装置１、他の車両またはユーザ端末装置等から受信する。また、通信部６４は、ＥＣＵ６６の制御のもと、ネットワークを介して所定の通信規格に従って各種情報を図示しないサーバへ送信するとともに、サーバから各種情報を受信する。通信部６４は、無線通信可能な通信モジュールを用いて構成される。

カーナビゲーションシステム６５は、ＧＰＳセンサ６５１と、地図データベース６５２と、報知装置６５３と、を有する。

ＧＰＳセンサ６５１は、複数のＧＰＳ衛星や送信アンテナからの信号を受信し、受信した信号に基づいて車両６００の位置を算出する。ＧＰＳセンサ６５１は、ＧＰＳ受信センサ等を用いて構成される。なお、ＧＰＳセンサ６５１を複数個搭載し車両６００の向き精度向上を図ってもよい。

地図データベース６５２は、各種の地図データを記憶する。地図データベース６５２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録媒体を用いて構成されてもよい。

報知装置６５３は、画像、映像および文字情報を表示する表示部６５３ａと、音声や警報音等の音を発生する音声出力部６５３ｂや骨伝導による音声を伝導する伝導部等を有してもよい。表示部６５３ａは、液晶や有機ＥＬ等の表示ディスプレイを用いて構成される。音声出力部６５３ｂは、スピーカ等を用いて構成される。

このように構成されたカーナビゲーションシステム６５は、ＧＰＳセンサ６５１によって取得した現在の車両６００の位置を、地図データベース６５２が記憶する地図データに重ねることによって、車両６００が現在走行している道路および目的地までの経路等を含む情報を、表示部６５３ａと音声出力部６５３ｂとによって運転者に対して報知する。

ＥＣＵ６６は、支援装置６を構成する各部の動作を制御する。ＥＣＵ６６は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。ＥＣＵ６６は、ウェアラブル装置１を装着したユーザＵ１の視線に関する視線情報を取得し、この視線情報に基づいて、ユーザＵ１の視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成して投影部１４に出力する。なお、実施の形態３では、ＥＣＵ６６がプロセッサとして機能する。

〔支援装置の処理〕
次に、支援装置６が実行する処理について説明する。図１４は、支援装置６が実行する処理の概要を示すフローチャートである。

図１４に示すように、ＥＣＵ６６は、ユーザＵ１が車両６００に乗車したか否かを判定する（ステップＳ４０１）。例えば、ＥＣＵ６６は、通信部６４を介してウェアラブル装置１のＧＰＳセンサ１５が検出した位置情報とカーナビゲーションシステム６５のＧＰＳセンサ６５１が検出した位置情報とに基づいて、車両６００とウェアラブル装置１との距離を算出し、この算出した距離が所定未満であるか否かを判定し、所定未満である場合、ユーザＵ１が車両６００に乗車したと判定する。ＥＣＵ６６によって運転者が車両６００に乗車したと判定された場合（ステップＳ４０１：Ｙｅｓ）、支援装置６は、後述するステップＳ４０２へ移行する。これに対して、ＥＣＵ６６によってユーザＵ１が車両６００に乗車していないと判定された場合（ステップＳ４０１：Ｎｏ）、支援装置６は、本処理を終了する。

ステップＳ４０２において、ＥＣＵ６６は、ユーザＵ１がウェアラブル装置１を装着しているか否かを判定する。具体的には、ＥＣＵ６６は、通信部６４を介してウェアラブル装置１の装着センサ１６から検出結果を示す装着信号を受信し、受信した装着信号に基づいて、ユーザＵ１がウェアラブル装置１を装着しているか否かを判定する。ＥＣＵ６６によってユーザＵ１がウェアラブル装置１を装着していると判定された場合（ステップＳ４０２：Ｙｅｓ）、支援装置６は、後述するステップＳ４０３へ移行する。これに対して、ＥＣＵ６６によってユーザＵ１がウェアラブル装置１を装着していないと判定された場合（ステップＳ４０２：Ｎｏ）、支援装置６は、後述するステップＳ４０７へ移行する。

ステップＳ４０３において、ＥＣＵ６６は、車速センサ６１から車両６００の車速に関する車速情報、視線センサ６２から車両６００に乗車したユーザＵ１の視線に視線情報および撮像装置６３から画像データを取得する。

続いて、ＥＣＵ６６は、車速センサ６１から取得した車速情報に基づいて、車両６００の車速が所定速度以下であるか否かを判定する（ステップ４０４）。例えば、ＥＣＵ６６は、車両６００の車速が１０ｋｍ／ｈであるか否かを判定する。なお、所定速度は、適宜設定することができる。ＥＣＵ６６によって車両６００の車速が所定速度以下であると判定された場合（ステップＳ４０４：Ｙｅｓ）、支援装置６は、後述するステップＳ４０５へ移行する。これに対して、ＥＣＵ６６によって車両６００の車速が所定速度以下でないと判定された場合（ステップＳ４０４：Ｎｏ）、支援装置６は、後述するステップＳ４１０へ移行する。

ステップＳ４０５において、ＥＣＵ６６は、視線センサ６２からユーザＵ１の視線に関する視線情報を取得する。

続いて、ＥＣＵ６６は、撮像装置６３から取得した画像データに対応する画像に対して、周知のパターンマッチング等を行うことによって車両６００の死角領域に物体が存在するか否かを判定する（ステップＳ４０６）。ＥＣＵ６６によって車両６００の死角領域に物体が存在すると判定された場合（ステップＳ４０６：Ｙｅｓ）、支援装置６は、後述するステップＳ４０７へ移行する。これに対して、ＥＣＵ６６によって車両６００の死角領域に物体が存在しないと判定された場合（ステップＳ４０６：Ｎｏ）、支援装置６は、後述するステップＳ４１１へ移行する。

ステップＳ４０７において、ＥＣＵ６６は、死角領域に存在する物体が移動体であるか否かを判定する。ＥＣＵ６６によって死角領域に存在する物体が移動体であると判定された場合（ステップＳ４０７：Ｙｅｓ）、支援装置６は、後述するステップＳ４０８へ移行する。これに対して、ＥＣＵ６６によって死角領域に存在する物体が移動体でないと判定された場合（ステップＳ４０７：Ｎｏ）、支援装置６は、後述するステップＳ４０９へ移行する。

ステップＳ４０８において、ＥＣＵ６６は、撮像装置６３から取得した死角領域の画像データに基づいて、移動体に応じた死角状況情報を生成して出力する。具体的には、図１５に示すように、ＥＣＵ６６は、死角領域において移動体Ｈ１０が存在する領域、例えばインストメントパネルやフロントピラー等の遮蔽物Ｑ１０，Ｑ１１における部分を含む所定の領域を仮想的にくり抜いた開口部を有する画像データを生成する。そして、ＥＣＵ６６は、画像データに対応する死角状況情報Ａ１０をウェアラブル装置１に出力する。これにより、遮蔽物Ｑ１０から先の死角状況情報Ａ１０が表示されるため、ユーザＵ１は、死角領域の状態を直感的に違和感なく把握することができる。この場合において、ＥＣＵ６６は、少なくとも撮像装置６３から取得した時間的に前後する２つの画像データを用いて移動体の速度を算出するとともに、車速センサ６１から取得した車両６００の速度とを取得し、移動体と車両６００（自車）との相対速度および移動体と車両６００の各々の進行方向を算出し、この移動体および車両６００との相対速度および移動体と車両６００（自車）との相対速度および移動体と車両６００の各々の進行方向に基づいて、緊急度を算出する。そして、ＥＣＵ６６は、緊急度に基づいて、上述した図１０のような緊急度に応じたマークＭ１，Ｍ２の各々が表示されるようにウェアラブル装置１に出力してもよい。ステップＳ４０８の後、支援装置６は、後述するステップＳ４１０へ移行する。

ステップＳ４０９において、ＥＣＵ６６は、撮像装置６３から取得した死角領域の画像データに基づいて、静物に応じた死角状況情報を生成して出力する。具体的には、ＥＣＵ６６は、撮像装置６３から取得した死角領域の画像データに基づいて、静物に応じた死角状況情報（例えば図８等のアイコン）を生成する。そして、ＥＣＵ６６は、遮蔽物Ｑ１０の物体が存在する領域に死角状況情報が表示されるようにウェアラブル装置１へ死角状況情報を出力する。ステップＳ４０９の後、支援装置６は、後述するステップＳ４１０へ移行する。

ステップＳ４１０において、ＥＣＵ６６によってＩＧスイッチ６０をオフ状態にすることにより車両６００の運転を終了すると判定された場合（ステップＳ４１０：Ｙｅｓ）、支援装置６は、本処理を終了する。これに対して、ＥＣＵ６６によってＩＧスイッチ６０をオフ状態にせずに車両６００の運転を終了しないと判定された場合（ステップＳ４１０：Ｎｏ）、支援装置６は、上述したステップＳ４０２へ戻る。

ステップＳ４１１において、ＥＣＵ６６は、視線センサ６２からユーザＵ１の視線に関する視線情報に基づいて、車両６００における所定の領域、例えばフロントピラーに対するユーザＵ１の注視する注視時間が所定時間（例えば２秒）経過したか否かを判定する（ステップＳ４１１）。ＥＣＵ６６によって車両６００における所定の領域に対するユーザＵ１の注視する注視時間が所定時間経過したと判定された場合（ステップＳ４１１：Ｙｅｓ）、支援装置６は、後述するステップＳ４１２へ移行する。これに対して、ＥＣＵ６６によって車両６００における所定の領域に対するユーザＵ１の注視する注視時間が所定時間経過していないと判定された場合（ステップＳ４１１：Ｎｏ）、支援装置６は、後述するステップＳ４１３へ移行する。

ステップＳ４１２において、ＥＣＵ６６は、通信部６４を介して撮像装置６３から取得した画像データを死角状況情報としてウェアラブル装置１へ出力することによって、ウェアラブル装置１に車両６００の遮蔽物から先の死角領域における死角状況情報を投影させて表示させる。具体的には、上述した図１５と同様に、ＥＣＵ６６は、遮蔽物Ｑ１０，Ｑ１１における注視領域を仮想的にくり抜いた開口部を有する画像データを生成する。そして、ＥＣＵ６６は、ユーザＵ１が注視する注視領域に死角状況情報Ａ１０が表示されるように画像データに対応する死角状況情報Ａ１０をウェアラブル装置１に出力する。これにより、遮蔽物Ｑ１０から先の死角状況情報Ａ１０が表示されるため、ユーザＵ１は、死角領域の状態を直感的に違和感なく把握することができる。ステップＳ４１２の後、支援装置６は、ステップＳ４１０へ移行する。

ステップＳ４１３において、ＥＣＵ６６は、視線センサ６２からユーザＵ１の視線に関する視線情報に基づいて、ユーザの視線の先が移動しているか否かを判定する。ＥＣＵ６６によってユーザの視線の先が移動していると判定された場合（ステップＳ４１３：Ｙｅｓ）、支援装置６は、後述するステップＳ４１４へ移行する。これに対して、ＥＣＵ６６によってユーザの視線の先が移動していないと判定された場合（ステップＳ４１３：Ｎｏ）、支援装置６は、ステップＳ４１０へ移行する。

ステップＳ４１４において、ＥＣＵ６６は、ウェアラブル装置１が死角状況情報を出力中であるか否かを判定する。ＥＣＵ６６によってウェアラブル装置１が死角状況情報を出力中であると判定された場合（ステップＳ４１４：Ｙｅｓ）、支援装置６は、後述するステップＳ４１５へ移行する。これに対して、ＥＣＵ６６によってウェアラブル装置１が死角状況情報を出力中でないと判定された場合（ステップＳ４１４：Ｎｏ）、支援装置６は、ステップＳ４１０へ移行する。

ステップＳ４１５において、ＥＣＵ６６は、ウェアラブル装置１に死角状況情報を一定時間出力させる。具体的には、図１６に示すように、ＥＣＵ６６は、ウェアラブル装置１が死角状況情報Ａ１０，Ａ１１，Ａ１２を出力している場合において、ユーザＵ１の視線の先が移動したときであっても、ウェアラブル装置１に一定時間、例えば５秒間、死角状況情報Ａ１０，Ａ１１，Ａ１２が投影されて表示されるように画像データの出力を維持する。これにより、ユーザＵ１は、視線を移動させた場合であっても、移動体や物体の見逃しを確実に防止することができる。ステップＳ４１５の後、支援装置６は、ステップＳ４１０へ移行する。

以上説明した実施の形態４によれば、ＥＣＵ６６が遮蔽物Ｑ１０における注視領域を仮想的にくり抜いた開口部を有する画像データに対応する死角状況情報Ａ１０をウェアラブル装置１に出力することによって、ユーザＵ１が注視した注視領域がくり抜かれた状態で、遮蔽物Ｑ１０または遮蔽物Ｑ１１から先の死角状況情報Ａ１０が表示されるため、ユーザＵ１は、死角領域の状態を直感的に違和感なく把握することができる。

また、実施の形態４によれば、ＥＣＵ６６が車両６００の車速が所定速度以下である場合、死角状況情報Ａ１０をウェアラブル装置１に出力するので、むやみに作動して違和感を生じさせることを防止することができる。

なお、実施の形態４では、ＥＣＵ６６が死角状況情報として遮蔽物を仮想的にくり抜いた開口部を有する画像データをウェアラブル装置１へ出力していたが、例えば遮蔽物をシースルー化してもよい。具体的には、図１７に示すように、ＥＣＵ６６は、ウェアラブル装置１の撮像装置１１および撮像装置６３から画像データの各々を取得した後、この２つの画像データを用いて車両６００内におけるインストメントパネルやフロントピラー等の遮蔽物を仮想的にシースルー化した画像データをウェアラブル装置１へ出力する。そして、ウェアラブル装置１は、支援装置６から受信した車両６００内におけるインパネやピラー等の遮蔽物を仮想的にシースルー化した画像データに対応する画像を投影部１４に投影させて表示させる。これにより、ユーザＵ１は、車両６００の遮蔽物がシースルー化されるので、物体の位置を直感的に把握することができる。

まあ、実施の形態４では、ＥＣＵ６６が遮蔽物を仮想的にくり抜いた開口部を有する画像データをウェアラブル装置１へ出力していたが、くり抜く形状は、適宜変更することができる。例えば、図１８に示すように、ＥＣＵ６６は、ウェアラブル装置１から所定の距離Ｌ１の位置にある遮蔽物Ｑ１００を仮想的に円柱状にくり抜いた開口部Ｏ１を有する画像データを生成し、この画像データをウェアラブル装置１へ出力してもよい。また、図１９に示すように、ＥＣＵ６６は、ウェアラブル装置１から所定の距離Ｌ１の位置にある遮蔽物Ｑ１００を仮想的に円錐状Ｏ２にくり抜いた画像データを生成し、この画像データをウェアラブル装置１に出力してもよい。さらに、図２０に示すように、ＥＣＵ６６は、ウェアラブル装置１から所定の距離Ｌ１の位置にある遮蔽物Ｑ３を仮想的に球状Ｏ３にくり抜いた画像データを生成し、この画像データをウェアラブル装置１へ出力してもよい。

また、実施の形態４では、ＥＣＵ６６がウェアラブル装置１に所定の大きさで画像を投影させて表示させていたが、例えば図２１に示すように、親指と人差し指との距離を距離Ｄ１から距離Ｄ２に移動させるピンチ操作に応じてウェアラブル装置１が投影して表示する画像の大きさを変更させてもよい。

（実施の形態５）
次に、実施の形態５について説明する。上述した実施の形態４では、支援装置のＥＣＵ６６がウェアラブル装置１へ死角状況情報を送信していたが、実施の形態３では、サーバがウェアラブル装置に死角状況情報を送信する。なお、上述した実施の形態４に係る支援システム１００１と同一の構成には同一の符号を付して詳細な説明は省略する。

図２２は、実施の形態５に係る支援システムの概略構成を示す模式図である。図２２に示す支援システム１００２は、ユーザＵ１が装着したウェアラブル装置１と、サーバ２Ａと、複数の車両６００の各々に搭載された支援装置６と、を備える。ウェアラブル装置１、サーバ２および複数の支援装置６は、基地局３およびネットワーク４を介して相互に情報通信可能に構成されている。

〔サーバの構成〕
次に、サーバ２Ａの構成について説明する。サーバ２Ａは、通信部２０１と、制御部２０２Ａと、を備える。

制御部２０２Ａは、メモリと、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰおよびＡＳＩＣ等のいずれかのハードウェアを有するプロセッサを用いて構成される。制御部２０２Ａは、通信部２０１を介してウェアラブル装置１を装着したユーザの視線に関する視線情報を取得し、この視線情報に基づいて、ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成してウェアラブル装置１へ出力する。制御部２０２Ａは、上述した実施の形態１〜３に係る制御部１８または上述した実施の形態４に係るＥＣＵ６６と同様の機能を有する。なお、実施の形態５では、制御部２０２Ａがプロセッサとして機能する。

以上説明した実施の形態５によれば、制御部２０２Ａが遮蔽物における注視領域に死角状況情報が表示されるようにウェアラブル装置１へ死角状況情報を出力するため、ユーザＵ１は、死角状況情報を直感的に把握することができるので、遮蔽物から先の死角領域に物体が存在することを把握することができる。

（その他の実施の形態）
実施の形態１〜５では、運転者が装着可能な眼鏡型のウェアラブル装置１を用いた例を説明していたが、これに限定されることなく、種々のウェアラブル装置に適用することができる。例えば図２３に示すように撮像機能を有するコンタクトレンズ型のウェアラブル装置１Ａであっても適用することができる。さらに、図２４のウェアラブル装置１Ｂまたは図２５の脳内チップ型のウェアラブル装置１ＣのようにユーザＵ１の脳へ直接的に伝達する装置であっても適用することができる。さらにまた、図２６のウェアラブル装置１Ｄのようにバイザーを備えたヘルメット形状に構成されてもよい。この場合は、ウェアラブル装置１Ｄは、バイザーに画像を投影して表示するものであってもよい。

また、実施の形態１〜５では、ウェアラブル装置１が運転者の網膜に投影することによって画像を視認させていたが、例えば眼鏡等のレンズに画像を投影して表示するものであってもよい。

また、実施の形態１〜５では、上述してきた「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。

また、実施の形態１〜５に係る支援装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜５に係る支援装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ ウェアラブル装置
２，２Ａ サーバ
３ 基地局
４ ネットワーク
５ ＧＰＳ衛星
６ 支援装置
１１，６３ 撮像装置
１２ ９軸センサ
１３ 視線センサ
１４ 投影部
１５ ＧＰＳセンサ
１６ 装着センサ
１７，６４ 通信部
１８ 制御部
６０ ＩＧスイッチ
６１ 車速センサ
６２ 視線センサ
６５ カーナビゲーションシステム
６６ ＥＣＵ
２０１ 通信部
２０２，２０２Ａ 制御部
６００ 車両
１０００，１００１，１００２ 支援システム
Ａ１〜Ａ４，Ａ１０，Ａ１１，Ａ１２ 死角状況情報

Claims (15)

1. ウェアラブル装置と通信可能な支援装置であって、
   メモリと、
   ハードウェアを有するプロセッサと、
   を備え、
   前記プロセッサは、
   前記ウェアラブル装置を装着したユーザの視線に関する視線情報を取得し、
   前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、
   前記死角状況情報を前記ウェアラブル装置へ出力する、
   支援装置。
2. 請求項１に記載の支援装置であって、
   前記プロセッサは、
   前記死角状況情報が前記ユーザの視線と一致する領域に表示されるように前記ウェアラブル装置へ前記死角状況情報を出力する、
   支援装置。
3. 請求項１または２に記載の支援装置であって、
   前記プロセッサは、
   前記死角領域を撮像した画像データを取得し、
   前記画像データに基づいて、前記死角領域に物体が存在するか否かを判定し、
   前記物体が存在すると判定した場合、前記死角状況情報を前記ウェアラブル装置へ出力する、
   支援装置。
4. 請求項３に記載の支援装置であって、
   前記プロセッサは、
   時間的に連続する複数の前記画像データを順次取得し、
   前記死角領域に前記物体が存在すると判定した場合、複数の前記画像データに基づいて、前記物体が移動体であるか否かを判定し、
   前記物体が移動体であると判定した場合、前記移動体に応じた前記死角状況情報を前記ウェアラブル装置へ出力する、
   支援装置。
5. 請求項４に記載の支援装置であって、
   前記プロセッサは、
   前記物体が移動体であると判定した場合、複数の前記画像データに基づいて、前記移動体の速度を算出し、
   前記移動体と当該支援装置との相対速度に応じた前記死角状況情報を前記ウェアラブル装置へ出力する、
   支援装置。
6. 請求項３〜５のいずれか一つに記載の支援装置であって、
   前記プロセッサは、
   前記画像データを用いて前記死角状況情報を生成し、
   前記死角状況情報を前記ウェアラブル装置へ出力する、
   支援装置。
7. 請求項３〜６のいずれか一つに記載の支援装置であって、
   前記プロセッサは、
   前記視線情報に基づいて、前記ユーザが前記遮蔽物を注視したときの注視領域を検出し、
   前記死角状況情報が前記注視領域に表示されるように前記ウェアラブル装置へ前記死角状況情報を出力する、
   支援装置。
8. 請求項７に記載の支援装置であって、
   前記プロセッサは、
   前記ユーザが前記注視領域に対して注視した注視時間が所定時間以上であるか否かを判定し、
   前記注視時間が所定時間以上である場合、前記死角状況情報を前記ウェアラブル装置へ出力する、
   支援装置。
9. 請求項３〜８のいずれか一つに記載の支援装置であって、
   前記プロセッサは、
   前記遮蔽物を撮像した画像データを取得し、
   前記遮蔽物を撮像した画像データと前記死角領域を撮像した画像データとを所定の比率で合成した合成画像データを生成し、
   前記合成画像データに対応する合成画像を前記死角状況情報として前記ウェアラブル装置へ出力する、
   支援装置。
10. 請求項３〜８のいずれか一つに記載の支援装置であって、
    前記プロセッサは、
    前記画像データに対応する画像を前記死角状況情報として前記ウェアラブル装置へ出力する、
    支援装置。
11. 請求項１０に記載の支援装置であって、
    前記プロセッサは、
    前記遮蔽物を撮像した画像データと前記死角領域を撮像した画像データとに基づいて、前記遮蔽物を仮想的に円柱状、円錐状および球状のいずれかにくり抜いた開口部を有する画像を生成し、
    前記画像を前記死角状況情報として前記ウェアラブル装置へ出力する、
    支援装置。
12. 請求項３〜１１のいずれか一つに記載の支援装置であって、
    前記プロセッサは、
    当該支援装置が搭載された車両の車速に関する車速情報を取得し、
    前記車速情報に基づいて、前記車両の車速が所定速度以下であるか否かを判定し、
    前記車両の車速が前記所定速度以下である場合、前記死角状況情報を前記ウェアラブル装置へ出力する、
    支援装置。
13. ユーザが装着可能な支援装置であって、
    メモリと、
    ハードウェアを有するプロセッサと、
    を備え、
    前記プロセッサは、
    前記ユーザの視線に関する視線情報を取得し、
    前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、
    前記死角状況情報を出力する、
    支援装置。
14. ウェアラブル装置と通信可能な支援装置が実行する支援方法であって、
    前記ウェアラブル装置を装着したユーザの視線に関する視線情報を取得し、
    メモリから読み出した前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、
    前記死角状況情報を前記ウェアラブル装置へ出力する、
    支援方法。
15. ウェアラブル装置と通信可能な支援装置に実行させるプログラムであって、
    前記ウェアラブル装置を装着したユーザの視線に関する視線情報を取得し、
    前記視線情報に基づいて、前記ユーザの視野領域内で遮蔽物により遮蔽された死角領域の状況を示す死角状況情報を生成し、
    前記死角状況情報を前記ウェアラブル装置へ出力する、
    プログラム。