JP2016212501A - 移動体用画像生成装置及びナビゲーション装置 - Google Patents

Abstract

【課題】移動体の走行履歴によらず、移動体に搭載されたカメラで画像を撮影できない領域を撮影した画像から変換された鳥瞰画像を含む表示用画像を生成することができる表示用画像生成装置及びナビゲーション装置を提供する。【解決手段】画像生成装置１３は、自車両１に搭載された第１カメラ１１を用いて撮影した画像から第１鳥瞰画像を生成する第１鳥瞰画像生成部３１と、第１鳥瞰画像と、自車両１と離れて別体に配置された外部撮影装置２が第２カメラ２１を用いて撮影した画像から生成された第２鳥瞰画像とを含む表示用画像を生成する表示用画像生成部３５と、表示用画像を自車両１に設けられた表示装置１４に出力する画像出力部３６とを備える。【選択図】図１

Description

本発明は、移動体に設けられた表示装置に表示させる画像を生成する移動体用画像生成装置と、この移動体用画像生成装置を有するナビゲーション装置に関する。

従来、カメラを用いて撮影した画像を、このカメラの撮影領域を上方から見たのと同等の画像（以下「鳥瞰画像」という。）に変換する画像変換技術が開発されている。特に、車両などの移動体に搭載された複数個のカメラを用いて撮影した画像から、この移動体の周囲の一定範囲の領域の鳥瞰画像を生成する、いわゆる「アラウンドビューモニター」（登録商標）又は「サラウンドビューシステム」などの技術も開発されている。これらの鳥瞰画像は、例えば、移動体の運転席から見えにくい位置にある障害物を映して運転者に通知するなど、移動体の運転支援に用いられている。

一般に、移動体に搭載されたカメラは撮影範囲に限りがあり、撮影範囲外の領域は画像を撮影することができない。また、例えば、移動体がＴ字路又は十字路の手前に位置している場合には、道路脇の建物及び塀などによりカメラの撮影範囲内に死角が生じ、この死角の領域も画像を撮影することができない。従来の技術では、移動体に搭載されたカメラで画像を撮影できない領域の鳥瞰画像は表示することができない問題があった。

この問題に対し、特許文献１の車両周囲監視装置は、車両に搭載されたカメラで撮影した画像から変換した鳥瞰画像に含まれる死角を、このカメラで過去に撮影した画像を用いて補完している。これにより、鳥瞰画像に含まれる死角を減らし、車両周囲の状況をより正確に報知するようにしている。

特開２００４−４０５２３号公報

特許文献１の車両周囲監視装置は、車両に搭載されたカメラで過去に撮影した画像を用いて鳥瞰画像の死角を補完している。この構成では、車両が初めて走行する道路にある死角は補完することができない課題があった。また、補完用の画像は過去に撮影した画像であり、リアルタイムに撮影した画像を補完に用いることができない課題があった。

本発明は、上記のような課題を解決するためになされたものであり、移動体の走行履歴によらず、移動体に搭載されたカメラで画像を撮影できない領域を撮影した画像から変換された鳥瞰画像を含む表示用画像を生成することができる移動体用画像生成装置を提供することを目的とする。また、かかる移動体用画像生成装置を有するナビゲーション装置を提供することを目的とする。

本発明の移動体用画像生成装置は、第１移動体に搭載された第１カメラを用いて撮影した画像から第１鳥瞰画像を生成する第１鳥瞰画像生成部と、第１鳥瞰画像と、第１移動体とは離れた別体として配置された外部撮影装置が第２カメラを用いて撮影した画像から生成された第２鳥瞰画像とを含む表示用画像を生成する表示用画像生成部と、表示用画像を第１移動体に設けられた表示装置に出力する画像出力部と、を備えるものである。

本発明によれば、第１移動体とは離れた別体として配置された外部撮影装置が第２カメラを用いて撮影した画像から生成された第２鳥瞰画像を含む表示用画像を生成する。これにより、第１移動体の走行履歴によらず、第１カメラで画像を撮影できない領域を撮影した画像から変換された第２鳥瞰画像を含む表示用画像を生成することができる。

本発明の実施の形態１に係る画像生成装置を含むブロック図である。 本発明の実施の形態１に係る画像生成装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態１に係る表示用画像生成部の要部を示すブロック図である。 本発明の実施の形態１に係る画像生成装置の動作を示すフローチャートである。 本発明の実施の形態１に係る表示用画像生成部の動作を示すフローチャートである。 自車両がＴ字路に進入しつつある状態における第１カメラの撮影領域及び死角を示す説明図である。 図６に示す状態における第１カメラの撮影領域及び第２カメラの撮影領域を示す説明図である。 図６に示す状態における第１領域、第２領域及び重複領域を示す説明図である。 図８に示す重複領域のうちの第１鳥瞰画像を表示する領域と第２鳥瞰画像を表示する領域とを示す説明図である。 本発明の実施の形態１に係る他の表示用画像生成部の要部を示すブロック図である。 図６に示す状態における軌跡画像を示す説明図である。 本発明の実施の形態１に係る他の画像生成装置を含むブロック図である。 本発明の実施の形態２に係る画像生成装置を含むブロック図である。 本発明の実施の形態２に係る表示用画像生成部の要部を示すブロック図である。 本発明の実施の形態２に係る表示用画像生成部の動作を示すフローチャートである。 本発明の実施の形態２に係る表示用画像を示す説明図である。 本発明の実施の形態２に係る他の表示用画像生成部の要部を示すブロック図である。 本発明の実施の形態２に係る他の表示用画像を示す説明図である。 本発明の実施の形態３に係る画像生成装置を含むブロック図である。 本発明の実施の形態３に係るメッセージ画像の一例を示す説明図である。 本発明の実施の形態３に係るメッセージ画像の他の例を示す説明図である。 本発明の実施の形態３に係るメッセージ画像の他の例を示す説明図である。 本発明の実施の形態３に係るメッセージ画像の他の例を示す説明図である。

実施の形態１．
図１は、自車両１及び外部撮影装置２の要部を示すブロック図である。図１に示す如く、自車両１は、第１カメラ１１、受信部１２、画像生成装置１３及び表示装置１４を有している。外部撮影装置２は、第２カメラ２１、第２鳥瞰画像生成部２２、情報付加部２３及び送信部２４を有している。図１を参照して、実施の形態１の画像生成装置１３について説明する。

外部撮影装置２は、自車両１とは離れた別体として配置され、かつ、自車両１と無線通信回線により通信自在な撮影装置である。外部撮影装置２は、例えば、街頭に設置された監視カメラ装置、又は、自車両１と異なる他車両に搭載された撮影装置により構成されている。

第２鳥瞰画像生成部２２は、外部撮影装置２に設けられた第２カメラ２１を用いて撮影した画像を、第２カメラ２１の撮影領域を上方から見たのと同等の鳥瞰画像（以下「第２鳥瞰画像」という。）に変換するものである。この画像変換には、第２カメラ２１の取り付け位置を示す情報、及び、第２カメラ２１のレンズのひずみを示す情報など（以下、総称して「第２変換用情報」という。）が用いられる。

情報付加部２３は、第２鳥瞰画像生成部２２で生成された第２鳥瞰画像のデータに情報を付加するものである。付加情報には、例えば、第２鳥瞰画像の変換元の画像の撮影時刻を示す情報、この撮影時刻における第２カメラ２１の向きを示す情報、この撮影時刻における外部撮影装置２の位置を示す情報、並びに、この撮影時刻における第２カメラ２１の撮影領域を示す情報など（以下、総称して「合成用情報」という。）が含まれている。

送信部２４は、情報付加部２３で情報が付加された第２鳥瞰画像のデータを、無線通信回線を介して送信するものである。

受信部１２は、送信部２４が送信したデータを受信するものである。第２鳥瞰画像復号部３３は、受信部１２で受信したデータから第２鳥瞰画像を復号するものである。合成用情報復号部３４は、受信部１２で受信したデータから合成用情報を復号するものである。

第１カメラ１１は、自車両１に搭載された複数個のカメラにより構成されている。第１カメラ１１は、自車両１の周囲の一定範囲の領域を撮影するものである。

第１鳥瞰画像生成部３１は、第１カメラ１１を用いて撮影した画像を、第１カメラ１１の撮影領域を上方から見たのと同等の鳥瞰画像（以下「第１瞰画像」という。）に変換するものである。この画像変換には、第１カメラ１１の取り付け位置を示す情報、及び、第１カメラ１１のレンズのひずみを示す情報など（以下、総称して「第１変換用情報」という。）が用いられる。

移動体情報生成部３２は、自車両１に搭載されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機、車速センサ及びジャイロセンサなどを用いて、自車両１に関する情報（以下「移動体情報」という。）を生成するものである。移動体情報には、例えば、移動体の位置、向き、進行方向、走行速度及び舵角を示す情報が含まれている。

表示用画像生成部３５は、第１鳥瞰画像生成部３１で生成した第１鳥瞰画像、移動体情報生成部３２で生成した移動体情報、第２鳥瞰画像復号部３３で復号した第２鳥瞰画像、及び、合成用情報復号部３４で復号した合成用情報などを用いて、第１鳥瞰画像と第２鳥瞰画像とを含む画像（以下「表示用画像」という。）を生成するものである。

画像出力部３６は、表示用画像生成部３５で生成した表示用画像のデータを、自車両１に設けられた表示装置１４に出力するものである。第１鳥瞰画像生成部３１、移動体情報生成部３２、第２鳥瞰画像復号部３３、合成用情報復号部３４、表示用画像生成部３５及び画像出力部３６により、画像生成装置１３が構成されている。

表示装置１４は、例えば、自車両１に搭載されたＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｉｓｐｌａｙ）又はＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）により構成されている。表示装置１４は、表示用画像生成部３５から入力されたデータを画像として表示するものである。

図２は、画像生成装置１３のハードウェア構成の一例を示すブロック図である。画像生成装置１３は、半導体メモリなどの記憶装置４１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又は専用のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などの処理回路４２とにより構成されている。図１に示す第１鳥瞰画像生成部３１、移動体情報生成部３２、第２鳥瞰画像復号部３３、合成用情報復号部３４、表示用画像生成部３５及び画像出力部３６の機能は、図２に示す記憶装置４１に記憶されたプログラムを処理回路４２が実行することにより実現される。なお、複数個の処理回路４２が連携し、複数個の記憶装置４１に記憶されたプログラムを実行することで上記機能を実現するものであっても良い。

図３は、表示用画像生成部３５の要部を示すブロック図である。図３に示す如く、表示用画像生成部３５は、領域判定部５１、差分算出部５２及び鳥瞰画像合成部５３を有している。

領域判定部５１は、移動体情報生成部３２で生成した移動体情報などを用いて、第１鳥瞰画像の元画像の撮影時刻における第１カメラ１１の撮影領域を算出するものである。領域判定部５１は、算出した第１カメラ１１の撮影領域を示す情報と、合成用情報復号部３４で復号した合成用情報に含まれる第２カメラ２１の撮影領域を示す情報とを用いて、第１カメラ１１の撮影領域のうちの第２カメラ２１の撮影領域を除く領域（以下「第１領域」という。）と、第２カメラ２１の撮影領域のうちの第１カメラ１１の撮影領域を除く領域（以下「第２領域」という。）とを判定するものである。また、領域判定部５１は、第１カメラ１１の撮影領域と第２カメラ２１の撮影領域とが重なる領域（以下「重複領域」という。）を判定するものである。

差分算出部５２は、第１鳥瞰画像生成部３１で生成した第１鳥瞰画像と、第２鳥瞰画像復号部３３で復号した第２鳥瞰画像とを用いて、領域判定部５１で判定した重複領域における第１鳥瞰画像と第２鳥瞰画像との差分値を算出するものである。

鳥瞰画像合成部５３は、第１鳥瞰画像生成部３１で生成した第１鳥瞰画像と、第２鳥瞰画像復号部３３で復号した第２鳥瞰画像とを用いて、領域判定部５１で判定した第１領域、第２領域及び重複領域のそれぞれにおいて第１鳥瞰画像又は第２鳥瞰画像を示す表示用画像を生成するものである。

表示用画像は、具体的には、第１領域は第１鳥瞰画像を示し、第２領域は第２鳥瞰画像を示すものである。また、重複領域のうちの差分算出部５２で算出した差分値が所定の閾値未満である領域は第１鳥瞰画像を示し、差分値が閾値以上である領域は第２鳥瞰画像を示すものである。

このとき、鳥瞰画像合成部５３は、移動体情報生成部３２で生成した移動体情報に含まれる自車両１の向きを示す情報と、合成用情報復号部３４で復号した合成用情報に含まれる第２カメラ２１の向きを示す情報とを用いて、第１鳥瞰画像と第２鳥瞰画像との水平方向の向きを揃えて配置する。また、鳥瞰画像合成部５３は、第１鳥瞰画像と第２鳥瞰画像との表示倍率を揃えて配置する。

次に、図４のフローチャートを参照して、画像生成装置１３の動作について説明する。自車両１は、ダッシュボードに設けられた釦又は表示装置１４を構成するＦＰＤと一体のタッチパネルなどの図示しない操作入力部を有している。操作入力部が鳥瞰画像の表示を指示する操作の入力を受け付けると、画像生成装置１３はステップＳＴ１〜ＳＴ４の処理を開始する。

まず、ステップＳＴ１にて、第１鳥瞰画像生成部３１は、第１カメラ１１を用いて撮影した画像を第１鳥瞰画像に変換する。また、ステップＳＴ２にて、移動体情報生成部３２は、自車両１に搭載されたＧＰＳ受信機、車速センサ及びジャイロセンサなどを用いて移動体情報を生成する。また、ステップＳＴ３にて、第２鳥瞰画像復号部３３は、受信部１２で受信したデータから第２鳥瞰画像を復号する。また、ステップＳＴ４にて、合成用情報復号部３４は、受信部１２で受信したデータから合成用情報を復号する。

次いで、ステップＳＴ５にて、表示用画像生成部３５は、ステップＳＴ１で生成した第１鳥瞰画像、ステップＳＴ２で生成した移動体情報、ステップＳＴ３で復号した第２鳥瞰画像、及び、ステップＳＴ４で復号した合成用情報などを用いて、第１鳥瞰画像と第２鳥瞰画像とを含む表示用画像を生成する。

次いで、ステップＳＴ６にて、画像出力部３６は、ステップＳＴ６で生成した表示用画像のデータを表示装置１４に出力する。表示装置１４は、ステップＳＴ６で入力されたデータを画像として表示する。

次に、図５のフローチャートを参照して、図４に示すステップＳＴ５の処理の詳細について説明する。

まず、ステップＳＴ５１にて、領域判定部５１は、図４のステップＳＴ２で生成した移動体情報などを用いて、第１鳥瞰画像の元画像の撮影時刻における第１カメラ１１の撮影領域を算出する。領域判定部５１は、算出した第１カメラ１１の撮影領域を示す情報と、図４のステップＳＴ４で復号した合成用情報に含まれる第２カメラ２１の撮影領域を示す情報とを用いて、第１領域、第２領域及び重複領域を判定する。

次いで、ステップＳＴ５２にて、差分算出部５２は、図４のステップＳＴ１で生成した第１鳥瞰画像と、図４のステップＳＴ３で復号した第２鳥瞰画像とを用いて、ステップＳＴ５１で判定した重複領域における第１鳥瞰画像と第２鳥瞰画像との差分値を算出する。

次いで、ステップＳＴ５３にて、鳥瞰画像合成部５３は、図４のステップＳＴ１で生成した第１鳥瞰画像と、図４のステップＳＴ３で復号した第２鳥瞰画像とを用いて、ステップＳＴ５１で判定した第１領域、第２領域及び重複領域のそれぞれにおいて第１鳥瞰画像又は第２鳥瞰画像を示す表示用画像を生成する。このとき、鳥瞰画像合成部５３は、ステップＳＴ２で生成した移動体情報に含まれる自車両１の向きを示す情報と、ステップＳＴ４で復号した合成用情報に含まれる第２カメラ２１の向きを示す情報とを用いて、第１鳥瞰画像と第２鳥瞰画像との水平方向の向きを揃えて配置する。また、鳥瞰画像合成部５３は、第１鳥瞰画像と第２鳥瞰画像との表示倍率を揃えて配置する。

次に、図６〜図９を参照して、表示用画像の具体例について説明する。
自車両１がＴ字路に進入しつつあるものとする。このときの第１カメラ１１の撮影領域Ａを図６に示す。道路の両脇にある建物及び塀により、第１カメラ１１の撮影領域Ａ内に死角が生じている。第１鳥瞰画像のみを表示装置に出力する従来の画像生成装置は、この死角の鳥瞰画像を表示させることができない問題があった。

これに対し、実施の形態１の画像生成装置１３は、第１鳥瞰画像に第２鳥瞰画像を合成した表示用画像を生成する。例えば、図７に示す如く、Ｔ字路の近傍の路側に監視カメラ装置が設置されており、この監視カメラ装置が外部撮影装置２を構成しているものとする。図７は、自車両１に搭載された第１カメラ１１の撮影領域Ａに加えて、外部撮影装置２に設けられた第２カメラ２１の撮影領域Ｂを示している。

図８は、第１カメラ１１の撮影領域Ａのうちの第２カメラ２１の撮影領域Ｂを除く領域である第１領域ａと、第２カメラ２１の撮影領域Ｂのうちの第１カメラ１１の撮影領域Ａを除く領域である第２領域ｂとを示している。鳥瞰画像合成部５３は、第１領域ａは第１鳥瞰画像を示し、かつ、第２領域ｂは第２鳥瞰画像を示す表示用画像を生成する。

また、第１カメラ１１の撮影領域Ａと第２カメラ２１の撮影領域Ｂとが重なる領域である重複領域Ｃについては、差分算出部５２により差分値が算出される。一般に、重複領域Ｃのうち、第１カメラ１１の死角である領域ｃ２は、第１カメラ１１の死角でない領域ｃ１よりも、第２鳥瞰画像に対する第１鳥瞰画像の差分値が大きくなる。鳥瞰画像合成部５３が重複領域Ｃに示す画像の判定に用いる閾値は、かかる領域ｃ１と領域ｃ２とを区別できる値に設定されている。

すなわち、領域ｃ１は差分値が閾値未満となり、領域ｃ２は差分値が閾値以上となる。鳥瞰画像合成部５３は、図９に示す如く、領域ｃ１に第１鳥瞰画像を示し、かつ、領域ｃ２に第２鳥瞰画像を示す表示用画像を生成する。

このように、第１鳥瞰画像に第２鳥瞰画像を合成した表示用画像を生成することで、第１鳥瞰画像の死角を補完することができる。特に、特許文献１の車両周囲監視装置と異なり、外部撮影装置２があれば自車両１が初めて走行する道路であっても鳥瞰画像の死角を補完することができる。また、外部撮影装置２がリアルタイムに撮影した画像から変換された第２鳥瞰画像を補完に用いることができる。

なお、表示装置１４は、画像出力部３６が出力した表示用画像の全体を表示するものでも良く、又は一部のみを表示するものであっても良い。例えば、自車両１が前進しているときは、自車両１の前方の領域を示す表示用画像のみを表示するものであっても良い。同様に、自車両１が後退しているときは、自車両１の後方の領域を示す表示用画像のみを表示するものであっても良い。

また、画像生成装置１３は、自車両１の形状に対応する図形画像を予め記憶しておき、鳥瞰画像合成部５３は、第１鳥瞰画像及び第２鳥瞰画像に加えて図形画像を合成した表示用画像を生成するものであっても良い。または、画像生成装置１３は、自車両１を上方から撮影した鳥瞰画像を予め記憶しておき、鳥瞰画像合成部５３は、第１鳥瞰画像及び第２鳥瞰画像に加えて自車両１の鳥瞰画像を合成した表示用画像を生成するものであっても良い。

また、図６〜図９に示す状態において、外部撮影装置２は、Ｔ字路に進入する他車両に搭載された撮影装置であっても良い。また、受信部１２は、監視カメラ装置と他車両に搭載された撮影装置との両方から第２鳥瞰画像及び合成用情報を受信し、表示用画像生成部３５は、第１鳥瞰画像に複数の第２鳥瞰画像を合成した表示用画像を生成するものであっても良い。すなわち、表示用画像生成部３５は、処理回路４２の処理能力等の範囲内で、任意の複数の鳥瞰画像を合成することができる。

また、図６〜図９に示す状態は一例であり、画像生成装置１３が表示用画像を生成して表示装置１４に表示させるタイミングは、自車両１がＴ字路に進入するときに限定されるものではない。操作入力部に対する操作の入力に応じて、如何なるタイミングで表示用画像を生成して表示させるものであっても良い。例えば、自車両１が十字路に進入するとき、自車両１が後退するとき、又は、自車両１が大型車両を追い越すときなどに表示用画像を生成して表示させることで、運転席から見えにくい領域を映した鳥瞰画像を運転者に提示することができる。

また、表示用画像は、第１鳥瞰画像及び第２鳥瞰画像に加えて自車両１の予測走行軌跡を示すものであっても良い。この場合の表示用画像生成部３５のブロック図を図１０に示す。軌跡画像生成部５４は、移動体情報生成部３２で生成した移動体情報に含まれる自車両１の舵角を示す情報を用いて、自車両１の予測走行軌跡を示す軌跡画像を生成する。軌跡画像重畳部５５は、鳥瞰画像合成部５３で第１鳥瞰画像に第２鳥瞰画像を合成した画像に、軌跡画像生成部５４で生成した軌跡画像を重畳した表示用画像を生成する。図１１に、図６〜図９に示す例と同様の状態における軌跡画像Ｄの一例を示す。軌跡画像Ｄは、自車両１がＴ字路を右折する場合の予測走行軌跡を示している。

また、第２鳥瞰画像は、外部撮影装置２に代えて画像生成装置１３が生成するものであっても良い。この場合のブロック図を図１２に示す。情報付加部２３は、第２カメラ２１で撮影された画像のデータに情報を付加する。付加情報には、第２鳥瞰画像を第１鳥瞰画像に合成する際に用いる合成用情報に加えて、第２カメラ２１で撮影した画像から第２鳥瞰画像への変換に用いる第２変換用情報が含まれている。画像生成装置１３は、図１に示す第２鳥瞰画像復号部３３に代えて、第２鳥瞰画像生成部３７を有する。第２鳥瞰画像生成部３７は、受信部１２で受信したデータから、第２カメラ２１で撮影された画像及び第２変換用情報を復号し、第２変換用情報を用いて第２鳥瞰画像を生成する。

また、第１鳥瞰画像及び第２鳥瞰画像は、静止画であっても良く、あるいは動画であっても良い。第１鳥瞰画像及び第２鳥瞰画像が動画である場合、表示用画像も動画とすることで、よりリアルタイム性の高い表示用画像を生成して表示させることができる。

また、画像生成装置１３を構成する記憶装置４１及び処理回路４２は、自車両１に搭載されたナビゲーション装置に内蔵された記憶装置及び処理回路であっても良い。さらに、表示装置１４は、このナビゲーション装置と一体のＦＰＤにより構成されたものであっても良い。

また、鳥瞰画像合成部５３は、重複領域のうちの差分値が閾値未満である領域は第２鳥瞰画像を示し、差分値が閾値以上である領域は第１鳥瞰画像を示す表示用画像を生成するものであっても良い。これにより、第１鳥瞰画像ではなく第２鳥瞰画像に死角が含まれている場合に、第２鳥瞰画像の死角を補完した表示用画像を生成することができる。

また、画像生成装置１３は、重複領域及び重複領域と自車両１との間の領域（以下「判定対象領域」という。）に障害物が存在するか否かを判定するものであっても良い。判定対象領域に障害物が存在する場合、重複領域に第１カメラ１１の死角が存在する可能性が高い。そこで、鳥瞰画像合成部５３は、重複領域のうちの差分値が閾値以上である領域は第２鳥瞰画像を示す表示用画像を生成することで、第１鳥瞰画像の死角を補完する。一方、判定対象領域に障害物が存在しない場合、重複領域に第１カメラ１１の死角が存在する可能性は低い。そこで、鳥瞰画像合成部５３は、重複領域のうちの差分値が閾値以上である領域は第１鳥瞰画像を示す表示用画像を生成することで、第２鳥瞰画像の死角を補完する。

画像生成装置１３が障害物の有無を判定する処理について説明する。例えば、自車両１に搭載したＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）が、自車両１の外装部に設けた超音波センサを用いて、自車両１の周囲にある障害物を検知する。画像生成装置１３は、このＥＣＵによる検知結果を用いて、判定対象領域に障害物が存在するか否かを判定する。

または、第１カメラ１１が動画を撮影するカメラである場合、画像生成装置１３は、第１カメラ１１が撮影した動画のフレーム間における特徴点の移動量を示すベクトル（いわゆる「動きベクトル」）を用いて、判定対象領域に障害物が存在するか否かを判定する。すなわち、一般に、第１カメラ１１と被写体間の距離が大きいほど、この被写体に対応する特徴点の動きベクトルは小さくなる。このため、自車両１の周囲に障害物が存在せず第１カメラ１１が路面を撮影している場合、フレームの上端部に近い特徴点ほど動きベクトルが小さくなり、フレームの下端部に近い特徴点ほど動きベクトルが大きくなる。これに対し、自車両１の周囲に障害物が存在して第１カメラ１１が障害物を撮影している場合、フレームの上下方向の位置によらず動きベクトルがほぼ一定になる。

そこで、画像生成装置１３は、移動体情報に含まれる自車両１の走行速度並びに第１変換用情報に含まれる第１カメラ１１の取り付け位置及びレンズのひずみなどを用いて、自車両１の周囲に障害物が存在しない状態において自車両１が現在の走行速度で走行した場合に第１カメラ１１が判定対象領域を撮影する動画の動きベクトルに対応する基準ベクトルを算出する。画像生成装置１３は、第１カメラ１１が判定対象領域を撮影した動画の動きベクトルを基準ベクトルと比較して、差分が大きい場合は判定対象領域に障害物が存在すると判定し、差分が小さい場合は判定対象領域に障害物が存在しないと判定する。画像生成装置１３の処理回路４２に映像プロセッサを用いた場合、映像プロセッサが動きベクトルを解析する機能を有しているため、障害物の判定用に専用のプロセッサを追加する必要がなく、容易に実現することができる。

また、画像生成装置１３が障害物の有無を判定する機能を有しない場合、又は、画像生成装置１３が障害物の有無を判定できなかった場合、鳥瞰画像合成部５３は、重複領域のうちの差分値が閾値以上である領域に第２鳥瞰画像を示した表示用画像と、重複領域のうちの差分値が閾値以上である領域に第１鳥瞰画像を示した表示用画像との両方を生成するものであっても良い。自車両１の搭乗者は、表示装置１４が並べて表示した２つの表示用画像を確認して、どちらの表示用画像が正しく死角を補完したものであるかを判断する。

または、画像生成装置１３が障害物の有無を判定する機能を有しない場合、又は、画像生成装置１３が障害物の有無を判定できなかった場合、鳥瞰画像合成部５３は、重複領域のうちの差分値が閾値以上である領域に第１鳥瞰画像と第２鳥瞰画像とをそれぞれ５０パーセントの透過率で重畳した表示用画像を生成するものであっても良い。

また、受信部１２でデータを受信することができない場合、第２鳥瞰画像復号部３３で第２鳥瞰画像を復号できない場合、合成用情報復号部３４で合成用情報を復号できない場合、又は、第２鳥瞰画像の合成が不要であることを示す操作が操作入力部に入力された場合などに、表示用画像生成部３５は第１鳥瞰画像と第２鳥瞰画像とを合成せず、第１鳥瞰画像のみを表示用画像として画像出力部３６に出力させるものであっても良い。

また、画像生成装置１３を搭載する移動体は、車両に限定されるものではない。本発明の画像生成装置１３は、車両、鉄道、船舶又は航空機等を含む如何なる移動体にも用いることができる。

以上のように、実施の形態１の画像生成装置１３は、自車両１（第１移動体）に搭載された第１カメラ１１を用いて撮影した画像から第１鳥瞰画像を生成する第１鳥瞰画像生成部３１と、第１鳥瞰画像と、自車両１（第１移動体）とは離れた別体として配置された外部撮影装置２が第２カメラ２１を用いて撮影した画像から生成された第２鳥瞰画像とを含む表示用画像を生成する表示用画像生成部３５と、表示用画像を自車両１（第１移動体）に設けられた表示装置１４に出力する画像出力部３６とを備える。これにより、自車両１の走行履歴によらず、第１カメラ１１で画像を撮影できない領域を撮影した画像から変換された第２鳥瞰画像を含む表示用画像を生成することができる。

また、表示用画像生成部３５は、第１カメラ１１の撮影領域と第２カメラ２１の撮影領域とが重なる領域は、第１鳥瞰画像と第２鳥瞰画像との差分値が閾値以上である領域は第２鳥瞰画像を示し、かつ、差分値が閾値未満である領域は第１鳥瞰画像を示す表示用画像を生成する。これにより、第１鳥瞰画像に含まれる死角を第２鳥瞰画像で補完した表示用画像を生成することができる。

また、表示用画像生成部３５は、自車両１（第１移動体）の予測走行軌跡を示す軌跡画像を生成し、第１鳥瞰画像及び第２鳥瞰画像に軌跡画像を重畳した表示用画像を生成する。第１鳥瞰画像に含まれる死角を補完するとともに自車両１の予測走行軌跡を表示することで、Ｔ字路又は十字路などにおいて、死角に存在する障害物のうちの注意すべきものとそうでないものとを運転者に分かりやすく提示することができる。

また、外部撮影装置２は、街頭に設置された監視カメラ装置である。または、外部撮影装置２は、自車両１（第１移動体）と異なる他車両（第２移動体）に搭載された撮影装置である。これらの外部撮影装置２がリアルタイムに撮影した画像から変換された第２鳥瞰画像を用いることで、リアルタイム性の高い表示用画像を生成して表示させることができる。なお、外部撮影装置２は、街頭に設置された監視カメラ装置と他車両に搭載された撮影装置との両方を含むものであっても良い。

実施の形態２．
図１３を参照して、第１鳥瞰画像及び第２鳥瞰画像を地図画像に重畳した表示用画像を生成する画像生成装置１３について説明する。なお、図１３において、図１に示す実施の形態１のブロック図と同様のブロックには同一符号を付して説明を省略する。また、実施の形態２に係る画像生成装置１３のハードウェア構成は実施の形態１と同様であるため、図２を援用して説明する。

ナビゲーション装置１５は、例えば、自車両１に搭載されたカーナビゲーション装置、又は、自車両１に持ち込まれたスマートフォンなどの携帯情報端末により構成されている。ナビゲーション装置１５は、地図情報記憶部１６に記憶された地図情報と、ＧＰＳ受信機、車速センサ及びジャイロセンサなどを用いて生成した移動体情報とを用いて、自車両１の走行経路を案内する機能を有している。ナビゲーション装置１５は、案内対象の走行経路を示す情報（以下「経路情報」という。）を表示用画像生成部３５に出力するようになっている。

図１４は、表示用画像生成部３５の要部のブロック図を示している。図１４に示す如く、表示用画像生成部３５は地図画像生成部６１及び鳥瞰画像重畳部６２を有している。

地図画像生成部６１は、移動体情報生成部３２で生成した移動体情報と、ナビゲーション装置１５が出力した経路情報と、地図情報記憶部１６に記憶された地図情報とを用いて、自車両１の走行経路を含む地図画像を生成するものである。

鳥瞰画像重畳部６２は、第１鳥瞰画像生成部３１で生成した第１鳥瞰画像と、第２鳥瞰画像復号部３３で復号した第２鳥瞰画像とを、地図画像生成部６１で生成した地図画像の対応する位置にそれぞれ重畳した表示用画像を生成するものである。

このとき、鳥瞰画像重畳部６２は、第１鳥瞰画像のうち、自車両１の前方の領域を示す第１鳥瞰画像のみを重畳する。また、鳥瞰画像重畳部６２は、合成用情報復号部３４で復号した合成用情報に含まれる外部撮影装置２の位置を示す情報を用いて、第２鳥瞰画像のうち、自車両１の走行経路における自車両１よりも先の位置にある外部撮影装置２から受信した第２鳥瞰画像のみを重畳する。

さらに、鳥瞰画像重畳部６２は、移動体情報生成部３２で生成した移動体情報に含まれる自車両１の向きを示す情報と、合成用情報復号部３４で復号した合成用情報に含まれる第２カメラ２１の向きを示す情報とを用いて、第１鳥瞰画像及び第２鳥瞰画像の水平方向の向きを地図画像の向きに合わせて重畳する。また、鳥瞰画像重畳部６２は、第１鳥瞰画像及び第２鳥瞰画像の表示倍率を地図画像の表示倍率に合わせて重畳する。

次に、図１５のフローチャートを参照して、表示用画像生成部３５の詳細な動作について説明する。なお、画像生成装置１３のうちの表示用画像生成部３５を除くブロックの動作は実施の形態１と同様であるため、図４を援用して説明する。

まず、ステップＳＴ６１にて、地図画像生成部６１は、図４のステップＳＴ２で生成した移動体情報と、ナビゲーション装置１５が出力した経路情報と、地図情報記憶部１６に記憶された地図情報とを用いて、自車両１の現在位置及び走行経路を含む地図画像を生成する。

次いで、ステップＳＴ６２にて、鳥瞰画像重畳部６２は、図４のステップＳＴ１で生成した第１鳥瞰画像と、図４のステップＳＴ３で復号した第２鳥瞰画像とを、ステップＳＴ６１で生成した地図画像の対応する位置にそれぞれ重畳した表示用画像を生成する。

このとき、鳥瞰画像重畳部６２は、第１鳥瞰画像のうち、自車両１の前方の領域を示す第１鳥瞰画像のみを重畳する。また、鳥瞰画像重畳部６２は、図４のステップＳＴ４で復号した合成用情報に含まれる外部撮影装置２の位置を示す情報を用いて、第２鳥瞰画像のうち、自車両１の走行経路における自車両１よりも先の位置にある外部撮影装置２から受信した第２鳥瞰画像のみを重畳する。

さらに、鳥瞰画像重畳部６２は、図４のステップＳＴ２で生成した移動体情報に含まれる自車両１の向きを示す情報と、図４のステップＳＴ４で復号した合成用情報に含まれる第２カメラ２１の向きを示す情報とを用いて、第１鳥瞰画像及び第２鳥瞰画像の水平方向の向きを地図画像の向きに合わせて重畳する。また、鳥瞰画像重畳部６２は、第１鳥瞰画像及び第２鳥瞰画像の表示倍率を地図画像の表示倍率に合わせて重畳する。

次に、図１６を参照して、表示用画像の具体例について説明する。
図１６は、自車両１の走行経路Ｅを含む地図画像Ｆを示している。自車両１の前方の三角形状の領域Ｇには、第１鳥瞰画像が重畳される。なお、表示用画像生成部３５は、図１６に示す如く領域Ｇを縁取りした表示用画像を生成するものであっても良い。これにより、自車両１の運転者は第１カメラ１１の撮影範囲を把握することができる。

また、走行経路Ｅのうちの自車両１よりも先の経路を含む領域Ｈには、第２鳥瞰画像が重畳される。なお、表示用画像生成部３５は、受信部１２によるデータの受信状態などに応じて、領域Ｈのうちの一部の領域にのみ第２鳥瞰画像を重畳した表示用画像を生成するものであっても良い。

このように、第１鳥瞰画像及び第２鳥瞰画像を地図画像に重畳した表示用画像を生成することで、自車両１の走行経路Ｅのうちの自車両１よりも先の経路の鳥瞰画像をリアルタイムに表示することができる。これにより、自車両１が将来走行する道路の現在の状態を自車両１の運転者に分かりやすく提示することができる。

なお、表示用画像生成部３５は、地図画像に重畳された第２鳥瞰画像の透明度を変化させるものであっても良い。この場合のブロック図を図１７に示す。鳥瞰画像透過部６３は、移動体情報生成部３２で生成した移動体情報に含まれる自車両１の位置を示す情報と、合成用情報復号部３４で復号した合成用情報に含まれる外部撮影装置２の位置を示す情報とを用いて、自車両１と外部撮影装置２間の距離を算出する。鳥瞰画像透過部６３は、算出した距離に応じて第２鳥瞰画像の透明度を変化させる。

例えば、鳥瞰画像透過部６３は、自車両１との距離が基準距離（例えば６００メートル）を超える位置にある外部撮影装置２で撮影した画像から生成された第２鳥瞰画像を半透明にした表示用画像を生成する。この場合、図１８に示す如く、領域Ｈのうちの自車両１との距離が基準距離以内の領域ｈ１は、第２鳥瞰画像が透過せずに（すなわち透明度が０パーセントで）表示される。一方、領域Ｈのうちの自車両１との距離が基準距離を超える領域ｈ２は、第２鳥瞰画像が半透明に（例えば透明度が５０パーセントで）表示される。

この基準距離は、表示用画像生成部３５に予め設定された固定値でも良く、表示用画像生成部３５が算出する可変値であっても良い。例えば、表示用画像生成部３５は、移動体情報に含まれる自車両１の走行速度を示す情報を用いて、走行速度が高いほど基準距離を長くする。または、表示用画像生成部３５は、地図情報に含まれる道路種別を示す情報を用いて、自車両１が高速道路を走行している場合に通常の道路を走行している場合よりも基準距離を長くする。

または、鳥瞰画像透過部６３は、自車両１から離れた位置にある外部撮影装置２で撮影した画像から生成された第２鳥瞰画像ほど透明度を高くした表示用画像を生成するものであっても良い。この場合、図１６に示す領域Ｈにおいて、自車両１との距離が長くなるにつれて次第に透明度が高くなるように第２鳥瞰画像が表示される。

また、画像生成装置１３を構成する記憶装置４１及び処理回路４２は、ナビゲーション装置１５に内蔵された記憶装置及び処理回路であっても良い。さらに、表示装置１４は、ナビゲーション装置１５と一体のＦＰＤにより構成されたものであっても良い。

また、地図情報記憶部１６は、例えばデータセンターに設置されたサーバなど、自車両１の外部に設けられた記憶装置により構成されたものであっても良い。

また、画像生成装置１３は、実施の形態１に係る第１鳥瞰画像に第２鳥瞰画像を重畳した表示用画像を生成する機能と、実施の形態２に係る第１鳥瞰画像及び第２鳥瞰画像を地図画像に重畳した表示用画像を生成する機能との両方を有するものであっても良い。この場合、画像生成装置１３は、操作入力部への操作の入力に応じて、両機能のうちのいずれの機能を実行するかを選択自在に構成したものでも良い。

以上のように、実施の形態２の画像生成装置１３は、表示用画像生成部３５が、自車両１（第１移動体）の走行経路を含む地図画像を生成し、地図画像の走行経路に第１鳥瞰画像及び第２鳥瞰画像を重畳した表示用画像を生成する。これにより、自車両１に搭載した第１カメラ１１で撮影できない領域を含む鳥瞰画像を地図画像に重畳した画像を表示させることができる。

また、表示用画像生成部３５は、自車両１（第１移動体）との距離が基準距離を超える外部撮影装置２で撮影された画像から生成された第２鳥瞰画像を半透明にした表示用画像を生成する。または、表示用画像生成部３５は、自車両１（第１移動体）から離れた位置にある外部撮影装置２で撮影した画像から生成された第２鳥瞰画像ほど透明度を高くした表示用画像を生成する。自車両１の現在位置から離れた地点を映した第２鳥瞰画像は、自車両１がこの第２鳥瞰画像の撮影地点に到達したときに過去の画像となるため、画像が示す情報の信頼性が低くなる可能性がある。自車両１から離れた位置の第２鳥瞰画像の透明度を高くすることで、第２鳥瞰画像の信頼性を分かりやすく提示することができる。

実施の形態３．
図１９を参照して、外部撮影装置２から受信した情報の内容を示すメッセージ画像を生成する画像生成装置１３について説明する。なお、図１９において、図１３に示す実施の形態２のブロック図と同様のブロックには同一符号を付して説明を省略する。また、実施の形態３に係る画像生成装置１３のハードウェア構成は実施の形態２と同様であるため、図２を援用して説明する。

実施の形態３において、外部撮影装置２は、自車両１と異なる他車両に搭載された撮影装置により構成されている。外部撮影装置２の送信部２４と自車両１の受信部１２とは、いわゆる「車車間通信」により通信自在になっている。

外部撮影装置２は、第２カメラ２１を用いて撮影した画像に対して画像認識処理を実行する機能を有している。外部撮影装置２は、画像認識処理の結果を用いて、外部撮影装置２を搭載した車両以外の車両の搭乗者に提示する情報（以下「提示用情報」という。）を生成するようになっている。

例えば、第２カメラ２１で撮影した画像において道路が雪で覆われている場合、外部撮影装置２は悪天候を示す提示用情報を生成する。このとき、外部撮影装置２は、画像認識処理の精度に応じて可能であれば、悪天候の種類（例えば積雪）も示す提示用情報を生成するのがより好適である。

また、第２カメラ２１で撮影した画像において複数台の車両が狭間隔で並んでいる場合、外部撮影装置２は交通渋滞を示す提示用情報を生成する。このとき、外部撮影装置２は、地図情報などを用いて、画像認識処理の精度に応じて可能であれば、渋滞が発生しているレーンも示す提示用情報を生成するのがより好適である。

また、第２カメラ２１で撮影した画像において車両が停車している場合、外部撮影装置２は停車情報を示す提示用情報を生成する。このとき、外部撮影装置２は、地図情報などを用いて、画像認識処理の精度に応じて可能であれば、車両が停車しているレーンも示す提示用情報を生成するのがより好適である。

情報付加部２３は、実施の形態１，２と同様の合成用情報に加えて、外部撮影装置２が生成した提示用情報を第２鳥瞰画像のデータに付加するようになっている。提示用情報は、例えば、この提示用情報の内容を示すテキストデータの形式で付加される。

提示用情報復号部３８は、受信部１２で受信したデータから提示用情報を復号するものである。メッセージ画像生成部３９は、提示用情報復号部３８で復号した提示用情報の内容を示すメッセージ画像を生成するものである。

表示位置判定部４０は、移動体情報生成部３２で生成した移動体情報、合成用情報復号部３４で復号した合成用情報、及び、地図情報記憶部１６に記憶された地図情報などを用いて、表示装置１４の表示領域におけるメッセージ画像の表示位置を判定するものである。

画像出力部３６は、表示用画像生成部３５で生成した表示用画像のデータに加えて、メッセージ画像生成部３９で生成したメッセージ画像のデータを表示装置１４に出力するようになっている。このとき、画像出力部３６は、メッセージ画像を表示位置判定部４０で判定した表示位置に表示するように表示装置１４に出力する。

第１鳥瞰画像生成部３１、移動体情報生成部３２、第２鳥瞰画像復号部３３、合成用情報復号部３４、表示用画像生成部３５、画像出力部３６、提示用情報復号部３８、メッセージ画像生成部３９及び表示位置判定部４０により、画像生成装置１３が構成されている。

次に、図２０〜図２３を参照して、メッセージ画像の具体例について説明する。
図２０（ａ）は、表示装置１４がＦＰＤで構成されており、このＦＰＤの表示画面に実施の形態２と同様の表示用画像を表示した状態を示している。すなわち、自車両１の走行経路Ｅを含む地図画像Ｆのうち、領域Ｇには第１鳥瞰画像が重畳されており、領域Ｈには第２鳥瞰画像が重畳されている。

例えば、走行経路Ｅにおいて自車両１よりも６００メートル先行している他車両に搭載された外部撮影装置２が、第２鳥瞰画像と併せて悪天候を示す提示用情報を送信したものとする。このとき、メッセージ画像生成部３９は、図２０（ｂ）に示すような悪天候への注意を促すメッセージ画像Ｉを生成する。表示位置判定部４０は、図２０（ａ）に示す如く、地図画像Ｆにおいて走行経路Ｅ上の自車両１よりも６００メートル先の位置が、メッセージ画像Ｉの表示位置であると判定する。画像出力部３６は、メッセージ画像Ｉが表示位置判定部４０で判定した表示位置に表示されるように表示装置１４に出力する。

図２１（ａ）は、表示装置１４がＦＰＤ及びＨＵＤで構成されており、ＦＰＤに表示された地図画像とは別にメッセージ画像をＨＵＤが投影した状態を示している。

例えば、自車両１の走行経路において自車両１よりも２００メートル先行している他車両に搭載された外部撮影装置２が、第２鳥瞰画像と併せて交通渋滞を示す提示用情報を送信したものとする。このとき、メッセージ画像生成部３９は、図２１（ｂ）に示すような交通渋滞への注意を促すメッセージ画像Ｊを生成する。表示位置判定部４０は、地図情報、外部撮影装置２の位置を示す情報及び自車両１の位置を示す情報などを用いて、図２１（ａ）に示す如く、自車両１のフロントガラスにおけるＨＵＤの表示領域のうち、運転席から見て２００メートル先の地点と重なる位置がメッセージ画像Ｊの表示位置であると判定する。例えば、走行経路が緩やかな左カーブである場合、フロントガラスのうちの運転席から見て左上の位置がメッセージ画像Ｊの表示位置であると判定する。画像出力部３６は、メッセージ画像Ｊが表示位置判定部４０で判定した表示位置に投影されるように表示装置１４に出力する。

なお、メッセージ画像生成部３９は、地図情報、移動体情報及び合成用情報などを用いて、提示用情報を送信した外部撮影装置２の位置に自車両１が到達するまでの到達時間を算出し、この到達時間を含むメッセージ画像を生成するものであっても良い。この場合のメッセージ画像Ｋの例を図２２（ｂ）に示し、かかるメッセージ画像ＫをＨＵＤに投影させた状態の例を図２２（ａ）に示す。

また、メッセージ画像生成部３９は、地図情報、移動体情報及び合成用情報などを用いて、提示用情報を送信した外部撮影装置２の位置と自車両１の位置との間の経路距離を算出し、この経路距離を含むメッセージ画像を生成するものであっても良い。この場合のメッセージ画像Ｌの例を図２３（ｂ）に示し、かかるメッセージ画像ＬをＨＵＤに投影させた状態の例を図２３（ａ）に示す。

また、表示装置１４がＨＵＤで構成されており、画像出力部３６は、図２０（ａ）に示す如く地図画像に第１鳥瞰画像、第２鳥瞰画像及びメッセージ画像を重畳した表示用画像を自車両１のフロントガラスに投影させるものであっても良い。

また、提示用情報は、悪天候を示す情報、交通渋滞を示す情報及び停車情報に限定されるものではない。車両の運転者に提示するのが好ましい情報であれば、如何なる情報を提示用情報として送信するものであっても良い。また、図２０〜図２３に示すメッセージ画像は一例であり、表示装置１４のデザイン及び要求仕様などに応じて、如何なる文字、形状、大きさ、色、輝度、スクロール及び点滅状態などのメッセージ画像を表示するものであっても良い。

以上のように、実施の形態３の画像生成装置１３は、車車間通信により他車両（第２移動体）から受信した提示用情報を用いて、提示用情報の内容を示すメッセージ画像を生成するメッセージ画像生成部３９と、外部撮影装置２の位置に応じて、表示装置１４の表示領域におけるメッセージ画像の表示位置を判定する表示位置判定部４０とを備える。画像出力部３６は、メッセージ画像を表示位置判定部４０で判定した表示位置に表示するように表示装置１４に出力する。車車間通信で受信した情報の内容を表示させることで、第１カメラ１１の撮影範囲外にあり、かつ、自車両１の運転者が視認できない場所で発生した事象に対する注意を運転者に促すことができる。特に、提示用情報を第２鳥瞰画像と併せて送信するとともに、メッセージ画像を第２鳥瞰画像と併せて提示することで、自車両１の運転者に注意を促した事象が発生している場所の情報をより正確に伝えることができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 自車両、２ 外部撮影装置、１１ 第１カメラ、１２ 受信部、１３ 画像生成装置、１４ 表示装置、１５ ナビゲーション装置、１６ 地図情報記憶部、２１ 第２カメラ、２２ 第２鳥瞰画像生成部、２３ 情報付加部、２４ 送信部、３１ 第１鳥瞰画像生成部、３２ 移動体情報生成部、３３ 第２鳥瞰画像復号部、３４ 合成用情報復号部、３５ 表示用画像生成部、３６ 画像出力部、３７ 第２鳥瞰画像生成部、３８ 提示用情報復号部、３９ メッセージ画像生成部、４０ 表示位置判定部、４１ 記憶装置、４２ 処理回路、５１ 領域判定部、５２ 差分算出部、５３ 鳥瞰画像合成部、５４ 軌跡画像生成部、５５ 軌跡画像重畳部、６１ 地図画像生成部、６２ 鳥瞰画像重畳部、６３ 鳥瞰画像透過部。

Claims (12)

1. 第１移動体に搭載された第１カメラを用いて撮影した画像から第１鳥瞰画像を生成する第１鳥瞰画像生成部と、
   前記第１鳥瞰画像と、前記第１移動体とは離れた別体として配置された外部撮影装置が第２カメラを用いて撮影した画像から生成された第２鳥瞰画像とを含む表示用画像を生成する表示用画像生成部と、
   前記表示用画像を前記第１移動体に設けられた表示装置に出力する画像出力部と、
   を備える移動体用画像生成装置。
2. 前記表示用画像生成部は、前記第１鳥瞰画像に前記第２鳥瞰画像を合成した前記表示用画像を生成することを特徴とする請求項１記載の移動体用画像生成装置。
3. 前記表示用画像生成部は、前記第１カメラの撮影領域のうちの前記第２カメラの撮影領域を除く領域は前記第１鳥瞰画像を示し、かつ、前記第２カメラの撮影領域のうちの前記第１カメラの撮影領域を除く領域は前記第２鳥瞰画像を示す前記表示用画像を生成することを特徴とする請求項２記載の移動体用画像生成装置。
4. 前記表示用画像生成部は、前記第１カメラの撮影領域と前記第２カメラの撮影領域とが重なる領域は、前記第１鳥瞰画像と前記第２鳥瞰画像との差分値が閾値以上である領域は前記第２鳥瞰画像を示し、かつ、前記差分値が前記閾値未満である領域は前記第１鳥瞰画像を示す前記表示用画像を生成することを特徴とする請求項３記載の移動体用画像生成装置。
5. 前記表示用画像生成部は、前記第１移動体の予測走行軌跡を示す軌跡画像を生成し、前記第１鳥瞰画像及び前記第２鳥瞰画像に前記軌跡画像を重畳した前記表示用画像を生成することを特徴とする請求項２から請求項４のうちのいずれか１項記載の移動体用画像生成装置。
6. 前記表示用画像生成部は、前記第１移動体の走行経路を含む地図画像を生成し、該地図画像の該走行経路を含む領域に前記第１鳥瞰画像及び前記第２鳥瞰画像を重畳した前記表示用画像を生成することを特徴とする請求項１記載の移動体用画像生成装置。
7. 前記表示用画像生成部は、前記第１移動体との距離が基準距離を超える位置にある前記外部撮影装置で撮影した画像から生成された前記第２鳥瞰画像を半透明にした前記表示用画像を生成することを特徴とする請求項６記載の移動体用画像生成装置。
8. 前記表示用画像生成部は、前記第１移動体から離れた位置にある前記外部撮影装置で撮影した画像から生成された前記第２鳥瞰画像ほど透明度を高くした前記表示用画像を生成することを特徴とする請求項６記載の移動体用画像生成装置。
9. 前記外部撮影装置は、街頭に設置された監視カメラ装置を含むことを特徴とする請求項１から請求項８のうちのいずれか１項記載の移動体用画像生成装置。
10. 前記外部撮影装置は、前記第１移動体と異なる第２移動体に搭載された撮影装置を含むことを特徴とする請求項１から請求項８のうちのいずれか１項記載の移動体用画像生成装置。
11. 車車間通信により前記第２移動体から受信した提示用情報を用いて、該提示用情報の内容を示すメッセージ画像を生成するメッセージ画像生成部と、
    前記外部撮影装置の位置に応じて、前記表示装置の表示領域における前記メッセージ画像の表示位置を判定する表示位置判定部と、を備え、
    前記画像出力部は、前記メッセージ画像を前記表示位置判定部で判定した表示位置に表示するように前記表示装置に出力する
    ことを特徴とする請求項１０記載の移動体用画像生成装置。
12. 請求項１から請求項１１のうちのいずれか１項記載の移動体用画像生成装置を備えるナビゲーション装置。

Images