JP2007028363A - トップビュー画像生成装置及びトップビュー画像表示方法 - Google Patents

Abstract

【課題】 自車両に接近し、トップビュー画像の範囲外に存在する障害物をドライバーに提示することが可能な「トップビュー画像生成装置及びトップビュー表示方法」を提供する。
【解決手段】 レーダー部３によって検出された障害物が自車両に接近しているか否か、画像撮影部２により撮影された画像から生成されるトップビュー画像の表示範囲外に存在するか否かを障害物判定部７により判定し、障害物が自車両に接近してトップビュー画像の表示範囲外に存在すると判断した場合に、その障害物を提示制御部８により提示するようにしているので、自車両に接近し、トップビュー画像の範囲外に存在する障害物がドライバーに提示され、ドライバーは、トップビュー画像を見ていてもそのような障害物を把握することができ、自車両と障害物とが衝突して事故を起こしてしまう危険性を小さくすることができる。
【選択図】 図１

Description

本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置及びトップビュー画像表示方法に関し、特に、自車両及び自車両の周辺を表示するトップビュー画像生成装置及びトップビュー画像表示方法に関する。

従来、自車両に複数台のカメラを設置し、複数台のカメラにより自車両の周囲の画像を撮影して、撮影した画像を自車両内に設置したディスプレイ等の表示装置に表示する技術が提案されている。自車両のドライバーは、表示装置に表示された画像を確認することで、自車両と障害物との距離を把握し、自車両と障害物との衝突や追突等の交通事故を防ぐように運転を行う。

また、自車両に複数台のカメラを設置し、複数台のカメラにより撮影された画像をもとに、自車両の上方の仮想視点から見たトップビュー画像を生成し、このトップビュー画像をディスプレイ等の表示装置に表示することで、自車両の周辺を監視する技術が知られている（例えば特許文献１など）。
特許第３３００３３４号公報

しかしながら、特許文献１に記載の技術によれば、複数台のカメラにより撮影された画像を自車両の上方の仮想視点から見たトップビュー画像に変換するので、自車両から離れるほど大きな歪みが生じてしまう。そのため、歪みの小さい自車両の周囲数メートル（例えば、２メートル）程度の範囲をトップビュー画像として表示するようにしている。そうすると、トップビュー画像の範囲外から接近する障害物がトップビュー画像に表示されないため、ドライバーは、トップビュー画像を見ているだけではトップビュー画像の範囲外から接近する障害物を確認することができず、自車両と障害物とが衝突して事故を起こしてしまう危険性が大きくなってしまうという問題があった。

また、自車両に複数台のカメラを設置し、車両の真上に視点を置いて見下ろすような合成画像を生成すると共に、測距センサによりセンサ位置から障害物までの距離を求め、合成画像中の障害物を特定して表示する技術が知られている（例えば、特許文献２など）。
特開２００１−３１５６０３号公報

しかしながら、特許文献２に記載の技術によれば、トップビュー画像の範囲内の障害物を表示することは出来るが、トップビュー画像の範囲外の障害物がトップビュー画像に表示されないため、ドライバーは、トップビュー画像を見ているだけではトップビュー画像の範囲外から接近する障害物を確認することができず、自車両と障害物とが衝突して事故を起こしてしまう危険性が大きくなってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、トップビュー画像の範囲外に存在し、自車両に接近する障害物をドライバーに提示できるようにすることを目的とする。

上記した課題を解決するために、本発明では、画像撮影部により撮影された画像から生成されるトップビュー画像の範囲外に存在し、自車両に接近する障害物をレーダー等によって検出して、ドライバーに提示するようにしている。例えば、トップビュー画像の周辺の障害物が存在する方向に障害物画像を表示するようにしている。

上記のように構成した本発明によれば、トップビュー画像の範囲外に存在し、自車両に接近する障害物がドライバーに提示されるので、ドライバーは、トップビュー画像を見ていてもトップビュー画像の範囲外に存在し、自車両に接近する障害物を把握することができる。従って、自車両と障害物とが衝突して事故を起こしてしまう危険性を小さくすることができる。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態によるトップビュー画像生成装置１の構成例を示すブロック図である。図１において、２は画像撮影部であり、自車両の周辺を撮影するための第１のカメラ２ａ、第２のカメラ２ｂ、第３のカメラ２ｃ、第４のカメラ２ｄにより構成されている。また、３はレーダー部（特許請求の範囲の障害物検出部に該当する）であり、自車両の周辺の障害物を検出する。

図２は、第１の実施形態のトップビュー画像生成装置１による第１のカメラ２ａ〜第４のカメラ２ｄ及びレーダー部３の配置の例を示す図である。図２において、第１のカメラ２ａは自車両１１の前方に配置され、前方Ａの範囲の画像を撮影する。第２のカメラ２ｂは自車両１１の左側方に配置され、左方Ｂの範囲の画像を撮影する。第３のカメラ２ｃは自車両１１の後方に配置され、後方Ｃの範囲の画像を撮影する。第４のカメラ２ｄは自車両１１の右側方に配置され、右方Ｄの範囲の画像を撮影する。

レーダー部３は、自車両１１の上部中央に設置されており、３６０°の指向性を持つミリ波レーダーなどにより構成されている。ここで、ある一方向に指向性を持つレーダー部３を複数使用して３６０°の指向性を実現しても良い。また、レーダー部３は、自車両１１の周囲にミリ波を照射し、その反射波によって障害物を検出する。

４は画像入力部であり、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影された画像データを入力する。また、５はトップビュー画像生成部であり、画像処理部５ａ、マッピングテーブル５ｂ、画像記憶部５ｃにより構成されている。画像処理部５ａでは、第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像データを画像入力部４より入力し、マッピングテーブル５ｂに記憶されている変換情報に従って、自車両１１の周辺を上方から見たときの背景画像を生成する。この状態では、自車両１１に設置された第１のカメラ２ａ〜第４のカメラ２ｄにて撮影された画像に基づいて背景画像を生成しているので、背景画像に表示されているのは、実際の背景及び背景に含まれる障害物のみとなり、自車両１１の画像は表示されない。また、障害物は、背景画像の一部として表示されているので、障害物として認識されていない。

また、画像処理部５ａは、自車両１１を上方から見た画像を示す自車両画像データを画像記憶部５ｃから読み出し、背景画像の所定の位置（例えば背景画像における自車両１１が存在する位置）に合成してトップビュー画像を生成する。

マッピングテーブル５ｂは、第１のカメラ２ａ〜第４のカメラ２ｄにより撮影される画像の画素データと自車両１１の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載したテーブルであり、撮影された画像のある画素が背景画像のどの画素に対応するかを示す変換情報を記載している。画像記憶部５ｃは、自車両１１を上方から見た画像を示す自車両画像データを記憶しており、その自車両画像データが必要に応じて画像処理部５ａにより読み出される。

６は障害物情報生成部であり、レーダー部３によって検出された障害物について、自車両１１から障害物までの距離、自車両１１から障害物の方向、自車両１１から障害物までの距離の変化による障害物の相対速度を示す障害物情報を生成する。ここで、自車両１１から障害物までの距離は、レーダー部３が照射したミリ波が障害物に反射して返ってくるまでの時間とミリ波の速度との積により求める。また、自車両１１から障害物の方向は、ミリ波が返ってくる方向により求める。

また、障害物情報生成部６は、レーダー部３によって検出される障害物の範囲に基づいて、障害物の種類を判定する（例えば、歩行者や車両、その他の障害物など）。例えば、障害物の範囲が広い場合（又は障害物の画像が大きい場合）には、障害物は車両などであり、障害物の範囲が狭い場合（又は障害物の画像が小さい場合）には、障害物は歩行者であると判断する。この判定の際に、画像入力部４から入力した画像データを補助的に使用する。具体的には、障害物情報生成部６は、レーダー部３によって検出された障害物が存在する位置の画像を画像認識して障害物の種類を判定する。

７は障害物判定部であり、障害物情報生成部６から障害物情報を入力する。そして、自車両１１に接近している障害物を特定する。具体的には、障害物判定部７は、障害物情報により得られる障害物の相対速度により障害物が自車両１１に接近しているか否かを判定する。また、障害物判定部７は、自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在するか否かを判定する。ここで、障害物がトップビュー画像の表示範囲外に存在するか否かは、自車両１１から障害物までの距離が所定の値以上であるか否かにより判定する。

８は提示制御部であり、トップビュー画像生成部５からトップビュー画像データを入力すると共に、障害物判定部７から障害物情報を入力する。自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在すると障害物判定部７が判断したときには、提示制御部８は、トップビュー画像生成部５により生成されたトップビュー画像の周辺部分に、障害物を示す画像データ（例えばアイコンなどのデータ）を合成し、後述する表示部９に出力する。ここで、提示制御部８は、障害物情報により得られる自車両１１から障害物の方向に基づいて、トップビュー画像の周辺の障害物が存在する方向にアイコンを合成する。また、提示制御部８は、障害物情報生成部６によって特定された障害物の種類（例えば歩行者や車両など）に応じて、障害物を示す画像の種類を異ならせる。表示部９は、提示制御部８にて障害物を示す画像データを合成されたトップビュー画像データを入力し、トップビュー画像を表示する。

例えば、図３に示すように、自車両１１が前方に走行している状態で、自車両１１の後方に駐車車両２０が４台存在しているものとする。また、自車両１１の左前方に自車両１１に接近する歩行者２１が存在し、自車両１１の右方に自車両１１に接近する他車両２２が存在しているものとする。また、トップビュー画像生成部５によって生成されるトップビュー画像の表示範囲には、４台の駐車車両２０、歩行者２１、他車両２２のうち、自車両１１の右後方に存在する駐車車両２０の一部のみが存在しているものとする。この場合にトップビュー画像生成部５は、図４に示すように、右下方に駐車車両２０の一部が表示されたトップビュー画像（アイコン２１´，２２´が存在しないもの）を生成する。

一方、レーダー部３は、４台の駐車車両２０、歩行者２１、他車両２２を障害物として抽出する。障害物情報生成部６は、レーダー部３によって検出されたそれぞれの障害物について、自車両１１から障害物までの距離、自車両１１から障害物の方向、自車両１１から障害物までの距離の変化による障害物の相対速度を示す障害物情報を生成する。また、障害物情報生成部６は、レーダー部３によって検出された障害物の種別を判定する。

障害物判定部７は、障害物情報生成部６から入力した障害物情報（それぞれの障害物の相対速度）に基づいて、障害物情報生成部６にて特定された障害物の中から、自車両１１に接近している障害物を特定する（ここでは、歩行者２１及び他車両２２が該当する）。また、障害物判定部７は、障害物情報生成部６から入力した障害物情報（自車両１１からそれぞれの障害物までの距離）に基づいて、自車両１１に接近している障害物の中からトップビュー画像の表示範囲外に存在する障害物を抽出する（ここでは、歩行者２１及び他車両２２が該当する）。

提示制御部８は、トップビュー画像生成部５にて生成されたトップビュー画像の周辺部分に、トップビュー画像の範囲外にあって自車両１１に接近している障害物を示すアイコンを合成し、表示部９に表示する。ここで、障害物情報生成部６から入力した障害物情報（自車両１１からそれぞれの障害物の方位）に基づいて、自車両１１の左前方に存在する歩行者２１を示すアイコン２１´はトップビュー画像の左上方に表示され、自車両１１の右方に存在する他車両２２を示すアイコン２２´は、トップビュー画像の右方に表示される。

次に、第１の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法について説明する。図５は、第１の実施形態によるトップビュー画像生成装置１の動作及びトップビュー画像表示方法を示すフローチャートである。図５において、自車両１１に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、自車両１１の周辺を常に撮影している。同様に、自車両１１に設置されたレーダー部３は、自車両１１の周辺の障害物を常に検知している。

ここで、トップビュー画像生成部５は、複数のカメラ２ａ〜２ｄにより撮影された自車両１１の周辺の画像データを画像入力部４から入力し、この画像データに基づいて自車両１１を上方の仮想視点から見たトップビュー画像を生成する（ステップＳ１）。そして、自車両１１の周辺の障害物をレーダー部３により検出し、レーダー部３により検出された障害物の自車両１１からの方位、距離及び相対速度により障害物情報生成部６にて障害物情報を生成する（ステップＳ２）。

次に、障害物情報生成部６にて生成された障害物情報に基づいて、自車両１１に接近している障害物が存在するか否かを障害物判定部７にて調べる（ステップＳ３）。自車両１１に接近している障害物が存在しないと障害物判定部７にて判断した場合には（ステップＳ３にてＮＯ）、ステップＳ４にジャンプする。一方、自車両１１に接近している障害物が存在すると障害物判定部７にて判断した場合には（ステップＳ３にてＹＥＳ）、自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在するか否かを障害物判定部７にて判定する（ステップＳ５）。自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在しない（換言すると、自車両１１に接近している障害物がトップビュー画像の表示範囲内に存在する）と障害物判定部７にて判断した場合には（ステップＳ５にてＮＯ）、ステップＳ４にジャンプする。

ステップＳ４では、提示制御部８は、ステップＳ１にてトップビュー画像生成部５により生成されたトップビュー画像をそのまま表示部９に表示させる。一方、自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在すると障害物判定部７にて判断した場合には（ステップＳ５にてＹＥＳ）、提示制御部８は、その障害物を示すアイコン等の障害物画像を生成し、トップビュー画像生成部５により生成されたトップビュー画像の周辺の障害物が存在する方向に障害物画像を合成して生成されたトップビュー画像を表示部９に表示させる（ステップＳ６）。そして、トップビュー画像の表示が解除されたか否かを提示制御部８にて判定する（ステップＳ７）。トップビュー画像の表示が解除されたと提示制御部８にて判断した場合には（ステップＳ７にてＹＥＳ）、処理を終了する。一方、トップビュー画像の表示が解除されないと提示制御部８にて判断した場合には（ステップＳ７にてＮＯ）、ステップＳ１の処理に戻る。

以上詳しく説明したように、第１の実施形態では、自車両１１及び自車両１１の周辺を上方の仮想視点から見たトップビュー画像を生成する際に、トップビュー画像の表示範囲外に存在し、自車両１１に接近する障害物を特定し、そのような障害物をアイコンによりトップビュー画像に合成して提示するようにしている。これにより、トップビュー画像の表示範囲外に存在し、自車両１１に接近する障害物がドライバーに提示されるので、ドライバーは、トップビュー画像を見ていてもトップビュー画像の表示範囲外にあって自車両１１に接近する障害物を把握することができる。従って、自車両１１と障害物とが衝突して事故を起こしてしまう危険性を小さくすることができる。

なお、第１の実施形態において、自車両１１から障害物までの距離に応じて、障害物画像の表示形式を異ならせるようにしても良い。例えば、自車両１１と障害物との距離に応じて障害物画像の大きさを変える。具体的には、アイコンの周辺に距離を表す円形の模様を表示し、歩行者２１が自車両１１の近くに存在する場合には、図６（ａ）に示すように円形の模様を大きく表示する。一方、歩行者２１が自車両１１の遠くに存在する場合には、図６（ｂ）に示すように円形の模様を小さく表示する。

また、自車両１１から障害物までの距離に応じて、障害物画像の表示色を異ならせるようにしても良い。具体的には、障害物が自車両１１の近くに存在する場合（例えば、障害物と自車両１１との距離が所定のしきい値以下のとき）には、障害物画像の表示色を赤色とする。一方、障害物が自車両１１の遠くに存在する場合（例えば、障害物と自車両１１との距離が所定のしきい値より大きいとき）には、障害物画像の表示色を黄色とする。

（第２の実施形態）
以下、本発明の第２の実施形態を図面に基づいて説明する。図７は、第２の実施形態によるトップビュー画像生成装置１２の構成例を示すブロック図である。なお、図１に示す第１の実施形態によるトップビュー画像生成装置１と同一の構成要素については、同一の符号を付し説明を一部省略する。

図７において、１３は自車両情報取得部であり、図示しないナビゲーション装置などにより、自車両１１の現在位置を示す自車両位置情報を取得し、後述する提示制御部１５に出力する。ここで、ナビゲーション装置は、車両の現在位置を測定する図示しない位置検出部を備えている。位置検出部は、自立航法センサ、ＧＰＳ（Global Positioning System）受信機、位置計算用ＣＰＵ等で構成されている。自立航法センサは、所定走行距離毎に１個のパルスを出力して自車両１１の移動距離を検出する車速センサ（距離センサ）と、自車両１１の回転角度（移動方位）を検出する振動ジャイロ等の角速度センサ（相対方位センサ）とを含む。自立航法センサは、これらの車速センサおよび角速度センサによって自車両１１の相対位置および方位を検出する。

位置計算用ＣＰＵは、自立航法センサから出力される自車両１１の相対的な位置及び方位のデータに基づいて、絶対的な自車両１１の位置（推定車両位置）、方位および走行速度を計算する。また、ＧＰＳ受信機は、複数のＧＰＳ衛星から送られてくる電波をＧＰＳアンテナで受信して、３次元測位処理あるいは２次元測位処理を行って車両の絶対位置、方位および走行速度を計算する（車両方位は、現時点における自車両１１の位置と１サンプリング時間ΔＴ前の自車両１１の位置とに基づいて計算する）。

１４は地図データ取得部であり、図示しないナビゲーション装置などにより、自車両１１の周辺の地図データを取得する。ここで、ナビゲーション装置では、地図表示などの通常使用時に、図示しない位置検出部により自車両１１の現在位置を検出し、自車両１１の現在位置を含む所定範囲の地図データを図示しない地図データ記憶部から読み出して図示しない地図データメモリに一時的に格納する。そして、地図データ取得部１４は、地図データメモリから自車両１１の周辺の地図データを取得する。

１５は提示制御部であり、トップビュー画像生成部５からトップビュー画像データを入力すると共に、障害物判定部７から障害物情報を入力する。また、提示制御部１５は、自車両情報取得部１３から自車両１１の現在位置を示す自車両位置情報を取得し、地図データ取得部１４から自車両１１の周辺の地図データを取得する。自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在すると障害物判定部７が判断したときには、提示制御部１５は、図８に示すような２画面に分割した画像を表示部９に表示する。

図８において、左画面のトップビュー画像２４は、第１の実施形態と同様に生成する。一方、右画面の地図画像２３は、以下のように生成する。すなわち、提示制御部１５は、地図データ取得部１４から取得した地図データに基づいて、地図画像データを生成する。また、提示制御部１５は、自車両情報取得部１３から取得した自車両位置情報に基づいて、自車両１１の地図上での位置を特定し、その位置に自車両１１を示す自車両画像１１´（例えばアイコンなど）を合成する。更に、提示制御部１５は、障害物情報により、自車両１１から障害物までの距離、自車両１１から障害物の方向を取得する。そして、これらの情報と自車両位置情報とに基づいて障害物の位置を特定し、その位置に障害物を示す画像２１´´，２２´´を合成する。なお、提示制御部１５は、障害物情報生成部６によって特定された障害物の種類（例えば歩行者や車両など）に応じて、障害物を示す画像の種類を異ならせる。

次に、第２の実施形態によるトップビュー画像生成装置１２の動作及びトップビュー画像表示方法について説明する。図９は、第２の実施形態によるトップビュー画像生成装置１２の動作及びトップビュー画像表示方法を示すフローチャートである。図９において、自車両１１に設置された第１のカメラ２ａ〜第４のカメラ２ｄは、自車両１１の周辺を常に撮影している。同様に、自車両１１に設置されたレーダー部３は、自車両１１の周辺の障害物を常に検知している。

ここで、トップビュー画像生成部５は、複数のカメラ２ａ〜２ｄにより撮影された自車両１１の周辺の画像データを画像入力部４から入力し、この画像データに基づいて自車両１１を上方の仮想視点から見たトップビュー画像を生成する（ステップＳ１１）。そして、自車両１１の周辺の障害物をレーダー部３により検出し、レーダー部３により検出された障害物の自車両１１からの方位、距離及び相対速度を検出し、障害物情報を障害物情報生成部６にて生成する（ステップＳ１２）。また、自車両１１の現在位置を示す自車両位置情報を自車両情報取得部１３により取得する（ステップＳ１３）。

次に、障害物情報生成部６にて生成された障害物情報に基づいて、自車両１１に接近している障害物が存在するか否かを障害物判定部７にて調べる（ステップＳ１４）。自車両１１に接近している障害物が存在しないと障害物判定部７にて判断した場合には（ステップＳ１４にてＮＯ）、ステップＳ１５にジャンプする。一方、自車両１１に接近している障害物が存在すると障害物判定部７にて判断した場合には（ステップＳ１４にてＹＥＳ）、自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在するか否かを障害物判定部７にて判定する（ステップＳ１６）。自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在しない（換言すると、自車両１１に接近している障害物がトップビュー画像の表示範囲内に存在する）と障害物判定部７にて判断した場合には（ステップＳ１６にてＮＯ）、ステップＳ１５にジャンプする。

ステップＳ１５では、提示制御部１５は、ステップＳ１１にてトップビュー画像生成部５により生成されたトップビュー画像をそのまま表示部９に表示させる。一方、自車両１１に接近している障害物がトップビュー画像の表示範囲外に存在すると障害物判定部７にて判断した場合には（ステップＳ１６にてＹＥＳ）、提示制御部１５は、その障害物を示す障害物画像を生成し、トップビュー画像生成部５により生成されたトップビュー画像の周辺の障害物が存在する方向に障害物画像を合成する。また、提示制御部１５は、地図データ取得部１４により取得された自車両１１の周辺の地図画像に障害物画像を合成する。

そして、提示制御部１５は、障害物画像を合成したトップビュー画像２４と障害物画像を合成した地図画像２３とを表示部９に２画面表示する（ステップＳ１７）。そして、画像の表示が解除されたか否かを提示制御部１５にて判定する（ステップＳ１８）。画像の表示が解除されたと提示制御部１５にて判断した場合には（ステップＳ１８にてＹＥＳ）、処理を終了する。一方、画像の表示が解除されないと提示制御部１５にて判断した場合には（ステップＳ１８にてＮＯ）、ステップＳ１１の処理に戻る。

以上詳しく説明したように、第２の実施形態では、自車両１１及び自車両１１の周辺を上方の仮想視点から見たトップビュー画像２４を生成する際に、トップビュー画像２４の表示範囲外に存在し、自車両１１に接近する障害物を特定し、そのような障害物をアイコンによりトップビュー画像２４に合成して提示するようにしている。また、このようなトップビュー画像２４と共に、トップビュー画像２４の表示範囲外に存在し、自車両１１に接近する障害物を地図画像２３上に表示するようにしている。これにより、第１の実施形態による効果に加えて、自車両１１とトップビュー画像２４の表示範囲外に存在して自車両１１に接近する障害物との位置関係がドライバーに提示されるので、ドライバーは、トップビュー画像２４の近傍に表示される地図画像２３を見ることで、自車両１１とトップビュー画像２４の表示範囲外に存在して自車両１１に接近する障害物との実際の位置関係を把握することができる。従って、自車両１１と障害物とが衝突して事故を起こしてしまう危険性を小さくすることができる。

なお、第２の実施形態において、自車両１１から障害物までの距離に応じて、トップビュー画像２４や地図画像２３における障害物画像の表示形式を異ならせるようにしても良い。例えば、自車両１１と障害物との距離に応じて障害物画像２１´，２２´，２１´´，２２´´の大きさを変える。また、自車両１１から障害物までの距離に応じて、トップビュー画像２４や地図画像２３における障害物画像２１´，２２´，２１´´，２２´´の表示色を異ならせるようにしても良い。具体的には、障害物が自車両１１の近くに存在する場合には、障害物画像の表示色を赤色とする。一方、障害物が自車両１１の遠くに存在する場合には、障害物画像の表示色を黄色とする。

また、第２の実施形態において、右画面の地図画像２３については、表示／非表示ボタンを画面上等に提示し、ドライバーが表示／非表示ボタンを操作することにより、地図画像２３の表示／非表示を切り換えられるようにしても良い。

なお、第１の実施形態及び第２の実施形態では、レーダー部３を用いて障害物を検出しているが、本発明はこれに限定されない。例えば、ステレオカメラやその他のセンサを用いた従来の技術により障害物を検出するようにしても良い。

また、第１の実施形態及び第２の実施形態では、自車両１１に接近していてトップビュー画像の表示範囲外にある全ての障害物のアイコンをトップビュー画像に合成するようにしているが、これに限定されない。例えば、自車両１１に接近している障害物が複数存在する場合に、所定の条件に従って障害物をいくつか抽出してアイコンを合成するようにしても良い。

例えば、障害物判定部８は、自車両１１から障害物までの距離に応じて障害物をソートし、距離が短いものから順番にいくつか（例えば２つ）を抽出する。また、自車両１１と障害物とが衝突すると仮定した場合に、障害物判定部８は、自車両１１から障害物までの距離と自車両１１に接近している障害物の相対速度とにより、衝突までの時間を求め、その時間が短いものから順番にいくつかを抽出するようにしても良い。

また、別の例として、自車両１１と障害物との衝突可能性を求め、それが高いものから順番にいくつかを抽出するようにしても良い。ここで、衝突可能性は、自車両１１から障害物までの距離ｙ（ｍ）と、自車両１１に接近している障害物の相対速度ｖ（ｋｍ／ｈ）と、自車両１１のドライバー及び障害物（又は障害物のドライバー）がお互いを回避する動作を行うまでの反応時間ｔ（ｓｅｃ）と、障害物の減速係数ａ（ｍ／ｓ^２）とに基づいて下記の式により衝突判定係数Ｆを演算し、衝突判定係数Ｆが大きいほど衝突可能性が高いと判定する。なお、障害物の減速係数ａは、障害物の種類によって決まる定数であり、例えば０．３Ｇ（Ｇは重力加速度であり、Ｇ＝９．８（ｍ/ｓ））とする。
Ｆ＝（１００ｖ^２／２５９２ａ）＋（１０／３６）ｖ・ｔ−（ｙ−（１／３６）ｖ）

このように、レーダー部３により検出された複数の障害物の中からいくつかを抽出するようにした場合には、自車両１１に接近している全ての障害物を提示する場合に比べて情報量が減り、ドライバーが混乱し難くなる。

また、第１の実施形態及び第２の実施形態では、自車両１１に接近している障害物をアイコン画像の表示によってドライバーに提示するようにしているが、これに限定されない。例えば、図示しないスピーカなどから出力される音声（例えば、警告音など）により提示するようにしても良い。また、このような場合において、自車両１１に複数のスピーカが搭載されているときに、障害物が存在する方向に設置されたスピーカから音声が出力されるようにしても良い。また、このような場合において、障害物の画像の表示と音声の出力とを併用するようにしても良い。

第１の実施形態及び第２の実施形態では、自車両１１と障害物との距離に応じてアイコンの周りの円形の模様の大きさを変えたりアイコンの表示色を変えたりしているが、これに限定されない。例えば、自車両１１と障害物とが衝突するまでの時間や、衝突可能性に応じてアイコンの周りの円形の模様の大きさを変えたりアイコンの表示色を変えたりしても良い。

また、第１の実施形態及び第２の実施形態では、トップビュー画像を生成するために４台のカメラ２ａ〜２ｄを用いているが、これに限定されない。例えば、自車両１１の左右を撮影する２台のカメラを使用しても良いし、それ以上の台数のカメラを使用しても良い。

また、第２の実施形態では、自車両１１に接近している障害物を提示する地図画像２３の縮尺を変更していないが、これに限定されない。例えば、自車両１１に接近している障害物が複数存在する場合に、最も遠くに存在する障害物が地図画像内に納まるように地図画像の縮尺を変更するようにしても良い。また、このような場合において、前述した所定の条件に従って障害物をいくつか抽出して、抽出した中で最も遠くに存在する障害物が地図画像に納まるように地図画像の縮尺を変更するようにしても良い。

その他、前記第１の実施形態及び第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、自車両の上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成装置に有用である。

第１の実施形態によるトップビュー画像生成装置の構成例を示すブロック図である。 第１の実施形態のトップビュー画像生成装置によるカメラ及びレーダー部の配置の例を示す図である。 第１の実施形態のトップビュー画像生成装置を搭載した車両の周辺の状態を示す図である。 第１の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。 第１の実施形態によるトップビュー画像生成装置の動作及びトップビュー画像表示方法を示すフローチャートである。 第１の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の変形例を示す図である。 第２の実施形態によるトップビュー画像生成装置の構成例を示すブロック図である。 第２の実施形態のトップビュー画像生成装置により生成されるトップビュー画像の例を示す図である。 第２の実施形態によるトップビュー画像生成装置の動作及びトップビュー画像表示方法を示すフローチャートである。

符号の説明

１，１２ トップビュー画像生成装置
２ 画像撮像部
２ａ〜２ｄ カメラ
３ レーダー部
４ 画像入力部
５ トップビュー画像生成部
５ａ 画像処理部
５ｂ 画像記憶部
５ｃ マッピングテーブル
６ 障害物情報生成部
７ 障害物判定部
８，１５ 提示制御部
９ 表示部
１１ 自車両
１３ 自車両情報取得部
１４ 地図データ取得部

Claims (8)

1. 自車両の周辺の画像を撮影する画像撮影部と、
   前記画像撮影部により撮影された画像を入力し、この画像に基づいて前記自車両を上方の仮想視点から見たトップビュー画像を生成するトップビュー画像生成部と、
   前記自車両の周辺の障害物を検出する障害物検出部と、
   前記障害物検出部により検出された障害物の前記自車両からの距離及び相対速度を検出して障害物情報を生成する障害物情報生成部と、
   前記障害物情報に基づいて、前記障害物が前記自車両に接近しているか否かを判定すると共に、前記障害物が前記トップビュー画像の表示範囲外に存在するか否かを判定する障害物判定部と、
   前記障害物が前記自車両に接近していて、かつ、前記障害物が前記トップビュー画像の表示範囲外に存在すると前記障害物判定部により判断した場合に、前記障害物の存在を提示する提示制御部と、
   を備えたことを特徴とするトップビュー画像生成装置。
2. 前記障害物情報生成部は、前記障害物検出部により検出された障害物の前記自車両からの距離及び相対速度に加えて、前記障害物の前記自車両からの方位を検出して障害物情報を生成し、
   前記提示制御部は、前記障害物を示す障害物画像を生成し、前記障害物情報に含まれる方位情報に基づいて前記トップビュー画像の周辺の前記障害物が存在する方向に前記障害物画像を表示することを特徴とする請求項１に記載のトップビュー画像生成装置。
3. 前記障害物判定部は、前記自車両に接近する障害物が複数存在する場合に、複数の障害物の中から一部の障害物を抽出し、
   前記提示制御部は、前記障害物判定部により抽出された前記一部の障害物を提示することを特徴とする請求項１又は請求項２に記載のトップビュー画像生成装置。
4. 前記障害物判定部は、前記自車両に接近する複数の障害物の中から一部の障害物を抽出する場合に、前記障害物情報に含まれる距離情報に基づいて、前記自車両からの距離が近いものから順番に一部の障害物を抽出することを特徴とする請求項３に記載のトップビュー画像生成装置。
5. 前記障害物判定部は、前記自車両に接近する複数の障害物の中から一部の障害物を抽出する場合に、前記障害物情報に含まれる距離及び相対速度の情報に基づいて、前記複数の障害物が前記自車両に衝突する可能性を示す値を求め、この値が大きいものから順番に一部の障害物を抽出することを特徴とする請求項３に記載のトップビュー画像生成装置。
6. 前記提示制御部は、前記自車両と前記障害物との距離を示す情報を提示することを特徴とする請求項１乃至請求項５の何れか一項に記載のトップビュー画像生成装置。
7. 前記自車両の現在位置を示す自車両位置情報を取得する自車両情報取得部を備え、
   前記提示制御部は、前記障害物情報及び前記自車両位置情報に基づいて、前記自車両と前記障害物との位置関係を示す画像を生成し、前記トップビュー画像と共に表示することを特徴とする請求項２乃至請求項６の何れか一項に記載のトップビュー画像生成装置。
8. 画像撮影部により撮影された自車両の周辺の画像に基づいて、前記自車両を上方の仮想視点から見たトップビュー画像を生成する第１のステップと、
   前記自車両の周辺の障害物をレーダー部により検出し、前記自車両に対する前記障害物の距離及び相対速度を示す障害物情報を障害物情報生成部にて生成する第２のステップと、
   前記第２のステップにて生成された障害物情報に基づいて、前記自車両に接近している障害物があるか否かを前記障害物判定部により判定する第３のステップと、
   前記第３のステップにて、前記自車両に接近している障害物があると判断した場合に、前記自車両に接近している障害物が前記トップビュー画像の表示範囲外に存在するか否かを障害物判定部にて判定する第４のステップと、
   前記第４のステップにて、前記自車両に接近している障害物が前記トップビュー画像の表示範囲外に存在すると前記障害物判定部にて判断した場合に、前記障害物の存在を提示制御部により提示する第５のステップと、
   を備えたトップビュー画像表示方法。

Images