JP2007172501A

JP2007172501A - 車両運転支援装置

Info

Publication number: JP2007172501A
Application number: JP2005372345A
Authority: JP
Inventors: Shoichi Tsuboi; 正一坪井
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2007-07-05

Abstract

【課題】物体の位置を正確に確認することができる「車両運転支援装置」を提供すること。
【解決手段】車両運転支援装置１００は、車両周辺を撮影するカメラ１０ａ〜１０ｄと、撮影されたサイドビュー画像に基づいて路面投影を行ったトップビュー画像を生成するトップビュー画像変換部２０と、各カメラに対応するトップビュー画像の重複領域に含まれる立体物を検出する立体物検出部３０と、検出された立体物の路面上の水平位置を検出する立体物位置検出部３２と、検出された立体物の水平位置を用いて立体物の位置を修正する立体物修正部３４と、位置修正がなされた後の立体物が含まれるトップビュー画像を表示する表示処理部４２、表示装置４４とを備えている。
【選択図】図１

Description

本発明は、魚眼レンズが取り付けられたカメラを用いて車両周辺を撮影して画面に表示することにより車両の運転を支援する車両運転支援装置に関する。

従来から、カメラを用いて車両周辺を撮影して車内に設けられた表示装置に撮影画像を表示するようにした後方視界表示装置が知られている（例えば、特許文献１参照。）。この装置では、カメラを用いて撮影した車両周辺の画像を上空の仮想視点で撮影した画像に変換して表示を行っている。
特開２００３−１０２００１号公報（第３−５頁、図１−６）

ところで、上述した特許文献１に開示された装置では、車両の所定高さの位置（例えば地上１．６ｍ程度）に設置されたカメラを用いて斜め下方向に存在する被写体を撮影しているため、この撮影方向に沿って一直線上に存在する物体については、撮影によって得られた画像においては遠近感が反映されない。例えば、このような画像を上空の仮想視点で撮影した画像に変換する場合には、路面上に各物体が配置されているものとして投影変換を行うことになるため、路面よりも高い位置にある物体は、カメラとこの物体とを結ぶ直線を路面まで延長した位置にあるものとして描画されることになり、画面上の物体の位置が実際の位置よりも遠くにあるように表示が行われ、物体の位置を正確に確認することができないという問題があった。したがって、この表示を見ながら車両を運転すると、表示された物体に車両が接触するおそれがある。

本発明は、このような点に鑑みて創作されたものであり、その目的は、物体の位置を正確に確認することができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、自車両から路面を含む周辺を撮影するカメラと、カメラによって撮影された第１の画像に基づいて路面投影を行って路面に投影された第２の画像を生成する路面投影処理手段と、異なる撮影位置においてカメラによって撮影された複数の第１の画像のそれぞれに対応する複数の第２の画像に基づいて、第２の画像に含まれる立体物を検出する立体物検出手段と、複数の第２の画像に基づいて、立体物検出手段によって検出された立体物の路面上の水平位置を検出する立体物位置検出手段と、立体物位置検出手段によって検出された水平位置を用いて、第２の画像に含まれる立体物の位置を修正する立体物修正手段と、立体物修正手段によって位置修正がなされた後の立体物が含まれる第２の画像を表示する表示手段とを備えている。カメラの撮影範囲に立体物がある場合に、路面投影された画像において位置がずれる程度はその高さに比例すると考えられる。例えば、路面から垂直に立設した立体物があったときに、この立体物が路面と接する部分については撮影位置が異なっても投影後の画像において正しい位置に表示されるが、路面から離れるにしたがって投影後の画像における位置ずれが大きくなる。したがって、撮影位置が異なる複数の画像のそれぞれにおいて、同一の立体物は、路面上の位置を中心に互いに回転したように描画されることになる。換言すれば、異なる撮影位置で同一の立体物を撮影することによって得られた２つの路面投影後の画像があれば、その位置ずれの様子（回転の様子）から立体物の直下の路面位置を推測することができるため、物体の位置を正確に確認することが可能となる。

また、上述した立体物検出手段は、複数の第２の画像に含まれる同一特徴の物体を立体物として検出することが望ましい。これにより、立体物を容易に検出することができる。なお、路面上に描かれた道路標識等も同一特徴の物体として検出されることになるが、このようにして誤って立体物として検出された場合には、立体物位置検出手段によって検出された位置と路面投影された画像に含まれる道路標識等の位置とが一致するだけであり、不都合は生じない。

また、上述した立体物修正手段は、立体物位置検出手段によって検出された立体物の水平位置に所定の警告画像を描画することが望ましい。あるいは、上述した立体物修正手段は、立体物位置検出手段によって検出された立体物の水平位置まで立体物の画像を変形することが望ましい。これにより、表示画像に含まれる立体物の位置を容易に把握することが可能となる。

また、上述した複数の第１の画像は、設置位置が異なる複数のカメラによる撮影によって得られることが望ましい。これにより、１回の撮影によって立体物およびその位置を検出することができるとともに、車両が停車中であっても正確に立体物を検出することができる。

また、上述した複数の第１の画像は、１台のカメラによって撮影タイミングをずらした複数回の撮影によって得られることが望ましい。これにより、１台のカメラを用いて立体物およびその位置を検出することができ、構成の簡略化が可能となる。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０ａ〜１０ｄ、撮影画像格納部１２ａ〜１２ｄ、トップビュー画像変換部２０、トップビュー画像格納部２２、立体物検出部３０、立体物位置検出部３２、立体物修正部３４、画像合成部４０、表示処理部４２、表示装置４４を含んで構成されている。

カメラ１０ａ〜１０ｄは、自車両の周囲を広角レンズとしての魚眼レンズを通して撮影する。図２は、４台のカメラ１０ａ〜１０ｄの設置位置を示す図である。自車両である車両２００の右側のドアミラーにカメラ１０ａが設置されている。また、左側のドアミラーにカメラ１０ｂが設置されている。後部のトランクドアにカメラ１０ｃが設置されている。前部のバンパー近傍にカメラ１０ｄが設置されている。これらのカメラ１０ａ〜１０ｄのそれぞれは、１８０度の視野角を有する魚眼レンズを通して車両２００の周辺を撮影する。したがって、隣接した２台のカメラ（例えばカメラ１０ａとカメラ１０ｄ）の撮影範囲の一部が重複しており、本実施形態ではこの重複領域に含まれる立体物の検出が行われる。これらのカメラ１０ａ〜１０ｄによって、車両２００に対して地面を含む水平方向のサイドビュー画像（第１の画像）が得られる。カメラ１０ａ〜１０ｄのそれぞれから出力されるサイドビュー画像データは、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納される。

トップビュー画像変換部２０は、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納されたサイドビュー画像に基づいて、視点位置を車両上空に設定して路面投影処理を行ったトップビュー（登録商標）の画像（トップビュー画像、第２の画像）を生成する。上述したように、カメラ１０ａ〜１０ｄのそれぞれは１８０度の視野角を有するため、それぞれのサイドビュー画像に対応するトップビュー画像にも部分的に互いに重複した領域が存在する。トップビュー画像変換部２０によって生成されたカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像は、トップビュー画像格納部２２に格納される。

立体物検出部３０は、トップビュー画像格納部２２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像の重複領域を用いて、同一特徴を有する物体を立体物として検出するとともに、検出した立体物に含まれる少なくとも２つの特徴点を抽出する。立体物位置検出部３２は、立体物検出部３０によって抽出された特徴点を用いて立体物の路面上の水平位置を検出（算出）する。

図３は、立体物検出部３０および立体物位置検出部３２の動作概要を示す図である。図３において、Ｇ１はカメラ１０ａに対応するトップビュー画像に含まれる立体物を、Ｇ２はカメラ１０ｄに対応するトップビュー画像に含まれる立体物をそれぞれ示している。これらの立体物Ｇ１、Ｇ２は同じものである。立体物検出部３０は、立体物Ｇ１、Ｇ２に対応する画像の色や輝度あるいは形状等からこれら２つの物体を同一の立体物として検出する。また、立体物検出部３０は、一方のトップビュー画像に対応する立体物Ｇ１に含まれる２つの特徴点Ａ１、Ｂ１を抽出する。図３に示す例では矩形形状を有する立体物Ｇ１の２つの角部が特徴点Ａ１、Ｂ１として抽出される。同様に、立体物検出部３０は、他方のトップビュー画像に対応する立体物Ｇ２に含まれる２つの特徴点Ａ２、Ｂ２を抽出する。なお、特徴点Ａ２は立体物Ｇ１に含まれる特徴点Ａ１に、特徴点Ｂ２は立体物Ｇ１に含まれる特徴点Ｂ１にそれぞれ対応しており、一の立体物の同一位置における特徴点を示している。立体物位置検出部３２は、一方の立体物Ｇ１に対応する２つの特徴点Ａ１、Ｂ１を通る直線Ｌ１と、他方の立体物Ｇ２に対応する２つの特徴点Ａ２、Ｂ２を通る直線Ｌ２との交点Ｃの水平位置を算出し、これを立体物の路面上の水平位置とする。

立体物修正部３４は、立体物位置検出部３２によって検出された立体物の路面上の水平位置を用いて、トップビュー画像に含まれる立体物の位置を修正する。例えば、この位置修正は、（１）立体物の水平位置（交点Ｃの位置）に所定の警告画像を描画する、（２）立体物の水平位置まで立体物の画像を変形する、などの手法を用いて行われる。

図４は、立体物の位置修正の具体例を示す図である。図４に示す例では、立体物位置検出部３２によって検出された立体物の路面上の水平位置（交点Ｃの位置）に所定の警告画像Ｍ（例えば、立体物Ｇ１、Ｇ２に含まれる特徴点Ａ１、Ａ２を通る直線と平行であって、交点Ｃを通る直線画像）を描画することにより立体物Ｇ１の位置修正が行われている。なお、図３に示したように実際には同一物である２つの立体物Ｇ１、Ｇ２を用いてこれらの路面上の水平位置が算出されるが、表示の際にはカメラ１０ａあるいはカメラ１０ｄのいずれか一方に対応したトップビュー画像が用いられる。図４では、カメラ１０ａに対応するトップビュー画像が用いられるものとし、このトップビュー画像に含まれる立体物Ｇ１に対して位置修正が行われている。

図５は、立体物の位置修正の別の具体例を示す図である。図５に示す例では、立体物位置検出部３２によって検出された立体物の路面上の水平位置（交点Ｃの位置）まで、立体物Ｇ１の画像を拡大する変形処理を行うことにより立体物の位置修正が行われている。なお、図５に示した例では、立体物Ｇ１を交点Ｃに向けて一方向に拡大することにより、元の立体物Ｇ１よりも大きい立体物Ｇ１、Ｇ１’の画像を生成したが、所定の色や輝度を有する画像Ｇ１’を元の立体画像Ｇ１に付加することにより、立体物の位置修正を行うようにしてもよい。

画像合成部４０は、トップビュー画像格納部２２に格納された４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像と、立体物修正部３４によって位置修正が行われた後の立体物の画像（図４に示した警告画像Ｍあるいは図５に示した修正後の立体物Ｇ１、Ｇ１’の画像）とを合成する。なお、４つのトップビュー画像は、互いに重複領域を有しているが、これらの重複領域には境界が設定されており、この境界を境としていずれか一方のトップビュー画像のみが用いられる。合成後の画像を構成する各画素データは、表示処理部４２内のＶＲＡＭ（ビデオＲＡＭ）に書き込まれる。このＶＲＡＭは、表示用のメモリであり、格納位置と表示位置とが対応付けられている。表示処理部４２は、ＶＲＡＭに格納されたデータを読み出して、所定形式の映像信号（例えばＮＴＳＣ方式の映像信号）に変換する。この映像信号は表示装置４４に向けて出力され、その画面上に路面投影された画像が表示される。表示装置４４は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置に設置されている。

トップビュー画像変換部２０が路面投影処理手段に、立体物検出部３０が立体物検出手段に、立体物位置検出部３２が立体物位置検出手段に、立体物修正部３４、画像合成部４０が立体物修正手段に、表示処理部４２、表示装置４４が表示手段にそれぞれ対応する。

本実施形態の車両運転支援装置はこのような構成を有しており、次にその動作を説明する。図６は、立体物の位置修正に関する一連の動作手順を示す流れ図である。カメラ１０ａ〜１０ｄによって所定の時間間隔で車両２００の周辺が撮影される（ステップ１００）。この撮影によって得られたサイドビュー画像は撮影画像格納部１２ａ〜１２ｄに格納される。次に、トップビュー画像変換部２２は、撮影画像格納部１２ａ〜１２ｄに格納されているサイドビュー画像に基づいてトップビュー画像を生成する（ステップ１０１）。

また、立体物検出部３０は、カメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像の重複領域に立体物が存在するか否かを検出する（ステップ１０２）。上述したように、この立体物検出では、路面上に描かれた模様等と立体物とを区別する必要はなく、同一特徴の画像が存在する場合に立体物が存在するものとして扱われる。立体物が存在する場合には肯定判断が行われ、次に、立体物位置検出部３２は、検出された立体物の画像に含まれる少なくとも２つの特徴点を用いて、立体物の路面上の水平位置を立体物の位置として算出する（ステップ１０３）。立体物修正部３４は、この算出された立体物の位置に対応する立体物の位置修正を行い、位置修正の立体物の画像（図４に示した警告画像Ｍあるいは図５に示した修正後の立体物Ｇ１、Ｇ１’の画像）を生成する（ステップ１０４）。

その後、画像合成部４０は、４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像と、立体物修正部３４によって位置修正が行われた後の立体物の画像とを合成し（ステップ１０５）、表示処理部４２は、合成された画像を表示装置４４の画面上に表示する（ステップ１０６）。

なお、４つのトップビュー画像の重複領域に立体物が存在しない場合にはステップ１０２の判定において否定判断が行われる。この場合には、画像合成部４０は、４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像を合成し（ステップ１０５）、表示処理部４２は、合成された画像を表示装置４４の画面上に表示する（ステップ１０６）。

このように、本実施形態の車両運転支援装置１００では、異なる撮影位置で同一の立体物を撮影することによって得られた２つの路面投影後の画像（トップビュー画像）における同一の立体物の位置ずれの様子（回転の様子）からこの立体物の直下の路面位置を算出することができるため、路面投影されたトップビュー画像に含まれる物体の位置を正確に確認することが可能となる。また、検出された立体物の水平位置に所定の警告画像を描画したり、検出された立体物の水平位置まで立体物の画像を変形することにより、表示画像に含まれる立体物の位置を容易に把握することが可能となる。また、設置位置が異なる複数のカメラ１０ａ〜１０ｄによる撮影によって得られたトップビュー画像を用いることにより、１回の撮影によって立体物およびその位置を検出することができるとともに、車両が停車中であっても正確に立体物を検出することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、４台のカメラ１０ａ〜１０ｄを用いて立体物を検出したが、１台のカメラを用いて撮影タイミングをずらして複数回撮影することにより得られたトップビュー画像に基づいて立体物を検出するようにしてもよい。すなわち、撮影タイミングをずらすことにより同一の立体物を異なる方向から撮影することができれば、設置位置が異なる複数のカメラで撮影した結果と同じになるため、撮影タイミングをずらして得られた複数のトップビュー画像を用いることにより、上述した実施形態と同じ要領で立体物を検出することが可能になる。これにより、１台のカメラを用いて立体物およびその位置を検出することができ、構成の簡略化が可能となる。但し、車両が停車中に２回撮影しても同一内容のトップビュー画像が得られるため、立体物検出を行うためには車両が移動中に複数回の撮影を行う必要がある。また、撮影の時間間隔が長すぎると、複数回の撮影によって得られたトップビュー画像に重複領域が存在しない場合もあるため、車両の移動速度に応じて適切な撮影間隔を設定する必要がある。

また、上述した実施形態では、図２に示したように、４台のカメラ１０ａ〜１０ｄに別々の撮影範囲が設定されており、これらの撮影範囲の一部が重複している場合について説明したが、同一の撮影範囲を水平位置が異なる複数台のカメラで撮影するようにしてもよい。この場合には、撮影範囲の全体が重複領域となるため、撮影範囲全体に含まれる立体物を検出することができる。

一実施形態の車両運転支援装置の構成を示す図である。４台のカメラの設置位置を示す図である。立体物検出部および立体物位置検出部の動作概要を示す図である。立体物の位置修正の具体例を示す図である。立体物の位置修正の別の具体例を示す図である。立体物の位置修正に関する一連の動作手順を示す流れ図である。

符号の説明

１０ａ〜１０ｄカメラ
１２ａ〜１２ｄ撮影画像格納部
２０トップビュー画像変換部
２２トップビュー画像格納部
３０立体物検出部
３２立体物位置検出部
３４立体物修正部
４０画像合成部
４２表示処理部
４４表示装置
１００車両運転支援装置

Claims

自車両から路面を含む周辺を撮影するカメラと、
前記カメラによって撮影された第１の画像に基づいて路面投影を行って路面に投影された第２の画像を生成する路面投影処理手段と、
異なる撮影位置において前記カメラによって撮影された複数の前記第１の画像のそれぞれに対応する複数の前記第２の画像に基づいて、前記第２の画像に含まれる立体物を検出する立体物検出手段と、
複数の前記第２の画像に基づいて、前記立体物検出手段によって検出された前記立体物の路面上の水平位置を検出する立体物位置検出手段と、
前記立体物位置検出手段によって検出された水平位置を用いて、前記第２の画像に含まれる前記立体物の位置を修正する立体物修正手段と、
前記立体物修正手段によって位置修正がなされた後の前記立体物が含まれる前記第２の画像を表示する表示手段と、
を備えることを特徴とする車両運転支援装置。
請求項１において、
前記立体物検出手段は、複数の前記第２の画像に含まれる同一特徴の物体を立体物として検出することを特徴とする車両運転支援装置。
請求項１または２において、
前記立体物修正手段は、前記立体物位置検出手段によって検出された前記立体物の水平位置に所定の警告画像を描画することを特徴とする車両運転支援装置。
請求項１または２において、
前記立体物修正手段は、前記立体物位置検出手段によって検出された前記立体物の水平位置まで前記立体物の画像を変形することを特徴する車両運転支援装置。
請求項１〜４のいずれかにおいて、
複数の前記第１の画像は、設置位置が異なる複数の前記カメラによる撮影によって得られることを特徴とする車両運転支援装置。
請求項１〜４のいずれかにおいて、
複数の前記第１の画像は、１台の前記カメラによって撮影タイミングをずらした複数回の撮影によって得られることを特徴とする車両運転支援装置。