JP2007180719A - 車両運転支援装置 - Google Patents

Abstract

【課題】複数のカメラで撮影した映像を合成する際に映像の重複部分をなくして映像が不自然になることを防止することができる「車両運転支援装置」を提供すること。
【解決手段】車両運転支援装置１００は、車両周辺を撮影する複数のカメラ１０ａ〜１０ｄと、撮影によって得られた画像あるいはこの画像に対して視点位置を変換した後の画像等を三次元投影モデルに投影して立体画像を生成する立体画像変換部２４と、立体画像の重複領域を判定する重複領域判定部３０と、判定された重複領域の画像を削除する重複画像削除部２６と、重複画像削除部２６によって重複領域の画像が削除された後の立体画像をこの削除された重複領域分拡大した後に各カメラについて合成する端部拡大・合成部２８と、合成された後の立体画像を表示する表示処理部４０、表示装置４２とを備えている。
【選択図】図１

Description

本発明は、魚眼レンズが取り付けられたカメラを用いて車両周辺を撮影して画面に表示することにより車両の運転を支援する車両運転支援装置に関する。

従来から、カメラを用いて車両周辺を撮影して車内に設けられた表示装置に撮影画像を表示するようにした運転支援装置が知られている（例えば、特許文献１参照。）。この運転支援装置では、車両近傍では円筒形状を有し遠方では球形状を有する三次元投影モデルが設定されており、２台のカメラで撮影した映像がこの三次元投影モデルに投影されて車両周辺の状況が表示装置に表示される。
特開２００４−２１３０７号公報（第５−９頁、図１−９）

ところで、上述した特許文献１に開示された運転支援装置では、２台のカメラを用いて撮影された車両周辺の映像を合成して表示装置に表示しているが、２台のカメラで路面を撮影し、その撮影結果を路面よりも上空の三次元投影モデルに投影した場合には、各カメラで撮影した映像が境界付近で重複して、表示された映像が不自然になるという問題があった。例えば、一方のカメラで車両後方の左側領域が、他方のカメラで車両後方の右側領域が撮影されている場合に、円筒形状の部分におけるこれらの間の境界は路面上にあるためこの境界付近における路面の映像は重複しない。ところが、車両から遠い位置にある球形状の部分における境界は路面から離れた位置にあるため、一方のカメラからこの境界付近を通して路面を撮影した映像と、他方のカメラからこの境界付近を通して路面を撮影した映像は、一部が重複し、この重複した２つの映像を合成すると、本来であれば境界付近にあった一つの物体が２つに見えることになる。

本発明は、このような点に鑑みて創作されたものであり、その目的は、複数のカメラで撮影した映像を合成する際に映像の重複部分をなくして映像が不自然になることを防止することができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、車両周辺を撮影する複数のカメラと、複数のカメラのそれぞれの撮影によって得られた画像あるいはこの画像に対して視点位置を変換した後の画像を、少なくとも一部が地面よりも高い位置にある投影モデルに投影して立体画像を生成する立体画像生成手段と、複数のカメラのそれぞれに対応する立体画像の重複領域を判定する重複領域判定手段と、重複領域判定手段によって判定された重複領域の画像を削除する重複画像削除手段と、重複画像削除手段によって重複領域の画像が削除された後の立体画像をこの削除された重複領域分拡大する画像拡大手段と、画像拡大手段によって拡大された後の立体画像を複数のカメラについて合成する画像合成手段と、画像合成手段によって合成された後の立体画像を表示する表示手段とを備えている。これにより、投影モデルに投影した際に生じる画像の重複をなくすことができるため、複数のカメラで撮影した映像を合成する際に映像が不自然になることを防止することができる。

また、上述した複数のカメラのそれぞれは、広角レンズを通して車両周辺の地面を含む斜め下方向を撮影することが望ましい。広角レンズを用いることにより車両周辺の広い範囲を少ないカメラ台数で撮影することが可能になる。

また、上述した複数のカメラのそれぞれの撮影によって得られたサイドビュー画像を車両上空の視点位置から見たトップビュー画像に変換するトップビュー画像変換手段をさらに備え、立体画像生成手段は、トップビュー画像変換手段によって生成されたトップビュー画像に基づいて立体画像を生成することが望ましい。これにより、広角レンズを通して撮影した歪んだサイドビュー画像をトップビュー画像に変換して見やすくすることができる。

また、上述した画像拡大手段によって行われる拡大処理は、重複領域の画像に隣接する立体画像の一部を重複領域に向けて伸長する処理であることが望ましい。これにより、重複領域の画像を削除した際に欠落した部分をそれ以外の画像で補間する際の処理の簡略化が可能となる。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０ａ〜１０ｄ、撮影画像格納部１２ａ〜１２ｄ、画像合成部２０、重複領域判定部３０、重複領域データ格納部３２、表示処理部４０、表示装置４２を含んで構成されている。

カメラ１０ａ〜１０ｄは、自車両の周囲を広角レンズとしての魚眼レンズを通して撮影する。図２は、４台のカメラ１０ａ〜１０ｄの設置位置を示す図である。自車両である車両２００の右側のドアミラーにカメラ１０ａが設置されている。また、左側のドアミラーにカメラ１０ｂが設置されている。後部のトランクドアにカメラ１０ｃが設置されている。前部のバンパー近傍にカメラ１０ｄが設置されている。これらのカメラ１０ａ〜１０ｄのそれぞれは、１８０度の視野角を有する魚眼レンズを通して車両２００の周辺を撮影する。これらのカメラ１０ａ〜１０ｄによって、車両２００に対して地面を含む水平方向のサイドビュー画像が得られる。カメラ１０ａ〜１０ｄのそれぞれから出力されるサイドビュー画像データは、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納される。

重複領域判定部３０は、カメラ１０ａ〜１０ｄのそれぞれを用いて撮影された映像の重複領域を判定する。なお、この映像の重複領域とは、撮影領域の重複部分（図２においてカメラ１０ａ〜１０ｄのそれぞれの撮影範囲を示すハッチング領域の重複部分）を示すものではなく、撮影されたサイドビュー画像を所定の投影モデルに投影した後の映像における重複部分を示しており、具体的な内容については後述する。判定された重複領域を特定するデータ（重複領域データ）は重複領域データ格納部３２に格納される。

画像合成部２０は、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納されたサイドビュー画像に基づいて、映像の重複のない合成されたトップビュー画像を生成する。このために、画像合成部２０は、トップビュー画像変換部２２、立体画像変換部２４、重複画像削除部２６、端部拡大・合成部２８を備えている。トップビュー画像変換部２２は、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納されたサイドビュー画像に基づいて、視点位置を車両上空に設定したトップビュー画像を生成する。カメラ１０ａ〜１０ｄのそれぞれは１８０度の視野角を有するため、それぞれのサイドビュー画像に対応するトップビュー画像には、部分的に互いに重複した部分が存在する。立体画像変換部２４は、トップビュー画像変換部２２による処理によって得られたトップビュー画像を三次元投影モデルに投影することにより、路面上に投影されたトップビュー画像を立体化する。なお、この投影処理は、例えば車両上空に設定された視点位置を用いて行われる。

図３は、立体画像変換部２４によって用いられる三次元投影モデルの説明図である。図３に示すように、本実施形態の三次元投影モデルには、車両２００を中心に半径Ｌ以内については路面と一致した円形形状の平面投影面Ａが含まれ、半径Ｌ以上については球形状の曲面投影面Ｂが含まれる。立体画像変換部２４は、トップビュー画像変換部２２によって生成された各カメラ１０ａ〜１０ｄ毎のトップビュー画像を、図３に示した形状を有する三次元投影モデルに投影する。このように、本実施形態では少なくとも一部が地面よりも高い位置にある投影モデルが用いられている。以下の説明では、三次元投影モデルに投影された画像を「立体画像」と称して説明を行うものとする。

重複領域判定部３０は、立体画像変換部２４によって得られた立体画像に基づいて、カメラ１０ａ〜１０ｄのそれぞれに対応する重複領域を判定する。重複領域データ格納部３２は、重複領域判定部３０によって判定された重複領域の境界を特定する重複領域データを格納する。

図４〜図６は、重複領域の概要を示す図である。図４にはカメラ１０ａを用いた撮影によって得られたトップビュー画像の中で、図３に示した三次元投影モデルへの投影に使用される領域が示されている。三次元投影モデルを分割した境界をｂ０とすると、この境界ｂ０は、車両の中心から半径Ｌ以上の位置では地面から次第に離れるため、カメラ１０ａを用いた撮影によって得られたトップビュー画像を三次元投影モデル上に投影した立体画像では、境界ｂ０よりも外側のトップビュー画像Ｓ１までを用いて立体画像が生成される（図４）。同様に、カメラ１０ｄを用いた撮影によって得られたトップビュー画像を三次元投影モデル上に投影した立体画像では、境界ｂ０よりも外側のトップビュー画像Ｓ２までを用いて立体画像が生成される（図５）。したがって、立体画像変換部２４によってこれら２つの立体画像そのものを境界ｂ０で合成しても、合成後の立体画像には、重複領域Ｓ１、Ｓ２が含まれることになる（図６）。重複領域判定部３０は、これらの重複領域Ｓ１、Ｓ２を判定するとともに、図６に示すこれらの重複領域Ｓ１、Ｓ２の境界ｂ１、ｂ２を特定する重複領域データを抽出し、重複領域データ格納部３２に格納する。

なお、上述した重複領域の判定動作の具体的な手法についてはいくつかのパターンが考えられる。例えば、重複領域判定部３０は、カメラ１０ａ〜１０ｄのそれぞれに対応する立体画像に含まれる同一特徴部分（色や輝度あるいはこれらに基づいて決定される形状が同一の部分）を抽出し、この同一特徴部分を重複領域として判定する。あるいは、カメラ１０ａ〜１０ｄのそれぞれに対応する立体画像を表示処理部４０を用いて表示装置４２の画面上に表示し、利用者が操作部（図示せず）を用いて重複領域を指定するようにしてもよい。この場合には、重複領域判定部３０は、利用者の指定にしたがって量復領域を判定する。

重複画像削除部２６は、重複領域データ格納部３２に格納されている重複領域データに基づいて、カメラ１０ａ〜１０ｄのそれぞれに対応する立体画像における重複領域を削除する。図６に示す例では、カメラ１０ａに対応する立体画像中の重複領域Ｓ１が削除され、カメラ１０ｄに対応する立体画像中の重複領域Ｓ２が削除される。

端部拡大・合成部２８は、重複画像削除部２６によって重複領域が削除されて欠落した立体画像に対してこの欠落部分に接する端部（境界）を拡大し、この拡大処理によって欠落部分がなくなった４つの立体画像（カメラ１０ａ〜１０ｄのそれぞれに対応する立体画像）を合成する。例えば、この拡大処理は、重複領域の画像に隣接する立体画像の一部を重複領域に向けて伸長することにより行われる。図７は、拡大処理の具体例を示す図である。図６に示す重複領域Ｓ１、Ｓ２が削除されると、これらに対応する欠落部分Ｓ１’、Ｓ２’が生じるが、端部拡大・合成部２８は、欠落部分Ｓ１’に対して垂直方向（縦方向）に隣接する立体画像Ｓ１”を垂直方向に拡大するとともに、欠落部分Ｓ２’に対して水平方向（横方向）に隣接する立体画像Ｓ２”を水平方向に拡大する。合成後の立体画像を構成する各画素データは、表示処理部４０内のＶＲＡＭ（ビデオＲＡＭ）に書き込まれる。このＶＲＡＭは、表示用のメモリであり、格納位置と表示位置とが対応付けられている。表示処理部４０は、ＶＲＡＭに格納されたデータを読み出して、所定形式の映像信号（例えばＮＴＳＣ方式の映像信号）に変換する。この映像信号は表示装置４２に向けて出力され、その画面上に立体画像が表示される。表示装置４２は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置に設置されている。

上述した立体画像変換部２４が立体画像生成手段に、重複領域判定部３０が重複領域判定手段に、重複画像削除部２６が重複画像削除手段に、端部拡大・合成部２８が画像拡大手段、画像合成手段に、表示処理部４０、表示装置４２が表示手段に、トップビュー画像変換部２２がトップビュー画像変換手段にそれぞれ対応する。

本実施形態の車両運転支援装置はこのような構成を有しており、次にその動作を説明する。図８は、車両周辺の立体画像表示に関する一連の動作手順を示す流れ図である。カメラ１０ａ〜１０ｄによって所定の時間間隔で車両２００の周辺が撮影される（ステップ１００）。この撮影によって得られたサイドビュー画像は撮影画像格納部１２ａ〜１２ｄに格納される。次に、トップビュー画像変換部２２は、撮影画像格納部１２ａ〜１２ｄに格納されているサイドビュー画像に基づいてトップビュー画像を生成する（ステップ１０１）。また、立体画像変換部２４は、生成されたトップビュー画像を図３に示した三次元投影モデルに投影することにより立体画像を生成する（ステップ１０２）。重複領域判定部３０は、カメラ１０ａ〜１０ｄのそれぞれに対応して生成された４つの立体画像に含まれる重複領域を判定し（ステップ１０３）、重複画像削除部２６は、判定された重複領域を削除する（ステップ１０４）。次に、端部拡大・合成部２８は、重複領域を削除することによって生じた欠落部分を充填するようにこの欠落部分に隣接する端部を拡大するための画像拡大を行った後（ステップ１０５）、拡大後の４つの立体画像を合成する（ステップ１０６）。そして、合成された後の立体画像が表示装置４２に表示される（ステップ１０７）。

このように、本実施形態の車両運転支援装置１００では、三次元投影モデルに投影した際に生じる立体画像の重複をなくすことができるため、４台のカメラ１０ａ〜１０ｄで撮影した映像を合成する際に映像が不自然になることを防止することができる。特に、広角レンズとしての魚眼レンズを用いることにより車両周辺の広い範囲を少ないカメラ台数で撮影することが可能になる。魚眼レンズを通して撮影した歪んだサイドビュー画像をトップビュー画像に変換することで見やすくすることができる。また、立体画像の跳梁域を削除した際に、重複領域の画像に隣接する立体画像の一部を重複領域に向けて伸長することにより、重複領域の画像を削除した際に欠落した部分をそれ以外の画像で補間する際の処理の簡略化が可能となる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、図３に示した三次元投影モデルを用いたが、他の形状の投影モデルを用いるようにしてもよい。すなわち、トップビュー画像に対して投影処理を行ったときに重複領域が生じる投影モデルであれば本発明を行うことができる。

また、上述した本実施形態では、トップビュー画像の生成をトップビュー画像変換部２２によって、立体画像の生成を立体画像変換部２４によってそれぞれ行ったが、いずれの画像生成も書き込みアドレスと読み出しアドレスの関係を示すマッピングテーブルを用いてメモリに対して画像データを読み書きすることにより実現することができる。また、これらのマッピングテーブルを用いたアドレス変換を２段階で行うのではなく、一つのマッピングテーブルを用いてサイドビュー画像から立体画像への変換を直接行うようにしてもよい。

また、上述した実施形態では、４台のカメラ１０ａ〜１０ｄを用いて車両周辺の全領域を撮影したが、必要に応じて一部の領域のみを４台よりも少ない複数台のカメラを用いて撮影するようにしてもよい。

一実施形態の車両運転支援装置の構成を示す図である。 ４台のカメラの設置位置を示す図である。 立体画像変換部によって用いられる三次元投影モデルの説明図である。 重複領域の概要を示す図である。 重複領域の概要を示す図である。 重複領域の概要を示す図である。 拡大処理の具体例を示す図である。 車両周辺の立体画像表示に関する一連の動作手順を示す流れ図である。

符号の説明

１０ａ〜１０ｄ カメラ
１２ａ〜１２ｄ 撮影画像格納部
２０ 画像合成部
２２ トップビュー画像変換部
２４ 立体画像変換部
２６ 重複画像削除部
２８ 端部拡大・合成部
３０ 重複領域判定部
３２ 重複領域データ格納部
４０ 表示処理部
４２ 表示装置
１００ 車両運転支援装置

Claims (4)

1. 車両周辺を撮影する複数のカメラと、
   前記複数のカメラのそれぞれの撮影によって得られた画像あるいはこの画像に対して視点位置を変換した後の画像を、少なくとも一部が地面よりも高い位置にある投影モデルに投影して立体画像を生成する立体画像生成手段と、
   前記複数のカメラのそれぞれに対応する前記立体画像の重複領域を判定する重複領域判定手段と、
   前記重複領域判定手段によって判定された重複領域の画像を削除する重複画像削除手段と、
   前記重複画像削除手段によって重複領域の画像が削除された後の前記立体画像をこの削除された重複領域分拡大する画像拡大手段と、
   前記画像拡大手段によって拡大された後の前記立体画像を前記複数のカメラについて合成する画像合成手段と、
   前記画像合成手段によって合成された後の前記立体画像を表示する表示手段と、
   を備えることを特徴とする車両運転支援装置。
2. 請求項１において、
   前記複数のカメラのそれぞれは、広角レンズを通して車両周辺の地面を含む斜め下方向を撮影することを特徴とする車両運転支援装置。
3. 請求項２において、
   前記複数のカメラのそれぞれの撮影によって得られたサイドビュー画像を車両上空の視点位置から見たトップビュー画像に変換するトップビュー画像変換手段をさらに備え、
   前記立体画像生成手段は、前記トップビュー画像変換手段によって生成されたトップビュー画像に基づいて前記立体画像を生成することを特徴とする車両運転支援装置。
4. 請求項１〜３のいずれかにおいて、
   前記画像拡大手段によって行われる拡大処理は、前記重複領域の画像に隣接する前記立体画像の一部を前記重複領域に向けて伸長する処理であることを特徴とする車両運転支援装置。
   

Images