JP2010147523A - 車両周囲の俯瞰画像生成装置 - Google Patents

Abstract

【課題】 共通領域における立体物の消失を回避しつつ、観視者が注意すべき車両周囲の立体物を把握しやすい合成俯瞰画像を生成すること。
【解決手段】 俯瞰画像生成装置１は、共通領域にて重なり合う複数の撮像範囲を撮影する複数のカメラと接続され、車両周囲の立体物を検出する立体物検出部５と、複数のカメラ２ａ，２ｂの撮影画像に基づき車両周囲の俯瞰画像を合成して合成俯瞰画像を生成する合成俯瞰画像生成部７とを備える。合成俯瞰画像生成部７は、立体物検出部５で検出された立体物に基づき、生成すべき合成俯瞰画像において、共通領域に含まれる圧縮合成領域及び結合境界線を導出し、複数のカメラ２ａ，２ｂからの複数の撮影画像から、導出した圧縮合成領域に相当する部分を、複数の部分撮影画像として切り出し、導出した圧縮合成領域を結合境界線で区分して定義される圧縮領域に、切り出された各部分画像を圧縮して変形する。
【選択図】 図１

Description

本発明は、車両周囲の俯瞰画像生成装置に関し、より特定的には、複数のカメラでの撮影画像を合成して合成俯瞰画像を生成俯瞰画像生成装置に関する。

一般的な俯瞰画像生成装置には、それぞれ異なる方向に向けて車両に設置された複数のカメラが接続される。これらカメラはそれぞれ、車両周囲において自身が担当する撮影範囲を撮影する。俯瞰画像生成装置は、カメラからの撮影画像を合成して、車両の上方に設定された仮想視点から車両周囲を見下ろした画像（以下、「合成俯瞰画像」という）を生成する。また、俯瞰画像生成装置が表示装置を備えている場合、生成された合成俯瞰画像を、この表示装置は表示する。

このような俯瞰画像生成装置では、合成俯瞰画像生成のために、隣り合うカメラ同士の撮影範囲がオーバーラップしている場合が多い。本明細書では、各カメラの撮影範囲において、隣のカメラの撮影範囲とオーバーラップしている領域を共通領域と定義する。この共通領域に立体物が存在すると、合成俯瞰画像において、その立体物が消失したり、二重になって見えたりすることが知られている。

このような問題点を、以下の特許文献１では、以下のようにして解決している。つまり、俯瞰画像生成装置は、車両の前部及び左側に設置された前カメラ及び横カメラからの撮影画像それぞれをカメラ俯瞰画像に変換し、各カメラ俯瞰画像を合成した合成俯瞰画像を表示する。ここで、両カメラ俯瞰画像が重なり合う共通領域に関し、前カメラによる撮影画像と横カメラによる撮影画像との差分画像がまず生成される。その後、両カメラ俯瞰画像において、立体物が描かれている差分領域が検出される。両カメラ俯瞰画像を合成する際、差分領域に関しては、一方のカメラ俯瞰画像内の画像のみが用いられる。
特開２００８−４８３１７号公報

しかしながら、特許文献１の俯瞰画像生成装置では、立体物の輪郭まで正確に抽出できなければ、その立体物を中途半端な位置が切り取られてしまい、その立体物が分断された状態で描かれた合成俯瞰画像が生成され表示される問題点がある。実際、カメラによる撮影画像を用いた場合、俯瞰画像生成装置は、その撮影画像内に立体物が有るか無いかを判別することは可能であっても、その立体物の輪郭を正確に抽出することは技術的に困難であるため、上記のような問題点は頻発する。

それ故に、本発明の目的は、共通領域における立体物の消失を回避しつつ、観視者が注意すべき車両周囲の立体物を把握しやすい合成俯瞰画像を生成可能な俯瞰画像生成装置を提供することである。

上記目的を達成するために、本発明の一局面は、共通領域にて重なり合う複数の撮像範囲を撮影する複数のカメラと接続され、各カメラからの撮影画像を使って、車両の周囲状況を表す合成俯瞰画像を生成する俯瞰画像生成装置に向けられており、車両周囲の立体物を検出する立体物検出部と、各カメラの撮影画像に基づき合成俯瞰画像を合成する合成俯瞰画像生成部とを備える。ここで、合成俯瞰画像生成部は、立体物検出部により検出された立体物に基づき、生成すべき合成俯瞰画像において、共通領域に相当する領域に含まれる圧縮合成領域及び結合境界線を導出する導出部と、各カメラからの撮影画像から、導出部で導出された圧縮合成領域に相当する部分を、複数の部分撮影画像として切り出す切出し部と、導出部で導出された圧縮合成領域を結合境界線で区分した圧縮領域に、切出し部で切り出された各部分画像を圧縮して変形する圧縮変形部とを含む。

以上の構成によれば、共通領域において立体物が消失することを回避しつつ、観視者が最も注意すべき車両周囲の立体物を把握しやすい合成俯瞰画像を生成可能となる。

以下、図面を参照しながら、本発明の実施形態に係る俯瞰画像生成装置について説明する。

図１は、本実施形態に係る俯瞰画像生成装置１の全体構成を示すブロック図である。図１において、俯瞰画像生成装置１には、撮像部２として、少なくとも２個のカメラ２ａ，２ｂが伝送路を介して接続されている。

カメラ２ａ，２ｂは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような固体撮像素子を有しており、カラー画像又はモノクロ画像を撮像可能なデジタルカメラである。また、これらカメラ２ａ，２ｂは、さらに好ましくは、例えば魚眼レンズのような広視野角（広画角）のレンズを有しており、車両α（図２参照）の周囲を広範にわたって撮影できることが好ましい。

図２に示すように、カメラ２ａ，２ｂは車両αの周囲に取り付けられる。具体例として、本実施形態では、カメラ２ａが車両αの前端中央に、カメラ２ｂは、車両αの左側に取り付けられる。

また、図２は、車両αの周辺領域において、カメラ２ａ，２ｂが撮像する範囲を示す模式図である。カメラ２ａは車両αの前方の撮像範囲ＣＡＭ０の状況を撮影して撮影画像ＣＰａを生成する。カメラ２ｂは、車両αの左側方の撮像範囲ＣＡＭ１を撮影して撮影画像ＣＰｂを生成する。生成された撮影画像ＣＰａ，ＣＰｂは、例えば、図３に例示されるような画像であり、俯瞰画像生成装置１に伝送路を介して送信される。

ここで、再度図２を参照する。カメラ２ａ，２ｂにより車両αの左前方を抜け無くカバーするために、撮像範囲ＣＡＭ０は、撮像範囲ＣＡＭ１と重なり合う。以降、撮像範囲ＣＡＭ０及びＣＡＭ１の重なり部分をオーバーラップ領域Ｆ１２と呼ぶ。

なお、便宜上、本実施形態では、図２に示すように、車両αには２個のカメラ２ａ，２ｂが取り付けられるとして説明を進めるが、俯瞰画像生成装置１にはカメラは車両の全周囲をカバーするために車両の前後左右に取り付けられることが多い。

再度図１を参照する。図１において、俯瞰画像生成装置１は、マッピングテーブル格納部（以下、「ＭＰＴ格納部」という）３、マッピングデータ作成部（以下、「ＭＰＤ作成部」という）４、立体物検出部５、カメラ俯瞰画像生成部６、及び合成俯瞰画像生成部７とを備えている。また、俯瞰画像生成装置１は、付加的に、表示装置８を備えている。

ＭＰＴ格納部３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や不揮発性メモリからなり、少なくとも２種類のマッピングテーブル（以下、「ＭＰＴ（Ｍａｐｐｉｎｇ Ｔａｂｌｅ）」という）を格納する。さらに以下では、１種類目を「第１のＭＰＴ」といい、２種類目を「第２のＭＰＴ」という。第１のＭＰＴは、各カメラ２ａ，２ｂの各撮影画像ＣＰａ，ＣＰｂにおける画素位置と、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂ（後述）の画素とを対応付けたテーブルである。また、第２のＭＰＴは、各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂの画素と、合成俯瞰画像ＭＢＰ（後述）の画素とを対応付けたテーブルである。

ＭＰＤ作成部４は、ＭＰＴ格納部３のＭＰＴを参照して、第１のマッピングデータ（以下、「第１のＭＰＤ」という）を生成する。第１のＭＰＤは、カメラ俯瞰画像ＣＢＰａの生成時に用いられ、カメラ俯瞰画像ＣＢＰａを構成する各画素を、撮影画像ＣＰａを構成するどの画素の値を割り当てるかを指示するデータである。第１のＭＰＤはさらに、カメラ俯瞰画像ＣＢＰｂの生成時にも用いられ、カメラ俯瞰画像ＣＢＰｂの各画素を、撮影画像ＣＰｂのどの画素値を割り当てるかを指示するデータでもある。

ＭＰＤ作成部４は、ＭＰＴを参照して、第２のマッピングデータ（以下、「第２のＭＰＤ」という）を作成する。第２のＭＰＤは、合成俯瞰画像ＭＢＰ（後述）を構成する各画素を、どのカメラ俯瞰画像ＣＢＰａ，ＣＢＰｂにおけるどの画素値を割り当てるかを指示するデータである。

ＭＰＤ作成部４は、立体物検出部５及びカメラ俯瞰画像生成部６に、生成した第１のＭＰＤを出力し、生成した第２のＭＰＤを合成俯瞰画像生成部７に出力する。

立体物検出部５は、ＭＰＤ作成部４から第１のＭＰＤも受け取る。この第１のＭＰＤを用いると、各撮影画像ＣＰａ，ＣＰｂのどの画素が、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂにおけるどの画素に対応するかが分かり、さらに、どの画素が共通領域Ｆ１２に含まれるものかも分かる。

立体物検出部５は、各カメラ２ａ，２ｂから撮影画像ＣＰａ，ＣＰｂを受け取ると、受け取った撮影画像ＣＰａ，ＣＰｂにおける共通領域Ｆ１２に対し画像認識処理を行う。これによって、立体物検出部５は、共通領域Ｆ１２に存在する立体物をそれぞれ検出する。

その後、立体物検出部５は、検出した立体物のうち、車両αに最も近いもの（以下、「要注意立体物」という）を選択する。好ましくは、本説明の場合、図４に例示するように、検出した立体物Ｓａ，Ｓｂ，Ｓｃのうち、車両αの左コーナーＣＬから最も近いもの要注意立体物ＭＳＳとして選択される。なお、実際の処理は撮影画像ＣＰａ，ＣＰｂに対して実行されるが、便宜上、要注意立体物を説明するために、図４の例では、上空から見た時の様子が描かれている。

立体物検出部５は、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂにおいて要注意立体物が描かれるべきエリア（以下、「立体物エリア」という）を特定した後、検出した立体物エリアにおいて、車両αに最も近くかつ路面に接する箇所を、その立体物の基準位置ＲＰ（図４の星印を参照）として取得する。これが終わると、立体物検出部５は、取得した基準位置ＲＰを、合成俯瞰画像生成部７に送る。

カメラ俯瞰画像生成部６は、ＭＰＤ作成部４から出力される第１のＭＰＤに従って、各カメラ２ａ又は２ｂのフレームメモリ（図示せず）に格納された撮影画像ＣＰａ又はＣＰｂを読み出しマッピングを行うことにより、カメラ俯瞰画像ＣＢＰａ又はＣＢＰｂを生成する。具体的には、カメラ俯瞰画像生成部６は、受け取った第１のＭＰＤで定義される通り、指定された撮影画像ＣＰａ又はＣＰｂの画素を、カメラ俯瞰画像ＣＢＰａ又はＣＢＰｂの画素の値として割り当てて、撮影画像毎にカメラ俯瞰画像を生成していく。

ここで、撮影画像ＣＰａ及びＣＰｂには、カメラ視点（つまり、カメラの設置位置）から見たときの撮像範囲ＣＡＭ０及びＣＡＭ１の様子が映っている。それとは異なり、カメラ俯瞰画像ＣＢＰａ及びＣＢＰｂは、撮影画像ＣＰａ及びＣＰｂの視点を変換したものであって、それら画像ＣＢＰａ及びＣＢＰｂには、車両上方に設置された仮想的なカメラの視点（仮想視点）から見た場合における撮像範囲ＣＡＭ０及びＣＡＭ１の全体又は一部の状況が映っている。

ここで、図５は、図３に示す撮影画像ＣＰａ，ＣＰｂから生成されるカメラ俯瞰画像ＣＢＰａ，ＣＢＰｂを例示する図である。図５に示すように、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂは、撮像範囲ＣＡＭ０及びＣＡＭ１を、予め定められた仮想視点から見た時の様子を表す。ここで、図５には、説明の便宜上、一点鎖線による枠Ｆａ，Ｆｂが示されているが、枠Ｆａ，Ｆｂは実際のカメラ俯瞰画像ＣＢＰａ，ＣＢＰｂには描かれていない。枠Ｆａは、カメラ俯瞰画像ＣＢＰａにおける共通領域Ｆ１２の外縁を示し、枠Ｆｂは、カメラ俯瞰画像ＣＢＰｂにおける共通領域Ｆ１２の外縁を示す。

合成俯瞰画像生成部７は、カメラ俯瞰画像生成部６からの各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂを受け取り、さらに、ＭＰＤ作成部４から第２のＭＰＤを受け取る。合成俯瞰画像生成部７は、受け取った第２のＭＰＤに従って、受け取った各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂに対しマッピングを行って、合成俯瞰画像ＭＢＰを合成する。具体的には、第２のＭＰＤに定義された通り、指定されたカメラ俯瞰画像ＣＢＰａ及び／又はＣＢＰｂの画素の値を用いて、合成俯瞰画像ＭＢＰを構成する各画素の値を決定していく。これによって、合成俯瞰画像ＭＢＰが生成される。

ここで、合成俯瞰画像ＭＢＰは、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂと比較すると、仮想カメラ視点から見た場合における車両の前方及び左側方を１フレームに収めている点で相違する。

図６は、合成俯瞰画像ＭＢＰの一例を示す図である。図６に例示した合成俯瞰画像ＭＢＰでは、仮想視点の位置は車両の真上に設定されており、合成俯瞰画像ＭＢＰの右下には車両モデルＭαが配置される。また、図６の例では、実際の車両αの周囲に立体物が存在しない場合の合成俯瞰画像ＭＢＰが示されている。なお、実際の車両αの周囲に立体物が存在する場合には、合成俯瞰画像ＭＢＰにおいて対応する位置にその立体物が描かれる。

ここで、本件明細書の「発明が解決しようとする課題」でも説明したように、特許文献１に記載の技術では共通領域Ｆ１２において立体物が消失することが多い。この問題を解消するため、合成俯瞰画像生成部７は、特徴的な処理を行うが、この特徴的な処理については、後で詳説する。

次に、以上のような構成の俯瞰画像生成装置１の動作について、図７のフローチャートを参照にしつつ説明する。

図７のステップＳ００１では、カメラ２ａ，２ｂから撮影画像ＣＰａ，ＣＰｂ（図３参照）が俯瞰画像生成装置１に実質的に同じタイミングで送られる。これら撮影画像ＣＰａ，ＣＰｂは、俯瞰画像生成装置１におけるカメラ俯瞰画像生成部６及び立体物検出部５により受信される。

次に、ステップＳ００２では、カメラ俯瞰画像生成部６は、撮影画像ＣＰａ，ＣＰｂ以外にも、ＭＰＤ作成部４からの第１のＭＰＤを受け取る。カメラ俯瞰画像生成部６は、第１のＭＰＤに従って、撮影画像ＣＰａ，ＣＰｂそれぞれにマッピングを行って、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂ（図５参照）を生成する。

次に、ステップＳ００３では、立体物検出部５は、カメラ俯瞰画像生成部６と同様、撮影画像ＣＰａ，ＣＰｂと、第１のＭＰＤとを受け取る。立体物検出部５は、受け取った撮影画像ＣＰａ，ＣＰｂにおける共通領域Ｆ１２に対し画像認識処理を行って、そこに存在しうる立体物の検出処理を行う。

検出処理の結果、立体物が見つかれば、立体物検出部５は、前述の基準位置ＲＰを合成俯瞰画像生成部７に送る。

一方、検出処理の結果、立体物が見つからなければ、立体物検出部５は、その旨を示す情報を合成俯瞰画像生成部７に送る。以上がステップＳ００３の処理である。

ステップＳ００４において、合成俯瞰画像生成部７は、立体物検出部５において要注意立体物ＭＳＳが検出されたか否かを判断する。肯定判断するのは、立体物検出部５から基準位置ＲＰを得ている場合であり、否定判断するのは、立体物検出部５から、立体物が見つからなかった旨の情報を得ている場合である。

便宜上、まず、否定判断された場合について説明する。この場合、合成俯瞰画像生成部７は、ステップＳ００５において合成俯瞰画像ＭＢＰを生成する。ステップＳ００５において、合成俯瞰画像生成部７は、ステップＳ００２で生成された各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂを受け取り、さらに、ＭＰＤ作成部４から第２のＭＰＤを受け取る。合成俯瞰画像生成部７は、受け取った第２のＭＰＤに従って、受け取った各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂに対しマッピングを行って、合成俯瞰画像ＭＢＰを生成する。なお、ステップＳ００５における合成俯瞰画像ＭＢＰの生成手法は他の周知の手法でもかまわない。

次に、ステップＳ００６において、合成俯瞰画像生成部７は、生成した合成俯瞰画像ＭＢＰを表示装置８に送る。表示装置８は、受け取った合成俯瞰画像ＭＢＰを表示する。

次に、ステップＳ００４にて肯定判断された場合について説明する。この場合、合成俯瞰画像生成部７は、ステップＳ００７に進み、合成俯瞰画像ＭＢＰを生成する。ここで、ステップＳ００７は、サブルーチンステップとして、共通領域Ｆ１２の処理（ステップＳ００８）と、共通領域Ｆ１２以外の処理（ステップＳ００９）とを含む。

ステップＳ００８では、２つのカメラ俯瞰画像ＣＢＰａ，ＣＢＰｂのオーバーラップ部分である共通領域Ｆ１２の中に映っている要注意立体物ＭＳＳが合成俯瞰画像ＭＢＰで消失しないような処理を、合成俯瞰画像生成部７は行う。

図２を参照して説明した通り、各カメラ２ａ，２ｂの撮像範囲ＣＡＭ０，ＣＡＭ１には共通領域Ｆ１２がある。それに起因して、作成すべき合成俯瞰画像ＭＢＰには、共通領域Ｆ１２に相当する領域（以下、「圧縮合成領域」）が生じる。この圧縮合成領域がステップＳ００８にて処理される部分になる。

ここで、図８を参照して、本実施形態でいうところの圧縮合成領域について説明する。図８において、圧縮合成領域Ｒ０は、撮像範囲ＣＡＭ０，ＣＡＭ１の共通領域Ｆ１２（一点鎖線参照）の中に存在し、要注意立体物ＭＳＳが二重像にならずかつ消失しないようにこの要注意立体物ＭＳＳを合成表示すべき領域である。また、カメラ設置位置Ｐａは、車両αの前端に取り付けられたカメラ２ａのカメラ俯瞰画像ＣＢＰａにおける位置であり、カメラ設置位置Ｐｂは、車両αの左側に取り付けられたカメラ２ｂのカメラ俯瞰画像ＣＢＰｂにおける位置である。

カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂのいずれにも、要注意立体物ＭＳＳが路面βに投影された状態で映るが、カメラ俯瞰画像ＣＢＰａにおいては、図８の左側に示すように、要注意立体物ＭＳＳはカメラ設置位置Ｐａから前述の基準位置ＲＰに向かう方向に倒れ込んだように映る。一方で、カメラ俯瞰画像ＣＢＰｂにおいては、上記と同じ要注意立体物ＭＳＳは、図８の右側に示すように、カメラ設置位置Ｐｂから基準位置ＲＰに向かう方向に倒れ込んだように映る。

また、図８には、以下の説明の便宜のため、補助線として延長線ＥＬａ，ＥＬｂが示されている。延長線ＥＬａは、カメラ設置位置Ｐａから基準位置ＲＰへと延びており、延長線ＥＬｂは、カメラ設置位置Ｐｂから基準位置ＲＰへと延びている。圧縮合成領域Ｒ０は、両カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂのそれぞれにおいて、少なくとも延長線ＥＬａ及びＥＬｂで挟まれた領域である。

次に、ステップＳ００８について詳説する。ここで、図９は、ステップＳ００８の詳細な処理を示すフローチャートである。この処理開始時、合成俯瞰画像生成部７は、ステップＳ００５の場合と同様、各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂと、第２のＭＰＤとを受け取る。ステップＳ００４で肯定応答された場合、合成俯瞰画像生成部７はさらに、立体物検出部５から、要注意立体物ＭＳＳの基準位置ＲＰを受け取っている。

図９のステップＳ０１１において、合成俯瞰画像生成部７は、既知のカメラ設置位置Ｐａから、受け取った基準位置ＲＰの方向に伸びる延長線ＥＬａと、既知のカメラ設置位置Ｐｂから基準位置ＲＰの方向に伸びる延長線ＥＬｂとを求める。

次に、ステップＳ０１２において、合成俯瞰画像生成部７は、少なくとも２本の延長線ＥＬａ，ＥＬｂを用いて囲まれる圧縮合成領域Ｒ０を求める。なお、圧縮合成領域Ｒ０を定義する残りの線は、例えば合成俯瞰画像ＭＢＰの外周（図６の点線部分を参照）により定義される。但し、この外周部分は本実施形態では関心のない部分なので、以降の説明を省略する。

次に、ステップＳ０１３において、合成俯瞰画像生成部７は、結合境界線ＲＬを設定する。ここで結合境界線ＲＬとは、図１０に示すように、車両αの左コーナーＣＬから基準位置ＲＰへと延びる線である。なお、図１０の（ａ）には、カメラ俯瞰画像ＣＢＰａを用いて結合境界線ＲＬが示されており、図１０の（ｂ）には、カメラ俯瞰画像ＣＢＰｂを用いて結合境界線ＲＬが示されている。

次に、ステップＳ０１４において、合成俯瞰画像生成部７は、カメラ俯瞰画像ＣＢＰａから、圧縮合成領域Ｒ０に含まれる部分を切り出す。以下の説明では、図１０に示すように、カメラ俯瞰画像ＣＢＰａから切り出された部分を、部分カメラ俯瞰画像ＣＢＰａ’とする。同様に、カメラ俯瞰画像ＣＢＰｂからも、圧縮合成領域Ｒ０に含まれる部分が、部分カメラ俯瞰画像ＣＢＰｂ’として切り出される。

次に、ステップＳ０１５において、合成俯瞰画像生成部７は、部分カメラ俯瞰画像ＣＢＰａ’，ＣＢＰｂ’を圧縮し変形する。具体的には、部分カメラ俯瞰画像ＣＢＰａ’が、図１１に示すように、圧縮合成領域Ｒ０において結合境界線ＲＬと延長線ＥＬｂとで囲まれる圧縮領域Ｒａに含まれるように圧縮し変形される。また、図１２に示すように、部分カメラ俯瞰画像ＣＢＰｂ’が、圧縮合成領域Ｒ０において結合境界線ＲＬと延長線ＥＬａとで囲まれる圧縮領域Ｒｂに含まれるように圧縮し変形される。

次に、ステップＳ０１６において、合成俯瞰画像生成部７は、図１３に示すように、圧縮後の部分カメラ俯瞰画像ＣＢＰａ’，ＣＢＰｂ’を結合境界線ＲＬを境に繋ぎ合せ合成する。これによって、圧縮合成領域Ｒ０に描かれる画像が完成する。以上で図９の処理、つまり図７のステップＳ００８が終わる。その後、合成俯瞰画像生成部７は、図７のステップＳ００９に進む。

ステップＳ００９において、合成俯瞰画像生成部７は、既に受け取っているステップＳ００２で生成された各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂに対し、受け取った第２のＭＰＤに従って、受け取った各カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂに対しマッピングを行って、合成俯瞰画像ＭＢＰにおいて圧縮合成領域Ｒ０以外の領域の画素値を決定する。これによって、ステップＳ００４にて肯定判断した場合における合成俯瞰画像ＭＢＰが完成する。

その後、ステップＳ００６が行われ、ステップＳ００７で生成された合成俯瞰画像ＭＢＰが表示装置８にて表示される。

合成俯瞰画像ＭＢＰにおいて、共通領域Ｆ１２に相当する部分で立体物の消失を避けるための条件は、車両αから最も近い位置にある立体物（要注意立体物）ＭＳＳが、合成俯瞰画像ＭＢＰにおいて、その要注意立体物が映っている２つのカメラ俯瞰画像を圧縮変形して繋ぎ合せることである。これにより、観視者は、合成俯瞰画像ＭＢＰを見ることで、２つのカメラ俯瞰画像を別々に見ることなく要注意立体物ＭＳＳを確認できる。本実施形態では、実際、圧縮合成領域Ｒ０に、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂを圧縮変形され繋ぎ合わされる。しかも、要注意立体物ＭＳＳの基準位置ＲＰと車両αとを結ぶ結合境界線ＲＬを境に圧縮変形が行われる。それゆえ、合成俯瞰画像ＭＢＰにおいて、車両αの運転中、観視者が最も注意しなければならない要注意立体物ＭＳＳの基準位置ＲＰの車両αに対する位置関係は保たれる。また、要注意立体物ＭＳＳは、合成俯瞰画像ＭＢＰにおいて結合境界線ＲＬの方向に投影されたように見えるとともに、消失することなく一つにまとまって見える。

以上から説明したように、本俯瞰画像生成装置１によれば、共通領域Ｆ１２において立体物が消失することを回避しつつ、観視者が最も注意すべき車両周囲の立体物を把握しやすい合成俯瞰画像を生成可能となる。

次に、図１４を参照して、図９のステップＳ０１５の詳細な処理について説明する。

図１４において、合成俯瞰画像ＭＢＰの点Ｐ９０１は、圧縮合成領域Ｒ０の中の任意の点であり、画素値を決定すべき点である。なお、圧縮合成領域Ｒ０は、前述の通り、少なくとも延長線ＥＬａ，ＥＬｂを用いて囲まれる領域である。点Ｐ９０１の画素値は、元のカメラ俯瞰画像ＣＢＰａ又はＣＢＰｂにおける点Ｐ９０２の画素値を参照することで生成される。ここで、要注意立体物ＭＳＳの基準位置ＲＰは、ステップＳ０１５における処理の基準点（原点）として用いられる。

また、図１４において、点Ｐ９１２，Ｐ９１１は、以下のように定義される。カメラ２ａ，２ｂにより要注意立体物ＭＳＳは撮影され、撮影画像ＣＰａ，ＣＰｂが生成される。その後、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂに変換される。例えば、カメラ俯瞰画像ＣＢＰｂにおいては、前述の通り、要注意立体物ＭＳＳは、図１５に示すように、カメラ２ｂのカメラ設置位置Ｐｂにおける鉛直方向真下の地点から、基準位置ＲＰに伸ばした延長線ＥＬｂの方向に倒れこむ。つまり、要注意立体物ＭＳＳは路面βに投影されることになる。カメラ俯瞰画像ＣＢＰａについても、同様の現象が起こり、要注意立体物ＭＳＳは延長線ＥＬａの方向に倒れこむ。

点Ｐ９１１は、図１４に示すように、要注意立体物ＭＳＳにおける基準位置ＲＰの鉛直方向真上の、ある高さの部分を路面βに投影した際のカメラ俯瞰画像ＣＢＰｂ上にあり、基準位置ＲＰからの距離がＬｓの点である。

点Ｐ９１２は、図１４及び図１５に示すように、要注意立体物ＭＳＳにおける基準位置ＲＰの鉛直方向真上のある高さＨの部分を路面βに投影した際のカメラ俯瞰画像ＣＢＰａ上の点であり、基準位置ＲＰからの距離がＬｆの点である。

また、図１４に示す点Ｐ９１３は、結合境界線ＲＬ上にあって、該点Ｐ９１３の基準位置ＲＰからの距離がＬｃの点である。

また、点Ｐ９１４は、基準位置ＲＰから上記点Ｐ９０１へ向かって引いた直線上の点であり、基準位置ＲＰからの距離がＬtrg の点である。

点Ｐ９１５は、基準位置ＲＰから上記点Ｐ９０２へ向かって引いた直線上の点であり、基準位置ＲＰからの距離がＬsrc の点である。

また、点Ｐ９１１と点Ｐ９１２とが基準位置ＲＰに対してなす角度をφsrc とし、点９１１と点９１３とが基準位置ＲＰに対してなす角度をφtrg とし、点Ｐ９１３と点Ｐ９１４とが基準位置ＲＰに対してなす角度をθtrg とし、点Ｐ９１２と点Ｐ９１５とが基準位置ＲＰに対してなす角度をθsrc とする。

ここで、圧縮合成領域Ｒ０において、画素値を決定すべき点Ｐ９０１の座標値Ｐtrg が与えられたとき、その画素値を決定するために参照すべき点Ｐ９０２の座標値Ｐsrc を求める方法を説明する。

ステップＳ０１２にて、圧縮合成領域Ｒ０が決まると、基準位置ＲＰを始点とする延長線ＥＬａ，ＥＬｂ上の点Ｐ９１２、点Ｐ９１１までの距離Ｌｆ，Ｌｓが求まる。図１５に示すように、Ｌｆは、基準位置ＲＰから、基準位置ＲＰを基準とする高さＨの位置がカメラ設置位置Ｐａに設置されたカメラ２ａによって路面βに投影される点Ｐ９１２までの距離である。また、圧縮合成領域Ｒ０と結合境界線ＲＬとが決まると、上記角度φsrc ，φtrg の算出が可能となる。基準位置ＲＰから結合境界線ＲＬ上の点Ｐ９１３までの距離Ｌｃは、下式（１）により定義できる。

Lc = Ls - ( Ls - Lf ) × φtrg／φsrc …（１）
圧縮合成領域Ｒ０に合成されるべき画像は、前述の部分カメラ俯瞰画像ＣＢＰａ’，ＣＢＰｂ’のそれぞれを圧縮合成領域Ｒ０の範囲に合うように圧縮することで生成される。圧縮合成領域Ｒ０における点Ｐ９０１の座標Ｐtrg の画素としては、部分カメラ俯瞰画像ＣＢＰｂ’において参照すべき点Ｐ９０２の座標Ｐsrc を求め、その画素値が用いられる。

ここで、圧縮合成領域Ｒ０内の点Ｐ９０１と基準位置ＲＰとを通る直線に対して、結合境界線ＲＬが基準位置ＲＰで成す角度をθtrg とすると、基準位置ＲＰから長さＬtrg だけ離れた点Ｐ９１４が得られる。ここで、Ｌtrg は、下式（２）で与えられる。

Ltrg = (Ls - Lc ) × θtrg ／φtrg + Lc …（２）
続いて、基準位置ＲＰと点Ｐ９１２を通る直線に対して、参照すべき点Ｐ９０２が基準位置ＲＰで成す角度θsrc は、下式（３）で与えられる。

θsrc = φsrc ／φtrg × θtrg …（３）
また、点Ｐ９１５は、基準位置ＲＰと、参照すべき点Ｐ９０２とを通る直線上の点で、基準位置ＲＰから長さＬsrc だけ離れている。ここで、Ｌsrc は、下式（４）で与えられる。

Lsrc = (Ls - Lf ) × θsrc ／φsrc + Lf …（４）
参照すべき点Ｐ９０２の座標Ｐsrc は、下式（５）によって算出される。なお、座標値Ｐtrg ，Ｐsrc は、２次元のベクトルと考える。

Psrc ＝ R × Lsrc ／ Ltrg × Ptrg …（５）
ここで、Ｒは、以下の２行×２列の回転行列である。

上記回転行列において、θd は下式（６）である。

θd = θsrc -φsrc - θtrg + φtrg …（６）
上記ステップＳ０１５では、以上の回転行列を用いて、部分カメラ俯瞰画像ＣＢＰｂ’の各画素を回転させることで、部分カメラ俯瞰画像ＣＢＰ’が圧縮領域Ｒｂに含まれるように圧縮変形される。なお、部分カメラ俯瞰画像ＣＢＰａ’の各画素に対しても同じ要領で圧縮変形される。

このようにして生成された圧縮後の部分カメラ俯瞰画像ＣＢＰａ’，ＣＢＰｂ’は結合境界線ＲＬを境にして繋ぎ合される。

以上説明した処理により、本俯瞰画像生成装置１は、前述の共通領域Ｆ１２にて重なり合う撮像範囲ＣＡＭ０，ＣＡＭ１を撮影する複数のカメラ２ａ，２ｂと接続される。このような共通領域Ｆ１２における、立体物、特に要注意立体物ＭＭＳの消失が起こらない合成俯瞰画像ＭＢＰを本俯瞰画像生成装置１は生成する。また、上述の圧縮変形処理及び繋ぎ合せ処理により、要注意立体物ＭＭＳについては消失が防止されるため、車両αと、その周辺の要注意立体物ＭＭＳとの位置関係が把握しやすい合成俯瞰画像ＭＢＰを観視者に提供することができる。

なお、以上の実施形態では、要注意立体物ＭＭＳの検出を撮影画像ＣＰａ、ＣＰｂを用いて行っていたが、これに限らず、例えばアクティブセンサを用いて車両α周辺の立体物までの距離を測定し、測定結果を用いて要注意立体物ＭＭＳの検出を行っても構わない。

また、以上の実施形態では、要約すると、撮影画像ＣＰａ，ＣＰｂという原画像から、カメラ俯瞰画像ＣＢＰａ，ＣＢＰｂという中間画像を作成した後、合成俯瞰画像ＭＢＰが作成されていた。しかし、合成俯瞰画像ＭＢＰは、撮影画像ＣＰａ，ＣＰｂから直接作成されても構わない。

本発明に係る俯瞰画像生成装置１は、観視者が最も注意すべき車両周囲の立体物を把握しやすい合成俯瞰画像を提供することができる車両周囲監視装置として有用である。

本発明の一実施形態に係る俯瞰画像生成装置１の構成を示すブロック図 図１に示すカメラ１ａ，１ｂの車両αに対する取り付け位置を示す模式図 図２に示すカメラ２ａ，２ｂによる撮影画像ＣＰａ，ＣＰｂを例示する図 図１に示す立体物検出部５の要注意立体物ＭＳＳを示す模式図 図２に示す撮影画像ＣＰａ，ＣＰｂに基づくカメラ俯瞰画像ＣＢＰａ，ＣＢＰｂを例示する図 図４に示すカメラ俯瞰画像ＣＢＰａ，ＣＢＰｂに基づく合成俯瞰画像ＭＢＰを例示する図 図１に示す俯瞰画像生成装置１の動作を示すフローチャート 図７のステップＳ００８で用いられる圧縮合成領域を示す模式図 図７のステップＳ００８の詳細な処理手順を示すフローチャート 部分カメラ俯瞰画像ＣＢＰａ’，ＣＢＰｂ’を示す模式図 図９のステップＳ０１５の処理を示す第１の模式図 図９のステップＳ０１５の処理を示す第２の模式図 図９のステップＳ０１６の処理を示す模式図 図９のステップＳ０１５の詳細な処理を示す模式図 カメラ俯瞰画像ＣＢＰｂへの立体物（要注意立体物ＭＳＳ）の投影を示す模式図

符号の説明

１ 俯瞰画像生成装置
２ 撮像部
２ａ，２ｂ カメラ
３ マッピングテーブル格納部（ＭＰＴ格納部）
４ マッピングデータ作成部（ＭＰＤ作成部）
５ 立体物検出部
６ カメラ俯瞰画像生成部
７ 合成俯瞰画像生成部
８ 表示装置
α 車両
β 路面

Claims (5)

1. 共通領域にて重なり合う複数の撮像範囲を撮影する複数のカメラと接続され、各カメラからの撮影画像を使って、車両の周囲状況を表す合成俯瞰画像を生成する俯瞰画像生成装置であって、
   車両周囲の立体物を検出する立体物検出部と、
   各前記カメラの撮影画像に基づき前記合成俯瞰画像を合成する合成俯瞰画像生成部とを備え、
   前記合成俯瞰画像生成部は、
   前記立体物検出部により検出された立体物に基づき、生成すべき合成俯瞰画像において、前記共通領域に相当する領域に含まれる圧縮合成領域及び結合境界線を導出する導出部と、
   各前記カメラからの撮影画像から、前記導出部で導出された圧縮合成領域に相当する部分を、複数の部分撮影画像として切り出す切出し部と、
   前記導出部で導出された圧縮合成領域を結合境界線で区分した圧縮領域に、前記切出し部で切り出された各部分画像を圧縮して変形する圧縮変形部とを含む、俯瞰画像生成装置。
2. 各前記カメラの撮影画像毎に視点変換されたカメラ俯瞰画像を生成するカメラ俯瞰画像生成部をさらに備え、
   前記合成俯瞰画像生成部は、前記カメラ俯瞰画像生成部により生成された各カメラ俯瞰画像に基づき合成俯瞰画像を生成する、請求項１に記載の俯瞰画像生成装置。
3. 前記圧縮合成領域は、各前記カメラ俯瞰画像において、前記立体物検出部により検出された立体物が路面に投影された方向への延長線により定義される、請求項２に記載の俯瞰画像生成装置。
4. 前記結合境界線は、前記車両の所定位置から、前記立体物検出部により検出された立体物へと延びる線である、請求項２に記載の俯瞰画像生成装置。
5. 前記立体物検出部は、前記車両に最も近い立体物を、要注意立体物として検出し、
   前記導出部は、前記立体物検出部により検出された要注意立体物に基づき、前記共通領域に含まれる圧縮合成領域及び結合境界線を導出する、請求項１に記載の俯瞰画像生成装置。