JP2009524171A - 複数の画像を結合して鳥瞰図画像にする方法 - Google Patents

Abstract

複数の隣接した画像を結合して、鳥瞰図の完全画像にする際、歪みに加えて不連続ポイントが、個々の画像部分の重複領域に形成されることがあり、この場合、検出された物体は、遠近感が異なることにより検出することができない。したがって、本発明の目的は、複数の画像を結合して鳥瞰図の完全画像にする方法であって、少なくとも２つの重複又は隣接する周囲領域の画像が異なる画像撮影位置（２、３）から撮像される方法を提供することである。次に、画像は鳥瞰図に変換され、変換された画像の画像部分が結合されて、鳥瞰図の完全画像が形成される。画像部分は、第１の画像部分（７、８）から第２の画像部分（８、７）への遷移中に、移動中の物体により生じる影（５、６）が完全画像において、予め規定される基準表面上で本質的に同じ方向に投影されるように結合される。

Description

本発明は、複数の画像を結合して合成鳥瞰図画像を形成する方法に関する。

従来技術から、異なる撮影位置（記録位置）及び／又は撮影方向（記録方向）から撮像されるいくつかの画像を結合して合成画像を形成することが知られている。この理由は、往々にして、可能な限り広い周囲エリアを、単一の画像で再現できるということである。これは、例えば、複数の画像を結合してパノラマ画像を形成する写真技術から知られている。コンピュータユニットにより異なるイメージセンサ（カメラ、レーダ、・・・）からのいくつかの画像を結合して、合成画像を形成することも知られている。しかし、この状況において、通常、結合前に、各画像情報アイテムを互いに適合させる必要があるため、多量の処理作業が存在する。例えば、異なる解像度を有する、又は異なる波長範囲（ＩＲ、ＶＩＳ、・・・）に感度を有する数台のカメラからの画像が結合されて、合成画像が形成される。さらに、パノラマ画像又は他の任意の視点から撮影された画像を鳥瞰図画像表現に変換することが知られている。例えば、鳥瞰したこのような表現は車載カメラにより周囲を撮像する場合に使用され、この場合、例えば、周囲の鳥瞰図画像が、駐車中のドライバーに対してディスプレイに表される。

特許文献１は、いくつかの画像記録ユニット及び画像を結合するユニットを有するモニタ装置を開示している。記録された画像は、視角を適合させることにより、いずれの場合も、同じ傾斜角を有する概観画像に変換される。広帯域概観画像が、画像を結合するユニットにより概観画像をすべてまとめることにより生成され、すべての概観画像の同一風景が重ねられる。広帯域概観画像では、いずれの場合も、歪みが最小になるように、最高画質の重複エリアを有する概観画像がすべての概観画像から選択される。ある手法によれば、最高画質を有する概観画像は、特定の物体が重複エリア内で最大の物体として表される概観画像である。別の手法によれば、最高画質を有する概観画像は、視角変換前及び後の重複エリア内の特定の物体の傾斜角変化の絶対値が最小である概観画像である。

特許文献２は、異なる遠近感を有するいくつかの合成画像を重ねて合成画像を形成する場合、歪みが発生することを開示している。これは、後方確認用カメラ及び車両の上方に配置されたバーチャルカメラにより撮像された駐車車両の画像の例を使用して示されている。この状況において、三次元移動体上にある視点のみが合成画像形成のための変換に適し、移動体よりも上にある物体は、合成画像では歪んで表される。そのため、ドライバーを支援するために提示される装置を使用して、撮像される周囲の画像がまず、画像記録装置の上方の仮想視点から見える画像又は路面モデルに基づいて、直交する上方から投影された画像に変換される。次に、路面についての三次元情報と異なる三次元情報が、画像間の視差に基づいて検出される。次に、検出された三次元情報に基づいて、歪み補正が行われる。

独国特許出願公開第１０２００５０２３４６１Ａ１号明細書 独国特許出願公表第１０２９６５９３Ｔ５号明細書

本発明は、必要な処理作業が少なく、画像情報を確実に再現することができる、複数の画像を結合して合成鳥瞰図画像を形成する方法を提供するという目的に基づく。

この目的は、請求項１の特徴を有する方法により、本発明により達成される。有利な改良及び発展が従属請求項に提示される。

本発明によれば、複数の画像を結合して合成鳥瞰図画像を形成する方法が提案される。この状況において、重複する、又は隣接する周囲エリアの少なくとも２枚の画像が、異なる画像撮影位置から撮像される。次に、少なくとも２枚の画像は鳥瞰図に変換され、変換された画像の画像部分が結合されて、合成鳥瞰図画像が形成される。画像部分は、本明細書では、第１の画像部分と第２の画像部分との間の接合部における移動中の物体に起因する影が、予め規定された基準表面上に本質的に同じ方向に投影されるように選択される。その結果、本発明は、わずかな処理作業で画像情報を容易に再現できるようにする。同時に、特に恩恵を受ける方法では、少なくとも２つの画像部分間で移動し変化する隆起状の物体さえも、合成鳥瞰図画像でいつでも見ることができる。これは、本発明を使用しない場合であれば必ずしも当てはまるケースではないだろう。なぜなら、合成画像内の画像部分間の接合エリアでは、スケーリングの影響により飛越しが発生し、したがってこの接合エリアにある物体が少なくとも一時的に見えなくなるためである。この説明は、物体の画像は２つの異なる撮影位置から撮影されたものであり、また、これら２つの撮影位置の間にある物体は、各画像において異なる視点から見られ得るということである。個々の画像部分が結合されて、合成鳥瞰図画像が形成される際に、これらの異なる遠近感は、合成鳥瞰図画像内の２つの画像部分間の接合エリアのスケーリングの相違に繋がり、この理由により、接合エリアの隆起状の物体が歪んで再現され、又はさらには完全に見えなくなる。この理由により、鳥瞰図への変換が行われる際に基準平面が規定され、基準平面内にある物体は常に見え、歪んで表されない。これとは対照的に、基準平面の上方にある物体は歪んで表される。ここで、歪みは、基準平面からの物体の距離が増すにつれて増大する。物体が垂直方向に拡がりを有し、基準平面から突き出る場合、その物体は、合成画像の第１の画像部分と第２の画像部分との接合部において少なくとも一時的に見えなくなる。ここで、物体が接合部で見えない時間は、撮影位置からの距離が増すにつれて、又は接合エリアの遠近感の差異が増すにつれて増大する。本発明による方法は、合成画像における第１の画像部分と第２の画像部分との接合部にある移動中の物体により生じる影が、予め規定された基準表面上に本質的に同じ方向に投影されるように画像部分が選択されることにより、物体が隣接する画像部分の接合部で見えなくなることを回避する。その結果、合成画像において画像部分の接合部にある物体が異なるスケーリングで表される場合であっても、物体はいつでも見える。したがって、本発明による方法が使用される場合、ユーザは、物体の存在について高い信頼性をもって知らされるので、本方法には、複雑な３Ｄ画像データ評価及び物体追跡のいずれも必要ない。

異なる撮影位置から取得された画像情報は、まず、予め規定された基準表面上に投影されることにより鳥瞰図に変換される。次に、投影された画像情報の画像は、好ましくは、基準表面の上方にある仮想位置からピンホールカメラモデルにより鳥瞰して撮像される。本発明による特定の有利な方法では、基準表面はここでは、画像撮影位置が上方に配置された地面に近似する平面又は前記平面に平行な平面である。仮想カメラ位置及び基準平面からの位置を変えることにより、合成鳥瞰図画像においてスケーリングを適合させることが可能である。

本発明の範囲内において、個々の画像又は個々の画像部分は、通常、互いに独立して鳥瞰図に変換される。ここで、異なる撮影位置から撮像された画像を鳥瞰図に完全に変換することが可能であり、この状況において、次に、変換された画像を使用して、表示又はさらなる処理に適した画像部分を選択することができる。しかし、これに対する代替として、本発明によるさらなる有利な方法において、少なくとも２つの画像部分が、鳥瞰図への変換前にすでに選択されていることも可能である。その結果、変換すべき画像データの量が有利に低減され、これは処理作業を大幅に低減させる。

少なくとも２つの画像及び／又は画像部分の表面積比が異なることも有利である。少なくとも２つの画像が、使用されるイメージセンサ又はセンサにより同じサイズを有する場合であっても、画像又は画像部分のサイズが、異なるサイズのエリアを有するように適合されることが適切である。その結果、鳥瞰図への変換が行われる際に、情報が、ユーザに対して直観的によりもっともらしいように提示される。本発明の好ましい一実施形態では、変換は、好ましくは、合成画像において、画像の画像構成要素のおよそ３／４が第１の画像撮影位置からのものであり、別の画像の画像成分のおよそ１／４が第２の画像撮影位置からのものであるように行われる。その結果、合成画像での少なくとも２つの画像部分の表面積比はおよそ３：４である。２つの画像部分の接合部は、この状況において、好ましくは、合成画像の中心を垂直に延びる境界線に沿わず、好ましくは、合成画像内の画像部分の間を非対称に延びる境界線に沿う。この状況において、境界線は必ずしも直線である必要はなく、ここでは、例えば、イメージセンサシステムの配置及び／又はその設計に応じて曲線であってもよい。

特定の好ましい一実施形態では、ルックアップテーブルと呼ばれる参照テーブルが、画像の鳥瞰図への変換に使用される。このために、鳥瞰図に変換された画像同士の関係の説明が、メモリ内のデータ構造に記憶される。したがって、変換中、複雑でコストのかかる実行時間問題が、このデータ構造への単純なアクセスで置き換えられる。この方策は、処理作業を大幅に低減する有利な方法に繋がる。

好ましくは、可視波長スペクトル及び不可視波長スペクトルの両方に感度を有することができるイメージセンサ、例えば、ＣＣＤ又はＣＭＯＳセンサが、本発明による方法での使用に適する。本発明の状況では、画像はここでは標準化されたイメージセンサの画像である。イメージセンサがその使用中に永久的に配置され、少なくとも２つの画像撮影位置及び／又はセンサ向きが変わらない場合、有利なことに、イメージセンサ又はセンサの１回の標準化で完全に十分である。しかし、画像撮影位置及び／又はセンサ向きが変わる場合、標準化の更新が必要である。画像処理分野の当業者は、このためにカメラを標準化するいくつかの方法を従来技術からすでに知っている。

画像が全方向性カメラにより撮像されることが特に有利である。このようなカメラは従来技術からすでに知られており、本質的に、カメラチップ及びミラーを備える。したがって、単一の画像を使用して、最高で３６０°までの周囲エリアを撮像することが可能である。本発明の状況では、複数の全方向性カメラが使用される場合、カメラは、共通の座標系で基準平面に標準化される。

本発明による方法は、自動車両の周囲を撮像するために特に有利に使用される。ドライバーが障害物又は他の道路使用者を見逃さないように、車両の周囲の合成鳥瞰図画像が、車両の室内のディスプレイに表示される。この状況において、車両の周囲を、直観的でより詳細な画像部分の適した選択によりドライバーに対して表示することができる。車両の周囲は、好ましくは、ここでは途切れることなく表される。この状況において、ドライバーが普通ならば車両ミラーで見ることができない領域を含め、車両の周囲のすべての死角領域も撮像される。実際には、車両全体又は人物全体でさえも車両の死角領域で「消える」可能性があることが分かっている。本発明による方法が使用される場合、死角領域に含まれる物体も、鳥瞰した途切れのない描写だけでドライバーに確実に表示される。前記物体が上昇して移動する場合であっても、ここでは、合成画像内の個々の画像部分の接合点での遠近感による飛越しは発生せず、むしろ、歪みのみが発生するため、これらエリアの物体は合成画像においていつでも完全に見られる。物体は、この状況において、例えば、衝突が迫っている場合、ドライバーが確実に物体に気付くことができるように、光学ディスプレイにおいてカラーでハイライトすることができ、また点滅して表すことができる。しかし、光学ディスプレイと同様に、例えば、音響警告信号も適する。適したサウンドシステムを使用して、音響警告信号を方向依存的に出力することもできる。本方法を使用して取得された物体の存在に関連する結果をさらに処理し、ひいては、例えば、車両移動ダイナミクスでの自動介入のための制御信号を生成する可能性、ひいては、衝突を回避する可能性もある。乗用車での使用の他に、本方法は、例えば、特にトラック、バス、又は建設車両での使用にも適する。何故ならば、このような状況では、ドライバーが車両の上部構造により車両の周囲の良好な視界を有さないためである。本方法を使用することにより、例えば、駐車の際、交通交差点を曲がる際、又は操縦の際に、ドライバーを有利に支援することができる。中でも、車両ミラー付近の位置が車載イメージセンサの配置に理想的である。例えば、いずれの場合も、車両のフロント部の前にある死角領域及び車両の両側の死角領域の両方を撮像するために必要なのは、車両の正面の各外側コーナーに１つの全方向性カメラのみである。

本発明のさらなる特徴及び利点が、図面に基づく好ましい実施形態例の以下の説明から明らかになる。

図１は、影の方向が異なる２つの撮影位置からの周囲画像の撮像を例として示す。ここで、車両は鳥瞰した道路車両（１）であり、この車両には、車両のフロント部の各外側コーナーに全方向性カメラ（２、３）が備えられている。ここで、画像部分（７、８）を規定する境界線（４）は、物体によって生じる影（５、６）が基準平面上に異なる方向に投影されるように選択された。例示的な実施形態の説明では、以下の説明文において、基準平面が図の平面にあるものと仮定する。画像部分（７）において境界線（４）の左側にある物体は、全方向性カメラ（２）により撮像され、画像部分（８）において境界線（４）の右側にある物体は、全方向性カメラ（３）により撮像される。物体が画像部分（７、８）の間を通過する際、歪み及び飛越しの両方が、物体の高さに応じて境界線（４）で発生し得る。基準平面にある物体は、画像の画像部分（７、８）において同じ位置に投影される。これとは対照的に、基準平面外にある物体は、画像部分（７、８）において異なる場所に投影される。このため、基準平面より高い位置にある物体は境界線（４）の領域で見えなくなる。合成画像において同じサイズの画像部分（７、８）を供給する全方向性カメラ（２、３）の配置により、境界線（４）の領域における物体は、異なる視点から見られ、こういった物体によって生じる影（５、６）が基準平面において異なる方向に投影される。境界線（４）の領域にあり、全方向性カメラ（２）により撮像された物体は、基準平面において影（５）を生じさせ、この影は合成鳥瞰図画像において右を向く。一方、同じ物体が全方向性カメラ（３）により撮像される場合、合成鳥瞰図画像において左を向いた影（６）が基準平面に生成される。

図２は、影の方向がおよそ同じ２つの撮影位置からの周囲の画像の撮像を例として示す。図１に示す状況とは対照的に、画像部分（７、８）を選択する境界線（４）は、ここでは、物体によって生じる影（５、６）が基準表面上に本質的に同じ方向に投影されるように選択されている。合成鳥瞰図画像では、境界線（４）は、全方向性カメラ（３）から見た場合、全方向性カメラ（２）が設置されている位置を通る。車両（１）の正面にある周囲エリアは、この場合、全方向性カメラ（３）を使用して撮像され、合成画像において、境界線（４）の上にある画像部分（７）として表される。車両（１）の左隣のエリアは、全方向性カメラ（２）を使用して撮像され、合成画像において、境界線（４）の下にある画像部分（８）として表される。このように延びる境界線（４）を選択することにより、合成画像において境界線（４）の領域にある物体により生じる影（５、６）は別様にスケーリングされるが、物体の高さに関係なく、影は合成画像でいつでも見える。境界線（４）のプロファイルは、画像部分（７、８）の接合部が左ハンドル車両のドライバー側にあるように有利に選択された。その結果、車両（１）の右側の比較的大きな死角領域が、全方向性カメラ（３）を使用して撮像され、この側に画像部分の接合部はない。しかし、境界線（４）により接合部を車両（１）の右側にすることも等しく可能である。さらに、境界線（４）を合成画像において水平にする必要はない。斜めプロファイルの境界線（４）も考えられ、この場合、合成画像において第１の画像部分（７、８）と第２の画像部分（８、７）との接合部にある移動中の物体により生じる影（５、６）が、予め規定された基準表面上に本質的に同じ方向に投影されることを保証する必要がある。

影の方向が異なる２つの撮影位置からの周囲の画像の撮像を示す。 影の方向が同じ２つの撮影位置からの周囲の画像の撮像を示す。

符号の説明

１ 車両
２、３ 全方向性カメラ
４ 境界線
５、６ 影
７、８ 画像部分

Claims (10)

1. 複数の画像を結合して合成鳥瞰図画像を形成する方法であって、
   重複又は隣接する周囲エリアの少なくとも２つの画像が、異なる画像撮影位置から撮像され、
   前記少なくとも２つの画像が鳥瞰図に変換され、
   変換された画像の画像部分（７、８）が結合されて、合成鳥瞰図画像が形成され、
   前記画像部分（７、８）が、前記合成画像の第１の画像部分（７、８）と第２の画像部分（８、７）との間の接合部にある移動中の物体により生じる影（５、６）が、予め規定される基準表面上に同じ方向に投影されるように選択される、方法。
2. 前記基準表面は、前記画像撮影位置が上方に配置された地面に近似する平面又は該平面に平行な平面であることを特徴とする、請求項１に記載の方法。
3. 前記少なくとも２つの画像部分（７、８）が、前記鳥瞰図への変換前にすでに選択されていることを特徴とする、請求項１又は２に記載の方法。
4. 前記少なくとも２つの画像及び／又は画像部分（７、８）の前記表面積比が異なることを特徴とする、請求項１〜３のいずれか１項に記載の方法。
5. 前記表面積比が３：４であることを特徴とする、請求項４に記載の方法。
6. 境界線（４）が前記合成画像において前記画像部分の間を非対称に延びることを特徴とする、請求項１〜５のいずれか１項に記載の方法。
7. 参照テーブルが、前記画像の鳥瞰図への変換に使用されることを特徴とする、請求項１〜６のいずれか１項に記載の方法。
8. 前記画像が、標準化されたイメージセンサの画像であることを特徴とする、請求項１〜７のいずれか１項に記載の方法。
9. 前記画像が全方向性カメラ（２、３）により撮像されることを特徴とする、請求項１〜８のいずれか１項に記載の方法。
10. 自動車両（１）の周囲を撮像するための請求項１〜９のいずれか１項に記載の方法の使用。

Images