JP2010533282A - 多視点パノラマを生成する方法及び装置 - Google Patents

Abstract

ロードサイドの多視点パノラマを生成する方法が開示される。方法は、移動車両上に装着された少なくとも１つの地上レーザスキャナにより取得され、各々が位置データ及び方向データと関連付けられるレーザスキャンサンプルのセットを得ることと、少なくとも１つの画像シーケンスを得ることであり、各画像シーケンスは移動車両上に装着された地上カメラを使用して取得され、少なくとも１つの画像シーケンスの各画像は位置データ及び方向データと関連付けられる少なくとも１つの画像シーケンスを得ることと、レーザスキャンサンプルのセットから表面を導き出すこと及びレーザスキャンサンプルと関連付けられる位置データに依存して前記表面の場所を決定することと、表面の場所、並びに各画像と関連付けられる位置データ及び方向データに依存して、少なくとも１つの画像シーケンスから前記表面に対する多視点パノラマを生成することとを含む。

Description

本発明は、多視点パノラマを生成する方法に関する。本発明は、更に、多視点パノラマからロードサイドパノラマを生成する方法に関する。本発明は、更に、多視点パノラマ用の装置、コンピュータプログラム製品及びコンピュータプログラム製品を保持するプロセッサ可読媒体に関する。本発明は、更に、ロードサイドパノラマを使用するコンピュータにより実現されるシステムに関する。

今日、ユーザは、ナビゲーション装置を使用して、道路に沿って運転するか又はインターネット上のマップ表示装置を使用する。ナビゲーション装置は、表示装置において、平面透視投影画像、角度透視投影画像（鳥観図）又は場所の可変の変倍「２Ｄ」マップを示す。道路に関する情報又は湖及び公園等の領域に関するいくつかの簡単な属性情報のみが表示装置に表示される。この種の情報は、実際には場所の抽象的な表現であり、（実際に又は仮想的に）表示装置に表示される場所に位置付けられる人間又はカメラにより見られるものを表示しない。いくつかのインターネットアプリケーションは、衛星又は航空機から撮影される上から見下ろした写真を示し、更に少ないアプリケーションは、ユーザの（実際又は仮想の）場所に近接するかもしれない道路から、ユーザが見ようとしているのと概して同一の方向を向いて撮影された、限られた枚数の写真の集合を示す。

今後のナビゲーション装置及びインターネットアプリケーションにおいて、より正確且つ写実的なロードサイドビューに対する要求がある。ロードサイドビューにより、ユーザは、特定の場所において見られるものを見ることができ、ナビゲーション装置が正しい場所を使用するかを運転中に非常に容易に検証できるか、あるいはインターネット上でクエリされた関心位置が実際に必要な場所なのか又は個人的又は仕事上の理由でその領域の更に詳細を見ているだけなのかを検証できる。表示装置において、ユーザは、表示装置上で見られる建物がロードサイドで見られる建物に対応するか、あるいはメモリ又は他の記述からの構想に対応するかが瞬時に分かる。種々の視点からキャプチャされる画像から生成されるパノラマ画像は、多視点又は多眺望であると考えられる。別の種類のパノラマ画像は、スリットスキャンパノラマである。最も簡単な形式において、ストリップパノラマは、水平軸に沿った正射投影画像及び鉛直軸に沿った透視投影画像を示す。

多視点パノラマを生成するシステムは、Photographing long scenes with multi-viewpoint panoramas、Aseem Agarwala他、ACM Transactions on Graphics (Proceedings of SIGGRAPH 2006)、２００６年から周知である。都市の通りに沿った建物のファサード等、長くてほぼ平面であるシーンの多視点パノラマを生成するシステムは、ハンディータイプのスチルカメラで撮影される写真の、比較的まばらな集合から生成する。ユーザは、写真撮影されたシーンの主要な平面を識別する必要がある。その後、システムは、マルコフ・ランダム・フィールド最適化を使用して自動的にパノラマを計算する。

周囲にあるものの写実的な画像を示す別の技術は、領域の完全な３Ｄモデルを開発し、写実的なテクスチャを各建物の外面に適用することである。ナビゲーションユニットにおけるアプリケーション又はインターネット上のアプリケーション等のアプリケーションは、３Ｄレンダリングソフトウェアを使用して周囲の物体の写実的な写真を構成できる。

本発明の目的は、３Ｄモデルを開発する追加のコスト及び複雑さを伴わずに、擬似現実的な透視投影画像を得るために操作することが容易な、高品質で解釈が容易な、ほぼ写真品質の仮想表面を表す画像セットを提供する別の方法を提供することである。

本発明によると、方法は：
−移動車両上に装着されたレーザスキャナにより取得され、各々が位置データと関連付けられるレーザスキャンサンプルのセットを得ることと；
−各画像シーケンスは移動車両上に装着された地上カメラを使用して取得されており、少なくとも１つの画像シーケンスの各画像は位置データ及び方向データと関連付けられている、少なくとも１つの画像シーケンスを得ることと；
−レーザスキャンサンプルのセットから表面を導き出すこと及びレーザスキャンサンプルと関連付けられる位置データに依存して前記表面の場所を決定することと；
−表面の場所、並びに各画像と関連付けられる位置データ及び方向データに依存して、少なくとも１つの画像シーケンスから前記ポリゴンに対する多視点パノラマを生成することとを含む。

本発明は、地表を走行するモバイルマッピング車両が地上カメラにより地表で収集された地理的位置画像シーケンスを記録するという認識に基づく。更に、モバイルマッピング車両は、ソフトウェアがレーザスキャナサンプルからの距離情報からモバイルマッピング車両の周囲の３Ｄ表現を生成することを可能とする、レーザスキャナサンプルを記録する。車両の位置及び方向は、１つ以上のジャイロスコープ及び／又は加速度計等の慣性測定デバイス、並びにＧＰＳ受信機を使用して決定される。また、車両に対するカメラの位置及び方向、従って周囲の３Ｄ表現に対するカメラの位置及び方向は周知である。視覚的に魅力的な多視点パノラマを生成するためには、カメラとパノラマの表面との距離が周知である必要がある。パノラマは、建物の表面から通りのロードサイドパノラマまで変化するロードサイドのビューを示すことができる。これは、既存の画像処理技術により行なわれるが、多くのコンピュータ処理能力を必要とする。本発明によると、表面は、レーザスキャナデータの処理により決定される。これは、表面の位置を決定するのに画像処理技術のみを使用するよりも非常に少ない処理力で済む。次に、多視点パノラマは、決定された表面に記録される画像又は画像のセグメントを投影することにより生成される。

カメラ及びレーザスキャナの地理的位置は、搭載された位置決めシステム（例えば、ＧＰＳ受信機）、並びに他の更なる位置決定機器及び方向決定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）を使用することにより正確に知られる。

本発明の更なる改善点は、３Ｄモデルの計算に必要な処理時間及び完全な３Ｄモデルをレンダリングするのに必要な処理時間なしで、３Ｄ画像のリアル感をいくらか示す画像を提供する機能である。３Ｄモデルは、複数のポリゴン又は表面を具備する。完全な３Ｄモデルをレンダリングするには、３Ｄモデルが特定の側面から見られる場合にポリゴンが見られるかをポリゴン毎に評価する必要がある。ポリゴンが見られる場合、ポリゴンは画像上に投影される。本発明に係る多視点パノラマは、外観全体に対して１つの表面のみである。

本発明の更なる実施形態は、従属請求項において規定されている。

本発明の一実施形態において、生成することは：
−少なくとも１つの画像シーケンスの全ての画像において、表面の一部を見ることを妨げる１つ以上の障害物を検出することと；
−１つ以上の障害物のうちの１つのビューを多視点パノラマに投影することとを含む。レーザスキャナサンプルにより、どの障害物がカメラの前にあるか、及びどの障害物が生成される多視点パノラマの平面の位置の前に存在するか、を画像毎に検出できる。これらの特徴により、任意の画像において、平面のどの部分が不可視であり、障害物によって埋められるべきであるかを検出できる。これにより、パノラマにおいて可視でありファサードの前にある障害物の数を最小限にでき、その結果、全ての画像において表面の一部を見ることを妨げるわけではない障害物を、多視点パノラマから可能な限り除外できる。これにより、適切な視覚品質を有する、外観の多視点パノラマを提供できる。

本発明の更なる実施形態において、生成することは：
−任意の画像において、検出された障害物毎に完全に可視であるかを判定することと；
−検出された障害物が少なくとも１つの画像において完全に可視である場合、前記検出された物体のビュー、を前記少なくとも１つの画像のうちの１つから多視点パノラマへと投影することとを更に含む。これらの特徴により、パノラマにおいて部分的に視覚化される障害物の数を減少できる。これにより、多視点パノラマの魅力が増す。

本発明の一実施形態において、多視点パノラマは、ポリゴンに対して最も垂直に近い撮像角度に関連付けられている画像部分から生成されることが好ましい。この特徴により、画像から最高品質の多視点パノラマを生成できる。

本発明の一実施形態において、ロードサイドパノラマは、多視点パノラマを合成することにより生成される。共通の表面は、道路のセンターライン等の線に対して平行であるが離間しているロードサイドパノラマに対して決定される。共通の表面とは異なる位置を有する多視点パノラマは、共通の表面上に投影され、表面と線との間の距離に相当する距離において見られたかのように各多視点パノラマを示す。従って、共通の表面とは異なる位置を有する多視点パノラマにおいて物体を視覚化するパノラマが、ここでは同一距離から見られるように生成される。最適な視覚品質を取得するために障害物が多視点パノラマから可能な限り削除されたため、道路に沿った多くの障害物が視覚化されないロードサイドパノラマが生成される。

本発明に係るロードサイドパノラマは、通りに沿った建物の完全な３Ｄモデルをレンダリングするのに必要な処理時間なしで、通りの３Ｄビューのリアル感をいくらか示す画像を提供する機能を提供する。通りの３Ｄビューを提供する前記通りの３Ｄモデルを使用するには、通りに沿った建物毎又は各建物の部分毎にそれが見られるかを決定し、その後、建物又は建物の部分の各３Ｄモデルを３Ｄビューにレンダリングする必要がある。本発明に係るロードサイドパノラマは、通りの３Ｄビューのリアル感をいくらか示す画像を容易に提供する。ロードサイドパノラマは、共通の表面上に投影される場合に通りに沿った建物を示す。前記表面は、視野位置から最も離れた位置にある画素列から開始して視野位置から最近接の位置にある画素列まで、ロードサイドパノラマの画素列を３Ｄビュー上に連続して投影することにより擬似透視投影画像に容易に変換される。このように、写実的な透視投影画像が左側のロードサイドパノラマ及び右側のロードサイドパノラマの表面に対して生成される結果、通りの擬似現実的なビューが得られる。通りに沿った建物の３Ｄモデルを使用する場合、複数のポリゴンではなく、２つの表面を示す２つの画像のみが必要とされる。

本発明は、ソフトウェア、ハードウェア、あるいはソフトウェア及びハードウェアの組合せを使用して実現される。本発明の全て又は一部分がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐してもよい。適切なプロセッサ可読記憶媒体の例には、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等が含まれる。システムがハードウェアを含む場合、ハードウェアは、出力装置（例えば、モニタ、スピーカ又はプリンタ）、入力装置（例えば、キーボード、ポインティングデバイス及び／又はマイク）、並びに出力装置と通信するプロセッサ及びプロセッサと通信するプロセッサ可読媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するようにプロセッサをプログラムできるコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセスできるサーバにおいても実現可能である。

多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下に更に詳細に説明する。添付の図面は、本発明を例示することを意図し、添付の請求の範囲及びそれに等価な実施形態により規定される本発明の範囲を限定することを意図しない。

カメラ及びレーザスキャナを備えるＭＭＳシステムを示す図である。 場所パラメータ及び方向パラメータを示す図である。 本発明が実行されるコンピュータ装置を示すブロック図である。 本発明に従って道路情報を生成する処理の例示的な一実現例を示すフローチャートである。 レーザスキャンサンプルに基づくヒストグラムを示す図である。 ポリゴン検出の例示的な結果を示す図である。 仮想平面上にソース画像を投影することを示す透視図である。 仮想平面上にソース画像を投影することを示す上面図である。 仮想平面上にソース画像を投影することを示す側面図である。 異なる位置上で同一平面を記録する２つのカメラを示す上面図である。 図１０に示す状況から画像を示す透視図である。 ２つの画像からパノラマを合成する処理を示す図である。 異なる位置上で同一平面を記録する２つのカメラを示す上面図である。 図１３に示す状況からの透視画像である。 、 、 、 パノラマのアプリケーションを示す図である。 、 、 、 、 多視点パノラマを生成することからソース画像中に領域を見つける第２の実施形態を示す図である。 ソース画像の選択される部分を割り当てるアルゴリズムを示すフローチャートである。 ロードサイドパノラマの別の例を示す図である。

図１は、自動車１の形態をとるＭＭＳシステムを示す。自動車１は、１つ以上のカメラ９（ｉ）、i=1, 2, 3,... I及び１つ以上のレーザスキャナ３（ｊ）、j=1, 2, 3, ... Jを備える。撮像角度又は１つ以上のカメラ９（ｉ）は、自動車１の走行方向に対して任意の方向にあってもよいため、前方撮像カメラ、側方撮像カメラ又は後方撮像カメラ等であってもよい。自動車１の走行方向とカメラの撮像角度との角度は、双方の側面において４５度〜１３５度の範囲内であるのが好ましい。運転者は、対象の道路に沿って自動車１を運転する。例示的な一実施形態において、２つの側方撮像カメラが自動車１上に搭載され、２つのカメラ間の距離は２メートルであり、カメラの撮像角度は自動車１の走行方向に対して垂直であり且つ地表に対して平行である。別の例示的な実施形態において、自動車の片方の側面に対して水平な撮像角度を有し且つそれぞれ約４５°及び約１３５°の前方撮像角度を有する２つのカメラが自動車１上に搭載されている。更に、４５°の上方撮像角度を有する第３の側方撮像カメラが自動車上に搭載されてもよい。第３のカメラは、ロードサイドの建物の上部分をキャプチャするために使用される。

自動車１は、複数の車輪２を備える。更に自動車１は、高精度位置決定デバイスを備える。図１に示すように、位置決定デバイスは以下の構成要素を含む。

・アンテナ８に接続され、複数の衛星ＳＬｉ（i=1, 2, 3,...）と通信し且つ衛星ＳＬｉから受信される信号から位置信号を計算するように構成されるＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットは、マイクロプロセッサμＰに接続される。ＧＰＳユニットから受信される信号に基づいて、マイクロプロセッサμＰは自動車１のモニタ４に表示される適切な表示信号を決定してもよく、それにより自動車が位置する場所及び場合によっては自動車が移動している方向を運転者に通知する。ＧＰＳユニットの代わりにディファレンシャルＧＰＳユニットが使用されてもよい。ディファレンシャル全地球測位システム（ＤＧＰＳ）は、全地球測位システム（ＧＰＳ）を拡張したものであり、衛星システムにより示される位置と周知の固定位置との差をブロードキャストするために固定地上基準局のネットワークを使用する。それらの基準局は測定した衛星擬似距離と実際の（内部で計算された）擬似距離との差をブロードキャストし、受信機局は同一量だけ擬似距離を補正してもよい。

・ＤＭＩ（距離測定計器）。この計器は、１つ以上の車輪２の回転数を検知することにより自動車１が移動した距離を測定する走行距離計である。ＤＭＩは、マイクロプロセッサμＰに更に接続され、ＧＰＳユニットからの出力信号から表示信号を計算する一方で、マイクロプロセッサμＰがＤＭＩにより測定された距離を考慮できるようにする。

・ＩＭＵ（慣性測定ユニット）。そのようなＩＭＵは、３つの直交方向に沿って回転加速度及び並進加速度を測定するように構成される３つのジャイロユニットとして実現可能である。ＩＭＵは、マイクロプロセッサμＰがＧＰＳユニットからの出力信号から表示信号を計算する間に、マイクロプロセッサμＰがＤＭＩによる測定値を考慮できるように、マイクロプロセッサμＰに更に接続される。ＩＭＵは、推測航法センサを更に含むことができる。

尚、当業者であれば、車両及び機器（車両に関して周知の位置及び方向で搭載される）の正確な場所及び方向を提供する、全地球的衛星航法システム及び搭載された慣性システムと推測航法システムとの多くの組合せを見つけられる。

図１に示すようなシステムは、例えば自動車１上に搭載された１つ以上のカメラ９（ｉ）を使用して写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラは、マイクロプロセッサμＰに接続される。自動車の前方にあるカメラ９（ｉ）は立体カメラであってもよい。カメラは、画像シーケンスを生成するように構成されてもよく、画像は予め定義されたフレームレートでキャプチャされる。例示的な一実施形態において、１つ以上のカメラは、予め定義された自動車１の変位毎に、又は予め定義された時間間隔毎に写真をキャプチャするように構成される静止画像カメラである。走行方向に対して垂直な方向の予め定義された距離にある場所が、少なくとも２つの連続する側方撮像カメラの写真においてキャプチャされるように、予め定義された変位は選択される。例えば写真は、４ｍ移動する毎にキャプチャされることができ、この結果走行方向に対して平行な、５ｍの距離の平面の各画像において重なりが生じる。

レーザスキャナ３（ｊ）は、自動車１がロードサイドの建物に沿って走行している間にレーザサンプルを取得する。それらはマイクロプロセッサμＰに接続され、これらのレーザサンプルをマイクロプロセッサμＰに送出する。

３つの測定ユニット、ＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所測定値及び方向測定値を提供することが一般的に望まれる。これらの位置データ及び方向データが測定される一方で、カメラ９（ｉ）は写真を撮影し、レーザスキャナ３（ｊ）はレーザサンプルを取得する。写真及びレーザサンプルは、後で使用するために、それらの写真が撮影されたのと同時に収集された自動車１の対応する位置データ及び方向データと関連付けられてμＰの適切なメモリに格納される。写真は、道路の中央、路面エッジ及び道路幅等の道路情報に関する情報を含む。レーザサンプルと関連付けられる位置データ及び方向データが同一の位置決定デバイスから取得されるため、写真とレーザサンプルは厳密に一致する。

図２は、図１に示す３つの測定ユニットＧＰＳ、ＤＭＩ及びＩＭＵから取得される位置信号を示す。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち事前定義済の座標系における原点に対する３つの距離パラメータｘ、ｙ、ｚと、それぞれｘ軸、ｙ軸及びｚ軸を中心とする回転を示す３つの角度パラメータω_ｘ、ω_ｙ及びω_ｚとを計算するように構成されていることを示す。ｚ方向は、重力ベクトルの方向と一致する。グローバルＵＴＭ座標系が、予め定義された座標系として使用されることができる。

３つの測定ユニット、ＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所測定値及び方向測定値を提供することが一般的に望まれる。これらの位置データ及び方向データが測定される一方で、カメラ９（ｉ）は写真を撮影し、レーザスキャナ３（ｊ）はレーザサンプルを取得する。写真及びレーザサンプルの双方は、後で使用するために、それらの写真が撮影され且つレーザサンプルが取得された時点の自動車１の対応する位置データ及び位置データ、並びにカメラ及びレーザスキャナの自動車１に対する位置及び方向と関連付けられてマイクロプロセッサの適切なメモリに格納される。

写真及びレーザサンプルには、建物のブロックのファサード等、ロードサイドの物体に関する情報が含まれる。一実施形態において、レーザスキャナ３（ｊ）は、本方法のために十分な密度の出力を生成するために、最低５０ヘルツ及び１度の解像度で出力を生成するように構成される。ＳＩＣＫにより製造されるMODEL LMS291-S05等のレーザスキャナは、そのような出力を生成できる。

自動車１のマイクロプロセッサ及びメモリ９は、コンピュータ装置として実現されてもよい。そのようなコンピュータ装置の一例を図３に示す。

図３において、算術演算を実行するプロセッサ３１１を含むコンピュータ装置３００の概要を示す。図１に示す実施形態において、プロセッサはマイクロプロセッサμＰであるだろう。

プロセッサ３１１は、ハードディスク３１２、読み出し専用メモリ（ＲＯＭ）３１３、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）３１４及びランダムアクセスメモリ（ＲＡＭ）３１５を含む複数のメモリ構成要素に接続される。それらのメモリの種類の全てが提供される必要はない。また、それらのメモリ構成要素は、プロセッサ３１１に物理的に近接して配置される必要はなく、プロセッサ３１１から離れて配置されてもよい。

プロセッサ３１１は、キーボード３１６及びマウス３１７等のような、ユーザが命令、データ等を入力する手段に更に接続される。タッチスクリーン、トラックボール及び／又は音声変換器等、当業者には周知である他の入力手段が提供されてもよい。

プロセッサ３１１に接続される読取りユニット３１９が備えられる。読取り装置３１９は、フロッピー（登録商標）ディスク３２０又はＣＤ ＲＯＭ３２１等の取外し可能なデータキャリア又は取外し可能な記憶媒体からデータを読取り且つ場合によってはそれらにデータを書き込むように構成される。当業者には周知であるように、他の取外し可能なデータキャリアは、テープ、ＤＶＤ、ＣＤ−Ｒ、ＤＶＤ−Ｒ、メモリスティック等であってもよい。

プロセッサ３１１は、用紙上にデータを印刷するプリンタ３２３、並びにモニタ又はＬＣＤ（液晶表示装置）等の表示装置３１８、或いは当業者には周知である任意の他の種類の表示装置に接続されてもよい。

プロセッサ３１１は、スピーカ３２９に接続されてもよい。

更にプロセッサ３１１は、Ｉ／Ｏ手段３２５を使用して、例えば公衆交換電話網（ＰＳＴＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネット等の通信ネットワーク３２７に接続されてもよい。プロセッサ３１１は、ネットワーク３２７を介して他の通信装置と通信するように構成されてもよい。Ｉ／Ｏ手段３２５は、位置決定デバイス（ＤＭＩ、ＧＰＳ、ＩＭＵ）、カメラ９（ｉ）及びレーザスキャナ３（ｊ）をコンピュータ装置３００に接続するのに更に適している。

データキャリア３２０、３２１は、本発明に従う方法を実行する能力をプロセッサに提供するように構成されたデータ及び命令の形態のコンピュータプログラム製品を含んでもよい。あるいは、そのようなコンピュータプログラム製品は、電気通信ネットワーク３２７を介してダウンロードされてもよい。

プロセッサ３１１は、スタンドアロンシステム又は各々がより大規模なコンピュータプログラムのサブタスクを実行するように構成された複数の並列動作プロセッサ、あるいはいくつかのサブプロセッサを含む１つ以上の主プロセッサとして実現されてもよい。本発明の機能の一部は、電気通信ネットワーク３２７を介してプロセッサ３１１と通信するリモートプロセッサにより実行されてもよい。

図３のコンピュータシステムに含まれる構成要素は、通常、汎用コンピュータにおいて見つけられるものであり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を示すことを意図する。

従って、図３のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等であってもよい。コンピュータは、種々のバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。UNIX（登録商標）、Solaris、Linux、Windows（登録商標）、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。

カメラ９（ｉ）により撮られる画像及びレーザスキャナ３（ｊ）により撮られるスキャン、並びに位置／方向データを後処理するために、図３に示すのと同様の装置が使用されてもよいし、もし同様の装置が自動車１には配置されないのなら、オフラインでの後処理のために建物内に都合良く配置されてもよい。カメラ９（ｉ）により撮られる画像及びレーザスキャナ３（ｊ）によりとられるスキャン、並びに関連付けられる位置／方向データは、１つ以上のメモリ３１２〜３１５に格納される。それは、最初にそれらをＤＶＤ、メモリスティック等に格納するか、又は場合によっては無線によって、それらをメモリ９から送信することにより行なわれる。自動車１の軌跡を規定する関連付けられる位置データ及び方向データは、タイムスタンプを含む生データとして格納可能である。また、画像及びレーザスキャナサンプルの各々は、タイムスタンプを有する。タイムスタンプにより、画像及びレーザスキャナサンプルをキャプチャしたそれぞれの時点のカメラ９（ｉ）及びレーザスキャナ３（ｊ）の位置及び方向を正確に決定できる。このように、タイムスタンプは、画像に示されるビューと、レーザスキャナサンプルとの間の空間的な関係を規定する。関連付けられる位置データ及び方向データは、画像及びレーザスキャナサンプルの各々に、用いられるデータベースアーキテクチャによってリンクされたデータとしても格納可能である。

本発明において、多視点パノラマは、カメラ９（ｉ）により撮られる画像及びレーザスキャナ３（ｊ）によりとられるスキャンの双方を使用して生成される。本方法は、画像処理の分野及びレーザスキャニング技術の分野の双方からの技術の独自の組合せを用いる。本発明は、建物の外観から通りのロードサイドビュー全体までを含む多視点パノラマを生成するために使用される。

図４は、本発明に従ってロードサイド情報を生成する処理の例示的な一実現例を示すフローチャートである。図４は、以下の動作を示す。
Ａ．動作４２：レーザ点マップの作成
Ｂ．動作４４：レーザ点マップからの物体の平面座標の抽出
Ｃ．動作４６：ソース画像の部分の選択（シャドウマップを使用する）
Ｄ．動作４８：選択されたソース画像の部分からのパノラマの構成
これらの動作を以下に詳細に説明する。

Ａ．動作４２：レーザ点マップの作成
平面点を見つける適切な方法は、ヒストグラム測定を使用することである。ヒストグラムは、ＭＭＳシステムが移動した軌跡に対して垂直の方向に見られ、特定の距離においてレーザスキャナ３（ｊ）により撮られ、自動車１が移動したある特定の距離に沿って合計された複数のレーザサンプルを含む。レーザスキャナは、地表に対して垂直な表面において、例えば１８０°にわたる角度方向にスキャンする。例えば、レーザスキャナは、各々が隣接するサンプルから１°だけずれている１８０個のサンプルを取得してもよい。更にレーザスキャンサンプルのスライスは、少なくとも２０ｃｍ毎に作成される。１秒に７５回回転するレーザスキャナの場合、時速５４ｋｍより速く自動車を走行させてはならない。殆どの場合、ＭＭＳシステムは、ある特定の道路に沿って向けられた線伝いのルートに従う（移動した経路は、何らかの理由で車線変更するか又は曲がり角を曲がる時にのみこの線からずれる）。

一実施形態において、レーザスキャナ３（ｊ）は２Ｄレーザスキャナである。２Ｄレーザスキャナ３（ｊ）は測定時間と、測定角度と、この角度においてレーザスキャナ３（ｊ）から可視である最近接の固体までの距離とを含むトリプレットのデータ、いわゆるレーザサンプルを与える。自動車の位置決定デバイスによりキャプチャされる自動車１の位置及び方向、自動車１に対するレーザスキャナの相対的な位置及び方向、並びにレーザサンプルを組み合わせることにより、図５に示すようなレーザ点マップが作成される。図５に示すレーザ点マップは、自動車の走行方向に対して垂直な方向にスキャンするレーザスキャナにより取得される。レーザ点マップを生成するために２つ以上のレーザスキャナが使用される場合、レーザスキャナは、例えば４５°、９０°及び／又は１３５°の角度を有してもよい。１つのレーザスキャナのみを使用する場合、走行方向に対して垂直にスキャンするレーザスキャナは、レーザ点マップ空間において走行方向に対して平行な垂直平面を見つけるために最適な解像度を提供する。

図５において、２つのヒストグラムが示される。

１．距離ヒストグラム６１−このヒストグラム６１は、ある特定の移動距離、例えば２メートル、にわたり合計された、自動車１に近接するサンプルを含むレーザスキャンサンプルの数を、自動車１までの距離の関数として示す。２０ｃｍ毎にレーザスキャンのスライスが生成される場合、１０個のレーザスキャンサンプルのスライスが考慮される。自動車１に近接するレーザの「エコー」を示す、自動車１に近接するピークが示される。レーザスキャニングによる角スイープのため、このピークは、自動車１に近接して存在する多くのエコーに関連する。更に、自動車１からより離れた距離で識別される物体の垂直な表面に関連するより離れた距離に存在する第２のピークがある。

２．自動車１からのある特定の距離で、１つの物体のみを示す第２のピークのみを示す距離ヒストグラム６３。このヒストグラムは、レーザスキャニングの角度分布による、自動車１の直接的な近辺にあるより高い濃度のレーザスキャンサンプルを削除することにより得られる。この削除により、自動車１から離れたある特定の距離にある、即ち建物６５のファサードにある物体をより良く見られる。更に削除することにより、ヒストグラムにおいて障害物の影響が軽減する。障害物が誤って垂直平面として認識される機会が減少する。

ヒストグラム６３上のピークは、自動車の進行方向に対して平行な平坦な固い表面が存在することを示す。自動車１とファサード６５とのおおよその距離は、任意の使用可能な方法により決定される。例えば、参照として本明細書に組み込まれる同時係属出願ＰＣＴ／ＮＬ２００６／０５０２６４において説明されるような方法は、この目的のために使用可能である。あるいは、自動車１が移動した軌跡を示すＧＰＳ（又は他の）データと建物のフットプリントの場所を示すデータとが比較されることができ、こうしてそのような自動車１とファサード６５との間のおおよその距離を示すことができる。このおおよその距離に周辺のある特定の領域内のヒストグラムデータを解析することにより、この領域内の局所的最大ピークは、ファサード６５の基部であるものとして識別される。この局所的な最大ピークの前の、例えば０．５ｍの垂直の距離内にある全てのレーザスキャンサンプルは、ファサード６５の建築上の細部として考えられ、且つ「平面点」としてマークされる。最大ピークと比べてより大きい垂直の距離を有するレーザスキャンサンプルは、破棄されるか又は「平面点」として示されてもよい。全ての他のサンプルは、局所的な最大ピークの位置と自動車１の位置との間の位置を有するレーザスキャンサンプルであり、「ゴースト点」として考えられ且つそのようにマークされる。０．５ｍの距離は、単なる一例として与えられることが確認される。必要であれば、他の距離が使用されてもよい。

ヒストグラム測定は、自動車１の軌跡に沿って２メートル毎に行なわれる。このように、レーザ点マップは２メートルのスライスに分割される。ヒストグラムは、全ての切抜きにおいて、レーザスキャンサンプルが「平面点」と示されるか「ゴースト点」と示されるかを決定する。

Ｂ．動作４４：レーザ点マップからの物体の平面座標の抽出
「平面点」として示されるレーザサンプルは、レーザ点マップから平面座標を抽出するために使用される。本発明は、外観（通常、建物のファサード）を示す３Ｄ空間の表面上で動作する。表面が、建物のファサードを示す垂直な矩形であるポリゴンである実施例によって、本発明は説明される。尚、方法は、任意の「垂直の」表面に適用可能である。従って、以下に説明する「ポリゴン」という用語は、直線の端により結合される閉じた平面図形に限定されるべきではなく、原理的には任意の「垂直の」表面であってもよい。「垂直の」表面とは、カメラが見ることのできる普通に構成された任意の表面を意味する。

ポリゴンは、「平面点」としてマークされたレーザスキャナデータから抽出される。平面又は表面を見つけるために、ＲＡＮＳＡＣ（ランダム・サンプル・コンセンサス）アルゴリズムに基づく方法を含む多くの従来技術が使用可能である。

簡明なＲＡＮＳＡＣアルゴリズムは、「平面点」としてマークされた３Ｄ点上で直接使用される。垂直の平面のみの簡略化された本発明の実施形態の場合、最初に、３Ｄ点の高さの値を破棄することにより、全ての地面ではない点が、ある水平平面上に投影される。その後、ＲＡＮＳＡＣ又はＨｕｇｈ変換を使用して、この水平平面の２Ｄ点上に線が検出される。これらの線は、線に沿った平面の下方位置及び上方位置を取得するために使用される。

上述のアルゴリズムは、ポリゴンを制限する平面を見つけるための更なる処理を必要とする。ポリゴンを制限する平面を見つける周知の従来技術の方法が存在する。一実施例において、平面からの所定の閾値を下回る全てのレーザ点が平面上に投影される。この平面は、例えば建物のファサードの境界を示すポリゴンを取得するためのクラスタリング技術及び画像セグメント化アルゴリズムが適用される２Ｄ画像に類似する。図６は、ポリゴン検出の例示的な結果を示す。図６に示すレーザスキャナマップは、２つのレーザスキャナからのレーザスキャナサンプルを組み合わせることにより取得される。一方は、自動車１の走行方向に対して４５°の角度を有し、他方は、自動車１の走行方向に対して１３５°の角度を有する。従って、建物の正面ファサード６００の平面のポリゴンの次に、側面ファサード６０２、６０４の平面の２つのポリゴンを抽出できる。検出された平面毎に、ポリゴンは、予め定義された座標系における平面の角の３Ｄ位置である平面座標により説明される。

尚、市販のデータベースから取得可能な、建物に関する地理学基準の３Ｄ位置は、平面のポリゴンを検出するために、及びレーザスキャナマップからのレーザスキャナサンプルが「平面点」であるか又は「ゴースト点」であるかを決定するために使用されてもよい。

尚、多視点パノラマが１つのみの建物の外観に対して生成される場合、外観の基部の方向は、必ずしも走行方向に対して平行でなくてもよい。

外観の多視点パノラマは、ロードサイド多視点パノラマを生成するために使用可能である。ロードサイドパノラマは、建物の複数の多視点パノラマの合成である。本発明に係るロードサイドパノラマの特徴は、以下の通りである。
−パノラマは、共通に構成された仮想の垂直表面を示す。
−パノラマの画素の各列は、自動車の軌跡、通りのセンターライン又は通りに沿った任意の他の線の表現から、予め定義された垂直距離にある垂直表面を示す。
−パノラマの各画素は、表面の領域を示し、領域は固定の高さを有する。

通りのロードサイドパノラマが生成される場合、走行方向、センターライン、又は道路に沿って延びる道路の他の任意の特徴に対して、一般にパノラマの表面は平行であると考えられる。従って、曲がりくねった通りのロードサイドパノラマの表面は、通りの湾曲に従う。パノラマの各点は、表面の向きに対して垂直であるものとして見られるものとみなされる。従って、通りのロードサイドパノラマに対して、最も一般的な表面までの距離がレーザスキャナマップにおいて探索されるか又は予め定義された値を与えられている。この距離は、水平方向及び垂直方向においてパノラマの画素の解像度を規定する。垂直解像度が距離に依存する一方、水平解像度は、距離と通りに沿った線の湾曲との組み合わせに依存する。しかし、自動車の走行方向とヒストグラム測定により見つけられる垂直表面の基部との垂直の距離は、不連続性を含む可能性がある。これは、２つの隣接する建物が同一の建築ラインを有さない（即ち、同一平面上に整列しない）場合に起こる。上記規定されたロードサイドパノラマを取得するために、各建物の表面の多視点パノラマは、最も一般的な表面までの距離から建物の表面が見られているかのように多視点パノラマに変換される。このように、全ての画素は、同じ高さを有する領域を示す。

周知のパノラマにおいては、同一のサイズであるが異なる距離を有する２つの物体は、異なるサイズのパノラマに示される。本発明の一実施形態によると、ロードサイドパノラマが生成され、このとき、走行方向に対して異なる垂直距離を有する２つの類似する物体は、多視点パノラマにおいて同一のサイズを有する。従って、ロードサイドパノラマを生成する際、各ファサードのパノラマは、ロードサイドパノラマの各画素が同一解像度を有するように変倍される。その結果、上述の方法により生成されるロードサイドパノラマにおいて、５メートルの距離にあって実際には１０メートルの高さを有する建物は、１０メートルの距離にあって実際には実質１０メートルの高さを有する建物と、ロードサイドパノラマにおいて同一の高さを有する。

上述の特徴を含むロードサイドパノラマは、実際には建物は同一の建築ラインを有さないにもかかわらず同一の建築ラインを有するものとして、通りに沿った建物のファサードを示す。パノラマの重要な視覚物体は、同一平面にある。これにより、煩わしい視覚上のひずみを伴わずに、正面パノラマを透視図に変換できる。これは、パノラマが図３に示されるようなシステム上で動作するアプリケーション、又は最低限の画像処理能力を有するナビゲーション装置等の任意の種類のモバイルデバイスにおいて使用可能であるという利点を有する。通りの方向に対して平行な建物のファサードが同一の建築ラインを有するように変倍されているパノラマを使用することにより、任意の視野角度からの、パノラマのほぼ写実的なビューが提示される。ほぼ写実的なビューとは、現実のものを示しうるが現実のものに対応しない、簡単に解釈されることができる図である。

Ｃ．動作４６：ソース画像の部分の選択（シャドウマップを使用する）
本発明により取得される多視点パノラマは、カメラ９（ｉ）が取得する画像シーケンスからの画像の集合で構成される。各画像は、関連付けられる位置データ及び方向データを有する。未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２において説明される方法は、動作４４において決定された表面の少なくとも一部を含むビューウィンドウを有するのが、どのソース画像であるかを決定するために使用される。まず、カメラにより生成される少なくとも１つのソース画像シーケンスから、パノラマが生成される必要がある表面の少なくとも一部を含むビューウィンドウを有するソース画像が選択される。これは、ソース画像をキャプチャするカメラの、関連付けられた位置及び方向を、各ソース画像が有するために行なわれうる。

本発明において、表面は主に垂直平面に対応する。視野角及びビューウィンドウと共に、カメラの位置及び方向を認識することにより、表面上へのビューウィンドウの投影が決定されうる。測角理論の計算を周知している当業者であれば、未公表の出願ＰＣＴ／ＮＬ２００６／０５０２５２において説明されるオルソ補正方法を、任意の表示角を有するビューウィンドウを任意の表面上に投影する方法に修正することができるだろう。ポリゴン又は表面領域を、カメラのビューウィンドウ上に任意の位置及び方向で投影することは、カメラの焦点を通した回転、変倍及び変換の３つの動作により実行される。

図７は、仮想表面７０２上のカメラのビューウィンドウと等価である、ソース画像７００の投影の透視図を示す。仮想表面７０２はポリゴンに対応し、座標(xt1, yt1, zt1)、(xt2, yt2, zt2)、(xt3, yt3, zt3)及び(xt4, yt4, zt4)を有する。図中符号７０６は、カメラの焦点を示す。カメラの焦点７０６は、座標(xf, yf, zf)を有する。ソース画像７００の輪郭は、カメラのビューウィンドウを規定する。カメラの焦点７０６を通り、ビューウィンドウ及び仮想表面７０２の双方を通る直線の交点は、仮想表面７０２の画素からの、ソース画像７００の画素への投影を規定する。また、カメラの焦点７０６及び「ゴースト点」としてマークされたレーザスキャナサンプルを通る直線の、仮想表面７０２との交点は、ビューウィンドウにおいて見えない仮想平面の点を規定する。このように、障害物７０４のシャドウ７０８は、仮想表面７０２上に投影される。障害物のシャドウは、仮想表面の前の連続的な画素の集合、例えばファサードである。仮想表面の位置が正面の位置に対応するため、シャドウは仮想表面上に正確に投影される。尚、外観から最大０．５メートル延出するバルコニーは、共通に構成された表面の一部であるとみなされる。その結果、ソース画像中のバルコニーの透視投影画像のディティールは、多視点パノラマ上に投影される。透視投影画像のディティールは、外観に対して垂直なバルコニーの側面であり、建物の純粋な正面図画像には視覚化されないだろう。

上記投影方法は、少なくとも表面の一部を表示するソース画像を選択するために使用される。少なくとも表面の一部を表示するソース画像を選択した後、カメラの焦点の位置と表面の位置との間に位置するレーザスキャナサンプルが、レーザスキャナマップにおいて選択される。これらは、「ゴースト点」サンプルとして示されるレーザスキャナサンプルである。選択されたレーザスキャナサンプルは、カメラが仮想表面７０２により示される物体を記録するのを妨げる障害物を示す。選択されたレーザスキャナサンプルは、周知のアルゴリズムによりクラスタ化され、１つ以上の固体の障害物を形成する。その後、この障害物のシャドウが仮想表面７０２上に生成される。これは、焦点７０６及び固体の障害物を通る直線を、仮想表面７０２の位置まで延長することにより行なわれる。障害物の境界に沿った線が仮想表面７０２にぶつかる位置は、障害物のシャドウの境界点に対応する。

物体７０４、即ち木が、画像において表面７０２の前に見られることが図７から分かる。仮想面７０２及びカメラの焦点７０６に対する物体７０４の位置が周知である場合、仮想表面７０２上での物体７０４のシャドウ７０８は容易に決定できる。

本発明によると、レーザスキャナマップから、又は建物のファサードに関する市販のデータベースからの３Ｄ情報から取得された表面が、地理的に位置付けられたこの表面の多視点パノラマを作成するために使用される。本発明に係る方法は、カメラ９（ｉ）の位置及び方向の３Ｄ情報、画像の焦点距離及び解像度（＝画素サイズ）、検出された平面の３Ｄ情報及びレーザスキャナマップのゴースト点サンプルの３Ｄ位置を組み合わせる。カメラの位置情報と方向情報と、及びレーザスキャナマップを組み合わせることで、本方法は、各個別の画像に対して、
１）カメラによりキャプチャされるソース画像が少なくとも表面の一部を含むか
２）表面の一部にあるであろう画像情報をカメラが視覚化するのを妨げるのはどの物体であるか
を決定できる。

合成結果により、本方法は、仮想平面により示されるファサードが可視であるのは画像のどの部分であるか、即ち多視点パノラマを生成するために使用することができるのはどの画像であるかを決定できる。仮想表面の少なくとも一部をキャプチャしているかもしれないが、カメラの前の巨大な障害物のために仮想表面のどんな部分をもキャプチャしていないだろうビューウィンドウを有する画像は、破棄されるだろう。表面の位置とカメラの位置との間の「ゴースト点」は、ソース画像上に投影される。このことは本方法が、ソース画像上で障害物が可視である表面又は領域（シャドウゾーン）を発見することを可能とし、従って最終的な多視点パノラマを得ることを可能とする。

尚、本発明を説明する実施例は、ポリゴンを仮想表面として使用する。実施例の複雑さを軽減するために簡単な実施例が使用されている。しかし、当業者であれば、本発明は平坦な表面に限定されず、任意の平滑な表面、例えば垂直な曲面に対しても使用されることを即座に認識するだろう。

図８及び図９は、障害物８０６をソース画像８００及び仮想表面８０４上に投影する、上面図及び側面図のそれぞれを示す。障害物８０６の位置は、レーザスキャナマップから取得される。従って、本発明によると、物体の位置は、画像における平面の位置及び障害物の位置を検出及び決定するために２以上の画像に対して画像セグメント及び三角測量アルゴリズムを用いる、複雑な画像処理アルゴリズムによって取得されるのではなく、レーザスキャナマップからの３Ｄ情報を、カメラの位置データ及び方向データと組み合わせて使用することにより取得される。カメラの位置データと方向データとを組み合わせてレーザスキャナマップを使用することにより、カメラが障害物の後ろの物体の表面の領域を視覚化するのを妨げる障害物の位置を、画像において決定する、簡単且つ正確な方法を提供する。測角理論は、ソース画像８００上の障害物８０６のシャドウ８０２の位置並びに、物体の外観すなわち建物のファサードの位置及び方向を示す、仮想表面８０４上の障害物８０６のシャドウ８０８を決定するために使用される。仮想表面上のシャドウ８０８は、本発明の以下の説明においてシャドウゾーンと呼ばれる。

多視点パノラマは、レーザスキャナマップにおいて見つけられた表面を最適な方法で視覚化するソース画像の領域を見つけること、及びその領域を多視点パノラマ上に投影することにより構成される。多視点パノラマ上で障害物を視覚化しないか、又は最小のシャドウ（＝領域）を含む１つの障害物を視覚化するソース画像の領域は、選択され且つ組み合わされて多視点パノラマを取得する。

多視点パノラマを生成するソース画像の一部を見つけるための考えられる２つの実現例が開示される。

領域を見つけるための第１の実施形態。

上記目的は、第１の実施形態において、表面の部分を視覚化するソース画像毎にシャドウマップを生成することにより達成される。シャドウマップは２値画像であり、画像のサイズは、平面上に投影される際に平面を視覚化するソース画像の領域に対応し、画素毎に、ソース画像において表面を視覚化するか障害物を視覚化するかが示される。次に、全てのシャドウマップは、表面に対応するマスタシャドウマップ上に重ね合わせられる。このように、１つのマスタシャドウマップは、表面、即ち生成される多視点パノラマに対して作成される。

一実施形態において、マスタシャドウマップが生成され、このマスタシャドウマップにおけるシャドウゾーンは、シャドウゾーンに対応する選択されたソース画像の少なくとも１つの領域が多視点パノラマ上に投影される際、選択されたソース画像の少なくとも１つが障害物を視覚化することを示す。換言すると、このマスタシャドウマップは、ファサードのどの領域が画像中のどんな障害物にも遮られないのかを識別する。尚、マスタシャドウマップのサイズ及び解像度は、生成される多視点パノラマのサイズ及び解像度に類似する。

マスタシャドウマップは、多視点パノラマをセグメントに分割するために使用される。セグメントは、マスタシャドウマップをこのセグメントに切断するのに最適な「切断経路」を見つけることにより取得され、マスタシャドウマップ上の経路は、シャドウゾーンを２つの部分に分割していない。セグメント化は、パノラマがどのように合成される必要があるかを規定する。尚、切断経路は、少なくとも２つの画像のシャドウマップを重ね合わせることにより取得されたマスタシャドウマップの領域を常に交差する。シャドウゾーン間の経路を有することにより、パノラマにおけるセグメント間の継ぎ目はファサードの視覚部分にあり、ファサード上に投影されるであろう障害物の領域にある可能性はないであろうことが保証される。これにより、セグメントに対応する領域をパノラマ上に投影するための最適な画像を選択する方法が可能になる。最適な画像は、セグメントに対応する領域にシャドウゾーンを有さない画像又は最小のシャドウゾーン領域を有する画像であってもよい。「切断経路」の最適な位置を決定するための更なる基準は、生成されるパノラマの平面の向きに対する少なくとも２つの画像の撮像角度であってもよい。少なくとも２つの画像が異なる位置を有するため、ファサードに対する撮像角度は異なるだろう。最も直角な画像がパノラマにおいて最適な視覚品質を提供するであろうことが分かっている。

各セグメントはポリゴンとして定義可能であり、ポリゴンの縁部は、予め定義された座標系の３Ｄ位置により規定される。「切断経路」が、少なくとも２つのソース画像の全てにおいて平面に対応する表面を視覚化する画素を交差するため、２つのセグメント間に平滑な区域を作成する方法が可能になる。平滑化により、多視点パノラマにおける視覚妨害が減少する。本発明のこの面については、後述する。平滑ゾーンの幅は、最適な「切断経路」を見つけるための更なる基準として使用可能である。平滑ゾーンの幅は、切断経路とシャドウゾーンとの最小距離を規定するために使用可能である。２つのシャドウゾーンの境界線間の最近接距離が予め定義された距離を下回る場合、セグメントは２つのシャドウゾーンで作成される。また、平滑ゾーンについてのソース画像の画素は、障害物を示してはならない。平滑ゾーンについての画素は、シャドウ周辺の画素の輪郭である。従って、平滑ゾーンの幅は、シャドウゾーンの境界線とシャドウゾーンを含むセグメントを規定するポリゴンとの間の最小距離を規定する。尚、シャドウゾーンの原因となる障害物が画像において部分的に可視である場合、シャドウゾーンの境界線とセグメントを規定するポリゴンとの間の距離はゼロであってもよい。

多視点パノラマは、セグメントと関連付けられるソース画像の部分を組み合わせることにより生成される。多視点パノラマを最適に視覚化するためには、多視点パノラマが生成される必要がある物体のセグメントを最も適切な方法で視覚化するソース画像を、セグメント毎に選択する必要がある。

パノラマの対応するセグメントを生成するために使用される必要があるソース画像の領域は、以下の方法で決定される。
１．セグメントの領域全体を視覚化する領域を有するソース画像を選択する。
２．ソース画像と関連付けられたシャドウマップ内の関連付けられたセグメントにおいて、最小の数のシャドウとしてマークされた画素を含むソース画像を、前の動作におけるソース画像から選択する。

第１の動作は、セグメントに対応するソース画像の画素が１つのソース画像のみから取得されることを保証する。これにより、障害物を部分的に視覚化するような視覚妨害の数が減少する。例えば、３つの画像において見られるセグメントに対応する、建物の領域の前に駐車された自動車があり、１つの画像が自動車の前端を、１つの画像が自動車の後端を、１つの画像が自動車全体を視覚化する場合、自動車全体を視覚化する画像からのセグメントが採用されるだろう。尚、他の画像を選択することにより、選択された画像において自動車の背後に隠蔽されたパノラマにより示されるであろう物体を、更に詳細に視覚化するパノラマが得られるだろう。障害物を完全に視覚化する画像の方が障害物を部分的に視覚化した画像よりもより魅力的であることが分かっている。他の３つの画像より好ましくない視野角を有するが、自動車を含まずに領域全体を視覚化する画像が存在しうることが更に留意される必要がある。その場合、画像と関連付けられたシャドウマップの関連付けられたセグメントにおいて、シャドウとしてマークされた最小の数（０）の画素を含むために、この画像は選択されるだろう。

また、物体を全く含まない（＝シャドウとしてマークされた画素がない）領域全体を視覚化する２つ以上の画像が存在する場合、最も垂直に近い視野角を有する画像が多視点パノラマにおいて領域を視覚化するために選択されるだろう。

第１の動作後の第２の動作は、パノラマにより示される殆どの物体を視覚化するソース画像が選択されることを保証する。従ってセグメント毎に、セグメントに対応する領域において最小のシャドウゾーンを視覚化するソース画像が選択される。

セグメントに対応する領域全体を視覚化する画像が全く存在しない場合、セグメントはサブセグメントに切断される必要がある。その場合、画像の境界線は切断経路として使用される。多視点パノラマにおいて領域を視覚化するための最も好ましい領域を有する画像を選択するために、前のステップはサブセグメント上で繰り返されるだろう。最も好ましい領域を決定するためのパラメータは、シャドウとしてマークされた画素の数及び視野角である。

換言すると、多視点パノラマに対するソース画像は、以下の方法で組み合わされる。

１．マスタシャドウマップにおけるシャドウゾーンがばらばらである場合、マスタシャドウマップにより規定されるシャドウゾーン間に置かれる多視点パノラマの一部において、切り抜きが行なわれる。

２．多視点パノラマ上に投影された、選択されたソース画像において可視である障害物のシャドウゾーンが、重なり合っているか又はばらばらではない場合、多視点パノラマの領域は、以下のルールで各部に分割される。

ａ）完全なシャドウゾーンを含むソース画像は、多視点パノラマにするために選択される。完全なシャドウゾーンを含むソース画像が２つ以上ある場合、直角なベクトルに対して最も近い撮像角度でセグメントを視覚化するソース画像が選択される。換言すると、セグメントを視覚化する正面図のソース画像は、角度をつけて観察されたソース画像よりも好まれる。

ｂ）完全なシャドウゾーンを範囲に含む画像が全く存在しない場合、セグメントは、セグメントを視覚化するソース画像の最も垂直に近い部分から取り出される。

領域を見つけるための第２の実施形態。

図１６ａ〜１６ｆにより第２の実施形態を説明する。図１６ａは、２つのカメラの位置１６００、１６０２及び表面１６０４を示す上面図である。２つのカメラの位置１６００、１６０２と表面１６０４との間には、第１の障害物１６０６及び第２の障害物１６０８が配置されている。第１の障害物１６０６は双方のカメラの位置のビューウィンドウにおいて見られ、第２の障害物１６０８は第１のカメラの位置１６００によってのみ見られる。３つの（シャドウ）ゾーンは、表面１６０４上に障害物のシャドウを投影することにより取得される。ゾーン１６１０は、第１のカメラの位置１６００から、第２の障害物のシャドウを表面上に投影することにより取得される。ゾーン１６１２及びゾーン１６１４は、第２のカメラの位置及び第１のカメラの位置のそれぞれから、第１の障害物のシャドウを表面上に投影することにより取得されている。シャドウマップは、第１のカメラの位置１６００及び第２のカメラの位置１６０２からそれぞれキャプチャされるソース画像に対して生成されるだろう。シャドウマップは、表面１６０４の部分を視覚化するソース画像の部分毎に生成される。生成される表面１６０４の多視点パノラマと同一の座標系において参照されるこのシャドウマップは、画素が表面１６０４を視覚化するか、障害物のために表面を視覚化できないかを、画素毎に示す。

図１６ｂは、第１のカメラの位置１６００からキャプチャされるソース画像に対応する左側のシャドウマップ１６２０と、第２のカメラの位置１６０２からキャプチャされるソース画像に対応する右側のシャドウマップ１６２２とを示す。左側のシャドウマップは、ソース画像において視覚化された表面１６０４のどの領域が、表面１６０４の視覚情報を含まないのかを示す。領域１６２４は第２の障害物１６０８に対応するシャドウであり、領域１６２６は第１の障害物１６０６に対応するシャドウである。第１の障害物１６０６は第２の障害物１６０８より縦長であることが分かる。右側のシャドウマップ１６２２は、表面１６０４の視覚情報を含まない１つのみの領域１６２８を示す。領域１６２８は、第１の障害物１６０６のシャドウに対応する。

シャドウマップは、組み合わされてマスタシャドウマップを生成する。マスタシャドウマップは、多視点パノラマが生成される必要がある表面と関連付けられるマップである。しかし、第２の実施形態によると、マスタシャドウマップのそれぞれの画素について、少なくとも１つのソース画像によって視覚化されるか否かが決定される。マスタシャドウマップの目的は、表面を視覚化できないが表面の前の障害物を視覚化するであろうパノラマの領域を見つけることである。

図１６ｃは、シャドウマップ１６２０及び１６２２を組み合わせることにより取得されたマスタシャドウマップ１６３０を示す。各カメラの位置及び方向が正確に記録されるため、この組合せは正確に行なわれる。領域１６４０は、第１のカメラの位置１６００又は第２のカメラの位置１６０２からキャプチャされるいずれのソース画像によっても視覚化されない表面１６０４の領域である。この領域１６４０の画素は、常に障害物を示し且つ決して表面１６０４を示さないため重要である。領域１６４０における画素は、対応する値、例えば「重要」を取得する。領域１６４０は、表面１６０４の多視点パノラマにおいて、第１の障害物１６０６の一部又は第２の障害物１６０８の一部を示す。他の画素の各々は、多視点パノラマの関連づけられた画素値が、表面を視覚化する少なくとも１つのソース画像から取得されうることを示す値を取得するだろう。図１６ｃにおいて、領域１６３４、１６３６及び１６３８は、それぞれのソース画像のシャドウマップにおける領域１６２４、１６２６及び１６２８に対応する領域を示す。この領域１６３４、１６３６及び１６３８は、多視点パノラマの関連付けられる画素値が、表面を視覚化する少なくとも１つのソース画像から取得されることを示す値を取得する。

マスタシャドウマップ１６３０は、次に、ソース画像毎に使用マップを生成するために使用される。使用マップは、ソース画像のシャドウマップと等価のサイズを有する。使用マップは、画素毎に以下のことを示す。
１）ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されるべきか
２）ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されないべきか
３）ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されることができるか

このマップは、マスタシャドウマップにおける対応する領域が、いずれのソース画像を使用しても多視点パノラマにおいてその画素が表面１６０４を視覚化できないことを示す少なくとも１つの画素を含むかを、ソース画像のシャドウマップのシャドウゾーン毎に検証することにより生成されうる。この画素を含む場合、シャドウゾーン全体に対応する領域は、「使用されるべき」とマークされる。画素が含まれない場合、シャドウ全体に対応する領域は、「使用されないべき」とマークされる。残りの画素は、「使用されることができる」とマークされる。図１６ｄは、シャドウマップ１６２０とマスタシャドウマップ１６３０とにおける情報を組み合わせることにより取得された左側の使用マップ１６５０を示す。領域１６５２は、第２の障害物１６０８のシャドウに対応する。シャドウマップ１６２０の領域１６２４が、「重要」とマークされた１つ以上の対応する画素をマスタシャドウマップにおいて有するため、この領域１６５２は、値「使用されるべき」を取得した。これは、領域１６５２の１つの画素が多視点パノラマを生成するために使用される必要がある場合、この領域の他の画素全てが使用される必要があることを意味する。領域１６５４は、第１の障害物１６０６のシャドウに対応する。対応するシャドウマップ１６２０の領域１６２６が、マスタシャドウマップの対応する領域１６３６において「重要」とマークされた画素を全く有さないため、この領域１６５４は、値「使用されないべき」を取得した。これは、第２のカメラ１６０２によりキャプチャされるソース画像において対応する領域を選択することにより、第１の障害物１６０６が多視点パノラマから削除されうることを意味する。従って、領域１６５４に対応するソース画像中の領域は、表面１６０４の多視点パノラマを生成するために使用される必要はない。図１６ｄの右側の使用マップ１６５６は、シャドウマップ１６２２とマスタシャドウマップ１６３０との情報を組み合わせることにより取得された。領域１６５８は、第２の障害物１６０６のシャドウに対応する。シャドウマップ１６２２の領域１６２８が「重要」とマークされた１つ以上の対応する画素をマスタシャドウマップにおいて有するため、この領域１６５８は、値「使用されるべき」を取得した。これは、領域１６５８の１つの画素が多視点パノラマを生成するために使用される必要がある場合、この領域の他の画素全てが使用される必要があることを意味する。

マップ１６５０及び１６５６は、多視点パノラマを生成するために使用される必要があるのはソース画像のどの部分であるかを選択するために使用される。選択されるソース画像の部分を割り当てるアルゴリズムの一実施形態が与えられる。他のアルゴリズムが使用可能であることは、当業者には明らかだろう。アルゴリズムのフローチャートを図１７に示す。アルゴリズムは、表面１６０４の多視点パノラマを生成するために使用される必要があるのはどのソース画像であるかを多視点パノラマの画素毎に示す空の選択マップ、及び各ソース画像と関連付けられる使用マップ１６５０、１６５６を取得することから開始する。

次に、ソース画像が割り当てられていない選択マップの画素を選択する（１７０４）。動作１７０６において、関連付けられる使用マップにおいて、「使用されるべき」又は「使用されることができる」ものとしてマークされた対応する画素を有する、ソース画像が探索される。全ての使用マップにおける対応する画素が「使用されてもよい」ものとしてマークされる場合、画素に対して最も垂直に近い視野角を有するソース画像が選択されることが好ましい。また、パノラマにおいて表面１６０４の視認性を最適化するため、使用マップの一方における対応する画素が「使用されるべき」としてマークされる場合、マスタシャドウマップにおいて「重要」とマークされた領域を範囲に含む、「使用されるべき」ものとしてマークされた使用マップ中の領域が最小であるソース画像が、マスタシャドウマップを使用して選択されることが好ましい。

ソース画像を選択した後、動作１７０８において、選択された画像の使用マップは、ソースの選択された画素の周辺のどの領域が、パノラマを生成するために使用される必要があるのかを決定するために使用される。これは、成長アルゴリズムにより行なわれることができる。例えば、使用マップにおいて「使用されるべき」及び使用されることができるとマークされた全ての隣接する画素を選択し、選択マップ内の対応する画素に割り当てられるソース画像がないようにすることによってなされる。

次の動作１７１０において、ソース画像が全ての画素に割り当てられたかが決定される。割り当てられていない場合、ソース画像が割り当てられていない画素を選択することにより再び動作１７０４が実行され、ソース画像が各画素に割り当てられるまで後続の動作が繰り返される。

図１６ｅは、表面１６０４に対して多視点パノラマを生成するために選択されるのはソース画像のどの部分であるかを識別する２つの画像を示す。各部分の組合せは図１６ｆに示され、表面１６０４についての多視点パノラマの選択マップ１６７０に対応する。図１６ｅの左側の画像１６６０は第１のカメラ１６００によりキャプチャされるソース画像に対応し、右側の画像１６６２は第２のカメラ１６０２によりキャプチャされるソース画像に対応する。選択マップ１６７０の左側のセグメント１６７２の画素は、第１のカメラの位置１６００からキャプチャされたソース画像の対応する領域に割り当てられ、この領域は、図１６ｅの左側の画像１６６０の領域１６６４に対応する。選択マップ１６７０の右側のセグメント１６７４の画素は、第２のカメラの位置１６０２からキャプチャされるソース画像の対応する領域に割り当てられる。この領域は、図１６ｅの右側の画像１６６２の領域１６６６に対応する。

上述のアルゴリズムを適用する場合、画素は、選択マップの左側部分、例えば左上の画素において選択された。この画素は、１つのソース画像においてのみ存在する。動作１７０８において、隣接する領域は、選択マップの輪郭及び「使用されないべき」とマークされた画素に結合されるまで、拡大することができる。このように、領域１６６４は選択され、第１のソース画像は、選択マップ１６７０においてセグメント１６７２の画素に割り当てられる。次に、ソース画像が割り当てられていない新しい画素が選択される。この画素は、領域１６６６に位置付けられる。その後、この画素の隣接する領域が選択される。領域１６６６の輪郭は、ソース画像の輪郭、及び選択マップ１６７０において既に他のソース画像に割り当てられた画素すなわち第１のカメラによりキャプチャされた画像に割り当てられた画素、によって規定される。

セグメント１６７２及び１６７４に対応するソース画像から画素を選択することにより、多視点パノラマが得られる。ここで第１の障害物１６０６は不可視であり、第２の障害物は完全に可視である。

図１６ｅの右側の画像において、対応する画素が表面１６０４の多視点パノラマを生成するために使用されうる領域を、領域１６６８は特定する。他のソース画像との重なり合う境界の幅が予め定義された閾値、例えば７画素を上回る場合、あるいは使用マップにおいて「使用されるべき」又は「使用されないべき」ものとしてマークされた画素において、拡大処理が停止するという基準を有するように動作１７０８を拡張することによって、この領域は取得されることができる。領域１６６８は、そのような重なり合う境界である。これは、領域１６７６により図１６ｅに示される。この領域は、平滑ゾーンとして使用可能である。このことは本方法が、２つの隣接するソース画像間の不規則性、例えば画像間の色の差異を遮蔽することを可能にする。このように、色は、第１の画像の背景色から第２の色の背景色にスムーズに変化する。これにより、通常なら同一色を有するべきである領域における急激な変色の数が減少する。

上述のソース画像部分を選択する２つの実施形態は、各画素がソース画像に割り当てられた、多視点パノラマに対するマップを生成する。これは、対応するソース画像の部分を多視点パノラマ上に投影することにより、多視点パノラマにおいて可視である全ての情報が取得されることを意味する。双方の実施形態は、障害物ではなく表面を視覚化するソース画像の部分を選択することにより、障害物を可能な限り削除するようにする。表面のいくつかの部分はどのソース画像においても視覚化されないため、障害物又は障害物の部分は、ソース画像の部分の画素がパノラマ上に投影される場合にのみ視覚化される。しかし、２つの実施形態は、最初にいずれのソース画像からも見られない表面の領域の特徴を取得するように構成される。これらの領域は、第２の実施形態のマスタシャドウマップのシャドウに対応する。取得されうるいくつかの特徴は、高さ、幅、形状、サイズである。領域の特徴が予め定義された基準に一致する場合、この領域に対応する多視点パノラマの画素は、領域を取り囲む多視点パノラマの画素から取得されることができる。例えば、領域の幅が多視点パノラマにおいて予め定義された画素数、例えば街灯柱のシャドウ等、を上回らない場合、隣接する画素の平均値を割り当てる又は補間すること画素値は取得されうる。他の閾値関数が適用可能であることは明らかである。

更に、ある忠実度で再現されるのに十分であるほどに、結果として得られる障害物が重要であるかどうかを判断するアルゴリズムが適用されてもよい。例えば、ファサードを遮る木が２つの画像において示され、一方の画像では画像の輪郭においてわずかな部分のみが見られ、他方の画像では木全体が見られる。アルゴリズムは、パノラマにわずかな部分を含むことが奇妙に見えないかどうかを決定するように構成されてもよい。奇妙に見えない場合、わずかな部分が示されることにより、ファサードの最大部分を視覚化するパノラマと、木によるわずかな視覚の不規則性とが得られる。奇妙に見える場合、木全体が含まれることにより、ファサードよりわずかな部分を表すが、木に関する視覚の不規則性は表されないパノラマが得られる。このように、多視点パノラマにおける可視の障害物の数及び対応するサイズが更に減少する。これにより本方法は、最適な視覚効果を含むパノラマを提供できる。この機能は、各シャドウマップにおいて実行されることができる。

Ｄ．動作４８：選択されたソース画像の部分からのパノラマの構成
多視点パノラマに対応するセグメント化されたマップを生成し、ソース画像においてセグメントに対応する領域を投影するために使用される必要があるソース画像をセグメント毎に選択した後に、セグメントと関連付けられたソース画像の領域がパノラマ上に投影される。この処理は、未公開特許出願ＰＣＴ／ＮＬ２００６／０５０２５２において説明されるオルソ補正方法に相当し、これは全てが画像処理の分野において周知である３つの動作、すなわちカメラの焦点を通した回転と変倍と変換とを、ソース画像の領域上で実行するものとして説明されることができる。種々の位置（＝視点）を有する画像が使用されるために、全てのセグメントは、多視点パノラマであるモザイクを共に形成する。

１つのセグメントから別のセグメントへの交差における視覚の不規則性は、２つのセグメントの境界に沿って平滑ゾーンを規定することにより減少するか又は削除される。

一実施形態において、平滑ゾーンの画素の値は、第１のソース画像及び第２のソース画像において対応する画素の値を平均することにより取得される。別の実施形態において、画素値は、以下の式により取得される。
value_pan = α × value_image1 + (1 - α) × value_image2
式中、value_pan、value_image1及びvalue_image2は、第１の画像、第２の画像、及び多視点パノラマのそれぞれにおける画素値であり、並びにαは０から１の範囲のであり、平滑ゾーンは、α = 1の場合に第１の画像に接触し、α = 0の場合に第２の画像に接触する。αは、平滑ゾーンの一方の側から他方の側に直線的に変化してもよい。その場合、value_panは、平滑ゾーンの中央において第１の画像の値及び第２の画像の値の平均であり、それは、通常、切り抜きの場所である。尚、パラメータαは、０から１に変化する時に任意の他の適切なコースを有してもよい。

画像処理の技術分野においては、１つのセグメントから別のセグメントへの平滑な交差を得るための、多くの他のアルゴリズムが知られている。

上述の方法は、いくつかの簡単な実施例により説明される。

図１０は、異なる位置Ａ、Ｂ上で同一平面１００４を記録する２つのカメラ１０００、１００２を示す上面図である。２つのカメラ１０００、１００２は、位置Ａから位置Ｂに移動する移動車両（不図示）上に装着される。矢印１０１４は、走行方向を示す。与えられる実施例において、ソース画像のシーケンスは、平面１００４を視覚化する２つのソース画像のみを含む。一方のソース画像は、車両が位置Ａにある時点で第１のカメラ１０００から取得される。他方のソース画像は、車両が位置Ｂにある時点で第２のカメラ１００２から取得される。図１１は、図１０に示す状況からの画像を示す透視投影画像である。左側の透視投影画像及び右側の透視投影画像は、第１のカメラ１０００及び第２のカメラ１００２によりキャプチャされるソース画像にそれぞれ対応する。双方のカメラは、車両の走行方向に対して異なる撮像角度を有する。図１０は、位置Ａ及びＢと平面１００４との間に位置する円柱等の障害物１００６を示す。従って、平面１００４の部分１００８は第１のカメラ１０００によりキャプチャされるソース画像において不可視であり、平面１００４の部分１０１０は第２のカメラ１００２によりキャプチャされるソース画像によりキャプチャされたソース画像において不可視である。

カメラ１０００でキャプチャされたソース画像と関連付けられるシャドウマップは右半分にシャドウを有し、カメラ１０００でキャプチャされたソース画像と関連付けられるシャドウマップは左半分にシャドウを有する。図１０は、平面１００４のマスタシャドウマップの上面図を示す。シャドウマップは、２つのばらばらのシャドウ１００８及び１０１０を含む。本発明によると、マスタシャドウマップを切り抜く箇所１０１２は、２つのシャドウ１００８と１０１０との間である。図１１において、ポリゴン１１０２及び１１０４は、平面１００４が分割される２つのセグメントを示す。

上述のように、本発明に係る方法は、セグメント毎に、各ソース画像のシャドウマップにおいて対応する領域を解析する。最小のシャドウ領域を含むセグメントを視覚化するソース画像が選択されてもよい。与えられる実施例においては、対応するセグメントにおいてシャドウを含まないソース画像が、そのセグメントを示すために選択されるだろう。従って、図１１においてポリゴン１１０２により示される平面１００４の左側部分は、第１のカメラ１０００によりキャプチャされた画像から取得され、図１１においてポリゴン１１０４により示される平面１００４の右側部分は、第１のカメラ１００２によりキャプチャされた画像から取得される。

図１２は、対応するセグメントを視覚化するためにセグメント毎に対応するソース画像を選択した後に、図１１に示す２つの画像から図１０の平面１００４についてのパノラマを合成する処理を示す。一実施形態において、ポリゴン１１０２及び１１０４により規定されるセグメントは、平面１００４についての多視点パノラマ上に投影される。

２つのセグメントは、接合箇所１２０２において完全に一致しない。この原因は、接合箇所１２０２における２つのソース画像の解像度、色及び他の視覚パラメータの差異でありうる。ユーザは、接合箇所１２０２の両側における２つのセグメントの画素値がそれぞれの画像の１つのみから直接取得される場合に、パノラマにおけるこの不規則性に気付くだろう。接合箇所１２０２周辺の平滑ゾーン１２０４は、この欠点の視認性を軽減するために規定される。

図１３及び図１４は、本発明を説明するために上述された実施例に類似する別の簡単な実施例を示す。この実施例においては、別の障害物が平面１３０４を視覚化するのを妨げる。図１３は、異なる位置Ｃ、Ｄ上で同一平面１３０４を記録する２つのカメラ１３００、１３０２を示す上面図である。２つのカメラ１３００、１３０２は、位置Ｃから位置Ｄに移動する移動車両（不図示）上に装着される。矢印１３１４は、走行方向を示す。与えられた実施例において、ソース画像のシーケンスは、平面１３０４を視覚化する２つのソース画像のみを含む。一方のソース画像は、車両が位置Ｃにある時点で第１のカメラ１３００から取得される。他方のソース画像は、車両が位置Ｄにある時点で第２のカメラ１３０２から取得される。図１４は、図１３に示す状況からの画像を示す透視図である。図１４に示される左側及び右側の透視図画像はそれぞれ、第１のカメラ１３０１及び第２のカメラ１３０２によりキャプチャされたソース画像に対応する。双方のカメラは、車両の走行方向に対して異なる撮像角度を有する。図１３は、位置Ｃ及びＤと平面１００４との間に位置する円柱等の障害物１３０６を示す。従って、平面１３０４の部分１３０８は第１のカメラ１３００によりキャプチャされたソース画像において不可視であり、平面１３０４の部分１３１０は第２のカメラ１３０２によりキャプチャされたソース画像によりキャプチャされたソース画像において不可視である。

図１３は、平面１３０４と関連付けられるマスタシャドウマップを示す上面図である。マスタシャドウマップは、シャドウ１００８及び１０１０が重なり合う領域を有することを示す。平面１３０４を視覚化するのは２つの画像のみであるため、重なりと対応するシャドウに関連付けられる平面の領域は、いずれの画像においても見られない。従って、平面１３０４のパノラマにおける重なりに対応する領域は、障害物１３０６の対応する部分を視覚化する。次にマスタシャドウマップが、１つの部分がシャドウを含むように、３つの部分に分割されることができる。シャドウを含むセグメントを規定するポリゴンの境界線は、シャドウの境界線から最短距離だけ離間されるのが好ましい。これにより、平滑ゾーンを規定できる。図中符号１３１２及び１３１６は、セグメントの左側の境界線及び右側の境界線を示す。図１４において容易に分かるように、双方のソース画像がセグメントを完全に視覚化するため、平面に対して最も垂直に近い撮像角度を関連づけられたソース画像からセグメントが取得されるだろう。与えられた実施例において、セグメントは、第２のカメラ１３０２により撮られたソース画像から取得されるだろう。障害物と、平面の最も右側の部分とを含むセグメントが、そのセグメントをパノラマ上に投影するために同一のソース画像から取得されるために、境界線１３１６は削除されることができ、そこでは平滑ゾーンが規定される必要はない。従って、最終的に、２つのセグメントが平面１３０４のパノラマを合成するために残る。図１４において、ポリゴン１３０２及び１３０４は、平面１３０４を合成するために使用されるソース画像の２つのセグメントを示す。図中符号１３１２は、平滑ゾーンが規定されることができる境界線を示す。

上述の方法は自動的に実行される。多視点パノラマの品質は、本発明を実行する画像処理ツール及び物体認識ツールがいくらかの修正を必要とするようなものであることもあるだろう。例えば、レーザスキャナマップにおいて見つけられるポリゴンは、２つの隣接する建物に対応し、建物のファサード毎にパノラマが生成される必要がある。その場合本方法は、中間の結果を確認し又は適合させる可能性を可能とするために、いくつかの検証及び手動の適応動作を含むだろう。これらの動作はまた、道路情報の生成の中間結果または最終結果を受け入れるのにも適切でありうる。また、１つ以上の連続するソース画像上の、建物の表面及び／又はシャドウマップを示すポリゴンの重ね合わせが、検証を行うことを人に要求するために使用される。

本発明により生成される多視点パノラマは、適切な座標系で、関連付けられた位置データ及び方向データと共にデータベースに格納される。パノラマは、Google Earth、Google Street View及びMicrosoft's Virtual Earth等のアプリケーションにおいて、擬似現実的で、解釈及び生成するのが容易な、世界中の都市のビューを描き出すために用いられることができ、又は、便利なようにナビゲーション装置上に格納されるか又は供給されることができる。

上述のように、多視点パノラマは、ロードサイドパノラマを生成するために使用される。

図１５ａ〜１５ｄは、本発明により生成されるロードサイドパノラマのアプリケーションを示す。このアプリケーションは、現状のナビゲーションシステム及びインターネット上のナビゲーションアプリケーションの視覚的な出力を向上させる。アプリケーションを実行するデバイスは、出力を生成するための専用の画像処理ハードウェアを必要としない。図１５ａは、ロードサイドの建物の複雑な３Ｄモデルを使用せずに容易に生成される、通りを示す擬似透視図である。擬似透視図は、通りの左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びに２つの多視点パノラマ間での路面（地表）の類似の生成されたマップを処理することにより取得された。マップ及び２つの画像は、モバイルマッピングセッション中に記録された画像シーケンス及び位置／方向を処理することにより取得されることができ、あるいは仮想平面についての画像を使用し、それをデジタルマップデータベースから取得されたデータと組み合わせることもできる。図１５ｂは通りの左側のロードサイドパノラマを示し、図１５ｃは通りの右側のロードサイドパノラマを示す。図１５ｄは、マップデータベースから拡張したか、又はこれもまたモバイルマッピング車両から収集された、通りのオルソ修正画像からかもしれない、セグメントを示す。非常に制限された数の平面を使用して、通りの擬似現実的なビューが生成されうることが分かる。図中符号１５０２及び１５０６はそれぞれ、図１５ｂ及び図１５ｃのパノラマの擬似透視投影画像を作成することにより取得された画像の部分を示す。視野位置から最も離れた位置にある画素列から開始して視野位置に最近接する位置にある画素列まで、ロードサイドパノラマの画素列を擬似現実的なビュー上に連続して投影することで、図１５ｂ及び図１５ｃのパノラマを透視投影画像に変換することにより、部分１５０２及び１５０６は容易に生成される。図中符号１５０４は、マップデータベース又は路面のオルソ補正画像の透視投影画像を拡張することにより取得された画像の部分を示す。

尚、一方のロードサイドの全ての建物は擬似透視投影画像において同一の建築ラインを有し、それゆえ完全な透視投影画像を完成できない。現実には、各建物は固有の建築ラインを有するだろう。すると、スリットスキャンカメラによりキャプチャされたパノラマにおいて、建物は異なるサイズを有するだろう。本発明においてこの種のパノラマを使用する結果、奇妙な外見の透視投影画像が得られるだろう。建物と道路との間の異なる垂直距離は、透視投影画像において建物の異なる高さ及びサイズとして解釈される。本発明は、より完全な３Ｄ表現のために必要とされる処理能力のうちごく一部分を使用する場合に、適度に写実的な図画像を生成することを可能とする。本発明に係る本発明の方法によると、通りについてのロードサイドパノラマは、２つのステップで生成される。第１に、通りに沿った建物に対して１つ以上の多視点パノラマが生成されるだろう。第２に、１つ以上の多視点パノラマを１つの共通の平滑な表面に投影することによりロードサイドパノラマが生成される。一実施形態において、共通の平滑な表面は、自動車の軌跡、センターライン、境界線等の道路に沿った線に対して平行である。「平滑」は、表面と道路に沿った線との距離が変化するかもしれないが、急激には変化しないことを意味する。

第１の動作において、多視点パノラマは、ロードサイドに沿った平滑な表面毎に生成される。平滑な表面は、同一の建築ラインを有する隣接する１つ以上の建物のファサードにより形成されることができる。また、この動作において、表面の前の障害物が可能な限り削除されるだろう。障害物は、決定された表面の位置が建物のファサードの実際の位置に対応する場合にのみ正確に削除される。道路に沿った表面の方向は変化してもよい。更に、道路の方向と通りに沿った２つの隣接する多視点パノラマの表面との間の垂直の距離が、変化してもよい。

第２の動作において、ロードサイドパノラマは、第１の動作において生成された多視点パノラマから生成される。多視点パノラマは道路に沿った平滑な表面であると仮定され、各画素は、規定された表面に対する垂直距離から見た場合に、表面を示すものとみなされる。本発明に係るロードサイドパノラマにおいて、ロードサイドパノラマの各画素の垂直解像度は類似する。例えば画素は、５ｃｍの高さを有する矩形を示す。本発明において使用されるロードサイドパノラマは垂直表面であり、そこでは、ロードサイドに沿った建物の多視点パノラマのそれぞれは、仮想表面において同様の垂直解像度を有するように変倍される。従って、同等の外観を有するが異なる建築ラインを有する家のある通りは、同一の建築ライン及び同様の外観を有する家としてパノラマにおいて視覚化されるだろう。

上述したようなロードサイドパノラマに対して、パノラマの水平軸に沿って、奥行きの情報が関連付けられることができる。これにより、何らかの強力な画像処理ハードウェアを有するシステム上で動作するアプリケーションが、建物の実際の位置に従ってパノラマから３Ｄ表現を生成することが可能となる。

現在のデジタルマップデータベースにおいて、通り及び道路は道路セグメントとして格納される。デジタルマップを使用する本発明の視覚的な出力は、左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びにオプションとしてこの通りの路面のオルソ補正画像を、データベースにおいて各セグメントと関連付けることによって向上されることができる。デジタルマップにおいて、多視点パノラマの位置は、絶対座標又はセグメントの予め定義された座標に対する相対座標で規定されることができる。これにより、システムは、通りに関する出力において、パノラマの擬似透視投影画像の位置を正確に決定できる。

交差点又は分岐点を有する通りは、複数のセグメントにより示される。交差点又は分岐点は、セグメントの始点又は終点である。それぞれのセグメントについて、データベースが関連付けられた左側及び右側のロードサイドパノラマを含む場合、図１５ａに示されるような透視投影画像は、通りのセグメントと関連付けられた左側及び右側のロードサイドパノラマの透視投影画像を可視とし、合理的な距離に置くことにより、容易に生成されうる。図１５ａは、自動車が通りの方向に対して平行な走行方向を有する状況について生成される透視投影画像である。矢印１５０８は、道路上の自動車の方向及び位置を示す。パノラマが最も共通の平面に対して生成されるため、パノラマは道路セグメントに対応するロードサイドの最も左側の建物から開始して、道路セグメントに対応するロードサイドの最も右側の建物で終了する。従って、交差点の建物間の空間に対するパノラマは存在しない。一実施形態において、透視投影画像のこれらの部分は、情報と共にファイルされない。別の実施形態において、透視投影画像のこれらの部分は、交差点又は分岐点に結合されたセグメントと関連するパノラマの部分、並びに拡張されたマップデータ又はオルソ補正された表面データと共にファイルされるだろう。このように、交差点の曲がり角の建物の２つの側面は、透視投影画像において示されるだろう。

専用の画像処理ハードウェアを使用しないナビゲーションシステムにおいて、自動車を運転している間、表示装置は頻繁に、例えば移動した距離に依存して１秒毎に、更新されることができる。その場合透視投影画像は、実際のＧＰＳ位置及びナビゲーション装置の方向に基づいて１秒ごとに生成及び出力される。

また、本発明に係る多視点パノラマは、通り、住所、又は任意の希望する点の周囲の擬似現実的なビューを容易に提供するアプリケーションにおいて使用されるのに適切である。例えば出力は、本発明に係る地理基準のロードサイドパノラマを追加することにより、現行のルート計画システムの出力を容易に向上することができ、そのとき、建物のファサードは建物の画素の解像度が等価になるように変倍される。そのようなパノラマは通りのパノラマに対応し、通りに沿った全ての建物は同一の建築ラインを有する。ユーザは、場所を探索する。次に、対応するマップが、画面上のウィンドウにおいて示される。その後、画面上の別のウィンドウにおいて（又は一時的に同一ウィンドウ上で）、その位置に対応する、道路の方向に対して垂直なロードサイドに従って、（図１５ｂ又は図１５ｃのように）画像が示される。別の実現例において、画面上のマップの方向は、パノラマの透視投影画像がどの方向で与えられるべきかを規定するために使用されることができる。ロードサイドパノラマの全ての画素は、ロードサイドパノラマの表面の位置に外観を示すものとみなされる。ロードサイドパノラマは、表面上にあると仮定される視覚情報のみを含む。従って、擬似現実的な透視投影画像は、ロードサイドパノラマの任意の視野角に対して、容易に作成されることができる。システムの回転機能により、マップは画面上で回転されることができる。同時に、対応する擬似現実的な透視投影画像は、行われた回転に対応して生成されることができる。例えば通りの方向が、デジタルマップの対応する部分を示す画面の左側から右側への場合、図１５ｂにおいて示されるようなパノラマの部分のみが表示されるだろう。通りの方向に対して垂直であるロードサイドビューを表示装置は表すものと仮定されるため、その部分は画像を変形せずに表示されることができる。また、表される部分は、ユーザによって選択された場所の左側及び右側のパノラマの、予め定義された領域に対応する。通りの方向が画面の下側から上側への場合、図１５ａのような透視投影画像は、左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びにオプションとして路面のオルソ補正画像を組み合わせることにより生成されるだろう。

システムは反転機能を更に含むことができ、１つの命令によりマップを１８０°にわたって回転させて、通りの反対側を表示することができる。

マップ上の通りの方向に沿って歩くために、及び、画面上のマップの方向に依存して通りの対応する映像を同時に表示ために、システムの水平回転機能が利用可能である。擬似現実的な画像が使用される画像として示される度、左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びにオルソ補正された路面画像（必要な場合）は、補正された画像を示す。補正された画像は、各画素が建物のファサードの純粋な正面図と、路面の上面図とを示す画像である。

図１５ｂ及び１５ｃは、通りのロードサイドパノラマを示し、全ての家は同一の高さを有する。しかしながら通常は、異なる高さを有する家はロードサイドパノラマにおいて異なる高さを有するように示されるように、上述の方法はロードサイドパノラマを生成するであろうことが、当業者にとっては明らかだろう。図１８は、そのようなロードサイドパノラマを示す。ロードサイドパノラマにおいて、道路に沿った多視点パノラマを示す表面に対応する画素のみが表示装置上に示されるべきである。従って、表示装置上にロードサイドパノラマを再現する場合、領域１８０２及び１８０４における画素は考慮されるべきではない。ロードサイドに沿った物体の領域の境界線の場所の検出が可能とする、値かパターンか又はテクスチャが、領域１８０２及び１８０４に与えられることが好ましい。例えば、この領域１８０２及び１８０４における画素は、画像中に通常は存在しない値を取得するだろう。または、この領域１８０２及び１８０４における画素は、第１の予め定義された値は第２の予め定義された値とは異なる場合に、第１の予め定義された画素値から開始し、第２の予め定義された画素値を有する画素で終了する画素の各列に、通常は存在しない値を取得するだろう。尚、丘の上の建物は、地上が傾斜を有するような外観を有するかもしれない。これは、外観の多視点パノラマ、及び多視点パノラマを含むロードサイドパノラマにおいても見られるだろう。

画面上にデジタルマップの透視投影画像を生成する際に、道路の高さの情報を視覚化するアプリケーションがある。図１８に示されるようなロードサイドパノラマは、通りの擬似現実的な透視投影画像を提供するために、それらのアプリケーションにおいて使用されるのに非常に適切である。路面の高さは、殆どの場合、外観の地面に一致する。外観の多視点パノラマは、ロードサイドパノラマと関連付けられる表面上に投影されている。その場合、路面の高さは、外観の地面の高さに一致しないだろう。アプリケーションは、多視点パノラマにおいて路面の高さと外観の地面の高さとの差異を検出するアルゴリズムを提供されることができる。従って、アプリケーションは、領域１８０２の上端の画素の位置を検出することにより、ロードサイドパノラマにより示される物体に対応する画素の最も低い位置の垂直位置を、画素の各列において決定するように構成される。各画素が事前定義済みの高さを有する領域を示すため、路面と地上との高さの差異が決定できる。次に、通りに沿ったこの差異は、パノラマにおいて外観の高さを修正し、ロードサイドを含む路面の擬似透視投影画像を生成するために使用される。このとき、路面の高さは外観の地面の高さに一致する。

道路の高さを含まないマップを使用するアプリケーションがある。従って、それらは、水平なマップの透視投影画像の生成に対してのみ適切である。図１８のロードサイドパノラマの組合せにより、建物の地面が道路に沿って変化するような透視投影画像が得られるだろう。この不一致は現実的に見えなくてもよい。これらのアプリケーションが擬似現実的な透視投影画像を提供することができる２つの実施形態が与えられる。

第１の実施形態において、アプリケーションは、ロードサイドパノラマから高さの情報を取得し、それを使用して水平なマップの透視投影画像を向上させるだろう。従ってアプリケーションは、領域１８０２の上端の画素の位置を検出することにより、ロードサイドパノラマにより示される物体に対応する画素の最も低い位置の垂直位置を、画素の各列において決定するように構成される。各画素が予め定義された高さを有する領域を示すため、通りに沿った高さの差異が決定できる。次に、通りに沿ったこの差異は、通りに沿った高さの対応する差異を視覚化する、路面の擬似透視投影画像を生成するために使用される。このように、擬似現実的透視投影画像において路面及びロードサイドビューの表面が連続するように、ロードサイドパノラマと路面とは組み合わされることができる。変化する高さを有する路面が、図１８に示される外観の地面に従って生成される必要がある場合、徐々に増加／減少する路面が生成される必要があることは、当業者にとって明らかである。ロードサイドパノラマに由来する、通りに沿った地面に対して、平滑化機能が適用されることが好ましい。この結果、路面の高さがスムーズに変化し、より写実的な路面のビューが得られる。

第１の実施形態とは逆に、第２の実施形態において、アプリケーションは、領域１８０２をロードサイドパノラマから削除し、こうして取得した画像を水平なマップと組み合わせて使用する。領域１８０２を削除することにより、図１５ｃに示されるロードサイドパノラマに類似する画像が得られる。ロードサイドパノラマから高さの情報を削除することにより、道路に沿った建物の全てが同一の地面高を有するような水平な路面を示す、擬似現実的な透視投影画像が生成される。その場合、ロードサイドパノラマにおけるファサードの地面は傾斜を有し、この傾斜は、ドア及び窓の視覚矩形を歪ませることにより、擬似現実的透視投影画像において見られうる。

本発明の上記詳細な説明は、例示及び説明の目的で提供された。それは、本発明を網羅するか又は開示された厳密な形式に限定することを意図せず、上記教示に鑑みて多くの変更及び変形が可能であることは明らかである。例えば、２つ以上のカメラのソース画像を使用するのではなく、たった１つのカメラの画像シーケンスが建物の表面のパノラマを生成するために使用されてもよい。その場合、２つの連続する画像は、移動車両の軌跡に対する予め定義された垂直距離にあるファサードに対して、十分な重複、例えば６０％を超える重複、を有する必要がある。

説明された実施形態は、種々の実施形態において及び特定の使用に適すると考えられる種々の変更と共に他の当業者が本発明を最適に利用できるようにするための、本発明の原理及び実用的な適応例を最適に説明するために選択された。本発明の範囲は、添付の請求の範囲により規定されることが意図される。

Claims (18)

1. ロードサイドの多視点パノラマを生成する方法であって、
   −移動車両上に装着された少なくとも１つの地上レーザスキャナにより取得されたレーザスキャンサンプルのセットであって、当該レーザスキャンサンプルのそれぞれは位置データ及び方向データと関連付けられている、前記レーザスキャンサンプルのセットを得る工程と、
   −それぞれが前記移動車両上に装着された地上カメラを使用して取得された少なくとも１つの画像シーケンスであって、前記少なくとも１つの画像シーケンスのそれぞれの画像は位置データ及び方向データと関連付けられている、前記少なくとも１つの画像シーケンスを取得する工程と、
   −前記レーザスキャンサンプルのセットから表面を導き出す工程と、
   −前記レーザスキャンサンプルと関連付けられた前記位置データに依存して前記表面の位置を決定する工程と、
   −前記表面の前記位置、並びに前記画像のそれぞれと関連付けられた前記位置データ及び前記方向データに依存して、前記少なくとも１つの画像シーケンスから、前記表面についての多視点パノラマを生成する工程と、
   を含むことを特徴とする方法。
2. 前記生成する工程は、
   −前記少なくとも１つの画像シーケンスの第１の画像において、前記表面の一部を見ることを妨げる障害物を検出する工程と、
   −前記表面の前記一部を視覚化する第２の画像の領域を選択する工程と、
   −前記多視点パノラマの前記一部を生成するために、前記第２の画像の前記領域を使用する工程と、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記生成する工程は、
   −前記少なくとも１つの画像シーケンスの全ての画像において、前記表面の一部を見ることを妨げる１つ以上の障害物を検出する工程と、
   −前記１つ以上の障害物のうちの１つのビューを、前記多視点パノラマに対して投影する工程と、
   を含むことを特徴とする請求項１に記載の方法。
4. 前記生成する工程は、
   −前記検出された障害物のそれぞれについて、当該障害物が前記画像の何れかにおいて完全に可視であるかどうかを判定する工程と、
   −前記検出された障害物が少なくとも１つの前記画像において完全に可視である場合、前記検出された物体のビューを、前記少なくとも１つの画像のうちの１つから、前記多視点パノラマへと投影する工程と、
   を更に含むことを特徴とする、請求項３に記載の方法。
5. 前記パノラマは、前記表面に対して最も垂直に近い撮像角度を関連付けられた画像の部分から生成されることを特徴とする、請求項１乃至４の何れか１項に記載の方法。
6. 前記生成する工程は、
   −前記表面についてのマスタシャドウマップを生成する工程と、
   −前記マスタシャドウマップに依存して、前記多視点パノラマを生成する工程と、
   を含むことを特徴とする、請求項１に記載の方法。
7. 前記マスタシャドウマップを生成する工程は、
   −前記表面の少なくとも一部分を含むビューウィンドウを有する画像を選択する工程と、
   −前記選択された画像のそれぞれについて、対応する前記選択された画像において視覚化された、前記表面の前にある障害物のシャドウを投影することにより、シャドウマップを生成する工程と、
   −前記マスタシャドウマップを取得するために、前記選択された画像の前記シャドウマップを組み合わせる工程と、
   を含むことを特徴とする、請求項６に記載の方法。
8. 前記生成する工程は、
   −前記マスタシャドウマップをセグメントに分割する工程と、
   −それぞれの前記セグメントについて、当該セグメントに関連するビューウィンドウにおいて障害物を有さない、対応する前記画像を決定する工程と、
   −前記セグメントに関連付けられた領域を前記多視点パノラマ上に投影するために、前記対応する画像を使用する工程と、
   を更に含むことを特徴とする、請求項６又は７に記載の方法。
9. 前記生成する工程は、前記セグメントについて対応する前記画像が見つけられない場合に、前記セグメントに関連するビューウィンドウにおいて前記障害物全体を有する前記画像を使用する工程を更に含むことを特徴とする、請求項８に記載の方法。
10. 前記生成する工程は、前記セグメントについて対応する画像が見つけられない場合に、前記表面に対して最も垂直に近い撮像角度を関連付けられた前記画像を使用する工程を更に含むことを特徴とする、請求項８又は９に記載の方法。
11. 前記表面は、前記レーザスキャンサンプルのセットに対してヒストグラム解析を行うことによって導き出されることを特徴とする、請求項１乃至３の何れか１項に記載の方法。
12. ロードサイドパノラマを生成する方法であって、
    −請求項１乃至１０の何れか１項に記載の方法によって生成される複数の多視点パノラマと、関連する位置情報とを取得する工程と、
    −前記ロードサイドパノラマについての、仮想表面の位置を決定する工程と、
    −前記仮想表面上に、前記複数の多視点パノラマを投影する工程と、
    を含むことを特徴とする方法。
13. 請求項１乃至１１の何れか１項に記載の方法を実行する装置であって、
    −入力デバイスと、
    −プロセッサが読み取り可能な記憶媒体と、
    −前記入力デバイス及び前記プロセッサが読み取り可能な記憶媒体と通信するプロセッサと、
    −表示ユニットとの接続を可能とする出力デバイスと、
    を備え、
    前記プロセッサが読み取り可能な記憶媒体は、
    −移動車両上に装着された少なくとも１つの地上レーザスキャナにより取得されたレーザスキャンサンプルのセットであって、当該レーザスキャンサンプルのそれぞれは位置データ及び方向データと関連付けられている、前記レーザスキャンサンプルのセットを得る動作と、
    −それぞれが前記移動車両上に装着された地上カメラを使用して取得された少なくとも１つの画像シーケンスであって、前記少なくとも１つの画像シーケンスのそれぞれの画像は位置データ及び方向データと関連付けられている、前記少なくとも１つの画像シーケンスを取得する動作と、
    −前記レーザスキャンサンプルのセットから表面を導き出す動作と、
    −前記レーザスキャンサンプルと関連付けられた前記位置データに依存して前記表面の位置を決定する動作と、
    −前記表面の前記位置、並びに前記画像のそれぞれと関連付けられた前記位置データ及び前記方向データに依存して、前記少なくとも１つの画像シーケンスから、前記表面についての多視点パノラマを生成する動作と、
    を含む方法を実行するように、前記プロセッサをプログラムするコードを格納した
    ことを特徴とする装置。
14. コンピュータ装置にロードされた際に、前記コンピュータ装置が請求項１乃至１１の何れか１項に記載の方法を実行することを可能とする命令を含む、コンピュータプログラム。
15. コンピュータ装置にロードされた際に前記コンピュータ装置が請求項１乃至１１の何れか１項に記載の方法を実行することを可能とするコンピュータプログラムを保持した、プロセッサが読み取り可能な記憶媒体。
16. 請求項１乃至１１の何れか１項に記載の方法を実行することにより取得された多視点パノラマを保持した、プロセッサが読み取り可能な記憶媒体。
17. マップと、通りにおける選択された位置と、前記位置からの擬似現実的なビューとを同時に画面上で与える、コンピュータにより実現されるシステムであって、
    前記選択された位置を含むマップと、
    請求項１１に記載の少なくとも１つのロードサイドパノラマと、
    通りにおける選択された位置を含む表示マップを、変更可能な向きで画面上に表示するマップ生成部と、
    前記変更可能な向きに依存して、前記少なくとも１つのロードサイドパノラマから、前記選択された位置についての擬似現実的なビューを生成するビュー生成部と、
    を備えることを特徴とする、コンピュータにより実現されるシステム。
18. 前記マップと、前記擬似現実的なビューとが、１つの擬似透視投影画像へと合成されることを特徴とする、請求項１７に記載の、コンピュータにより実現されるシステム。

Images