JP2010533282A - 多視点パノラマを生成する方法及び装置 - Google Patents
多視点パノラマを生成する方法及び装置 Download PDFInfo
- Publication number
- JP2010533282A JP2010533282A JP2010511135A JP2010511135A JP2010533282A JP 2010533282 A JP2010533282 A JP 2010533282A JP 2010511135 A JP2010511135 A JP 2010511135A JP 2010511135 A JP2010511135 A JP 2010511135A JP 2010533282 A JP2010533282 A JP 2010533282A
- Authority
- JP
- Japan
- Prior art keywords
- image
- panorama
- view
- map
- roadside
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/002—Active optical surveying means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
ロードサイドの多視点パノラマを生成する方法が開示される。方法は、移動車両上に装着された少なくとも1つの地上レーザスキャナにより取得され、各々が位置データ及び方向データと関連付けられるレーザスキャンサンプルのセットを得ることと、少なくとも1つの画像シーケンスを得ることであり、各画像シーケンスは移動車両上に装着された地上カメラを使用して取得され、少なくとも1つの画像シーケンスの各画像は位置データ及び方向データと関連付けられる少なくとも1つの画像シーケンスを得ることと、レーザスキャンサンプルのセットから表面を導き出すこと及びレーザスキャンサンプルと関連付けられる位置データに依存して前記表面の場所を決定することと、表面の場所、並びに各画像と関連付けられる位置データ及び方向データに依存して、少なくとも1つの画像シーケンスから前記表面に対する多視点パノラマを生成することとを含む。
Description
本発明は、多視点パノラマを生成する方法に関する。本発明は、更に、多視点パノラマからロードサイドパノラマを生成する方法に関する。本発明は、更に、多視点パノラマ用の装置、コンピュータプログラム製品及びコンピュータプログラム製品を保持するプロセッサ可読媒体に関する。本発明は、更に、ロードサイドパノラマを使用するコンピュータにより実現されるシステムに関する。
今日、ユーザは、ナビゲーション装置を使用して、道路に沿って運転するか又はインターネット上のマップ表示装置を使用する。ナビゲーション装置は、表示装置において、平面透視投影画像、角度透視投影画像(鳥観図)又は場所の可変の変倍「2D」マップを示す。道路に関する情報又は湖及び公園等の領域に関するいくつかの簡単な属性情報のみが表示装置に表示される。この種の情報は、実際には場所の抽象的な表現であり、(実際に又は仮想的に)表示装置に表示される場所に位置付けられる人間又はカメラにより見られるものを表示しない。いくつかのインターネットアプリケーションは、衛星又は航空機から撮影される上から見下ろした写真を示し、更に少ないアプリケーションは、ユーザの(実際又は仮想の)場所に近接するかもしれない道路から、ユーザが見ようとしているのと概して同一の方向を向いて撮影された、限られた枚数の写真の集合を示す。
今後のナビゲーション装置及びインターネットアプリケーションにおいて、より正確且つ写実的なロードサイドビューに対する要求がある。ロードサイドビューにより、ユーザは、特定の場所において見られるものを見ることができ、ナビゲーション装置が正しい場所を使用するかを運転中に非常に容易に検証できるか、あるいはインターネット上でクエリされた関心位置が実際に必要な場所なのか又は個人的又は仕事上の理由でその領域の更に詳細を見ているだけなのかを検証できる。表示装置において、ユーザは、表示装置上で見られる建物がロードサイドで見られる建物に対応するか、あるいはメモリ又は他の記述からの構想に対応するかが瞬時に分かる。種々の視点からキャプチャされる画像から生成されるパノラマ画像は、多視点又は多眺望であると考えられる。別の種類のパノラマ画像は、スリットスキャンパノラマである。最も簡単な形式において、ストリップパノラマは、水平軸に沿った正射投影画像及び鉛直軸に沿った透視投影画像を示す。
多視点パノラマを生成するシステムは、Photographing long scenes with multi-viewpoint panoramas、Aseem Agarwala他、ACM Transactions on Graphics (Proceedings of SIGGRAPH 2006)、2006年から周知である。都市の通りに沿った建物のファサード等、長くてほぼ平面であるシーンの多視点パノラマを生成するシステムは、ハンディータイプのスチルカメラで撮影される写真の、比較的まばらな集合から生成する。ユーザは、写真撮影されたシーンの主要な平面を識別する必要がある。その後、システムは、マルコフ・ランダム・フィールド最適化を使用して自動的にパノラマを計算する。
周囲にあるものの写実的な画像を示す別の技術は、領域の完全な3Dモデルを開発し、写実的なテクスチャを各建物の外面に適用することである。ナビゲーションユニットにおけるアプリケーション又はインターネット上のアプリケーション等のアプリケーションは、3Dレンダリングソフトウェアを使用して周囲の物体の写実的な写真を構成できる。
本発明の目的は、3Dモデルを開発する追加のコスト及び複雑さを伴わずに、擬似現実的な透視投影画像を得るために操作することが容易な、高品質で解釈が容易な、ほぼ写真品質の仮想表面を表す画像セットを提供する別の方法を提供することである。
本発明によると、方法は:
−移動車両上に装着されたレーザスキャナにより取得され、各々が位置データと関連付けられるレーザスキャンサンプルのセットを得ることと;
−各画像シーケンスは移動車両上に装着された地上カメラを使用して取得されており、少なくとも1つの画像シーケンスの各画像は位置データ及び方向データと関連付けられている、少なくとも1つの画像シーケンスを得ることと;
−レーザスキャンサンプルのセットから表面を導き出すこと及びレーザスキャンサンプルと関連付けられる位置データに依存して前記表面の場所を決定することと;
−表面の場所、並びに各画像と関連付けられる位置データ及び方向データに依存して、少なくとも1つの画像シーケンスから前記ポリゴンに対する多視点パノラマを生成することとを含む。
−移動車両上に装着されたレーザスキャナにより取得され、各々が位置データと関連付けられるレーザスキャンサンプルのセットを得ることと;
−各画像シーケンスは移動車両上に装着された地上カメラを使用して取得されており、少なくとも1つの画像シーケンスの各画像は位置データ及び方向データと関連付けられている、少なくとも1つの画像シーケンスを得ることと;
−レーザスキャンサンプルのセットから表面を導き出すこと及びレーザスキャンサンプルと関連付けられる位置データに依存して前記表面の場所を決定することと;
−表面の場所、並びに各画像と関連付けられる位置データ及び方向データに依存して、少なくとも1つの画像シーケンスから前記ポリゴンに対する多視点パノラマを生成することとを含む。
本発明は、地表を走行するモバイルマッピング車両が地上カメラにより地表で収集された地理的位置画像シーケンスを記録するという認識に基づく。更に、モバイルマッピング車両は、ソフトウェアがレーザスキャナサンプルからの距離情報からモバイルマッピング車両の周囲の3D表現を生成することを可能とする、レーザスキャナサンプルを記録する。車両の位置及び方向は、1つ以上のジャイロスコープ及び/又は加速度計等の慣性測定デバイス、並びにGPS受信機を使用して決定される。また、車両に対するカメラの位置及び方向、従って周囲の3D表現に対するカメラの位置及び方向は周知である。視覚的に魅力的な多視点パノラマを生成するためには、カメラとパノラマの表面との距離が周知である必要がある。パノラマは、建物の表面から通りのロードサイドパノラマまで変化するロードサイドのビューを示すことができる。これは、既存の画像処理技術により行なわれるが、多くのコンピュータ処理能力を必要とする。本発明によると、表面は、レーザスキャナデータの処理により決定される。これは、表面の位置を決定するのに画像処理技術のみを使用するよりも非常に少ない処理力で済む。次に、多視点パノラマは、決定された表面に記録される画像又は画像のセグメントを投影することにより生成される。
カメラ及びレーザスキャナの地理的位置は、搭載された位置決めシステム(例えば、GPS受信機)、並びに他の更なる位置決定機器及び方向決定機器(例えば、慣性ナビゲーションシステム−INS)を使用することにより正確に知られる。
本発明の更なる改善点は、3Dモデルの計算に必要な処理時間及び完全な3Dモデルをレンダリングするのに必要な処理時間なしで、3D画像のリアル感をいくらか示す画像を提供する機能である。3Dモデルは、複数のポリゴン又は表面を具備する。完全な3Dモデルをレンダリングするには、3Dモデルが特定の側面から見られる場合にポリゴンが見られるかをポリゴン毎に評価する必要がある。ポリゴンが見られる場合、ポリゴンは画像上に投影される。本発明に係る多視点パノラマは、外観全体に対して1つの表面のみである。
本発明の更なる実施形態は、従属請求項において規定されている。
本発明の一実施形態において、生成することは:
−少なくとも1つの画像シーケンスの全ての画像において、表面の一部を見ることを妨げる1つ以上の障害物を検出することと;
−1つ以上の障害物のうちの1つのビューを多視点パノラマに投影することとを含む。レーザスキャナサンプルにより、どの障害物がカメラの前にあるか、及びどの障害物が生成される多視点パノラマの平面の位置の前に存在するか、を画像毎に検出できる。これらの特徴により、任意の画像において、平面のどの部分が不可視であり、障害物によって埋められるべきであるかを検出できる。これにより、パノラマにおいて可視でありファサードの前にある障害物の数を最小限にでき、その結果、全ての画像において表面の一部を見ることを妨げるわけではない障害物を、多視点パノラマから可能な限り除外できる。これにより、適切な視覚品質を有する、外観の多視点パノラマを提供できる。
−少なくとも1つの画像シーケンスの全ての画像において、表面の一部を見ることを妨げる1つ以上の障害物を検出することと;
−1つ以上の障害物のうちの1つのビューを多視点パノラマに投影することとを含む。レーザスキャナサンプルにより、どの障害物がカメラの前にあるか、及びどの障害物が生成される多視点パノラマの平面の位置の前に存在するか、を画像毎に検出できる。これらの特徴により、任意の画像において、平面のどの部分が不可視であり、障害物によって埋められるべきであるかを検出できる。これにより、パノラマにおいて可視でありファサードの前にある障害物の数を最小限にでき、その結果、全ての画像において表面の一部を見ることを妨げるわけではない障害物を、多視点パノラマから可能な限り除外できる。これにより、適切な視覚品質を有する、外観の多視点パノラマを提供できる。
本発明の更なる実施形態において、生成することは:
−任意の画像において、検出された障害物毎に完全に可視であるかを判定することと;
−検出された障害物が少なくとも1つの画像において完全に可視である場合、前記検出された物体のビュー、を前記少なくとも1つの画像のうちの1つから多視点パノラマへと投影することとを更に含む。これらの特徴により、パノラマにおいて部分的に視覚化される障害物の数を減少できる。これにより、多視点パノラマの魅力が増す。
−任意の画像において、検出された障害物毎に完全に可視であるかを判定することと;
−検出された障害物が少なくとも1つの画像において完全に可視である場合、前記検出された物体のビュー、を前記少なくとも1つの画像のうちの1つから多視点パノラマへと投影することとを更に含む。これらの特徴により、パノラマにおいて部分的に視覚化される障害物の数を減少できる。これにより、多視点パノラマの魅力が増す。
本発明の一実施形態において、多視点パノラマは、ポリゴンに対して最も垂直に近い撮像角度に関連付けられている画像部分から生成されることが好ましい。この特徴により、画像から最高品質の多視点パノラマを生成できる。
本発明の一実施形態において、ロードサイドパノラマは、多視点パノラマを合成することにより生成される。共通の表面は、道路のセンターライン等の線に対して平行であるが離間しているロードサイドパノラマに対して決定される。共通の表面とは異なる位置を有する多視点パノラマは、共通の表面上に投影され、表面と線との間の距離に相当する距離において見られたかのように各多視点パノラマを示す。従って、共通の表面とは異なる位置を有する多視点パノラマにおいて物体を視覚化するパノラマが、ここでは同一距離から見られるように生成される。最適な視覚品質を取得するために障害物が多視点パノラマから可能な限り削除されたため、道路に沿った多くの障害物が視覚化されないロードサイドパノラマが生成される。
本発明に係るロードサイドパノラマは、通りに沿った建物の完全な3Dモデルをレンダリングするのに必要な処理時間なしで、通りの3Dビューのリアル感をいくらか示す画像を提供する機能を提供する。通りの3Dビューを提供する前記通りの3Dモデルを使用するには、通りに沿った建物毎又は各建物の部分毎にそれが見られるかを決定し、その後、建物又は建物の部分の各3Dモデルを3Dビューにレンダリングする必要がある。本発明に係るロードサイドパノラマは、通りの3Dビューのリアル感をいくらか示す画像を容易に提供する。ロードサイドパノラマは、共通の表面上に投影される場合に通りに沿った建物を示す。前記表面は、視野位置から最も離れた位置にある画素列から開始して視野位置から最近接の位置にある画素列まで、ロードサイドパノラマの画素列を3Dビュー上に連続して投影することにより擬似透視投影画像に容易に変換される。このように、写実的な透視投影画像が左側のロードサイドパノラマ及び右側のロードサイドパノラマの表面に対して生成される結果、通りの擬似現実的なビューが得られる。通りに沿った建物の3Dモデルを使用する場合、複数のポリゴンではなく、2つの表面を示す2つの画像のみが必要とされる。
本発明は、ソフトウェア、ハードウェア、あるいはソフトウェア及びハードウェアの組合せを使用して実現される。本発明の全て又は一部分がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐してもよい。適切なプロセッサ可読記憶媒体の例には、フロッピー(登録商標)ディスク、ハードディスク、CD ROM、DVD、メモリIC等が含まれる。システムがハードウェアを含む場合、ハードウェアは、出力装置(例えば、モニタ、スピーカ又はプリンタ)、入力装置(例えば、キーボード、ポインティングデバイス及び/又はマイク)、並びに出力装置と通信するプロセッサ及びプロセッサと通信するプロセッサ可読媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するようにプロセッサをプログラムできるコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセスできるサーバにおいても実現可能である。
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下に更に詳細に説明する。添付の図面は、本発明を例示することを意図し、添付の請求の範囲及びそれに等価な実施形態により規定される本発明の範囲を限定することを意図しない。
図1は、自動車1の形態をとるMMSシステムを示す。自動車1は、1つ以上のカメラ9(i)、i=1, 2, 3,... I及び1つ以上のレーザスキャナ3(j)、j=1, 2, 3, ... Jを備える。撮像角度又は1つ以上のカメラ9(i)は、自動車1の走行方向に対して任意の方向にあってもよいため、前方撮像カメラ、側方撮像カメラ又は後方撮像カメラ等であってもよい。自動車1の走行方向とカメラの撮像角度との角度は、双方の側面において45度〜135度の範囲内であるのが好ましい。運転者は、対象の道路に沿って自動車1を運転する。例示的な一実施形態において、2つの側方撮像カメラが自動車1上に搭載され、2つのカメラ間の距離は2メートルであり、カメラの撮像角度は自動車1の走行方向に対して垂直であり且つ地表に対して平行である。別の例示的な実施形態において、自動車の片方の側面に対して水平な撮像角度を有し且つそれぞれ約45°及び約135°の前方撮像角度を有する2つのカメラが自動車1上に搭載されている。更に、45°の上方撮像角度を有する第3の側方撮像カメラが自動車上に搭載されてもよい。第3のカメラは、ロードサイドの建物の上部分をキャプチャするために使用される。
自動車1は、複数の車輪2を備える。更に自動車1は、高精度位置決定デバイスを備える。図1に示すように、位置決定デバイスは以下の構成要素を含む。
・アンテナ8に接続され、複数の衛星SLi(i=1, 2, 3,...)と通信し且つ衛星SLiから受信される信号から位置信号を計算するように構成されるGPS(全地球測位システム)ユニット。GPSユニットは、マイクロプロセッサμPに接続される。GPSユニットから受信される信号に基づいて、マイクロプロセッサμPは自動車1のモニタ4に表示される適切な表示信号を決定してもよく、それにより自動車が位置する場所及び場合によっては自動車が移動している方向を運転者に通知する。GPSユニットの代わりにディファレンシャルGPSユニットが使用されてもよい。ディファレンシャル全地球測位システム(DGPS)は、全地球測位システム(GPS)を拡張したものであり、衛星システムにより示される位置と周知の固定位置との差をブロードキャストするために固定地上基準局のネットワークを使用する。それらの基準局は測定した衛星擬似距離と実際の(内部で計算された)擬似距離との差をブロードキャストし、受信機局は同一量だけ擬似距離を補正してもよい。
・DMI(距離測定計器)。この計器は、1つ以上の車輪2の回転数を検知することにより自動車1が移動した距離を測定する走行距離計である。DMIは、マイクロプロセッサμPに更に接続され、GPSユニットからの出力信号から表示信号を計算する一方で、マイクロプロセッサμPがDMIにより測定された距離を考慮できるようにする。
・IMU(慣性測定ユニット)。そのようなIMUは、3つの直交方向に沿って回転加速度及び並進加速度を測定するように構成される3つのジャイロユニットとして実現可能である。IMUは、マイクロプロセッサμPがGPSユニットからの出力信号から表示信号を計算する間に、マイクロプロセッサμPがDMIによる測定値を考慮できるように、マイクロプロセッサμPに更に接続される。IMUは、推測航法センサを更に含むことができる。
尚、当業者であれば、車両及び機器(車両に関して周知の位置及び方向で搭載される)の正確な場所及び方向を提供する、全地球的衛星航法システム及び搭載された慣性システムと推測航法システムとの多くの組合せを見つけられる。
図1に示すようなシステムは、例えば自動車1上に搭載された1つ以上のカメラ9(i)を使用して写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラは、マイクロプロセッサμPに接続される。自動車の前方にあるカメラ9(i)は立体カメラであってもよい。カメラは、画像シーケンスを生成するように構成されてもよく、画像は予め定義されたフレームレートでキャプチャされる。例示的な一実施形態において、1つ以上のカメラは、予め定義された自動車1の変位毎に、又は予め定義された時間間隔毎に写真をキャプチャするように構成される静止画像カメラである。走行方向に対して垂直な方向の予め定義された距離にある場所が、少なくとも2つの連続する側方撮像カメラの写真においてキャプチャされるように、予め定義された変位は選択される。例えば写真は、4m移動する毎にキャプチャされることができ、この結果走行方向に対して平行な、5mの距離の平面の各画像において重なりが生じる。
レーザスキャナ3(j)は、自動車1がロードサイドの建物に沿って走行している間にレーザサンプルを取得する。それらはマイクロプロセッサμPに接続され、これらのレーザサンプルをマイクロプロセッサμPに送出する。
3つの測定ユニット、GPS、IMU及びDMIから可能な限り正確な場所測定値及び方向測定値を提供することが一般的に望まれる。これらの位置データ及び方向データが測定される一方で、カメラ9(i)は写真を撮影し、レーザスキャナ3(j)はレーザサンプルを取得する。写真及びレーザサンプルは、後で使用するために、それらの写真が撮影されたのと同時に収集された自動車1の対応する位置データ及び方向データと関連付けられてμPの適切なメモリに格納される。写真は、道路の中央、路面エッジ及び道路幅等の道路情報に関する情報を含む。レーザサンプルと関連付けられる位置データ及び方向データが同一の位置決定デバイスから取得されるため、写真とレーザサンプルは厳密に一致する。
図2は、図1に示す3つの測定ユニットGPS、DMI及びIMUから取得される位置信号を示す。図2は、マイクロプロセッサμPが6つの異なるパラメータ、すなわち事前定義済の座標系における原点に対する3つの距離パラメータx、y、zと、それぞれx軸、y軸及びz軸を中心とする回転を示す3つの角度パラメータωx、ωy及びωzとを計算するように構成されていることを示す。z方向は、重力ベクトルの方向と一致する。グローバルUTM座標系が、予め定義された座標系として使用されることができる。
3つの測定ユニット、GPS、IMU及びDMIから可能な限り正確な場所測定値及び方向測定値を提供することが一般的に望まれる。これらの位置データ及び方向データが測定される一方で、カメラ9(i)は写真を撮影し、レーザスキャナ3(j)はレーザサンプルを取得する。写真及びレーザサンプルの双方は、後で使用するために、それらの写真が撮影され且つレーザサンプルが取得された時点の自動車1の対応する位置データ及び位置データ、並びにカメラ及びレーザスキャナの自動車1に対する位置及び方向と関連付けられてマイクロプロセッサの適切なメモリに格納される。
写真及びレーザサンプルには、建物のブロックのファサード等、ロードサイドの物体に関する情報が含まれる。一実施形態において、レーザスキャナ3(j)は、本方法のために十分な密度の出力を生成するために、最低50ヘルツ及び1度の解像度で出力を生成するように構成される。SICKにより製造されるMODEL LMS291-S05等のレーザスキャナは、そのような出力を生成できる。
自動車1のマイクロプロセッサ及びメモリ9は、コンピュータ装置として実現されてもよい。そのようなコンピュータ装置の一例を図3に示す。
図3において、算術演算を実行するプロセッサ311を含むコンピュータ装置300の概要を示す。図1に示す実施形態において、プロセッサはマイクロプロセッサμPであるだろう。
プロセッサ311は、ハードディスク312、読み出し専用メモリ(ROM)313、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)314及びランダムアクセスメモリ(RAM)315を含む複数のメモリ構成要素に接続される。それらのメモリの種類の全てが提供される必要はない。また、それらのメモリ構成要素は、プロセッサ311に物理的に近接して配置される必要はなく、プロセッサ311から離れて配置されてもよい。
プロセッサ311は、キーボード316及びマウス317等のような、ユーザが命令、データ等を入力する手段に更に接続される。タッチスクリーン、トラックボール及び/又は音声変換器等、当業者には周知である他の入力手段が提供されてもよい。
プロセッサ311に接続される読取りユニット319が備えられる。読取り装置319は、フロッピー(登録商標)ディスク320又はCD ROM321等の取外し可能なデータキャリア又は取外し可能な記憶媒体からデータを読取り且つ場合によってはそれらにデータを書き込むように構成される。当業者には周知であるように、他の取外し可能なデータキャリアは、テープ、DVD、CD−R、DVD−R、メモリスティック等であってもよい。
プロセッサ311は、用紙上にデータを印刷するプリンタ323、並びにモニタ又はLCD(液晶表示装置)等の表示装置318、或いは当業者には周知である任意の他の種類の表示装置に接続されてもよい。
プロセッサ311は、スピーカ329に接続されてもよい。
更にプロセッサ311は、I/O手段325を使用して、例えば公衆交換電話網(PSTN)、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、インターネット等の通信ネットワーク327に接続されてもよい。プロセッサ311は、ネットワーク327を介して他の通信装置と通信するように構成されてもよい。I/O手段325は、位置決定デバイス(DMI、GPS、IMU)、カメラ9(i)及びレーザスキャナ3(j)をコンピュータ装置300に接続するのに更に適している。
データキャリア320、321は、本発明に従う方法を実行する能力をプロセッサに提供するように構成されたデータ及び命令の形態のコンピュータプログラム製品を含んでもよい。あるいは、そのようなコンピュータプログラム製品は、電気通信ネットワーク327を介してダウンロードされてもよい。
プロセッサ311は、スタンドアロンシステム又は各々がより大規模なコンピュータプログラムのサブタスクを実行するように構成された複数の並列動作プロセッサ、あるいはいくつかのサブプロセッサを含む1つ以上の主プロセッサとして実現されてもよい。本発明の機能の一部は、電気通信ネットワーク327を介してプロセッサ311と通信するリモートプロセッサにより実行されてもよい。
図3のコンピュータシステムに含まれる構成要素は、通常、汎用コンピュータにおいて見つけられるものであり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を示すことを意図する。
従って、図3のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等であってもよい。コンピュータは、種々のバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。UNIX(登録商標)、Solaris、Linux、Windows(登録商標)、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
カメラ9(i)により撮られる画像及びレーザスキャナ3(j)により撮られるスキャン、並びに位置/方向データを後処理するために、図3に示すのと同様の装置が使用されてもよいし、もし同様の装置が自動車1には配置されないのなら、オフラインでの後処理のために建物内に都合良く配置されてもよい。カメラ9(i)により撮られる画像及びレーザスキャナ3(j)によりとられるスキャン、並びに関連付けられる位置/方向データは、1つ以上のメモリ312〜315に格納される。それは、最初にそれらをDVD、メモリスティック等に格納するか、又は場合によっては無線によって、それらをメモリ9から送信することにより行なわれる。自動車1の軌跡を規定する関連付けられる位置データ及び方向データは、タイムスタンプを含む生データとして格納可能である。また、画像及びレーザスキャナサンプルの各々は、タイムスタンプを有する。タイムスタンプにより、画像及びレーザスキャナサンプルをキャプチャしたそれぞれの時点のカメラ9(i)及びレーザスキャナ3(j)の位置及び方向を正確に決定できる。このように、タイムスタンプは、画像に示されるビューと、レーザスキャナサンプルとの間の空間的な関係を規定する。関連付けられる位置データ及び方向データは、画像及びレーザスキャナサンプルの各々に、用いられるデータベースアーキテクチャによってリンクされたデータとしても格納可能である。
本発明において、多視点パノラマは、カメラ9(i)により撮られる画像及びレーザスキャナ3(j)によりとられるスキャンの双方を使用して生成される。本方法は、画像処理の分野及びレーザスキャニング技術の分野の双方からの技術の独自の組合せを用いる。本発明は、建物の外観から通りのロードサイドビュー全体までを含む多視点パノラマを生成するために使用される。
図4は、本発明に従ってロードサイド情報を生成する処理の例示的な一実現例を示すフローチャートである。図4は、以下の動作を示す。
A.動作42:レーザ点マップの作成
B.動作44:レーザ点マップからの物体の平面座標の抽出
C.動作46:ソース画像の部分の選択(シャドウマップを使用する)
D.動作48:選択されたソース画像の部分からのパノラマの構成
これらの動作を以下に詳細に説明する。
A.動作42:レーザ点マップの作成
B.動作44:レーザ点マップからの物体の平面座標の抽出
C.動作46:ソース画像の部分の選択(シャドウマップを使用する)
D.動作48:選択されたソース画像の部分からのパノラマの構成
これらの動作を以下に詳細に説明する。
A.動作42:レーザ点マップの作成
平面点を見つける適切な方法は、ヒストグラム測定を使用することである。ヒストグラムは、MMSシステムが移動した軌跡に対して垂直の方向に見られ、特定の距離においてレーザスキャナ3(j)により撮られ、自動車1が移動したある特定の距離に沿って合計された複数のレーザサンプルを含む。レーザスキャナは、地表に対して垂直な表面において、例えば180°にわたる角度方向にスキャンする。例えば、レーザスキャナは、各々が隣接するサンプルから1°だけずれている180個のサンプルを取得してもよい。更にレーザスキャンサンプルのスライスは、少なくとも20cm毎に作成される。1秒に75回回転するレーザスキャナの場合、時速54kmより速く自動車を走行させてはならない。殆どの場合、MMSシステムは、ある特定の道路に沿って向けられた線伝いのルートに従う(移動した経路は、何らかの理由で車線変更するか又は曲がり角を曲がる時にのみこの線からずれる)。
平面点を見つける適切な方法は、ヒストグラム測定を使用することである。ヒストグラムは、MMSシステムが移動した軌跡に対して垂直の方向に見られ、特定の距離においてレーザスキャナ3(j)により撮られ、自動車1が移動したある特定の距離に沿って合計された複数のレーザサンプルを含む。レーザスキャナは、地表に対して垂直な表面において、例えば180°にわたる角度方向にスキャンする。例えば、レーザスキャナは、各々が隣接するサンプルから1°だけずれている180個のサンプルを取得してもよい。更にレーザスキャンサンプルのスライスは、少なくとも20cm毎に作成される。1秒に75回回転するレーザスキャナの場合、時速54kmより速く自動車を走行させてはならない。殆どの場合、MMSシステムは、ある特定の道路に沿って向けられた線伝いのルートに従う(移動した経路は、何らかの理由で車線変更するか又は曲がり角を曲がる時にのみこの線からずれる)。
一実施形態において、レーザスキャナ3(j)は2Dレーザスキャナである。2Dレーザスキャナ3(j)は測定時間と、測定角度と、この角度においてレーザスキャナ3(j)から可視である最近接の固体までの距離とを含むトリプレットのデータ、いわゆるレーザサンプルを与える。自動車の位置決定デバイスによりキャプチャされる自動車1の位置及び方向、自動車1に対するレーザスキャナの相対的な位置及び方向、並びにレーザサンプルを組み合わせることにより、図5に示すようなレーザ点マップが作成される。図5に示すレーザ点マップは、自動車の走行方向に対して垂直な方向にスキャンするレーザスキャナにより取得される。レーザ点マップを生成するために2つ以上のレーザスキャナが使用される場合、レーザスキャナは、例えば45°、90°及び/又は135°の角度を有してもよい。1つのレーザスキャナのみを使用する場合、走行方向に対して垂直にスキャンするレーザスキャナは、レーザ点マップ空間において走行方向に対して平行な垂直平面を見つけるために最適な解像度を提供する。
図5において、2つのヒストグラムが示される。
1.距離ヒストグラム61−このヒストグラム61は、ある特定の移動距離、例えば2メートル、にわたり合計された、自動車1に近接するサンプルを含むレーザスキャンサンプルの数を、自動車1までの距離の関数として示す。20cm毎にレーザスキャンのスライスが生成される場合、10個のレーザスキャンサンプルのスライスが考慮される。自動車1に近接するレーザの「エコー」を示す、自動車1に近接するピークが示される。レーザスキャニングによる角スイープのため、このピークは、自動車1に近接して存在する多くのエコーに関連する。更に、自動車1からより離れた距離で識別される物体の垂直な表面に関連するより離れた距離に存在する第2のピークがある。
2.自動車1からのある特定の距離で、1つの物体のみを示す第2のピークのみを示す距離ヒストグラム63。このヒストグラムは、レーザスキャニングの角度分布による、自動車1の直接的な近辺にあるより高い濃度のレーザスキャンサンプルを削除することにより得られる。この削除により、自動車1から離れたある特定の距離にある、即ち建物65のファサードにある物体をより良く見られる。更に削除することにより、ヒストグラムにおいて障害物の影響が軽減する。障害物が誤って垂直平面として認識される機会が減少する。
ヒストグラム63上のピークは、自動車の進行方向に対して平行な平坦な固い表面が存在することを示す。自動車1とファサード65とのおおよその距離は、任意の使用可能な方法により決定される。例えば、参照として本明細書に組み込まれる同時係属出願PCT/NL2006/050264において説明されるような方法は、この目的のために使用可能である。あるいは、自動車1が移動した軌跡を示すGPS(又は他の)データと建物のフットプリントの場所を示すデータとが比較されることができ、こうしてそのような自動車1とファサード65との間のおおよその距離を示すことができる。このおおよその距離に周辺のある特定の領域内のヒストグラムデータを解析することにより、この領域内の局所的最大ピークは、ファサード65の基部であるものとして識別される。この局所的な最大ピークの前の、例えば0.5mの垂直の距離内にある全てのレーザスキャンサンプルは、ファサード65の建築上の細部として考えられ、且つ「平面点」としてマークされる。最大ピークと比べてより大きい垂直の距離を有するレーザスキャンサンプルは、破棄されるか又は「平面点」として示されてもよい。全ての他のサンプルは、局所的な最大ピークの位置と自動車1の位置との間の位置を有するレーザスキャンサンプルであり、「ゴースト点」として考えられ且つそのようにマークされる。0.5mの距離は、単なる一例として与えられることが確認される。必要であれば、他の距離が使用されてもよい。
ヒストグラム測定は、自動車1の軌跡に沿って2メートル毎に行なわれる。このように、レーザ点マップは2メートルのスライスに分割される。ヒストグラムは、全ての切抜きにおいて、レーザスキャンサンプルが「平面点」と示されるか「ゴースト点」と示されるかを決定する。
B.動作44:レーザ点マップからの物体の平面座標の抽出
「平面点」として示されるレーザサンプルは、レーザ点マップから平面座標を抽出するために使用される。本発明は、外観(通常、建物のファサード)を示す3D空間の表面上で動作する。表面が、建物のファサードを示す垂直な矩形であるポリゴンである実施例によって、本発明は説明される。尚、方法は、任意の「垂直の」表面に適用可能である。従って、以下に説明する「ポリゴン」という用語は、直線の端により結合される閉じた平面図形に限定されるべきではなく、原理的には任意の「垂直の」表面であってもよい。「垂直の」表面とは、カメラが見ることのできる普通に構成された任意の表面を意味する。
「平面点」として示されるレーザサンプルは、レーザ点マップから平面座標を抽出するために使用される。本発明は、外観(通常、建物のファサード)を示す3D空間の表面上で動作する。表面が、建物のファサードを示す垂直な矩形であるポリゴンである実施例によって、本発明は説明される。尚、方法は、任意の「垂直の」表面に適用可能である。従って、以下に説明する「ポリゴン」という用語は、直線の端により結合される閉じた平面図形に限定されるべきではなく、原理的には任意の「垂直の」表面であってもよい。「垂直の」表面とは、カメラが見ることのできる普通に構成された任意の表面を意味する。
ポリゴンは、「平面点」としてマークされたレーザスキャナデータから抽出される。平面又は表面を見つけるために、RANSAC(ランダム・サンプル・コンセンサス)アルゴリズムに基づく方法を含む多くの従来技術が使用可能である。
簡明なRANSACアルゴリズムは、「平面点」としてマークされた3D点上で直接使用される。垂直の平面のみの簡略化された本発明の実施形態の場合、最初に、3D点の高さの値を破棄することにより、全ての地面ではない点が、ある水平平面上に投影される。その後、RANSAC又はHugh変換を使用して、この水平平面の2D点上に線が検出される。これらの線は、線に沿った平面の下方位置及び上方位置を取得するために使用される。
上述のアルゴリズムは、ポリゴンを制限する平面を見つけるための更なる処理を必要とする。ポリゴンを制限する平面を見つける周知の従来技術の方法が存在する。一実施例において、平面からの所定の閾値を下回る全てのレーザ点が平面上に投影される。この平面は、例えば建物のファサードの境界を示すポリゴンを取得するためのクラスタリング技術及び画像セグメント化アルゴリズムが適用される2D画像に類似する。図6は、ポリゴン検出の例示的な結果を示す。図6に示すレーザスキャナマップは、2つのレーザスキャナからのレーザスキャナサンプルを組み合わせることにより取得される。一方は、自動車1の走行方向に対して45°の角度を有し、他方は、自動車1の走行方向に対して135°の角度を有する。従って、建物の正面ファサード600の平面のポリゴンの次に、側面ファサード602、604の平面の2つのポリゴンを抽出できる。検出された平面毎に、ポリゴンは、予め定義された座標系における平面の角の3D位置である平面座標により説明される。
尚、市販のデータベースから取得可能な、建物に関する地理学基準の3D位置は、平面のポリゴンを検出するために、及びレーザスキャナマップからのレーザスキャナサンプルが「平面点」であるか又は「ゴースト点」であるかを決定するために使用されてもよい。
尚、多視点パノラマが1つのみの建物の外観に対して生成される場合、外観の基部の方向は、必ずしも走行方向に対して平行でなくてもよい。
外観の多視点パノラマは、ロードサイド多視点パノラマを生成するために使用可能である。ロードサイドパノラマは、建物の複数の多視点パノラマの合成である。本発明に係るロードサイドパノラマの特徴は、以下の通りである。
−パノラマは、共通に構成された仮想の垂直表面を示す。
−パノラマの画素の各列は、自動車の軌跡、通りのセンターライン又は通りに沿った任意の他の線の表現から、予め定義された垂直距離にある垂直表面を示す。
−パノラマの各画素は、表面の領域を示し、領域は固定の高さを有する。
−パノラマは、共通に構成された仮想の垂直表面を示す。
−パノラマの画素の各列は、自動車の軌跡、通りのセンターライン又は通りに沿った任意の他の線の表現から、予め定義された垂直距離にある垂直表面を示す。
−パノラマの各画素は、表面の領域を示し、領域は固定の高さを有する。
通りのロードサイドパノラマが生成される場合、走行方向、センターライン、又は道路に沿って延びる道路の他の任意の特徴に対して、一般にパノラマの表面は平行であると考えられる。従って、曲がりくねった通りのロードサイドパノラマの表面は、通りの湾曲に従う。パノラマの各点は、表面の向きに対して垂直であるものとして見られるものとみなされる。従って、通りのロードサイドパノラマに対して、最も一般的な表面までの距離がレーザスキャナマップにおいて探索されるか又は予め定義された値を与えられている。この距離は、水平方向及び垂直方向においてパノラマの画素の解像度を規定する。垂直解像度が距離に依存する一方、水平解像度は、距離と通りに沿った線の湾曲との組み合わせに依存する。しかし、自動車の走行方向とヒストグラム測定により見つけられる垂直表面の基部との垂直の距離は、不連続性を含む可能性がある。これは、2つの隣接する建物が同一の建築ラインを有さない(即ち、同一平面上に整列しない)場合に起こる。上記規定されたロードサイドパノラマを取得するために、各建物の表面の多視点パノラマは、最も一般的な表面までの距離から建物の表面が見られているかのように多視点パノラマに変換される。このように、全ての画素は、同じ高さを有する領域を示す。
周知のパノラマにおいては、同一のサイズであるが異なる距離を有する2つの物体は、異なるサイズのパノラマに示される。本発明の一実施形態によると、ロードサイドパノラマが生成され、このとき、走行方向に対して異なる垂直距離を有する2つの類似する物体は、多視点パノラマにおいて同一のサイズを有する。従って、ロードサイドパノラマを生成する際、各ファサードのパノラマは、ロードサイドパノラマの各画素が同一解像度を有するように変倍される。その結果、上述の方法により生成されるロードサイドパノラマにおいて、5メートルの距離にあって実際には10メートルの高さを有する建物は、10メートルの距離にあって実際には実質10メートルの高さを有する建物と、ロードサイドパノラマにおいて同一の高さを有する。
上述の特徴を含むロードサイドパノラマは、実際には建物は同一の建築ラインを有さないにもかかわらず同一の建築ラインを有するものとして、通りに沿った建物のファサードを示す。パノラマの重要な視覚物体は、同一平面にある。これにより、煩わしい視覚上のひずみを伴わずに、正面パノラマを透視図に変換できる。これは、パノラマが図3に示されるようなシステム上で動作するアプリケーション、又は最低限の画像処理能力を有するナビゲーション装置等の任意の種類のモバイルデバイスにおいて使用可能であるという利点を有する。通りの方向に対して平行な建物のファサードが同一の建築ラインを有するように変倍されているパノラマを使用することにより、任意の視野角度からの、パノラマのほぼ写実的なビューが提示される。ほぼ写実的なビューとは、現実のものを示しうるが現実のものに対応しない、簡単に解釈されることができる図である。
C.動作46:ソース画像の部分の選択(シャドウマップを使用する)
本発明により取得される多視点パノラマは、カメラ9(i)が取得する画像シーケンスからの画像の集合で構成される。各画像は、関連付けられる位置データ及び方向データを有する。未公開特許出願PCT/NL2006/050252において説明される方法は、動作44において決定された表面の少なくとも一部を含むビューウィンドウを有するのが、どのソース画像であるかを決定するために使用される。まず、カメラにより生成される少なくとも1つのソース画像シーケンスから、パノラマが生成される必要がある表面の少なくとも一部を含むビューウィンドウを有するソース画像が選択される。これは、ソース画像をキャプチャするカメラの、関連付けられた位置及び方向を、各ソース画像が有するために行なわれうる。
本発明により取得される多視点パノラマは、カメラ9(i)が取得する画像シーケンスからの画像の集合で構成される。各画像は、関連付けられる位置データ及び方向データを有する。未公開特許出願PCT/NL2006/050252において説明される方法は、動作44において決定された表面の少なくとも一部を含むビューウィンドウを有するのが、どのソース画像であるかを決定するために使用される。まず、カメラにより生成される少なくとも1つのソース画像シーケンスから、パノラマが生成される必要がある表面の少なくとも一部を含むビューウィンドウを有するソース画像が選択される。これは、ソース画像をキャプチャするカメラの、関連付けられた位置及び方向を、各ソース画像が有するために行なわれうる。
本発明において、表面は主に垂直平面に対応する。視野角及びビューウィンドウと共に、カメラの位置及び方向を認識することにより、表面上へのビューウィンドウの投影が決定されうる。測角理論の計算を周知している当業者であれば、未公表の出願PCT/NL2006/050252において説明されるオルソ補正方法を、任意の表示角を有するビューウィンドウを任意の表面上に投影する方法に修正することができるだろう。ポリゴン又は表面領域を、カメラのビューウィンドウ上に任意の位置及び方向で投影することは、カメラの焦点を通した回転、変倍及び変換の3つの動作により実行される。
図7は、仮想表面702上のカメラのビューウィンドウと等価である、ソース画像700の投影の透視図を示す。仮想表面702はポリゴンに対応し、座標(xt1, yt1, zt1)、(xt2, yt2, zt2)、(xt3, yt3, zt3)及び(xt4, yt4, zt4)を有する。図中符号706は、カメラの焦点を示す。カメラの焦点706は、座標(xf, yf, zf)を有する。ソース画像700の輪郭は、カメラのビューウィンドウを規定する。カメラの焦点706を通り、ビューウィンドウ及び仮想表面702の双方を通る直線の交点は、仮想表面702の画素からの、ソース画像700の画素への投影を規定する。また、カメラの焦点706及び「ゴースト点」としてマークされたレーザスキャナサンプルを通る直線の、仮想表面702との交点は、ビューウィンドウにおいて見えない仮想平面の点を規定する。このように、障害物704のシャドウ708は、仮想表面702上に投影される。障害物のシャドウは、仮想表面の前の連続的な画素の集合、例えばファサードである。仮想表面の位置が正面の位置に対応するため、シャドウは仮想表面上に正確に投影される。尚、外観から最大0.5メートル延出するバルコニーは、共通に構成された表面の一部であるとみなされる。その結果、ソース画像中のバルコニーの透視投影画像のディティールは、多視点パノラマ上に投影される。透視投影画像のディティールは、外観に対して垂直なバルコニーの側面であり、建物の純粋な正面図画像には視覚化されないだろう。
上記投影方法は、少なくとも表面の一部を表示するソース画像を選択するために使用される。少なくとも表面の一部を表示するソース画像を選択した後、カメラの焦点の位置と表面の位置との間に位置するレーザスキャナサンプルが、レーザスキャナマップにおいて選択される。これらは、「ゴースト点」サンプルとして示されるレーザスキャナサンプルである。選択されたレーザスキャナサンプルは、カメラが仮想表面702により示される物体を記録するのを妨げる障害物を示す。選択されたレーザスキャナサンプルは、周知のアルゴリズムによりクラスタ化され、1つ以上の固体の障害物を形成する。その後、この障害物のシャドウが仮想表面702上に生成される。これは、焦点706及び固体の障害物を通る直線を、仮想表面702の位置まで延長することにより行なわれる。障害物の境界に沿った線が仮想表面702にぶつかる位置は、障害物のシャドウの境界点に対応する。
物体704、即ち木が、画像において表面702の前に見られることが図7から分かる。仮想面702及びカメラの焦点706に対する物体704の位置が周知である場合、仮想表面702上での物体704のシャドウ708は容易に決定できる。
本発明によると、レーザスキャナマップから、又は建物のファサードに関する市販のデータベースからの3D情報から取得された表面が、地理的に位置付けられたこの表面の多視点パノラマを作成するために使用される。本発明に係る方法は、カメラ9(i)の位置及び方向の3D情報、画像の焦点距離及び解像度(=画素サイズ)、検出された平面の3D情報及びレーザスキャナマップのゴースト点サンプルの3D位置を組み合わせる。カメラの位置情報と方向情報と、及びレーザスキャナマップを組み合わせることで、本方法は、各個別の画像に対して、
1)カメラによりキャプチャされるソース画像が少なくとも表面の一部を含むか
2)表面の一部にあるであろう画像情報をカメラが視覚化するのを妨げるのはどの物体であるか
を決定できる。
1)カメラによりキャプチャされるソース画像が少なくとも表面の一部を含むか
2)表面の一部にあるであろう画像情報をカメラが視覚化するのを妨げるのはどの物体であるか
を決定できる。
合成結果により、本方法は、仮想平面により示されるファサードが可視であるのは画像のどの部分であるか、即ち多視点パノラマを生成するために使用することができるのはどの画像であるかを決定できる。仮想表面の少なくとも一部をキャプチャしているかもしれないが、カメラの前の巨大な障害物のために仮想表面のどんな部分をもキャプチャしていないだろうビューウィンドウを有する画像は、破棄されるだろう。表面の位置とカメラの位置との間の「ゴースト点」は、ソース画像上に投影される。このことは本方法が、ソース画像上で障害物が可視である表面又は領域(シャドウゾーン)を発見することを可能とし、従って最終的な多視点パノラマを得ることを可能とする。
尚、本発明を説明する実施例は、ポリゴンを仮想表面として使用する。実施例の複雑さを軽減するために簡単な実施例が使用されている。しかし、当業者であれば、本発明は平坦な表面に限定されず、任意の平滑な表面、例えば垂直な曲面に対しても使用されることを即座に認識するだろう。
図8及び図9は、障害物806をソース画像800及び仮想表面804上に投影する、上面図及び側面図のそれぞれを示す。障害物806の位置は、レーザスキャナマップから取得される。従って、本発明によると、物体の位置は、画像における平面の位置及び障害物の位置を検出及び決定するために2以上の画像に対して画像セグメント及び三角測量アルゴリズムを用いる、複雑な画像処理アルゴリズムによって取得されるのではなく、レーザスキャナマップからの3D情報を、カメラの位置データ及び方向データと組み合わせて使用することにより取得される。カメラの位置データと方向データとを組み合わせてレーザスキャナマップを使用することにより、カメラが障害物の後ろの物体の表面の領域を視覚化するのを妨げる障害物の位置を、画像において決定する、簡単且つ正確な方法を提供する。測角理論は、ソース画像800上の障害物806のシャドウ802の位置並びに、物体の外観すなわち建物のファサードの位置及び方向を示す、仮想表面804上の障害物806のシャドウ808を決定するために使用される。仮想表面上のシャドウ808は、本発明の以下の説明においてシャドウゾーンと呼ばれる。
多視点パノラマは、レーザスキャナマップにおいて見つけられた表面を最適な方法で視覚化するソース画像の領域を見つけること、及びその領域を多視点パノラマ上に投影することにより構成される。多視点パノラマ上で障害物を視覚化しないか、又は最小のシャドウ(=領域)を含む1つの障害物を視覚化するソース画像の領域は、選択され且つ組み合わされて多視点パノラマを取得する。
多視点パノラマを生成するソース画像の一部を見つけるための考えられる2つの実現例が開示される。
領域を見つけるための第1の実施形態。
上記目的は、第1の実施形態において、表面の部分を視覚化するソース画像毎にシャドウマップを生成することにより達成される。シャドウマップは2値画像であり、画像のサイズは、平面上に投影される際に平面を視覚化するソース画像の領域に対応し、画素毎に、ソース画像において表面を視覚化するか障害物を視覚化するかが示される。次に、全てのシャドウマップは、表面に対応するマスタシャドウマップ上に重ね合わせられる。このように、1つのマスタシャドウマップは、表面、即ち生成される多視点パノラマに対して作成される。
一実施形態において、マスタシャドウマップが生成され、このマスタシャドウマップにおけるシャドウゾーンは、シャドウゾーンに対応する選択されたソース画像の少なくとも1つの領域が多視点パノラマ上に投影される際、選択されたソース画像の少なくとも1つが障害物を視覚化することを示す。換言すると、このマスタシャドウマップは、ファサードのどの領域が画像中のどんな障害物にも遮られないのかを識別する。尚、マスタシャドウマップのサイズ及び解像度は、生成される多視点パノラマのサイズ及び解像度に類似する。
マスタシャドウマップは、多視点パノラマをセグメントに分割するために使用される。セグメントは、マスタシャドウマップをこのセグメントに切断するのに最適な「切断経路」を見つけることにより取得され、マスタシャドウマップ上の経路は、シャドウゾーンを2つの部分に分割していない。セグメント化は、パノラマがどのように合成される必要があるかを規定する。尚、切断経路は、少なくとも2つの画像のシャドウマップを重ね合わせることにより取得されたマスタシャドウマップの領域を常に交差する。シャドウゾーン間の経路を有することにより、パノラマにおけるセグメント間の継ぎ目はファサードの視覚部分にあり、ファサード上に投影されるであろう障害物の領域にある可能性はないであろうことが保証される。これにより、セグメントに対応する領域をパノラマ上に投影するための最適な画像を選択する方法が可能になる。最適な画像は、セグメントに対応する領域にシャドウゾーンを有さない画像又は最小のシャドウゾーン領域を有する画像であってもよい。「切断経路」の最適な位置を決定するための更なる基準は、生成されるパノラマの平面の向きに対する少なくとも2つの画像の撮像角度であってもよい。少なくとも2つの画像が異なる位置を有するため、ファサードに対する撮像角度は異なるだろう。最も直角な画像がパノラマにおいて最適な視覚品質を提供するであろうことが分かっている。
各セグメントはポリゴンとして定義可能であり、ポリゴンの縁部は、予め定義された座標系の3D位置により規定される。「切断経路」が、少なくとも2つのソース画像の全てにおいて平面に対応する表面を視覚化する画素を交差するため、2つのセグメント間に平滑な区域を作成する方法が可能になる。平滑化により、多視点パノラマにおける視覚妨害が減少する。本発明のこの面については、後述する。平滑ゾーンの幅は、最適な「切断経路」を見つけるための更なる基準として使用可能である。平滑ゾーンの幅は、切断経路とシャドウゾーンとの最小距離を規定するために使用可能である。2つのシャドウゾーンの境界線間の最近接距離が予め定義された距離を下回る場合、セグメントは2つのシャドウゾーンで作成される。また、平滑ゾーンについてのソース画像の画素は、障害物を示してはならない。平滑ゾーンについての画素は、シャドウ周辺の画素の輪郭である。従って、平滑ゾーンの幅は、シャドウゾーンの境界線とシャドウゾーンを含むセグメントを規定するポリゴンとの間の最小距離を規定する。尚、シャドウゾーンの原因となる障害物が画像において部分的に可視である場合、シャドウゾーンの境界線とセグメントを規定するポリゴンとの間の距離はゼロであってもよい。
多視点パノラマは、セグメントと関連付けられるソース画像の部分を組み合わせることにより生成される。多視点パノラマを最適に視覚化するためには、多視点パノラマが生成される必要がある物体のセグメントを最も適切な方法で視覚化するソース画像を、セグメント毎に選択する必要がある。
パノラマの対応するセグメントを生成するために使用される必要があるソース画像の領域は、以下の方法で決定される。
1.セグメントの領域全体を視覚化する領域を有するソース画像を選択する。
2.ソース画像と関連付けられたシャドウマップ内の関連付けられたセグメントにおいて、最小の数のシャドウとしてマークされた画素を含むソース画像を、前の動作におけるソース画像から選択する。
1.セグメントの領域全体を視覚化する領域を有するソース画像を選択する。
2.ソース画像と関連付けられたシャドウマップ内の関連付けられたセグメントにおいて、最小の数のシャドウとしてマークされた画素を含むソース画像を、前の動作におけるソース画像から選択する。
第1の動作は、セグメントに対応するソース画像の画素が1つのソース画像のみから取得されることを保証する。これにより、障害物を部分的に視覚化するような視覚妨害の数が減少する。例えば、3つの画像において見られるセグメントに対応する、建物の領域の前に駐車された自動車があり、1つの画像が自動車の前端を、1つの画像が自動車の後端を、1つの画像が自動車全体を視覚化する場合、自動車全体を視覚化する画像からのセグメントが採用されるだろう。尚、他の画像を選択することにより、選択された画像において自動車の背後に隠蔽されたパノラマにより示されるであろう物体を、更に詳細に視覚化するパノラマが得られるだろう。障害物を完全に視覚化する画像の方が障害物を部分的に視覚化した画像よりもより魅力的であることが分かっている。他の3つの画像より好ましくない視野角を有するが、自動車を含まずに領域全体を視覚化する画像が存在しうることが更に留意される必要がある。その場合、画像と関連付けられたシャドウマップの関連付けられたセグメントにおいて、シャドウとしてマークされた最小の数(0)の画素を含むために、この画像は選択されるだろう。
また、物体を全く含まない(=シャドウとしてマークされた画素がない)領域全体を視覚化する2つ以上の画像が存在する場合、最も垂直に近い視野角を有する画像が多視点パノラマにおいて領域を視覚化するために選択されるだろう。
第1の動作後の第2の動作は、パノラマにより示される殆どの物体を視覚化するソース画像が選択されることを保証する。従ってセグメント毎に、セグメントに対応する領域において最小のシャドウゾーンを視覚化するソース画像が選択される。
セグメントに対応する領域全体を視覚化する画像が全く存在しない場合、セグメントはサブセグメントに切断される必要がある。その場合、画像の境界線は切断経路として使用される。多視点パノラマにおいて領域を視覚化するための最も好ましい領域を有する画像を選択するために、前のステップはサブセグメント上で繰り返されるだろう。最も好ましい領域を決定するためのパラメータは、シャドウとしてマークされた画素の数及び視野角である。
換言すると、多視点パノラマに対するソース画像は、以下の方法で組み合わされる。
1.マスタシャドウマップにおけるシャドウゾーンがばらばらである場合、マスタシャドウマップにより規定されるシャドウゾーン間に置かれる多視点パノラマの一部において、切り抜きが行なわれる。
2.多視点パノラマ上に投影された、選択されたソース画像において可視である障害物のシャドウゾーンが、重なり合っているか又はばらばらではない場合、多視点パノラマの領域は、以下のルールで各部に分割される。
a)完全なシャドウゾーンを含むソース画像は、多視点パノラマにするために選択される。完全なシャドウゾーンを含むソース画像が2つ以上ある場合、直角なベクトルに対して最も近い撮像角度でセグメントを視覚化するソース画像が選択される。換言すると、セグメントを視覚化する正面図のソース画像は、角度をつけて観察されたソース画像よりも好まれる。
b)完全なシャドウゾーンを範囲に含む画像が全く存在しない場合、セグメントは、セグメントを視覚化するソース画像の最も垂直に近い部分から取り出される。
領域を見つけるための第2の実施形態。
図16a〜16fにより第2の実施形態を説明する。図16aは、2つのカメラの位置1600、1602及び表面1604を示す上面図である。2つのカメラの位置1600、1602と表面1604との間には、第1の障害物1606及び第2の障害物1608が配置されている。第1の障害物1606は双方のカメラの位置のビューウィンドウにおいて見られ、第2の障害物1608は第1のカメラの位置1600によってのみ見られる。3つの(シャドウ)ゾーンは、表面1604上に障害物のシャドウを投影することにより取得される。ゾーン1610は、第1のカメラの位置1600から、第2の障害物のシャドウを表面上に投影することにより取得される。ゾーン1612及びゾーン1614は、第2のカメラの位置及び第1のカメラの位置のそれぞれから、第1の障害物のシャドウを表面上に投影することにより取得されている。シャドウマップは、第1のカメラの位置1600及び第2のカメラの位置1602からそれぞれキャプチャされるソース画像に対して生成されるだろう。シャドウマップは、表面1604の部分を視覚化するソース画像の部分毎に生成される。生成される表面1604の多視点パノラマと同一の座標系において参照されるこのシャドウマップは、画素が表面1604を視覚化するか、障害物のために表面を視覚化できないかを、画素毎に示す。
図16bは、第1のカメラの位置1600からキャプチャされるソース画像に対応する左側のシャドウマップ1620と、第2のカメラの位置1602からキャプチャされるソース画像に対応する右側のシャドウマップ1622とを示す。左側のシャドウマップは、ソース画像において視覚化された表面1604のどの領域が、表面1604の視覚情報を含まないのかを示す。領域1624は第2の障害物1608に対応するシャドウであり、領域1626は第1の障害物1606に対応するシャドウである。第1の障害物1606は第2の障害物1608より縦長であることが分かる。右側のシャドウマップ1622は、表面1604の視覚情報を含まない1つのみの領域1628を示す。領域1628は、第1の障害物1606のシャドウに対応する。
シャドウマップは、組み合わされてマスタシャドウマップを生成する。マスタシャドウマップは、多視点パノラマが生成される必要がある表面と関連付けられるマップである。しかし、第2の実施形態によると、マスタシャドウマップのそれぞれの画素について、少なくとも1つのソース画像によって視覚化されるか否かが決定される。マスタシャドウマップの目的は、表面を視覚化できないが表面の前の障害物を視覚化するであろうパノラマの領域を見つけることである。
図16cは、シャドウマップ1620及び1622を組み合わせることにより取得されたマスタシャドウマップ1630を示す。各カメラの位置及び方向が正確に記録されるため、この組合せは正確に行なわれる。領域1640は、第1のカメラの位置1600又は第2のカメラの位置1602からキャプチャされるいずれのソース画像によっても視覚化されない表面1604の領域である。この領域1640の画素は、常に障害物を示し且つ決して表面1604を示さないため重要である。領域1640における画素は、対応する値、例えば「重要」を取得する。領域1640は、表面1604の多視点パノラマにおいて、第1の障害物1606の一部又は第2の障害物1608の一部を示す。他の画素の各々は、多視点パノラマの関連づけられた画素値が、表面を視覚化する少なくとも1つのソース画像から取得されうることを示す値を取得するだろう。図16cにおいて、領域1634、1636及び1638は、それぞれのソース画像のシャドウマップにおける領域1624、1626及び1628に対応する領域を示す。この領域1634、1636及び1638は、多視点パノラマの関連付けられる画素値が、表面を視覚化する少なくとも1つのソース画像から取得されることを示す値を取得する。
マスタシャドウマップ1630は、次に、ソース画像毎に使用マップを生成するために使用される。使用マップは、ソース画像のシャドウマップと等価のサイズを有する。使用マップは、画素毎に以下のことを示す。
1)ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されるべきか
2)ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されないべきか
3)ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されることができるか
1)ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されるべきか
2)ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されないべきか
3)ソース画像中の対応する画素の値が多視点パノラマを生成するために使用されることができるか
このマップは、マスタシャドウマップにおける対応する領域が、いずれのソース画像を使用しても多視点パノラマにおいてその画素が表面1604を視覚化できないことを示す少なくとも1つの画素を含むかを、ソース画像のシャドウマップのシャドウゾーン毎に検証することにより生成されうる。この画素を含む場合、シャドウゾーン全体に対応する領域は、「使用されるべき」とマークされる。画素が含まれない場合、シャドウ全体に対応する領域は、「使用されないべき」とマークされる。残りの画素は、「使用されることができる」とマークされる。図16dは、シャドウマップ1620とマスタシャドウマップ1630とにおける情報を組み合わせることにより取得された左側の使用マップ1650を示す。領域1652は、第2の障害物1608のシャドウに対応する。シャドウマップ1620の領域1624が、「重要」とマークされた1つ以上の対応する画素をマスタシャドウマップにおいて有するため、この領域1652は、値「使用されるべき」を取得した。これは、領域1652の1つの画素が多視点パノラマを生成するために使用される必要がある場合、この領域の他の画素全てが使用される必要があることを意味する。領域1654は、第1の障害物1606のシャドウに対応する。対応するシャドウマップ1620の領域1626が、マスタシャドウマップの対応する領域1636において「重要」とマークされた画素を全く有さないため、この領域1654は、値「使用されないべき」を取得した。これは、第2のカメラ1602によりキャプチャされるソース画像において対応する領域を選択することにより、第1の障害物1606が多視点パノラマから削除されうることを意味する。従って、領域1654に対応するソース画像中の領域は、表面1604の多視点パノラマを生成するために使用される必要はない。図16dの右側の使用マップ1656は、シャドウマップ1622とマスタシャドウマップ1630との情報を組み合わせることにより取得された。領域1658は、第2の障害物1606のシャドウに対応する。シャドウマップ1622の領域1628が「重要」とマークされた1つ以上の対応する画素をマスタシャドウマップにおいて有するため、この領域1658は、値「使用されるべき」を取得した。これは、領域1658の1つの画素が多視点パノラマを生成するために使用される必要がある場合、この領域の他の画素全てが使用される必要があることを意味する。
マップ1650及び1656は、多視点パノラマを生成するために使用される必要があるのはソース画像のどの部分であるかを選択するために使用される。選択されるソース画像の部分を割り当てるアルゴリズムの一実施形態が与えられる。他のアルゴリズムが使用可能であることは、当業者には明らかだろう。アルゴリズムのフローチャートを図17に示す。アルゴリズムは、表面1604の多視点パノラマを生成するために使用される必要があるのはどのソース画像であるかを多視点パノラマの画素毎に示す空の選択マップ、及び各ソース画像と関連付けられる使用マップ1650、1656を取得することから開始する。
次に、ソース画像が割り当てられていない選択マップの画素を選択する(1704)。動作1706において、関連付けられる使用マップにおいて、「使用されるべき」又は「使用されることができる」ものとしてマークされた対応する画素を有する、ソース画像が探索される。全ての使用マップにおける対応する画素が「使用されてもよい」ものとしてマークされる場合、画素に対して最も垂直に近い視野角を有するソース画像が選択されることが好ましい。また、パノラマにおいて表面1604の視認性を最適化するため、使用マップの一方における対応する画素が「使用されるべき」としてマークされる場合、マスタシャドウマップにおいて「重要」とマークされた領域を範囲に含む、「使用されるべき」ものとしてマークされた使用マップ中の領域が最小であるソース画像が、マスタシャドウマップを使用して選択されることが好ましい。
ソース画像を選択した後、動作1708において、選択された画像の使用マップは、ソースの選択された画素の周辺のどの領域が、パノラマを生成するために使用される必要があるのかを決定するために使用される。これは、成長アルゴリズムにより行なわれることができる。例えば、使用マップにおいて「使用されるべき」及び使用されることができるとマークされた全ての隣接する画素を選択し、選択マップ内の対応する画素に割り当てられるソース画像がないようにすることによってなされる。
次の動作1710において、ソース画像が全ての画素に割り当てられたかが決定される。割り当てられていない場合、ソース画像が割り当てられていない画素を選択することにより再び動作1704が実行され、ソース画像が各画素に割り当てられるまで後続の動作が繰り返される。
図16eは、表面1604に対して多視点パノラマを生成するために選択されるのはソース画像のどの部分であるかを識別する2つの画像を示す。各部分の組合せは図16fに示され、表面1604についての多視点パノラマの選択マップ1670に対応する。図16eの左側の画像1660は第1のカメラ1600によりキャプチャされるソース画像に対応し、右側の画像1662は第2のカメラ1602によりキャプチャされるソース画像に対応する。選択マップ1670の左側のセグメント1672の画素は、第1のカメラの位置1600からキャプチャされたソース画像の対応する領域に割り当てられ、この領域は、図16eの左側の画像1660の領域1664に対応する。選択マップ1670の右側のセグメント1674の画素は、第2のカメラの位置1602からキャプチャされるソース画像の対応する領域に割り当てられる。この領域は、図16eの右側の画像1662の領域1666に対応する。
上述のアルゴリズムを適用する場合、画素は、選択マップの左側部分、例えば左上の画素において選択された。この画素は、1つのソース画像においてのみ存在する。動作1708において、隣接する領域は、選択マップの輪郭及び「使用されないべき」とマークされた画素に結合されるまで、拡大することができる。このように、領域1664は選択され、第1のソース画像は、選択マップ1670においてセグメント1672の画素に割り当てられる。次に、ソース画像が割り当てられていない新しい画素が選択される。この画素は、領域1666に位置付けられる。その後、この画素の隣接する領域が選択される。領域1666の輪郭は、ソース画像の輪郭、及び選択マップ1670において既に他のソース画像に割り当てられた画素すなわち第1のカメラによりキャプチャされた画像に割り当てられた画素、によって規定される。
セグメント1672及び1674に対応するソース画像から画素を選択することにより、多視点パノラマが得られる。ここで第1の障害物1606は不可視であり、第2の障害物は完全に可視である。
図16eの右側の画像において、対応する画素が表面1604の多視点パノラマを生成するために使用されうる領域を、領域1668は特定する。他のソース画像との重なり合う境界の幅が予め定義された閾値、例えば7画素を上回る場合、あるいは使用マップにおいて「使用されるべき」又は「使用されないべき」ものとしてマークされた画素において、拡大処理が停止するという基準を有するように動作1708を拡張することによって、この領域は取得されることができる。領域1668は、そのような重なり合う境界である。これは、領域1676により図16eに示される。この領域は、平滑ゾーンとして使用可能である。このことは本方法が、2つの隣接するソース画像間の不規則性、例えば画像間の色の差異を遮蔽することを可能にする。このように、色は、第1の画像の背景色から第2の色の背景色にスムーズに変化する。これにより、通常なら同一色を有するべきである領域における急激な変色の数が減少する。
上述のソース画像部分を選択する2つの実施形態は、各画素がソース画像に割り当てられた、多視点パノラマに対するマップを生成する。これは、対応するソース画像の部分を多視点パノラマ上に投影することにより、多視点パノラマにおいて可視である全ての情報が取得されることを意味する。双方の実施形態は、障害物ではなく表面を視覚化するソース画像の部分を選択することにより、障害物を可能な限り削除するようにする。表面のいくつかの部分はどのソース画像においても視覚化されないため、障害物又は障害物の部分は、ソース画像の部分の画素がパノラマ上に投影される場合にのみ視覚化される。しかし、2つの実施形態は、最初にいずれのソース画像からも見られない表面の領域の特徴を取得するように構成される。これらの領域は、第2の実施形態のマスタシャドウマップのシャドウに対応する。取得されうるいくつかの特徴は、高さ、幅、形状、サイズである。領域の特徴が予め定義された基準に一致する場合、この領域に対応する多視点パノラマの画素は、領域を取り囲む多視点パノラマの画素から取得されることができる。例えば、領域の幅が多視点パノラマにおいて予め定義された画素数、例えば街灯柱のシャドウ等、を上回らない場合、隣接する画素の平均値を割り当てる又は補間すること画素値は取得されうる。他の閾値関数が適用可能であることは明らかである。
更に、ある忠実度で再現されるのに十分であるほどに、結果として得られる障害物が重要であるかどうかを判断するアルゴリズムが適用されてもよい。例えば、ファサードを遮る木が2つの画像において示され、一方の画像では画像の輪郭においてわずかな部分のみが見られ、他方の画像では木全体が見られる。アルゴリズムは、パノラマにわずかな部分を含むことが奇妙に見えないかどうかを決定するように構成されてもよい。奇妙に見えない場合、わずかな部分が示されることにより、ファサードの最大部分を視覚化するパノラマと、木によるわずかな視覚の不規則性とが得られる。奇妙に見える場合、木全体が含まれることにより、ファサードよりわずかな部分を表すが、木に関する視覚の不規則性は表されないパノラマが得られる。このように、多視点パノラマにおける可視の障害物の数及び対応するサイズが更に減少する。これにより本方法は、最適な視覚効果を含むパノラマを提供できる。この機能は、各シャドウマップにおいて実行されることができる。
D.動作48:選択されたソース画像の部分からのパノラマの構成
多視点パノラマに対応するセグメント化されたマップを生成し、ソース画像においてセグメントに対応する領域を投影するために使用される必要があるソース画像をセグメント毎に選択した後に、セグメントと関連付けられたソース画像の領域がパノラマ上に投影される。この処理は、未公開特許出願PCT/NL2006/050252において説明されるオルソ補正方法に相当し、これは全てが画像処理の分野において周知である3つの動作、すなわちカメラの焦点を通した回転と変倍と変換とを、ソース画像の領域上で実行するものとして説明されることができる。種々の位置(=視点)を有する画像が使用されるために、全てのセグメントは、多視点パノラマであるモザイクを共に形成する。
多視点パノラマに対応するセグメント化されたマップを生成し、ソース画像においてセグメントに対応する領域を投影するために使用される必要があるソース画像をセグメント毎に選択した後に、セグメントと関連付けられたソース画像の領域がパノラマ上に投影される。この処理は、未公開特許出願PCT/NL2006/050252において説明されるオルソ補正方法に相当し、これは全てが画像処理の分野において周知である3つの動作、すなわちカメラの焦点を通した回転と変倍と変換とを、ソース画像の領域上で実行するものとして説明されることができる。種々の位置(=視点)を有する画像が使用されるために、全てのセグメントは、多視点パノラマであるモザイクを共に形成する。
1つのセグメントから別のセグメントへの交差における視覚の不規則性は、2つのセグメントの境界に沿って平滑ゾーンを規定することにより減少するか又は削除される。
一実施形態において、平滑ゾーンの画素の値は、第1のソース画像及び第2のソース画像において対応する画素の値を平均することにより取得される。別の実施形態において、画素値は、以下の式により取得される。
valuepan = α × valueimage1 + (1 - α) × valueimage2
式中、valuepan、valueimage1及びvalueimage2は、第1の画像、第2の画像、及び多視点パノラマのそれぞれにおける画素値であり、並びにαは0から1の範囲のであり、平滑ゾーンは、α = 1の場合に第1の画像に接触し、α = 0の場合に第2の画像に接触する。αは、平滑ゾーンの一方の側から他方の側に直線的に変化してもよい。その場合、valuepanは、平滑ゾーンの中央において第1の画像の値及び第2の画像の値の平均であり、それは、通常、切り抜きの場所である。尚、パラメータαは、0から1に変化する時に任意の他の適切なコースを有してもよい。
valuepan = α × valueimage1 + (1 - α) × valueimage2
式中、valuepan、valueimage1及びvalueimage2は、第1の画像、第2の画像、及び多視点パノラマのそれぞれにおける画素値であり、並びにαは0から1の範囲のであり、平滑ゾーンは、α = 1の場合に第1の画像に接触し、α = 0の場合に第2の画像に接触する。αは、平滑ゾーンの一方の側から他方の側に直線的に変化してもよい。その場合、valuepanは、平滑ゾーンの中央において第1の画像の値及び第2の画像の値の平均であり、それは、通常、切り抜きの場所である。尚、パラメータαは、0から1に変化する時に任意の他の適切なコースを有してもよい。
画像処理の技術分野においては、1つのセグメントから別のセグメントへの平滑な交差を得るための、多くの他のアルゴリズムが知られている。
上述の方法は、いくつかの簡単な実施例により説明される。
図10は、異なる位置A、B上で同一平面1004を記録する2つのカメラ1000、1002を示す上面図である。2つのカメラ1000、1002は、位置Aから位置Bに移動する移動車両(不図示)上に装着される。矢印1014は、走行方向を示す。与えられる実施例において、ソース画像のシーケンスは、平面1004を視覚化する2つのソース画像のみを含む。一方のソース画像は、車両が位置Aにある時点で第1のカメラ1000から取得される。他方のソース画像は、車両が位置Bにある時点で第2のカメラ1002から取得される。図11は、図10に示す状況からの画像を示す透視投影画像である。左側の透視投影画像及び右側の透視投影画像は、第1のカメラ1000及び第2のカメラ1002によりキャプチャされるソース画像にそれぞれ対応する。双方のカメラは、車両の走行方向に対して異なる撮像角度を有する。図10は、位置A及びBと平面1004との間に位置する円柱等の障害物1006を示す。従って、平面1004の部分1008は第1のカメラ1000によりキャプチャされるソース画像において不可視であり、平面1004の部分1010は第2のカメラ1002によりキャプチャされるソース画像によりキャプチャされたソース画像において不可視である。
カメラ1000でキャプチャされたソース画像と関連付けられるシャドウマップは右半分にシャドウを有し、カメラ1000でキャプチャされたソース画像と関連付けられるシャドウマップは左半分にシャドウを有する。図10は、平面1004のマスタシャドウマップの上面図を示す。シャドウマップは、2つのばらばらのシャドウ1008及び1010を含む。本発明によると、マスタシャドウマップを切り抜く箇所1012は、2つのシャドウ1008と1010との間である。図11において、ポリゴン1102及び1104は、平面1004が分割される2つのセグメントを示す。
上述のように、本発明に係る方法は、セグメント毎に、各ソース画像のシャドウマップにおいて対応する領域を解析する。最小のシャドウ領域を含むセグメントを視覚化するソース画像が選択されてもよい。与えられる実施例においては、対応するセグメントにおいてシャドウを含まないソース画像が、そのセグメントを示すために選択されるだろう。従って、図11においてポリゴン1102により示される平面1004の左側部分は、第1のカメラ1000によりキャプチャされた画像から取得され、図11においてポリゴン1104により示される平面1004の右側部分は、第1のカメラ1002によりキャプチャされた画像から取得される。
図12は、対応するセグメントを視覚化するためにセグメント毎に対応するソース画像を選択した後に、図11に示す2つの画像から図10の平面1004についてのパノラマを合成する処理を示す。一実施形態において、ポリゴン1102及び1104により規定されるセグメントは、平面1004についての多視点パノラマ上に投影される。
2つのセグメントは、接合箇所1202において完全に一致しない。この原因は、接合箇所1202における2つのソース画像の解像度、色及び他の視覚パラメータの差異でありうる。ユーザは、接合箇所1202の両側における2つのセグメントの画素値がそれぞれの画像の1つのみから直接取得される場合に、パノラマにおけるこの不規則性に気付くだろう。接合箇所1202周辺の平滑ゾーン1204は、この欠点の視認性を軽減するために規定される。
図13及び図14は、本発明を説明するために上述された実施例に類似する別の簡単な実施例を示す。この実施例においては、別の障害物が平面1304を視覚化するのを妨げる。図13は、異なる位置C、D上で同一平面1304を記録する2つのカメラ1300、1302を示す上面図である。2つのカメラ1300、1302は、位置Cから位置Dに移動する移動車両(不図示)上に装着される。矢印1314は、走行方向を示す。与えられた実施例において、ソース画像のシーケンスは、平面1304を視覚化する2つのソース画像のみを含む。一方のソース画像は、車両が位置Cにある時点で第1のカメラ1300から取得される。他方のソース画像は、車両が位置Dにある時点で第2のカメラ1302から取得される。図14は、図13に示す状況からの画像を示す透視図である。図14に示される左側及び右側の透視図画像はそれぞれ、第1のカメラ1301及び第2のカメラ1302によりキャプチャされたソース画像に対応する。双方のカメラは、車両の走行方向に対して異なる撮像角度を有する。図13は、位置C及びDと平面1004との間に位置する円柱等の障害物1306を示す。従って、平面1304の部分1308は第1のカメラ1300によりキャプチャされたソース画像において不可視であり、平面1304の部分1310は第2のカメラ1302によりキャプチャされたソース画像によりキャプチャされたソース画像において不可視である。
図13は、平面1304と関連付けられるマスタシャドウマップを示す上面図である。マスタシャドウマップは、シャドウ1008及び1010が重なり合う領域を有することを示す。平面1304を視覚化するのは2つの画像のみであるため、重なりと対応するシャドウに関連付けられる平面の領域は、いずれの画像においても見られない。従って、平面1304のパノラマにおける重なりに対応する領域は、障害物1306の対応する部分を視覚化する。次にマスタシャドウマップが、1つの部分がシャドウを含むように、3つの部分に分割されることができる。シャドウを含むセグメントを規定するポリゴンの境界線は、シャドウの境界線から最短距離だけ離間されるのが好ましい。これにより、平滑ゾーンを規定できる。図中符号1312及び1316は、セグメントの左側の境界線及び右側の境界線を示す。図14において容易に分かるように、双方のソース画像がセグメントを完全に視覚化するため、平面に対して最も垂直に近い撮像角度を関連づけられたソース画像からセグメントが取得されるだろう。与えられた実施例において、セグメントは、第2のカメラ1302により撮られたソース画像から取得されるだろう。障害物と、平面の最も右側の部分とを含むセグメントが、そのセグメントをパノラマ上に投影するために同一のソース画像から取得されるために、境界線1316は削除されることができ、そこでは平滑ゾーンが規定される必要はない。従って、最終的に、2つのセグメントが平面1304のパノラマを合成するために残る。図14において、ポリゴン1302及び1304は、平面1304を合成するために使用されるソース画像の2つのセグメントを示す。図中符号1312は、平滑ゾーンが規定されることができる境界線を示す。
上述の方法は自動的に実行される。多視点パノラマの品質は、本発明を実行する画像処理ツール及び物体認識ツールがいくらかの修正を必要とするようなものであることもあるだろう。例えば、レーザスキャナマップにおいて見つけられるポリゴンは、2つの隣接する建物に対応し、建物のファサード毎にパノラマが生成される必要がある。その場合本方法は、中間の結果を確認し又は適合させる可能性を可能とするために、いくつかの検証及び手動の適応動作を含むだろう。これらの動作はまた、道路情報の生成の中間結果または最終結果を受け入れるのにも適切でありうる。また、1つ以上の連続するソース画像上の、建物の表面及び/又はシャドウマップを示すポリゴンの重ね合わせが、検証を行うことを人に要求するために使用される。
本発明により生成される多視点パノラマは、適切な座標系で、関連付けられた位置データ及び方向データと共にデータベースに格納される。パノラマは、Google Earth、Google Street View及びMicrosoft's Virtual Earth等のアプリケーションにおいて、擬似現実的で、解釈及び生成するのが容易な、世界中の都市のビューを描き出すために用いられることができ、又は、便利なようにナビゲーション装置上に格納されるか又は供給されることができる。
上述のように、多視点パノラマは、ロードサイドパノラマを生成するために使用される。
図15a〜15dは、本発明により生成されるロードサイドパノラマのアプリケーションを示す。このアプリケーションは、現状のナビゲーションシステム及びインターネット上のナビゲーションアプリケーションの視覚的な出力を向上させる。アプリケーションを実行するデバイスは、出力を生成するための専用の画像処理ハードウェアを必要としない。図15aは、ロードサイドの建物の複雑な3Dモデルを使用せずに容易に生成される、通りを示す擬似透視図である。擬似透視図は、通りの左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びに2つの多視点パノラマ間での路面(地表)の類似の生成されたマップを処理することにより取得された。マップ及び2つの画像は、モバイルマッピングセッション中に記録された画像シーケンス及び位置/方向を処理することにより取得されることができ、あるいは仮想平面についての画像を使用し、それをデジタルマップデータベースから取得されたデータと組み合わせることもできる。図15bは通りの左側のロードサイドパノラマを示し、図15cは通りの右側のロードサイドパノラマを示す。図15dは、マップデータベースから拡張したか、又はこれもまたモバイルマッピング車両から収集された、通りのオルソ修正画像からかもしれない、セグメントを示す。非常に制限された数の平面を使用して、通りの擬似現実的なビューが生成されうることが分かる。図中符号1502及び1506はそれぞれ、図15b及び図15cのパノラマの擬似透視投影画像を作成することにより取得された画像の部分を示す。視野位置から最も離れた位置にある画素列から開始して視野位置に最近接する位置にある画素列まで、ロードサイドパノラマの画素列を擬似現実的なビュー上に連続して投影することで、図15b及び図15cのパノラマを透視投影画像に変換することにより、部分1502及び1506は容易に生成される。図中符号1504は、マップデータベース又は路面のオルソ補正画像の透視投影画像を拡張することにより取得された画像の部分を示す。
尚、一方のロードサイドの全ての建物は擬似透視投影画像において同一の建築ラインを有し、それゆえ完全な透視投影画像を完成できない。現実には、各建物は固有の建築ラインを有するだろう。すると、スリットスキャンカメラによりキャプチャされたパノラマにおいて、建物は異なるサイズを有するだろう。本発明においてこの種のパノラマを使用する結果、奇妙な外見の透視投影画像が得られるだろう。建物と道路との間の異なる垂直距離は、透視投影画像において建物の異なる高さ及びサイズとして解釈される。本発明は、より完全な3D表現のために必要とされる処理能力のうちごく一部分を使用する場合に、適度に写実的な図画像を生成することを可能とする。本発明に係る本発明の方法によると、通りについてのロードサイドパノラマは、2つのステップで生成される。第1に、通りに沿った建物に対して1つ以上の多視点パノラマが生成されるだろう。第2に、1つ以上の多視点パノラマを1つの共通の平滑な表面に投影することによりロードサイドパノラマが生成される。一実施形態において、共通の平滑な表面は、自動車の軌跡、センターライン、境界線等の道路に沿った線に対して平行である。「平滑」は、表面と道路に沿った線との距離が変化するかもしれないが、急激には変化しないことを意味する。
第1の動作において、多視点パノラマは、ロードサイドに沿った平滑な表面毎に生成される。平滑な表面は、同一の建築ラインを有する隣接する1つ以上の建物のファサードにより形成されることができる。また、この動作において、表面の前の障害物が可能な限り削除されるだろう。障害物は、決定された表面の位置が建物のファサードの実際の位置に対応する場合にのみ正確に削除される。道路に沿った表面の方向は変化してもよい。更に、道路の方向と通りに沿った2つの隣接する多視点パノラマの表面との間の垂直の距離が、変化してもよい。
第2の動作において、ロードサイドパノラマは、第1の動作において生成された多視点パノラマから生成される。多視点パノラマは道路に沿った平滑な表面であると仮定され、各画素は、規定された表面に対する垂直距離から見た場合に、表面を示すものとみなされる。本発明に係るロードサイドパノラマにおいて、ロードサイドパノラマの各画素の垂直解像度は類似する。例えば画素は、5cmの高さを有する矩形を示す。本発明において使用されるロードサイドパノラマは垂直表面であり、そこでは、ロードサイドに沿った建物の多視点パノラマのそれぞれは、仮想表面において同様の垂直解像度を有するように変倍される。従って、同等の外観を有するが異なる建築ラインを有する家のある通りは、同一の建築ライン及び同様の外観を有する家としてパノラマにおいて視覚化されるだろう。
上述したようなロードサイドパノラマに対して、パノラマの水平軸に沿って、奥行きの情報が関連付けられることができる。これにより、何らかの強力な画像処理ハードウェアを有するシステム上で動作するアプリケーションが、建物の実際の位置に従ってパノラマから3D表現を生成することが可能となる。
現在のデジタルマップデータベースにおいて、通り及び道路は道路セグメントとして格納される。デジタルマップを使用する本発明の視覚的な出力は、左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びにオプションとしてこの通りの路面のオルソ補正画像を、データベースにおいて各セグメントと関連付けることによって向上されることができる。デジタルマップにおいて、多視点パノラマの位置は、絶対座標又はセグメントの予め定義された座標に対する相対座標で規定されることができる。これにより、システムは、通りに関する出力において、パノラマの擬似透視投影画像の位置を正確に決定できる。
交差点又は分岐点を有する通りは、複数のセグメントにより示される。交差点又は分岐点は、セグメントの始点又は終点である。それぞれのセグメントについて、データベースが関連付けられた左側及び右側のロードサイドパノラマを含む場合、図15aに示されるような透視投影画像は、通りのセグメントと関連付けられた左側及び右側のロードサイドパノラマの透視投影画像を可視とし、合理的な距離に置くことにより、容易に生成されうる。図15aは、自動車が通りの方向に対して平行な走行方向を有する状況について生成される透視投影画像である。矢印1508は、道路上の自動車の方向及び位置を示す。パノラマが最も共通の平面に対して生成されるため、パノラマは道路セグメントに対応するロードサイドの最も左側の建物から開始して、道路セグメントに対応するロードサイドの最も右側の建物で終了する。従って、交差点の建物間の空間に対するパノラマは存在しない。一実施形態において、透視投影画像のこれらの部分は、情報と共にファイルされない。別の実施形態において、透視投影画像のこれらの部分は、交差点又は分岐点に結合されたセグメントと関連するパノラマの部分、並びに拡張されたマップデータ又はオルソ補正された表面データと共にファイルされるだろう。このように、交差点の曲がり角の建物の2つの側面は、透視投影画像において示されるだろう。
専用の画像処理ハードウェアを使用しないナビゲーションシステムにおいて、自動車を運転している間、表示装置は頻繁に、例えば移動した距離に依存して1秒毎に、更新されることができる。その場合透視投影画像は、実際のGPS位置及びナビゲーション装置の方向に基づいて1秒ごとに生成及び出力される。
また、本発明に係る多視点パノラマは、通り、住所、又は任意の希望する点の周囲の擬似現実的なビューを容易に提供するアプリケーションにおいて使用されるのに適切である。例えば出力は、本発明に係る地理基準のロードサイドパノラマを追加することにより、現行のルート計画システムの出力を容易に向上することができ、そのとき、建物のファサードは建物の画素の解像度が等価になるように変倍される。そのようなパノラマは通りのパノラマに対応し、通りに沿った全ての建物は同一の建築ラインを有する。ユーザは、場所を探索する。次に、対応するマップが、画面上のウィンドウにおいて示される。その後、画面上の別のウィンドウにおいて(又は一時的に同一ウィンドウ上で)、その位置に対応する、道路の方向に対して垂直なロードサイドに従って、(図15b又は図15cのように)画像が示される。別の実現例において、画面上のマップの方向は、パノラマの透視投影画像がどの方向で与えられるべきかを規定するために使用されることができる。ロードサイドパノラマの全ての画素は、ロードサイドパノラマの表面の位置に外観を示すものとみなされる。ロードサイドパノラマは、表面上にあると仮定される視覚情報のみを含む。従って、擬似現実的な透視投影画像は、ロードサイドパノラマの任意の視野角に対して、容易に作成されることができる。システムの回転機能により、マップは画面上で回転されることができる。同時に、対応する擬似現実的な透視投影画像は、行われた回転に対応して生成されることができる。例えば通りの方向が、デジタルマップの対応する部分を示す画面の左側から右側への場合、図15bにおいて示されるようなパノラマの部分のみが表示されるだろう。通りの方向に対して垂直であるロードサイドビューを表示装置は表すものと仮定されるため、その部分は画像を変形せずに表示されることができる。また、表される部分は、ユーザによって選択された場所の左側及び右側のパノラマの、予め定義された領域に対応する。通りの方向が画面の下側から上側への場合、図15aのような透視投影画像は、左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びにオプションとして路面のオルソ補正画像を組み合わせることにより生成されるだろう。
システムは反転機能を更に含むことができ、1つの命令によりマップを180°にわたって回転させて、通りの反対側を表示することができる。
マップ上の通りの方向に沿って歩くために、及び、画面上のマップの方向に依存して通りの対応する映像を同時に表示ために、システムの水平回転機能が利用可能である。擬似現実的な画像が使用される画像として示される度、左側のロードサイドパノラマ及び右側のロードサイドパノラマ、並びにオルソ補正された路面画像(必要な場合)は、補正された画像を示す。補正された画像は、各画素が建物のファサードの純粋な正面図と、路面の上面図とを示す画像である。
図15b及び15cは、通りのロードサイドパノラマを示し、全ての家は同一の高さを有する。しかしながら通常は、異なる高さを有する家はロードサイドパノラマにおいて異なる高さを有するように示されるように、上述の方法はロードサイドパノラマを生成するであろうことが、当業者にとっては明らかだろう。図18は、そのようなロードサイドパノラマを示す。ロードサイドパノラマにおいて、道路に沿った多視点パノラマを示す表面に対応する画素のみが表示装置上に示されるべきである。従って、表示装置上にロードサイドパノラマを再現する場合、領域1802及び1804における画素は考慮されるべきではない。ロードサイドに沿った物体の領域の境界線の場所の検出が可能とする、値かパターンか又はテクスチャが、領域1802及び1804に与えられることが好ましい。例えば、この領域1802及び1804における画素は、画像中に通常は存在しない値を取得するだろう。または、この領域1802及び1804における画素は、第1の予め定義された値は第2の予め定義された値とは異なる場合に、第1の予め定義された画素値から開始し、第2の予め定義された画素値を有する画素で終了する画素の各列に、通常は存在しない値を取得するだろう。尚、丘の上の建物は、地上が傾斜を有するような外観を有するかもしれない。これは、外観の多視点パノラマ、及び多視点パノラマを含むロードサイドパノラマにおいても見られるだろう。
画面上にデジタルマップの透視投影画像を生成する際に、道路の高さの情報を視覚化するアプリケーションがある。図18に示されるようなロードサイドパノラマは、通りの擬似現実的な透視投影画像を提供するために、それらのアプリケーションにおいて使用されるのに非常に適切である。路面の高さは、殆どの場合、外観の地面に一致する。外観の多視点パノラマは、ロードサイドパノラマと関連付けられる表面上に投影されている。その場合、路面の高さは、外観の地面の高さに一致しないだろう。アプリケーションは、多視点パノラマにおいて路面の高さと外観の地面の高さとの差異を検出するアルゴリズムを提供されることができる。従って、アプリケーションは、領域1802の上端の画素の位置を検出することにより、ロードサイドパノラマにより示される物体に対応する画素の最も低い位置の垂直位置を、画素の各列において決定するように構成される。各画素が事前定義済みの高さを有する領域を示すため、路面と地上との高さの差異が決定できる。次に、通りに沿ったこの差異は、パノラマにおいて外観の高さを修正し、ロードサイドを含む路面の擬似透視投影画像を生成するために使用される。このとき、路面の高さは外観の地面の高さに一致する。
道路の高さを含まないマップを使用するアプリケーションがある。従って、それらは、水平なマップの透視投影画像の生成に対してのみ適切である。図18のロードサイドパノラマの組合せにより、建物の地面が道路に沿って変化するような透視投影画像が得られるだろう。この不一致は現実的に見えなくてもよい。これらのアプリケーションが擬似現実的な透視投影画像を提供することができる2つの実施形態が与えられる。
第1の実施形態において、アプリケーションは、ロードサイドパノラマから高さの情報を取得し、それを使用して水平なマップの透視投影画像を向上させるだろう。従ってアプリケーションは、領域1802の上端の画素の位置を検出することにより、ロードサイドパノラマにより示される物体に対応する画素の最も低い位置の垂直位置を、画素の各列において決定するように構成される。各画素が予め定義された高さを有する領域を示すため、通りに沿った高さの差異が決定できる。次に、通りに沿ったこの差異は、通りに沿った高さの対応する差異を視覚化する、路面の擬似透視投影画像を生成するために使用される。このように、擬似現実的透視投影画像において路面及びロードサイドビューの表面が連続するように、ロードサイドパノラマと路面とは組み合わされることができる。変化する高さを有する路面が、図18に示される外観の地面に従って生成される必要がある場合、徐々に増加/減少する路面が生成される必要があることは、当業者にとって明らかである。ロードサイドパノラマに由来する、通りに沿った地面に対して、平滑化機能が適用されることが好ましい。この結果、路面の高さがスムーズに変化し、より写実的な路面のビューが得られる。
第1の実施形態とは逆に、第2の実施形態において、アプリケーションは、領域1802をロードサイドパノラマから削除し、こうして取得した画像を水平なマップと組み合わせて使用する。領域1802を削除することにより、図15cに示されるロードサイドパノラマに類似する画像が得られる。ロードサイドパノラマから高さの情報を削除することにより、道路に沿った建物の全てが同一の地面高を有するような水平な路面を示す、擬似現実的な透視投影画像が生成される。その場合、ロードサイドパノラマにおけるファサードの地面は傾斜を有し、この傾斜は、ドア及び窓の視覚矩形を歪ませることにより、擬似現実的透視投影画像において見られうる。
本発明の上記詳細な説明は、例示及び説明の目的で提供された。それは、本発明を網羅するか又は開示された厳密な形式に限定することを意図せず、上記教示に鑑みて多くの変更及び変形が可能であることは明らかである。例えば、2つ以上のカメラのソース画像を使用するのではなく、たった1つのカメラの画像シーケンスが建物の表面のパノラマを生成するために使用されてもよい。その場合、2つの連続する画像は、移動車両の軌跡に対する予め定義された垂直距離にあるファサードに対して、十分な重複、例えば60%を超える重複、を有する必要がある。
説明された実施形態は、種々の実施形態において及び特定の使用に適すると考えられる種々の変更と共に他の当業者が本発明を最適に利用できるようにするための、本発明の原理及び実用的な適応例を最適に説明するために選択された。本発明の範囲は、添付の請求の範囲により規定されることが意図される。
Claims (18)
- ロードサイドの多視点パノラマを生成する方法であって、
−移動車両上に装着された少なくとも1つの地上レーザスキャナにより取得されたレーザスキャンサンプルのセットであって、当該レーザスキャンサンプルのそれぞれは位置データ及び方向データと関連付けられている、前記レーザスキャンサンプルのセットを得る工程と、
−それぞれが前記移動車両上に装着された地上カメラを使用して取得された少なくとも1つの画像シーケンスであって、前記少なくとも1つの画像シーケンスのそれぞれの画像は位置データ及び方向データと関連付けられている、前記少なくとも1つの画像シーケンスを取得する工程と、
−前記レーザスキャンサンプルのセットから表面を導き出す工程と、
−前記レーザスキャンサンプルと関連付けられた前記位置データに依存して前記表面の位置を決定する工程と、
−前記表面の前記位置、並びに前記画像のそれぞれと関連付けられた前記位置データ及び前記方向データに依存して、前記少なくとも1つの画像シーケンスから、前記表面についての多視点パノラマを生成する工程と、
を含むことを特徴とする方法。 - 前記生成する工程は、
−前記少なくとも1つの画像シーケンスの第1の画像において、前記表面の一部を見ることを妨げる障害物を検出する工程と、
−前記表面の前記一部を視覚化する第2の画像の領域を選択する工程と、
−前記多視点パノラマの前記一部を生成するために、前記第2の画像の前記領域を使用する工程と、
を含むことを特徴とする請求項1に記載の方法。 - 前記生成する工程は、
−前記少なくとも1つの画像シーケンスの全ての画像において、前記表面の一部を見ることを妨げる1つ以上の障害物を検出する工程と、
−前記1つ以上の障害物のうちの1つのビューを、前記多視点パノラマに対して投影する工程と、
を含むことを特徴とする請求項1に記載の方法。 - 前記生成する工程は、
−前記検出された障害物のそれぞれについて、当該障害物が前記画像の何れかにおいて完全に可視であるかどうかを判定する工程と、
−前記検出された障害物が少なくとも1つの前記画像において完全に可視である場合、前記検出された物体のビューを、前記少なくとも1つの画像のうちの1つから、前記多視点パノラマへと投影する工程と、
を更に含むことを特徴とする、請求項3に記載の方法。 - 前記パノラマは、前記表面に対して最も垂直に近い撮像角度を関連付けられた画像の部分から生成されることを特徴とする、請求項1乃至4の何れか1項に記載の方法。
- 前記生成する工程は、
−前記表面についてのマスタシャドウマップを生成する工程と、
−前記マスタシャドウマップに依存して、前記多視点パノラマを生成する工程と、
を含むことを特徴とする、請求項1に記載の方法。 - 前記マスタシャドウマップを生成する工程は、
−前記表面の少なくとも一部分を含むビューウィンドウを有する画像を選択する工程と、
−前記選択された画像のそれぞれについて、対応する前記選択された画像において視覚化された、前記表面の前にある障害物のシャドウを投影することにより、シャドウマップを生成する工程と、
−前記マスタシャドウマップを取得するために、前記選択された画像の前記シャドウマップを組み合わせる工程と、
を含むことを特徴とする、請求項6に記載の方法。 - 前記生成する工程は、
−前記マスタシャドウマップをセグメントに分割する工程と、
−それぞれの前記セグメントについて、当該セグメントに関連するビューウィンドウにおいて障害物を有さない、対応する前記画像を決定する工程と、
−前記セグメントに関連付けられた領域を前記多視点パノラマ上に投影するために、前記対応する画像を使用する工程と、
を更に含むことを特徴とする、請求項6又は7に記載の方法。 - 前記生成する工程は、前記セグメントについて対応する前記画像が見つけられない場合に、前記セグメントに関連するビューウィンドウにおいて前記障害物全体を有する前記画像を使用する工程を更に含むことを特徴とする、請求項8に記載の方法。
- 前記生成する工程は、前記セグメントについて対応する画像が見つけられない場合に、前記表面に対して最も垂直に近い撮像角度を関連付けられた前記画像を使用する工程を更に含むことを特徴とする、請求項8又は9に記載の方法。
- 前記表面は、前記レーザスキャンサンプルのセットに対してヒストグラム解析を行うことによって導き出されることを特徴とする、請求項1乃至3の何れか1項に記載の方法。
- ロードサイドパノラマを生成する方法であって、
−請求項1乃至10の何れか1項に記載の方法によって生成される複数の多視点パノラマと、関連する位置情報とを取得する工程と、
−前記ロードサイドパノラマについての、仮想表面の位置を決定する工程と、
−前記仮想表面上に、前記複数の多視点パノラマを投影する工程と、
を含むことを特徴とする方法。 - 請求項1乃至11の何れか1項に記載の方法を実行する装置であって、
−入力デバイスと、
−プロセッサが読み取り可能な記憶媒体と、
−前記入力デバイス及び前記プロセッサが読み取り可能な記憶媒体と通信するプロセッサと、
−表示ユニットとの接続を可能とする出力デバイスと、
を備え、
前記プロセッサが読み取り可能な記憶媒体は、
−移動車両上に装着された少なくとも1つの地上レーザスキャナにより取得されたレーザスキャンサンプルのセットであって、当該レーザスキャンサンプルのそれぞれは位置データ及び方向データと関連付けられている、前記レーザスキャンサンプルのセットを得る動作と、
−それぞれが前記移動車両上に装着された地上カメラを使用して取得された少なくとも1つの画像シーケンスであって、前記少なくとも1つの画像シーケンスのそれぞれの画像は位置データ及び方向データと関連付けられている、前記少なくとも1つの画像シーケンスを取得する動作と、
−前記レーザスキャンサンプルのセットから表面を導き出す動作と、
−前記レーザスキャンサンプルと関連付けられた前記位置データに依存して前記表面の位置を決定する動作と、
−前記表面の前記位置、並びに前記画像のそれぞれと関連付けられた前記位置データ及び前記方向データに依存して、前記少なくとも1つの画像シーケンスから、前記表面についての多視点パノラマを生成する動作と、
を含む方法を実行するように、前記プロセッサをプログラムするコードを格納した
ことを特徴とする装置。 - コンピュータ装置にロードされた際に、前記コンピュータ装置が請求項1乃至11の何れか1項に記載の方法を実行することを可能とする命令を含む、コンピュータプログラム。
- コンピュータ装置にロードされた際に前記コンピュータ装置が請求項1乃至11の何れか1項に記載の方法を実行することを可能とするコンピュータプログラムを保持した、プロセッサが読み取り可能な記憶媒体。
- 請求項1乃至11の何れか1項に記載の方法を実行することにより取得された多視点パノラマを保持した、プロセッサが読み取り可能な記憶媒体。
- マップと、通りにおける選択された位置と、前記位置からの擬似現実的なビューとを同時に画面上で与える、コンピュータにより実現されるシステムであって、
前記選択された位置を含むマップと、
請求項11に記載の少なくとも1つのロードサイドパノラマと、
通りにおける選択された位置を含む表示マップを、変更可能な向きで画面上に表示するマップ生成部と、
前記変更可能な向きに依存して、前記少なくとも1つのロードサイドパノラマから、前記選択された位置についての擬似現実的なビューを生成するビュー生成部と、
を備えることを特徴とする、コンピュータにより実現されるシステム。 - 前記マップと、前記擬似現実的なビューとが、1つの擬似透視投影画像へと合成されることを特徴とする、請求項17に記載の、コンピュータにより実現されるシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NL2007050274 | 2007-06-08 | ||
PCT/NL2007/050319 WO2008150153A1 (en) | 2007-06-08 | 2007-06-28 | Method of and apparatus for producing a multi-viewpoint panorama |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010533282A true JP2010533282A (ja) | 2010-10-21 |
Family
ID=39313195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010511135A Withdrawn JP2010533282A (ja) | 2007-06-08 | 2007-06-28 | 多視点パノラマを生成する方法及び装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20100118116A1 (ja) |
EP (1) | EP2158576A1 (ja) |
JP (1) | JP2010533282A (ja) |
CN (1) | CN101681525A (ja) |
AU (1) | AU2007354731A1 (ja) |
CA (1) | CA2699621A1 (ja) |
RU (1) | RU2009148504A (ja) |
WO (1) | WO2008150153A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118666A (ja) * | 2010-11-30 | 2012-06-21 | Iwane Laboratories Ltd | 三次元地図自動生成装置 |
WO2013157301A1 (ja) * | 2012-04-16 | 2013-10-24 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
JP2016218762A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
WO2017154061A1 (ja) * | 2016-03-07 | 2017-09-14 | 三菱電機株式会社 | 地図作成装置および地図作成方法 |
JP2017161291A (ja) * | 2016-03-08 | 2017-09-14 | オリンパス株式会社 | 高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラム |
KR20170135952A (ko) * | 2015-04-10 | 2017-12-08 | 로베르트 보쉬 게엠베하 | 차량의 주변 영역을 표시하기 위한 방법 |
JP2019092156A (ja) * | 2017-11-16 | 2019-06-13 | アクシス アーベー | 重なり合う視界を有する第1の画像と第2の画像とを合成するための方法、デバイス、およびカメラ |
KR20200010909A (ko) * | 2018-07-23 | 2020-01-31 | (주)지니트 | 파노라마 크로마키 합성 시스템 및 방법 |
Families Citing this family (133)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8531514B2 (en) * | 2007-09-20 | 2013-09-10 | Nec Corporation | Image providing system and image providing method |
TW201011259A (en) * | 2008-09-12 | 2010-03-16 | Wistron Corp | Method capable of generating real-time 3D map images and navigation system thereof |
US9683853B2 (en) * | 2009-01-23 | 2017-06-20 | Fuji Xerox Co., Ltd. | Image matching in support of mobile navigation |
US8698875B2 (en) * | 2009-02-20 | 2014-04-15 | Google Inc. | Estimation of panoramic camera orientation relative to a vehicle coordinate frame |
GB0908200D0 (en) * | 2009-05-13 | 2009-06-24 | Red Cloud Media Ltd | Method of simulation of a real physical environment |
WO2010134502A1 (ja) * | 2009-05-18 | 2010-11-25 | 小平アソシエイツ株式会社 | 画像情報出力方法 |
DE102010021383B4 (de) * | 2009-05-29 | 2012-06-06 | Kurt Wolfert | Verfahren zur automatisierten Erfassung von Objekten mittels eines sich bewegenden Fahrzeugs |
US8581900B2 (en) * | 2009-06-10 | 2013-11-12 | Microsoft Corporation | Computing transitions between captured driving runs |
DE102009036200A1 (de) | 2009-08-05 | 2010-05-06 | Daimler Ag | Verfahren zur Überwachung einer Umgebung eines Fahrzeugs |
WO2011023247A1 (en) * | 2009-08-25 | 2011-03-03 | Tele Atlas B.V. | Generating raster image representing road existence probability based on probe measurements |
KR100971777B1 (ko) * | 2009-09-16 | 2010-07-22 | (주)올라웍스 | 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
CN102025922A (zh) * | 2009-09-18 | 2011-04-20 | 鸿富锦精密工业(深圳)有限公司 | 影像匹配系统及方法 |
WO2011047731A1 (en) * | 2009-10-22 | 2011-04-28 | Tele Atlas B.V. | Method for creating a mosaic image using masks |
CA2795269A1 (en) * | 2010-04-12 | 2011-10-20 | Fortem Solutions Inc. | Camera projection meshes |
NL2004996C2 (nl) * | 2010-06-29 | 2011-12-30 | Cyclomedia Technology B V | Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto. |
US9020275B2 (en) * | 2010-07-30 | 2015-04-28 | Shibaura Institute Of Technology | Other viewpoint closed surface image pixel value correction device, method of correcting other viewpoint closed surface image pixel value, user position information output device, method of outputting user position information |
JP2012048597A (ja) * | 2010-08-30 | 2012-03-08 | Univ Of Tokyo | 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム |
US8892357B2 (en) | 2010-09-20 | 2014-11-18 | Honeywell International Inc. | Ground navigational display, system and method displaying buildings in three-dimensions |
DE202011110906U1 (de) * | 2010-11-24 | 2017-02-27 | Google Inc. | Bahnplanung für die Navigation auf Strassenniveau in einer dreidimensionalen Umgebung und Anwendungen davon |
AU2011332885B2 (en) * | 2010-11-24 | 2016-07-07 | Google Llc | Guided navigation through geo-located panoramas |
KR20120071160A (ko) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 이동체용 실외 지도 제작 방법 및 그 장치 |
US10168153B2 (en) | 2010-12-23 | 2019-01-01 | Trimble Inc. | Enhanced position measurement systems and methods |
WO2012089264A1 (en) * | 2010-12-30 | 2012-07-05 | Tele Atlas Polska Sp.Z.O.O | Method and apparatus for determining the position of a building facade |
JP5891388B2 (ja) * | 2011-03-31 | 2016-03-23 | パナソニックIpマネジメント株式会社 | 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム |
US9746988B2 (en) * | 2011-05-23 | 2017-08-29 | The Boeing Company | Multi-sensor surveillance system with a common operating picture |
US8711174B2 (en) | 2011-06-03 | 2014-04-29 | Here Global B.V. | Method, apparatus and computer program product for visualizing whole streets based on imagery generated from panoramic street views |
US20130106990A1 (en) | 2011-11-01 | 2013-05-02 | Microsoft Corporation | Planar panorama imagery generation |
CN102510482A (zh) * | 2011-11-29 | 2012-06-20 | 蔡棽 | 一种提高能见度和可视距离的图像拼接重建及全局监控方法 |
US10008021B2 (en) | 2011-12-14 | 2018-06-26 | Microsoft Technology Licensing, Llc | Parallax compensation |
US9406153B2 (en) | 2011-12-14 | 2016-08-02 | Microsoft Technology Licensing, Llc | Point of interest (POI) data positioning in image |
US8995788B2 (en) | 2011-12-14 | 2015-03-31 | Microsoft Technology Licensing, Llc | Source imagery selection for planar panorama comprising curve |
US8872898B2 (en) | 2011-12-14 | 2014-10-28 | Ebay Inc. | Mobile device capture and display of multiple-angle imagery of physical objects |
US9324184B2 (en) | 2011-12-14 | 2016-04-26 | Microsoft Technology Licensing, Llc | Image three-dimensional (3D) modeling |
DE102011056671A1 (de) * | 2011-12-20 | 2013-06-20 | Conti Temic Microelectronic Gmbh | Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera |
CN102542523A (zh) * | 2011-12-28 | 2012-07-04 | 天津大学 | 一种基于街景的城市图片信息认证方法 |
DE102012101085A1 (de) | 2012-02-10 | 2013-08-14 | Conti Temic Microelectronic Gmbh | Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera |
US10477184B2 (en) | 2012-04-04 | 2019-11-12 | Lifetouch Inc. | Photography system with depth and position detection |
US9014903B1 (en) | 2012-05-22 | 2015-04-21 | Google Inc. | Determination of object heading based on point cloud |
US9262868B2 (en) * | 2012-09-19 | 2016-02-16 | Google Inc. | Method for transforming mapping data associated with different view planes into an arbitrary view plane |
US9383753B1 (en) | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
US9234618B1 (en) | 2012-09-27 | 2016-01-12 | Google Inc. | Characterizing optically reflective features via hyper-spectral sensor |
US9097800B1 (en) | 2012-10-11 | 2015-08-04 | Google Inc. | Solid object detection system using laser and radar sensor fusion |
KR101692652B1 (ko) * | 2012-10-24 | 2017-01-03 | 가부시키가이샤 모르포 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
US9235763B2 (en) * | 2012-11-26 | 2016-01-12 | Trimble Navigation Limited | Integrated aerial photogrammetry surveys |
WO2014087620A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 視界表示システム、視界表示方法および視界表示プログラム |
US20140267600A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Synth packet for interactive view navigation of a scene |
US9712746B2 (en) | 2013-03-14 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image capture and ordering |
NL2010463C2 (nl) * | 2013-03-15 | 2014-09-16 | Cyclomedia Technology B V | Werkwijze voor het genereren van een panoramabeeld. |
KR102070776B1 (ko) | 2013-03-21 | 2020-01-29 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어 방법 |
CN104113678A (zh) * | 2013-04-17 | 2014-10-22 | 腾讯科技(深圳)有限公司 | 图像的等距采集实现方法及系统 |
DE102013223367A1 (de) | 2013-11-15 | 2015-05-21 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems |
FR3017207B1 (fr) * | 2014-01-31 | 2018-04-06 | Groupe Gexpertise | Vehicule d'acquisition de donnees georeferencees, dispositif, procede et programme d'ordinateur correspondant |
GB201407643D0 (en) * | 2014-04-30 | 2014-06-11 | Tomtom Global Content Bv | Improved positioning relatie to a digital map for assisted and automated driving operations |
GB201410612D0 (en) * | 2014-06-13 | 2014-07-30 | Tomtom Int Bv | Methods and systems for generating route data |
CN104301673B (zh) * | 2014-09-28 | 2017-09-05 | 北京正安维视科技股份有限公司 | 一种基于视频分析的实时车流分析与全景可视方法 |
US9600892B2 (en) * | 2014-11-06 | 2017-03-21 | Symbol Technologies, Llc | Non-parametric method of and system for estimating dimensions of objects of arbitrary shape |
US9396554B2 (en) | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
US10436582B2 (en) | 2015-04-02 | 2019-10-08 | Here Global B.V. | Device orientation detection |
KR102375411B1 (ko) * | 2015-05-11 | 2022-03-18 | 삼성전자주식회사 | 차량 주변 영상 제공 방법 및 장치 |
JP7066607B2 (ja) | 2015-08-03 | 2022-05-13 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | ローカライゼーション基準データを生成及び使用する方法及びシステム |
CN105208368A (zh) * | 2015-09-23 | 2015-12-30 | 北京奇虎科技有限公司 | 显示全景数据的方法及装置 |
US9888174B2 (en) | 2015-10-15 | 2018-02-06 | Microsoft Technology Licensing, Llc | Omnidirectional camera with movement detection |
US10277858B2 (en) | 2015-10-29 | 2019-04-30 | Microsoft Technology Licensing, Llc | Tracking object of interest in an omnidirectional video |
US10352689B2 (en) | 2016-01-28 | 2019-07-16 | Symbol Technologies, Llc | Methods and systems for high precision locationing with depth values |
US10145955B2 (en) | 2016-02-04 | 2018-12-04 | Symbol Technologies, Llc | Methods and systems for processing point-cloud data with a line scanner |
US10721451B2 (en) | 2016-03-23 | 2020-07-21 | Symbol Technologies, Llc | Arrangement for, and method of, loading freight into a shipping container |
US9805240B1 (en) | 2016-04-18 | 2017-10-31 | Symbol Technologies, Llc | Barcode scanning and dimensioning |
EP3387622B1 (en) * | 2016-05-03 | 2020-09-23 | Google LLC | Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device |
KR20180000279A (ko) * | 2016-06-21 | 2018-01-02 | 주식회사 픽스트리 | 부호화 장치 및 방법, 복호화 장치 및 방법 |
EP3482163B1 (en) * | 2016-07-07 | 2021-06-23 | Saab Ab | Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft |
US10776661B2 (en) | 2016-08-19 | 2020-09-15 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting and dimensioning objects |
JP6910454B2 (ja) * | 2016-10-26 | 2021-07-28 | コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングContinental Automotive GmbH | 道路の合成トップビュー画像を生成するための方法およびシステム |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10451405B2 (en) | 2016-11-22 | 2019-10-22 | Symbol Technologies, Llc | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue |
US10354411B2 (en) | 2016-12-20 | 2019-07-16 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting objects |
US10223598B2 (en) * | 2017-02-20 | 2019-03-05 | Volkswagen Aktiengesellschaft | Method of generating segmented vehicle image data, corresponding system, and vehicle |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
AU2018261257B2 (en) | 2017-05-01 | 2020-10-08 | Symbol Technologies, Llc | Method and apparatus for object status detection |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
JP2019036872A (ja) * | 2017-08-17 | 2019-03-07 | パナソニックIpマネジメント株式会社 | 捜査支援装置、捜査支援方法及び捜査支援システム |
US10586349B2 (en) | 2017-08-24 | 2020-03-10 | Trimble Inc. | Excavator bucket positioning via mobile device |
US10460465B2 (en) | 2017-08-31 | 2019-10-29 | Hover Inc. | Method for generating roof outlines from lateral images |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
CN109697745A (zh) * | 2017-10-24 | 2019-04-30 | 富泰华工业(深圳)有限公司 | 障碍物透视方法及障碍物透视装置 |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11188765B2 (en) * | 2018-12-04 | 2021-11-30 | Here Global B.V. | Method and apparatus for providing real time feature triangulation |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
CN111383231B (zh) * | 2018-12-28 | 2023-10-27 | 成都皓图智能科技有限责任公司 | 一种基于3d图像的图像分割方法、装置及系统 |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
CN110097498B (zh) * | 2019-01-25 | 2023-03-31 | 电子科技大学 | 基于无人机航迹约束的多航带图像拼接与定位方法 |
US10997453B2 (en) * | 2019-01-29 | 2021-05-04 | Adobe Inc. | Image shadow detection using multiple images |
WO2020199153A1 (zh) * | 2019-04-03 | 2020-10-08 | 南京泊路吉科技有限公司 | 基于全景影像的正射影像生成方法 |
CN113892129B (zh) | 2019-05-31 | 2022-07-29 | 苹果公司 | 创建三维外观的虚拟视差 |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US10943360B1 (en) | 2019-10-24 | 2021-03-09 | Trimble Inc. | Photogrammetric machine measure up |
CN110781263A (zh) * | 2019-10-25 | 2020-02-11 | 北京无限光场科技有限公司 | 房源信息展示方法、装置、电子设备及计算机存储介质 |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
CN113989450B (zh) * | 2021-10-27 | 2023-09-26 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和介质 |
CN114087987A (zh) * | 2021-11-17 | 2022-02-25 | 厦门聚视智创科技有限公司 | 一种基于手机背框的高效大视野光学成像方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7359527B2 (en) * | 1995-06-07 | 2008-04-15 | Automotive Technologies International, Inc. | Combined occupant weight and spatial sensing in a vehicle |
AT412132B (de) * | 2001-01-17 | 2004-09-27 | Efkon Ag | Drahtlose, insbesondere mobile kommunikationseinrichtung |
US6759979B2 (en) * | 2002-01-22 | 2004-07-06 | E-Businesscontrols Corp. | GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site |
US7199793B2 (en) * | 2002-05-21 | 2007-04-03 | Mok3, Inc. | Image-based modeling and photo editing |
US7277572B2 (en) * | 2003-10-10 | 2007-10-02 | Macpearl Design Llc | Three-dimensional interior design system |
US7415335B2 (en) * | 2003-11-21 | 2008-08-19 | Harris Corporation | Mobile data collection and processing system and methods |
FI117490B (fi) * | 2004-03-15 | 2006-10-31 | Geodeettinen Laitos | Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla |
CA2579903C (en) * | 2004-09-17 | 2012-03-13 | Cyberextruder.Com, Inc. | System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images |
WO2007027847A2 (en) * | 2005-09-01 | 2007-03-08 | Geosim Systems Ltd. | System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments |
US7499586B2 (en) * | 2005-10-04 | 2009-03-03 | Microsoft Corporation | Photographing big things |
WO2007045272A1 (en) * | 2005-10-17 | 2007-04-26 | Tele Atlas North America, Inc. | Method for generating an enhanced map |
US7430490B2 (en) * | 2006-03-29 | 2008-09-30 | Microsoft Corporation | Capturing and rendering geometric details |
US7499155B2 (en) * | 2006-08-23 | 2009-03-03 | Bryan Cappelletti | Local positioning navigation system |
CN101529201B (zh) * | 2006-10-20 | 2012-06-13 | 电子地图有限公司 | 用于匹配不同来源的位置数据的计算机布置和方法 |
US7639347B2 (en) * | 2007-02-14 | 2009-12-29 | Leica Geosystems Ag | High-speed laser ranging system including a fiber laser |
US20080226181A1 (en) * | 2007-03-12 | 2008-09-18 | Conversion Works, Inc. | Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images |
-
2007
- 2007-06-28 RU RU2009148504/28A patent/RU2009148504A/ru not_active Application Discontinuation
- 2007-06-28 CA CA2699621A patent/CA2699621A1/en not_active Abandoned
- 2007-06-28 EP EP07747541A patent/EP2158576A1/en not_active Withdrawn
- 2007-06-28 AU AU2007354731A patent/AU2007354731A1/en not_active Abandoned
- 2007-06-28 US US12/451,838 patent/US20100118116A1/en not_active Abandoned
- 2007-06-28 WO PCT/NL2007/050319 patent/WO2008150153A1/en active Application Filing
- 2007-06-28 CN CN200780053247A patent/CN101681525A/zh active Pending
- 2007-06-28 JP JP2010511135A patent/JP2010533282A/ja not_active Withdrawn
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118666A (ja) * | 2010-11-30 | 2012-06-21 | Iwane Laboratories Ltd | 三次元地図自動生成装置 |
WO2013157301A1 (ja) * | 2012-04-16 | 2013-10-24 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
US9141870B2 (en) | 2012-04-16 | 2015-09-22 | Nissan Motor Co., Ltd. | Three-dimensional object detection device and three-dimensional object detection method |
JPWO2013157301A1 (ja) * | 2012-04-16 | 2015-12-21 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
KR102490272B1 (ko) | 2015-04-10 | 2023-01-20 | 로베르트 보쉬 게엠베하 | 차량의 주변 영역을 표시하기 위한 방법 |
JP2018518863A (ja) * | 2015-04-10 | 2018-07-12 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 車両の車両周囲を表示するための方法 |
KR20170135952A (ko) * | 2015-04-10 | 2017-12-08 | 로베르트 보쉬 게엠베하 | 차량의 주변 영역을 표시하기 위한 방법 |
JP2016218762A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
JP6320664B2 (ja) * | 2016-03-07 | 2018-05-09 | 三菱電機株式会社 | 地図作成装置および地図作成方法 |
JPWO2017154061A1 (ja) * | 2016-03-07 | 2018-05-31 | 三菱電機株式会社 | 地図作成装置および地図作成方法 |
US11250622B2 (en) | 2016-03-07 | 2022-02-15 | Mitsubishi Electric Corporation | Map creation system and map creation method |
WO2017154061A1 (ja) * | 2016-03-07 | 2017-09-14 | 三菱電機株式会社 | 地図作成装置および地図作成方法 |
JP2017161291A (ja) * | 2016-03-08 | 2017-09-14 | オリンパス株式会社 | 高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラム |
JP2019092156A (ja) * | 2017-11-16 | 2019-06-13 | アクシス アーベー | 重なり合う視界を有する第1の画像と第2の画像とを合成するための方法、デバイス、およびカメラ |
KR20200010909A (ko) * | 2018-07-23 | 2020-01-31 | (주)지니트 | 파노라마 크로마키 합성 시스템 및 방법 |
KR102133735B1 (ko) * | 2018-07-23 | 2020-07-21 | (주)지니트 | 파노라마 크로마키 합성 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
RU2009148504A (ru) | 2011-07-20 |
CN101681525A (zh) | 2010-03-24 |
US20100118116A1 (en) | 2010-05-13 |
CA2699621A1 (en) | 2008-12-11 |
EP2158576A1 (en) | 2010-03-03 |
WO2008150153A1 (en) | 2008-12-11 |
AU2007354731A1 (en) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010533282A (ja) | 多視点パノラマを生成する方法及び装置 | |
US9858717B2 (en) | System and method for producing multi-angle views of an object-of-interest from images in an image dataset | |
US8649632B2 (en) | System and method for correlating oblique images to 3D building models | |
US9330504B2 (en) | 3D building model construction tools | |
JP5319741B2 (ja) | 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム | |
CN109791052A (zh) | 用于生成和使用定位参考数据的方法和系统 | |
JP2011529569A (ja) | ナビゲーションデータを三次元で表示するコンピュータ装置および方法 | |
US20040105573A1 (en) | Augmented virtual environments | |
JP2011529568A (ja) | ナビゲーションデータを三次元で表示する方法 | |
JP2010510559A (ja) | 地上モバイルマッピングデータからオブジェクトを検出する方法及び装置 | |
EP2137693A1 (en) | Method of and apparatus for producing road information | |
JP2012503817A (ja) | 画像をぼかす方法及び構成 | |
WO2008044914A1 (en) | System for and method of processing laser scan samples and digital photographic images relating to building facades | |
JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
Frueh | Automated 3D model generation for urban environments | |
JP4530214B2 (ja) | 模擬視界発生装置 | |
Habib et al. | Integration of lidar and airborne imagery for realistic visualization of 3d urban environments | |
EP1796048A2 (en) | Augmented virtual environments | |
JP7467722B2 (ja) | 地物管理システム | |
TW201024665A (en) | Method of generating a geodetic reference database product | |
Gunay et al. | Semi-automatic true orthophoto production by using LIDAR data | |
Al-Hanbali et al. | Building 3D GIS modeling applications in Jordan: methodology and implementation aspects | |
Kokkas | An investigation into semi-automated 3D city modelling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20101207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20101207 |