JP2010506328A - レーザスキャンサンプル及びビルのファサードのデジタル写真画像を処理するためのシステム及び方法 - Google Patents
レーザスキャンサンプル及びビルのファサードのデジタル写真画像を処理するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2010506328A JP2010506328A JP2009532310A JP2009532310A JP2010506328A JP 2010506328 A JP2010506328 A JP 2010506328A JP 2009532310 A JP2009532310 A JP 2009532310A JP 2009532310 A JP2009532310 A JP 2009532310A JP 2010506328 A JP2010506328 A JP 2010506328A
- Authority
- JP
- Japan
- Prior art keywords
- laser scan
- facade
- processor
- laser
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
メモリ(12,13,14,15)と通信可能なプロセッサを有するコンピュータ装置。メモリ(12,13,14,15)は、プロセッサ(11)が実行可能な命令及びデータを有するコンピュータプログラムを格納し、ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納し、各レーザスキャンサンプルに関する位置データを格納する。メモリはまた、同一のファサードの写真を、該写真の画素に関する位置データを含めて格納し、該写真は、ファサードの壁面に関するデータと、該壁面におけるテクスチャ要素のデータとを含む。プロセッサ(11)は、レーザスキャンサンプルを利用している場合に、写真において自動的に壁面とテクスチャ要素とを識別するように構成されている。
Description
本発明は、ビルのファサードに関するレーザスキャンサンプルを含むレーザスキャンサンプルを処理するシステム及び方法に関する。アプリケーションの一分野は、カメラからの画像やレーザスキャナからの出力データを含むモバイル・マッピング・システムデータからの、ビルのファサードのテクスチャ要素の検出である。
モバイル・マッピング・システム(MMS)により取得したデータからテクスチャ要素を検出するためのシステムが、ここ数年知られている。そのようなMMSには、MMSのオンボードプロセッサにより制御されて、環境の写真を撮影する1以上のカメラが提供される。MMSは、関心のある道路に沿って走る車の形態を採り、その間、プロセッサはカメラを制御してビルファサードの画像を撮影する。オフライン処理では、近年、ファサード画像における窓やドアのようなテクスチャ要素の位置が識別されている。ファサード画像内に存在するこれらのテクスチャ要素は、プロセッサがアクセス可能なライブラリに格納された標準テクスチャ要素で代用される。これらの標準テクスチャ要素は、ファサード像を構築するために用いられるので、ファサード像をそのテクスチャ要素と共に格納しておくのに必要なメモリスペースは、全てのオリジナル画像をそのオリジナルのテクスチャと共に格納しておくのに必要なメモリスペースよりも遙かに小さくなる。更には、未発行のPCT/EP2005/055317を参照されたい。
テクスチャ3Dファサードモデルを構築するためには、ファサード像のraw画像において係るテクスチャ要素を識別するための良好な方法が必要とされる。先行技術には、画像からテクスチャを解析し、分解する方法が存在する。しかしながら、木、車、人、或いは、ファサード像の前にある他の障害物といった誤ったオブジェクトをテクスチャ要素として識別してしまう可能性がむしろ高い。また、高度に進化した画像ベースの技術では、方法を実行するために極度の演算パワーが必要とされる。さらに、先行技術の処理では、ファサード像の代用テクスチャの品質を良好なものとするために、多大なヒューマンインタラクションが必要とされる。手動抽出の速度は、平均で1km/hであり、平均的規模の町でも何千もの工数がかかることになろう。
本発明の目的は、先行技術に比べて少ないマンパワーでファサード像におけるテクスチャ要素及びその位置を検出するシステム及び方法を提供することである。
そのために、本発明は請求項1で規定されるシステムを提供する。
本発明の当該システムは、先行技術よりも自動化された、ファサード像におけるテクスチャ要素の検出をユーザに提供する。よって、マンパワーの観点での膨大な労働力及びお金を節約することができる。現実的なビルのファサードは、例えば、通りに沿ったビルの3Dモデルにおいてこれらのテクスチャ要素から構築することができる。
実施形態において、本発明は、方法の独立請求項で規定されるような方法と関連する。
更なる実施形態において、本発明は、係る方法をプロセッサに実行させるための命令及びデータを含むコンピュータプログラムに関連する。
さらに、本発明は、そのようなコンピュータプログラムを含む記憶媒体に関連する。
本発明は、いくつかの図面を参照してより詳細に説明される。当該図面は、発明を説明することを意図したものであって、各請求項及びその均等な実施形態によって規定される発明の範囲の制限を意図するものではない。
図1は、車1の形態をとるMMSシステムを示す。車1には1つ以上のカメラ9(i)、i=1,2,3,・・・、1以上のレーザスキャナ3(j)j=1,2,3,・・・Jが提供される。車1は運転者により好きな道路を運転することができる。車1は、複数のホイール2を備える。さらに、車1は高精度の位置決定装置がある。図1に示すように、位置決定装置は、以下の要素を備える。
・GPSユニット:アンテナ8に接続され、複数の衛星SLi(i=1,2,3・・・)と通信し、衛星SLiから受信した信号から位置信号を計算するように構成されている。GPSユニットは、マイクロプロセッサμPと接続されている。GPSユニットから受け取った信号に基づき、マイクロプロセッサμPは、車1のモニター4に表示すべき適切な表示信号を決定して、運転者に、車がどこに位置していて、どの方向に移動しているかを通知する。
・DMI(距離測定装置):この装置は、1以上のホイール2の回転数を検知して、車1が走行した距離を測定する走行距離計(オドメータ)である。DMIはまた、マイクロプロセッサμPと接続され、表示信号をGPSユニットからの出力信号により計算している間に、マイクロプロセッサμPはDMIにより測定された距離を考慮することができる。
・IMU(慣性測定装置):IMUは、回転加速度と並進加速度とを3つの直交する方向に沿って測定する3ジャイロユニットとして構成することができる。IMUはまた、マイクロプロセッサμPと接続され、表示信号をGPSユニットからの出力信号により計算している間に、マイクロプロセッサμPはDMIにより測定された距離を考慮することができる。
図1に示すシステムは、所謂”モバイル・マッピング・システム”であり、例えば、車1上に設置された1以上のカメラ9(i)により写真を撮影することで地理的データを収集する。カメラはマイクロプロセッサμPと接続されている。さらに、注目対象のビル群に沿って車を走らせている間に、レーザスキャナ3(j)は、レーザサンプルを採取する。それらはマイクロプロセッサμPと接続され、レーザサンプルをマイクロプロセッサμPに渡す。
GPS、IMU及びDMIの3つの測定装置を使って、できる限り正確な位置及び方向の測定を行うことが望ましい。これらの位置データ及び方向データは、カメラ9(i)が写真を撮影し、レーザスキャナ3(j)がレーザサンプルを採取している間に測定される。写真及びレーザサンプルの両方は、後の利用のために、写真やサンプルが採取された時の車1の対応する位置及び方向のデータと関連づけられてマイクロプロセッサの適当なメモリに格納される。
写真及びレーザサンプルは、ビル群のファサード像に関する情報を含んでいる。実施形態では、レーザスキャナ3(j)は、本方法に十分な出力となる密度を生成するために最小50Hz、解像度1度の出力を生成する。MODEL LMS291−S05といったSICK製のレーザスキャナは、そのような出力を生成可能である。
図2は、図1に示すGPS、MDI及びIMUの3つの測定装置から、どの位置信号が得られるかを示している。図2は、マイクロプロセッサμPが6つの異なるパラメータを計算するように構成されていることを示している。即ち、所定の座標系の原点に対する3つの距離パラメータx、y、zと、それぞれx軸、y軸及びz軸に対する回転を示す3つの角度パラメータωx、ωy、ωzとである。z方向は、重力ベクトルの方向に一致している。
車1内のマイクロプロセッサ及びメモリ9は、コンピュータ装置として実現できる。そのようなコンピュータ装置の例を図3に示す。
図3は、算術動作を実行するプロセッサ11を有するコンピュータ装置10の全体像を示す。図2に示す実施形態では、プロセッサ11はマイクロプロセッサ7に相当する。
プロセッサ11は、ハードディスク12,読み出し専用メモリ(ROM)13、電気的消去可能なプログラマブル・リード・オンリ・メモリ(EEPROM)14、ランダム・アクセス・メモリ(RAM)15を含む、複数のメモリコンポーネントに接続されている。これらのメモリタイプの全てが必ずしも必要となるわけではない。さらに、これらのメモリコンポーネントは、プロセッサ11に対して物理的に近接して位置している必要はなく、プロセッサ11から離れて位置していても良い。
プロセッサ11は、ユーザが命令、データ等を入力するための、キーボード16やマウス17といった手段と接続されていても良い。タッチスクリーン、トラックボール及び音声コンバータといった当業者に知られた他の入力手段も提供されてもよい。
プロセッサ11と接続された読み出し部19が提供される。読み出し部19は、フロッピ(登録商標)ディスク20やCDROM21といった記憶媒体からデータを読み出したり、可能であればデータを書き込んだりするように構成される。他の記憶媒体には、当業者に知られたテープ、DVD、CD−R、DVD−R、メモリスティックなどがある。
プロセッサ11は出力データを紙に印刷するためにプリンタ23にも接続されており、また、例えばモニター、LCD(液晶)画面、或いは当業者に知られた他のタイプのディスプレイのような、ディスプレイ18にも接続されている。
プロセッサ11は、スピーカ29に接続されていても良い。
プロセッサ11は、例えば回線交換電話網(PSTN)、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、インターネット等の通信ネットワーク27に、I/O手段25により接続されていても良い。プロセッサ11は、他の通信装置とネットワーク27を介して通信するように構成されていてもよい。
記憶媒体20,21は、本発明に対応した方法を実行する能力をプロセッサに提供するように構成されたデータ及び命令の形態を有するコンピュータプログラムを含む。しかしながら、コンピュータプログラムは、通信ネットワーク27を介してダウンロードされてもよい。
プロセッサ11は、スタンド・アローン・システムとして、或いは、各プロセッサが長いコンピュータプログラムのなかのサブタスクを実行するように構成された複数の並列動作プロセッサとして、或いは、いくつかのサブプロセッサを有する1つ以上のメインプロセッサとして実現されてもよい。本発明の機能の一部は、ネットワーク27を介してプロセッサ11と通信する遠隔プロセッサにより実施されてもよい。
車1に適用された場合、コンピュータ装置は、図3に示す全てのコンポーネントを有している必要はない。例えば、コンピュータ装置は、スピーカやプリンタを有していなくてもよい。車での実施態様では、コンピュータ装置は少なくともプロセッサ11、適切なプログラムを格納するためのいくつかのメモリ、オペレータから命令やデータを受け付け、オペレータに出力データを提示するためのある種のインタフェースが必要である。
カメラ9(i)やレーザスキャナ3(j)で取得した写真やスキャンのポストプロセッシングのために、図3に示したものと同様の構成を利用することができ、それは車1内に設置される必要はなく、オフライン・ポスト・プロセッシング用にビル内に設置される方が便利である。カメラ9(i)やレーザスキャナ3(j)で取得した写真やスキャンは、メモリ12−15のいずれかに格納される。これは、それらのデータをまずDVDやメモリスティックなどに格納し、可能であれば無線で、メモリ9からそれらのデータを送信することによって行われる。
本発明は、ファサード図のテクスチャが、カメラ9(i)で撮った写真と、レーザスキャナ3(j)で採取したレーザスキャンの両方を利用して分解される。当該方法には、画像処理技術及びレーザスキャニング技術の両方の分野における技法のユニークな組合せを利用する。
図4は、本発明に対応する方法のフローチャートを示す。
図4は、以下の動作を示す。
A.動作42:(レーザスキャナの出力である)レーザスキャンのファサードポイントの抽出
B.動作44:レーザスキャンにおいて抽出したポイントのフーリエ解析に基づくフロア高の決定
C.動作46:フロア高の平均化
D.動作48:レーザスキャンからメジアンベースのライブラリ要素を抽出
E.動作50:マルチフロアマスクの生成
F.動作52:ファサード写真からディテール除去
G.動作54:ファサード・パターン・タイル生成
H.動作56:ファサード写真上の複製ディテール認定
I.動作58:最高層フロア要素と最低層フロア要素とを処理
J.動作60:動作54,56及び58の結果のディテールを格納
K.動作62:ライブラリ・サイズの最小化
これらの動作の詳細を以下で説明する。
B.動作44:レーザスキャンにおいて抽出したポイントのフーリエ解析に基づくフロア高の決定
C.動作46:フロア高の平均化
D.動作48:レーザスキャンからメジアンベースのライブラリ要素を抽出
E.動作50:マルチフロアマスクの生成
F.動作52:ファサード写真からディテール除去
G.動作54:ファサード・パターン・タイル生成
H.動作56:ファサード写真上の複製ディテール認定
I.動作58:最高層フロア要素と最低層フロア要素とを処理
J.動作60:動作54,56及び58の結果のディテールを格納
K.動作62:ライブラリ・サイズの最小化
これらの動作の詳細を以下で説明する。
A.動作42:レーザスキャンのファサードポイント抽出
レーザスキャナ3(j)は、実施形態では、2Dレーザスキャナである。2Dレーザスキャナ3(j)は、測定時間、測定角度、及び、レーザスキャナ3(j)から当該角度で視認可能な最近傍の固体オブジェクトまでの距離の3項目のデータを提供する。レーザスキャンにおいてファサードポイントを認定する良好な方法は、ヒストグラム解析を利用することである。図5はそのようなヒストグラムを示す。ヒストグラムは、MMSシステムが移動する軌道に対して直交する方向において、所定距離でレーザスキャナ3(j)により採取されたレーザスキャンサンプルの数を、車1が移動する所定距離に沿って合計したものである。レーザスキャナは、地表面に対して実質的に直交する面において、例えば180度の角度でスキャンする(実際には、ファサードに沿って移動する車1のために垂直面からは若干ずれてしまう。)。例えば、レーザスキャナは、隣接するサンプルから1度ずつ変位させて180サンプルを採取することができる。大半の時間は、MMSシステムは、道路に沿ったラインにそってルートを辿っている(なんらかの理由によりレーンを変更する場合のみ、移動経路はそこからずれることになる。)。従って大半の場合、レーザスキャンは道路の方向に対して垂直な方向で行われる。
レーザスキャナ3(j)は、実施形態では、2Dレーザスキャナである。2Dレーザスキャナ3(j)は、測定時間、測定角度、及び、レーザスキャナ3(j)から当該角度で視認可能な最近傍の固体オブジェクトまでの距離の3項目のデータを提供する。レーザスキャンにおいてファサードポイントを認定する良好な方法は、ヒストグラム解析を利用することである。図5はそのようなヒストグラムを示す。ヒストグラムは、MMSシステムが移動する軌道に対して直交する方向において、所定距離でレーザスキャナ3(j)により採取されたレーザスキャンサンプルの数を、車1が移動する所定距離に沿って合計したものである。レーザスキャナは、地表面に対して実質的に直交する面において、例えば180度の角度でスキャンする(実際には、ファサードに沿って移動する車1のために垂直面からは若干ずれてしまう。)。例えば、レーザスキャナは、隣接するサンプルから1度ずつ変位させて180サンプルを採取することができる。大半の時間は、MMSシステムは、道路に沿ったラインにそってルートを辿っている(なんらかの理由によりレーンを変更する場合のみ、移動経路はそこからずれることになる。)。従って大半の場合、レーザスキャンは道路の方向に対して垂直な方向で行われる。
図5では、2つのヒストグラムを示している。
1.距離ヒストグラム61−このヒストグラム61は、車に近いサンプルを含めた、所定の移動距離毎に合計した車1に対する距離の関数としてレーザスキャンサンプルの数を示している。車1に近い所のピークは、車1に近接するレーザエコーを示している。このピークは、レーザスキャニングによる角度的なスイープのために生ずる、車1に近接して存在する多くのエコーに関連している。さらに、最大距離における第2のピークが存在し、該ピークは車1から最大距離において識別されたオブジェクトに関連している。
2.距離ヒストグラム63は、唯1つのオブジェクトを示す、車1からのある距離における第2ピークのみを示している。このヒストグラムは、レーザスキャニングの角度分布のために、車1の直接に近接する密度が高いレーザスキャンサンプルを除去することにより得られる。この除去の効果は、所定の距離だけ車1から離れたオブジェクト、即ち、ビル65のファサードがより見やすくなるということである。
ヒストグラム63のピークは、車の先頭方向に平行な、平坦な立体物の表面の存在を示している。車1とファサード像65との概算距離は、利用可能なあらゆる方法により決定することができる。例えば、出願継続中の特許出願(代理人番号P6011543)で説明される方法を当該目的のために利用することができる。また、車1が移動する軌道を示すGPS(或いは他の)データ及び、ビルの設置場所の位置を示すデータを比較し、車1とファサード像65との間のそのような概算の距離データを計算してもよい。この概算距離について所定エリア内のヒストグラムデータを解析することにより、そのエリアにおける極大ピークが、ファサード像65のベースとして識別される。この極大ピークから例えば、0.5mの垂直距離に収まっている全てのレーザスキャンサンプルは、ファサード像65の構造的ディテールと見なされ、“ファサードポイント”としてマークされる。全ての他のポイントは、“ゴースト”と見なされ、そのようにマークされる。なお、0.5mの距離は、一例として提供したものである。必要に応じて、他の距離も利用可能である。
“ファサード”とマークされたポイントから、車方向に対し垂直な深度マップが生成され、画像として格納される。この深度マップは、極大ピークから例えば0.5mの範囲の全てのレーザスキャンサンプルを含んでいる。図6は、そのような画像の例を8つ、8つの異なるビルのファサード像と関連するものとして示している。これらの図6の画像は、異なるグレースケールにより示されている。あるグレーの強度は、道路上でのレーザスキャナの軌道に対して測定された、車1に対する所定の水平投射距離に対応している。
図6において検出されたファサードテクスチャの例は、
1.より明るいグレー色は、バルコニーのように、ファサード像の面よりも近くに存在するオブジェクトを示している。
2.グレー色は、ファサード像の面よりも距離があるオブジェクトを示している。これらは大抵ドアやあまり透明でない窓である。
3.白色は、深度が不明の場所を示しており、これは、解析距離においてレーザサンプルが得られなかったためである。
1.より明るいグレー色は、バルコニーのように、ファサード像の面よりも近くに存在するオブジェクトを示している。
2.グレー色は、ファサード像の面よりも距離があるオブジェクトを示している。これらは大抵ドアやあまり透明でない窓である。
3.白色は、深度が不明の場所を示しており、これは、解析距離においてレーザサンプルが得られなかったためである。
以下では、図6の最後に示したファサード像について詳細を検討する。
B.動作44:レーザスキャンの抽出ポイントについてのフーリエ解析によるフロア高さ、サイズ決定
処理の次の動作では、ビルにおけるフロア数及び単一フロアの高さの計算である。
ステップ42において生成された画像上で、ウィンドウサイズ3×3の分散フィルタリングが施される。分散フィルタリングは、画像全体における複数の水平ラインに対して適用される。各水平ラインは、地上面から異なる高さを有している。全ての水平ラインについて、完全なラインを超える分散の平均値が計算される。そのような平均データはメモリ内のテーブルに格納される。よってテーブルは、各水平ライン(高さ)について平均された距離分散データを含む。ここで、“距離”とは、車1からの垂直距離のことを言う。画像の高さ要素の周波数特性を認定するために、高速フーリエ変換(FFT)がこの平均分散、テーブル内の高さに依存するデータに適用される。そのような変換により、ビルの高さの平均的変化における反復可能なパターンを発見することができる。ビルの車への距離の不変の背景を示す、非常に低い、ゼロ周波数がある。FFT出力データにおいて次に低い周波数ピークは、ファサード像の面の外側の窓や他の構造的要素のパターンに起因し、よって、ビルの基本的なフロアパターンを示しているであろう。FFT出力データにおける最も高いピークは、窓の外観やファサード像における他のフロアに関連する構造的要素の周波数に対応するであろう。図7a、7b、7c及び図8を参照して詳述するように、FFT出力データから1つのフロアのサイズ(高さ)を計算することができる。
処理の次の動作では、ビルにおけるフロア数及び単一フロアの高さの計算である。
ステップ42において生成された画像上で、ウィンドウサイズ3×3の分散フィルタリングが施される。分散フィルタリングは、画像全体における複数の水平ラインに対して適用される。各水平ラインは、地上面から異なる高さを有している。全ての水平ラインについて、完全なラインを超える分散の平均値が計算される。そのような平均データはメモリ内のテーブルに格納される。よってテーブルは、各水平ライン(高さ)について平均された距離分散データを含む。ここで、“距離”とは、車1からの垂直距離のことを言う。画像の高さ要素の周波数特性を認定するために、高速フーリエ変換(FFT)がこの平均分散、テーブル内の高さに依存するデータに適用される。そのような変換により、ビルの高さの平均的変化における反復可能なパターンを発見することができる。ビルの車への距離の不変の背景を示す、非常に低い、ゼロ周波数がある。FFT出力データにおいて次に低い周波数ピークは、ファサード像の面の外側の窓や他の構造的要素のパターンに起因し、よって、ビルの基本的なフロアパターンを示しているであろう。FFT出力データにおける最も高いピークは、窓の外観やファサード像における他のフロアに関連する構造的要素の周波数に対応するであろう。図7a、7b、7c及び図8を参照して詳述するように、FFT出力データから1つのフロアのサイズ(高さ)を計算することができる。
図7a、7b及び7cは、図6の最後の例のファサード像、分散フィルタを画像全体に適用した結果、ビルのファサードにおける分散と高さのプロファイル、をそれぞれ示している。即ち、図7cは、図7bの画像における各水平ラインの分散合計の全てを示している。図7bにおける画素の輝度は、当該画素の周辺3×3領域について計算された深度の分散値に対応する。言い換えると、図7cにおいて、地表面より上の高さzでのグレースケール強度における平均的な歪みの割合を把握することができる。FFTは、垂直方向のビルの高さを時間軸として、分散を信号値として扱うことで、図7cのこの分散データに適用される。FFTの結果は図8に示す通りである。
よって図8のフーリエ変換の出力は、ビルの垂直調和周波数振幅スペクトルiを示している。垂直軸は、振幅を示し、水平軸は空間周波数を示している。この例では、空間周波数6においてピークが存在している。このピークは、ビルの優位な空間周波数を表しており、フロア間隔(即ち、窓間隔等)と推測される。実際のフロアの高さは、FFTのパラメータにより決定された空間周波数に比例する。
C.動作46:フロアサイズの平均化
動作44では、フロアサイズ(高さ)を計算した。動作46では、フロアは平均化される。全体の処理を簡単とし、より正確なものとするために、“中層階フロア”のみを考慮する。“中層階フロア”は、ビルのファサード像において1度以上発生した最小、最大の高さを有するフロアとして定義される。“中層階フロア”は、ファサード像において垂直に反復可能といえる。例えば、大半のビルの低層階のフロアは“中層階フロア”にはならない。その高さは大半の場合、より高いフロアのようには所定の最小最大高さに属しないからである(大半のビルでは、低層階は、他のフロアよりも高い)。同様に、上層階のフロアも大半の場合、“中層階”とはならない。それは、そのフロアよりも更に上の、識別可能で利用可能な窓を有するフロアが存在しないために、本方法によってはその高さを規定することができないからである。
動作44では、フロアサイズ(高さ)を計算した。動作46では、フロアは平均化される。全体の処理を簡単とし、より正確なものとするために、“中層階フロア”のみを考慮する。“中層階フロア”は、ビルのファサード像において1度以上発生した最小、最大の高さを有するフロアとして定義される。“中層階フロア”は、ファサード像において垂直に反復可能といえる。例えば、大半のビルの低層階のフロアは“中層階フロア”にはならない。その高さは大半の場合、より高いフロアのようには所定の最小最大高さに属しないからである(大半のビルでは、低層階は、他のフロアよりも高い)。同様に、上層階のフロアも大半の場合、“中層階”とはならない。それは、そのフロアよりも更に上の、識別可能で利用可能な窓を有するフロアが存在しないために、本方法によってはその高さを規定することができないからである。
図9a及び9bは、このことを明らかにしている。図9aは、最低階及び最上階のフロアを表す画素を除去した(これは、ファサード像の高さから導出したフロアのサイズと、フロア数を利用して行っている)後の図7aのファサード像を示している。図9bは、平均化処理の後の同一のファサード像を示している。
全ての中層階のフロアを平均化することにより、レーザスキャナ3(j)によりキャプチャされたファサードデータの解像度は3倍、例えば所与の例では、10cmから3cmの解像度に上昇する。本来の解像度では、レーザ出力上の1画素は、カメラで生成される画像の20画素に相当する。これはレーザスキャナが(現在入手可能な典型的な)カメラより低解像度である場合に、解像度を上昇させる処理が非常に重要となる理由である。このようにして高解像度のマスクを取得することができ、当該マスクは後の処理において画像に適用される。
ヨーロッパの町において多数のビルについてテストした結果、これらのビルの90%以上が少なくとも2つのそのような中層階フロアを有していることが分かった。従って、ビルにおける2つ以上のフロアの間の高さの類似性の特性は、レーザ解像度を仮想的に向上させるために利用することができる。これは、より高いビルについては特に重要である。というのも、レーザ測定の角度に対する特性により、レーザ解像度はビルの高さに応じて低下するためである。さらに、平均化処理によれば、ファサード像の一部に木が存在するような位置であっても再構成が可能となる。これは、木や他の障害物は動作42においてフィルタにより除外されるからであり、これらのポイントは平均化の際に考慮されない。動作46は“フロアパターン”を伝達する。
D.動作48:レーザスキャンからのメジアンベースのライブラリ要素の抽出
図10aは、図9bと同一のレーザスキャンを示すが、3階層分を再生するために複製されている。図10bは、レーザスキャナから車への水平投射距離のレーザスキャナサンプル数を示すヒストグラムである。ここでは、もっとも共通した距離値である(モード値としても知られている)1つのピークをはっきりと示している。モード値を有するサンプルは、ビルの壁面と関連づけられて扱われる。他のサンプルは、テクスチャ要素と関連づけて扱われる。そのような他のサンプルは、主に窓と関連づけられる。
図10aは、図9bと同一のレーザスキャンを示すが、3階層分を再生するために複製されている。図10bは、レーザスキャナから車への水平投射距離のレーザスキャナサンプル数を示すヒストグラムである。ここでは、もっとも共通した距離値である(モード値としても知られている)1つのピークをはっきりと示している。モード値を有するサンプルは、ビルの壁面と関連づけられて扱われる。他のサンプルは、テクスチャ要素と関連づけて扱われる。そのような他のサンプルは、主に窓と関連づけられる。
E.動作50:マルチフロアマスクの生成
そして、画像は2つの部分或いはマスクに分割される。第1の部分はモード値と関連づけられる全てのサンプルを含み、ファサード像の壁面を示すマスクとして用いられる。第2の部分は、非モード値と関連づけられる全てのサンプルを含み、カメラ9(i)が撮影した写真から得られるライブラリ要素のためのマスクとして用いられる。両マスクはサンプルを含んでおり、各サンプルは位置情報を有している。
そして、画像は2つの部分或いはマスクに分割される。第1の部分はモード値と関連づけられる全てのサンプルを含み、ファサード像の壁面を示すマスクとして用いられる。第2の部分は、非モード値と関連づけられる全てのサンプルを含み、カメラ9(i)が撮影した写真から得られるライブラリ要素のためのマスクとして用いられる。両マスクはサンプルを含んでおり、各サンプルは位置情報を有している。
当業者にとって、そのような(単数または複数の)カメラ及び(単数または複数の)レーザスキャナは、代替的に、空中を浮遊する乗り物の上に設置されてもよい。レーザスキャナは、LIDAR(LIght Detection And Ranging or Laser Imaging Detection And Ranging)システムの一部であってもよい。
上述の方法は、メモリ12−15のいずれか、或いは別の場所に格納された適切なソフトウェアプログラムの命令に従いプロセッサ11によって実行されてもよい。本発明は、方法及びそのようなプロセッサを有するコンピュータ装置に関連するが、説明した方法のための適切な命令及びデータを含むコンピュータプログラムにも関連する。また、そのようなコンピュータプログラムを含むCD,DVD等のような記憶媒体にも同様に関連する。
Claims (18)
- コンピュータ装置であって、
プロセッサ(11)が実行可能な命令及びデータを有するコンピュータプログラムを格納し、ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納し、各レーザスキャンサンプルに関する位置データを格納するメモリ(12,13,14,15)と通信するように構成されたプロセッサ(11)を備え、
前記メモリはまた、同一のファサードの写真を、該写真の画素に関する位置データを含めて格納し、該写真は、前記ファサードの壁面に関するデータと、該壁面におけるテクスチャ要素のデータとを含み、
前記プロセッサ(11)は、前記レーザスキャンサンプルを利用している場合に、前記写真において自動的に前記壁面と前記テクスチャ要素とを識別するように構成されていることを特徴とするコンピュータ装置。 - 前記プロセッサ(11)は、前記レーザスキャンサンプルのセットから、前記ファサードに関連する前記レーザスキャンサンプルのサブセットを自動的に検出するように構成されていることを特徴とする請求項1に記載のコンピュータ装置。
- 前記プロセッサ(11)は、
各一連の連続レーザサンプルが地面と実質的に直交する独立面に存在する、複数の一連の連続レーザサンプルを収集し、
各独立面におけるレーザスキャンサンプルのヒストグラムを生成し、
前記ヒストグラムのそれぞれにおいて、前記ファサードが位置すると予測されるおよその位置におけるピークを識別し、
前記レーザスキャンサンプルのサブセットを前記ピーク上のレーザスキャンサンプルとして選択する
ように構成されていることを特徴とする請求項2に記載のコンピュータ装置。 - 前記プロセッサ(11)は、前記レーザスキャンサンプルのサブセットのフーリエ解析により、前記ファサードにおけるフロアの高さを識別するように構成されていることを特徴とする請求項1乃至3のいずれか1項に記載のコンピュータ装置。
- 前記プロセッサ(11)は、前記ファサードにおいて中層階のフロアを識別し、平均化された中層階のフロアを生成するように構成されていることを特徴とする請求項4に記載のコンピュータ装置。
- 前記プロセッサ(11)は、前記テクスチャ要素の少なくともいくつかに関連する、前記レーザスキャンサンプルのサブセットにおけるテクスチャ要素レーザスキャンサンプルを識別するように構成されていることを特徴とする請求項1乃至5のいずれか1項に記載のコンピュータ装置。
- 前記プロセッサ(11)は、前記テクスチャ要素レーザスキャンサンプルに関連するマスクを生成し、前記ファサードの写真から前記テクスチャ要素に関連するデータを除去するために該マスクを使用し、除去されたテクスチャ要素を格納するように構成されていることを特徴とする請求項6に記載のコンピュータ装置。
- 前記プロセッサは、平均化されたテクスチャ要素を生成し、該平均化されたテクスチャ要素を格納するように構成され、平均化されたテクスチャ要素のそれぞれは、1つのタイプのテクスチャ要素と関連づけられることを特徴とする請求項7に記載のコンピュータ装置。
- 前記プロセッサは、平均化されたテクスチャ要素を、前記写真から除去されたテクスチャ要素に関連するデータから生成するように構成されていることを特徴とする請求項8に記載のコンピュータ装置。
- 前記プロセッサは、前記ファサードに関連する壁面のテクスチャデータを選択するように構成されていることを特徴とする請求項1乃至9のいずれか1項に記載のコンピュータ装置。
- 前記レーザスキャンサンプルのセットは、前記ファサードの前方のオブジェクトに関連する更なるレーザスキャンサンプルを含み、
前記更なるレーザスキャンサンプルは、前記ファサードに沿って移動している間に前記レーザスキャナを利用して取得されるファサードよりもレーザスキャナ(3(j))に近いオブジェクトに関連し、
前記プロセッサ(11)は、前記更なるレーザスキャンサンプルに関連する前記ヒストグラムにおけるピークを補正するように構成されていることを特徴とする請求項3に記載のコンピュータ装置。 - メモリに格納されたレーザスキャンサンプル及び写真を処理する方法であって、
ビルのファサードに関連するレーザスキャンサンプルのサブセットを含むレーザスキャンサンプルのセットを格納する工程と、
各スキャンサンプルに関する位置データを格納する工程と、
同一のファサードの写真を、該写真の画素に関連する位置データを含めて格納する工程であって、前記写真は、前記ファサードの壁面に関するデータと、該壁面のテクスチャ要素に関するデータとを含む工程と、
前記レーザスキャンサンプルを利用している間に、前記写真内の前記壁面と前記テクスチャ要素とを自動的に識別する工程と
を備えることを特徴とする方法。 - コンピュータ装置に請求項12に記載の前記方法を実行させるために、コンピュータ装置にロード可能な命令及びデータを含むコンピュータプログラム。
- 請求項13に記載のコンピュータプログラムを含む記憶媒体。
- コンピュータ装置であって、
プロセッサによって実行可能な命令及びデータを有するコンピュータプログラムを格納し、ファサードに沿って移動している間にレーザスキャンサンプルのセットを取得するために利用されるレーザスキャナ(3(j))と第1の距離を有して設置された第1のオブジェクトに関連するサンプルの第1のセットと、前記レーザスキャナと前記第1の距離よりも短い第2の距離を有して設置された第2のオブジェクトに関連するレーザスキャンサンプルの第2のセットとを含むレーザスキャンサンプルのセットを格納するメモリ(12,13,14,15)と通信し、
前記レーザスキャンサンプルのセットに関連する第1のヒストグラムを生成し、
ピークのない第2のヒストグラムを生成するために、前記レーザスキャンサンプルの第2のセットに関連する前記第1のヒストグラムにおけるピークを補正する
ように構成されたプロセッサ(11)を備えることを特徴とするコンピュータ装置。 - レーザスキャンサンプルを処理する方法であって、
a) ファサードに沿って移動している間にレーザスキャンサンプルのセットを取得するために利用されるレーザスキャナ(3(j))と第1の距離を有して設置された第1のオブジェクトに関連するサンプルの第1のセットと、前記レーザスキャナと、前記第1の距離よりも短い第2の距離を有して設置された第2のオブジェクトに関連するレーザスキャンサンプルの第2のセットとを含むレーザスキャンサンプルのセットを格納する工程と、
b) 前記レーザスキャンサンプルのセットに関連する第1のヒストグラムを精製する工程と、
c) ピークを有しない第2のヒストグラムを生成するために、前記レーザスキャンサンプルの第2のセットに関連する、前記第1のヒストグラムのピークを補正する工程と
を備えることを特徴とする方法。 - コンピュータ装置に請求項16に記載の前記方法を実行させるために、コンピュータ装置にロード可能な命令及びデータを含むコンピュータプログラム。
- 請求項17に記載のコンピュータプログラムを含む記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/NL2006/050259 WO2008044913A1 (en) | 2006-10-13 | 2006-10-13 | System for and method of processing laser scan samples and digital photographic images relating to building façade |
PCT/NL2006/050265 WO2008044914A1 (en) | 2006-10-13 | 2006-10-20 | System for and method of processing laser scan samples and digital photographic images relating to building facades |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010506328A true JP2010506328A (ja) | 2010-02-25 |
Family
ID=38255518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009532310A Pending JP2010506328A (ja) | 2006-10-13 | 2006-10-20 | レーザスキャンサンプル及びビルのファサードのデジタル写真画像を処理するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8396255B2 (ja) |
EP (1) | EP2074378B1 (ja) |
JP (1) | JP2010506328A (ja) |
CN (1) | CN101529202A (ja) |
WO (2) | WO2008044913A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010507127A (ja) | 2006-10-20 | 2010-03-04 | テレ アトラス ベスローテン フエンノートシャップ | 異なるソースの位置データをマッチングさせるためのコンピュータ装置及び方法 |
US8224098B2 (en) * | 2007-06-15 | 2012-07-17 | Microsoft Corporation | Façade rendering system |
EP2183724B1 (en) | 2007-07-27 | 2019-06-26 | Esri R&D Center Zurich AG | Computer system and method for generating a 3d geometric model |
US8639234B2 (en) * | 2008-03-31 | 2014-01-28 | General Motors Llc | System and method for processing vehicle communications |
SG171700A1 (en) | 2008-12-19 | 2011-07-28 | Tele Atlas Bv | Dynamically mapping images on objects in a navigation system |
US8699755B2 (en) | 2009-02-20 | 2014-04-15 | Navteq B.V. | Determining travel path features based on retroreflectivity |
WO2011023241A1 (en) | 2009-08-25 | 2011-03-03 | Tele Atlas B.V. | Method of creating an audience map |
CN101908228B (zh) * | 2010-07-16 | 2012-04-25 | 浙江大学 | 一种用于获得建筑立面测绘图的数字化建筑测绘方法 |
DE102010053914A1 (de) * | 2010-12-09 | 2012-06-14 | Bilfinger Berger Industrial Services Gmbh | Vorrichtung, System und Verfahren zur Untersuchung von Gerüsten |
WO2012089264A1 (en) * | 2010-12-30 | 2012-07-05 | Tele Atlas Polska Sp.Z.O.O | Method and apparatus for determining the position of a building facade |
EP2495688A1 (en) * | 2011-03-02 | 2012-09-05 | Harman Becker Automotive Systems GmbH | Floor Number Determination in Buildings |
US20130141433A1 (en) * | 2011-12-02 | 2013-06-06 | Per Astrand | Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images |
AU2013203521B2 (en) * | 2012-08-13 | 2016-05-26 | Auto-Measure Pty Limited | Building modelling system |
US8970850B2 (en) | 2012-12-14 | 2015-03-03 | University Of New Brunswick | Method and apparatus for surface profilometry |
US10380316B2 (en) | 2015-02-09 | 2019-08-13 | Haag Engineering Co. | System and method for visualization of a mechanical integrity program |
CN105701471B (zh) * | 2016-01-15 | 2019-04-12 | 昆明理工大学 | 一种激光扫描波形异常数据的修正方法 |
DE102017107341B4 (de) * | 2017-04-05 | 2018-10-31 | Testo SE & Co. KGaA | Verfahren und Vorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes |
CN112614051A (zh) * | 2020-12-08 | 2021-04-06 | 上海裕芮信息技术有限公司 | 一种建筑物外立面图像拼接方法、系统、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005251035A (ja) * | 2004-03-05 | 2005-09-15 | Nec Corp | 3次元モデル作成装置、3次元モデル作成方法および3次元モデル作成プログラム |
JP2005532631A (ja) * | 2002-07-10 | 2005-10-27 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | オブジェクトの電子表示物のテクスチャライジング用システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0328420D0 (en) * | 2003-12-08 | 2004-01-14 | Pty Ltd | Modelling system |
CA2625105A1 (en) | 2005-10-17 | 2007-04-26 | Tele Atlas North America, Inc. | Method for generating an enhanced map |
-
2006
- 2006-10-13 WO PCT/NL2006/050259 patent/WO2008044913A1/en active Application Filing
- 2006-10-20 CN CNA200680056051XA patent/CN101529202A/zh active Pending
- 2006-10-20 JP JP2009532310A patent/JP2010506328A/ja active Pending
- 2006-10-20 US US12/311,461 patent/US8396255B2/en active Active
- 2006-10-20 EP EP06812724.0A patent/EP2074378B1/en active Active
- 2006-10-20 WO PCT/NL2006/050265 patent/WO2008044914A1/en active Search and Examination
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005532631A (ja) * | 2002-07-10 | 2005-10-27 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | オブジェクトの電子表示物のテクスチャライジング用システム |
JP2005251035A (ja) * | 2004-03-05 | 2005-09-15 | Nec Corp | 3次元モデル作成装置、3次元モデル作成方法および3次元モデル作成プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2008044914A9 (en) | 2015-11-26 |
US8396255B2 (en) | 2013-03-12 |
EP2074378B1 (en) | 2017-12-13 |
WO2008044913A1 (en) | 2008-04-17 |
EP2074378A1 (en) | 2009-07-01 |
CN101529202A (zh) | 2009-09-09 |
US20100104141A1 (en) | 2010-04-29 |
WO2008044914A1 (en) | 2008-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010506328A (ja) | レーザスキャンサンプル及びビルのファサードのデジタル写真画像を処理するためのシステム及び方法 | |
US8325979B2 (en) | Method and apparatus for detecting objects from terrestrial based mobile mapping data | |
EP2659458B1 (en) | System and method for generating textured map object images | |
US8571354B2 (en) | Method of and arrangement for blurring an image | |
US8884962B2 (en) | Computer arrangement for and method of matching location data of different sources | |
US20100118116A1 (en) | Method of and apparatus for producing a multi-viewpoint panorama | |
CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
WO2008130219A1 (en) | Method of and apparatus for producing road information | |
WO2020189703A1 (ja) | 構造物検出装置、構造物検出方法および構造物検出処理プログラム | |
Freeman et al. | Quantifying and visualising the uncertainty in 3D building model walls using terrestrial lidar data | |
KR20230108478A (ko) | 가상 현실을 이용한 공간 데이터 제공 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110701 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111128 |