JP2015513680A - 4dライダ・データ・セットに基づく群葉貫通 - Google Patents
4dライダ・データ・セットに基づく群葉貫通 Download PDFInfo
- Publication number
- JP2015513680A JP2015513680A JP2014559943A JP2014559943A JP2015513680A JP 2015513680 A JP2015513680 A JP 2015513680A JP 2014559943 A JP2014559943 A JP 2014559943A JP 2014559943 A JP2014559943 A JP 2014559943A JP 2015513680 A JP2015513680 A JP 2015513680A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- data
- profile
- point cloud
- terrain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000035515 penetration Effects 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000003628 erosive effect Effects 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 5
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000012876 topography Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000011439 discrete element method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Astronomy & Astrophysics (AREA)
- Electromagnetism (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】光検出・測距(LIDAR:ライダ)システムから導出した点群データの視覚化。【解決手段】群葉を通して地形を検出するための方法であって、空中プラットホームから3次元(3D)空間における点群データを受信するステップであって、この点群データは、物体を隠す群葉を含む、ステップと、前記3D空間からの前記点群データを、1D信号を形成するために、一次元空間(1D空間)に、再フォーマット化するステップと、分解WT信号を形成するために、ウェーブレット変換(WT)を使用して、前記1D信号を分解するステップと、のステップを含む方法。分解WT信号は、ローパス・フィルター・プロフィールを形成するために、再構築される。この方法は、ローパス・フィルター・プロフィールを地形として分類する。この地形は、自然地形またはグラウンド・プロフィールを含む。【選択図】図1
Description
本願発明は、一般に、光検出・測距(LIDAR:ライダ)システムから導出した点群データの視覚化に関する。より詳しくは、本願発明は、LIDARシステムからの4次元(4D)データを用いた群葉貫通に関するものである。本願発明は、ターゲットを混乱させる木の群葉と他の植物とを取り除くことによって、隠されたターゲットを検出する。
三次元(3D)タイプ感知システムは、種々のアプリケーションで使用するために、ある位置の3D画像を生成するのに一般的に用いられる。例えば、そのような3D画像は、軍事作戦や一般人の活動の安全なトレーニング環境をつくるため、地形図を生成するため、あるいは、ある位置での監視のために使われる。そのような感知システムは、典型的には、ターゲットの位置と結びついた立面図データをキャプチャすることによって、動作する。3Dタイプ感知システムの1つの例は、光検出・測距(LIDAR)システムである。LIDARタイプ3D感知システムは、光の単一パルスからの複数の距離エコーを記録し、画像フレームと呼ばれることがあるフレームを生成することによって、データを生成する。したがって、LIDARデータの各々の画像フレームは、3次元(3D点群)におけるポイントの集合を含む。これらは、センサの開口における複数の距離エコーに対応する。これらの点は、三次元空間でレギュラー・グリッドの上で値を表す「ボクセル」に組織化することができる。3Dイメージングで使用されるボクセルは、2D撮像デバイスの文脈で使用されるピクセルに類似している。これらのフレームは、ターゲットの位置の3D画像を再構築するために処理することができる。これに関して、3D点群の各々のポイントは、3Dでの場面において実際の表面を表す個々のx、yおよびz値を有する。
三次元(3D)点群は、3D空間(x、y、z)における位置の空間測定から成るデータ・セットである。ここで、xとyとは、交差範囲空間位置であり、zは標高である。この3Dデータは、表面をスキャニングすることができるシステムによって生成される。例えば、ステレオ・ペア・カメラ、レーダー、レーザ検出・測距(LADAR)センサなどである。点群ビジュアライゼーションは、一般に、国防や地球空間コミュニティ内で大きな関心がある。
LADARシステムの進歩は、4Dデータ(x、y、z、および、時間t)の方にプッシュしてきた。これらのシステムは、毎秒30フレームで、ビデオカメラが動作するのと同様に動作することができる。4D領域での場面のサンプリングは、軍事および民間のアプリケーションにおいて、非常に魅力的である。ここで、説明するように、本願発明は、三次元映像を生成するために、LADARシステムによって記録される4D測定を使用する。
このニーズおよび他ニーズを満たすために、および、その目的において、本願発明は、点群データを用いて、地形プロフィールを検出するための方法を提供する。この方法は、
(a)空中プラットホームから3次元(3D)空間における点群データを受信するステップと、
(b)前記3D空間からの前記点群データを、1D信号を形成するために、一次元空間(1D空間)に、再フォーマット化するステップと、
(c)分解WT信号を形成するために、ウェーブレット変換(WT)を使用して、前記1D信号を分解するステップと、
(d)ローパス・フィルター・プロフィールを形成するために、前記分解WT信号を再構築するステップと、
(e)前記ローパス・フィルター・プロフィールを前記地形プロフィールとして分類するステップと、のステップを含む。この方法は、
(f)前記1D信号を使用して標高信号を形成するステップと、
(g)前記標高信号の標高ポイントが、ローパス・フィルター・プロフィールの対応するポイントを越える場合に、該標高ポイントを物体のポイントとして分類するステップと、
のステップを含むことができる。前記物体は、人工物体、または、前記地形プロフィールの上に、配置された植物を含む。この地形プロフィールは、自然地形またはグラウンド・プロフィールを含む。
(a)空中プラットホームから3次元(3D)空間における点群データを受信するステップと、
(b)前記3D空間からの前記点群データを、1D信号を形成するために、一次元空間(1D空間)に、再フォーマット化するステップと、
(c)分解WT信号を形成するために、ウェーブレット変換(WT)を使用して、前記1D信号を分解するステップと、
(d)ローパス・フィルター・プロフィールを形成するために、前記分解WT信号を再構築するステップと、
(e)前記ローパス・フィルター・プロフィールを前記地形プロフィールとして分類するステップと、のステップを含む。この方法は、
(f)前記1D信号を使用して標高信号を形成するステップと、
(g)前記標高信号の標高ポイントが、ローパス・フィルター・プロフィールの対応するポイントを越える場合に、該標高ポイントを物体のポイントとして分類するステップと、
のステップを含むことができる。前記物体は、人工物体、または、前記地形プロフィールの上に、配置された植物を含む。この地形プロフィールは、自然地形またはグラウンド・プロフィールを含む。
前記点群データを受信するステップは、レーザ検出・測距(LADAR)システムからx、y、zデータを受信するステップを含む。xおよびyデータは、それぞれ、撮像アレイのxおよびy方向における撮像データであり、zデータは、撮像アレイのz方向における、強度データである。この方法は、
(a)前記撮像データを、複数のdxストリップに分割するステップであって、各々のdxストリップは、前記撮像アレイの前記x方向における狭いデルタである、ステップと、
(b)複数のdxストリップの各々において、1D信号をzデータとして形成するステップと、により、前記点群データを再フォーマットする。zデータは、動くことによって、y方向について昇順で、y方向について降順で、x方向における各々の連続的なdxストリップの関数として順次、形成される。
(a)前記撮像データを、複数のdxストリップに分割するステップであって、各々のdxストリップは、前記撮像アレイの前記x方向における狭いデルタである、ステップと、
(b)複数のdxストリップの各々において、1D信号をzデータとして形成するステップと、により、前記点群データを再フォーマットする。zデータは、動くことによって、y方向について昇順で、y方向について降順で、x方向における各々の連続的なdxストリップの関数として順次、形成される。
前記1D信号を分解するステップは、
(a)1D信号に対する近似係数(aC)を計算するステップと、
(b)1D信号に対する詳細係数(dC)を計算するステップと、を含む。
(a)1D信号に対する近似係数(aC)を計算するステップと、
(b)1D信号に対する詳細係数(dC)を計算するステップと、を含む。
前記分解WT信号を再構築するステップは、
(a)前記詳細係数(dC)をゼロにセットするステップと、
(b)前記詳細係数(dC)をゼロにセットした後に、前記ローパス・フィルター・プロフィールを形成するために、WTの逆変換(W−1)を計算するステップと、
を含む。
(a)前記詳細係数(dC)をゼロにセットするステップと、
(b)前記詳細係数(dC)をゼロにセットした後に、前記ローパス・フィルター・プロフィールを形成するために、WTの逆変換(W−1)を計算するステップと、
を含む。
前記分解するステップは、aCおよびdCの少なくとも3つのレベルを計算するステップを含み、前記再構築するステップは、dCの前記少なくとも3つのレベルをゼロにセットするステップを含む。この方法は、次に、ローパス・フィルター・プロフィールを形成するために、aCの少なくとも3つのレベルを合成する。
この方法は、
(a)ハイパス・フィルター・プロフィールを形成するために、分解WT信号を再構築するステップと、
(b)ハイパス・フィルター・プロフィールを、地形プロフィールにおける不連続部として分類するステップと
のステップを含むことができる。この不連続部は、人工構造のエッジを意味する。
(a)ハイパス・フィルター・プロフィールを形成するために、分解WT信号を再構築するステップと、
(b)ハイパス・フィルター・プロフィールを、地形プロフィールにおける不連続部として分類するステップと
のステップを含むことができる。この不連続部は、人工構造のエッジを意味する。
1D信号を分解するステップは、1D信号に対する近似係数(aC)を計算するステップと、1D信号に対する詳細係数(dC)を計算するステップと、を含む。
分解WT信号を再構築するステップは、近似係数(aC)をゼロにセットするステップと、前記近似係数(aC)をゼロにセットした後に、ハイパス・フィルター・プロフィールを形成するために、WTの逆変換(W−1)を計算するステップと、を含む。
前述の概説と以下の詳しい説明は、例示的であるが、しかし、本願発明を制限するものではないものと解される。
本願発明は、同じ参照番号が類似の要素を表す、添付の図面に関連して読まれるとき、以下の詳細な説明から最も良く理解される。同様の要素が複数存在するとき、単一の参照番号は、特定の要素を参照する小文字の割り当てを有する複数の同様の要素に割り当てることができる。集合的に要素を参照するとき、または、非特定的な1つ又は複数の要素を参照するとき、小文字指定は、やめることがある。これは、通常のプラクティスに従うと、図面の種々の特徴は、一定の比率で描かれていないことを強調する。反対に、種々の特徴の大きさは、明快さのために任意に拡大されるか、減縮される。以下の図が、図面の中に含まれる。
図1は、本願発明の実施形態にしたがう、ベア・アース抽出(BEE)方法のフローチャートである。
図2Aは、点群データのx、y平面である。
図2Bは、図2Aに示される点群データのz−方向の標高プロフィールである。
図3は、本願発明の実施形態にしたがう、点群のx、y、zデータをソートするための例示的な順序づけシーケンスである。
図4は、本願発明の実施形態にしたがう、1次元(1D)標高プロフィールの例である。
図5は、図4に示される1D標高プロフィールのフィルタ処理したプロフィールである。
図6Aは、1−レベル別々のウェーブレット変換(DWT)のブロック図表現である。
図6Bは、3−レベルDWTのブロック図表現である。
図6Cは、図6Bの3レベルDWTによって分解された信号を再構築するための逆WTのブロック図表現である。
図7は、本願発明の実施形態にしたがう、点群データを視覚化するためのシステムのブロック図である。
図8Aは、DWTに入力される正弦波信号の例である。
図8Bは、図8Aの正弦波信号の近似係数(cA)を示す。
図8Cは、図8Aの正弦波信号の詳細係数(cD)を示す。
図9Aは、オリジナル画像を示す信号の例である。
図9Bは、図9Aに示されるオリジナル信号のWT近似信号(A1)である。
図9Cは、図9Aに示されるオリジナル信号のWT詳細信号(D1)である。
図10Aは、図9Aに示される信号の1ーレベルWTの近似係数と詳細係数を示す。
図10Bは、図9Aに示される信号の2ーレベルWTの近似係数と詳細係数を示す。
図10Cは、図9Aに示される信号の3ーレベルWTの近似係数と詳細係数を示す。
図11Aは、図10Aに示される1−レベルWT信号の再構築である。
図11Bは、図10Bに示される2−レベルWT信号の再構築である。
図11Cは、図10Cに示される3−レベルWT信号の再構築である。
図12Aは、本願発明の実施形態にしたがう、例示的なベア・アース抽出(BEE)方法である。
図12Bは、本願発明の実施形態にしたがう、例示的なエッジ検出方法である。
図13は、zがオリジナル・データである点群データを処理する方法を示している、本願発明の別の実施形態である。
図14は、図13に示される方法の前処理ステップからの結果の標高プロフィール(z’)である。
図15は、本願発明の実施形態にしたがう、図13に示される判断ブロックから結果として生じる、フィルタ処理したグラウンド信号、および、フィルタ処理した物体信号の例である。
図16は、人工物体、植物と地形プロフィールの点群データを導出するためのLADARシステムを使用する、本願発明の処理システムを含むヘリコプターである。
本願発明は、他の特徴とともに、4次元(4D)点群データに基づく群葉貫通を提供する。ここで、説明するように、本願発明は、点群データをx、y、zフォーマットで処理する。これは、ベア・アースとエッジ構造を検出して、追跡するLADARまたはLIDARシステムから得られる。森林地帯の下に隠されたターゲットは、本願発明により、関心対象の本当のターゲットを混乱させる植物や他の物体を取り除いて、フィルタリングすることによって、検出され、追跡される。この処理は、リアルタイムに行われる。
LADARシステムは、3Dデータ(x、y、z)を、時間(t)の関数として提供する。このデータは、図1で示すように、本願発明によってリアルタイムに処理される。図示されるように、ベア・アース抽出(BEE)方法は、通常、10で表されるが、点群データ11を処理する処理ステップ12を含む。この処理されるデータは、フィルタ・バンク14によって、フィルタリングされる。そして、それは、また、分解されたウェーブレット・データ13を受信する。このフィルタ・バンクは、判断ブロック15に標高データ(z)を提供し、そして、それは、グラウンド・データ16をオブジェクト・データ17から切り離す。この方法10は、後で更に詳しく記述される。このデータを処理するために、データは、再編成される。本願発明は、一次元の(1D)プロフィール・ライン・スタイルにおいて、データを編成することを選ぶ。第1に、順序付けアルゴリズムは、データの全てのx範囲の最小値と最大値とを探す。3D点群データは、次に、平均ポイント・スペーシングの以前の知識を用いてx(y,z)の形式のx次元全体にわたりm 2Dカラム・プロフィールに分けられる(図2Aおよび図2Bを参照)。データについての以前の知識が存在しないならば、データは、dxのxディメンジョンに沿って非常に狭いポイント・スペーシングを仮定する2Dカラムのビンに入れられる。ポイントがカラムに選別されて集められない場合には、そのカラムは廃棄される。いくつかのデータ収集の固有のジオメトリーのために、1つのポイント・カラムが生起することができ、それは廃棄されない。これが起こることは、まれではあるが(例えば、ダイヤモンド形集合)、このポイントにおける少しの情報も廃棄せず、そして、それによって、エラーを最小にするように、アルゴリズムは情報を保持する。
図2Aが、点群データのx−y平面を提示することが理解される。ここで、xとyとは、各々の検出された物体の位置である。このデータ順序付けアルゴリズムは、x(y、z)の関数で、データを編成するために、非常に狭い定数(dx)を使用する。yを横切る位置の値が検出されると、このアルゴリズムは、図2Bで示すように、zにおけるそれぞれの値を見つける処理を行う。計算複雑性の増大を避けるために、本願発明は、単一の2Dカラムを形成するために、カラム・プロフィールをマージする。単一の2Dカラム処理におけるエラーを減らすために、本願発明は、図3で示すように、2Dカラムを横切るyディメンジョンに沿って、昇順ソーティングと降順ソーティングの間で、順序付けを交替させることを選ぶ。このアプローチの長所は、プロフィールをマージすることが、カラム・プロフィールの間でのスムーズな結合という結果になることである。これは、昇順に順序付けされたカラムの終端ポイントと、続いて順序付けされたカラム(すなわち、降順に順序付けされたカラム)の最初のポイントとが、合体したポイントであり、隣接するポイントは、おそらく同様の標高を有するからである。これは、また、少数のポイントを有するカラムのエラーを最小にするのに役立つ。分解のウェーブレット・レベルが、Lであるとき、カラムの要素数が2Lの倍数でないならば、このデータに対して、単一の2Dカラムにおける後ろから2L−Nポイントの対称形のパディングを用いて、2Lの倍数までパディングを行う。ここで、Nは、単一のパディング処理をしていない2Dカラムにおけるポイントの合計数である。
図3に示される、左から右へで、第1のdxは、yの昇順で、第1のプロフィールに対応し、第2のdxは、yの降順で、第2のプロフィールに対応する、等であることが理解される。このデータは、1つの単位距離ごとに一様にサンプルされるので、本願発明は、有利なことに、単一のカラムを、位置と標高ではなく、時間と標高(zディメンジョン)の関数として見ることができる。新しいカラムは、標高属性を有する時間の一次元の集合である。この一次元のプロフィールは、図1に示される、ステップ12を処理することにより実行された順序付けアルゴリズムの出力である。したがって、本願発明は、3D点群データに取り組むために、1D標高プロフィールを使用する。それは、データの次元の数を減らすけれども、直接点群に作用し、そのデータに含まれる情報を損なうことがない。
本願発明は、大規模な地形の連続でスムーズな性質を、1D標高プロフィール集合に埋め込まれた低周波コンテンツとして見ることができることを実現する。同様に、すべての高周波数成分は、人工物体と植物に関連することができる。このように、人工物体と植物は、雑音として視覚化することができる。図4は、例としてあげると、植物と人工物体(すなわち、ビルディング)とに関連した範囲における大きな変動を有する1D標高プロフィールを示す。
1D標高プロフィールは、周波数の変化と関係する高度における劇的な変化を示す。周波数の変化は、標高プロフィールでの不連続性に対応する。この仮定のもとで、ウェーブレット変換(WT)は、他のタイプのフィルタに勝るいくつかの利点を提供する。ウェーブレット変換(WT)は、時間と周波数において、適切にローカライズされた直列のハイパス・フィルタとローパス・フィルタとから成る。ウェーブレットを使うことの長所の1つは、マルチ解像度分析を可能にすることである。大部分の地形または人工物体は、場面に依存して、特定のスケールまたは解像度において、より区別できるから、これは、重要な特性である。たとえば、山や高い建物は、より高い目盛りに関係するが、一方、低い植物や車は、より低い解像度空間に関係する。
本願発明によるフィルタリングは、標高プロフィールを係数の2つのセットに分解する。
ここで、aCは、ウェーブレットのローパス・フィルタの結果である近似係数であり、dCは、ウェーブレットのハイパス・フィルタの結果である詳細係数である。本願発明は、地形と結びついている低周波数成分を識別し、dC=0のように、dCをゼロにセットする。
次に、逆ウェーブレット変換が、地形の特徴を機能を再構築するのに適用される。
再構築された信号は、オリジナルの標高プロフィールの地形の特徴だけを含むものではないことが理解される。LADAR標高測定値は、次の3つの成分を含むからである。
ここで、Hgroundは、グラウンド高度測定値であり、Hnon−groundは、物体標高測定値であり、Hnoiseは、システム雑音と他の外部雑音源に対する標高の寄与である。
このノイズは、高度測定値に影響を及ぼす。したがって、それらの高周波ノイズ成分のために、いくつかのグラウンド・ポイントは、物体として誤分類されることがあり得る。さらに、いくつかの場面は、峰、崖、および、高い起伏の丘または山のような鋭い不連続性を有する地形の特徴を含むことができる。このような自然に生じる特徴は、非地形の物体からそれらを区別することが難しい充分な高周波数成分を有する。
別の挑戦は、大きな屋根をもつ建物が、アース・ポイントとして誤分類されることがあり得ることである。建物が区分的に連続的であることは、事実である。したがって、屋根が大きい場合には、その中心の領域は、建物のエッジ不連続部から十分に遠くにあることができる。これは、低周波と混乱し得る。建物の中心部における高周波成分だけは、システムのノイズからの寄与を制限することができる。これを軽くする1つの方法は、より高水準ウェーブレット変換を用いることである。
再構築された標高プロフィールは、しかし、低周波数成分を保ち、そしてそれは地形の特徴を表す。それは、非グラウンド・ポイントを取り除かないが、しかし、非グラウンドの特徴の標高プロフィールを壊滅させる。したがって、本願発明は、オリジナル標高シリーズ・データに対する閾値プロフィールとして再構築された標高プロフィールを使用する。再構築プロフィールとオリジナル・プロフィールとの間で、1対1のポイント対応があるので、対応する再構築された標高プロフィール・ポイントと同じ標高、または、より低いオリジナル・データのすべてのポイントは、グラウンドと分類され、一方、再構築された標高プロフィールより上のすべてのポイントは、非グラウンド物体として分類される。したがって、図4に示されるオリジナルのプロフィールは、図5で示すように、フィルタリングされる。次に、データは、下のように分類される。
ここで、W−1は、逆変換である、z’は、閾値プロフィールとして使われる再構築された標高プロフィールである、zは、実際の高度プロフィールである。Dcは、ゼロ(0)にセットされる。
上記の分類決定は、図1に示される判断ボックス15により用いられる。ここで、zf=z’。z’プロフィールは、逆ウェーブレット変換(IWT)、または、W−1( )によって決定される、ウェーブレット変換(WT)は、次に、記述される。
WTは、信号の時間−周波数表現、および、異なる周波数を、異なる周波数と分析することができるマルチ解像度テクニックを提供する。WTを理解することは、連続ウェーブレット変換(CWT)と、離散ウェーブレット変換(DWT)を理解するのに重要である
CWTは、以下の方程式によって与えられる:
ここで、x(t)は、分析されるべき信号、ところ、ψ(t)は、ウェーブレット(マザー・ウェーブレット)または基底関数であり、τは、信号を通してシフトされるときに、ウェーブレット位置関数を関連させる翻訳パラメータであり、sは、1/(周波数)によって表せられる時間情報に対応し、tは、信号xの時間シフトである。
WTは、上に示されるマザー・ウェーブレットから導出され、信号を、シフト(拡大)すること、スケールリング(圧縮)することと同様である。信号の大スケールは、信号(拡大)において隠れた情報を提供する低周波で表現される。小スケールは、信号(圧縮)においてグローバル情報を提供する高周波で表現される。
離散ウェーブレット変換(DWT)は、WTの速い計算を与えるアルゴリズムに基づく。それは、インプリメントするのが簡単であり、要求される計算時間を減らし、デジタル・フィルタリング技術によって得られるデジタル信号の時間スケール表現を与える。DWTプロセスにおいて、信号は、異なるスケールにおいて異なるカットオフ周波数を有するフィルタを通してパスされる。
DWTは、信号の再スケーリングを有するフィルタのインタラクションによってインプリメントすることができる。信号の2つの重要なパラメータは、解像度およびスケールである。解像度は、信号の詳細によって与えられ、スケールは、アップ・サンプリングとダウン・サンプリング操作によって決定される図6Aは、DWT表現のブロック図を示す。DWTは、離散時間領域信号のローパスおよびハイパス・フィルタリングを用いて計算することができる。DWT分解を表現する図6Aにおいて、H063は、ハイパス・フィルタであり、G064は、ローパス・フィルタである。要素61と要素62とは、各々、ファクタ2のダウン・サンプラーである(2)。X(n)は、入力された離散信号である。フィルタ(H0とG0)は、周波数バンドの半分で、信号を生成し、周波数の不確実性が半分に減らされて(ダウン・サンプリング)、周波数分解能を2倍にする。ナイキストの定理にしたがうと、オリジナル信号が、fの最も高い周波数を有するならば、それは、2fのサンプリング周波数を要求する。したがって、この信号は、f解像度の周波数でサンプリングすることができ、それは、サンプルの全体数の半分で表現される。このように、ハーフ・バンド・ローパス・フィルタリングが、周波数の半分を除去する、および、これにより解像度を半分にする、その一方で、2のデシメーション(間引き)は、スケールを二倍にする。
時間分解能は、高周波において良いが、一方、周波数分解能は、低周波において良い。フィルタリングとデシメーションのこのプロセスは、分解の所望のレベルに達するまで、続けることができる。図6Bは、信号(x[n])に対する、3の分解レベルを示す。
逆ウェーブレット変換(IWT)は、また、ウェーブレット再構築としても知られているが、すべての係数、a[n]およびd[n]を得ることによって決定される。これは、分解の最後のレベルから始まる。このプロセスは、WTの逆である。あらゆるレベルにおける近似および詳細係数が、2でアップ・サンプリングされ、ローパスとハイパス・フィルタを通してパスされ、それから、追加される。このプロセスは、オリジナル信号を得るために、分解プロセスの場合と同数のレベルを通して続けられる。図6Cは、3レベル分解におけるIWTブロック図を示す。
図示されるように、要素66と要素67とは、各々、ファクタ2のアップ・サンプラーである(2)。H168とG169は、それぞれ、ハイパスとローパス合成フィルタである。X(n)は、再構築された離散信号である。良い再構築を得るために、フィルタは、特定の状態を満たす必要がある。その状態は、以下のように与えられる。G0(z)とG1(z)をローパス分析と合成であるとし、H0(z)とH1(z)はハイパス分析と合成であるとする。フィルタは、次の2つの条件を満たさなければならない。
第1の条件は、再構築が、エイリアシングがないことを意味し、第2の条件は、振幅ひずみが、1の振幅を有することを意味する。これは、完全な再構築は、分析フィルタと合成フィルタが切り替えられなければ、変化しないことを意味する。これらの状態を満たす多数のフィルタが存在するが、しかし、特に、フィルタ係数が量子化されるとき、それらがすべて、完全な再構築を提供するというわけではない。
このポイントまで、本願発明により使用されるWTとIWTプロセスが、記述された。しかしながら、本願発明は、形態演算子を使うこともできることが理解される。これらの演算子が、次に記述される。
数学的な形態論は、画像から特徴を抽出する操作を含む。基本的な形態演算子は、拡大(dilation)と浸食(erosion)である。これらの演算子は、典型的には、特徴を減少し、拡大するために、2値画像で使われる。浸食演算子と拡大演算子は、グレー・スケール画像まで広げられた。形態演算子は、本願発明によって距離画像(range image)まで広げられた。ここで、グレー・レベルは、センサから、その場面から反射した光の強度よりはむしろ、その場面における物体への距離を表現する。このように、形態演算子は、LADARシステムによって測定されるデータに適用される。
LADAR測定p(x,y,z)に対して、(x,y)における高度zの拡大は、次のように与えられる。
ここで、ポイント(xp、yp、zp)は、ウィンドウwの中でのpの隣(座標)を表す。このウィンドウは、1D(線)または2D(長方形または他の形状)であることができる。拡大の結果は、近傍における最大高度値である。
形態演算子は、たとえば、図1の実施形態で示されるように、本願発明によって省略することができることが理解される。図1に示される処理操作は、WTとIWTプロセスを含むだけである。形態演算子は含まれていない。
つぎに、図7を参照すると、WTプロセスとIWTプロセス、および、前記の形態演算子を含む、本願発明の実施形態が示される。図示されるように、システム70は、そしてそれはWTモジュール73、IWTモジュール75および形態演算子モジュール76を含むフィルタ・バンクを備える。また、閾値カルキュレータ74も含まれるが、それは、別のモジュールであることができる。フィルタ・バンクに入力されるデータは、LADARシステム(図示せず)から導出され、そして、それは点群データ71を提供する。データ71は、通常、72に指定されるデータ分解モジュールにより前処理される。フィルタ・バンク70から出力されるデータは、ノイズ除去された信号78とデジタル地形モデル(DTM)信号77を含む。ノイズ除去された信号78は、IWTモジュール75からの直接出力であり、多くの異なる目的に用いることができる。ノイズ除去された信号78を使用することができる他のシステム(図示せず)の例は、信号フィルタ、特徴抽出モジュール、信号圧縮モジュール、その他である。
IWTモジュール75から出力されるDTM信号77は、形態演算子モジュール76によってさらにフィルタリングされる。このように、フィルタ・バンク70は、WTと形態演算子を結合する。形態演算子は、所定の地形斜面と物体標高に基づいて、非グラウンド物体を取り除くのに用いられる。フィルタ・バンクは、XYZフォーマットにおける点群データを取り上げ、直角座標(x,y,z)ごとに、それを、1つの信号に分解する。それから、WTが、信号ごとに計算され、逆ウェーブレット変換(IWT)を適用する前に、目標をフィルタリングするための閾値が決定される。
フィルタ処理した信号f(x,y)は、浸食と拡大の形態演算によって処理され、そして、それは植物と建物のピクセルを取り除く。形態フィルタは、ピクセルの近傍検出と補間のために円形マスクを使用する。補間のプロセスは、情報が失われている領域を再構築するのに用いられる。例えば、それは、建物、植物や地形面の再構築に用いることができる。
そして、信号は、植物に対応するピクセルを取り除くためにスクエア・マスクを使う別の形態フィルタで再び処理される。本願発明の効果の例として、また、説明の目的のための例として、次の正弦波信号が、WTモジュールに入力されると仮定する。
ここで、N(t)は、ノイズおよびであり、ランダム信号で表される。信号s(t)は、データの500のサンプル・ポイントで生成され、図8Aの中で提示される。近似(a[n])信号と詳細(d[n])信号とは、それぞれ、図8Bおよび8Cに示される。近似(a[n])信号と詳細(d[n])信号とは、データの250サンプル・ポイントを有する。
説明のための例を続けると、図7のフィルタ・バンク70に提供されるLADARデータは、XYZフォーマットのものである。XYZデータは、3つの信号に分解され、軸(X,Y,Z)につき1つの信号である。各々の信号は、(図3に関蓮して、前に記載したように)1Dアルゴリズムを用いて処理され、再び、XYZフォーマットに変換される。図9は、1D信号のWTを使用するフィルタリング・プロセスの例を示す。この信号は、WTを用いて分解され、フィルタリングされたZ信号である。図9Aは、ノイズを有するオリジナルのZ信号であり、図9Bは、第1のレベル分解の近似信号であり、図9Cは、第1のレベル分解の詳細信号である。詳細信号は、ハイパス・フィルタによって取り除かれたオリジナル信号のノイズとして考えることができる。一方、近似信号は、ローパス・フィルタによってフィルタリングされた、フィルタ処理した信号として考えられる。図9Aと図9Bとを比較して、図9Bが図9Aのノイズ除去されたバージョンであると結論することができる。
分解の最初の3つのレベルをすることで、次の係数が得られる。近似係数(cA)と詳細係数(cD)とである。図10は、各々のレベルの結果を示す。分解の高レベルに信号を分解することは、フィルタ処理した信号がオリジナル信号の情報を失うことがあり得るので、問題となり得る。信号のウェーブレット分解の最大のレベルを決定する方法は、次の基準を含む。信号長は、N=2Lによって決定される。ここで、Nは、サンプルの合計数である。1つの信号は、xの異なる方向で拡大されることができる。ここで、xは、深さLの完全2進木レベルのバイナリ・サブツリー(図6B)の数であり、x≧2N/2となる。
分解係数を用いて、次に、近似信号と詳細信号とが再構築される。近似信号と詳細信号とは、それらが信号のノイズ除去するために使われるので、重要である。再構築された信号は、分解の各々のレベルに対して、図11に示される。近似信号を見て、分解のより高いレベルにおいて、ノイズがどのように取り除かれるかについて見ることができる。雑音を取り除くために、閾値が、閾値カルキュレータ74によって決定される。閾値は、詳細係数から決定することができる。その閾値は、また、グローバルな閾値として知られている。この閾値は、詳細係数によって決定されるノイズに基づいて、信号のノイズ除去をするために必要であり、使用される分解レベルに依存する。
上記の例は、LADAR点群データを使用したものであり、それは、前に説明したように、1Dフォーマットに分解されている。同様の手続きを、TIFFフォーマットを使用して、点群データを、2Dフォーマットに分解するのに、使用することができる。データを処理する手続きは、同じであるが、ただし、それは、より高いディメンジョンの信号を指向している。この手続きは、2D DWTを使用し、単一レベルおよび多重レベル分解と再構築を使用して、画像を分析することができるこの手続きは、画像Xを取り、その分解の単一レベルを計算する。例としてあげると、この手続きは、近似(cA)、水平、垂直、対角詳細(cH、cV、および、cD)と呼ばれるレベル3まで係数マトリクスを生成する、これらの係数は、近似(A)分解の各々のレベルにおける水平(H)、垂直(V)および対角(D)信号を再構築するのに用いられる。ノイズ除去手続きは、1Dアルゴリズムと同じであり、閾値は、同様に決定される。
離散ウェーブレット変換(DWT)が前に記載されたが、それでも、本願発明は、次のウェーブレット変換の全てを使うことができることが理解される。
(a)連続ウェーブレット変換(CWT):離散関数Sの1次元ウェーブレット変換の分解係数を計算する。それは、Sを連続関数に変換するために、区分定数補間を使用する。
(b)離散ウェーブレット変換(DWT):離散関数Sの単一レベル分解に対するウェーブレット係数を計算する。この変換の出力は、入力信号と同じ次元を有する。
(c)静止ウェーブレット変換(SWT)は、多重レベル1D静止ウェーブレット分解を実行する。変換のこのタイプは、データを間引かず(デシメーションせず)、シフト不変量である。
(d)多重レベル・ウェーブレット分解(wavedec):多重レベルの一次元ウェーブレット分析を実行するDWTのバージョン。
(a)連続ウェーブレット変換(CWT):離散関数Sの1次元ウェーブレット変換の分解係数を計算する。それは、Sを連続関数に変換するために、区分定数補間を使用する。
(b)離散ウェーブレット変換(DWT):離散関数Sの単一レベル分解に対するウェーブレット係数を計算する。この変換の出力は、入力信号と同じ次元を有する。
(c)静止ウェーブレット変換(SWT)は、多重レベル1D静止ウェーブレット分解を実行する。変換のこのタイプは、データを間引かず(デシメーションせず)、シフト不変量である。
(d)多重レベル・ウェーブレット分解(wavedec):多重レベルの一次元ウェーブレット分析を実行するDWTのバージョン。
4つのウェーブレットのパフォーマンスが、測定された。x方向におけるカラム・プロフィールを用いてデータ順序付けでテストを実行した後に(すなわち、x方向において、ビンに入れることが起こるので、カラムの長さは、y方向に沿っている)、y方向におけるカラム・プロフィールを用いてテストが繰り返された。このテストのために、分解のレベル1のみが使用された。y方向にわたってカラムを使用したときの全誤差は、x方向にわたるカラムの全誤差よりも一貫して低かった。物体エラーとグラウンド・エラーとは、同様の振る舞いをするが、順序付けの両方のケースに対して、物体エラーは、常に、グラウンド・エラーより高い。
結果は、SWT、DWTおよびwavedecに対して同様であったことに注意する価値がある。それらの間の主な差異は、ウェーブレット分解を実行するのにかかる処理時間からくるものである。単一のウェーブレット分解に対して、DWTとwavedecとは、近いパフォーマンス数を有し、SWTは、通常、分解と再構築を完了するのに、時間的に遅れる。SWTが、実際に、DWT係数の2セットの平均であり、デシメーション・ステップにおいて、奇数や偶数の係数を廃棄することによって得られるので、変換をするのにより長くかかるようになっている。
上記のテストは、5(5)に等しいウェーブレット・レベルを使用して繰り返された。これらのテストに対して、どのカラム・プロフィール方向が、より良い結果を与えたかについて、はっきりした傾向がない。CWTとDWTに対する全誤差結果は、レベル1ウェーブレットを使っているものと、同様のままである。しかしながら、SWTとwavedecに対する全誤差は、都市位置の大部分に対して、わずかに低かったが、明らかに、都市位置に対して、より低かった。都市位置の全誤差の減少は、レベル5(5)ウェーブレットに対する物体およびグラウンド・エラーの減少からきている。田舎の位置に対して、グラウンド・エラーがなんとか減少を有する一方、オブジェクト・エラーは、高いままだった、SWTは、一貫して、wavedecエラーより低い全誤差結果を有した。これは、データを処理する追加的な10(10)秒程度かかることをコストとしている。
別のテストは、異なる方向に沿ってデータを編成することを含んでいた。たとえば、データが、y−方向に沿って最初に順序付けられ、次に、そのデータは、x−方向に沿って順序付けられた。これは、90度画像を回転させることに等しい。第1の単一のレベル分解と再構築を用いることによるよりも、より低いエラーがレベル5(5)ウェーブレットを使うことにより得られた。再び、グラウンド・エラーは、田舎の位置に対して、より低いものであった。
パフォーマンス・テストに基づくと、ベア・アース抽出のために最良のウェーブレット・タイプは、SWTである。おそらく、それはシフト不変特性のためである。また、単一のプロフィール・カラムの代わりに、カラム・プロフィール・ラインによってデータを分割し、それらを個々に処理することが、より良い分類結果を与えるように見える。別の明らかな傾向は、レベル5のウェーブレットの使用は、分類の低い全誤差という結果となることである。使用されるウェーブレットは、いずれも、回転不変量でないので、場面における特徴の方向は、フィルタのパフォーマンスに影響する。順序付けスキーム(このプロセスにおいて最も計算機的に集中的な部分であるが)に加えて、SWTは、また、DWTとwavedecより計算機的にコストが高い。それが、ウェーブレット分析の間、係数を間引かない(デシメーションしない)からである。これは、追加的なメモリ要求を加える。これの全てを考慮に入れると、次のように結論される。
(a)より良い結果が要求されるならば、順序付けスキームは、個々に1次元に沿って、個々のカラム・プロフィールを処理しなければならず、使用される変換のタイプは、SWTでなければならない。
(b)計算時間とメモリ制約(例えば、低速プロセッサ・マシンや、大きなデータ・セット、その他)があるならば、個々のカラム・プロフィールは、1つのプロフィールにマージされなければならず、ウェーブレット・タイプは、wavedec変換でなければならない。
(c)レベル1より高いウェーブレット・レベルが、より良い結果のために使われなければならない。
(d)場面における特徴の方向は、回転不変性の欠如のために、ウェーブレット分析のパフォーマンスに影響する。
(e)最も計算インテンシブなプロセスは、ソーティング・アルゴリズムである。wavedec変換を用いて行うデシメーション・ステップは、時間と計算複雑性との両方において、効率的なプロセスをつくる。
(a)より良い結果が要求されるならば、順序付けスキームは、個々に1次元に沿って、個々のカラム・プロフィールを処理しなければならず、使用される変換のタイプは、SWTでなければならない。
(b)計算時間とメモリ制約(例えば、低速プロセッサ・マシンや、大きなデータ・セット、その他)があるならば、個々のカラム・プロフィールは、1つのプロフィールにマージされなければならず、ウェーブレット・タイプは、wavedec変換でなければならない。
(c)レベル1より高いウェーブレット・レベルが、より良い結果のために使われなければならない。
(d)場面における特徴の方向は、回転不変性の欠如のために、ウェーブレット分析のパフォーマンスに影響する。
(e)最も計算インテンシブなプロセスは、ソーティング・アルゴリズムである。wavedec変換を用いて行うデシメーション・ステップは、時間と計算複雑性との両方において、効率的なプロセスをつくる。
都市位置に対して、この傾向は、より低いエラーを与えるレベル5分析のためである。大部分の田舎の位置に対して、レベル4のウェーブレット変換を用いることは、より低いエラーを提供する。レベル4からレベル5へのエラー差異は、大きくない。
図1を思い出すと、最も関蓮する情報は高度である。本願発明は、この事実を利用し、図1の中で示される実施形態において、Z座標値にウェーブレット変換を適用する。高度の値は、その近傍の情報を保持するように、いくつかの相関している方法で順序付けられる。前に記述されたように、1つの方法は、レーザーセンサのスワップ方向に沿った、データが収集されたのと同じ順序に、z値を順序付けることによるものである。そうすることによって、データの大部分が、接続される。つまり、ポイントzi−1、ziとzi+1は、オリジナルの地理基準データにおいて、ごく近傍である。それを省略することによって、レーザーセンサが、後ろに入れ替わり(スワップ・バックし)、それが特定のポイントに達するときに、エラーが導入される。エラーは、スワップ・ラインの端部にあるポイントが、新たなスワップ・ラインの始めにあるz−値のすぐ前に順序付けられることである。これらのzー値は、相関しておらず、大きな距離地理的に切り離されているポイントに対応することができる。順序付けされたz−値は、離散ウェーブレット変換を使って分解される。ベア・アースに対して、詳細係数は、ノイズとみなすことができる。このように、その雑音を取り除くことによって、実際のベア・アースに対して、より滑らかな、より近い表面が得られる。z−値は、近似係数を用い、すべての詳細係数をゼロにセットすることにより、再構築される。物体に対応する再構築されたz−値は、オリジナルのz−値より小さい。グラウンド・ポイントに対応するz−値は、より滑らかであるが、およそ、オリジナルと同じ値を保持している。このように、再建されたz値が、閾値として使われ、対応する再構築されたz−値より高いすべてのポイントは、非グラウンド・ポイントとして分類される。残りのポイントは、ベア・アースと結びつけられた高度値として分類される。最終の出力は、それらの対応するx−y座標を有するz−値であり、すべて物体またはベア・アースとしてラベル付される。
図1に示される実施形態は、地形ポイントと非地形ポイントとを切り離すために、ウェーブレット変換の近似係数によって表現された場面の低周波数成分を利用する。ウェーブレット変換の詳細係数は、ゼロ(0)にセットされることを思い出す。別の実施形態において、本願発明は、非地形の特徴のエッジを見つけるために、場面の高周波数成分を利用する。画像の中のエッジは、高周波数成分を有するローカルな不連続部として見ることができることが理解される。したがって、ウェーブレット変換の近似係数をゼロ(0)にセットすることによって、その場面の中のエッジを検出することができる。したがって、本願発明は、点群におけるエッジを形成するポイントを見つけるために、BEE方法に使われるものに同様のウェーブレット分析を使用する。従って、本願発明は、wavedec変換を使って標高カラム・プロフィールの単一のレベル分解を実行する。エッジを見つけるために必要な情報は、ウェーブレットの詳細係数から得ることができるという仮定を設ける。そのために、本願発明は、その値を、次のようにゼロにセットすることによって、高さ系列プロフィールの近似係数を形成するすべての情報を廃棄する。
次に、逆ウェーブレット変換は再構築される。その、より高いエネルギー・コンテンツのために、非地形オブジェクト・エッジは、残りの物体より支配的である。エッジは、地形表面の不連続部が起こるポイントであるから、これは合理的である。一定の閾値が、エッジ・ポイントを非エッジ・ポイントから切り離すために、本願発明により使用される。例えば、0.9は良い閾値である。したがって、
この方法は、再構築された信号のエッジ・ポイントを識別する。オリジナルの標高カラム・プロフィールと再構築されたものとの間で、ポイント対応があるので、1つにおけるエッジ・ポイントは、他におけるエッジ・ポイントに対応する。次に、標高値は、この場面の中ですべてのエッジの点群を得るために、それらのxおよびy座標値と組にされる。
つぎに、図12Aおよび12Bを参照すると、物体/グラウンド地形(図12A)を検出するアルゴリズムと、エッジ・ポイント(図12B)を検出するアルゴリズムとの間の比較が示される。図示されるように、各々のアルゴリズムは点群データを受信して、ウェーブレット変換を使用して、データを分解する(ステップ121、122、123、および、124)。図12Aに示されるアルゴリズムのステップ125Aにおいて、詳細係数が、ゼロにセットされるのに対して、図12Bに示されるアルゴリズムのステップ125Bにおいて、近似係数は、ゼロにセットされる。次に、ステップ126は、逆ウェーブレット変換を使用して、その信号を再構築する。ステップ15、16および17は、物体をグラウンド地形から切り離す。ステップ127、128および129は、画像の中でポイント・エッジを決定する。
図13を、次に、参照すると、本願発明のさらにもう一つの実施形態が示される。図示されるように、システム130は、点群データ131を受信し、そのデータを前処理のためのモジュール132を使用する。モジュール132は、いくつかの物体の振幅を減らすために、追加的なフィルタリングがモジュール132に追加されることを除いて、図1のモジュール12に同様である。物体の高周波成分を減らすことは、いくつかのオブジェクトを取り除くのを助け、判断ブロック137と138によって実行されるように、グラウンド・ポイントと物体ポイントを分類するための決定プロセスを改善する。
方法130は、x、y、zフォーマットにおける点群データを受信し、データを前処理する。前処理モジュール132は、データを編成し、標高プロフィールの上のいくつかの高周波成分を除去する。次に、前処理された信号は、ウェーブレット分解モジュール133とフィルタ・バンク134を使用することにより、フィルタリングされる。フィルタ・バンクの出力は、基準グラウンド信号zfである。ウェーブレット分解モジュールおよびフィルタ・バンクは、それぞれ、図1のコンポーネント13と14と同様である。
前処理モジュールは、図1に関して前に述べたのと同様に、データを編成する。差異は、データが編成されたあとに、フィルタリングが加えられたことである。このフィルタリングは、異なる物体に対応する高周波のいくつかのコンポーネントを取り除くのを助ける。(図14参照)。フィルタは、例えば、形態演算子、フーリエ、ガウス、アルファ−フィルタ、マスキングまたはウィンドウ機能によりインプリメントすることができる。フィルタ処理した信号は、z’として参照される。
予め処理された信号z’が、フィルタ・バンク134によってフィルタリングされた後に、それが、グラウンド基準信号(Zf)として使われる。グラウンド基準信号は、各々のクラスの決定ルールを得るために、図13に示すように、グラウンド135と物体136との閾値と結合される。グラウンドおよび物体の決定ルールが、次のように与えられる。
ここで、zは、オリジナルの編成された高度信号であり、GTはグラウンド閾値であり、そして、OTはオブジェクト閾値である。これらの閾値は、両方の分類の間でのオーバラップを最小にする助けになる。オーバラップは、データにおけるノイズ、フィルタ・リップル、その他によって引き起こされる。図14と図15とは、決定ルールが分類プロセスにどのように適用されるか、の例を示す。
要約すると、本願発明は、x、y、zフォーマットにおいてLADAR(またはLIDAR)点群データを分類するためのウェーブレット変換に基づいて、BEEプロセッサ(または方法)をインプリメントするものである。1つの例は、山岳領域から建物を取り除くものである。グラウンド・ポイントを、デジタル高度モデル(DEMs)生成、中でも、洪水と沿岸の分析に使用することができる。物体ポイントは、3Dビルディングの再構築、ターゲット検出、および、キャノピー分析に使用することができる。垂直障害(VO)物体(グラウンド面より上の15メートルにある物体)は。グラウンド・ポイントと物体ポイントとの組合せによって決定さすることができる。このように、本願発明は、異なるアプリケーションやデータ利用に役立つことができる。
加えて、図13に示される方法130(または、システム)は、図1に示される方法10(または、システム)をさらに改良したものである。方法130は、分解の下位レベルで良い分類を実行するために、利点を有する。レベル2において、拡張アルゴリズム(EA)130のためのグラウンド・エラーの平均は、オリジナルの方法(OA)10より非常に少ない。
上記に加えて、本願発明は、植物に対応するデータのポイントを取り除くために、拡大と浸食の形態演算子を使う(図16の162を参照)。本願発明は、ワイルド領域のデジタル地形モデル(DTM)を得るために、使うことができる。建物(163)や他の人工建造物を有する領域において、本願発明は、建物よりも多くの植物を有する画像に対してうまく動作する。本願発明は、地形またはグラウンド・プロフィールなど、ターゲットを検出するために、群葉を貫通する。
最後に、本願発明は、ぼかすもの(すなわち、雲、ほこり、ブラウンアウト、ホワイトアウトなど)に起因するノイズを除去することができる。図16は、雲161が誤検出をもたらすコンセプトを示す。雲が透過光を減らし、いくらかの光の散乱を生成するので、その誤検出は、生成された点群のノイズと考えることができる。
さらに、本願発明は、また、ガイガー・モード・センサによって生成される点群におけるノイズを除去するのに用いることもできる。後者は、LADARまたはLIDARシステムよりノイズに敏感である。
Claims (20)
- 点群データを用いて、地形プロフィールを検出するための方法であって、該方法は、
空中プラットホームから3次元(3D)空間における点群データを受信するステップと、
前記3D空間からの前記点群データを、1D信号を形成するために、一次元空間(1D空間)に、再フォーマット化するステップと、
分解WT信号を形成するために、ウェーブレット変換(WT)を使用して、前記1D信号を分解するステップと、
ローパス・フィルター・プロフィールを形成するために、前記分解WT信号を再構築するステップと、
前記ローパス・フィルター・プロフィールを前記地形プロフィールとして分類するステップと、
のステップを含む、方法。 - 前記1D信号を使用して標高信号を形成するステップと、
前記標高信号の標高ポイントが、ローパス・フィルター・プロフィールの対応するポイントを越える場合に、該標高ポイントを物体のポイントとして分類するステップと、
のステップを含む請求項1の方法。 - 前記物体は、人工物体、または、前記地形プロフィールの上に、配置された植物を含む、請求項2に記載の方法。
- 前記地形プロフィールは、自然な地形プロフィール、また、はグラウンド・プロフィールを含む、請求項1に記載の方法。
- 前記点群データを受信するステップは、レーザ検出・測距(LADAR)システムからx、y、zデータを受信するステップであって、xおよびyデータは、それぞれ、撮像アレイのxおよびy方向における撮像データであり、zデータは、撮像アレイのz方向における、強度データである、ステップを含む、請求項1に記載の方法。
- 前記点群データを再フォーマット化するステップは、
前記撮像データを、複数のdxストリップに分割するステップであって、各々のdxストリップは、前記撮像アレイの前記x方向における狭いデルタである、ステップと、
複数のdxストリップの各々において、1D信号をzデータとして形成するステップと、
を含む、請求項5に記載の方法。 - zデータは、y方向に動くことによって、x方向における各々の連続的なdxストリップの関数として形成される、請求項6に記載の方法。
- zデータは、動くことによって、y方向について昇順で、y方向について降順で、x方向における各々の連続的なdxストリップの関数として順次、形成される、請求項7に記載の方法。
- 前記1D信号を分解するステップは、
前記1D信号に対する近似係数(aC)を計算するステップと、
前記1D信号に対する詳細係数(dC)を計算するステップと、
を含む、請求項1に記載の方法。 - 前記分解WT信号を再構築するステップは、
前記詳細係数(dC)をゼロにセットするステップと、
前記詳細係数(dC)をゼロにセットした後に、前記ローパス・フィルター・プロフィールを形成するために、WTの逆変換(W−1)を計算するステップと、
を含む、請求項9に記載の方法。 - 前記分解するステップは、aCおよびdCの少なくとも3つのレベルを計算するステップを含み、
前記再構築するステップは、dCの前記少なくとも3つのレベルをゼロにセットするステップと、
前記ローパス・フィルター・プロフィールを形成するために、aCの前記少なくとも3つのレベルを合成するステップと、
を含む、請求項10に記載の方法。 - 前記地形プロフィールをさらにフィルタ処理するために形態演算子を用いるステップと、
前記さらにフィルタ処理した地形プロフィールを、デジタル地形マップ(DTM)へ、データとして、提供するステップと、
のステップを含む請求項1の方法。 - 形態演算子は、拡大および浸食を含む、請求項12に記載の方法。
- ハイパス・フィルター・プロフィールを形成するために、前記分解WT信号を再構築するステップと、
前記ハイパス・フィルター・プロフィールを、前記地形プロフィールにおける不連続部として分類するステップであって、該不連続部は、人工構造のエッジを意味する、ステップと、
のステップを含む請求項1に記載の方法。 - 前記1D信号を分解するステップは、前記1D信号に対する近似係数(aC)を計算するステップと、
前記1D信号に対する詳細係数(dC)を計算するステップと、
を含み、
前記分解WT信号を再構築するステップは、
前記近似係数(aC)をゼロにセットするステップと、
前記近似係数(aC)をゼロにセットした後に、前記ハイパス・フィルター・プロフィールを形成するために、WTの逆変換(W−1)を計算するステップと、
を含む、請求項14に記載の方法。 - 前記WTは、離散WT、連続WT、静止WT、および、多重レベル・ウェーブレット分解(wavedec)を含む、請求項1に記載の方法。
- 群葉を通して、点群データを用いて、地形プロフィールを検出するための方法であって、該方法は、
空中プラットホームから3次元(3D)空間における点群データを受信するステップと、
前記3D空間からの前記点群データを、2D信号を形成するために、二次元空間(2D空間)に、再フォーマット化するステップと、
分解WT信号を形成するために、ウェーブレット変換(WT)を使用して、前記2D信号を分解するステップと、
ローパス・フィルター・プロフィールを形成するために、前記分解WT信号を再構築するステップと、
前記ローパス・フィルター・プロフィールを前記地形プロフィールとして分類するステップと、
のステップを含む、方法。 - フィルタ処理標高信号を形成するために、3D空間において、点群データの高周波成分を減衰させるステップと、
グラウンド基準信号として、ローパス・フィルター・プロフィールを規定するステップと、
フィルタ処理標高信号の上のポイントが、グラウンド・クラスまたは物体クラスに属しているかどうかを決定するために、フィルタ処理した標高信号のポイントとグラウンド基準信号の対応するポイントとの間の距離を計算するステップと、
のステップを含む請求項17の方法。 - 前記物体クラスは、人工物体または植物を含み、グラウンド・クラスは、自然地形を含む、請求項18に記載の方法。
- 所定の閾値が、ポイントが、前記グラウンド・クラスまたは前記物体クラスに属しているかどうか決定するのに使用される、請求項18に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/409,417 US8670591B2 (en) | 2012-03-01 | 2012-03-01 | Foliage penetration based on 4D LIDAR datasets |
US13/409,417 | 2012-03-01 | ||
PCT/US2013/027750 WO2013130437A1 (en) | 2012-03-01 | 2013-02-26 | Foliage penetration based on 4d lidar datasets |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015513680A true JP2015513680A (ja) | 2015-05-14 |
Family
ID=47884537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014559943A Withdrawn JP2015513680A (ja) | 2012-03-01 | 2013-02-26 | 4dライダ・データ・セットに基づく群葉貫通 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8670591B2 (ja) |
EP (1) | EP2820591A1 (ja) |
JP (1) | JP2015513680A (ja) |
CA (1) | CA2865939A1 (ja) |
IL (1) | IL234074A0 (ja) |
MX (1) | MX2014010462A (ja) |
WO (1) | WO2013130437A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230099905A (ko) * | 2021-12-28 | 2023-07-05 | 재단법인대구경북과학기술원 | 레이더 신호 처리 장치 및 방법 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9606234B2 (en) | 2013-10-18 | 2017-03-28 | Tramontane Technologies, Inc. | Amplified optical circuit |
CN103558605B (zh) * | 2013-10-23 | 2016-04-06 | 中国科学院遥感与数字地球研究所 | 一种高光谱全波形激光雷达遥感系统 |
CN103700142A (zh) * | 2013-12-03 | 2014-04-02 | 山东科技大学 | 多分辨率多层逐次加点LiDAR滤波算法 |
CN106133756B (zh) | 2014-03-27 | 2019-07-12 | 赫尔实验室有限公司 | 过滤、分割和识别对象的系统、方法及非暂时性计算机可读介质 |
CN103954970B (zh) * | 2014-05-08 | 2016-09-07 | 天津市勘察院 | 一种地形要素采集方法 |
CN104007432A (zh) * | 2014-05-16 | 2014-08-27 | 武汉大学 | 一种检查机载激光雷达平面精度的地标布设方法 |
KR102238693B1 (ko) * | 2014-06-20 | 2021-04-09 | 삼성전자주식회사 | 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 |
KR101683984B1 (ko) * | 2014-10-14 | 2016-12-07 | 현대자동차주식회사 | 라이더 데이터 필터링 시스템 및 그 방법 |
US9576373B2 (en) | 2015-04-30 | 2017-02-21 | Harris Corporation | Geospatial imaging system providing segmentation and classification features and related methods |
US11009584B2 (en) * | 2015-05-21 | 2021-05-18 | Ascentia Imaging, Inc. | Localization system and associated method |
US9846975B2 (en) * | 2016-02-18 | 2017-12-19 | Skycatch, Inc. | Generating filtered, three-dimensional digital ground models utilizing multi-stage filters |
DE102016224530B3 (de) * | 2016-12-08 | 2018-01-18 | Man Truck & Bus Ag | Verfahren zur Bodenoberflächenschätzung |
WO2018183754A1 (en) * | 2017-03-29 | 2018-10-04 | Mou Zhijing George | Method and system for real time 3d-space search and point-cloud registration using a dimension-shuffle transform |
US10580114B2 (en) | 2017-03-29 | 2020-03-03 | Zhijing George Mou | Methods and systems for real time 3D-space search and point-cloud registration using a dimension-shuffle transform |
WO2018191442A1 (en) | 2017-04-11 | 2018-10-18 | Agerpoint, Inc. | Forestry management tool for assessing risk of catastrophic tree failure due to weather events |
CN108564650B (zh) * | 2018-01-08 | 2022-03-04 | 南京林业大学 | 基于车载2D LiDAR点云数据的行道树靶标识别方法 |
US11054502B2 (en) * | 2018-07-26 | 2021-07-06 | Mercury Systems, Inc. | Method and system for intra-pulse frequency estimation against agile emitters |
CN110517193B (zh) * | 2019-06-28 | 2022-04-12 | 西安理工大学 | 一种海底声呐点云数据处理方法 |
US10979692B2 (en) * | 2019-08-14 | 2021-04-13 | At&T Intellectual Property I, L.P. | System and method for streaming visible portions of volumetric video |
US11556000B1 (en) | 2019-08-22 | 2023-01-17 | Red Creamery Llc | Distally-actuated scanning mirror |
CN111359913A (zh) * | 2019-12-06 | 2020-07-03 | 雷传栋 | 一种通过激光雷达分选矿石的方法 |
DE112021002696T5 (de) * | 2020-05-11 | 2023-02-23 | Cognex Corporation | Verfahren und apparate zum extrahieren von profilen aus dreidimensionalen bildern |
CN114120795B (zh) * | 2020-09-01 | 2023-03-10 | 华为技术有限公司 | 一种地图绘制方法及装置 |
US11567212B2 (en) | 2021-03-15 | 2023-01-31 | Argo AI, LLC | Compressive sensing for photodiode data |
CN113281716B (zh) * | 2021-03-16 | 2023-08-08 | 中国人民解放军战略支援部队信息工程大学 | 一种光子计数激光雷达数据去噪方法 |
CN115100536B (zh) * | 2022-06-01 | 2023-03-28 | 中科星睿科技(北京)有限公司 | 建筑物识别方法、装置、电子设备和计算机可读介质 |
CN117173424B (zh) * | 2023-11-01 | 2024-01-26 | 武汉追月信息技术有限公司 | 一种点云坡面边缘线识别方法、系统及可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7359782B2 (en) * | 1994-05-23 | 2008-04-15 | Automotive Technologies International, Inc. | Vehicular impact reactive system and method |
US7436494B1 (en) * | 2003-03-28 | 2008-10-14 | Irvine Sensors Corp. | Three-dimensional ladar module with alignment reference insert circuitry |
US7940279B2 (en) * | 2007-03-27 | 2011-05-10 | Utah State University | System and method for rendering of texel imagery |
US8379020B2 (en) * | 2008-08-25 | 2013-02-19 | Harris Corporation | Image processing device using selective neighboring voxel removal and related methods |
US8294881B2 (en) * | 2008-08-26 | 2012-10-23 | Honeywell International Inc. | Security system using LADAR-based sensors |
-
2012
- 2012-03-01 US US13/409,417 patent/US8670591B2/en active Active
-
2013
- 2013-02-26 EP EP13709643.4A patent/EP2820591A1/en not_active Withdrawn
- 2013-02-26 JP JP2014559943A patent/JP2015513680A/ja not_active Withdrawn
- 2013-02-26 CA CA2865939A patent/CA2865939A1/en not_active Abandoned
- 2013-02-26 MX MX2014010462A patent/MX2014010462A/es not_active Application Discontinuation
- 2013-02-26 WO PCT/US2013/027750 patent/WO2013130437A1/en active Application Filing
-
2014
- 2014-08-12 IL IL234074A patent/IL234074A0/en unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230099905A (ko) * | 2021-12-28 | 2023-07-05 | 재단법인대구경북과학기술원 | 레이더 신호 처리 장치 및 방법 |
KR102654045B1 (ko) | 2021-12-28 | 2024-04-02 | 재단법인대구경북과학기술원 | 레이더 신호 처리 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP2820591A1 (en) | 2015-01-07 |
IL234074A0 (en) | 2014-09-30 |
US8670591B2 (en) | 2014-03-11 |
US20130230206A1 (en) | 2013-09-05 |
WO2013130437A1 (en) | 2013-09-06 |
CA2865939A1 (en) | 2013-09-06 |
MX2014010462A (es) | 2015-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8670591B2 (en) | Foliage penetration based on 4D LIDAR datasets | |
Zhang et al. | Comparison of three algorithms for filtering airborne lidar data | |
Zhang et al. | A progressive morphological filter for removing nonground measurements from airborne LIDAR data | |
CN103077508B (zh) | 基于变换域非局部和最小均方误差的sar图像去噪方法 | |
Chen et al. | A mathematical morphology-based multi-level filter of LiDAR data for generating DTMs | |
CN112285709B (zh) | 基于深度学习的大气臭氧遥感激光雷达数据融合方法 | |
Xiong et al. | Anti-aliasing filters for deriving high-accuracy DEMs from TLS data: A case study from Freeport, Texas | |
Rashidi et al. | Ground filtering LiDAR data based on multi-scale analysis of height difference threshold | |
Elhabiby et al. | Second generation curvelet transforms Vs Wavelet transforms and Canny edge detector for edge detection from worldview-2 data | |
Kumar et al. | A two-stage algorithm for ground filtering of airborne laser scanning data | |
Rashidi et al. | Extraction of ground points from LiDAR data based on slope and progressive window thresholding (SPWT) | |
Myint et al. | An evaluation of four different wavelet decomposition procedures for spatial feature discrimination in urban areas | |
Stagliano et al. | Ship detection from SAR images based on CFAR and wavelet transform | |
Muhammad et al. | Evaluation of wavelet transform algorithms for multi-resolution image fusion | |
Menaka et al. | Change detection in deforestation using high resolution satellite image with Haar wavelet transforms | |
Asal | Comparative analysis of the digital terrain models extracted from airborne LiDAR point clouds using different filtering approaches in residential landscapes | |
Dubey et al. | Adaptive histogram equalization based approach for sar image enhancement: A comparative analysis | |
Lavreniuk et al. | Use of modified BM3D filter and CNN classifier for SAR data to improve crop classification accuracy | |
Xu et al. | Image sequence fusion and denoising based on 3D shearlet transform | |
Soni et al. | A survey of digital image processing and its problem | |
Amro et al. | General shearlet pansharpening method using Bayesian inference | |
CN113205531B (zh) | 三维点云分割方法、装置及服务器 | |
Xu et al. | Ground extraction from airborne laser data based on wavelet analysis | |
Bucksch et al. | Applications for point cloud skeletonizations in forestry and agriculture | |
Alavandan et al. | Performance analysis of image fusion techniques for sonar image enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160222 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20160414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160414 |