JP2014021121A - イメージをナビゲーションのための地形高所地図に関連させる方法 - Google Patents

イメージをナビゲーションのための地形高所地図に関連させる方法 Download PDF

Info

Publication number
JP2014021121A
JP2014021121A JP2013149184A JP2013149184A JP2014021121A JP 2014021121 A JP2014021121 A JP 2014021121A JP 2013149184 A JP2013149184 A JP 2013149184A JP 2013149184 A JP2013149184 A JP 2013149184A JP 2014021121 A JP2014021121 A JP 2014021121A
Authority
JP
Japan
Prior art keywords
map
past
edge
fine
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013149184A
Other languages
English (en)
Inventor
Mohr Benjamin
ベンジャミン・モー
Yunqian Ma
ユンチアン・マ
Michael Ray Elgersma
マイケル・レイ・エルガースマ
B Mckittrick John
ジョン・ビー・マッキッタリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of JP2014021121A publication Critical patent/JP2014021121A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】イメージをナビゲーションのための地形高所地図に関連させる方法の提供。
【解決手段】領域の一つ以上の2次元または3次元の表現を含む現在の地図で検出されたエッジの特徴に基づいて第1のファインエッジ地図1を生成し、領域の一つ以上の2次元または3次元の表現を含む過去の地図を検索して一つ以上のエッジの特徴を検出し、過去の地図で検出されたエッジの特徴に基づいて第2のファインエッジ地図2を生成する。現在の地図の粗いバージョンが、第1のファインエッジ地図から生成され、過去の地図の粗いバージョンは、第2のファインエッジ地図から生成される。現在の地図の粗いバージョンは、第1の位置および方位を決定するために過去の地図の粗いバージョンと相関される(130)。第1のファインエッジ地図は、より正確である第2の位置および方位を決定するために第2のファインエッジ地図と相関される(132)。
【選択図】図1

Description

[0001] 地形相互関係およびイメージ相互関係技術が、しばらくの間、軍の空輸ナビゲーションのために使われた。
地形相関関係において、そのようなデジタル地形標高データベース(DTED)としてジオリファレンス標高マップは、例えば、レーダデバイスやLADAR(レーザー検出測距)デバイスのような測距センサを用いて航空機から撮影した地上仰角の測定に対して相関付けられる。表層に生成されたセンサおよび地図面は、立面図領域において作動している2次元の相互関係アルゴリズムを使用して比較され、それは2つの表層が完全にかぶせられるとき、最大の相互関係を生成する。高度マップを地理参照されているので、この操作は、航空機の位置の誤差の推定値、2つの間のオフセットの推定値を生成する。エラー評価が、カールマンフィルタまたは他の修正技術を使用している正しい位置エラーがナビゲーション・システムにおいて使われることができる。
[0002] イメージ相互関係技術は、同じように機能する。航空機から撮影した画像は、地理参照画像データベースに対する強度ドメインに対応付けられている。2つのイメージが完全にかぶせられるときに、最大の相互関係が生じる。空輸イメージは、シフトされ、または回転されなければならない量が、ナビゲーション・エラーの評価を提供する。
[0003] 地形相関と画像相関ナビゲーションメソッドの両方の利点と制限がある。地形相関技術は、多くの場合、実質的に地球全体を覆うデータ記憶の面で比較的コンパクトなDTEDデータベースを使用し、既に広く軍事用途で使用されている。しかし、地形相関に必要な測距センサは、通常、大規模で重く、高価で、アクティブである。測距センサがRADARまたは他の帯域にエネルギーを放出するに加えて、これらのセンサは容易に敵によって検出される。対照的に、画像相関は、小さく、安価なカメラで行うことができる一方、ジオリファレンスデータベースは、いくつかの用途のために法外である非常に大きなストレージ要件を有する。さらに、両方の地形や画像相関技術は、処理システム上で高い性能要件を課し、計算集約的であるという欠点を有する。
[0004] ナビゲーションのための方法は、領域の一つ以上の2次元または3次元の表現を含む現在の地図を構成するステップと、現在の地図の一つ以上のエッジの特徴を検出するステップと、現在の地図で検出されたエッジの特徴に基づいて第1のファインエッジ地図を生成するステップとを有する。更に方法は、前記領域の一つ以上の2次元または3次元の表現を含む過去の地図を検索するステップと、過去の地図の一つ以上のエッジの特徴を検出するステップと、過去の地図で検出されたエッジの特徴に基づいて第2のファインエッジ地図を生成するステップと、を有する。その後、現在の地図の粗いバージョンが、第1のファインエッジ地図から生成され、過去の地図の粗いバージョンは、第2のファインエッジ地図から生成される。現在の地図の粗いバージョンは、次いで、第1の位置および方位を決定するために過去の地図の粗いバージョンと相関される。第1のファインエッジ地図は、第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位を使用して第2のファインエッジ地図と相関される。
[0005] 図面は例示的な実施形態のみを示し、その範囲に限定すると見なされるべきではないことを理解し、例示的な実施形態は、添付の図面を介してさらに具体的かつ詳細に説明される。
[0006] 図1は、ある方法に従う過去の地図および現在の地図を使用している相互関係を実行する方法の工程系統図である。 [0007] 図2Aは、飛行の間、航空機によって得られる現在の地図からの領域のレーダー・イメージである。[0008] 図2Bは、ファインエッジの現在の地図のエッジだけを示すために変換された図2Aのレーダー・イメージを表す。 [0009] 図3Aは、過去の地図からの同じ領域の衛星写真である。[0010] 図3Bは、ファインエッジの過去の地図のエッジだけを示すために変換された図3Aの衛星写真を表す。 [0011] 図4Aは、図2Bのファインエッジの現在の地図から発生する粗い現在の地図である。[0012] 図4Bは、図3Bに示されるファインエッジの過去の地図から発生する粗い過去の地図である。 [0013] 図5Aは、図4Bの粗い過去の地図の上の図4Aの粗い現在の地図をスライドした結果を示す。[0014] 図5Bは、図4Aの粗い現在の地図および図4Bの粗い過去の地図の相互関係の結果を示す。 [0015] 図6は、ある実施形態に従うナビゲーション・システムのブロック図である。
[0016] 以下の詳細な説明において、実施形態は当業者は本発明を実施することができるために充分に詳細に記載されている。他の実施形態が本発明の範囲内において、利用されることができると理解されることになっている。以下の詳細な説明は、したがって、限定的にとられない。
[0017] イメージと高所地図との間の相互関係を実行する方法を提供する。本方法は二次元(2D)および三次元(3D)マップの相互関係を提供し、そのいずれかは以前に格納されることができるかまたは進行している車両(例えば航空機)によって生成される。本アプローチは、地形データベースの低い記憶必要条件を有する安価なセンサの使用を可能にする。
[0018] 本方法は、それぞれ、2次元および三次元イメージから発生する2次元および三次元地図を利用する。地図のうちの1つは概して座標を知っていて予め格納された「歴史的な」地図であり、その一方、他の地図はその場所を理解しようとしている車両からとられる「現在の」地図である。車両は、現在の地図を格納した過去の地図と比較することでその場所を測定し、それらの2つの地図がどれくらい非常に移されることを必要とするかについて決定し、正確に各々にかぶせるために地図に関して回転した。比較のこの過程は、「相互関係」と称され、相互関係プロセスの速度を上げるという命令において、地図の粗いバージョンは、近似の位置および方位をするために最初に相関し、それはそれから素晴らしい相互関係を初期化するために用いる。
[0019] 本技術は、立面図データおよびカメラ・データのエッジが生じる多くの物理的な構造があるという仮定に基づいて機能する。この技術は、地形の高い起伏に依存する。自然な高い起伏(例えば峡谷または絶壁)を含む領域は作用するが、しかし、技術は特に人工的な特徴(例えば建物)を含む立面図データベースに適用でき、それは鋭いエッジを有する。このタイプの高度地図は、航空LADAR(または、LIDAR−光検出及び測距)調査から生成される。
[0020] 本方法は、エッジ検出アルゴリズムを各々の地図に適用する。異なる種類のイメージは異なる種類のエッジが検出されることができる特徴を有することができるが、しかし、それらの相対的な位置および方位を決定するのに十分な異なる種類のイメージがまだ比較されることができる類似性がしばしばある。エッジ検出技術は、両方の水平および垂直方向の隣接した要素の差を計算することによって勾配を計算する。結果は、各々の要素場所の二次元の勾配ベクトルである。
[0021] 閾値は、高い対照位置(すなわちエッジ)を表すバイナリのイメージを生成するための勾配の大きさに適用され得る。この技術は地形立面図データおよびカメラ強度データに適用されることができ、両方に関して「エッジ領域」のイメージを生産する。これらのバイナリのエッジ領域の代表は、それから標準のイメージ相互関係技術を使用して相関している。イメージがバイナリであるので、相互関係の計算必要条件は非常に減少する。
[0022] 本技術は、航空機から撮影された画像を3次元表面マップを対応付けの文脈でここに記載されているが、この技術は、同様に多数の他のセンサの組み合わせに拡張することができる。この実施形態は、航空機から地理的に参照(geo-referenced)された光学的画像データベースまでとられるミリ波レーダー(三次元)イメージを相関させている。本方法は、最初にサンプルをエッジ領域に変換し、2つのエッジ間の相互関係の動作を実行することによって異種のデータ型から2つのサンプルを相関させる能力に領域代表を提供する。2つのサンプルが異なる観点から観察されることができるので、2つのエッジ領域代表の適当な相互関係は転換と同様に回転を必要とすることができる。典型的な用途では、慣性航法装置は最初の変換を提供し、最大の相互関係はこの最初の変換について位置または姿勢における変化に対応する相関値を計算することで測定される。
[0023] (より低い地形起伏領域のDTEDを有する使用を可能にする)更なるアプローチでは、勾配の高次導関数が計算される。勾配は地形の傾斜を提供する一方で、勾配の導関数(微分)は傾斜(例えばピーク、谷および稜線)の変化を提供する。これらの特徴は、それから閾値プロセスによって検出されることができ、そうすると、導関数が特定の値より上にあるときに、エッジはあると考慮され、導関数が値以下にあるときに、エッジはあると考慮されない。これらの特徴が視覚の領域(陰など)のエッジと関係している傾向があるので、DTED勾配の導関数はそれからイメージエッジと相関していることができる。
[0024] 本方法は2つのエッジ-ドメインイメージの間の変換を推定し、それはエラーを空輸ナビゲーション・システムにおいて表す。この評価は、それから修正としてナビゲーション・システムに適用されることができる。本方法は、地形データベースのどんな領域が考慮にありそうかについて決定するべき現在のナビゲーション位置を使用するに際して検索スペースを減らし、イメージをそのローカル近辺と合わせることを試みるだけである。
[0025] 本方法は、勾配およびエッジ検出の計算を含んでいる画像処理技術を使用しているソフトウェアで実装されることができる。
[0026] 図1は、ある方法に従う過去の地図および現在の地図を使用している相互関係を実行する方法100の工程系統図である。方法100において、領域の三次元地図は利用され、それはライダーまたはレーダー・イメージ(ブロック110)から発生することができる。ライダーまたはレーダー・イメージは、現在の地図を生成するために領域を通じて飛行している航空機によって収集されることができる。また、ライダーやレーダー画像は、航空機に格納されている歴史的なマップからなってよい。方法100も2次元の地図を使用し、それは一つ以上のカメラ(ブロック120)によって撮られる光学画像から発生することができる。光学イメージは、現在の地図を生成するために領域を通じて飛行している航空機によって収集されることができ、またはすでに格納される過去の地図からの衛星であるか空中写真でありえる。
[0027] 方法100は、高度、ピッチ角度および航空機のロール角度を推定し、それは同じイメージ(ブロック112)の2次元の上面図上に、三次元地図から三次元データを投影するのに用いる。方法100は、それから2次元のイメージ(ブロック114)のエッジ機能を計算し、第1のファインエッジ地図を生成する。粗い地図ピクセル値はそれから各々の粗いピクセル(ブロック116)の中で、ファインエッジピクセルの合計にセットされ、第1の粗い地図は生成される。用語「粗い」は、地図のより粗い解像度を意味し、ここで、粗いマップの1ピクセルはファインマップのいくつかのピクセルに対応することがありえる。
[0028] 方法100もまた、カメラ(ブロック122)によって撮られる2次元の画像のエッジ機能を計算して、第2のファインエッジ地図を生成する。粗い地図ピクセル値はそれから、各々の粗いピクセル(ブロック124)の中で、ファインエッジピクセルの合計にセットされ、第2の粗い地図が生成される。
[0029] 第1および第2の粗い地図は、北、東、および車両方位角(ブロック130)の粗いパラメータを決定するために粗い相関プロセスで使用される。任意の拡張において、ピッチおよびロールはまた、決定され得る。粗い相関の結果は、北、東、および車両方位角(ブロック132)のファインパラメータを決定するためにファイン相関プロセスにおける第一及び第二のファインエッジマップと一緒に使用されている。用語「ファイン」項は、地図のより緻密な解像度を意味する。
[0030] 典型的な方法では、飛行の間、航空機によって集められる領域の三次元レーダー・イメージを含む現在の地図が生成される。図2Aは、航空機によって得られる現在の地図から選択された領域の典型的な三次元レーダー・イメージであり、現在の地図は1.6メートルの解像度を有する。方法は、三次元レーダー・イメージを以前の時間に必要とされ、過去の地図に格納される同じ領域の2次元の衛星写真と比較する(相関させる)。図3Aは、図2Aのレーダー・イメージに示される選択された領域と一致する過去の地図からの典型的な衛星写真であり、過去の地図も1.6メートルの解像度を有する。
[0031] 現在の地図と過去の地図の両方は、残りの変数だけで、北、東、そして方位角になるように、高度、ピッチ角、上面図を与えるためにロール角を使って事前に処理される。衛星地図は座標を知っているので、航空機がどこにあるかについてわかるように、レーダー・イメージは衛星画像と比較される。この相関は、それが衛星画像にフィットするまで、北と東の方向にレーダー画像をスライドさせた後、回転することによって行われる。
[0032] 図2Aのレーダー・イメージは800×800ピクセルであり、図3Aの衛星画像は1400×1400ピクセルである。このように、それから比較を各々の位置でして、回転させ、各々の方向において一度に1ピクセル現在の地図および過去の地図をスライドさせることは長くかかりすぎる。相互関係プロセスの速度を上げるために、現在の地図および過去の地図のイメージは、標準のエッジ-検出アルゴリズムに通される。図2Bは、ファインエッジの現在の地図のエッジを示すために変換された図2Aのレーダー・イメージを表す。図3Bは、ファインエッジの過去の地図のエッジを示すために変換された図3Aの衛星写真を表す。
[0033] その後、小さい粗い地図は、単一の粗いピクセルに各々の10×10ファインピクセルブロックのエッジピクセルの数を格納することによって現在の地図および過去の地図のために生成される。生成された粗い現在のマップから1フレームが15.9メートルの解像度で、図4Aに示され、生成された粗い過去の地図を1フレームが15.9メートルの解像度でまた、図4Bに示される。相互関係の速度を上げるこのファイン−粗い(fine-to-coarse)転換は、「RAPID LIDAR IMAGE CORRELATION FOR GROUND NAVIGATION」と題された米国特許出願番号第13/302,831号に記載され、リファレンスとしてここに組み入れられる。
[0034] 図5Aは、図4Bの粗い過去の地図からフレーム上の図4Aの粗い現在の地図からフレームをスライドさせた結果を示している。粗い現在の地図は一度に移された1つの粗いピクセルであり、ついで、そのピクセルは粗い過去の地図ピクセルから減じられる。この例では、粗い〔x、y、ψ]フレーム相関エラー面は、ψcoarse optimum=1.35°の固定値に関して[x、y]座標の表面として示され、ここで、ψcoarse optimumは、方位であり、ψ、最高のマップ相関を与えるシフトであり、ここで、xは東であり、yは北である。この例では、グローバルに粗い相互関係は、24.4秒かかった。
[0035] 図5Aにて図示するように、最高の角度に関してプロットされる[東シフト、北シフト]の結果については、方法は、-4度から0.38度ステップで+3.64度まで、各々の回転角度(ψ)で繰り返された。
[0036] 粗いシフトおよび回転が計算されたあと、粗い結果は元のファインエッジ地図(図2Bおよび3B)に適用される。粗い相互関係の結果は、図5Bに示される。この例では、粗い結果は、1つの粗いピクセルの中で正確であり、それは約16メートルである。粗い結果は、検索が北と東の座標で16メートルに絞られたので、細かい画素相関を開始するために使用される。このように、1.6メートルの解像度ファインエッジ地図だけではなく、完全な800ピクセル幅以上より、16ピクセルだけずらされなければならない。
[0037] 図6は、ナビゲーション・システム600のある実施形態のブロック図であり、本技術を実装することができる。システム600は、処理ユニット602に有効に連結する少なくとも一つの処理ユニット602および少なくとも一つのメモリユニット604を含む。少なくとも一つのセンサ606は、ユニット602の処理に作動可能に通信している。センサ606は、光学的カメラ、ライダーデバイス、レーダーデバイス等でありえる。メモリユニット604は、地形立面図データを過去の地図に格納するデータベース608を含む。
[0038] 本方法およびシステムに用いられるプロセッサは、従来技術において技術のうちの1つにとって公知であるように、それについてソフトウェア、ファームウェア、ハードウェアまたはいかなる適当な組合せをも使用してインプリメントされることができる。例えば、この例に限らないが、プロセッサのためのハードウェア構成要素は、一つ以上のマイクロプロセッサ、メモリ素子、デジタル信号処理(DSP)要素、インターフェースカードおよび公知技術の他の標準の構成要素を含むことができる。前述のいずれかで補充、又は組み込まれ、特定用途向け集積回路(ASIC)又はフィールド・プログラマブル・ゲート・アレイ(FPGA)が、特別に設計されてもよい。プロセッサはソフトウェア・プログラム、ファームウェアまたはさまざまな方法作業、算出および制御機能を実行するための他の計算機可読の命令を含むかまたは機能し、本方法で使われる。計算機可読の命令またはデータ構造の記憶のために使用される計算機可読の媒体を含むいかなる適切なコンピュータプログラム製品にも、これらの命令は、概して明らかに具体化される。
[0039] 本方法は、多目的であるか特別な目的コンピュータまたはプロセッサによってアクセスされることができるいかなる利用できる計算機可読の記憶媒体もまたはいかなるプログラム可能な論理装置でも実装されることができる。適切な計算機可読のメディアは、磁気であるか光学的メディアのような記憶装置またはメモリ・メディアを含むことができる。例えば、ストレージまたはメモリ媒体は、従来のハード・ディスク、コンパクト・ディスク-リードオンリーメモリ(CD-ROM)、DVD、揮発性または不揮発性媒体ダイナミック・ランダム・アクセス・メモリ、例えば、ランダムアクセスメモリ(RAM)(シンクロナスDRAM(SDRAM)、ダブルデータレート(DDR)RAM、RAMBUSダイナミックRAM(RDRAM)、スタティックRAM(SRAM)等を含むが、これらに限定されない)、読み込み専用メモリ(ROM)、電気的消去可能プログラマブルROM(EEPROM)、フラッシュを読むメモリ、ブルーレイディスクなどを含んでもよい。上記の組合せはまた、計算機可読のメディアの範囲に含まれる。
[0040] 本方法は、コンピュータ実行可能な命令(例えばプログラム・モジュール)によって実装されることができ、それは少なくとも一つのプロセッサによって実行される。通常、プログラム・モジュールは、ルーチン、プログラム、目的、データ構成要素、データ構造、アルゴリズムなどを含み、それは特定の作業を遂行するかまたは特定の抽象データ型を実行する。
例示の実施形態
[0041] 実施形態1は、ナビゲーションのための方法であって:
領域の一つ以上の2次元または3次元の表現を含む現在の地図を構成するステップと、
現在の地図の一つ以上のエッジの特徴を検出するステップと、
現在の地図で検出されたエッジの特徴に基づいて第1のファインエッジ地図を生成するステップと、
前記領域の一つ以上の2次元または3次元の表現を含む過去の地図を検索するステップと、
過去の地図の一つ以上のエッジの特徴を検出するステップと、
過去の地図で検出されたエッジの特徴に基づいて第2のファインエッジ地図を生成するステップと、
第1のファインエッジ地図から現在の地図の粗いバージョンを生成するステップと、
第2のファインエッジ地図から過去の地図の粗いバージョンを生成するステップと、
第1の位置および方位を決定するために過去の地図の粗いバージョンと、現在の地図の粗いバージョンとを相関させるステップと、
第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位を使用して第2のファインエッジ地図と第1のファインエッジ地図とを関連させるステップと、
を有することを特徴とする。
[0042] 実施形態2は、現在の地図が、飛行中、航空機上の一つ以上のカメラによって撮られた光学画像から構成されることを特徴とする実施形態1の方法を含む。
[0043] 実施形態3は、過去の地図が、2次元または3次元ライダーまたはレーダー・イメージから成ることを特徴とする、実施形態1または2のいずれかの方法を含む。
[0044] 実施形態4は、過去の地図が、デジタル地形立面図データベースから成ることを特徴とする、実施形態1または2のいずれかの方法を含む。
[0045] 実施形態5は、現在の地図が、飛行中、航空機上の一つ以上の測距センサによって得られた測距データから構成される2次元または3次元イメージを含むことを特徴とする、実施形態1の方法を含む。
[0046] 実施形態6は、測距データは、ライダーデバイスから得られることを特徴とする、実施形態5の方法を含む。
[0047] 実施形態7は、測距データはレーダーデバイスから得られることを特徴とする、実施形態5の方法を含む。
[0048] 実施形態8は、過去の地図が、光学的画像データベースから成ることを特徴とする、実施形態5乃至7のいずれかの方法を含む。
[0049] 実施形態9は、光学的画像データベースは一つ以上の衛星または航空写真を含むことを特徴とする実施形態8の方法を含む。
[0050] 実施形態10は、現在の地図および過去の地図が、各々の地図の上面図を生成するために、高度、ピッチ角およびロール角を使用して前処理されることを特徴とする、実施形態1乃至9のいずれかの方法を含む。
[0051] 実施形態11は、第1のファインエッジ地図を第2のファインエッジ地図に関連させるステップが、現在の地図の表示が過去の地図の表示と合わせられるまで、北および東の方向に現在の地図の表示を回転させ、ついでスライドさせるステップからなる、実施形態1乃至10のいずれかの方法を含む。
[0052] 実施形態12は、プロセッサから成るナビゲーションのためのシステムと、以下のステップからなる方法を実行するためのプロセッサによって実行可能な命令を有するコンピュータ読取り可能媒体からなるメモリユニットとを包含し、該方法が、
領域の2次元(2D)または3次元(3D)イメージを包含する現在の地図を構成するステップと、
現在の地図の一つ以上のエッジの特徴を検出するステップと、
現在の地図の検出されエッジに基づいて第1のファインエッジ地図を生成するステップと、
2次元イメージまたは3次元イメージを有する領域の過去の地図を検索するステップと、
過去の地図の一つ以上のエッジの特徴を検出するステップと、
過去の地図の検出されたエッジの特徴に基づいて第2のファインエッジ地図を生成するステップと、
第1のファインエッジ地図から現在の地図の粗いバージョンを生成するステップと、
第2のファインエッジ地図から過去の地図の粗いバージョンを生成するステップと、
第1の位置および方位を決定するために過去の地図の粗いバージョンと現在の地図の粗いバージョンとを相関させるステップと、
第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位よりを使用して第2のファインエッジ地図と第1のファインエッジ地図とを関連させるステップと、
を有することを特徴とする。
[0053] 実施形態13は、飛行中、光学イメージを捕えるように構成される航空機上の一つ以上のカメラから更に成ることを特徴とする実施形態12に記載のシステムを含む。
[0054] 実施形態14は、過去の地図が、メモリユニットに保存される3次元ライダーまたはレーダー・イメージから成ることを特徴とする実施形態12または13のいずれかのシステムを含む。
[0055] 実施形態15は、過去の地図が、メモリユニットに格納されるデジタル地形立面図データベースから成ることを特徴とする実施形態12または13のいずれかに記載のシステムを含む。
[0056] 実施形態16は、飛行中、測距データを得るように構成される航空機上の一つ以上の測距センサから更に成ることを特徴とする実施形態12のシステムを含む。
[0057] 実施形態17は、測距センサが、ライダーデバイスまたはレーダーデバイスから成ることを特徴とする実施形態16のシステムを含む。
[0058] 実施形態18は、過去の地図が、メモリユニットに格納された、一つ以上の衛星または航空写真を包含する光学的画像データベースから成ることを特徴とする、実施形態16または17のいずれかのシステムを含む。
[0059] 実施形態19は、以下のステップからなる方法を実行するプロセッサによって実行可能な命令を有する持続性コンピュータ読み取り可能媒体から成るコンピュータプログラム製品を含み:該方法が、
領域の一つ以上の2次元または3次元の表現を含む現在の地図を構成するステップと、
現在の地図の一つ以上のエッジの特徴を検出するステップと、
現在の地図の検出されたエッジに基づいて第1のファインエッジ地図を生成するステップと、
領域の一つ以上の2次元または3次元の表現を含む過去の地図を検索するステップと、
過去の地図の一つ以上のエッジを検出するステップと、
過去の地図の検出されたエッジに基づいて第2のファインエッジ地図を生成するステップと、
第1のファインエッジ地図から現在の地図の粗いバージョンを生成するステップと、
第2のファインエッジ地図から過去の地図の粗いバージョンを生成するステップと、
第1の位置および方位を決定するために過去の地図の粗いバージョンと現在の地図の粗いバージョンとを相関させるステップと、
第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位を使用して第2のファインエッジ地図と第1のファインエッジ地図とを関連させるステップと
を含むことを特徴とする。
[0060] 実施形態20は、第1のファインエッジ地図を第2のファインエッジ地図に関連させるステップが、現在の地図の表示が過去の地図の表示と合わせられるまで、北および東の方向に現在の地図の表示を回転させ、ついでスライドさせるステップからなることを特徴とする、実施形態19のコンピュータプログラム製品を含む。
[0061] 本発明は、その基本的特徴から逸脱することなく、他の形式において実施されることができる。記載されている実施形態は、例示的であり限定的でない様にあらゆる点で考慮され得る。したがって、本発明が特許請求の範囲およびその均等の範囲だけによって制限されることが意図される。

Claims (3)

  1. 領域の一つ以上の2次元または3次元の表現を含む現在の地図を構成するステップと、
    現在の地図の一つ以上のエッジの特徴を検出するステップと、
    現在の地図で検出されたエッジの特徴に基づいて第1のファインエッジ地図を生成するステップと、
    前記領域の一つ以上の2次元または3次元の表現を含む過去の地図を検索するステップと、
    過去の地図の一つ以上のエッジの特徴を検出するステップと、
    過去の地図で検出されたエッジの特徴に基づいて第2のファインエッジ地図を生成するステップと、
    第1のファインエッジ地図から現在の地図の粗いバージョンを生成するステップと、
    第2のファインエッジ地図から過去の地図の粗いバージョンを生成するステップと、
    第1の位置および方位を決定するために過去の地図の粗いバージョンと、現在の地図の粗いバージョンとを相関させるステップと、
    第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位を使用して第2のファインエッジ地図と第1のファインエッジ地図とを関連させるステップと、
    を有することを特徴とするナビゲーションに関する方法。
  2. プロセッサと、
    領域の2次元(2D)または3次元(3D)イメージを包含する現在の地図を構成するステップと、
    現在の地図の一つ以上のエッジの特徴を検出するステップと、
    現在の地図の検出されエッジに基づいて第1のファインエッジ地図を生成するステップと、
    2次元イメージまたは3次元イメージを有する領域の過去の地図を検索するステップと、
    過去の地図の一つ以上のエッジの特徴を検出するステップと、
    過去の地図の検出されたエッジの特徴に基づいて第2のファインエッジ地図を生成するステップと、
    第1のファインエッジ地図から現在の地図の粗いバージョンを生成するステップと、
    第2のファインエッジ地図から過去の地図の粗いバージョンを生成するステップと、
    第1の位置および方位を決定するために過去の地図の粗いバージョンと現在の地図の粗いバージョンとを相関させるステップと、
    第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位よりを使用して第2のファインエッジ地図と第1のファインエッジ地図とを関連させるステップと、
    を有することを特徴とする、方法を実行するためのプロセッサによって実行可能な命令を有するコンピュータ読取り可能媒体からなるメモリユニットと、
    から成るナビゲーションのためのシステム。
  3. 領域の一つ以上の2次元または3次元の表現を含む現在の地図を構成するステップと、
    現在の地図の一つ以上のエッジの特徴を検出するステップと、
    現在の地図の検出されたエッジに基づいて第1のファインエッジ地図を生成するステップと、
    領域の一つ以上の2次元または3次元の表現を含む過去の地図を検索するステップと、
    過去の地図の一つ以上のエッジを検出するステップと、
    過去の地図の検出されたエッジに基づいて第2のファインエッジ地図を生成するステップと、
    第1のファインエッジ地図から現在の地図の粗いバージョンを生成するステップと、
    第2のファインエッジ地図から過去の地図の粗いバージョンを生成するステップと、
    第1の位置および方位を決定するために過去の地図の粗いバージョンと現在の地図の粗いバージョンとを相関させるステップと、
    第1の位置および方位より正確である第2の位置および方位を決定するために第1の位置および方位を使用して第2のファインエッジ地図と第1のファインエッジ地図とを関連させるステップと、
    を含むことを特徴とする方法を実行するプロセッサによって実行可能な命令を有する持続性コンピュータ読み取り可能媒体から成るコンピュータプログラム製品。
JP2013149184A 2012-07-19 2013-07-18 イメージをナビゲーションのための地形高所地図に関連させる方法 Pending JP2014021121A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/553,281 US8766975B2 (en) 2012-07-19 2012-07-19 Method of correlating images with terrain elevation maps for navigation
US13/553,281 2012-07-19

Publications (1)

Publication Number Publication Date
JP2014021121A true JP2014021121A (ja) 2014-02-03

Family

ID=48747385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013149184A Pending JP2014021121A (ja) 2012-07-19 2013-07-18 イメージをナビゲーションのための地形高所地図に関連させる方法

Country Status (4)

Country Link
US (1) US8766975B2 (ja)
EP (1) EP2687817B1 (ja)
JP (1) JP2014021121A (ja)
CN (1) CN103575267B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224953A (ja) * 2015-05-29 2016-12-28 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation ナビゲーション調整のためのクロススペクトル特徴相関

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
DE102014003284A1 (de) 2014-03-05 2015-09-10 Astrium Gmbh Verfahren zur Positions- und Lagebestimmung mittels virtueller Referenzbilder
US9803985B2 (en) * 2014-12-26 2017-10-31 Here Global B.V. Selecting feature geometries for localization of a device
US9989969B2 (en) * 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
US9616886B2 (en) 2015-07-16 2017-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Size adjustment of forward objects for autonomous vehicles
US10054678B2 (en) 2015-07-30 2018-08-21 Toyota Motor Engineering & Manufacturing North America, Inc. Minimizing incorrect sensor data associations for autonomous vehicles
US9911189B1 (en) * 2016-06-30 2018-03-06 Kitty Hawk Corporation Navigation based on downward facing sensors
US10151588B1 (en) * 2016-09-28 2018-12-11 Near Earth Autonomy, Inc. Determining position and orientation for aerial vehicle in GNSS-denied situations
US10444347B2 (en) * 2016-11-30 2019-10-15 GM Global Technology Operations LLC Accurate self localization using automotive radar synthetic aperture radar
US10311752B2 (en) * 2017-02-03 2019-06-04 Honeywell International Inc. Compressed edge map representation for image aided navigation
JP6828668B2 (ja) * 2017-12-04 2021-02-10 株式会社デンソー 車線ネットワークデータ生成装置、車線ネットワークデータ生成プログラム及び記憶媒体
US11035933B2 (en) 2018-05-04 2021-06-15 Honda Motor Co., Ltd. Transition map between lidar and high-definition map
US10970815B2 (en) 2018-07-10 2021-04-06 Raytheon Company Multi-source image fusion
KR20210024145A (ko) 2018-07-10 2021-03-04 레이던 컴퍼니 3d 포인트 세트에 이미지 정합
CN111260538B (zh) * 2018-12-03 2023-10-03 北京魔门塔科技有限公司 基于长基线双目鱼眼相机的定位及车载终端
CN110926486B (zh) * 2019-11-26 2021-06-11 百度在线网络技术(北京)有限公司 一种路线确定方法、装置、设备和计算机存储介质
US11650057B2 (en) 2020-04-22 2023-05-16 Honeywell International Inc. Edge detection via window grid normalization
US11555703B2 (en) 2020-04-22 2023-01-17 Honeywell International Inc. Adaptive gaussian derivative sigma systems and methods
US11580690B1 (en) 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation
US12012108B1 (en) * 2022-03-31 2024-06-18 Zoox, Inc. Prediction models in autonomous vehicles using modified map data

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3830496C1 (de) 1988-09-08 1996-09-19 Daimler Benz Aerospace Ag Vorrichtung zum Erkennen und Verfolgen von Objekten
FR2695202B1 (fr) 1992-09-03 1994-11-10 Aerospatiale Système embarqué de navigation pour un engin aérien comportant un radar à visée latérale et à synthèse d'ouverture.
US5991460A (en) 1998-02-12 1999-11-23 Rockwell Science Center, Inc. Navigation system using hybrid sensor correlation system
US6587601B1 (en) * 1999-06-29 2003-07-01 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a Euclidean representation
US6362775B1 (en) 2000-04-25 2002-03-26 Mcdonnell Douglas Corporation Precision all-weather target location system
US7751651B2 (en) * 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
CN100435167C (zh) * 2005-12-23 2008-11-19 中国科学院对地观测与数字地球科学中心 高分辨率sar影像配准处理方法及系统
US7967255B2 (en) 2006-07-27 2011-06-28 Raytheon Company Autonomous space flight system and planetary lander for executing a discrete landing sequence to remove unknown navigation error, perform hazard avoidance and relocate the lander and method
CN101046387A (zh) * 2006-08-07 2007-10-03 南京航空航天大学 利用景象匹配提高导航系统精度的方法及组合导航仿真系统
US8958980B2 (en) * 2008-12-09 2015-02-17 Tomtom Polska Sp. Z O.O. Method of generating a geodetic reference database product
US8296056B2 (en) * 2009-04-20 2012-10-23 Honeywell International Inc. Enhanced vision system for precision navigation in low visibility or global positioning system (GPS) denied conditions
CN101604018B (zh) * 2009-07-24 2011-09-21 中国测绘科学研究院 高分辨率遥感影像数据处理方法及其系统
DE102011010987A1 (de) 2010-03-24 2011-09-29 Lfk-Lenkflugkörpersysteme Gmbh Navigationsverfahren für einen Flugkörper
US8457882B2 (en) * 2011-04-19 2013-06-04 Honeywell International Inc. Systems and methods for navigation in a GPS-denied environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224953A (ja) * 2015-05-29 2016-12-28 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation ナビゲーション調整のためのクロススペクトル特徴相関

Also Published As

Publication number Publication date
CN103575267B (zh) 2017-10-13
EP2687817A2 (en) 2014-01-22
US20140022262A1 (en) 2014-01-23
US8766975B2 (en) 2014-07-01
CN103575267A (zh) 2014-02-12
EP2687817B1 (en) 2019-03-20
EP2687817A3 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
US8766975B2 (en) Method of correlating images with terrain elevation maps for navigation
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
Rosenau et al. A processing system to monitor Greenland outlet glacier velocity variations at decadal and seasonal time scales utilizing the Landsat imagery
Noh et al. The surface extraction from TIN based search-space minimization (SETSM) algorithm
Peppa et al. Brief communication: Landslide motion from cross correlation of UAV-derived morphological attributes
US20150199556A1 (en) Method of using image warping for geo-registration feature matching in vision-aided positioning
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
Maurer et al. Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection
US10444362B2 (en) LADAR data upsampling
Menozzi et al. Development of vision-aided navigation for a wearable outdoor augmented reality system
FR3005187A1 (fr) Recalage d'images sar par information mutuelle.
Kumari et al. Adjustment of systematic errors in ALS data through surface matching
Jende et al. A fully automatic approach to register mobile mapping and airborne imagery to support the correction of platform trajectories in GNSS-denied urban areas
Oh et al. Automated georegistration of high-resolution satellite imagery using a RPC model with airborne lidar information
Haggag et al. Towards automated generation of true orthoimages for urban areas
Jang et al. Topographic information extraction from KOMPSAT satellite stereo data using SGM
Shukla et al. Automatic geolocation of targets tracked by aerial imaging platforms using satellite imagery
Topan et al. Georeferencing accuracy assessment of high-resolution satellite images using figure condition method
Gupta et al. 3D reconstruction of a landslide by application of UAV and structure from motion
Rodin et al. Skyline based camera attitude estimation using a digital surface model
Alsubaie et al. The feasibility of 3D point cloud generation from smartphones
Oliveira et al. Height gradient approach for occlusion detection in UAV imagery
Li et al. Ice velocity measurement in East Antarctica from 1960s to 1980s based on Argon and Landsat imagery
Zhan et al. Matching method of lunar remote sensing image based on laplacian
Kim et al. DEM generation of intertidal zone in Korea using Unmanned Aerial Vehicle