JP2012517651A - ２ｄ電子光学的画像データに対する３ｄ点群データの登録 - Google Patents

Abstract

二次元画像データセット及び点群データを有する三次元画像の登録のための方法及びシステムについて開示している。本発明の方法は、シーンにおいて地表面を有する点群データの一部を除去するように、三次元画像データを有する点群データの三次元ボリュームをクロッピングするステップと、三次元ボリュームをｍ個のサブボリュームに分割するステップとにより始まる。次に、その方法は、二次元画像データをエッジ強調するステップを有する。次に、サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップを有する。最終的には、点セットリストに含まれる複数の相関点セット間の誤差を最小化する変換が決定される。

Description

本発明は画像登録に関し、特に、ＬＩＤＡＲセンサにより取得された三次元点群画像データによる電子光学的画像センサにより取得された二次元画像データの登録に関する。

イメージングセンサは、国土のセキュリティ及び軍事のアプリケーションを含む広範なアプリケーションで用いられている。例えば、この種のセンサは、飛行機及び地球軌道の衛星のプラットフォームに一般に位置付けられている。従来の電子光学的（ＥＯ）センサは、画像データの収集のために用いられてきていて、一般に二次元データを生成するものである。そのようなデータは、一般に、ｘ及びｙ座標軸により全体的に規定されることが可能である平面場に対する画像の投影に対応するものである。

近年、三次元イメージングデータに対する関心が高まってきている。当業者は、３Ｄ点群データを生成するように用いられる既存の多様な異なる種類のセンサ、測定装置及びイメージングシステムが存在することを認識している。３Ｄ点群データの１つ又はそれ以上のフレームを生成する３Ｄイメージングシステムの一例は従来のＬＩＤＡＲイメージングシステムである。一般に、そのようなＬＩＤＡＲシステムは、高エネルギーレーザと、光学的検出器と、目標までの距離を決定するタイミング回路とを用いる。従来のＬＩＤＡＲシステムにおいては、１つ又はそれ以上のレーザパルスがシーンを照明するように用いられる。各々のパルスは、検出器アレイと連携して動作するタイミング回路をトリガする。一般に、そのシステムは、レーザから目標までの及び戻って検出器アレイまでの往復経路を通過する光パルスの各々の画素についての時間を測定する。目標からの反射光は、検出器アレイで検出され、その往復時間は、目標における点までの距離を決定するように測定される。演算された範囲又は距離情報は、目標を有する多数の点について得られ、故に、３Ｄ点群を生成する。その点群は、オブジェクトの３Ｄ形状を表すように用いられる。

３Ｄ点群における各々の点は、ｘ、ｙ及びｚ座標軸系により種々の位置で規定される点により３Ｄ点データが三次元で配置されることを除いて、ディジタルカメラにより生成される画素データに幾分似ている。ＬＩＤＡＲセンサにより生成される３Ｄ画像又は点群は一般に、点群データとして知られている。２Ｄ画素データとは対照的に、ｘ、ｙ、ｚ座標は空間情報のみを提供する一方、２Ｄ画素は、波長の関数として視覚強度情報を含む。一部のＬＩＤＡＲセンサは、所定領域における長い滞留時間により強度データを同時に収集することが可能である。

点群データは、シーンの３Ｄモデルを生成するのに有用である。しかしながら、その点群データは、従来のＥＯセンサを用いて取得された画像データと通常関連付けられる詳細な視覚情報のかなりの部分がしばしば欠けている。従って、同じシーンについて、２Ｄ ＥＯイメージングデータを３Ｄ点群データと比較することは有利である。しかしながら、イメージングデータの異なる２つのセットを組み合わせることは、画像登録ステップを必ず必要とする。そのような画像登録ステップは通常、画像と関連付けられるメタデータにより支援される。例えば、そのようなメタデータは、１）センサのオリエンテーション及び姿勢情報と、２）画像の角の点と関連付けられる緯度座標及び経度座標と、３）点群データの場合の、点群データについての生のｘ、ｙ及びｚ点位置とを有することが可能である。このメタデータは、データセットと、対応点探索領域との間の重なり合う領域を決定するように用いられることが可能である。更に、この画像登録ステップは、異なるデータ収集時間及び異なる相対的なセンサの位置での異なるセンサにより取得されるＥＯ及びＬＩＤＡＲ画像データの正確なアライメントを必要とするために、困難であり、時間を要する。更に、点群データは基本的には、かなり複雑なセンサ間登録の問題に対処するには、ＥＯ画像データと比べてより困難である。

種々の登録スキームが、上記の登録の課題を解決するために提供されている。例えば、一部の登録スキームは、登録処理の支援として、ＬＩＤＡＲ強度画像を用いる。ＬＩＤＡＲ強度画像は、ＬＩＤＡＲセンサに長期間にわたってシーンを滞留させることにより、得られる。反射強度データは、この期間中、そのセンサにより収集される。これは、ＥＯセンサにより収集された従来の画像データに幾分似ているＬＩＤＡＲセンサにより得られた２Ｄ画像データセットをもたらす。ＬＩＤＡＲ強度画像は、従って、登録処理を容易にする種々の方法において用いられることが可能である。更に、２Ｄ ＬＩＤＡＲ強度画像を用いる登録は多くの短所を有する。第１に、それは、２Ｄ ＥＯ画像に対してＬＩＤＡＲデータの２Ｄ登録のみを提供する。第２に、生の３Ｄ点群データ及び２Ｄ ＥＯ画像と共にこの２Ｄ ＬＩＤＡＲ強度画像を用いることは、強度を処理し、コンピュータメモリのかなりの容量を必要とする。

他の２Ｄから３Ｄへの登録技術はまた、都会のシーン（及び形状情報を必要とする）又は医療画像を含むシーン（及び２Ｄ画像においてマーカーを必要とする）のみにより主に有用であるシーンに限定される。そのようなシステムはまた、登録と関連付けられるアライメントパラメータの良好な初期推定を必要とする。

本発明は、２つ又はそれ以上の画像の登録のための方法及びシステムに関する。二次元画像データセット及び三次元画像データセットが、共通のシーンについて得られる。点群データの三次元ボリューム及び二次元画像データは重なり合う領域に対してクロッピングされる。更なるクロッピングは、共通のシーンにおける地表面を含む点群データの一部を除去する。従って、三次元ボリュームはｍ個のサブボリュームに分割される。各々のサブボリュームにおける点群データは、イメージングセンサから視野方向に対して垂直な登録平面に投影される。

二次元画像データはエッジ強調される。従って、３Ｄの複数の点のサブボリュームを各々適格にするように、次の処理ステップが実行される。１）適格化したサブボリュームが各々、登録平面に対して投影される。２）フィルタリングされた濃淡画像が各々のサブボリュームから生成される。３）対応領域がエッジ強調されたＥＯ画像から選択される。４）二次元相関表面（この表面を達成するための種々の方法が存在している：ＮＣＣ、位相、位相ρ、相互情報）が、フィルタ処理された濃淡画像及び対応する２Ｄエッジ強調されたＥＯ画像を用いて、演算される。５）二次元相関表面における最大ピークが位置付けられる（このピークは、特定の副領域についての複数の画像間の変位情報を含む）。６）相関表面におけるピーク位置は各々のＥＯ副領域における位置に戻るように参照される。７）フィルタ処理された濃淡画像の各々の副領域の中心位置が、ＥＯ副領域の中心に戻るように参照される。８）各々の副領域について、それらの２つの点は対応点の対を構成する。９）最適化ルーチンは、対応点セット間のベストフィットを探す。‘ｍ個’の相関点の例は、
｛［（ｘ^１ _{Ｌｉｂａｒ}，ｙ^１ _{Ｌｉｂａｒ}）（ｘ^１ _ＥＯ，ｙ^１ _ＥＯ）］，［（ｘ^２ _{Ｌｉｂａｒ}，ｙ^２ _{Ｌｉｂａｒ}）（ｘ^２ _ＥＯ，ｙ^２ _ＥＯ）］，．．．，［（ｘ^ｍ _{Ｌｉｂａｒ}，ｙ^ｍ _{Ｌｉｂａｒ}）（ｘ^ｍ _ＥＯ，ｙ^ｍ _ＥＯ）］｝
と表される。

複数の対応点間の変換は、エラー又はコスト関数を用いてそれら複数の点の間の距離を最小化することにより決定される。この変換はその場合、３Ｄ点群データにおける全てのデータ点に適用される。その結果は、３Ｄ ＬＩＤＡＲ点群データセットが二次元ＥＯ画像データセットとアライメントされることである。この処理は他の方向に適用されることが可能であり、即ち、ＥＯを３Ｄ ＬＩＤＡＲにアライメントする変換が求められる。

本発明を理解するために有用なコンピュータシステムのブロック図である。 本発明を理解するために有用なフローチャートである。 異なる有利な点から画像データがどのように取得されるかを理解するために有用な図である。 三次元画像データ又は点群データを理解するために有用な図である。 二次元画像データを理解するために有用な図である。 三次元画像データが地表面を除去するようにどのようにクロッピングされたかを理解するために有用なフローチャートである。 図６における三次元画像データがサブボリュームにどのように分割されるかを理解するために有用な図である。 フィルタ処理された濃淡画像及びエッジ強調された二次元画像を用いて、二次元相関表面がどのように演算されるかを理解するために有用な図である。 二次元相関表面が本発明においてどのように用いられるかを理解するために有用な概念図である。 対応点セットリストを理解するために有用な図である。 ＥＯセンサの姿勢がＥＯ及び３Ｄ点群データを登録するために登録平面をどのように規定するかを理解するために有用な図である。

本発明について、本発明の例示としての実施形態が示されている添付図を参照して、以下に詳述する。本発明は、しかしながら、多くの種々の形態で具現化されることが可能であり、以下に記載する実施形態に限定されるとして解釈されるべきではない。例えば、本発明は、方法、データ処理システム又はコンピュータプログラムとして具現化されることが可能である。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア／ソフトウェアの実施形態としての形式をとることが可能である。

本発明は、１つのコンピュータシステムで実現されることが可能である。代替として、本発明は、複数の相互接続されたコンピュータシステムで実現されることが可能である。本明細書で記載している方法を実行するように適合されたコンピュータシステム又は他の装置は何れも適するものである。ハードウェア及びソフトウェアの代表的な組み合わせは汎用コンピュータシステムであることが可能である。汎用コンピュータシステムは、本明細書で記載している方法を実行するようなコンピュータシステムを制御することが可能であるコンピュータプログラムを有することが可能である。

本発明は、コンピュータ使用可能記憶媒体（例えば、ハードディスク又はＣＤ−ＲＯＭ）におけるコンピュータプログラムプロダクトの形式をとることが可能である。コンピュータ使用可能記憶媒体は、媒体において具現化されるコンピュータ使用可能プログラムコードを有することが可能である。本明細書で用いている用語“コンピュータプログラムプロダクト”は、本明細書で記載している方法の実施を可能にする特徴全てを有する装置のことをいう。本明細書におけるコンピュータプログラム、ソフトウェアアプリケーション、コンピュータソフトウェアルーチン及び／又はそれらの用語の他の変換は、情報処理能力を有するシステムが、直接に、若しくは、ａ）他の言語、コード又は表記法への変換、又はｂ）異なる材料形状での再現、の何れか又は両方の後に、特定の機能を実行するようにすることが意図された命令の集合の何れかの言語、コード又は表記法における何れかの表現を意味している。

コンピュータシステム１００は、サーバコンピュータ、顧客ユーザコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ラップトップコンピュータ、デスクトップコンピュータ、制御システム、ネットワークルータ、スイッチ又はブリッジ、装置が行う動作を特定する命令の集合（シーケンシャル、等）を実行することが可能である何れかの他の装置の種々の種類を有することが可能である。本明細書における装置は、音声、映像又はデータ通信をもたらす何れかの電子装置を有することが可能であることが理解される必要がある。更に、単独のコンピュータが示されている一方、表現“コンピュータシステム”は、本明細書で記載されている何れかの１つ又はそれ以上の方法論を実行する命令の集合（又は複数の集合）を別個に又は連携して実行する演算装置の何れかの集合を有するとして理解することができる。

コンピュータシステム１００は、プロセッサ（中央演算処理装置（ＣＰＵ））、グラフィクス処理ユニット（ＧＰＵ）、ＣＰＵ及びＧＰＵの両方、主メモリ１０４、バス１０８を介して互いに通信するスタティックメモリ１０６を有することが可能である。コンピュータシステム１００は、映像ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ））、フラットパネル、固体ディスプレイ又はブラウン管（ＣＲＴ）等のディスプレイユニット１１０を更に有することが可能である。コンピュータシステム１００は、入力装置１１２（例えば、キーボード）、カーソル制御装置１１４（例えば、マウス）、ディスクドライブユニット１１６、信号発生装置１１８（例えば、スピーカ又はリモートコントロール）及びネットワークインタフェース装置１２０を有することが可能である。

ディスク装置ユニット１１６は、本明細書で記載している１つ又はそれ以上の方法論、手法又は機能を実行する１つ又はそれ以上の命令の集合１２４（例えば、ソフトウェアコード）が記憶されているコンピュータ読み出し可能記憶媒体１２２を有することが可能である。命令１２４は、コンピュータシステム１００による実行中に、主メモリ１０４、スタティックメモリ１０６及び／又はプロセッサ１０２に完全に又は少なくとも一部が存在することが可能である。主メモリ１０４及びプロセッサ１０２はまた、機械読み出し可能媒体を有することが可能である。

特定のアプリケーション用集積回路、プログラマブルロジックアレイ及び他のハードウェア装置を有する専用ハードウェア実施構成が更に、本明細書で説明している方法を実行するように構成されることが可能であるが、それらに限定されるものではない。種々の実施形態の装置及びシステムを有することが可能であるアプリケーションは、種々の電子システム及びコンピュータシステムを広範に有することが可能である。一部の実施形態は、モジュール間で及びモジュールを介して通信される関連制御信号及びデータ信号により１つ又はそれ以上の特定の相互接続されたハードウェアモジュールにおける機能を実施する。従って、例示としてのシステムは、ソフトウェア、ファームウェア及びハードウェアの実施に適用することが可能である。

本発明の種々の実施形態に従って、下に記載の方法は、コンピュータ読み取り可能記憶媒体にソフトウェアプログラムとして記憶されることが可能であり、コンピュータプロセッサにおいて実行させることが可能である。更に、ソフトウェアの実施は、本明細書で説明している方法を実施することも可能である分散処理、成分／オブジェクト分散処理、並列処理、仮想マシン処理を有することが可能であるが、それらに限定されるものではない。

本発明の種々の実施形態においては、コンピュータ読み取り可能記憶媒体は、命令１２４を有する、又はネットワーク環境１２６に接続された装置が音声データ及び／又は映像データを送信する又は受信することが可能であるように伝播される信号から命令１２４を受信して、実行する、並びに命令１２４を用いてネットワーク１２６において通信することが可能である。命令１２４は更に、ネットワークインタフェース装置１２０を介してネットワーク１２６において送信又は受信されることが可能である。

コンピュータ読み取り可能記憶媒体１２２は、信号記憶媒体であるとして例示としての実施形態に示されている一方、用語“コンピュータ読み取り可能記憶媒体”は、１つ又はそれ以上の命令の集合を記憶する単独の媒体又は複数の媒体（例えば、集中データベース又は分散データベース、並びに／若しくは関連キャッシュ及びサーバ）を有するとして捉えられる必要がある。用語“コンピュータ読み取り可能記憶媒体”はまた、機械により命令の集合を記憶する、符号化する又は担持することが可能である、そして本明細書の方法論の何れかの１つ又はそれ以上を機械が実行するようにする、何れかの媒体を有するとして捉えられる必要がある。

用語“コンピュータ読み取り媒体”は従って、１つ又はそれ以上の読み出し専用メモリ（ＲＯＭ；不揮発性）、ランダムアクセスメモリ（ＲＡＭ）又は他の書き換え可能（揮発性）メモリを収容するメモリカード又は他のパッケージ等の固体メモリ；ディスク又はテープ等の光磁気媒体又は光媒体；送信媒体におけるコンピュータ命令を実施する信号等の搬送波信号；並びに／若しくは電子メールへのディジタルファイル添付若しくは有形記憶媒体に相当する分散媒体であるとみなされる他の自律型情報アーカイブ又はアーカイブの集合；を有するとして捉えられるが、それらに限定されるものではない。従って、その開示は、ここで列挙され、相当するとみなされた後継の媒体を含むように、本明細書におけるソフトウェア実施構成が記憶されているコンピュータ読み取り可能媒体又は分散媒体の何れか１つ又はそれ以上を有するとみなされる。

当業者は、図１に示しているコンピュータシステムアーキテクチャはコンピュータシステムの１つの有効な実施例であることを理解することができる。しかしながら、本発明は、この点に限定されるものではなく、何れかの他の適切なコンピュータシステムアーキテクチャも、制限されることなく用いられることが可能である。

３Ｄ点群の２Ｄ電子光学的データへの登録
ここで図２を参照するに、フローチャートが示されている。このフローチャートは、二次元（２Ｄ）画像データに点群を有する三次元（３Ｄ）画像データを登録する方法を理解するために有用である。その方法は、ステップ２０１において、共通シーンについて２Ｄ画像データ及び３Ｄ画像データの取得から開始する。そのような取得処理の実施例は図３に示されていて、その図において、第１撮像センサ３０２及び第２撮像センサ３０４の各々が共通シーン３０６の画像データを取得する。２つの撮像センサが図３に示されているが、本発明は、それに限定されるものでないことが理解される必要がある。実際には、共通センサが２つの異なる時間に用いられることが可能である。重要であることに、図３においては、第１衛星３０２は２Ｄ画像を収集し、第２センサ３０４は３Ｄ点群画像データを収集することが可能である。

ここで記載している二次元画像データは、当業者に知られている何れかの適切なイメージングセンサにより収集されることが可能である。例えば、地球軌道衛星及び航空機データ収集プラットフォームは通常、電子光学的（ＥＯ）センサを用いて２Ｄイメージングデータを収集する。ここで用いられている用語“電子光学的センサ”は一般に、選択されたサンプル期間について、イメージング装置の画像検知表面に対して、シーンからの放射線を画像化するために光学システムが用いられる広範の装置の何れか１つのことをいう。イメージング装置は、光応答性領域の二次元アレイの形式をとることが可能である。イメージング装置に基づく種々の半導体については、当該技術分野において知られている。例えば、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）及びフォトダイオードアレイはしばしば、制限を伴わずに、この目的のために用いられる。更に、上記のイメージング装置は、単なる例示として把握され、本発明は、何れかの特定のＥＯ型のイメージング装置に限定されるようには意図されていない。例えば、本発明は医療用画像の登録のために用いられることも可能である。

多様な異なる種類のイメージングセンサが、３Ｄイメージングデータを、特に、３Ｄ点群データを生成するように用いられることが可能である。本発明は、イメージングシステムのそれらの多様な種類の何れかから得られた３Ｄ点群データの登録のために利用されることが可能である。３Ｄ点群の１つ又はそれ以上のフレームを生成する３Ｄイメージングシステムの一実施例は従来のＬＩＤＡＲイメージングシステムである。ＬＩＤＡＲデータの各々の画像フレームは、複数範囲のエコーに対応する三次元の点（３Ｄ点群）の収集を有する。それらの点は、三次元空間における規則的な光子における値を表す“ボクセル”に組織化されることが可能である。３Ｄイメージングで用いられるボクセルは、２Ｄイメージング装置に関連して用いられる画素に類似するものである。それらのフレームは、目的の３Ｄ画像を再構成するように処理される。この関連で、３Ｄ点群における各々の点は、３Ｄのシーンにおける実際の表面を表す、個別のｘ、ｙ及びｚ値を有する。

例示としての３Ｄ画像データの立方体４００が図４に示されている一方、２Ｄ画像データのフレームが図５に示されている。２Ｄ画像データ５００のフレームは単独の面において規定される一方、３Ｄ画像データの立方体４００は、三次元で規定される点群４０２を有する。更に、例示としての図４の３Ｄ画像データは立方体として境界が画定されているが、本発明はこの点に限定されるものでないことに留意する必要がある。立方体はこの目的のために用いられる従来からの形状であることが理解できるが、３Ｄデータは、何れかの他の適切な形状のボリュームにおいて規定されることが可能である。例えば、立方体の代わりに、矩形状の角柱が３Ｄ点群データセットを、境界を画定するように用いられることも可能である。上記にも拘らず、便宜上、本発明については、点群データの立方体に関連付けて記載されている。

図３をもう一度参照するに、イメージングセンサ３０２、３０４が異なる位置及びオリエンテーションをそれぞれ有することを理解することができる。当業者はときどき、それらのセンサの位置及びオリエンテーションのことをそれらのセンサの姿勢という。例えば、センサ３０２は、３Ｄ画像データが取得されたときの姿勢パラメータにより規定される姿勢を有するといわれる。

図２をもう一度参照するに、登録処理はステップ２０２に進むことが可能である。ステップ２０２においては、３Ｄ点データの立方体４００の一部がクロッピングされる。特に、クロッピング処理は、ベース表面の反射に対応する点群データの一部を取り除く。本発明が地球イメージングに関連して適用されるとき、ベース表面は一般に、地表面である。しかしながら、本発明は、この点に限定されるものではない。この処理については、概念的に、図６に示されている一方、面６０２の下のデータは、画像立方体から体系的に除去されている。特に、３Ｄ点群データボリュームは体系的に、複数の領域に分割されている。その場合、各々の領域についての３Ｄ点データは、地上の等高線を検出するように統計的に分析される。特定の領域についての地上の等高線は、その領域についてのクロッピング面とみなされる。従って、この面の下の領域における全ての３Ｄ点は捨てられる。

ステップ２０２に続いて、その方法は、３Ｄ点データのボリュームがｍ個のサブボリュームに分割されるステップ２０４に進む。このように副分割するステップは図７に示されていて、その図は、複数のｍ個のサブボリューム７０２に副分割された立方体４００を示している。ｍ個のサブボリュームの各々はまた、立方体形状であることが可能であり、この点で、副立方体とみなされる。更に、本発明は、この点に限定されるものではなく、他の形状のサブボリュームも、可能である。ステップ２０４に続いて、ｍ個のサブボリューム７０２を有する反復処理がステップ２０６乃至２３０において実行される。この反復処理については、下で説明する。

反復処理は、サブボリュームが更なる処理について適するかどうかを判定するように試験が適用されるステップ２０６から始まる。種々の基準が、特定のサブボリュームが適するかどうかを判定するように、この試験の目的のために用いられることが可能である。例えば、十分な量のデータ又はコンテンツを有するサブボリュームをサブボリュームとして適格であると限定することは適切である。例えば、サブボリュームの適格化は、それらのサブボリュームに含まれる少なくとも所定数のデータ点によりそれらのサブボリュームに限定されるのである。サブ領域を適格化するための他の基準は、データがブロブ状構造を有する副領域であることが可能である。ブロブ状点群は、不定形形状を有する三次元球又は塊であるとして理解されるものである。従って、ブロブ状点群は、ここでは一般に、直線、曲線又は平面を形成する点群を有するものではない。ステップ２０６においては、サブボリュームが適格でないと判定された場合には、その処理は、ｍ個のサブボリューム全てが演算されたかどうかを判定するステップ２０８に進む。それが肯定的な場合、その処理はステップ２１０で終了し、そうでない場合は、反復値が増加され、その処理は、次のサブボリューム７０２を評価するように、ステップ２０６に戻る。ステップ２０６においては、サブボリュームが適格であるとして判定され、その処理はステップ２１４に進む。 ステップ２１４においては、濃淡画像が、サブボリュームを用いることにより生成される。特に、評価されている現在のサブボリュームは、２Ｄ ＥＯ画像により規定される登録平面に投影される。ＥＯセンサからの姿勢データが、この平面が何であるかを判定するように用いられる。図１１は、ＥＯセンサの姿勢の例であり、ＥＯ及び３Ｄ点群データを登録するために用いられる対応する平面１１０２である。３Ｄ点群は、フィルタリングされた濃淡画像を作成する前に、平面１１０２に対して投影される。簡単な例が図４及び５に与えられている。与えられている例は、２Ｄ ＥＯセンサ姿勢が天底であり、故に、登録平面が単にｘｙ平面である場合についてのものである。２Ｄ ＥＯセンサ姿勢が天底でない、より一般的な場合には、登録平面１１０２はある他のｘ′ｙ′平面により規定されることが理解できる。説明を簡単化するために、本発明について以下では、まるで登録が単にｘｙ平面であるかのように説明している。しかしながら、本発明は、この点に限定されるものでないことが理解される必要がある。その代わりに、図１１に例示として示されているように、２Ｄ ＥＯセンサは天底ではなく、ｘｙ平面に対する参照番号は、ある他の座標系ｘ′ｙ′により規定された異なる基準面により置き換えられている。

図４及び５を再び参照するに、３Ｄ点群を有する各々のサブボリューム７０２内の種々のデータ点が、登録平面に対して点群内の位置から投影されることが観察される。登録平面がｘｙ平面である図４及び５に示す簡単な場合には、データ点のｘ値及びｙ値は同じであるように保たれる一方、データ点の各々についてのｚ値は０に設定される。より一般的な（ＥＯセンサが天底でない）場合、投影面ｘ′ｙ′（１１０２）がどのように規定されていようと、データ点は投影される。このことは、点群を有する各々の点が、登録平面に再位置付けされるまで、登録平面に対して垂直な視野方向に沿ってそれらの位置を数学的に調整することにより投影されることを意味する。ステップ２１４の結果は、３Ｄ点群データを有する各々のサブボリューム７０２を登録平面における二次元投影に変換するものである。この二次元投影は、濃淡画像を生成するように用いられる。ここで記載している濃淡画像の目的は、後に適用されるフィルタリング処理により登録される二次元形状のエッジコンテンツを求めることを可能にすることである。

ステップ２１６においては、その処理は、サブボリューム７０２についてフィルタ処理された濃淡画像を生成することにより続けられる。ステップ２１６におけるフィルタ処理された濃淡画像の生成は少なくとも３つのステップを有する。簡単にいうと、ステップ２１６は、（１）ステップ２１４に含まれる二次元投影により濃淡画像を生成するステップと、（２）濃淡画像の媒体フィルタ処理を実行するステップと、（３）媒体フィルタ処理された濃淡画像のエッジフィルタ処理を実行するステップと、を有する。濃淡画像は、二次元投影を複数の規則的な格子領域に分割するように、ステップ２１４において二次元投影に規則的な格子を適用することにより生成される。各々の個別の格子領域に含まれる点数が評価され、その数値はその格子領域に割り当てられる。各々の個別の格子領域の寸法は、ＥＯ画像の分解能（ときどき、地表サンプル距離（ＧＳＤ）と呼ばれる）に対応するように選択される。濃淡画像を可視化する一方法は、それをシミュレートされたパンクロマティックイメージとみなすことである。フィルタ処理ステップ（２）及び（３）については、ここでは、更に詳しく説明しない。

メディアンフィルタステップは主に、濃淡画像におけるノイズを低減させるように実行される。メディアンフィルタについては、当該技術分野で知られている。メディアンフィルタ処理は一般に、長さ及び幅で特定数の画素を有するフィルタマスクの選択を有する。マスクの正確なサイズは、特定のアプリケーションに従って変更し得るものである。本発明の場合には、５画素長さｘ５画素幅の大きさを有するフィルタマスクが適切な結果を提供することが判明している。しかしながら、本発明は、この点に限定されるものではない。実際には、マスクにおいては、画像が畳み込まれている。従って、メディアンフィルタは、中心画素値を、マスクにおける残りの画素値のメディアンと置き換えられる。そのメディアンは、先ず、マスクにおける画素値全てを数値順にソーティングし、次いで、考慮されている画素を中央画素値と置き換えることにより演算される。

エッジフィルタ処理ステップについては、ここでは、更に詳しくは説明しない。画像処理分野の熟達者は、２つの画像をアライメントする目的で、画像に含まれるオブジェクトのエッジを特定することが助けとなることを、容易に理解することができる。例えば、画像を構成するオブジェクトのエッジを検出することは、画像に含まれる全データ量を実質的に減少させる。エッジ検出は、画像の重要な構造的特徴を保つが、画像アライメントの目的では一般に助けとならない情報を排除する。従って、メディアンフィルタ処理が実行された後に、濃淡画像においてエッジフィルタ処理を実行することは有利である。

ここで用いているように、用語“エッジ”は一般に、複数の強い強度のコントラストが存在する二次元画像における領域のことをいう。そのような領域においては通常、隣接する画素間の強度における急激な変動が存在する。この点に関しては、エッジ検出を実行する多くの種々の方法が存在している一方、それらの方法の全ては本発明の範囲内に入るように意図されていることが理解される必要がある。本発明の目的のために、エッジフィルタ処理は、現在既知である、将来において発見される、又は画像におけるエッジを検出する又は強調するために用いられる、何れかの技術を有することが可能である。

一実施形態に従って、本発明のエッジフィルタ処理は、従来のソーベル（Ｓｏｂｅｌ）フィルタを用いて実行されることが可能である。ソーベルフィルタ処理においては、ソーベル演算子が、画像における２Ｄ空間勾配測定を決定するように用いられる。従来のソーベルフィルタ処理についての技術は知られている。従って、ソーベルフィルタ処理技術について、ここでは、更に詳細に説明しない。しかしながら、典型的には、第１折り畳みマスクは長さ３画素及び幅３画素を有する。同じ大きさの第２折り畳みマスクは、ｙ方向の勾配を決定するように用いられる。この点に関しては、第１折り畳みマスク及び第２折り畳みマスクの各々は実際の濃淡画像に比べてかなり小さいことが理解される必要がある。それらのマスクは各々、ソーベル演算子に従った時間に１つの３ｘ３画素群を操作して、画像の上をスライドされる。第１折り畳みマスクは、第１方向にエッジをハイライトする一方、第２折り畳みマスクは、第１方向に対して横断する第２方向にエッジをハイライトする。ここで用いているように、用語“ハイライトする”は、点群におけるエッジがより明瞭に検出されることを可能にする何れかの画像又はデータ強調のことをいう。その処理の結果は、ｘ軸及びｙ軸の両方とアライメントされた方向にハイライトされたエッジである。

ステップ２１８においては、２Ｄ画像５００がまた、２Ｄ画像のエッジを強調するようにフィルタ処理される。このエッジフィルタ処理は、何れかの適切なエッジフィルタ処理技術を用いて実行されることが可能である。例えば、ソーベルフィルタ処理が、ステップ２１６に関して上で記載されている処理に類似する方法で、この目的のために、用いられることが可能である。更に、本発明は、当業者が理解できるように、この点に限定されるものではなく、他の適切なエッジフィルタが、この目的のために用いられることが可能である。

ステップ２２０においては、二次元相関表面が、フィルタ処理された濃淡画像の領域及びエッジ強調された２Ｄ画像の対応する領域に基づいて、生成される。この処理については図８に示され、特定のサブボリューム７０２_ｎについてフィルタ処理された密度画像８０２は一回に一画素だけ移動され、各々の位置において、相関値を得るように、エッジ強調された２Ｄ ＥＯ画像８０１と相関付けられる。それらの値はその場合、二次元相関プロット９００_ｎを概念的に示している図９にプロットして示されている。２つの画像の相互相関は２つの画像間の類似性を確認するために用いられる標準的な方法であることが、当該技術分野において知られている。２つの画像が少なくとも一部の共通の対象を有する場合には、相互相関処理は一般に、実際のｘ、ｙ変換誤差に対応する位置に相関値におけるピークをもたらす。

図８及び９を参照するに、相互相関表面プロットのピークは、フィルタ処理された濃淡画像８０２_ｎがエッジ強調された２Ｄ ＥＤ画像８０１と最もよく相関付けられる場合に得られる。重要であることに、相関ピーク位置は、フィルタ処理された濃淡画像８０２_ｎと２Ｄ ＥＯ画像との間の登録平面におけるシフトを特定する。図５及び６に示す簡単なシナリオにおいては、このシフトはｘｙ平面におけるものである。より一般的には、相関ピーク位置は、ｘ′ｙ′が図１１に示されている登録平面を表すｘ′ｙ′平面におけるシフトを特定する。この相関処理を実行する目的で、２Ｄ ＥＯ画像は基準フレームとして用いられる一方、フィルタ処理された濃淡画像は目的フレームとして用いられる。しかしながら、基準及び目的は、何れの場合にも、推定される誤差に基づいて交換されることが可能である。典型的には、最も小さい絶対誤差を有するものが基準とみなされる。絶対誤差は、真の誤差である、又はそれらの点についてのデータ座標とグランドトゥルース位置との間の誤差である。

ステップ２２０に関してここで説明している相関処理は、正規化された相互相関（ＮＣＣ）処理を用いて実行されることが可能である。二次元画像の登録のためのＮＣＣ処理の使用については、当該技術分野において知られている。従って、ＮＣＣ処理については、ここでは詳細には説明しない。しかしながら、一般に、２つの画像ｉ及びｊの相互相関は次のような積として定義され、

ここで、ｐ_ｉは、フィルタ処理された濃淡画像ｉにおける所定のドメインｗ_ｉにおいて実行される画素インデックスであり、同様に、ｐ_ｊは、エッジ強調された２Ｄ画像ｊにおける所定のドメインｗ_ｊにおいて実行される二次元インデックスである。当該技術分野においては、

で表される相互相関乗算が、相互相関の乗算に依存して、種々の異なる関数により定義されることが知られている。しかしながら、典型的な乗算の定義の一例は次式

のようなものである。当業者は、上記の乗算の定義が２つの異なる画像に含まれる２つの所定の領域がどのように似ているかを示すことを、理解することができるであろう。この点で、相互相関値は、最適な相関が得られたピークにおけるものである。勿論、本発明は、この点に限定されるものではなく、何れかの他の相関処理が、特定のサブボリューム７０２_ｎについての濃淡画像と２Ｄ画像との間の変換誤差を表す結果を生成する場合に、用いられることが可能である。

サブボリューム７０２_ｎについての２Ｄ相関表面がステップ２２０において生成された後に、処理はステップ２２２に進む。ステップ２２２においては、２Ｄ相関表面の最大ピーク９０２_ｎの位置が特定される。ピーク９０２_ｎの位置は、点（ｘ^ｎ _ＥＯ，ｙ^ｎ _ＥＯ）により規定される２Ｄ画像５００におけるある位置に対応する。従って、ステップ２２４においては、２Ｄ画像５００における点（ｘ^ｎ _ＥＯ，ｙ^ｎ _ＥＯ）は、最大相関ピーク値の位置に基づいて特定される。相関表面が生成された処理の結果として、２Ｄ画像に対する相関表面における各々の画素の直接マッピングが存在する。

ステップ２２６においては、点（ｘ^ｎ _ＥＯ，ｙ^ｎ _ＥＯ）についての値が対応点設定リストに記憶される。点設定リストの実施例が図１０に示されている。その図に示されているように、（ｘ^ｎ _ＥＯ，ｙ^ｎ _ＥＯ）値は、対応する（ｘ^ｎ _{Ｌｉｂａｒ}，ｙ^ｎ _{Ｌｉｂａｒ}）位置値と共に記憶される。（ｘ^ｎ _{Ｌｉｂａｒ}，ｙ^ｎ _{Ｌｉｂａｒ}）位置値は、３Ｄ画像データの立方体４００又はより大きいボリュームにおけるフィルタ処理された濃淡画像８０２_ｎの中心を表す。ｚ成分は、共通のｘｙ登録平面に対する投影が生じるときにこの値は取り除かれているために、対応点セットの目的のためには必要ないことに留意されたい。２つのデータセット間の実施の誤差は、データセット間の対応点をとり、コスト関数を有する最適化ルーチン（最小二乗等）を用いてそれらの間の距離を最小化することにより、決定される。コスト関数は、変換、倍率、歪み、回転、多項式、当業者が知っている種々の他の非線形方法の組み合わせを含む何れかを有することが可能である。

ステップ２２６に続いて、ｍ個のサブボリューム又はサブ立方体の全てがステップ２０６乃至２２６において処理されたかどうかに関する判定が、ステップ２２８で行われる。それが否定的な場合、ｎの値はステップ２３０においてインクリメントされ、その処理はステップ２０６に戻り、次のサブボリュームが、上記のように、評価されて処理される。サブボリューム７０２_ｎの全てが評価されて処理されるとき、その方法はステップ２３２に進む。

ステップ２２６に関連して説明しているように、（ｘ^ｎ _ＥＯ，ｙ^ｎ _ＥＯ）値及び対応する（ｘ^ｎ _{Ｌｉｂａｒ}，ｙ^ｎ _{Ｌｉｂａｒ}）値は、対応対と呼ばれ、それらの位置値は点設定リストに記憶される。ステップ２３２において、２つの点セット間の変換の関係を求めるように、最適化技術が用いられる。この変換は、その最適化技術がコスト関数を最小化する対応するものの間の最小距離を一旦得ると、規定される。本発明の一実施形態においては、最小二乗誤差関数が最適化技術として用いられる。しかしながら、本発明はこの点に限定されるものでないことが理解される必要がある。当業者が理解できるであろうように、何れかの適切な方法が、一旦対応対が特定されると、最適な変換の解を特定するように用いられる。 対応点間の誤差を最小化するように用いられる、当該技術分野で知られている複数の最適化ルーチンが存在している。例えば、最適化ルーチンは、同時摂動型確率過程的近似法（ＳＰＳＡ）を有することが可能である。用いることが可能である他の最適化方法は、Ｎｅｌｄｅｒ Ｍｅａｄ Ｓｉｍｐｌｅｘ法、最小二乗適合法及び準ニュートン法を含む。それらの最適化技術の各々は当該技術分野で知られていて、従って、ここではその詳細について説明しない。

一旦、最適な変換がステップ２３２において決定されると、その方法はステップ２３４に進む。ステップ２３４においては、３Ｄ点群データにおけるデータ点全てに対して変換が適用される。３Ｄ点群に最適な変換を適用することにより、３Ｄ点群データを２Ｄ画像とアライメントすることができる、その結果は、三次元画像データセットが、二次元画像データセットと共に登録されることである。

Claims (10)

1. 複数の画像の登録のための方法であって：
   共通シーンについて二次元画像データ及び三次元画像データを取得するステップ；
   前記共通シーンにおいて地表面を有する点群データの一部を除去するように、前記三次元画像データを有する前記点群データの三次元ボリュームをクロッピングするステップ； 前記三次元ボリュームをｍ個のサブボリュームに分割するステップであって、ここで、ｍは１に等しい又は２以上である、ステップ；
   前記二次元画像データをエッジ強調するステップ；
   サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップ；
   前記点セットリストに含まれた複数の前記対応点セット間のエラーを最小化する変換を求めるステップ；
   前記三次元画像データ及び前記二次元画像データを有する群から選択された目標データにおける前記対応点に前記変換を適用するステップ；
   を有する方法。
2. 前記適格なサブボリュームは、所定数のデータ点を有する群から選択された特定のサブボリュームｎに関連付けられた１つ又はそれ以上の選択された特徴と、ブロブ状構造の存在とに基づいて特定される、請求項１に記載の方法。
3. フィルタ処理された濃淡画像を生成する前記ステップは、濃淡画像を構成するように二次元画像データセンサの姿勢により規定される登録平面に対してサブボリュームｎにおいて前記点群データを投影するステップを有する、請求項１に記載の方法。
4. 前記フィルタ処理された前記濃淡画像を生成する前記ステップは、前記濃淡画像を媒体フィルタ処理するステップを更に有する、請求項３に記載の方法。
5. 前記フィルタ処理された濃淡画像を生成する前記ステップは、前記濃淡画像における少なくとも１つのエッジを強調するように前記濃淡画像をエッジフィルタ処理するステップを更に有する、請求項４に記載の方法。
6. 前記エッジフィルタ処理するステップは、ソーベルエッジフィルタであるように選択される、請求項５に記載の方法。
7. 二次元相関表面を演算する前記ステップは、基準画像としての前記二次元画像及び目標画像としての前記フィルタ処理された濃淡画像、若しくは基準画像としての前記フィルタ処理された濃淡画像及び目標画像としての前記二次元画像を用いるステップを有する、請求項１に記載の方法。
8. 複数の画像の登録のためのシステムであって：
   シーンにおいて地表面を有する点群データの一部を除去するように、三次元画像データを有する前記点群データの三次元ボリュームをクロッピングするステップ、
   前記三次元ボリュームをｍ個のサブボリュームに分割するステップであって、ここで、ｍは１に等しい又は２以上である、ステップ、
   前記二次元画像データをエッジ強調するステップ、
   サブボリュームを各々適格化するために、フィルタ処理された濃淡画像を生成し、エッジ強調された前記二次元画像データ及び前記フィルタ処理された濃淡画像に基づいて、二次元相関表面を演算し、前記二次元相関表面のピークを求め、前記二次元画像における前記ピークの対応する位置を決定し、対応点セットを規定し、そして点セットリストにおける前記対応点セットを記憶するステップ、
   前記点セットリストに含まれた複数の前記対応点セット間のエラーを最小化する変換を求めるステップ、並びに
   前記三次元画像データ及び前記二次元画像データを有する群から選択された目標データにおける前記対応点に前記変換を適用するステップ、
   を有する一連のステップを実行するための命令のセットがプログラムされた処理手段； を有するシステム。
9. 前記適格なサブボリュームは、所定数のデータ点を有する群から選択された特定のサブボリュームｎに関連付けられた１つ又はそれ以上の選択された特徴と、ブロブ状構造の存在とに基づいて特定される、請求項８に記載のシステム。
10. フィルタ処理された濃淡画像を生成する前記ステップは、濃淡画像を構成するように二次元画像データセンサの姿勢により規定される登録平面に対してサブボリュームｎにおいて前記点群データを投影するステップを有する、請求項８に記載のシステム。

Images