JP2012517652A

JP2012517652A - シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合

Info

Publication number: JP2012517652A
Application number: JP2011550200A
Authority: JP
Inventors: ミネアー，カスリーン; ポーリー，ドナルド; スミス，アンソニー，オニール
Original assignee: Harris Corp
Current assignee: Harris Corp
Priority date: 2009-02-13
Filing date: 2010-02-10
Publication date: 2012-08-02
Also published as: WO2010093682A1; KR20110127202A; EP2396766A1; US20100207936A1; CN102317973A; CA2751025A1; BRPI1005836A2; US8179393B2

Abstract

共通シーンの改善された可視化及び登録処理の成功裏の補間のための３Ｄ点群と２Ｄ画像を組み合わせる方法及びシステムについて開示している。結果として得られた融合データは、オリジナルの３Ｄ点群からの情報及び２Ｄ画像からの情報の組み合わせを有する。オリジナルの３Ｄ点群データは、カラーマップタグ化処理に従ってカラー符号化される。異なるセンサからのデータを融合することにより、結果として得られるシーンは、戦争空間認識、目標識別、レンダリングされたシーンにおける変化検出及び成功裏の登録の決定に関連する有用な複数の属性を有する。

Description

本発明は二次元画像データ及び三次元画像データの登録に関し、特に、２Ｄ画像データ及び３Ｄ画像データの登録性能の視覚的な解釈のための方法に関する。この技術は、登録の成功性を判定するメトリックとして用いられる。

従来の電子光学的（ＥＯ）センサは、そのような画像データの収集のために長く用いられ、一般に、二次元データを生成するものである。そのようなデータは一般に、ｘ及びｙ座標軸により全体的に規定されることが可能である平面フィールドに対する画像の投影に対応している。近年、三次元イメージングデータに対する関心が高まってきている。例えば、ＬＩＤＡＲシステムは、三次元点群データを生成するように、高エネルギーレーザ、光学的検出器及びタイミング回路を用いる。３Ｄ点群における各々の点は、ｘ、ｙ及びｚ座標軸系により規定される三次元空間における種々の位置で規定される点により３Ｄ点群データが三次元で配置されることを除いて、ディジタルカメラにより生成される画素データに空間的に幾分似ている。１つの主な違いは、ＬＩＤＡＲは距離データである一方、２ＤＥＯデータは、位置情報及び強度データの両方を有することである。しかしながら、ＬＩＤＡＲセンサは滞留し、故に、強度‘画像’を生成するモードが存在する。このモードは、データアライメント又は登録を判定するための本明細書に記載されている２つのデータの種類の重なり合いを達成するためには必要ないことに留意する必要がある。

点群データは、生データにおけるオブジェクト又は地形特徴が容易に区別可能でないために、解釈することは困難であり得る。それに代えて、生の点群データは、三次元座標系において殆ど不定形の且つ十分な情報を有さない点の収集として現れ得る。カラーマップは、点群データを視覚化する助けとなるように用いられてきた。例えば、カラーマップは、各々の点の高度座標の関数として、３Ｄ点群における各々の点の色を選択的に変えるように用いられてきた。そのようなシステムにおいては、色の変化は、地表面の上方の異なる高さ又は高度における複数の点を表すように用いられる。そのような従来のカラーマップの使用にも拘わらず、３Ｄ点群データは、依然として解釈するのが困難なままである。同じシーンについて２ＤＥＯイメージングデータを３Ｄ点群データと組み合わせることは有利である。この目的はときどき、データ融合と呼ばれる。しかしながら、画像データの２つの異なるセットの組み合わせは、複数の点を空間的にアライメントする画像登録ステップを必ず必要とする。そのような画像登録ステップは通常、各々の画像と関連付けられたメタデータにより支援される。例えば、そのようなメタデータは、１）センサのオリエンテーション及び姿勢情報と、２）画像の角の点と関連付けられる緯度座標及び経度座標と、３）点群データの場合の、点群データについての生のｘ、ｙ及びｚ点位置とを有することが可能である。

２Ｄ画像から３Ｄ画像への登録ステップは、異なるデータ収集時間及び異なる相対的なセンサ位置における異なるセンサにより取得されるＥＯデータ及びＬＩＤＡＲデータの正確なアライメントを必要とするために、困難であり、時間を要するものである。更に、点群データは通常、かなり複雑なセンサ間登録の問題に対処するには、ＥＯ画像データと比べてより困難である。しかしながら、得られる登録されたＥＯデータ及びＬＩＤＡＲデータの視覚的な解釈はしばしば、人間の分析にとって依然として困難なままである。そのような困難性の１つの理由は、２種類のイメージングデータの登録及び融合の後にさえ、三次元ＬＩＤＡＲ点群は、二次元画像データを表す平坦な二次元平面状に浮かんでいるように現れる。これは、２つの注目すべき課題をもたらす。特に、それは、人間が融合された画像データにより表されるシーンを可視化することをより困難なものにする。これは、点群データが二次元画像にどのように適合するかを理解することが困難であるために、生じる。同じ影響はまた、登録処理がどのようにうまく機能するかを評価することをより困難にする。平坦な二次元表面の上方に浮かんでいるように現れる三次元点群データにより、点群（例えば、構造、乗り物）より表される種々の特徴が二次元画像（例えば、建物の外形又は土地専有面積、及び道路）において対応する特徴とどれ位うまくアライメントできるかを人間が判定することは困難である。選択された特定の登録スキームにも拘らず、その結果の性能を評価することは有用である。

本発明は、共通シーンの改善された視覚化及び登録処理の成功の解釈のための３Ｄ点群との２Ｄ画像の組み合わせのための方法及びシステムに関する。その結果として得られた融合されたデータは、組み合わされたオリジナルの３Ｄ点群からの情報及び２Ｄ画像からの情報を有する。オリジナルの３Ｄ点群データは、カラーマップトリガ処理に従って、カラー符号化される。異なるセンサからのデータを融合することにより、結果として得られるシーンは、戦争空間認識、目標識別、レンダリングされたシーンにおける変化検出及び成功裏の登録の決定に関連する複数の有用な属性を有する。

２Ｄ画像を３Ｄ点群ＬＩＤＡＲと組み合わせる方法は複数のステップを有する。画像が未だに登録されていない場合、その方法は、２Ｄ画像及び３Ｄ点群がアライメントされる登録ステップから開始することが可能である。その後、その方法は、共通シーンにおける複数の領域の選択されたコンテンツに基づく特徴を特定するように、２Ｄ画像を分析するステップを有する。例えば、コンテンツに基づく特徴は、都市シーンのコンテンツ、自然シーンのコンテンツ、水のコンテンツ、及び人工的な構造物のコンテンツを含むことが可能である。識別された複数領域の各々は、その領域のコンテンツに基づく特徴に対応するカラーマップタグが割り当てられる。

２Ｄ画像を用いるカラーマップタグの割り当てに続いて、異なるカラーマップが、カラーマップタグに従って、３Ｄ点群の複数の領域の各々に割り当てられる。‘領域’タイプの画像が２Ｄ画像から生成される。即ち、仮想３Ｄ点群が、２Ｄ画像における各々の画素に対してＺ値を割り当てることにより２Ｄ画像から形成され、ここで、各々のＺ値は、３ＤＬＩＤＡＲにおける且つそのＺ値を仮定する最近接点に対する補間に基づいて、決定される。仮想３Ｄ点群についてのカラー値は、２Ｄ画像における対応する画素のカラー値に基づいて割り当てられる。しばしば、２Ｄ画像カラー情報は、ＲＧＢ値に変換される１１又は１６ビット値で供給される。最終的には、融合されたシーンが、仮想領域画像及び３Ｄ点群データを重ね合わせることにより生成される。

このようにして生成される融合されたシーンは、登録ステップの性能又は品質を評価する上で特に有用である。特に、その融合されたシーンは、共通領域における特徴が適切にアライメントされているかどうかを判定するように、視覚的に調べられることが可能である。

本発明を理解するために有用なコンピュータシステムのブロック図である。本発明を理解するために有用なフローチャートである。異なる有利な点から画像データがどのように取得されるかを理解するために有用な図である。カラーマップタグが２Ｄ画像に対してどのように割り当てられるかを理解するために有用な概念図である。三次元画像データ又は点群データを理解するために有用な図である。二次元画像データを理解するために有用なフローチャートである。図６における二次元画像データが仮想三次元画像にどのように変換されるかを理解するために有用な図である。図２に示す処理において用いられる二次元画像データの例を示す図である。仮想３Ｄ画像が３Ｄ点群データと融合された融合画像の例を示す図である。

本発明においては、２Ｄ画像が修正され、次いで共通シーンについて３Ｄ点群データと融合される。その処理は、そのシーンの分析を容易にし、画像登録処理の品質の改善された評価を可能にする。２Ｄ画像及び３Ｄ点群データが、適切な登録処理を利用して、登録される。その後、３Ｄ点群データは、地表テーブルを特定し、規定するように処理される。地表テーブルは、シーンにおける地表の輪郭を表す。地表テーブルはその場合、２Ｄ画像の、地表面の輪郭を有する仮想３Ｄ画像に変換されるように用いられる。仮想３Ｄ画像は、２Ｄ画像の画素に関連付けられたＺ値を選択的に修正することにより生成され、それらの画素は一般に、地表テーブルにより規定されたＺ値に適合している。このようにして、地表面の輪郭が２Ｄ画像に与えられ、それにより、仮想３Ｄ画像が生成される。一旦、この処理が終了すると、前に登録された３Ｄ点群データは仮想３Ｄ画像に重ね合わされる。その結果として得られる融合された３Ｄ画像は、シーンの改善された視覚化を提供し、登録の品質のより良好な評価を可能にする。

本発明について、本発明の例示としての実施形態が示されている添付図を参照して、以下に詳述する。本発明は、しかしながら、多くの種々の形態で具現化されることが可能であり、以下に記載する実施形態に限定されるとして解釈されるべきではない。例えば、本発明は、方法、データ処理システム又はコンピュータプログラムとして具現化されることが可能である。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア／ソフトウェアの実施形態としての形式をとることが可能である。

本発明は、点群を有する三次元（３Ｄ）画像データ及び二次元（２Ｄ）画像データを含む登録処理の相対的な性能を評価する方法に関する。本発明の目的のために、２Ｄ画像データ及び３Ｄ点群データは、ある登録処理により既に登録されていることを前提としている。種々の登録処理が当該技術分野において知られている。従って、特定の登録処理については、ここでは、詳細には説明しない。

本発明は、１つのコンピュータシステムで実現されることが可能である。代替として、本発明は、複数の相互接続されたコンピュータシステムで実現されることが可能である。本明細書で記載している方法を実行するように適合されたコンピュータシステム又は他の装置は何れも適するものである。ハードウェア及びソフトウェアの代表的な組み合わせは汎用コンピュータシステムであることが可能である。汎用コンピュータシステムは、本明細書で記載している方法を実行するようなコンピュータシステムを制御することが可能であるコンピュータプログラムを有することが可能である。

本発明は、コンピュータ使用可能記憶媒体（例えば、ハードディスク又はＣＤ−ＲＯＭ）におけるコンピュータプログラムプロダクトの形式をとることが可能である。コンピュータ使用可能記憶媒体は、媒体において具現化されるコンピュータ使用可能プログラムコードを有することが可能である。本明細書で用いている用語“コンピュータプログラムプロダクト”は、本明細書で記載している方法の実施を可能にする特徴全てを有する装置のことをいう。本明細書におけるコンピュータプログラム、ソフトウェアアプリケーション、コンピュータソフトウェアルーチン及び／又はそれらの用語の他の変換は、情報処理能力を有するシステムが、直接に、若しくは、ａ）他の言語、コード又は表記法への変換、又はｂ）異なる材料形状での再現、の何れか又は両方の後に、特定の機能を実行するようにすることが意図された命令の集合の何れかの言語、コード又は表記法における何れかの表現を意味している。

コンピュータシステム１００は、サーバコンピュータ、顧客ユーザコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ラップトップコンピュータ、デスクトップコンピュータ、制御システム、ネットワークルータ、スイッチ又はブリッジ、装置が行う動作を特定する命令の集合（シーケンシャル、等）を実行することが可能である何れかの他の装置の種々の種類を有することが可能である。本明細書における装置は、音声、映像又はデータ通信をもたらす何れかの電子装置を有することが可能であることが理解される必要がある。更に、単独のコンピュータが示されている一方、表現“コンピュータシステム”は、本明細書で記載されている何れかの１つ又はそれ以上の方法論を実行する命令の集合（又は複数の集合）を別個に又は連携して実行する演算装置の何れかの集合を有するとして理解することができる。

コンピュータシステム１００は、プロセッサ（中央演算処理装置（ＣＰＵ））、グラフィクス処理ユニット（ＧＰＵ）、ＣＰＵ及びＧＰＵの両方、主メモリ１０４、バス１０８を介して互いに通信するスタティックメモリ１０６を有することが可能である。コンピュータシステム１００は、映像ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ））、フラットパネル、固体ディスプレイ又はブラウン管（ＣＲＴ）等のディスプレイユニット１１０を更に有することが可能である。コンピュータシステム１００は、入力装置１１２（例えば、キーボード）、カーソル制御装置１１４（例えば、マウス）、ディスクドライブユニット１１６、信号発生装置１１８（例えば、スピーカ又はリモートコントロール）及びネットワークインタフェース装置１２０を有することが可能である。

ディスク装置ユニット１１６は、本明細書で記載している１つ又はそれ以上の方法論、手法又は機能を実行する１つ又はそれ以上の命令の集合１２４（例えば、ソフトウェアコード）が記憶されているコンピュータ読み出し可能記憶媒体１２２を有することが可能である。命令１２４は、コンピュータシステム１００による実行中に、主メモリ１０４、スタティックメモリ１０６及び／又はプロセッサ１０２に完全に又は少なくとも一部が存在することが可能である。主メモリ１０４及びプロセッサ１０２はまた、機械読み出し可能媒体を有することが可能である。

特定のアプリケーション用集積回路、プログラマブルロジックアレイ及び他のハードウェア装置を有する専用ハードウェア実施構成が更に、本明細書で説明している方法を実行するように構成されることが可能であるが、それらに限定されるものではない。種々の実施形態の装置及びシステムを有することが可能であるアプリケーションは、種々の電子システム及びコンピュータシステムを広範に有することが可能である。一部の実施形態は、モジュール間で及びモジュールを介して通信される関連制御信号及びデータ信号により１つ又はそれ以上の特定の相互接続されたハードウェアモジュールにおける機能を実施する。従って、例示としてのシステムは、ソフトウェア、ファームウェア及びハードウェアの実施に適用することが可能である。

本発明の種々の実施形態に従って、下に記載の方法は、コンピュータ読み取り可能記憶媒体にソフトウェアプログラムとして記憶されることが可能であり、コンピュータプロセッサにおいて実行させることが可能である。更に、ソフトウェアの実施は、本明細書で説明している方法を実施することも可能である分散処理、成分／オブジェクト分散処理、並列処理、仮想マシン処理を有することが可能であるが、それらに限定されるものではない。

本発明の種々の実施形態においては、コンピュータ読み取り可能記憶媒体は、命令１２４を有する、又はネットワーク環境１２６に接続された装置が音声データ及び／又は映像データを送信する又は受信することが可能であるように伝播される信号から命令１２４を受信して、実行する、並びに命令１２４を用いてネットワーク１２６において通信することが可能である。命令１２４は更に、ネットワークインタフェース装置１２０を介してネットワーク１２６において送信又は受信されることが可能である。

コンピュータ読み取り可能記憶媒体１２２は、信号記憶媒体であるとして例示としての実施形態に示されている一方、用語“コンピュータ読み取り可能記憶媒体”は、１つ又はそれ以上の命令の集合を記憶する単独の媒体又は複数の媒体（例えば、集中データベース又は分散データベース、並びに／若しくは関連キャッシュ及びサーバ）を有するとして捉えられる必要がある。用語“コンピュータ読み取り可能記憶媒体”はまた、機械により命令の集合を記憶する、符号化する又は担持することが可能である、そして本明細書の方法論の何れかの１つ又はそれ以上を機械が実行するようにする、何れかの媒体を有するとして捉えられる必要がある。

用語“コンピュータ読み取り媒体”は従って、１つ又はそれ以上の読み出し専用メモリ（ＲＯＭ；不揮発性）、ランダムアクセスメモリ（ＲＡＭ）又は他の書き換え可能（揮発性）メモリを収容するメモリカード又は他のパッケージ等の固体メモリ；ディスク又はテープ等の光磁気媒体又は光媒体；送信媒体におけるコンピュータ命令を実施する信号等の搬送波信号；並びに／若しくは電子メールへのディジタルファイル添付若しくは有形記憶媒体に相当する分散媒体であるとみなされる他の自律型情報アーカイブ又はアーカイブの集合；を有するとして捉えられるが、それらに限定されるものではない。従って、その開示は、ここで列挙され、相当するとみなされた後継の媒体を含むように、本明細書におけるソフトウェア実施構成が記憶されているコンピュータ読み取り可能媒体又は分散媒体の何れか１つ又はそれ以上を有するとみなされる。

当業者は、図１に示しているコンピュータシステムアーキテクチャはコンピュータシステムの１つの有効な実施例であることを理解することができる。しかしながら、本発明は、この点に限定されるものではなく、何れかの他の適切なコンピュータシステムアーキテクチャも、制限されることなく用いられることが可能である。

ここで図２を参照するに、フローチャートが示されている。そのフローチャートは、点群を有する三次元（３Ｄ）画像データ及び二次元（２Ｄ）画像データを含む登録処理の相対的性能を評価するために用いられる処理を理解する上で有用である。その方法は、ステップ２０２から開始し、共通シーンについての２Ｄ画像データ及び３Ｄ画像データの取得についてのステップ２０３に進む。

図３に示すように、第１及び第２イメージングセンサ３０２、３０４の各々は共通シーン３０６の画像データを取得する。２つのイメージングセンサが図３に示されているが、本発明はそれに限定されるものでないことを理解する必要がある。それに代えて、共通のセンサが、異なった２回で用いられることが可能である。重要であることに、図３においては、第１衛星３０２は２Ｄ画像データを収集することができ、第２センサ３０４は３Ｄ点群画像データを収集することができる。

有利であることに、取得された二次元画像データは、カラーで提示されることが可能であるマルチスペクトル画像である。しかしながら、本発明は、パンクロマティック画像と共に用いられることも可能である。本明細書で記載している二次元画像データは、当業者が知っているような何れかの適切なイメージングセンサにより収集されることが可能である。例えば、地球軌道衛星及び航空機のデータ収集プラットフォームは一般に、電子光学的（ＥＯ）センサを用いて、２Ｄ画像データを収集する。本明細書で用いている用語“電子光学的センサ”は一般に、選択されたサンプル期間について、イメージング装置の画像検知表面に対して、シーンからの放射線を画像化するために光学システムが用いられる広範の装置の何れか１つのことをいう。イメージング装置は、光応答性領域の二次元アレイの形式をとることが可能である。イメージング装置に基づく種々の半導体については、当該技術分野において知られている。例えば、ＣＣＤ（ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ）及びフォトダイオードアレイはしばしば、制限を伴わずに、この目的のために用いられる。更に、上記のイメージング装置は、単なる例示として把握され、本発明は、何れかの特定のＥＯ型のイメージング装置に限定されるようには意図されていない。例えば、本発明は医療用画像の登録のために用いられることも可能である。

多様な異なる種類のイメージングセンサが、３Ｄデータを、特に、３Ｄ点群データを生成するように用いられることが可能である。本発明は、イメージングシステムのそれらの多様な種類の何れかから得られた３Ｄ点群データの登録性能を評価するために利用されることが可能である。３Ｄ点群の１つ又はそれ以上のフレームを生成する３Ｄイメージングシステムの一実施例は従来のＬＩＤＡＲイメージングシステムである。ＬＩＤＡＲデータの各々のフレームは、複数範囲のエコーに対応する三次元の点（３Ｄ点群）の収集を有する。それらの点は、三次元空間における規則的な光子における値を表す“ボクセル”に組織化されることが可能である。３Ｄイメージングで用いられるボクセルは、２Ｄイメージング装置に関連して用いられる画素に類似するものである。それらのフレームは、目的の３Ｄ画像を再構成するように処理される。この関連で、３Ｄ点群における各々の点は、３Ｄのシーンにおける実際の表面を表す、個別のｘ、ｙ及びｚ値を有する。

例示としての３Ｄ画像データの立方体５００が図５に示されている一方、２Ｄ画像データのフレームが図６に示されている。２Ｄ画像データ６００のフレームは単独のｘｙ平面において規定される一方、３Ｄ画像データの立方体５００は、三次元（ｘ，ｙ，ｚ）で規定される点群５０２を有する。更に、例示としての図５の３Ｄ画像データは立方体として境界が画定されているが、本発明はこの点に限定されるものでないことに留意する必要がある。立方体はこの目的のために用いられる従来からの形状であることが理解できるが、３Ｄデータは、何れかの他の適切な形状のボリュームにおいて規定されることが可能である。例えば、立方体の代わりに、矩形状の角柱が３Ｄ点群データセットを、境界を画定するように用いられることも可能である。上記にも拘らず、便宜上、本発明については、点群データの立方体に関連付けて記載されている。

図３をもう一度参照するに、イメージングセンサ３０２、３０４が異なる位置及びオリエンテーションをそれぞれ有することを理解することができる。当業者はときどき、それらのセンサの位置及びオリエンテーションのことをそれらのセンサの姿勢という。例えば、センサ３０２は、３Ｄ画像データが取得されたときの姿勢パラメータにより規定される姿勢を有するといわれる。

上記から、センサ３０２、３０４により取得された２Ｄ画像及び３Ｄ点データは一般に、異なるセンサにより中心合わせされた座標系に基づいていることが理解できる。従って、２Ｄ画像及び３Ｄ点データは、異なる座標系に対して規定される。当業者は、異なる座標系が２つ又はそれ以上の画像センサからの２Ｄ画像及び３Ｄ点データが共通座標系で適切に表されることが可能である前に、必要に応じて、空間において回転され、平行移動される必要がある。上記の処理は一般に、登録と呼ばれている。

ステップ２０４においては、２Ｄ画像を構成する画素は、３Ｄ点データに共通のＸ、Ｙフォーマットに変換される。当業者は理解できるであろうように、３Ｄ点群データは一般に、高さのＺ座標に加えて、緯度及び経度（Ｘ，Ｙ）座標に関して表される。それとは対照的に、２Ｄ画像画素データは典型的には、異なるフォーマットにある。ステップ２０４においては、２Ｄ画像は、３Ｄ画像を較正する点群データと関連付けられたフォーマットと整合性を有するＸ、Ｙフォーマットに変換される。

ステップ２０６においては、２Ｄ画像データ及び３Ｄデータは、２Ｄ画像及び３Ｄ点群を表すことが可能であるある登録処理により登録される。何れかの適切なアルゴリズム又は登録処理が、当業者が認識しているように、この目的のために用いられる。本発明は、登録処理が実行される方法に直接、関するものではないため、そのような登録処理については、ここでは、詳細には説明しない。登録処理の結果は、ある登録スキームに従って実質的に登録された共通シーンについての２Ｄ画像データ及び３Ｄ点群データである。

その処理は、２Ｄ画像の画像コンテンツ分析を実行することによるステップ２０８に進む。画像コンテンツ分析は、２Ｄ画像に含まれる特定のフィーチャ又は領域の特徴が特定される又は選択される統計的分析である。この分析は、フィーチャ抽出ステップとみなされる。例えば、従来のシーンコンテンツ検出アルゴリズムを用いて、そのシーンは、都会領域と自然領域に分離されることが可能である。図４に示しているように、都会領域４０４は、多数の建物及び他の人工的な構造物を含むとして識別される２Ｄ画像における領域であり得る。建物及び他の人工的な構造物は一般に、多くの直線的なエッジ及び角を、そのような構造物は、当業者が認識しているように、種々のエッジ及び角検出アルゴリズムを用いることにより容易に認識されることが可能である。自然領域４０２は、都会領域以外の領域として識別され得る。更に、本発明はこの点に限定されるものではなく、種々の他の種類の画像認識アルゴルズムが、都会、自然又は他の種類の領域を認識するように用いられることが可能である。例えば、他の種類の領域としては、岩又は砂漠領域、森林領域、農地領域、水領域等があり得る。

都会対自然である広い領域又は範囲を単に識別することの代替として、又はそれに加えて、シーンコンテンツ検出アルゴリズムは、シーン内に含まれる特定の個別のフィーチャを検出することが可能である。例えば、シーンコンテンツ検出アルゴリズムは、２Ｄ画像において存在する道路０６を識別することが可能である。シーンコンテンツ検出アルゴリズムは、個々の建物４０８又は他の種類の構造物を制限なしで識別するように用いられることも可能である。例えば、乗り物が識別されることも可能である。それらの機能を実行するアルゴリズムについては、当該技術分野で知られているので、ここでは、詳細には説明しない。

画像コンテンツ検出分析が終了した後、その処理はステップ２１２に進む。ステップ２１２においては、異なるカラーマップタグが、２Ｄ画像の選択されたＸ、Ｙ座標領域について割り当てられる。異なるカラーマップタグは、識別された異なる領域又はフィーチャ４０２、４０４、４０６、４０８について割り当てられる。例えば、第１タイプのカラーマップタグは、都会として識別される何れかの領域４０４に対して割り当てられることが可能である一方、第２カラーマップタグは、自然として指定された何れかの領域４０２に対して割り当てられることが可能である。更に、異なるカラーマップタグは、画像３０６において識別された個々の建物４０８又は道路４０６等の特定のフィーチャのＸ座標及びＹ座標と関連付けられることが可能である。

本発明の一実施形態に従って、各々の個別のカラーマップタグは、特定のカラーマップに関連付けられる。更に、各々のカラーマップは、特定の種類のシーン又はシーンコンテンツと関連付けられたフィーチャを視覚化する助けとなるように有利に選択される。例えば、１つのそのようなカラーマップについては、Ｍｉｎｅａｒによる米国特許出願公開第１２／０４６，８８０号明細書に記載されている。その特許文献に詳細に開示されているように、カラーマップは、異なる高度の特徴をハイライトするように、色相、飽和度及び強度を選択的に選択することにより、シーンにおける特定の種類の対象を強調するようにデザインされ得る。このＨＳＩ空間において生成されたそれらのカラーマップは、樹冠の下及び樹木限界線の上等の対象領域における強度のハイライトを非線形的に可能にする。特に、カラーマップは、色飽和及び強度について規定された値が１つ又はそれ以上の所定の高度でピーク値を有するように、選択されることが可能である。例えば、ピーク値は、所定のフィーチャの高度範囲の高度の上限に略対応する高度に与えられることが可能である。カラーマップは、特定の種類のシーンコンテンツ、例えば、建物、植物又は道路に通常関連付けられる補色が選択されることも可能である。
ステップ２１４においては、地表面テーブルが３Ｄ点群を用いて生成される。地表面テーブルは、３Ｄ点群に含まれるシーンの地表面輪郭の表現（テーブル形式）とみなされる。それは、３Ｄ点群の均一な格子に基づき、Ｘ、Ｙ及びＺ座標軸に関して規定される。地表面テーブルは、シーンの各々の格子化領域についての近似的な高度を表すＺ値を規定する。

地方面テーブルがどのように作成されるかを理解するためには、３Ｄ点群データの性質を先ず、考慮することは有用である。３Ｄ点群データを取得するために用いられるシステム（例えば、ＬＩＤＡＲ）は一般に、“ラストリターン”データ点を測定する。そのような“ラストリターン”点はしばしば、地面データノイズに関連付けられる反射エネルギーの結果である。従って、下方に存在する地形の真のマップを表すのではなく、生の３Ｄ点群データにおける各々のＸ、Ｙ点に関連するＺ値はまた、植物、乗り物及び構造物等の種々の他のオブジェクトに対応する。地形又は地表面に対応する複数の点の集合を決定するように、地形における輪郭に実際には対応しない乗り物、構造物及び植物等を抽出する又は推定する少なくとも一部の後処理が通常、必要である。３Ｄ点群データに基づいてそのような地表面の高度を抽出する又は推定する種々のアルゴリズムが知られている。何れかのそのようなアルゴリズムが、地表面テーブルを作成するために用いられることが可能である。

一旦、ステップ２１４において、地表面テーブルが作成されると、その処理はステップ２１６に進む。ステップ２１６においては、データ点は、生の３Ｄ点群から選択的に検出される。実際には、３Ｄ点群データは、地表面又は地形に関連付けられる点を取り除くことにより減少される。本発明の実施形態に従って、３ＤＬＩＤＡＲデータにおける各々の副領域について、これは、その副領域についての地表面テーブルにおいて特定されるＺ値（足す小さいΔＺ）を上回らない副領域における何れかの点を検出することにより達成される。例えば、特定の副領域についてのＺ値は１ｍであることが可能である。その場合、その副領域にある生の点群データ内の各々の点について、生のデータポイントの高度又はＺ値が、高さで１ｍ＋小さいΔＺ以下であるかどうかの判定が行われることが可能である。それが肯定的である場合、その点は検出され、そうでない場合は、その点はそのままにしておかれる。更に、何れかの他の技術が生の点群データから地表面データ点を選択的に検出するように用いられることが可能であることが理解される必要がある。適用される技術にも拘わらず、このステップの目的は、地表面レベルのすぐ上のあるＺ値以下の点群データにおける全ての点を削除することである。これは、画像登録処理の性能を評価する目的のためには一般に有用でない、地表ノイズを削除するように行われる。

ステップ２１６に続いて、その方法は、ステップ２１８に進む。カラーマップタグが、２Ｄ画像に含まれる特定のＸ、Ｙ領域について、ステップ２１２において割り当てられるが、カラーマップは実際には、２Ｄ画像に関連付けられた画素に色を割り当てるようには用いられない。それに代えて、カラーマップは、３Ｄ点群データの対応するＸ、Ｙ領域における点に色を割り当てるためのステップ２１８において用いられる。２Ｄ画像及び３Ｄ点群が登録されるために、特定のシーンにおける領域及びフィーチャは、各々の画像データセットにおける略同じＸ、Ｙ座標領域を有する。例えば、規定されたＸ、Ｙ座標領域を有する２Ｄシーンにおける特定の都会領域は、３Ｄ点群データにおける略同じＸ、Ｙ座標領域に対応する。これは、そのシーンの種々の他のフィーチャ、例えば、個々の建物及び道路に関しても真である。その場合、実際には、シーンの異なる部分について適切なカラーマップが、２Ｄ画像を用いて、特定され、そしてステップ２１８において、カラーマップが、３Ｄ点群の対応する領域に含まれるデータ点に対して適用される。

ステップ２２０においては、割り当てられたカラーマップが、３Ｄ点群における各々のデータ点についてＲＧＢカラー値を演算する又は決定するように用いられる。カラーマップはＺ座標の関数であり、故に、３Ｄ点群における各々の点の実際のカラーは、３Ｄ画像のＸ、Ｙ領域に割り当てられた特定のカラーマップに基づき、そしてその特定の点のＺ値又は相対的な高さに基づく。相対的な高さは、地表面に対して測定されることが可能である。

当業者は、テーブル呼ばれるカラーマップ、スケジュール又は数式が、どの特定のＲＧＢカラー値が特定のＺ値を有する点に割り当てられる必要があるかを判定するために用いられることを理解することができる。何れかの適切なカラーマップが、この目的のために用いられることが可能である。しかしながら、観測者にとってある可視化の利益を有するカラーマップを選択することは有利である。例えば、異なる高度においてフィーチャをハイライトするように色相及び強度を選択的に選択することにより、シーンにおける特定の種類の対象を強調するようにデザインされたカラーマップを用いることは有利である。特定のシーンに対応するとして一般に理解される特定の色相を用いるカラーマップを選択することも有利である。例えば、茶褐色、黄褐色及び緑色が、植物の色に自動的に対応するように、自然領域について用いられることが可能である。それとは対照的に、種々の灰色の色相が、都会領域についてのユーザの理解とより一貫性を有するようにすることが可能である。

ステップ２２２においては、ステップ２１４における３Ｄ画像データから導出された地表面テーブルが、２Ｄ画像データの各々の画素に対してＺ値を割り当てるように用いられる。Ｚ値は、地表面テーブルの領域におけるＺ値を補間することにより決定される。一旦、適切なＺ値が地表面テーブルから演算されると、そのＺ値は、２Ｄ画像における画素についてのＺ値として割り当てられる。その結果は、２Ｄ画像の画素に基づく仮想３Ｄ点群である。これについては、地表面テーブルからのＺ値が２Ｄ画像データに割り当てられた後の仮想３Ｄ画像７０２の輪郭を示す図７に、概念的に示されている。図７においては、２ＤＥＯ画像は仮想３Ｄ距離画像に変換されている。

その方法は、ステップ２２２で得られた仮想３Ｄ距離画像における各々の点についてＲＧＢカラー値を演算することによりステップ２２４に進む。その仮想３Ｄ画像についてのＲＧＢカラー値は何れかの適切なカラーマップに基づいている。仮想３Ｄ距離画像のカラーマップについての良好な選択は、最終的な融合されたプロダクトに乱されないように最小の色相変化を有する選択である。特に、各々の仮想３Ｄ点は、ここでは、Ｘ、Ｙ及びＺ座標及びカラー値を有する。

ステップ２２６においては、その方法は、３Ｄ点群データを２ＤＥＯ画像から生成された仮想３Ｄ画像と融合するステップに進む。その融合処理は、オリジナルの３Ｄ点群及び仮想３Ｄ点群からの関連情報を組み合わせる。これは、視覚的な解釈及びシーンの認識のための環境についての付加情報を得るように、１つのシーンに異なる情報源を組み合わせることを含むために、真の融合である。

その結果として得られる、ステップ２２６に従って融合されたシーンは、オリジナルのＬＩＤＡＲ点群データからの組み合わされた情報と、２Ｄ画像からの情報とを有する３Ｄシーンである。オリジナルの３Ｄ点群データは、カラーマップタグ付け処理に従ってカラー符号化される。その結果として得られる３Ｄシーンは、空間認識、目標識別、レンダリングシーンにおける変化検出及び登録成功の決定に対処することに関連する複数の有用な属性を有する。それらのフィーチャの各々については、下でより詳細に説明する。

ここで図８を参照するに、図７に示す実施例と類似している仮想３Ｄ画像を生成するように用いられる２Ｄ画像の実施例を示している。図９は、図８の２Ｄ画像が、図７におけるように仮想３Ｄ画像に先ず変換され、次いで図２に示されている種々のステップに従って、３Ｄ点群データと融合された融合画像を示している。図９における画像は、シーンの可視化及び登録処理の性能の評価においてユーザを支援するように、コンピュータのスクリーンにおいて回転され、拡大され、そして三次元で見ることができる。

戦争空間認識等のためのシーン補間のフィールドにおいて、図９における融合シーンは、人間の眼に対して可視化をより明瞭に且つより自然にする。点群データはもはや、平坦な二次元画像の上方に浮かんでいるようには見えない。そうではなく、２Ｄ画像は、シーンの実際の地表面の輪郭に対応する仮想３Ｄ画像に変換されている。その結果として得られた融合画像においては、地表の輪郭は、３Ｄ点群データに対して改善されたコンテキスト及び意味を与える。規定され、次いで３Ｄ点に対してマッピングされたカラーモデルは、対応する領域及びフィーチャの現実世界のカラーと密接な関係にあるように、有利に選択されている。これは、データを可視化するときに、ユーザにとっての親しみ易さを与える。目標認識のフィールドにおいては、融合画像における目標は、既知の目標のデータベースにより抽出されて、相関付けられることが可能である。変化検出のフィールドにおいては、時間分離された融合シーンは、オブジェクトの違い及び乗り物の動きについて、重ね合わされて、比較されることが可能である。

更に、結果として得られた融合シーンは、登録処理が成功裏に行われたかどうかを判定するために、かなり有用である。３Ｄ点群データを２Ｄ画像データにより登録するように試みるときに遭遇する課題の１つは、登録処理が２つのデータセットを適切に登録しているかどうかを判定することである。図１乃至７に関連して記載している処理は、登録の品質を人間が視覚的に評価することを可能にする。結果として得られた融合画像においては、実際の３Ｄ点群データと並列化された仮想３Ｄ画像の地表の輪郭は、３Ｄ点群データに改善されたコンテキスト及び意味を与える。これは、３Ｄ点群データにより表されるオブジェクトが２Ｄ画像データに相対して適切に位置付けられるようにみえる融合画像を登録処理が生成したかどうかを、人間が評価する良好な機会を提供する。また、３Ｄ点群における点をカラー符号化することにより、明瞭な視覚的補間が、シーンにおけるフィーチャの適切なアライメントに対して可能にされる。例えば、視覚的な評価が、建物の角、乗り物、道路等のアライメントに関して行われる。この視覚的評価処理は、そのようなカラー符号化を用いない場合には、かなり困難である又は不可能である。

Claims

共通シーンの改善された可視化のための３Ｄ画像と２Ｄ画像を組み合わせる方法であって：
前記共通シーンにおける複数の領域の特徴に基づいて、選択されたコンテンツを特定するように前記２Ｄ画像を分析するステップ；
前記領域の特徴に基づいてコンテンツに対応するカラーマップタグを前記複数の領域に選択的に割り当てるステップ；
前記カラーマップタグに従って前記３Ｄ画像の複数の領域の各々に異なるカラーマップを選択的に割り当てるステップ；
前記３Ｄ画像における地表の輪郭に基づいて、前記２Ｄ画像における画素にＺ値を割り当てることにより、前記２Ｄ画像から仮想３Ｄ画像を生成するステップ；
好ましいカラーマップに基づいて前記仮想３Ｄにおける複数の点についてカラー値を決定するステップ；並びに
前記３Ｄ画像及び前記仮想３Ｄ画像を重ね合わせることにより融合画像を生成するステップ；
を有する方法。
前記共通シーンにおけるフィーチャが適切にアライメントされているかどうかを判定するように、前記融合画像を調べることにより、登録するステップの性能及び品質を評価するステップ；
を更に有する、請求項１に記載の方法。
前記コンテンツに基づく特徴は、都会コンテンツ、自然コンテンツ、水コンテンツ及び人工的な構造物コンテンツを有する群から選択される、請求項１に記載の方法。
前記人工的な構造物コンテンツは、建物、家、道路及び乗り物を有する群から選択される、請求項３に記載の方法。
前記３Ｄ画像は、各々の点がＸ、Ｙ及びＺ座標軸値に従って規定される３Ｄ点群を有する複数の点を有し、前記２Ｄ画像は、Ｘ軸及びＹ軸により規定される値に従って排他的に規定された位置を有する複数の画素を有する、請求項１に記載の方法。
前記２Ｄ画像において特定された前記複数の領域の対応するＸ、Ｙ座標値に対して割り当てられた前記カラーマップタグに基づいて、前記３Ｄ画像の複数の領域においてＸ、Ｙ及びＺ座標値を有する１つ又はそれ以上の点に対して各々の前記カラーマップを割り当てるステップ、を更に有する、請求項５に記載の方法。
前記融合画像を生成するステップに先だって、地表面データを有する前記３Ｄ画像の一部を取り除くステップを更に有する、請求項１に記載の方法。
前記Ｚ値を割り当てるステップは：
前記Ｘ、Ｙ座標値を有する各々の２Ｄ画素について、同じＸ、Ｙ座標値を有する前記３Ｄ画像の前記地表の輪郭からのＺ値を割り当てるステップ；
特定の２Ｄ画素と同じＸ、Ｙ座標値を有する前記３Ｄ画像においてデータ点が存在しない場合に、Ｚ値を補間する又は推定するステップ；
を更に有する、請求項５に記載の方法。
前記カラーマップが用いられる領域の特徴に基づいて、前記コンテンツに一般に関連付けられた補色又は色相に対して、複数の前記カラーマップが選択される、請求項１に記載の方法。
前記２Ｄ画像及び前記３Ｄ画像を登録するステップを更に有する、請求項１に記載の方法。
共通シーンの改善された可視化のための３Ｄ画像と２Ｄ画像を組み合わせるシステムであって：
命令の集合がプログラムされたコンピュータ；
を有するシステムであって、前記命令の集合は：
前記共通シーンにおける複数の領域の特徴に基づいて、選択されたコンテンツを特定するように前記２Ｄ画像を分析するステップ；
前記領域の特徴に基づいてコンテンツに対応するカラーマップタグを前記複数の領域に選択的に割り当てるステップ；
前記カラーマップタグに従って前記３Ｄ画像の複数の領域の各々に異なるカラーマップを選択的に割り当てるステップ；
前記３Ｄ画像における地表の輪郭に基づいて、前記２Ｄ画像における画素にＺ値を割り当てることにより、前記２Ｄ画像から仮想３Ｄ画像を生成するステップ；
好ましいカラーマップに基づいて前記仮想３Ｄにおける複数の点についてカラー値を決定するステップ；並びに
前記３Ｄ画像及び前記仮想３Ｄ画像を重ね合わせることにより融合画像を生成するステップ；
を有する、システム。
前記共通シーンにおけるフィーチャが適切にアライメントされているかどうかを判定するように、前記融合画像を調べることにより、登録するステップの性能及び品質を評価するステップ；
を更に有する、請求項１１に記載のシステム。
前記コンテンツに基づく特徴は、都会コンテンツ、自然コンテンツ、水コンテンツ及び人工的な構造物コンテンツを有する群から選択される、請求項１１に記載のシステム。
前記人工的な構造物コンテンツは、建物、家、道路及び乗り物を有する群から選択される、請求項１３に記載のシステム。
前記３Ｄ画像は、各々の点がＸ、Ｙ及びＺ座標軸値に従って規定される３Ｄ点群を有する複数の点を有し、前記２Ｄ画像は、Ｘ軸及びＹ軸により規定される値に従って排他的に規定された位置を有する複数の画素を有する、請求項１１に記載のシステム。
前記２Ｄ画像において特定された前記複数の領域の対応するＸ、Ｙ座標値に対して割り当てられた前記カラーマップタグに基づいて、前記３Ｄ画像の複数の領域においてＸ、Ｙ及びＺ座標値を有する１つ又はそれ以上の点に対して各々の前記カラーマップを割り当てるように、前記コンピュータはプログラムされている、請求項１５に記載のシステム。
前記融合画像を生成するステップに先だって、地表面データを有する前記３Ｄ画像の一部を取り除くように、前記コンピュータはプログラムされている、請求項１１に記載のシステム。
前記Ｚ値を割り当てるステップは：
前記Ｘ、Ｙ座標値を有する各々の２Ｄ画素について、同じＸ、Ｙ座標値を有する前記３Ｄ画像の前記地表の輪郭からのＺ値を割り当てるステップ；
特定の２Ｄ画素と同じＸ、Ｙ座標値を有する前記３Ｄ画像においてデータ点が存在しない場合に、Ｚ値を補間する又は推定するステップ；
を更に有する、請求項１５に記載のシステム。
前記カラーマップが用いられる領域の特徴に基づいて、前記コンテンツに一般に関連付けられた補色又は色相に対して、複数の前記カラーマップが選択される、請求項１１に記載のシステム。
前記２Ｄ画像及び前記３Ｄ画像を登録するように、前記コンピュータはプログラムされている、請求項１１に記載のシステム。