JP2019503484A

JP2019503484A - マルチスペクトルデータの幾何学的リファレンシング方法およびシステム

Info

Publication number: JP2019503484A
Application number: JP2018536273A
Authority: JP
Inventors: リフェンス，ステファン; デラウレ，バフォ
Original assignee: ヴィートエヌブイ
Priority date: 2016-01-13
Filing date: 2017-01-13
Publication date: 2019-02-07
Also published as: US20190340811A1; CA3007619A1; AU2017206966A1; ES2731451T3; EP3193136B8; WO2017121876A1; US10565789B2; EP3193136B1; EP3193136A1; CN108474661A; ES2731451T8; PL3193136T3

Abstract

本発明は、一連の画像におけるマルチスペクトルデータの幾何学的リファレンシング方法に関する。画像は、それぞれ個別の波長における画像化された放射を表す個別の領域を含み、この方法は、一連の画像からサブセットを選択することを備え、上記サブセットは複数の画像を含み、各画像は同じサブセット内の少なくとも１つの別の画像の視野と重複する視野を表し、方法はサブセット内の画像における写真測量三次元再構成を実施することにより三次元モデルを生成することと、上記一連の画像の連続する画像の組の間における変位およびヨーを推定することと、上記三次元モデルおよび上記推定変位およびヨーを用いて、上記一連の画像の上記の選択されたサブセット内にない画像用の写真測量パラメータを計算することと、を備える。本発明は、対応するシステムおよび対応するコンピュータプログラム製品にも関する。

Description

発明の分野
本発明は、例えば航空画像における画像取得の分野に関する。より詳細には、本発明は、マルチスペクトル画像を取得するためのセンシングシステム、これに対応するイメージングシステムおよびその使用方法に関する。

背景技術
ハイパースペクトルイメージングは、電磁スペクトル全体からの情報が多数の狭いスペクトル帯域において収集および処理されるスペクトルイメージングの一形態である。収集された異なるスペクトル画像から、撮像された物体からの情報が導かれる。例えば、特定の物体は画像に固有のスペクトルシグネチャを残し、それは物体の状態に依存することさえもあり得るため、マルチスペクトルイメージングにより得られた情報は、撮像された領域内の物体の存在の有無および／または状態に関する情報を提供することが可能である。撮像されるスペクトル域の選択後、このスペクトル域全体のスペクトル画像が取得可能であるため、物体に関する詳細の事前知識は必要なく、全ての利用可能な情報を後処理において得ることが可能である。元来は、ハイパースペクトル・リモートセンシングは主に鉱業および地質学において使用されてきたが、生態学、農業および監視のように、その他の分野でもこのイメージング技術を利用している。

取得した二次元情報から三次元情報、特に標高情報を推測するため写真測量技術を利用することは公知である。このような技術の例としては、Ｂ．Ｓ．Ａｌｓａｄｉｋ、Ｍ．Ｇｅｒｋｅ、Ｇ．Ｖｏｓｓｅｌｍａｎらによる「文化遺産の三次元モデリングのための最適なカメラネットワークデザイン」（２０１２年）、写真測量、リモートセンシングおよび空間情報科学の国際写真測量リモートセンシング学会年報Ｉ−３、７−１２において開示されている。

ハイパースペクトル・リモートセンシングの農業および生態学における利用は公知であり、例えば作物の成長や状態の監視、ブドウ品種検知、個別の林冠の監視、植物の化学組成の検出ならびに病気の発生の早期発見、汚染およびその他の環境要因の影響の観察等が農業分野でのいくつかの応用例である。ハイパースペクトルイメージングは、生物物理学的特性の検出のため、内水および沿岸水研究にも使用される。鉱物学では、金またはダイヤモンドのような高価な鉱物の検出が、ハイパースペクトルセンシングを用いて行われることが可能であるが、パイプラインや天然井戸からのオイルおよびガス漏れの検出にも使用され得る。地球、また他の惑星、小惑星や彗星に関しても土壌組成の検出にハイパースペクトルイメージングが応用されることが考えられる。監視における利用では、ハイパースペクトルイメージングは例えば生物の検出用に実施されることができる。

本出願の出願人による国際公開第２０１１／０７３４３０号パンフレットは、センシングデバイスに対する相対運動における対象領域の幾何学的リファレンスされたマルチスペクトル画像データを得るためのセンシングデバイスを開示している。このセンシングデバイスは、第１二次元センサ素子とスペクトルフィルタとを備える。スペクトルフィルタおよび第１センサ素子は、第１センサ素子の一部を用いて、第１の波長もしくは波長域でのスペクトル情報を得るために、そして第１センサ素子のもう１つの部分を用いて、第２の波長もしくは波長域でのスペクトル情報を得るために設けられる。これによって、第１センサにより取得された単一の画像の異なる部分は、それぞれ異なる波長の放射による景色の画像を示している。

今まで、国際公開第２０１１／０７３４３０号パンフレットの第１センサにより得られるようなマルチスペクトル画像またはハイパースペクトル画像に上述の写真測量技術を直接的に応用する満足いく形での方法はなかった。それでも、取得されたマルチスペクトル画像またはハイパースペクトル画像に関する完全な写真測量情報は、全ての波長域において、スキャンされた景色の画像を正確にまとめるためには必要不可欠である。

国際公開第２０１１／０７３４３０号パンフレットでは、この問題は、同基板上に第２センサを設けることにより解決され、この第２センサは第１センサにより撮像される領域のパンクロマチック画像を同時に取得する。パンクロマチック画像は、三次元モデリングに利用され、続いてこの三次元モデル情報は、マルチスペクトルまたはハイパースペクトル第１センサによりカバーされる異なる複数の波長域における景色の合成画像に転換される。

本出願と同じ出願人による未公開の国際特許出願ＥＰ２０１５／０６５５２３号明細書は、センシングデバイスに対する相対運動における対象領域の幾何学的リファレンスされたマルチスペクトル画像データを得るためのセンシングデバイスについて説明している。このセンシングデバイスは、少なくとも第１の二次元センサ素子を備え、センシングデバイスは、センシングデバイスに対する対象領域の相対運動の際に、続くマルチスペクトル画像を取得するよう適合されており、これにより第１センサ素子を使用して対象領域の異なる複数の部分の個別のスペクトル情報を提供し、センシングデバイスは、第２の二次元センサ素子を備え、センシングデバイスは、個別のスペクトル情報に結合される幾何学的リファレンス情報を生成するため対象領域の画像を、第２センサ素子を用いて提供するよう適合されており、第１二次元センサ素子は、第１フレームレートで第１フレームシーケンスを取得するよう作動可能であり、第２二次元センサ素子は、第２フレームレートで第２フレームシーケンス取得するよう作動可能であり、第１フレームレートは第２フレームレートより高く、センシングデバイスはさらに、上記第２フレームシーケンスからの利用可能である同期フレームがない上記第１フレームシーケンスのフレームに結合される中間幾何学的リファレンス情報を生成するよう構成されるプロセッサを備え、上記中間幾何学的リファレンス情報は、上記第２フレームシーケンスからの１つ以上の時間的に類似のフレームから導かれる。こうして、国際特許出願ＥＰ２０１５／０６５５２３号明細書によるシステムは、国際公開第２０１１／０７３４３０号パンフレットと比較すると、幾何学的リファレンシングに必要なパンクロマチック画像の数を補間または補外により低減することができる。しかし、国際特許出願ＥＰ２０１５／０６５５２３号明細書のシステムでは、パンクロマチック画像が必要であるという前提は変わらないままである。

本発明の発明者による論文、Ａ．Ｓｉｍａらによる「指向性デジタルカメラ画像および三次元モデルを利用した近距離ハイパースペクトルスキャンの半自動化レジストレーション」、ＰｈｏｔｏｇｒａｍｍｅｔｒｉｃＲｅｃｏｒｄ誌、ｖｏ２９（２１０４）、ｎｏ．１４５は、ＬＩＤＡＲモデルおよび従来式のデジタル写真による地上パノラマハイパースペクトル画像のレジストレーションの半自動化方法を開示している。この方法は、異なる視点から、電磁スペクトルの著しく異なる部分で、異なる空間分解能および幾何図法で取得された画像間で対応する点を検出することに基づいている。この論文では、ハイパースペクトル帯域とカバーする（パンクロマチック）デジタルカメラ画像との間で合致させられる一致する点の数は、波長により異なることが認識されており、最も多くの点が合致可能であるスペクトル帯域の公正な選択に基づく技術を提案している。

本出願と同じ出願人による未公開の国際特許出願ＥＰ２０１５／０６５５２４号明細書は、一連の画像に画像化された物体の写真測量三次元再構成を実行するための方法を示している。画像はそれぞれ別個の波長での画像化された放射を表す個別の領域を含み、この方法は、一連の画像から複数のサブセットを選択することを備え、複数のサブセットの各々は、複数の画像を含み、各画像は、同一のサブセット内の少なくとも１つの他の画像の視野と重なる視野を表し、方法はさらに、サブセットのそれぞれのサブセット内の画像に対して写真測量三次元再構成を実行することによって一組の中間三次元モデルを生成することと、一組の三次元モデルからの中間三次元モデルを、結合された三次元モデルに再結合することとを備える。しかし、この方法では依然としてかなりの処理量が必要とされる。

ＵＲＣベンチャーＩｎｃ．による国際公開第２０１４／１５１７４６号パンフレットは、様々な方法でモバイルデバイスを介して取得された画像の分析技術を開示しており、画像の１つ以上の物体の１つ以上の特性の測定を評価することを含む。例えば、上述の技術は、使用者が持っているモバイルデバイスを介して取得される画像に基づいて、使用者がそのいくつかまたは全ての周囲を通る際に、材料またはその他の大きな物体の貯蔵量の容量を測定するために使用可能であるとされている。対象となる物体の一連のデジタル画像の取得の際に、モバイルデバイスの使用人物に対して各種のユーザフィードバックが供給されることができ、特に画像が更なる分析用に各種方法により選択されることができる。さらに、物体の容積および／またはその他の所定の物体情報の計算には、コンピュータモデルまたは選択された画像からの物体のその他の描写の生成および操作が含まれてもよい。この文献に開示される技術は、個別の波長の放射を表す画像に関するものではない。

ＬｉｃｈｕｎＬｉらによる論文「オンボード・イメージシーケンスからの三次元地形再構成に基づく地形照合の新たなナビゲーションアプローチ」、ＳｃｉｅｎｃｅＣｈｉｎａＴｅｃｈｎｏｌｏｇｉｃａｌＳｃｉｅｎｃｅｓ、Ｖｏｌ．３５（２０１０年）、ｎｏ．５、１１７６−１１１８３は、オンボードカメラにより取得されたイメージシーケンスからの三次元地形再構成による地形照合のパッシブナビゲーション方法を開示している。ナビゲーションのために画像シーケンス処理の自動化および同時性を達成するため、基準点トラッキングに基づく対応レジストレーション方法が提案され、これは画像シーケンス全体に渡りわずかな基準点をトラッキングし、これを対応するものとして幾何学ソリューションにおいて使用する。画像重複率および交角に基づくキーフレーム選択法が調査されて、カメラシステム構成の要件が設けられる。提案された方法は、基準点に基づき最適な局所的ホモグラフィ評価アルゴリズムも含み、これは照合されるべき点およびその対応する速度を正確に予測するために役立てられる。したがって、こうして再構成された軌道のリアルタイムの三次元地形が、参照の地形図と照合され、結果によりナビゲーション情報が提供される。この論文で開示される技術は、個別の波長における放射を表す画像に関するものではない。

ＴｕｒｎｅｒＤａｒｒｅｎらによる論文「超高解像度ＵＡＶ画像の直接的ジオリファレンス」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＧｅｏｓｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇ、ｖｏｌ．５２（２０１４年）、ｎｏ．５、２７３８−２７４５は、カメラ露出を、１０〜２０ｃｍの精度でＧＰＳにより記録される機体の位置との同期化を可能にするカメラグローバル・ポジショニング・システム（ＧＰＳ）モジュール用のコンセプトを開示している。ＧＰＳアンテナとカメラ中心との間の位置誤差を説明するため、レバーアーム補正がカメラ位置に対して行われる。あいまいな画像および過度の重複を有する画像を除去するために、画像選択アルゴリズムが実施される。この研究では、３つの異なるソフトウェア方法を比較し（フォトスキャン、Ｐｉｘ４Ｄウェブサービス、社内のバンドラー方法）、それぞれを処理時間、使いやすさ、作成される最終的なモザイク画像の空間精度に基づいて評価している。この論文は、処理効率を向上させるためには重複する画像のいくつかを除去する必要性を挙げており、これは画像ＥＸＩＦヘッダからの画像位置情報を読み込むことにより達成される。約８０％の画像重複が、ＳｆＭベースの画像処理アルゴリズムでは最も良い結果が得られるという。画像サブセットは連続する画像の間の距離を計算することにより得られる。この論文に掲示される技術は、個別の波長の放射を表す画像に関するものではない。

ＶｉｓｕａｌＩｎｔｅｌｌｉｇｅｎｃｅＬＰによる国際公開第２０１４／０３１２８４号パンフレットは、画像センサシステムを開示しており、これは、移動体またはプラットフォームに固定されるとともに内部に少なくとも３つの画像センサを有する取付ユニットを含み、第１、第２、第３画像センサがそれぞれ、取付ユニット内の孔を通る焦点軸を有し、第１画像センサが、ピクセルの第１アレーを備えるターゲット領域の第１画像領域を生成し、第２画像センサが、ピクセルの第１アレーを備えるターゲット領域の第２画像領域を生成し、第１および第２画像センサは、ターゲット領域内で第１画像重複領域を有するようオフセットされており、第１センサの画像データは第２センサの画像データを第１画像重複領域で両断する。様々な実施形態が説明されている。カメラアレーアセンブリは、関連する画像領域の隣接する境界がわずかに重なるよう構成されている。この文献では、オルソマップを作成するために標準的な写真測量技術を用いて重複する画像のシーケンスのオルソ補正が提案されて、各ピクセルが固有の緯度および経度座標および固有の標高座標を有するが、異なるスペクトル域で取得された画像を扱うことは対象としていない。

Ｍ７ＶｉｓｕａｌＩｎｔｅｌｌｉｇｅｎｃｅＬＰによる国際公開第２００４／０２７３４８号パンフレットは、自動ロック移動パターンおよびターゲット遠隔センシングデータを利用したオンボード遠隔センシングシステムの較正方法を開示している。自動ロック移動パターンは、多数の平行の移動ラインを含み、これらは隣接する移動ライン間で重複するスワス幅を有する。重複するスワス幅は、遠隔センサデバイスのボアサイト角およびレンジオフセットを判定するために使用される。さらに、この方法は、水平方向および垂直方向の推定される偏向誤差を生成するために使用されることも可能である。これらの推定誤差は、レンジオフセットおよびボアサイト角の補正因子として使用可能である。

必要とされているのは、同時に取得されるパンクロマチック画像が不要であり、計算量が軽減されるマルチスペクトル画像またはハイパースペクトル画像の幾何学的レファレンシングの代替方法である。

発明の概要
本発明の一態様に係り、一連の画像におけるマルチスペクトルデータの幾何学的リファレンシング方法が提供される。画像は、それぞれ個別の波長における画像化された放射を表す個別の領域を含み、この方法は、一連の画像からサブセットを選択することを備え、上記サブセットは複数の画像を含み、各画像は同じサブセット内の少なくとも１つの別の画像の視野と重複する視野を表し、方法は、サブセット内の画像における写真測量三次元再構成を実施することにより三次元モデルを生成することと、上記一連の画像の連続する画像の組の間における変位およびヨーを推定することと、上記三次元モデルおよび上記推定変位およびヨーを用いて、上記一連の画像の上記の選択されたサブセット内にない画像用の写真測量パラメータを計算することと、を備える。

本出願全体を通して、「マルチスペクトル」という用語は、その他の記載がない限り、「ハイパースペクトル」も含むと理解されるものとする。

１セットの区分的なマルチスペクトル画像の正確な幾何学的リファレンシングがより効率的に実施可能であることが本発明の長所であり、それは、写真測量技術（十分に間隔が空いている画像に関して）と、補間法（写真測量に選択された画像間の画像全てに関して）とを適切に組み合わせることにより行われる。

未公開の国際出願ＥＰ２０１５／０６５５２４号明細書に記載される発明のように、本発明は特に、同じフィーチャが異なる画像間で外観の差異があるにもかかわらず、マルチスペクトル画像に三次元モデリングをうまく応用することが可能であるという発明者らの意外な見識に基づいている。ただし、三次元再構成に用いられる画像は十分な間隔が空いているということが条件である。よって、写真測量三次元モデリング用に画像の組を選択する際に、スペクトル近接（撮像波長が近いほど視覚的に類似の画像である）およびスペクトル分離（画像が撮像された距離が離れているほど立体情報が顕著である）の相反する要件は、意外な「スイートスポット」をもたらし、ここでマルチスペクトル画像またはハイパースペクトル画像の組の効率的かつ正確な写真測量処理が可能であることが判明している。しかし、本発明は、国際出願ＥＰ２０１５／０６５５２４号明細書の写真測量法の過剰な処理要件を、その適用を画像のサブセットに限定し、介在する画像用のパラメータを補間法により分解することにより軽減する。

一実施形態では、本発明に係る方法はさらに、異なる波長に対して感受性を有する異なる部分を有するセンサ素子を有するハイパースペクトルセンサにより一連の画像を取得することを備える。

発明者らは、本発明がハイパースペクトル画像に生じるリファレンシング問題を解決するために特に適していることを発見した。

本発明に係る方法の一実施形態では、一連の画像は、センサの動作方向で間隔が接近している画像を備え、これにより上記の方向で約９９％の重複がある。

本発明を使用することにより得られる計算量に関する改善は、空中のスペクトル写真において得られるハイパースペクトル画像の場合のように、処理される画像が特に密接に接近している場合に特に顕著である。

本発明の一態様に係り、実行されると、上述の方法のステップをプロセッサに実施させるよう構成されるコード手段を備えるコンピュータプログラム製品が設けられる。

本発明の一態様に係り、一連の画像におけるマルチスペクトルデータの幾何学的リファレンシング用のシステムが設けられ、この画像はそれぞれ個別の波長における画像化された放射を表す個別の領域を含み、このシステムは、一連の画像からサブセットを選択するように構成されるプロセッサを備え、上記サブセットは複数の画像を含み、各画像は同じサブセット内の少なくとも１つの別の画像の視野と重複する視野を表し、プロセッサは、サブセット内の画像における写真測量三次元再構成を実施することにより三次元モデルを生成し、上記一連の画像の連続する画像の組の間における変位およびヨーを推定し、上記三次元モデルおよび上記推定変位およびヨーを用いて、上記一連の画像の上記の選択されたサブセット内にない画像用の写真測量パラメータを計算するよう構成される。

本発明に係るシステムの一実施形態では、画像はハイパースペクトル画像であり、これは異なる波長に対して感受性を有する異なる部分を有するセンサ素子を有するハイパースペクトルセンサにより取得される。

本発明に係るシステムの一実施形態では、一連の画像は、センサの動作方向に間隔が接近している画像を備え、これにより上記の方向で約９９％の重複がある。

本発明に係るコンピュータプログラム製品およびシステムの実施形態の技術的効果および長所は、必要な変更を加えて、本発明に係る方法の実施形態に対応する。

図面の簡単な説明
本発明の上述の、またその他の技術的態様および長所をさらに詳細に、添付の図面を参照して以下に説明する。

地上の画像を取得するために用いられる例示的な空中移動体の飛行経路、ならびにこの移動体に搭載されるセンサにより取得される連続画像の境界の概略図である。図１の図における２つの連続して取得される画像の領域の斜視図である。連続撮像位置に関する図１および２のセンサの画角を概略的に示す図である。マルチスペクトルセンサ、特にハイパースペクトルセンサによる連続取得により撮像された領域の斜視図である。連続撮像位置に関する図４のセンサの画角を概略的に示す図である。本発明の原理を概略的に示す図である。本発明に係る方法の実施形態を表すフローチャートである。

実施形態の説明
本明細書において使用する「三次元再構成」とは、実際の物体の形状（および外観）を取得するプロセスのことである。

本発明において使用する「写真測量三次元再構成」は、「ストラクチャ・フロム・モーション」または「画像ベースモデリング」とも呼ばれ、画像を用いて実際の物体の形状（および外観）を取得するプロセスである。物体の写真測量三次元再構成は、その物体の異なる視点から取得した少なくとも２つの画像を必要とする。実際に多くの場合は、カメラ較正の精度が十分でない場合、３つの画像が必要とされる。１つの地上位置（物点）に対応する画像シーケンス内のピクセルの座標が、以下を同時に導き出すために使用される（バンドル調整）。すなわち、内部画像配向パラメータ、外部画像配向パラメータ、および地上点（物点）の三次元座標である。三次元再構成の結果の精度は、（とりわけ）画像ネットワークに依存する（例えば前方または側方の重複）。

写真測量を最適な条件で実施するため、画像セットは十分な詳細度（例えば各方向に少なくとも５００〜１０００ピクセル）および適切な形状係数（非常に長くされた形状係数は精度を低減させる傾向にあるため、好適にはＸおよびＹ方向に類似の大きさ）を有する必要がある。

好適には、写真測量に使用される連続画像は、約８０％重複する。重複率が実質的にこれより低いと、２つの画像に共通する領域はより小さく、共通する特徴が少なくなる。重複率が実質的にこれより高いと、画像間の角変位は非常に小さくなり、推定の精度が低減することとなる。

図１（正確な縮尺ではない）は、地上の画像を取得するために使用される例示的な空中移動体の飛行経路を概略的に示しており、この移動体に搭載されるセンサにより取得された連続する画像の境界が、二次元マップ（平面図）として示されている。こうして取得された一連の画像は、これ以降「画像ネットワーク」とも称される。センサは可視領域で（例えばＲＧＢセンサ）、またはその他の特定のスペクトル領域（例えば近赤外線、短波長赤外線等）で感受性を有することができる。

取得された画像は二次元であるため、撮像された地形の三次元再構成を可能にするためには複数の画像が必要とされる。特に、個々の特徴の三次元再構成には、これらの特徴が異なる角度で撮られた複数の画像に存在していることが必要であり、これは上述のように、センサにより取得された連続する画像が十分な重複を表示していなくてはならないことを意味する。図１に示すように、一定の飛行方向で撮られた連続する画像間の典型的な重複量は、およそ８０％である。隣接する対応する地形帯の第１経路および第２経路において取得された画像間の横の重複は、およそ２０〜３０％である。その際第１経路および第２経路は一般的に異なる飛行方向に対応する。

図２は、図１の図における２回の連続する撮像により取得された領域の斜視図であり、特に撮像領域間の重複領域を示している。

図３は、連続する撮像位置に関する図１および図２のセンサの画角を概略的に示し、センサから地上の特定の物体への視線が１つの画像（画像_ｉ）から次の画像（画像_ｉ＋ｉ）に顕著に変わる様子を示している。画角のこの差異によって特徴の三次元特性の写真測量再構成が、特にその高さに関して可能になる。

図４は、マルチスペクトルセンサ、特にハイパースペクトルセンサにより連続的に取得された画像の領域の斜視図である。ハイパースペクトルセンサの一例が、本発明の出願人による国際公開第２０１１／０７３４３０号パンフレットに開示されており、そこでは第２（可視領域）のセンサと併用されて作動する「第１センサ」として説明されている。国際公開第２０１１／０７３４３０号パンフレットの「第１センサ」は、本発明を明確にするために挙げられるが、本発明はこれに限定されるものではない。

このようなハイパースペクトルセンサでは、センサ素子の異なる部分が異なる波長に対して感受性を有することが通常である。この効果は、センサ素子の表面に渡って変化する波長応答性を有するフィルタリング層を有するセンサ素子を設けることにより得られる。したがって、このようなハイパースペクトルセンサにより撮られた画像は実際には、それぞれ異なる波長域の放射で見られる地形の対応する部分を画像の異なる部分が表すモザイク画である。特定の波長域の放射で見られる特定の領域の画像を得るためには、多数のこのようなモザイク画の関連する部分が組み合わされなければならない。全ての関連するスペクトル帯域を完全に空間的にカバーすることを確実にするためには、これらのハイパースペクトルセンサは、例えば前方方向で９９％（センサ動作の速度に応じて非常に高いフレームレートが必要になり得る）のような、近接した間隔の画像を必要とすることは明らかである。

よって、個々の画像に関しては、画像ラインは前方方向で多様なスペクトル帯に渡って分割されている。その結果、各個別の画像において、個別のスペクトル帯は少数のラインによってのみカバーされている（例えばその数は１００以上のスペクトル帯を有するハイパースペクトル撮像に関しては１０未満であり得る）。これにより、この個別の帯域において写真測量の使用が妨げられる。

図５は、図４のセンサの連続撮像位置の画角を概略的に表し、センサから任意の特定の地上物体への視線が１つの画像（ｉｍａｇｅ_ｉ）から次の画像（ｉｍａｇｅ_ｉ＋１）へと変化する様子を示す。これらのハイパースペクトルセンサの高いフレームレートによって、地表特徴の三次元特性の写真測量再構成に必要とされる画角の差は非常に小さくなる。これは、写真測量を利用することによりこれらの画像において達成され得る精度に（垂直方向の位置推定、外部画像配向、内部画像配向等に関して）マイナスの影響を及ぼす。さらに、小さい視差画像セットを扱う方法は、計算面においてかなりの困難が伴うため、大きなデータセットにおいては実際に実現可能ではない。

本発明は特に、スペクトル近接および空間的離間の相反する要件にもかかわらず、マルチスペクトル画像またはハイパースペクトル画像の選択されたセットの効率的および正確な写真測量処理が可能であるという発明者らによる発明的洞察に基づいている。本発明は、写真測量処理用に選択された画像の間の残りの画像が、変位およびヨー（ｚ軸回転）の比較的簡単な推定に基づき、より効果的に処理可能であり、選択された画像用に得られた写真測量パラメータは残りの画像に補間可能であるという発明者らによる更なる洞察にも基づいている。

図６は、一連の画像からサブセットを選択するコンセプトを概略的に示す。本発明の目的のため、サブセットが一連の画像から選択され、その中で画像の組は、写真測量処理を可能にするのに少なくとも最低限必要とされる重複率を有しつつ、十分な大きさの視差を備える（例えば、前方方向で８０％の重複）。

図７は、本発明に係る一実施形態のフローチャートである。この方法は、マルチスペクトルセンサにより取得７１０された一連の画像において機能する。

上述の十分な重複率および視差の基準に沿って取得された画像のサブセットが選択される７２０。このサブセットの画像に関して三次元再構成が行われ７３０、これにより選択された画像に関する完全な写真測量パラメータの計算が可能になる７４０。すなわち、選択された各画像に関して、利用可能であるパラメータは（ｘ、ｙ、ｚ）座標、ならびにセンサのピッチ、ロール、ヨー角を含む。

残りの画像では、一画像から次の画像へと相対変位およびｚ軸回転を推定する処理が行われる７５０。段階的に波長感受性が変化するマルチスペクトルセンサの場合、ほとんどの特徴は一画像から次の画像では極めて類似しているように見える。これは、大きく変わらない波長帯で示されているからである。よってこの処理は、極めて小さい視差の完全な写真測量処理よりはるかに単純なものとなる。相対変位およびｚ軸回転の推定値に基づいて、写真測量処理されたサブセットのパラメータを既知の境界値として用いて、残った画像それぞれに関する写真測量パラメータの完全なセットが補間により導かれることが可能である。

補間は、当技術分野において周知の数学的手法を用いて行うことができる。
本発明は、一連の画像におけるマルチスペクトルデータの幾何学的リファレンシングのシステムにも関し、画像は、それぞれ個別の波長における画像化された放射を表す個別の領域を含み、システムは、一連の画像からサブセットを選択するよう構成されるプロセッサを備え、上記サブセットは複数の画像を含み、各画像は、同じサブセット内の少なくとも１つの別の画像の視野と重複する視野を表し、プロセッサは、サブセット内の画像に関して写真測量三次元再構成を実施することにより三次元モデルを生成し、上記一連の画像の連続する画像の組の間で変位およびヨーを推定し、上記三次元モデルおよび推定される変位およびヨーを用いて、上記一連の画像の上記選択されたサブセット内にない画像に関する写真測量パラメータを計算するよう構成されている。

上記において記載された「プロセッサ」は、１つ以上の専用のハードウェアコンポーネント（例えばＡＳＩＣ）、設定可能ハードウェアコンポーネント（例えばＦＧＰＡ）、プログラム可能なコンポーネントと適切なソフトウェア（例えば多目的プロセッサまたはＤＳＰ）またはこれらの組み合わせであることができる。同一の１つのコンポーネントまたは複数のコンポーネントが他の機能を行ってもよい。

システムはさらに、マルチスペクトルデータを含む一連の画像へのアクセス、および生成された幾何学的リファレンシング情報の出力のため適切なインタフェースを備えることができる。「インタフェース」という用語は、プロセッサがデータソースまたはレシピエントとのデータ交換を可能にするために必要なハードウェアおよびソフトウェアのことを指す。好適にはインタフェースは、規格化されたプロトコルスタック、例えばストレージ・エリア・ネットワーク（ＳＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ、例えばＩＥＥＥ８０２．３「イーサネット（登録商標）」規格）またはパーソナル・エリア・ネットワーク（ＰＡＮ、例えばＵＳＢ）のような規格により作動する。

ネットワークおよびトランスポート層では、インタフェースはＴＣＰ／ＩＰプロトコルファミリーで作動でき、特にインターネットで取得された画像および／または方法による結果がインターネットで目的地へ供給される展開が可能になる。

本発明は、本発明に係る方法のステップをプロセッサに実行させるよう構成されるコード手段を備えるコンピュータプログラム製品にも関する。

以上、本発明を特定の実施形態に基づいて説明したが、これは本発明を明確にするためであり、これに限定するわけではない。本発明の範囲は添付の請求項により決定される。

Claims

一連の画像におけるマルチスペクトルデータの幾何学的リファレンシング方法であって、前記画像がそれぞれ個別の波長における画像化された放射を表す個別の領域を含み、
前記一連の画像からサブセットを選択し（７２０）、前記サブセットが複数の画像を含み、各画像が同じサブセット内の少なくとも１つの別の画像の視野と重複する視野を表すことと、
前記サブセット内の前記画像における写真測量三次元再構成を実施することにより、三次元モデルを生成すること（７３０、７４０）と、
前記一連の画像の連続する画像の組における変位およびヨーを推定すること（７５０）と、
前記三次元モデルおよび前記推定変位およびヨーを用いて、前記一連の画像の前記選択されたサブセット内にない画像用の写真測量パラメータを計算すること（７６０）と、
を備える、方法。
異なる波長に対する感受性を有する異なる部分を備えるセンサ素子を有するハイパースペクトルセンサにより、前記一連の画像を取得することをさらに備える、請求項１に記載の方法。
前記一連の画像が、センサの動作方向で約９９％重複するよう、前記方向で近接した間隔の画像を備える、請求項１または２に記載の方法。
実行されると、請求項１から３のいずれかに記載の方法のステップをプロセッサに実施させるよう構成されるコード手段を備える、コンピュータプログラム製品。
一連の画像におけるマルチスペクトルデータの幾何学的リファレンシングシステムであって、前記画像がそれぞれ個別の波長における画像化された放射を表す個別の領域を含み、
前記一連の画像からサブセットを選択し、前記サブセットが複数の画像を含み、各画像が同じサブセット内の少なくとも１つの別の画像の視野と重複する視野を表し、
前記サブセット内の前記画像における写真測量三次元再構成を実施することにより、三次元モデルを生成し、
前記一連の画像の連続する画像の組における変位およびヨーを推定し、
前記三次元モデルおよび前記推定変位およびヨーを用いて、前記一連の画像の前記選択されたサブセット内にない画像用の写真測量パラメータを計算する
よう構成されるプロセッサを備える、システム。
前記画像が、異なる波長に対する感受性を有する異なる部分を備えるセンサ素子を有するハイパースペクトルセンサにより取得されるハイパースペクトル画像である、請求項５に記載のシステム。
前記一連の画像が、センサの動作方向で約９９％重複するよう、前記方向で近接した間隔の画像を備える、請求項５または６に記載のシステム。