JP2014038620A

JP2014038620A - ハイパースペクトルデータを処理する際に使用するための追跡される対象を識別する方法

Info

Publication number: JP2014038620A
Application number: JP2013167935A
Authority: JP
Inventors: Eric Daniel Buehler; エリック・ダニエル・ビューラー; Benjamin Thomas Occhipinti; ベンジャミン・トーマス・オッチピンティ; Robert Kuczynski Konrad; コンラッド・ロバート・クチンスキー
Original assignee: GE Aviation Systems LLC
Current assignee: GE Aviation Systems LLC
Priority date: 2012-08-17
Filing date: 2013-08-13
Publication date: 2014-02-27
Anticipated expiration: 2033-08-13
Also published as: CN103810226B; CA2823369A1; US20140050352A1; EP2698740A2; US9122929B2; JP6411718B2; BR102013020974A2; CN103810226A; CA2823369C; EP2698740A3

Abstract

【課題】ハイパースペクトルおよび空間の情報の既知のデータベースを有する追跡される対象を識別する方法を提供する。
【解決手段】方法は、追跡される対象に識別子を関連付け、追跡される対象のハイパースペクトルまたは空間の情報に関連するパラメータを選択し、選択されるパラメータの偏移を検出し、偏移をデータベースと比較し、偏移が所定のしきい値を超えるならば、追跡される対象に新しい識別子を割り当て、偏移が所定のしきい値を超えないならば、追跡される対象の追跡を継続する。
【選択図】図１

Description

本発明は、追跡される対象を識別する方法等に関する。

ハイパースペクトルイメージ（ｈｙｐｅｒｓｐｅｃｔｒａｌｉｍａｇｅｒｙ：ＨＳＩ）用のリモートセンシングシステムの環境については、Manolakis, D., Marden, D., and Shaw G.による「Hyperspectral Image Processing for Automatic Target Detection Applications」（Lincoln Laboratory Journal; Volume 14; 2003 pp. 79-82）において十分に説明されている。イメージングセンサは、ハイパースペクトルエネルギーの測定値を記録する画素を有する。ＨＳＩデバイスは、配列の幾何配置により空間情報を取り込み、いくつかの連続的なハイパースペクトル帯域の各々の画素で測定値を作成することによりスペクトル情報を取り込む、画素の配列でエネルギーを記録することになる。空間およびスペクトルの情報のさらなる処理は、リモートセンシングシステムの特定の用途によって異なる。

リモートセンシングのＨＳＩは、環境および土地利用のモニタリング、軍の監視および偵察を含む広範囲の用途に対して価値が高いことが判明している。ＨＳＩは、空間およびスペクトルの両方の情報を包含する画像データを提供する。これらの型の情報を、リモートの検出および追跡の作業用に使用することができる。具体的には、無人航空機（ＵＡＶ）または地上局などのプラットフォームに搭載される視覚センサの組が与えられると、ＨＳＩの映像を取得することができ、アルゴリズムの組を、フレームごとに対象を検出し追跡するためにスペクトル映像に適用することができる。

スペクトルベースの処理アルゴリズムが、類似する画素、すなわち類似するスペクトルの特性またはシグネチャを伴う画素を、分類またはグループ分けするために開発されてきた。この様式のみでの処理は、シーン内の目標の数およびサイズが、目標の型を分類するのに必要な統計的性質の推定をサポートするには典型的には小さすぎる、目標の追跡および検出の用途では扱いやすくない。一方で典型的なＨＳＩの空間処理は、ＨＳＩを収集する典型的なシステムの低い空間分解能により損なわれる。その結果、ＨＳＩを収集し処理するリモートセンシングシステムは典型的には、分解される目標および分解されない目標の両方の検出を最大にするために、スペクトル分解能と空間分解能との間の兼ね合いとして開発されるものであり、ただし分解される目標とは、２つ以上の画素により画像化される対象である。この方途では、スペクトル的な技法で、分解されない目標をそれらのシグネチャにより検出することができ、空間的な技法で、分解される目標をそれらの形状により検出することができる。

いくつかのハイパースペクトル探索アルゴリズムが、目標検出の目的でＨＳＩの処理において開発し使用されてきた。これらのハイパースペクトル探索アルゴリズムは、典型的にはイメージ内の候補目標の統計的特性を活用するように設計され、典型的にはよく知られている統計的概念に基づいて構築される。例えばマハラノビス距離は、ハイパースペクトル画素シグネチャに適用されてきた類似性の統計的測度である。マハラノビス距離は、シグネチャの既知のクラスの平均および標準偏差に対してシグネチャを試験することにより、シグネチャの類似性を測定する。

他の既知の技法には、スペクトル角マッピング（ＳｐｅｃｔｒａｌＡｎｇｌｅＭａｐｐｉｎｇ：ＳＡＭ）、スペクトル情報発散（ＳｐｅｃｔｒａｌＩｎｆｏｒｍａｔｉｏｎＤｉｖｅｒｇｅｎｃｅ：ＳＩＤ）、ゼロ平均差分面積（ＺｅｒｏＭｅａｎＤｉｆｆｅｒｅｎｔｉａｌＡｒｅａ：ＺＭＤＡ）、およびバタチャリヤ（Ｂｈａｔｔａｃｈａｒｙｙａ）距離がある。ＳＡＭは、各々のスペクトルをベクトルとして扱い、ベクトル間の角度を算出することにより、候補目標のシグネチャを既知のシグネチャと比較するための方法である。ＳＡＭはベクトルの方向のみを使用し、ベクトルの長さを使用しないので、この方法は照度の変動に敏感ではない。ＳＩＤは、スペクトル間の確率的な不一致または発散を測定することにより、候補目標のシグネチャを既知のシグネチャと比較するための方法である。ＺＭＤＡは、候補目標のシグネチャおよび既知のシグネチャをそれらの分散により正規化し、それらの差を計算するものであり、この差が２つのベクトル間の面積に対応する。バタチャリヤ距離は、マハラノビス距離に類似するが、シグネチャの既知のクラスに対する１組の候補目標のシグネチャ間の距離を測定するために使用される。

DIMITRIS MANOLAKIS ET AL., Hyperspectral Image Processing for Automatic Target Detection Applications, Volume 14, Number 1, 2003, Lincoln Laboratory Journal

本発明は、追跡される対象を識別する方法に関する。方法は、画像センサを使用して対象を追跡するステップであって、追跡される対象がハイパースペクトルおよび空間の情報の既知のデータベースを有する、ステップ、追跡される対象に識別子を関連付けるステップ、追跡される対象のハイパースペクトルまたは空間の情報に関連する少なくとも１つのパラメータを選択するステップ、選択される少なくとも１つのパラメータの偏移を検出するステップ、偏移をデータベースと比較するステップ、ならびに偏移が所定のしきい値を超えるならば、追跡される対象に新しい識別子を割り当て、偏移が所定のしきい値を超えないならば、追跡される対象の追跡を継続するステップを含む。

本発明の第１の実施形態によるＨＳＩ内の観測される対象を追跡し、その対象に対する検出の確率を決定するための方法の線図である。本発明の実施形態によるハイパースペクトル探索アルゴリズムを選択するための方法の線図である。本発明の実施形態によるハイパースペクトル探索アルゴリズムに対する許容差を選択するための方法の線図である。本発明の実施形態によるハイパースペクトルイメージングシステムが２つの対象を検出し追跡したシナリオを示す図である。本発明の実施形態によるハイパースペクトルイメージングシステムが追跡される対象の変化を検出するシナリオを示す図である。

背景技術および以下の説明において説明目的で、数多くの具体的な詳細を、本明細書で説明する技術の徹底した理解をもたらすために記載する。しかしながらこれらの具体的な詳細がなくとも、例示的な実施形態が実践可能であることは当業者には明白であろう。他の事例では、構造およびデバイスを、例示的な実施形態の説明を容易にするために線図の形式で示す。

例示的な実施形態を、図面を参照して説明する。これらの図面は、本明細書で説明するモジュール、方法、またはコンピュータプログラム製品を実装する具体的な実施形態の決まった詳細を例示する。しかしながら図面を、図面に存在し得る何らかの制限を加えるものであると解釈すべきではない。方法およびコンピュータプログラム製品を、それらの動作を達成するために任意の機械可読媒体上で実現することができる。実施形態を、既存のコンピュータプロセッサを使用して、またはこのもしくは別の目的で組み込まれる専用コンピュータプロセッサにより、またはハードワイヤードのシステムにより実装することができる。

上記で指摘したように、本明細書で説明する実施形態は、機械実行可能命令もしくはデータ構造体を搬送するための、またはそれらが記憶された状態にするための機械可読媒体を備えるコンピュータプログラム製品を含み得る。そのような機械可読媒体は、プロセッサを伴う汎用または専用のコンピュータまたは他の機械によりアクセスされ得る任意の利用可能な媒体であり得る。例としてそのような機械可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、所望のプログラムコードを機械実行可能命令もしくはデータ構造体の形式で搬送もしくは記憶するために使用され得る、かつプロセッサを伴う汎用もしくは専用のコンピュータまたは他の機械によりアクセスされ得る、任意の他の媒体を備え得る。情報をネットワークまたは別の通信接続（ハードワイヤード、ワイヤレス、またはハードワイヤードもしくはワイヤレスの組合せのいずれか）を介して機械に伝送または提供するとき、機械は当然のことながらその接続を機械可読媒体とみなす。したがって任意のそのような接続を、当然のことながら機械可読媒体と呼ぶ。上記の組合せもまた、機械可読媒体の範囲内に含まれる。機械実行可能命令は例えば、汎用コンピュータ、専用コンピュータ、または専用処理機械に、決まった１つの機能または機能の群を遂行させる命令およびデータを含む。

実施形態を、例えばネットワーク化された環境での機械により実行されるプログラムモジュールの形式でのプログラムコードなどの機械実行可能命令を含むプログラム製品により一実施形態において実装され得る、方法ステップの概括的な脈絡で説明する。概してプログラムモジュールは、個別のタスクを遂行する技術的効果を有する、または個別の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造体等を含む。機械実行可能命令、関連するデータ構造体、およびプログラムモジュールは、本明細書で開示する方法のステップを実行するためのプログラムコードの例を表す。そのような実行可能命令の個別のシーケンスまたは関連するデータ構造体は、そのようなステップで説明する機能を実装するための対応する作用の例を表す。

実施形態を、プロセッサを有する１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で実践することができる。論理接続は、ここでは例としてであり限定としてではなく提示される、ローカルエリアネットワーク（ＬＡＮ）および広域ネットワーク（ＷＡＮ）を含み得る。そのようなネットワーク化環境は、職場内または企業内のコンピュータネットワーク、イントラネットおよびインターネットではありふれたものであり、多種多様の異なる通信プロトコルを使用することができる。そのようなネットワークコンピューティング環境が典型的には、パーソナルコンピュータ、ハンドヘルドデバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブルの民生用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等を含む多くの型のコンピュータシステム構成を包含することになることを当業者ならば理解するであろう。

実施形態を、通信ネットワークを介して（ハードワイヤードリンク、ワイヤレスリンクによって、またはハードワイヤードもしくはワイヤレスのリンクの組合せによってのいずれかで）リンクされる、ローカルおよびリモートの処理デバイスによりタスクが遂行される分散コンピューティング環境でさらに実践することができる。分散コンピューティング環境でプログラムモジュールは、ローカルおよびリモートの両方のメモリ記憶デバイスに存在し得る。

例示的な実施形態の全体または一部分を実装するための例示的なシステムは、処理装置、システムメモリ、およびシステムメモリを含む様々なシステム構成要素を処理装置に結合するシステムバスを含む、コンピュータの形式での汎用コンピューティングデバイスを含み得る。システムメモリは、リードオンリーメモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）を含み得る。コンピュータは、磁気ハードディスクに関する読出しおよび書込みを行うための磁気ハードディスクドライブ、リムーバブル磁気ディスクに関する読出しまたは書込みを行うための磁気ディスクドライブ、ならびに、ＣＤ−ＲＯＭまたは他の光学媒体などのリムーバブル光ディスクに関する読出しまたは書込みを行うための光ディスクドライブをさらに含み得る。ドライブおよびそれらの関連する機械可読媒体は、機械実行可能命令、データ構造体、プログラムモジュール、およびコンピュータ用の他のデータの不揮発性の記憶をもたらす。

実施形態で開示する本方法の技術的効果には、特に対象を検出し追跡する方法が本方法とともに使用されるときに、ハイパースペクトルシグネチャマッチングの有用性および性能を高めるということがある。本方法は、追跡される対象を観測するのに必要な工数の量を減らす。さらに本方法は、人間のオペレータによる即時の再検討の必要性をなくすことにより、すでに追跡されている対象と関係する新しい対象の自律的な識別および関連付けを改善し、追跡の喪失を防止し、自律的な追跡を拡張する。この技法を、スペクトルの立方配列から複合イメージを生成する任意のシステム上で使用することができる。

図１は、本発明の第１の実施形態によるＨＳＩ内の観測される対象を追跡し、その対象に対する検出の確率を決定するための方法１０の線図である。単一の画像またはハイパースペクトル映像の供給物を含み得るリモートセンシングのＨＳＩを、ＨＳＩを処理可能なプロセッサに１２で入力することができる。プロセッサは、１２でハイパースペクトルデータを受け取り、ノイズフィルタリング、コーナー検出、画像レジストレーション、ホモグラフィ、およびフレーム対フレームのアライメントを含み得るがそれらに限定されない一連のよく知られている画像処理ステップを遂行することにより、１４でデータセットをハイパースペクトル画像フレームの組に処理する。次いでプロセッサは、ハイパースペクトル画像フレーム内の追跡される対象から、１６で探索アルゴリズムを使用して候補目標を選択することができ、ここで候補目標および追跡される対象は、目的の現実世界の対象のハイパースペクトル画像を表し得る画素の組である。例えば、移動する目標を探索するように設計されるＨＳＩを収集するシステムでは、候補目標は移動する対象であり得る。この例ではプロセッサは、ＨＳＩ内の移動する対象を識別する最小判別特性に対する計算探索を遂行することができる。別の例では、ＨＳＩを収集するシステムのユーザは、表示上で画素を手動で選択し、さらなる分析のために対応するシグネチャを識別する。

次いでプロセッサは、ＨＳＩのフレームごとに１８で、選択した候補目標を追跡することができる。プロセッサは２０で、選択した候補目標を、２８でのテンプレートデータベースに記憶される既知の目標の基準目標テンプレートと比較することができ、ここで基準目標テンプレートとは、目的の現実世界の対象のハイパースペクトル画像を表すように前に確定されている場合がある画素の組である。

２２でプロセッサは、マッチング対の比較を行うことができる。選択した候補目標が２８でのテンプレートデータベースからの基準目標テンプレートとマッチングするならば、プロセッサは２４で、選択した候補目標と基準目標テンプレートとの間のマッチング程度、および選択した候補目標が検出された確率を決定することができる。選択した候補目標がテンプレートとマッチングしないならば、プロセッサは３０で、選択した候補目標が新しい基準目標テンプレートであるとみなすことができ、さもなければ３２でそれを放棄することができる。選択した候補目標が、３０で新しいテンプレートとみなされるならば、プロセッサは、新しい目標に関係するデータを２８での目標テンプレートデータベースに追加することができる。

２４でマッチング程度および検出の確率を決定した後、プロセッサは、２６で確率をしきい値と比較することができる。確率がしきい値を超えるならば、プロセッサは３４で処置を取ることができる。そうでないならばプロセッサは１８で、選択した候補目標の追跡を継続することができる。

特定の基準目標テンプレートが、２８での基準目標テンプレートデータベースから識別され、候補目標と２０で比較された後、プロセッサは、２４でマッチング程度および検出の確率を算出することができる。最初に２４で、選択した候補目標に出現する上位スペクトルシグネチャを、基準目標テンプレートを規定する上位スペクトルシグネチャと比較し、次いでそれらを空間的にマッチングすることにより、マッチング程度および検出の確率は、選択した候補目標が特定の基準目標テンプレートに対するマッチング相手となる確率を測定することができる。

２４でマッチング程度および検出の確率を決定する方法をコンピュータ処理するプロセッサは最初に、選択した候補目標および基準目標テンプレートの両方に出現する上位シグネチャの組を決定することができる。次いでプロセッサは、選択した候補目標および基準目標テンプレートの両方での画素の数に基づいて、それらの上位シグネチャの分布を算出することができる。このことを行うための第１のステップは、基準目標テンプレート内の画素の決まった割合に及ぶ基準目標テンプレート内のシグネチャの組を決定すること、および基準目標テンプレート内のシグネチャの各々のものの割合を決定することである。２４で方法をコンピュータ処理するプロセッサは次いで、選択した候補目標に対してシグネチャの分布を決定することができる。各々のシグネチャ内の画素の分布が基準目標テンプレート内のシグネチャの分布に類似するならば、方法をコンピュータ処理するプロセッサは、類似するシグネチャ画素間の最大および最小の差を考慮して、シグネチャの各々のものに対してマッチング程度を算出することができる。ハイパースペクトル画素分布間の類似性を計算するプロセッサは、計算のために類似性の１つまたは複数の測度を利用することができる。類似性測度は、ＳＡＭ、ＳＩＤ、ＺＭＤＡ、またはバタチャリヤ距離を含み得る。プロセッサは、実装形態に応じて他の類似性測度を利用することができる。

Ｓ_i＝｛ｓ₁，ｓ₂，…，ｓ_p｝を目標内のシグネチャの組とし、ｘ_ijをハイパースペクトルフレームの２次元空間表現でのｉｊ位置での画素とする。画素ｘ_ijは部分画素の配列で編成され、その編成は画素ｘ_ijが値の組ｘ_b1、ｘ_b2、…、ｘ_bqを有するようなものであり、ただしｑはハイパースペクトルイメージ内のスペクトル帯域の数である。したがって各々の画素は、画素により示される空間位置に対する各々のスペクトル帯域に関連する部分画素値を包含する。

簡潔にするためにここでは目標Ｔと符号を付けた基準テンプレート目標と空間的にマッチングする、簡潔にするためにここでは対象Ｏ_iと符号を付けた選択した候補目標は、目標Ｔ内のＲ％の上位シグネチャの組が対象Ｏ_iでλの類似比率で出現するならば、信頼度Ｃで目標Ｔとスペクトル的にさらにマッチングする可能性がある。目的は、対象および目標を空間的およびスペクトル的にマッチングさせること、すなわち対象および目標の形状およびシグネチャが類似することである。

Ｎ_iを対象Ｏ_i内の画素の数とし、ｒ＜ｐであるｎ_i1、ｎ_i2、…、ｎ_irが、類似するシグネチャｓ₁、ｓ₂、…、ｓ_rを提示する対象Ｏ_i内の画素の組の濃度すなわちサイズを規定するものとする。２４で方法をコンピュータ処理するプロセッサは、対象Ｏ_i内のスペクトルシグネチャの上位Ｒ％が対象Ｏ_jのＲ％の上位シグネチャとマッチングするならば、２つの対象Ｏ_iおよびＯ_jをスペクトル的なマッチング対とみなす。｛ｎ_i1，ｎ_i2，…，ｎ_ir｝および｛ｎ_j1，ｎ_j2，…，ｎ_jr｝と示される対象Ｏ_iおよびＯ_jのすべての選択した数の上位シグネチャに対してそれぞれ、

…

であるならば、２つの対象Ｏ_iおよびＯ_jは精密にλマッチングする（λ−ｍａｔｃｈ）。各々のシグネチャｌに対するマッチング程度を次式のように定義することができる。

本方法では、各々のシグネチャｌに対するマッチング程度に対して他の定義を利用することができる。２４でマッチング程度を決定するためのいかなる定義も、ファジィ測度のよく知られている数学的定義に準拠しなければならない。

最後に、２４で方法をコンピュータ処理するプロセッサは、テンプレート内のシグネチャの組と対象内のシグネチャの組との間の類似性に基づいて、検出の確率を算出することができる。Ｎ_iを対象Ｏ_i内の画素の数とみなし、Ｎ_jを対象Ｏ_j内の画素の数とみなすと、プロセッサは、マッチング程度および各々のシグネチャをマッチングさせる画素の数に基づいて、２４で検出の確率を算出することができる。プロセッサは、選択した候補目標対象の画像がハイパースペクトル画像基準目標テンプレートとどれだけ近くマッチングするかの信頼度レベルを決定するために、対象の画素の数に対してマッチング程度を正規化することにより、検出の確率を算出することができる。ＴＭと符号を付けた検出の確率を、次式のように計算する。

ここではＯ_i内のＮ_i｜ｓの数の画素が、シグネチャｓをλマッチングさせる。

２６では、目標テンプレートに対するマッチング相手としての選択した候補目標対象に対する検出の確率すなわちＴＭを、しきい値と比較することができる。２６で示すようにプロセッサは、ＴＭ−１を算出し、しきい値εと比較することができる。量ＴＭ−１がしきい値εを超えるならば、プロセッサは３４で処置を取ることができる。そうでないならばプロセッサは１８で、選択した候補目標の追跡を継続することができる。しきい値εの値を、２２でのマッチングアルゴリズム、１６での探索アルゴリズム、ならびに、ＨＳＩのシーン内の算出した対象の速度などの、特定の候補目標および２８でのデータベース内の基準目標テンプレートと関係がある情報の特定の実装形態に基づいて選択することができる。

信頼度の異なるレベルは、ＴＭの値に基づいて定義される。例えばある事例では、ＴＭが０．３５未満であるならば信頼度レベルは非常に低いことになり、ＴＭが０．３５から０．６０の間であるならば信頼度のレベルは低いことになり、ＴＭが０．６０から０．７５の間であるならば信頼度のレベルは中程度となり、ＴＭが０．７５から０．８５の間であるならば信頼度のレベルは中−高程度となり、ＴＭが０．８５より高いならば信頼度のレベルは高いことになる。マッチング対の確率がより高まるにつれて、結果の表示は、高いレベルの信頼度で検出された目標を低いレベルの信頼度で検出された目標と区別するために、ＴＭのこれらのレベルに対応付けられた一連の色によって繰り返し行うことができる。高いレベルの信頼度で検出された目標の画像の画素を、例えば表示上ですべて赤色に色付けすることができる。他のしきい値、信頼度のレベルおよび表示の機構を、実装形態に応じて使用することができる。

プロセッサが、１２でデータを受け取り、１４でそれをハイパースペクトルフレームの組に処理するとき、次いでプロセッサは、ハイパースペクトルフレームから１６で候補目標を選択することができる。プロセッサは、１６で候補目標を選択するためにハイパースペクトルデータに対する探索アルゴリズムを選択し使用することができる。ハイパースペクトルデータの次元は、主成分分析、特徴抽出、およびエントロピー測定を含むがそれらに限定されない、よく知られている次元削減技法の手段により削減されている場合がある。図２は、本発明の実施形態によるハイパースペクトルデータに対する探索アルゴリズムを選択するための方法１００の線図である。ハイパースペクトルデータに対する探索アルゴリズムを選択するために、１００で方法をコンピュータ処理するプロセッサは、初期には１１０でハイパースペクトルフレームの特性をデータベースに保存することができる。次にプロセッサは、１１２でハイパースペクトルフレームの特性を評定することができる。プロセッサが、ハイパースペクトルフレームに対して有意であると１１２で特性を評定するならば、プロセッサは、フレームの候補目標を区別するために１１６でデータに対して探索アルゴリズムを適用することができる。プロセッサが、ハイパースペクトルフレームに対して有意でないと１１２で特性を評定するならば、プロセッサは、１１４で第２の特性を評定することができる。プロセッサが、ハイパースペクトルフレームに対して有意であると１１４で第２の特性を評定するならば、プロセッサは、フレームの候補目標を区別するためにデータに対して１２０で第２のスペクトル探索アルゴリズムを適用することができる。プロセッサが、フレームに対して有意でないと１１４で第２の特性を評定するならば、プロセッサは、１１８で第３の特性を評定することができる。プロセッサが、ハイパースペクトルフレームに対して有意であると１１８で第３の特性を評定するならば、プロセッサは、ハイパースペクトルフレームの候補目標を区別するためにデータに対して１２２で第３の探索アルゴリズムを適用することができる。プロセッサが、ハイパースペクトルフレームに対して有意でないと１１８で第３の特性を評定するならば、プロセッサは、データに対してデフォルト探索アルゴリズム１２４を適用することができる。

初期にはプロセッサは、１１０でハイパースペクトルフレームの特性を決定することができる。プロセッサは、ハイパースペクトルフレーム特性が、探索アルゴリズムを選択するときにさらなる処理のために利用可能であるように、１１０でハイパースペクトルフレーム特性を保存することができる。例としての特性は、画像化したシーンの照度の変動性、類似するシグネチャを伴う画素の変動性、および基準目標テンプレート内の相違するシグネチャの数の推定値を含み得る。ハイパースペクトルフレームの他の特性を考慮することができ、これらの例を限定的であるとみなすべきではない。

ハイパースペクトルフレームの１１２での第１の特性の評定に基づいて、プロセッサは、１１６でその第１の特性により特徴付けられるハイパースペクトルデータを良好に作業対象とすることが判明している探索アルゴリズムを適用することができる。ハイパースペクトルフレームの１１２での第１の特性の評定が、第１の探索アルゴリズムがハイパースペクトルフレームを良好に作業対象とすることになることを指示しないならば、プロセッサは、１１４で第２のフレーム特性の評定のために、１１０からの保存したフレーム特性にアクセスすることができる。一例では第１の特性は、ハイパースペクトルフレームの画像化したシーンの照度の変動性であり得る。プロセッサは、画像化したシーンの照度の変動性を決定するためにハイパースペクトルフレーム特性にアクセスすることができる。プロセッサは、変動性が高いか低いかを決定するための判断を行うことができる。プロセッサは、実装形態に応じて第１のフレーム特性として他のフレーム特性を使用することができる。

第１のハイパースペクトルフレーム特性が有意であると評定されるならば、プロセッサは、ハイパースペクトルフレームおよびその候補目標を処理するために１１６で第１の探索アルゴリズムを使用することができる。本例ではプロセッサが、画像化したシーンの照度の高い変動性を算出するならば、ＳＡＭに基づく探索アルゴリズムが、最適な結果のために画像化したシーンを処理することができる。本方法では、実装形態に応じて、ＳＩＤ、マハラノビス距離、ＺＭＤＡ、およびバタチャリヤ距離を含むがそれらに限定されない分類方法に基づく他の探索アルゴリズムを使用することができる。

ハイパースペクトルフレームの１１４での第２の特性の評定に基づいて、プロセッサは、１２０でその第２の特性により特徴付けられるハイパースペクトルデータを良好に作業対象とすることが知られている探索アルゴリズムを適用することができる。ハイパースペクトルフレームの１１４での第２の特性の評定が、第２の探索アルゴリズムがハイパースペクトルフレームを良好に作業対象とすることになることを指示しないならば、プロセッサは、１１８で第３のフレーム特性の評定のために、１１０からの保存したフレーム特性にアクセスすることができる。一例では第２の特性は、類似するシグネチャを伴う画素の変動性であり得る。プロセッサは、類似するシグネチャを伴う画素の変動性を決定するためにハイパースペクトルフレーム特性にアクセスすることができる。プロセッサは、変動性が高いか低いかを決定するための判断を行うことができる。プロセッサは、実装形態に応じて第２のフレーム特性として他のフレーム特性を使用することができる。

第２のハイパースペクトルフレーム特性が有意であると評定されるならば、プロセッサは、ハイパースペクトルフレームおよびその候補目標を処理するために１２０で第２の探索アルゴリズムを使用することができる。本例ではプロセッサが、類似するシグネチャを伴う画素の高い変動性を算出するならば、ＳＩＤに基づく探索アルゴリズムが、最適な結果のために画像化したシーンを処理することができる。本方法では、実装形態に応じて、ＳＡＭ、マハラノビス距離、ＺＭＤＡ、およびバタチャリヤ距離を含むがそれらに限定されない、類似性または距離の測度に基づく他の探索アルゴリズムを使用することができる。

ハイパースペクトルフレームの１１８での第３の特性の評定に基づいて、プロセッサは、１２２でその第３の特性により特徴付けられるハイパースペクトルデータを良好に作業対象とすることが知られている探索アルゴリズムを適用することができる。ハイパースペクトルフレームの１１８での第３の特性の評定が、第３の探索アルゴリズムがハイパースペクトルフレームを良好に作業対象とすることになることを指示しないならば、プロセッサは、ハイパースペクトルフレームを処理するために１２４でデフォルト探索アルゴリズムを適用することができる。一例では第３の特性は、基準目標テンプレート内の相違するシグネチャの数であり得る。プロセッサは、基準目標テンプレート内の相違するシグネチャの数を決定するために、前に追跡された目標および対応する基準目標テンプレートを含むハイパースペクトルフレーム特性にアクセスすることができる。プロセッサは、基準目標テンプレート内の相違するシグネチャの数が大きいか小さいかを決定するための判断を行うことができる。プロセッサは、実装形態に応じて第３のフレーム特性として他のフレーム特性を使用することができる。

第３のハイパースペクトルフレーム特性が有意であると評定されるならば、プロセッサは、ハイパースペクトルフレームおよびその候補目標を処理するために１２２で第３の探索アルゴリズムを使用することができる。本例ではプロセッサが、基準目標テンプレート内の相違するシグネチャの大きな数を算出するならば、マハラノビス距離に基づく探索アルゴリズムが、最適な結果のために画像化したシーンを処理することができる。本方法では、実装形態に応じて、ＳＡＭ、ＳＩＤ、ＺＭＤＡ、およびバタチャリヤ距離を含むがそれらに限定されない、類似性または距離の測度に基づく他の探索アルゴリズムを使用することができる。

フレーム特性を調査し尽くすと、プロセッサは、ハイパースペクトルフレームおよびその候補目標を処理するために１２４でデフォルト探索アルゴリズムを使用することができる。デフォルト探索アルゴリズムは、ＳＡＭ、ＳＩＤ、マハラノビス距離、ＺＭＤＡ、およびバタチャリヤ距離のいずれかに基づくものであり得る。本方法では、実装形態に応じてデフォルト探索アルゴリズムとして他の探索アルゴリズムを使用することができる。

１００での方法は、他のフレーム特性およびそれらの評定を使用する追加的なステップを実装可能である。フレーム特性を、１１２、１１４、および１１８での前に開示した判断ステップに続く判断ステップにデイジーチェーン方式で接続することができる。さらにプロセッサは、個別の探索アルゴリズムが、ハイパースペクトルフレームを処理するために最適に導入されているかどうかを決定するために、複数のフレーム特性を評定することができる。

１００での方法では、追加的な探索アルゴリズムを実装可能である。例えばプロセッサは、同時にハイパースペクトルフレーム上で複数の探索アルゴリズムを実行することができる。次いでプロセッサは、複数の探索アルゴリズムの同時処理から方法論を作成する複数基準の判断を使用する結果を単一の結果に集約することができる。

図３は、探索アルゴリズムに対する許容差を選択するための２００での方法の線図である。図２の１１６、１２０、１２２、および１２４で、選択した探索アルゴリズムを用いてハイパースペクトルフレームを処理するとき、所与のアルゴリズムのパラメータまたは許容差を、初期には２１０で１つのデフォルト値または複数の値に設定することができる。次いで探索アルゴリズムは、２１２でデフォルト許容差とともにハイパースペクトルフレームからのデータを処理することができる。選択した探索アルゴリズムは、２１６でハイパースペクトルフレームからの候補目標を基準目標テンプレートにマッチングさせることが決定される、ハイパースペクトルフレームからのハイパースペクトル画素の数を計算することができる。ハイパースペクトルフレームからの候補目標を基準目標テンプレートにマッチングさせるハイパースペクトル画素が少なすぎるならば、プロセッサは２１８で、選択した探索アルゴリズムに対する許容差を緩和することができ、次いで探索アルゴリズムは後で、修正した許容差を用いて再度２１２でハイパースペクトルフレームを処理することができる。ハイパースペクトルフレームからの候補目標を基準目標テンプレートにマッチングさせるハイパースペクトル画素が多すぎるならば、プロセッサは２１４で、選択した探索アルゴリズムに対する許容差を縮小することができ、次いで探索アルゴリズムは後で、修正した許容差を用いて再度２１２でハイパースペクトルフレームを処理することができる。容認可能な数のハイパースペクトル画素がマッチングするならば、プロセッサは２２０で、マッチングするハイパースペクトル画素の位置およびシグネチャを保存することができる。

プロセッサは、２１４および２１８での探索アルゴリズムの許容差を修正するステップ、それに続く２１２での選択した探索アルゴリズムを用いてハイパースペクトルフレームを処理するステップを、２１６での画素のマッチングする数が容認可能な境界範囲内になるまで反復することができる。

本発明の第１の実施形態によるＨＳＩ内の観測される対象を追跡し、その対象に対する検出の確率を決定するための図１の１０での方法では、２８での基準目標テンプレートデータベース内の既知のテンプレートに対する候補目標のスペクトルおよび空間のパラメータの分析に基づく、図１の２６でのしきい値を超える候補目標に対する検出の確率に基づいて、図１の３４で処置を命令することができる。この時点で各々の候補目標は、それに関連する一意的な識別子を有することが可能である。図１の１０での方法をコンピュータ処理するプロセッサが、候補目標における偏移を、そのスペクトルおよび空間の特性の変化に基づいて検出するならば、プロセッサは、その目標のライフサイクルにおける有意事象として偏移を自律的にマーキングすることができる。次いでプロセッサは、新しい対象として偏移した目標を識別するための識別子を割り当てることができる。プロセッサは、すべての目標事象を再検討可能なタイムラインに集約することができ、その場合人間のオペレータは、追跡される対象に新規または既存の識別子を関連付けるプロセッサの選定を評価し、場合によっては是正する能力を有する。

図１の１０での方法をコンピュータ処理するプロセッサは、図１の１６での目標選択の時点での候補目標のハイパースペクトルおよび空間の両方の情報および特性の記述を伴う、図１の２８での目標テンプレートデータベースでのエントリを生出することができる。ハイパースペクトルおよび空間の情報に加えて、図１の２８での目標テンプレートデータベースは、プロセッサがＨＳＩ内の候補目標を追跡する際に時間に関する情報をさらに記憶することができる。プロセッサが、候補目標を追跡するために使用される図１の２０でのスペクトルまたは空間のパラメータの偏移を検出するならば、プロセッサは、将来の再検討のために使用され得る事象として変化を分類する、図１の２８でのデータベースに情報を記憶することができる。加えてプロセッサは、同一または新規のいずれかの一意的な識別子を、その定義したパラメータが元の目標と明らかに異なる新しい対象に関連付けることができる。プロセッサは、事象を割り当てる判断を、確定したパラメータからの有意の偏移を決定するための算出した信頼度測定値に基づいて行うことができる。信頼度測定値は、ハイパースペクトルおよび空間の情報でのセンシング誤差に対してロバストであるように、空間、スペクトル、または両方の領域で定義されるパラメータを使用することができる。

候補目標のパラメータが、その前に確定したパラメータから有意に偏移し、事象を誘発する可能性がある多くのシナリオが存在する。そのようなシナリオには、追跡される対象が別の対象により遮蔽された状態になること、追跡される対象が複数の別々の対象に分裂すること、追跡される対象が、影に覆われた区域へと横切ることにより色、コントラスト、または明度などのその対象のスペクトル特性を有意に変化させることがあり得る。他のシナリオも存在するので、これらを限定的とみなすべきではない。プロセッサがそのような事象の前後で候補目標を関連付けることができないならば、プロセッサは、事象の前に候補目標に対して使用された同じ識別子を、事象の後で１つまたは複数の新しい候補目標に関連付け、目標の喪失または誤った標識付けの可能性をなくすことができる。

図４ａおよび図４ｂは、１つのそのような例としてのシナリオを明示する。図４ａは、本発明の実施形態によるＨＳＩ内の観測される対象を追跡し、その対象に対する検出の確率を決定するための方法が、路上を走行する２つの車両３１０、３１２を検出し追跡した、３００での例としてのシナリオを示す。図１の１０での方法を実装するプロセッサは、図１の１２での受け取ったハイパースペクトルデータを、図１の１６で候補目標を選択するために、図１の１４でハイパースペクトルフレームのシーケンスに処理する。図１の２０で、候補目標を図１の２８での基準目標テンプレートデータベース内のテンプレートと比較すると、図１の２４でのマッチングの程度および検出の確率の結果として得られる算出値は、有意であり、図１の３４での処置を誘発する。プロセッサは、各々の車３１０、３１２に、図１の２８での基準目標テンプレートデータベースに記憶され得る目標識別子を割り当てる。

図４ｂは、本発明の実施形態によるＨＳＩ内の観測される対象を追跡し、その対象に対する検出の確率を決定するための方法が、追跡される対象の変化を検出したシナリオを示す。図４ｂが明示する事象は、前に識別された候補目標のうちの１つである図４Ａでの車３１０が、木３２４の影３１８の下を走行し、そのことによって、図４Ａでの追跡される車３１０のスペクトル特性を有意に変化させるというものである。加えてこの場合、第２の類似する車が、図４Ａでの前に追跡された車３１０の隣で走行している。図１での１０としての方法をコンピュータ処理するプロセッサはこの場合、車３１４または３１６のどちらが図４Ａでの前に追跡されかつ識別された車３１０であるかを低い信頼度で区別する可能性がある。プロセッサは、前に追跡された車の識別子に関連し得る識別子を用いて車３１４および３１６の両方を識別するように、かつ両方の対象に対して図１の２８でのデータベースに事象の時間をロギングするように、図１の３４で処置を取ることができる。

前に識別された候補目標の第２のものである図４Ａでの車３１２は駐車場に停止し、搭乗者３２２はこの場合、停止された車両３２０を出る。プロセッサは、図４Ａでの車３１２の元の対象が２つの別々に追跡可能な対象に分裂した事象を検出し識別することができる。プロセッサは、事象の前に図４Ａでの車３１２に関連し得る識別子を用いて車３２０および人３２２の両方を識別するように、かつ図１の２８でのデータベースに事象の時間をロギングするように、図１での３４としての処置を取ることができる。

事象に関する情報を記憶すること、および事象に関連し得る識別子を生出することに対する有益性は、システムのオペレータが、任意の目標識別子に関連する任意の目標の事象履歴を呼び出すことができるということである。次いでオペレータは、すべての対象を、再検討のために対象の履歴とともに追跡されているその識別子または関連する識別子を用いて分析することができる。事象履歴は、システムが追跡される対象に対する識別子を変えた事象のすべてに関係するすべてのデータを含み得る。加えてオペレータは、ある事象で１つの目標または複数の目標に関連した識別子が正しくないならば、システムを手動で是正することができる。

本明細書では、最良の形態を含めて本発明を開示するために、さらには、任意のデバイスまたはシステムを作製し使用すること、および任意の組み込んだ方法を遂行することを含めて、本発明を実践することを当業者ならば誰でも可能にするために例を使用する。本発明の特許的な範囲は、特許請求の範囲により定義され、当業者が想到する他の例を含み得る。そのような他の例は、それらの例が、特許請求の範囲の文字通りの文言と異ならない構造要素を有するならば、またはそれらの例が、特許請求の範囲の文字通りの文言と実質的な違いのない等価の構造要素を含むならば、特許請求の範囲の範囲内にあることが意図される。

１０ハイパースペクトルイメージ内の観測される対象を追跡し、その対象に対する検出の確率を決定するための方法
１２データを受け取るステップ
１４ハイパースペクトルフレームの組を処理するステップ
１６目標候補を選択するステップ
１８選択した目標対象を追跡するステップ
２０データベース内のテンプレートと比較するステップ
２２マッチング対を決定するステップ
２４マッチング程度および検出の確率を決定するステップ
２６検出の確率がしきい値を超えるかどうかを決定するステップ
２８テンプレートデータベース
３０新しいテンプレートが生出されるかどうかを決定するステップ
３２候補テンプレートを放棄するステップ
３４検出に基づいて処置を取るステップ
１００ハイパースペクトル探索アルゴリズムを選択するための方法
１１０フレーム特性を保存するステップ
１１２第１のフレーム特性にアクセスするステップ
１１４第２のフレーム特性にアクセスするステップ
１１６第１の探索アルゴリズムを使用するステップ
１１８第３のフレーム特性にアクセスするステップ
１２０第２の探索アルゴリズムを使用するステップ
１２２第３の探索アルゴリズムを使用するステップ
１２４デフォルト探索アルゴリズムを使用するステップ
２００ハイパースペクトル探索アルゴリズムに対する許容差を選択するための方法
２１０初期の許容差をデフォルト値に設定するステップ
２１２選択したアルゴリズムを実行するステップ
２１４許容差を縮小するステップ
２１６マッチングする画素の数を決定するステップ
２１８許容差を緩和するステップ
２２０画素の位置およびシグネチャを保存するステップ
３００ハイパースペクトルイメージングシステムが２つの対象を検出し追跡したシナリオ
３１０、３１２、３１４、３１６追跡される車両
３１８影
３２０追跡される車両
３２２人
３２４木

Claims

追跡される対象を識別する方法であって、
画像センサを使用して対象を追跡するステップであって、前記追跡される対象がハイパースペクトルおよび空間の情報の既知のデータベースを有する、ステップ、
前記追跡される対象に識別子を関連付けるステップ、
前記追跡される対象の前記ハイパースペクトルまたは空間の情報に関連する少なくとも１つのパラメータを選択するステップ、
前記選択される少なくとも１つのパラメータの偏移を検出するステップ、
前記偏移を前記データベースと比較するステップ、ならびに
前記偏移が所定のしきい値を超えるならば、前記追跡される対象に新しい識別子を割り当て、前記偏移が前記所定のしきい値を超えないならば、前記追跡される対象の追跡を継続するステップ
を含む方法。
前記少なくとも１つのパラメータの変化とともに前記データベースを更新するステップをさらに含む、請求項１記載の方法。
前記選択される少なくとも１つのパラメータの偏移を検出する前記ステップを事象として識別するステップをさらに含む、請求項１記載の方法。
前記少なくとも１つのパラメータが、色、コントラスト、明度、形状、速度、方向、サイズ、位置のうちの１つを含む、請求項１記載の方法。
前記偏移を前記データベースと比較する前記ステップが、スペクトル角マッピング（ＳＡＭ）、スペクトル情報発散（ＳＩＤ）、ゼロ平均差分角（ＺＭＤＡ）、マハラノビス距離、バタチャリヤ距離のうちの１つを用いて遂行される、請求項１記載の方法。