JP2014096139A - ハイパースペクトル特性に基づくシーン内の物質減算 - Google Patents

ハイパースペクトル特性に基づくシーン内の物質減算 Download PDF

Info

Publication number
JP2014096139A
JP2014096139A JP2013184552A JP2013184552A JP2014096139A JP 2014096139 A JP2014096139 A JP 2014096139A JP 2013184552 A JP2013184552 A JP 2013184552A JP 2013184552 A JP2013184552 A JP 2013184552A JP 2014096139 A JP2014096139 A JP 2014096139A
Authority
JP
Japan
Prior art keywords
hyperspectral
signature
image
hyperspectral image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013184552A
Other languages
English (en)
Other versions
JP6362839B2 (ja
JP2014096139A5 (ja
Inventor
Benjamin Thomas Occhipinti
ベンジャミン・トーマス・オッチピンティ
Baby Sebastian Thomas
トーマス・ベイビー・セバスティアン
Konrad Robert Kuczynski
コンラッド・ロバート・クッチンスキー
Daniel Buehler Eric
エリック・ダニエル・ブューラー
Richard Shawn Kelly
リチャード・ショーン・ケリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Aviation Systems LLC
Original Assignee
GE Aviation Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Aviation Systems LLC filed Critical GE Aviation Systems LLC
Publication of JP2014096139A publication Critical patent/JP2014096139A/ja
Publication of JP2014096139A5 publication Critical patent/JP2014096139A5/ja
Application granted granted Critical
Publication of JP6362839B2 publication Critical patent/JP6362839B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】ハイパースペクトル画像からハイパースペクトルシグネチャを除去する方法を提供する。
【解決手段】少なくとも1つのハイパースペクトル画像からハイパースペクトル画像を除去する方法は、とりわけ、ハイパースペクトルシグネチャを選択するステップと、少なくとも1つのハイパースペクトル画像と選択された少なくとも1つのハイパースペクトルシグネチャ内の各ピクセルとの間の非類似値を判定するステップを含む。少なくとも1つのハイパースペクトル画像と選択された少なくとも1つのハイパースペクトルシグネチャ内の所与のピクセルのシグネチャとの間の非類似値が所定の閾値未満である場合は、所与のピクセルのシグネチャの値をゼロに設定してシグネチャを減算したハイパースペクトル画像を生成する。
【選択図】図1

Description

本発明は、ハイパースペクトル画像からハイパースペクトルシグネチャを除去する方法に関する。
ハイパースペクトル画像(HSI)の遠隔検知システムの環境は、Manolakis,D.、Marden,D.、及びShaw G.共著の「Hyperspectral Image Processing for Automatic Target Detection Applications(自動ターゲット検知アプリケーション用ハイパースペクトル画像処理)」(Lincoln Laboratory Journal;2003年第14巻、79〜82ページ)に詳細に記載されている。イメージングセンサは、ハイパースペクトルエネルギの計測結果を記録するピクセルを有している。HSIデバイスは、配列の幾何学的形態により空間情報を収集し、連続する幾つかのハイパースペクトルバンドの各ピクセル内で計測を行うことによりスペクトル情報を収集する。空間情報及びスペクトル情報の更なる処理は、遠隔検知システムの特定のアプリケーションによって左右される。
遠隔感知SHIは、環境及び土地利用のモニタリング、軍事的監視及び偵察を含む広範な用途で有効であることが実証されている。HSIは空間情報とスペクトル情報の両方を含む画像データを提供する。これらのタイプの情報は、遠隔検知及び追跡任務に使用することができる。具体的には、無人航空機(UAV)又は固定地上局等のプラットフォームに視覚センサのセットを搭載すると、HSIのビデオを取得でき、スペクトルビデオにアルゴリズムのセットを適用してフレームごとに物体を検知し、追跡することができる。
米国特許第6665438号明細書
本発明の一態様は、少なくとも1つのハイパースペクトル画像からハイパースペクトルシグネチャを除去する方法である。本方法は、ハイパースペクトルシグネチャを選択するステップ、少なくとも1つのハイパースペクトル画像内の各ピクセルと選択された少なくとも1つのハイパースペクトルシグネチャとの間の非類似値を判定するステップ、及び少なくとも1つのハイパースペクトル画像と選択された少なくとも1つのハイパースペクトルシグネチャ内の所与のピクセルのシグネチャとの間の非類似値が所定の閾値未満である場合は、所与のピクセルのシグネチャの値をゼロに設定してシグネチャ減算したハイパースペクトル画像を生成するステップを含む。
本発明の一実施形態による、背景減算に使用する移動物体を含まないシーンのハイパースペクトル画像選択方法の概略図である。 本発明の一実施形態による、背景減算されたハイパースペクトル画像を生成する方法の概略図である。 本発明の一実施形態による、シグネチャ減算されたハイパースペクトル画像を生成する方法の概略図である。 草深い地勢に囲まれた高速道路のシーンのハイパースペクトル画像を示す図である。 車両が高速道路を走行中の図4のシーンのハイパースペクトル画像を示す図である。 本発明の一実施形態による、高速道路及び草深い地勢が除去された図5のシーンの背景減算されたハイパースペクトル画像を示す図である。 本発明の一実施形態による、草深い地勢が除去された図5のシーンのシグネチャ減算されたハイパースペクトル画像を示す図である。
背景技術及び以下の説明では、本明細書に記載の技術の完全な理解のために説明目的で多くの特定の細部が記載される。しかし、実施例をこれらの特定の細部なしで実施してもよいことが当業者には明らかであろう。別の例では、実施例を説明し易くするため、構造及びデバイスを略図で示す。
図面を参照して実施例を説明する。これらの図面は、本明細書に記載のモジュール、方法、又はコンピュータプログラム製品を実装する特定の実施形態の特定の細部を示している。しかし、図面は、図面に存在することがある何らかの限定性を加えるものと解釈されるべきではない。本方法及びコンピュータプログラム製品は、それらの動作を達成するためにいずれかの機械読み取り可能媒体で提供されてもよい。実施形態は既存のコンピュータプロセッサを使用して、又はこの目的又は別の目的のために組み込まれる特定用途向きコンピュータプロセッサによって実装されてもよい。
前述のように、本明細書に記載の実施形態は、機械実行可能命令又はデータ構造を保存し、格納するための機械読み取り可能媒体を備えるコンピュータプログラム製品を含んでもよい。このような機械読み取り可能媒体は、汎用又は特定用途向けコンピュータ、又はプロセッサを有するその他の機械によりアクセス可能ないずれかの利用可能な媒体でよい。例として、このような機械読み取り可能媒体はRAM、ROM、EPROM、EEPROM、CD−ROM、又はその他の光ディスク又は磁気ディスク記憶デバイス、又は機械実行可能命令又はデータ構造の形態の所望のプログラムコードを保存又は記憶可能であり、又は汎用又は特定用途向けコンピュータ、又はプロセッサを有するその他の機械によりアクセス可能なその他のいずれかの媒体でよい。情報がネットワーク又はその他の機械への通信接続(ハードワイヤ、ワイヤレス、又はハードワイヤ又はワイヤレスの組み合わせのいずれか)を経て伝送されると、機械は接続を適切に機械読み取り媒体であるとみなす。したがって、このような接続はどれも機械読み取り可能媒体であると言える。上記の組み合わせも機械読み取り可能媒体の範囲に含まれる。機械読み取り可能命令は、例えば汎用コンピュータ、特定用途向きコンピュータ、又は特定用途向き処理装置にある特定の機能又は機能群を実行させる命令及びデータである。
例えばネットワーク環境で機械により実行されるプログラムモジュールの形態のプログラムコード等の機械実行可能命令を含むプログラム製品により一実施形態において実装されてもよい方法ステップの一般的な文脈で実施形態を記載する。一般に、プログラムモジュールは、特定のタスクを実施し、又は特定の中小データ型を実装する技術的効果を有するルーチン、プログラム、物体、コンポーネント、データ構造等を含んでいる。データ構造に関連する機械実行可能命令、及びプログラムモジュールは、本明細書に記載の方法のステップを実行するためのプログラムコードの例を表している。このような実行可能命令又は関連するデータ構造は、このようなステップに記載される機能を実装する対応するアクションの例を表している。
実施形態を、プロセッサを有する1つ又は複数のコンピュータへの論理接続を用いてネットワーク環境で実行してもよい。論理接続は、本明細書に限定的なものではなく例として提示されるローカルエリアネットワーク(LAN)及びワイドエリアネットワーク(WAN)を含んでもよい。このようなネットワーク環境は、オフィスワイドコンピュータネットワーク、企業ワイドコンピュータネットワーク、イントラネット及びインターネットで一般的なものであり、多様な異なる通信プロトコルを使用してもよい。このようなネットワークコンピューティング環境は通常は、パーソナルコンピュータ、携帯用デバイス、マルチプロセッサシステム、マイクロプロセッサベースの、又はプログラム可能家電電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ等を含む多くのタイプのコンピュータシステム構成を包含していることを当業者は理解するであろう。
実施形態は更に、タスクが通信ネットワークを介して(ハードワイヤリンク、ワイヤレスリンクにより、又はハードワイヤリンクとワイヤレスリンクとの組み合わせにより)リンクされる局所処理及び遠隔処理デバイスによって実施される分散コンピューティング環境で実施されてもよい。分散コンピューティング環境では、プログラムモジュールは局所及び遠隔メモリ記憶デバイスの両方に配置されてもよい。
実施例の全体又は一部を実装する例示的システムは、処理ユニット、システムメモリ、及びシステムメモリを含む様々なシステムコンポーネントを処理ユニットに結合する、システムバスを含むコンピュータの形態の汎用コンピューティングデバイスを含み得る。システムメモリは、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)を含む。コンピュータは更に、磁気ハードディスクから読み出し、これに書き込む磁気ハードディスクドライブ、リムーバブル磁気ディスクから読み出し、これに書き込む磁気ディスクドライブ、及びCD−ROM又はその他の光学媒体等のリムーバブル光ディスクから読み出し、これに書き込む光ディスクドライブを含んでもよい。ドライブ及びそれらに関連する機械読み取り可能媒体は、機械実行可能命令、データ構造、プログラムモジュール、及びコンピュータ用のその他のデータの不揮発性記憶装置を提供する。
実施形態で開示の方法の技術的効果には、不要なハイパースペクトルシグネチャを含む全てのピクセルを除去することによりハイパースペクトル画像の圧縮性を高めることが含まれる。その結果、アーカイブ目的に必要なデータ及び期間の量が低減する。同様に、この方法は手動又は自動的に探索されるデータのサイズを大幅に縮小することにより既存の検知方法の速度を高める。加えて、本方法は、ハイパースペクトル画像を増強して、それまでは検知されなかった物体と特徴を検知できるようにする。
図1は、本発明の一実施形態による背景減算に使用される、移動物体がないシーンのハイパースペクトル画像を選択する方法10の概略図である。プロセスの開始時12に、単一画像又はハイパースペクトルビデオ画像を含むことがある遠隔検知されたHSIが14でHSIを処理できるプロセッサに入力されてもよい。
14でプロセッサに入力されたHSIは、ターゲットシーンのハイパースペクトル画像シリーズである。ターゲットシーンは、イメージングされたエリアが、固定カメラにより収集されるようなハイパースペクトル画像の収集画像を通して一定に留まるようなイメージングされたシーンである。例えば、ターゲットシーンは、草深い地勢で囲まれた高速道路の区画であってよい。各々のハイパースペクトル画像は、例えば車両が高速道路を行き来し、又は周囲光のレベルが一日中変化する等して異なることはあるが、収集されたハイパースペクトル画像は全て高速道路の同じ区間である必要がある。この例は説明目的に過ぎず、限定的なものとみなされるべきではない。固定シーンのどのハイパースペクトル画像シリーズとも関連性があり得る。
ターゲットシーン内に移動物体がない少なくとも1つのハイパースペクトル画像を判定するため、プロセッサは16で収集されたハイパースペクトル画像シリーズを通して反復を開始してもよい。収集された各ハイパースペクトル画像シリーズについて、プロセッサは18で、ターゲットシーンでハイパースペクトル画像に移動物体又は新たな物体があるか否かを判定する。ターゲットシーンに移動物体又は新たな物体があることをプロセッサが判定すると、プロセッサは、ループターミネータ32及びループイテレータ16で反復論理ステップを介してハイパースペクトル画像シリーズ内の次のハイパースペクトル画像に進んでもよい。20でハイパースペクトル画像に移動物体又は新たな物体がないとプロセッサが判定すると、プロセッサは22でハイパースペクトル画像をターゲットシーンの背景として選択する。
本発明の方法により24で、実装に応じてハイパースペクトル画像がターゲットシーンの背景を描写するか、ハイパースペクトル画像のセットがターゲットシーンの背景を描写するかのいずれかが可能である。26で単一のハイパースペクトル画像がターゲットシーンの背景を描写することをプロセッサが指定すると、プロセッサは選択された単一の背景を46でデータベースに保存し、48で背景選択プロセスが終了してもよい。30で複数のハイパースペクトル画像がターゲットシーンの背景を描写することをプロセッサが指定すると、プロセッサは32でのループターミネータ、及び16でのループイテレータの反復論理ステップを介してハイパースペクトル画像のセットを通して反復を継続してもよい。
32でプロセッサがターゲットシーンの背景シリーズを通して完全に反復すると、プロセッサは、複数のハイパースペクトル画像がターゲットシーンの背景を描写するものと指定されたか否かを判定する。36で複数のハイパースペクトル画像がターゲットシーンの背景を描写することをプロセッサが指定している場合には、38でプロセッサは複数のハイパースペクトル画像の平均値を計算して、46でデータベースに保存されている単一のハイパースペクトル画像を作成し、48で背景選択プロセスは終了する。50で複数のハイパースペクトル画像がターゲットシーンの背景を描写するものとプロセッサが指定していない場合は、40で単一のハイパースペクトル画像がターゲットシーンの背景を描写することをプロセッサが指定している場合に、42でプロセッサは単一のハイパースペクトル画像をデータベース46に保存する。その場合は48でプロセッサはプロセスを終了する。40で、どの画像もターゲットシーンの背景を描写することを指定していない場合は、44でプロセッサは新たなハイパースペクトル画像シリーズを収集して、移動物体がないターゲットシーンの少なくとも1つのハイパースペクトル画像を選択する14でのプロセスを再び開始してもよい。
プロセッサは18で、ターゲットシーンのハイパースペクトル画像が移動物体又は新たな物体を含んでいるかをユーザーによる手動による介在で、又は自動的に判定する。本発明の実施形態によれば、プロセッサは18で、初期動作状態中にハイパースペクトル画像シリーズをユーザーに表示してもよい。ユーザーは22で、少なくとも1つのハイパースペクトル画像をターゲットシーンの背景画像として選択してもよい。或いは、プロセッサは18で、現在のハイパースペクトル画像に適用される判定基準セットに基づいて、22での少なくとも1つのハイパースペクトル画像を自動的に選択してもよい。判定基準はハイパースペクトル画像の空間特性又はスペクトル特性に基づくものでもよく、又は現在のハイパースペクトル画像と以前に収集されたHSIとの比較を用いてもよい。
ハイパースペクトル画像が移動物体又は新た物体がないターゲットシーンの背景を表すことの判定、選択及び保存がなされると、プロセッサは次いで背景をターゲットシーンのハイパースペクトル画像から除去してもよい。図2は、本発明の一実施形態による背景減算されたハイパースペクトル画像の生成方法100の概略図である。プロセスの開始時112で、単一画像又はハイパースペクトルビデオ画像を含むことがある遠隔検知されたHSIが114でHSIを処理できるプロセッサに入力されてもよい。遠隔検知されたHSIは図1の14で入力されたものと同じハイパースペクトル画像シリーズでもよく、又は同じターゲットシーンの新たなハイパースペクトル画像シリーズでもよい。プロセッサは116で、収集されたターゲットシーンのハイパースペクトル画像シリーズを通して反復してもよい。
プロセッサは118で、46でデータベースに保存されたターゲットシーンの背景画像を現在のハイパースペクトル画像から減算して、背景減算されたハイパースペクトル画像を生成してもよい。減算は背景画像のピクセルシグネチャが対応するハイパースペクトル画像のピクセルから減算される単純なピクセル減算でもよいが、実装に応じて別の減算方法を用いてもよい。例えば、背景画像のピクセルシグネチャとハイパースペクトル画像の対応するピクセルシグネチャとの絶対値の差が所定の閾値未満である場合は、プロセッサは118で、結果として生じるピクセル値をゼロに設定することにより減算を行ってもよい。所定の閾値の一例では、ハイパースペクトルシグネチャの全ての値は対応する背景画像のピクセルシグネチャ値の5%以内でなければならない。実装に応じて別の閾値を用いてもよい。
次いで、背景減算されたハイパースペクトル画像を、46でデータベースに保存するか、又はユーザーに表示してもよい。プロセッサは次いで、122でプロセスが終了するまで、120及び116で反復論理を介してハイパースペクトル画像を通してループしてもよい。
46でデータベースに保存された背景減算されたハイパースペクトル画像のフォーマットは、オリジナルのハイパースペクトル画像の大幅に圧縮されたバージョンを表している。伝統的なカラー画像内の各RGBピクセルが3つの値を含む態様と同様に、ハイパースペクトル画像内の各ピクセルは各スペクトルバンド毎に1つずつN個の値を含み、Nは3よりも大幅に大きい。ターゲットシーン内の移動物体又は新たな物体のピクセルだけを残すことによって、46でデータベースに保存されたピクセルの数を飛躍的に減らすことができ、しかも全てのスペクトルバンドのN個の値は確保される。例えば、20のバンドを有する640x480ピクセルのハイパースペクトル画像には、データベース46に完全に保存するには6,144,000個の一意的数値が必要であろう。300のピクセルだけがシーン内の移動物体又は新たな物体であると判定された場合は、プロセッサは300*20=6000の数値と、全体で6,600の値のための対応する二次元ピクセル座標とをデータベース46に保存する必要があるだろう。
本発明の一実施形態では、単一のターゲットシーンの幾つかの異なる背景画像が、背景画像を判定する方法10の複数の場合を通してデータベース46に保存され、分類される。データベース46内のターゲットシーンの各背景画像は、ターゲットシーンの照度によって分類される。分類例は、朝、昼、日光、午後、夜、一部曇り、及び完全な曇り等の日中の状態を表すものでよい。プロセッサが118で背景減算された画像を生成すると、プロセッサは、ハイパースペクトル画像の属性を特徴付け、又は背景画像の収集時間とシーンのハイパースペクトル画像とを比較することにより、どの背景画像をデータベース46から検索するかを判定する。
図3は、本発明の一実施形態によるシグネチャ減算されたハイパースペクトル画像の生成方法200の略図である。プロセスの開始時212で、ハイパースペクトル画像及びハイパースペクトルシグネチャがハイパースペクトル画像のピクセルを処理できるプロセッサ入力される。ハイパースペクトル画像は、図1の14でのハイパースペクトル画像シリーズの1つでよいが、ハイパースペクトル画像のソースは実装に応じて異なってもよい。
ハイパースペクトル画像から除去されるハイパースペクトル画像シグネチャのソースは、シグネチャのデータベース、又はハイパースペクトル画像自体からのシグネチャでもよい。ハイパースペクトルシグネチャのデータベースは、方法200のユーザーに関心がある自然の又は人工の物質のシグネチャを含んでいてもよい。加えて、ユーザーはデータベース内の既知の物質シグネチャを組み合わせることによって減算のための付加的なシグネチャを生成することを選択してもよい。例えば、ユーザーは、各々が異なる重みを有する複数のシグネチャを組み合わせることにより、減算のためのシグネチャを生成してもよい。別の例では、ユーザーは第1のシグネチャからスペクトルバンドのセットを選択し、第2のシグネチャから別のスペクトルバンドのセットを選択することにより、減算のためのシグネチャを生成してもよい。更に別の例ではプロセッサは、日光、月光又はヘッドライト等の変化する光の状態での物質のシグネチャをシミュレートするために、選択されたシグネチャに変換を加えることにより関連するシグネチャのセットを生成してもよい。
プロセッサは214で、ハイパースペクトル画像のピクセルを通して反復を開始してもよい。プロセッサは、216で非類似尺度を判定し、218で非類似尺度の値と所定閾値とを比較することによって整合を判定するために、ハイパースペクトル画像のピクセルのシグネチャを選択されたハイパースペクトルシグネチャと比較してもよい。非類似尺度は、2つのベクトル間の数学的距離を判定する測度である。例えば、ハイパースペクトル画像のピクセルのシグネチャと選択されたハイパースペクトルシグネチャとの差の絶対値の総和が所定の閾値未満であるか否かを計算するため、プロセッサはマンハッタン距離又はl1ノルムを用いて整合性を判定してもよい。
プロセッサは別の非類似尺度を計算してもよい。1つの種類の非類似尺度はノルムベースであり、2つのベクトル間の距離の直接計算である。マンハッタン距離の他に、ハイパースペクトル画像のピクセルシグネチャと選択されたハイパースペクトルシグネチャとの二乗差の総和の平方根が所定の閾値未満であるか否かを判定するため、プロセッサは、l2ノルムとしても知られるユークリッド距離から非類似尺度を計算してもよい。ノルムベースの非類似尺度の別の例では、ハイパースペクトル画像のピクセルシグネチャと選択されたハイパースペクトルシグネチャとの差の最大絶対値が所定の閾値未満であるか否かを判定するため、プロセッサは、l∞ノルムとしても知られるチェビシェフ距離を計算してもよい。
画像内のターゲット候補の統計的特徴を活用するため、別の種類の非類似尺度が開発されている。例えば、マハラノビス距離は、ハイパースペクトルピクセルシグネチャに適用されてきた類似性の統計的基準である。マハラノビス距離は、シグネチャを既知の種類のシグネチャの平均及び標準偏差に対してテストすることにより、シグネチャの類似性を計測する。計測の統計的性質のため、マハラノビス距離の計算には、ノルムベースの計算に用いられる単一のシグネチャの比較ではなくシグネチャのセットが必要である。
周知の別の技術には、スペクトル角度マッパ(SAM)、スペクトル情報発散(SID)、ゼロ平均差分領域(ZMDA)、及びバタチャリヤ距離が含まれる。SAMは各スペクトルをベクトルとして扱い、ベクトル間の角度を計算することによりシグネチャを既知のシグネチャと比較する方法である。SAMはベクトルの方向だけを用い、ベクトルの長さを用いないので、この方法は照明の変化には感受性がない。SIDは、スペクトル間の確率的不一致又は相違を計測することにより、ターゲット候補のシグネチャを既知のシグネチャと比較する方法である。ZMDAはシグネチャの分散でこれらを正規化し、2つのベクトル間の領域に対応するそれらの差を計算する。バタチャリヤ距離はマハラノビス距離と同類であるが、既知の種類のシグネチャに対する候補ターゲットシグネチャのセット間の距離を計測するために用いられる。
非類似尺度を計算した後、プロセッサは非類似尺度の値を所定の閾値と比較して整合性を判定してもよい。所定の閾値の一例では、選択されたシグネチャの全ての値はハイパースペクトル画像の対応するピクセルシグネチャ値の5%以内でなければならない。実装に応じて別の閾値を用いてもよい。
220でシグネチャが整合しない場合は、プロセッサはループ論理ターミネータ226及びイテレータ214を介してハイパースペクトル画像内の次のピクセルへと反復してもよい。222でシグネチャが整合すると、224でハイパースペクトル画像内のピクセル値をゼロに設定することによりこれが消去されてもよく、次いでプロセッサはループ論理ターミネータ226及びイテレータ214を介してハイパースペクトル画像の残りのピクセルを通した反復に進んでもよい。プロセッサがハイパースペクトル画像内の全てのピクセルを通して反復し終えると、プロセスは228で終了し、この時点でシグネチャ減算されたハイパースペクトル画像をデータベースに保存し、又はユーザーがディスプレイで閲覧してもよい。
方法200は、ハイパースペクトル画像の選択された追加のシグネチャを除去するために繰り返されてもよい。加えて、プロセスはハイパースペクトル画像シリーズで繰り返されてもよい。プロセッサは、ディスプレイを介してユーザーに中間結果を表示し、グラフィカルユーザーインターフェースを介してどの物質のシグネチャが減算されるかに関する命令を受信することによりこれらのステップを自動的又は手動的に実行するように構成されてもよい。本方法の一実施形態では、プロセッサは移動物体又は新たな物体のシグネチャと相関する画像だけを残して、背景画像を表すシグネチャを全て除去する。
一例として、図4〜7は本発明の実施形態を示している。図4は、草深い地勢に囲まれた高速道路のシーン300のハイパースペクトル画像を示している。画像は、高速道路310、タワー312、樹木314、人工インフラストラクチャ316、及び草深い地勢320を示している。プロセッサは、図1の18でハイパースペクトル画像を非移動物体があるものと識別し、これをターゲットシーンの背景画像としてデータベース46に保存してもよい。
図5は、車両410が高速道路310を行き来する図4のシーンのハイパースペクトル画像400を示している。プロセッサは、18でこの画像を移動物体があるものと識別してもよい。シーンの画像400は図2の背景減算方法100の候補である。
図6は、本発明の実施形態により高速道路と草深い地勢とが除去された図5のシーンの背景減算されたハイパースペクトル画像500を示している。プロセッサは、図2のデータベース46から図4の背景画像300を検索してもよい。プロセッサは、図4の背景画像300を図5のシーンのハイパースペクトル画像400から減算する。画像に残る唯一の要素は車両410である。背景画像300から全ての非移動物体を除去すると、空いたスペース510が残る。高速道路の概略だけが参考のために示され、実際の画像500にはないことになる。
図7は、本発明の実施形態により図4から草深い地勢320が除去された図5のシーンの、シグネチャ減算されたハイパースペクトル画像600を示している。プロセッサは、結果として生じるシグネチャ減算された画像600内の空いたスペース620の広大な区画を作成するため、図3のシグネチャ減算方法200を用いて図4の草深い地勢320のシグネチャを除去した。高速道路310、樹木314、及び人工インフラストラクチャ316のシグネチャを含む別のシグネチャ候補を除去のために特定することもできよう。
図6の背景減算された画像500、及び図7のシグネチャ減算された画僧600は、本発明の方法がハイパースペクトル画像内の移動物体の検知可能性を飛躍的に高めることを示している。加えて、前述のデータ圧縮レベルは、車両410だけが残された図6で視覚的に明白である。
本記述要件は、最良の形態を含む本発明を開示し、当業者がどのデバイス又はシステムをも製造し、使用し、組み込まれるどの方法をも実施することを含めて本発明を実施することを可能にするために実施例を使用する。本発明の特許可能な範囲は特許請求の範囲によって規定され、当業者が想到する他の実施例を包含し得る。このような実施例は、それらが特許請求の範囲の文言と相違しない構成要素を有するか、又はそれらが特許請求の範囲の文言と実質的に相違ない等価の構成要素を含んでいれば、特許請求の範囲内にあることが意図されている。
10 背景画像の指定方法
12 プロセスの開始
14 ハイパースペクトル画像を入力
16 ループイテレータ
18 ターゲットシーンのハイパースペクトル画像が移動物体又は新たな物体を含むか否かを判定
20 ターゲットシーンのハイパースペクトル画像が移動物体又は新たな物体を含まないと判定
22 ハイパースペクトル画像を背景画像として選択
24 複数の背景画像が許容されるか?
26 ノー:単一の背景画像のみ
28 イエス:移動物体が存在する
30 イエス:複数の背景画像が許容される
32 ループターミネータ
34 複数のハイパースペクトル画像がターゲットシーンの背景を表すものと指定されたか否かを判定
36 イエス:複数のハイパースペクトル画像がターゲットシーンの背景を表すものと指定されている
38 複数のハイパースペクトル画像の平均値を計算
40 単一の画像が指定されたか?
42 イエス:単一の背景画像
44 背景画像は指定されず
46 データベース
48 プロセスの終了
50 ノー:複数のハイパースペクトル画像は指定されず
100 背景減算の方法
112 プロセスの開始
114 ハイパースペクトル画像を入力
116 収集されたハイパースペクトル画像シリーズを通して反復
118 ターゲットシーンの背景画像を減算
120 ループターミネータ
122 プロセスの終了
200 スペクトル物質減算の方法
212 プロセスの開始
214 画像を通してループ
216 非類似値を判定して探索シグネチャをピクセルシグネチャと比較
218 シグネチャが整合するか?
220 ノー
222 イエス
224 ピクセルを削除
226 ループターミネータ
228 プロセスの終了
300 背景画像として使用されるシーンのハイパースペクトル画像
310 高速道路
312 タワー
314 樹木
316 人工インフラストラクチャ
320 草深い地勢
400 シーンのハイパースペクトル画像
410 車両
500 背景減算されたハイパースペクトル画像
510 背景が除去されたスペース
600 シグネチャ減算されたハイパースペクトル画像
620 シグネチャ減算されたスペース

Claims (10)

  1. 少なくとも1つのハイパースペクトル画像からハイパースペクトルシグネチャを除去する方法であって、
    少なくとも1つのハイパースペクトルシグネチャを選択するステップと、
    前記少なくとも1つのハイパースペクトル画像と、前記選択された少なくとも1つのハイパースペクトルシグネチャ内の各ピクセルとの間の非類似値を判定するステップと、
    前記少なくとも1つのハイパースペクトル画像と、前記選択された少なくとも1つのハイパースペクトルシグネチャ内の所与のピクセルのシグネチャとの間の前記非類似値が所定の閾値未満である場合は、前記所与のピクセルのシグネチャの値をゼロに設定してシグネチャを減算したハイパースペクトル画像を生成するステップと、を含む方法。
  2. 前記選択、減算、及び設定ステップを繰り返して付加的なハイパースペクトルシグネチャを除去するステップを更に含む、請求項1に記載の方法。
  3. 前記少なくとも1つのハイパースペクトル画像内の各ピクセルと前記選択された少なくとも1つのハイパースペクトルシグネチャとの間の、マンハッタン距離を計算するステップ、ユークリッド距離を計算するステップ、チェビシェフ距離を計算するステップ、マハラノビス距離を計算するステップ、スペクトル角度マッパ(SAM)を計算するステップ、スペクトル情報発散(SID)を計算するステップ、ゼロ平均差分領域(ZMDA)を計算するステップ、及びバタチャリヤ距離を計算するステップのうち1つを、前記判定ステップが含む、請求項1に記載の方法。
  4. 前記少なくとも1つのハイパースペクトルシグネチャが背景画像である、請求項1に記載の方法。
  5. 前記シグネチャ減算されたハイパースペクトル画像を表示するステップを更に含む、請求項1に記載の方法。
  6. ハイパースペクトルシグネチャを選択する前記ステップが、前記ハイパースペクトルシグネチャをハイパースペクトルシグネチャのデータベースから選択するステップを更に含む、請求項1に記載の方法。
  7. 前記少なくとも1つのハイパースペクトルシグネチャを選択する前記ステップが、前記少なくとも1つのハイパースペクトル画像内に含まれるハイパースペクトルシグネチャから前記少なくとも1つのハイパースペクトルシグネチャを選択するステップを更に含む、請求項1に記載の方法。
  8. 前記選択ステップを手動的に行う、請求項1に記載の方法。
  9. 前記選択ステップを自動的に行う、請求項1に記載の方法。
  10. 前記シグネチャ減算されたハイパースペクトル画像を保存するステップを更に含む、請求項1に記載の方法。
JP2013184552A 2012-11-09 2013-09-06 ハイパースペクトル特性に基づくシーン内の物質減算 Expired - Fee Related JP6362839B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/673,054 US8891870B2 (en) 2012-11-09 2012-11-09 Substance subtraction in a scene based on hyperspectral characteristics
US13/673,054 2012-11-09

Publications (3)

Publication Number Publication Date
JP2014096139A true JP2014096139A (ja) 2014-05-22
JP2014096139A5 JP2014096139A5 (ja) 2016-10-20
JP6362839B2 JP6362839B2 (ja) 2018-07-25

Family

ID=49084939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013184552A Expired - Fee Related JP6362839B2 (ja) 2012-11-09 2013-09-06 ハイパースペクトル特性に基づくシーン内の物質減算

Country Status (6)

Country Link
US (1) US8891870B2 (ja)
EP (1) EP2731053A3 (ja)
JP (1) JP6362839B2 (ja)
CN (1) CN103810666B (ja)
BR (1) BR102013022240A2 (ja)
CA (1) CA2825463A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086296A1 (en) * 2013-12-10 2015-06-18 Bae Systems Plc Data processing method and system
AU2014361104B2 (en) 2013-12-10 2019-11-21 Bae Systems Plc Data processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041447A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 異常検知システム、異常検知方法及び異常検知プログラム記録媒体
JP2010237865A (ja) * 2009-03-30 2010-10-21 Nec Corp 画像解析装置、画像解析方法、及び画像解析プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
JPH09507930A (ja) * 1993-12-08 1997-08-12 ミネソタ マイニング アンド マニュファクチャリング カンパニー 一眼ビジョンシステムに対する背景決定及び減算用の方法及び装置
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
US6282301B1 (en) * 1999-04-08 2001-08-28 The United States Of America As Represented By The Secretary Of The Army Ares method of sub-pixel target detection
US6665438B1 (en) 1999-05-05 2003-12-16 American Gnc Corporation Method for hyperspectral imagery exploitation and pixel spectral unmixing
JP2001043376A (ja) * 1999-07-30 2001-02-16 Canon Inc 画像抽出方法及び装置並びに記憶媒体
US8078268B2 (en) * 2001-06-28 2011-12-13 Chemimage Corporation System and method of chemical imaging using pulsed laser excitation and time-gated detection to determine tissue margins during surgery
US7224735B2 (en) * 2003-05-21 2007-05-29 Mitsubishi Electronic Research Laboratories, Inc. Adaptive background image updating
US7362918B2 (en) * 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
US20070279629A1 (en) * 2004-01-07 2007-12-06 Jacob Grun Method and apparatus for identifying a substance using a spectral library database
US7956929B2 (en) * 2005-10-31 2011-06-07 Broadcom Corporation Video background subtractor system
US7693331B2 (en) * 2006-08-30 2010-04-06 Mitsubishi Electric Research Laboratories, Inc. Object segmentation using visible and infrared images
TWI323434B (en) * 2006-11-30 2010-04-11 Ind Tech Res Inst Method of object segmentation for video
KR100963797B1 (ko) * 2008-02-27 2010-06-17 아주대학교산학협력단 복잡성이 감소된 고분광 프로세싱에 기반을 둔 실시간 타겟검출 방법
JP5047051B2 (ja) * 2008-05-02 2012-10-10 キヤノン株式会社 画像処理装置及び画像符号化方法
US8274710B2 (en) * 2008-06-25 2012-09-25 Canon Kabushiki Kaisha Image processing using count variation
JP5219706B2 (ja) * 2008-09-12 2013-06-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム
JP5202551B2 (ja) * 2009-01-23 2013-06-05 株式会社日立国際電気 パラメータ設定方法及び該方法を用いた監視装置
JP5051156B2 (ja) * 2009-03-05 2012-10-17 カシオ計算機株式会社 画像処理装置及びプログラム
JP5105550B2 (ja) * 2009-03-19 2012-12-26 カシオ計算機株式会社 画像合成装置及びプログラム
US8295548B2 (en) * 2009-06-22 2012-10-23 The Johns Hopkins University Systems and methods for remote tagging and tracking of objects using hyperspectral video sensors
CN101807301B (zh) * 2010-03-17 2012-11-07 北京航空航天大学 一种基于高阶统计量的高光谱图像目标检测方法
KR101237970B1 (ko) * 2011-01-17 2013-02-28 포항공과대학교 산학협력단 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041447A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 異常検知システム、異常検知方法及び異常検知プログラム記録媒体
JP2010237865A (ja) * 2009-03-30 2010-10-21 Nec Corp 画像解析装置、画像解析方法、及び画像解析プログラム

Also Published As

Publication number Publication date
JP6362839B2 (ja) 2018-07-25
EP2731053A2 (en) 2014-05-14
EP2731053A3 (en) 2015-01-21
US20140133754A1 (en) 2014-05-15
BR102013022240A2 (pt) 2016-05-24
CN103810666A (zh) 2014-05-21
CA2825463A1 (en) 2014-05-09
US8891870B2 (en) 2014-11-18
CN103810666B (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
US10839211B2 (en) Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
EP3149704B1 (en) Vehicle localisation
US9230168B2 (en) Automatic generation of built-up layers from high resolution satellite image data
US8548248B2 (en) Correlated land change system and method
EP2731052A2 (en) Spectral scene simplification through background substraction
Serpico et al. Information extraction from remote sensing images for flood monitoring and damage evaluation
US8958603B2 (en) Automated mapping of land cover using sequences of aerial imagery
US20110200249A1 (en) Surface detection in images based on spatial data
EP3605063B1 (en) Vegetation index calculation device and method, and computer program
Zhang et al. Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images
US11256915B2 (en) Object tracking across multiple images
EP3553700A2 (en) Remote determination of containers in geographical region
JP6362839B2 (ja) ハイパースペクトル特性に基づくシーン内の物質減算
CN113343900A (zh) 基于cnn与超像素结合的组合核遥感影像目标检测方法
Jacobs et al. Adventures in archiving and using three years of webcam images
Keyvanfar et al. Performance comparison analysis of 3D reconstruction modeling software in construction site visualization and mapping
Coca et al. Normalized compression distance for SAR image change detection
Chen et al. Multi-type change detection of building models by integrating spatial and spectral information
Amirkolaee et al. Convolutional neural network architecture for digital surface model estimation from single remote sensing image
Skurikhin et al. Unsupervised individual tree crown detection in high-resolution satellite imagery
Tripodi et al. Deep learning-based extraction of building contours for large-scale 3D urban reconstruction
Moody et al. Building a living atlas of the Earth in the cloud
Fuersattel et al. Distance error correction for time-of-flight cameras
Tyagi et al. Identification of undamaged buildings after the event of disaster using Deep Learning
Alivernini et al. Unmasking forest borderlines by an automatic delineation based on airborne laser scanner data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180627

R150 Certificate of patent or registration of utility model

Ref document number: 6362839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees