JP2007199750A

JP2007199750A - 画素群パラメータ算出方法及び目標物検出方法並びに画素群パラメータ算出装置及び目標物検出装置

Info

Publication number: JP2007199750A
Application number: JP2006013878A
Authority: JP
Inventors: Shigeki Yamagata; 茂樹山片
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-01-23
Filing date: 2006-01-23
Publication date: 2007-08-09
Anticipated expiration: 2026-01-23
Also published as: JP4711131B2

Abstract

【課題】少ない演算量で、ノイズから受ける影響を最小限としながら、ハイパースペクトルを基に、物質の特定を行なうことを可能とする。
【解決手段】ハイパースペクトラム画像の各画素のスペクトラムに対し所定の変換をかけることにより、前記スペクトラムよりも変換後の軸に沿った変化度が小さい変換データを得て、所定のモデリング手法を用いて、一組のパラメータで表される時系列モデルにより、前記変換データを表すための前記一組のパラメータを算出して、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較し、更に、画素間の隣接度に基づいた計算を行なうことにより、画素群を求めて、前記画像群に含まれる少なくとも１つの画素にそれぞれ対応する少なくとも一組のパラメータを基に、前記画像群に対応する一組のパラメータを算出する。
【選択図】図１

Description

本発明は画素群パラメータ算出方法及びその装置並びに目標物検出方法及びその装置に関し、特に、ハイパースペクトラルセンサで同一シーンに対して、異なる波長帯で取得された複数の画像群から、画素群パラメータを算出するための画素群パラメータ算出方法及びその装置並びに、それぞれ、これを用いた目標物検出方法及びその装置に関する。

近年、ハイパースペクトラルイメージング(Hyperspectral Imaging)という技術が登場してきている。

かかる技術について以下に簡単に説明する。

飛行機又は人工衛星にハイパースペクトラルイメージング用のカメラを搭載し、上空からこのカメラ（ハイパースペクトラルセンサ）で地上を撮影する。このカメラは、同一シーンに対して可視光波長帯、近赤外線波長帯及び遠赤外線波長帯（例えば、３００ｎｍ乃至２０００ｎｍ）をＮ個(数十から数百)の狭波長帯に分解し、それぞれの狭波長帯で観測された画像群を得られる。

前記の通り取得された画像群の同一画素からは、その画素が見ている物質の、Ｎ個の波長帯における、光の反射特性（スペクトル分布特性）示す情報（Ｎ個の数値）が得られる。厳密に言えば、太陽などの入射光のスペクトル分布や大気透過率の波長特性、カメラ感度の波長特性などで、各画素の数値をキャリブレーションする必要があるが、今回に発明の説明には特に関係しないため、割愛して説明を進める。ここで得られたＮ個の数値を波長順に並べてグラフ化すれば、スペクトル分布として視覚的にとらえられ、各データをＮ次元空間の各要素と見なせば、ベクトルで表現することが出来る。

これらＮの数値から得られた物質のスペクトル分布特性から、物質の特定を行う研究は広く行われている。それらの方式は、スペクトルフィーチャーフィッティング(Spectral Feature Fitting)法に代表されるようにスペクトル分布の特徴的な形状を直接比較する方法とスペクトラルアングルマッパー(Spectral Angle Mapper)法やマッチドフィルタリング(Matched Filtering)法などに代表されるようなＮ次元ベクトル空間での類似性を評価する方法に分類される。

ピクセルピュアリティインデックス(Pixel Purity)法やリニアアンミキシング(Linear Unmixing)法なども、物質を抽出する代表的な手法であるが、物質の特定まで行える手法ではない。
特開２００１−２６６１６２号公報特開昭６２−０６９２２５号公報

ハイパースペクトラルセンサで得られた、各画素のスペクトル分布を用いて、その物質を特定したい場合、現状の技術では幾つかの問題点がある。

第１の問題点は、膨大な演算量を必要とするということである。

その理由は、Ｎ次元のスペクトルデータの特徴や形状を直接比較するためである。

第２の問題点は、ノイズの影響を受け易いということである。

その理由は、自然界で計測されたスペクトルデータは、背景ノイズや大気の揺らぎ、計測系のノイズなどによって、レベル方向にはかなりのランダム変動成分を含んでいるためである。

本発明の目的は、少ない演算量で、ノイズから受ける影響を最小限としながら、ハイパースペクトルを基に、物質の特定を行なうことを可能とする、画素群パラメータ算出方法及びその装置並びに目標物検出方法及びその装置を提供することを目的とする。こうすることにより、上記の処理を短時間で、かつ高い信頼性を持って行なうことができる。

また、本発明は、ハイパースペクトラルセンサで得られた、各画素のスペクトル分布を用いて、画像中に存在する物質を自動的に分類することができるシステムを提供することを目的とする。

更に、本発明は、分類された各物質が、どのような物質なのかを、データベースに予め蓄積されているデータを用いて自動的に同定できるシステムを提供することを目的とする。

ランダムノイズに乱されているＮ次元のスペクトル分布を、時系列信号の周波数特性であるとみなし、統計的な最適化信号モデリング手法を持いてモデリングすることにより、もとのノイズの影響を低減させ、スペクトル分布特性のみをｎ個（ｎ＜＜Ｎ）のパラメータで特徴付けられたモデルで表現できるため、少ない演算量、かつ高い信頼度で物質の特定が可能となる。

本発明の第１の観点によれば、ハイパースペクトラム画像の各画素のスペクトラムに対し所定の変換をかけることにより、前記スペクトラムよりも変換後の軸に沿った変化度が小さい変換データを得る変換ステップと、所定のモデリング手法を用いて、一組のパラメータで表される時系列モデルにより、前記変換データを表すための前記一組のパラメータを算出する画素パラメータ算出ステップと、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較し、更に、画素間の隣接度に基づいた計算を行なうことにより、画素群を求める画素群検出ステップと、前記画像群に含まれる少なくとも１つの画素にそれぞれ対応する少なくとも一組のパラメータを基に、前記画像群に対応する一組のパラメータを算出する画素群パラメータ算出ステップと、を備えることを特徴とする画素群パラメータ算出方法が提供される。

上記の画素群パラメータ算出方法において、前記所定のモデリング手法は、最大エントロピー法、最小自乗法又は最尤法であるようにしてもよい。

上記の画素群パラメータ算出方法において、前記時系列モデルは、ＡＲモデル、ＡＲＭＡモデル又はラティスモデルであるようにしてもよい。

上記の画素群パラメータ算出方法において、前記所定の変換は、逆フーリエ変換であるようにしてもよい。

上記の画素群パラメータ算出方法において、画素群検出ステップでは、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較を、画素間同士で一組のパラメータの間の距離に基づいて行なうようにしてもよい。

上記の画素群パラメータ算出方法において、画素群検出ステップでは、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較を、画素間同士で前記時系列モデルに対応する極の近さに基づいて行なうようにしてもよい。

本発明の第２の観点によれば、上記の画素群パラメータ算出方法により得られた画素群に対応する一組のパラメータを、既に蓄積されている目標物に対応する一組のパラメータとを比較することにより、前記画素群が前記目標物を表すものであるか否かを判断する目標物検出方法が提供される。

本発明による画素群パラメータ算出方法は、ハイパースペクトラム画像の各画素のスペクトラムに対し所定の変換をかけることにより、前記スペクトラムよりも変換後の軸に沿った変化度が小さい変換データを得る変換ステップと、所定のモデリング手法を用いて、一組のパラメータで表される時系列モデルにより、前記変換データを表すための前記一組のパラメータを算出する画素パラメータ算出ステップと、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較し、更に、画素間の隣接度に基づいた計算を行なうことにより、画素群を求める画素群検出ステップと、前記画像群に含まれる少なくとも１つの画素にそれぞれ対応する少なくとも一組のパラメータを基に、前記画像群に対応する一組のパラメータを算出する画素群パラメータ算出ステップと、を備えるので、画像群を少ない数のパラメータで表すことが可能となる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

図１を参照すると、本発明の第１の実施の形態は、まず、ハイパースペクトラルセンサ１１１で取得された各スペクトル帯θkの画像Iｍθk(ｋ＝１〜Ｎ)から、同一画像アドレス(ｘ，ｙ)の画素を取り出し、各画素毎のスペクトラムを生成する手段（スペクトラム生成部）１０１と、そのスペクトラムの分布を、時系列信号の周波数の分布とみなし、そのスペクトラムを逆フーリエ変換することにより、時系列信号を生成する手段（時系列信号生成部）１０２、時系列信号生成部１０２で生成された時系列信号を所定のモデリング手法を用いて一組のパラメータにより表されるＡＲ(Autoregressive Model)モデルなどにモデリングする手段（時系列信号モデリング部）１０３と、モデリングにより得られた一組のモデルパラメータの画素間の類似度と画素の隣接度などを用いて、それぞれの画素を同一物体と考えられる画素群にグルーピングする手段（目標候補抽出部）１０４と、目標候補抽出部１０４で同一物体と見なされた画素群のモデルパラメータと予め蓄積してあるモデルパラメータとを比較することにより、それぞれの画素群の物質を特定する手段（目標認識部）１０５とから構成されている。

スペクトラムと時系列信号生成部１０２により生成された時系列信号を比較すると、後者に対し前者の方が、軸に沿った変化度が小さい。時系列信号生成部１０２の代わりに、スペクトラムを、それよりも軸に沿った変化度が小さい信号に変換するようなものであれば、他の手段を用いてもよい。

また、時系列信号生成部１０２により、スペクトラムをそれよりも軸に沿った変化度が小さい時系列信号に変換することにより、時系列信号モデリング部１０３により、同一数のパラメータを用いてＡＲモデル等の時系列モデルに近似した場合の誤差を減少させることができる。

次に、図１、図２及び図３を参照して本実施の形態の全体の動作について詳細に説明する。

まず、スペクトル分布生成部１０１では、ハイパースペクトラルセンサで観測された波長帯域の異なるＮ枚の画像から、同一画像アドレス(ｘ，ｙ)の画素を取り出し、その輝度を波長順に並べたスペクトル分布Ｈｘ，ｙ（θｋ）（ｋ＝１〜Ｎ）を作る（図４参照）。

このスペクトル分布Ｈｘ，ｙ（θｋ）は、対象とする画素がとらえている物質固有の光反射（あるいは放射）特性の波長依存性を示すものであるが（図５参照）、時系列信号生成部１０２では、これを時間信号の周波数特性（パワースペクトル密度分布）と見なし（図６参照）、このスペクトル分布から、ＩＦＦＴなどの逆フーリエ変換により時系列信号Ｚｘ，ｙ（ｔｋ）（ｋ＝１〜Ｎ）を得る（図７参照）。次に、ここで得られたＮ個の連続した時系列信号を、モデリング部１０３ではディジタル信号のモデリング化手法として高い実績を有する最大エントロピー法や最尤法、最小最小２乗法などを用いて、ＡＲモデルやＡＲＭＡ(Auto Regressive Moving Average)モデル、ラティスモデルなどのモデルへフィッティング（モデリング）させる。

ここで、最大エントロピー法とは、事象ｔとｈが同時に出現する頻度Ｏ（ｔ，ｈ）から条件付き確率Ｐ（ｔ｜ｈ）を推定するアルゴリズムである。

ある時点の出力が、過去の出力の線形結合として得られるシステムがあるとき、このシステムを表すモデルをＡＲモデル(autoregressive model：自己回帰モデル)とよぶ。

また、ある時点の出力が、現在および過去の入力に対するインパルス応答の線形結合として得られるシステムがあるとき、このシステムを表すモデルをＭＡモデル(moving average model：移動平均モデル)とよぶ。

更に、ある時点の出力が、過去の出力の線形結合と、現在および過去の入力に対するインパルス応答の線形結合の和として得られるシステムがあるとき、このシステムを表すモデルをＡＲＭＡモデル(autoregressive moving average model：自己回帰移動平均モデル)とよぶ。

最適なモデリング手法とモデルの組み合わせは、モデリング対象である時系列信号の特性（＝スペクトル分布特性）によって異なるが、計算量や安定性、及びラティスフィルタとの相互変換性などの面から最大エントリピー法を用いたＡＲモデルフィッティングは、広く使える組合せの１つと言える。ＡＲモデルなどによって得られたｎ個（ｎ＜＜Ｎ）モデルパラメータは、時系列信号、言い換えると元のスペクトル分布の統計的な特徴を表している。

次に、目標候補抽出部１０４では、各画素に対して得られたｎ個（N＜＜ｎ）のモデルパラメータの画素間の類似性によってグルーピングを行う。ｎ個のモデルパラメータの画素間の類似性の検証は、モデルのｎ個のパラメータの画素間の直接比較を基にして行なってもよいが、モデルのｎ個のモデルパラメータからそのモデルの極を求め、極の類似性を基にして行うことも有効である。モデルのｎ個のパラメータの画素間の直接比較によりｎ個のモデルパラメータの画素間の類似性の検証をする場合には、例えば、モデルのｎ個のパラメータの画素間の内積を求め、それが所定の範囲に入っている画素群を１つのグループに属するものとする。また、極の類似性によりｎ個のモデルパラメータの画素間の類似性の検証をする場合には、例えば、片方の画素についてのそれぞれの極毎に、他方の画素についての最近の極との間の距離を求め、全ての極についての距離のｎ乗和を算出し、それが所定の範囲に入っているかを判断する。

モデルのｎ個のパラメータの直接比較を行なう場合には、同一グループにグルーピングされても、空間的(画像全域)に散在している画素がそのグループ内に存在する可能性も高いことから、ラベリングなどの画像処理手法により、同一グループ内で「かたまり」を検出し、それぞれの「かたまり」を物体（目標候補）とみなす。

最後に、目標認識部１０５では、それぞれの目標候補の一組のパラメータを、各種目標物体に対して同様な手順で予め算出しておいた一組のモデルパラメータと類似度を照合させることにより、その目標候補がどの目標物体であるのかという認識又は予め期待していた種類の目標物体が実際に目標候補に含まれているかの認識を行う。

本実施の形態では、ノイズに乱されたＮ次元のスペクトル分布を、統計的にノイズの影響を最小化するという評価基準で最適化されたｎ個（ｎ＜＜Ｎ）のモデルパラメータで特徴付けるというように構成されているため、ハイパースペクトラルセンサで取得した画像中に存在する目標を高い信頼性で効率的に自動検出できる。

また、本実施の形態では、さらに、モデルパラメータから、そのモデルの極配置を求め、単位円内の極配置を、予め取得しておいた各物質の極配置と照合することにより物質の特定もできるというように構成されている。また、１つの画素に複数の物質が混じっている場合には、それぞれの物質に対する極のうち半径が長い極を合わせたものが、その画素についての極として表われる。従って、１つの画素に複数の物質が混じっている場合であっても、それぞれの物質を特定することができる。従って、目標物体が、複数の物質より成る場合であっても、その目標物体を検出することができる。

本実施形態によれば、下記の効果が奏される。

第１の効果は、ハイパースペクトラルセンサで取得した画像中に存在する目標を効率的に自動検出できることにある。

その理由は、Ｎ次元のスペクトル分布をｎ個（ｎ＜＜Ｎ）のモデルパラメータで特徴づけるため、物質の分類、特定がより少ない演算量で可能になるからである。

第２の効果は、ハイパースペクトラルセンサで取得した画像中に存在する目標を高い信頼性で自動検出できることにある。

その理由は、ランダムノイズに乱されているＮ次元のスペクトル分布を、統計的な信号モデリング手法を用いてモデリングすることにより、もとのノイズの影響を低減させ、スペクトル分布特性のみを表現したモデルパラメータが得られるためである。

第３の効果は、複数の物質が同じ画素に撮像された場合（それぞれのスペクトル分布が足されて観測される）でも、それぞれの物質を特定できる可能性が高くなったことにある。

その理由は、ｎ個モデルパラメータから計算されるｎ個の極には、それぞれの物質のスペクトル分布を特徴づける極の情報が保存されているからである。

本発明によれば、ハイパースペクトラルセンサを用いて得られた画像中に存在する物質を自動的に分類すると共に、分類されたそれぞれの物質がどのような物質なのか自動で特定する装置やそれを実現させるためのプログラムといった用途に適用できる。また、他の手段で得られた物質のスペクトル分布を用いて、その物質を特定するといった用途にも適用可能である。

本発明の実施形態によるシステムの構成を示すブロック図である。図１に示すシステムの動作を示すための図（１／２）である。図１に示すシステムの動作を示すための図（２／２）である。本発明の実施形態におけるハイパースペクトラルセンサの各波長帯θkで観測されたＮ枚の画像Im(θk)(k=1,2・・N)を示す図である。本発明の実施形態における同一画素の輝度分布（スペクトル分布）を示す図である。本発明の実施形態において、図５に示す輝度分布（スペクトル分布）を時系列時間信号の周波数特性とみなした場合の図である。本発明の実施形態において、図５に示す輝度分布（スペクトル分布）を時系列時間信号の周波数特性とみなした場合の時系列信号の図である。

符号の説明

１０１スペクトル分布生成手段
１０２時系列信号生成手段
１０３時系列信号モデリング手段
１０４目標候補抽出手段
１０５目標認識手段
１１１ハイパースペクトラル画像取得手段（装置）

Claims

ハイパースペクトラム画像の各画素のスペクトラムに対し所定の変換をかけることにより、前記スペクトラムよりも変換後の軸に沿った変化度が小さい変換データを得る変換ステップと、
所定のモデリング手法を用いて、一組のパラメータで表される時系列モデルにより、前記変換データを表すための前記一組のパラメータを算出する画素パラメータ算出ステップと、
前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較し、更に、画素間の隣接度に基づいた計算を行なうことにより、画素群を求める画素群検出ステップと、
前記画像群に含まれる少なくとも１つの画素にそれぞれ対応する少なくとも一組のパラメータを基に、前記画像群に対応する一組のパラメータを算出する画素群パラメータ算出ステップと、
を備えることを特徴とする画素群パラメータ算出方法。
請求項１に記載の画素群パラメータ算出方法において、
前記所定のモデリング手法は、最大エントロピー法、最小自乗法又は最尤法であることを特徴とする画素群パラメータ算出方法。
請求項１に記載の画素群パラメータ算出方法において、
前記時系列モデルは、ＡＲモデル、ＡＲＭＡモデル又はラティスモデルであることを特徴とする画素群パラメータ算出方法。
請求項１に記載の画素群パラメータ算出方法において、
前記所定の変換は、逆フーリエ変換であることを特徴とする画素群パラメータ算出方法。
請求項１に記載の画素群パラメータ算出方法において、
画素群検出ステップでは、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較を、画素間同士で一組のパラメータの間の距離に基づいて行なうことを特徴とする画素群パラメータ算出方法。
請求項１に記載の画素群パラメータ算出方法において、
画素群検出ステップでは、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較を、画素間同士で前記時系列モデルに対応する極の近さに基づいて行なうことを特徴とする画素群パラメータ算出方法。
請求項１乃至６の何れか１項に記載の画素群パラメータ算出方法により得られた画素群に対応する一組のパラメータを、既に蓄積されている目標物に対応する一組のパラメータと比較することにより、前記画素群が前記目標物を表すものであるか否かを判断する目標物検出方法。
ハイパースペクトラム画像の各画素のスペクトラムに対し所定の変換をかけることにより、前記スペクトラムよりも変換後の軸に沿った変化度が小さい変換データを得る変換手段と、
所定のモデリング手法を用いて、一組のパラメータで表される時系列モデルにより、前記変換データを表すための前記一組のパラメータを算出する画素パラメータ算出手段と、
前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較し、更に、画素間の隣接度に基づいた計算を行なうことにより、画素群を求める画素群検出手段と、
前記画像群に含まれる少なくとも１つの画素にそれぞれ対応する少なくとも一組のパラメータを基に、前記画像群に対応する一組のパラメータを算出する画素群パラメータ算出手段と、
を備えることを特徴とする画素群パラメータ算出装置。
請求項８に記載の画素群パラメータ算出装置において、
前記定のモデリング手法は、最大エントロピー法、最小自乗法又は最尤法であることを特徴とする画素群パラメータ算出装置。
請求項８に記載の画素群パラメータ算出装置において、
前記時系列モデルは、ＡＲモデル、ＡＲＭＡモデル又はラティスモデルであることを特徴とする画素群パラメータ算出装置。
請求項８に記載の画素群パラメータ算出装置において、
前記所定の変換は、逆フーリエ変換であることを特徴とする画素群パラメータ算出装置。
請求項８に記載の画素群パラメータ算出装置において、
画素群検出手段では、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較を、画素間同士で一組のパラメータの間の距離に基づいて行なうことを特徴とする画素群パラメータ算出装置。
請求項８に記載の画素群パラメータ算出装置において、
画素群検出手段では、前記ハイパースペクトラム画像の各画素に対応する一組のパラメータの値を画素間で比較を、画素間同士で前記時系列モデルに対応する極の近さに基づいて行なうことを特徴とする画素群パラメータ算出装置。
請求項８乃至１３の何れか１項に記載の画素群パラメータ算出装置により得られた画素群に対応する一組のパラメータを、既に蓄積されている目標物に対応する一組のパラメータを比較することにより、前記画素群が前記目標物を表すものであるか否かを判断する目標物検出装置。
請求項１乃至７の何れか１項に記載の方法をコンピュータに行なわせるためのプログラム。