JP2010256303A - ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法 - Google Patents

Abstract

【課題】撮影環境によらずにより正確な反射スペクトルを測定することが可能なハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法を提供する。
【解決手段】被測定物のハイパースペクトル画像を取得する画像処理装置であって、被測定物12からの反射光を分光する分光手段13と、分光された光を受光し撮像データを取得する２次元の撮像素子14と、撮像素子14の各ピクセルにおける複数の受光量での感度特性データを保存するメモリ16と、前記撮像データを前記保存されている感度特性データで補正して補正された撮像データに変換する演算手段17とからなることを特徴とする画像処理装置11である。
【選択図】図12

Description

本発明は、スペクトル情報を持った画像（ハイパースペクトル画像）を取得するための画像処理装置及びその方法に関する。

通常のカラー画像ではＲＧＢに対応した3枚分の画像データを持ち、3枚を重ねることでＲＧＢの強度比に対応した種々の色を表現する事が出来る。これに対してハイパースペクトル画像では各ピクセルに対応して特定波長範囲の離散的な複数の波長におけるデータを保有する。例えば1000nm〜2500nmの範囲を10nmピッチで測定したハイパースペクトル画像では1000nmから10nm刻みで2500nmまでの151枚の画像データを持つ事になる。ハイパースペクトル画像では各ピクセルに対応してスペクトルデータを持つため、非常に多くの情報を保有することになる。これにより、最適な情報処理を施す事により通常のカラー画像では見えない物を浮かび上がらせることも可能となる。例えば、人工衛星写真から地上の様子を分析する際などにハイパースペクトル画像が利用されている。

ハイパースペクトル画像を取得する方法には大きく分けて2つの方法がある。一つは図1に示すラインセンサ型分光カメラ1を使用する方法である。この場合、受光素子2には2次元の素子が使用されるが、受光素子2のy方向には波長データλが取り込まれる。ラインセンサ型分光カメラ1の前段には分光器3が取り付けられ、スリットを通して撮影されたX方向のラインデータは分光器3により受光素子2のy方向に分光される。そのため、受光素子2のx方向には実際のX軸に対応した1次元画像データが受光され、受光素子2のy方向には撮影ライン上の各位置での波長データλが受光される。ラインセンサ型分光カメラ1と被測定物5をY軸方向に相対的に移動させながら連続して撮影する事で、Y方向のデータが時間軸t上に蓄積される。これにより実際のX軸、λ、Y軸の3次元データが、受光素子2のx軸、y軸及び時間軸t上に構築される。

もう一つの方法は図2に示すように通常のカメラ6の前に波長可変フィルタ8を取り付けて、波長可変フィルタ８の透過波長を変えながら複数枚の画像データを連続して取り込む方法である。この場合、実際のX軸、Y軸のデータは受光素子７のx軸、y軸上で受光され、波長データλは時間軸t上に構築される事になる。

ハイパースペクトル画像を取得する際には、受光素子の暗電流や感度特性のバラツキ、或いは撮影に使用する照明のスペクトル分布などの影響を避けるために、DarkとWhiteの値を撮影し、ハイパースペクトル画像の規格化を行う必要がある。通常はカメラのシャッタを閉じるなどして、受光器に光が届かない条件で測定した受光素子からの出力をDark値とし、反射率95%以上の標準白色板を撮影した際の受光素子からの出力をWhite値とする。（標準白色板とは角度に依存しない拡散反射光を返す反射率の高い拡散反射板のことである。）実際にハイパースペクトル画像を撮影する場合には、Dark値を0％、White値を100％としてカメラ出力の規格化を行い、受光素子特性や照明のスペクトル特性の影響を受けないように補正する。

図6にDark、Whiteのスペクトルと、規格化前の見かけの反射スペクトルを模式的に示す。シャッタを閉じた状態でも受光素子の暗電流に起因して図6のDarkスペクトルに示すような受光素子からの出力が観測される。また、反射率の高い標準白色板からの反射スペクトルを撮影した場合には図6のWhiteスペクトルに示すようなスペクトルが観測される。これは受光素子の感度特性や分光器の分光特性が波長依存性を持つ事に起因している。この様な波長特性を持つ受光素子でサンプルからの反射スペクトルを撮影した場合、観測される反射スペクトル（図6の「見かけの反射スペクトル」）は実際の反射スペクトルとは懸け離れた形状を示している。見かけの反射スペクトルにおいてスペクトルの中央が盛り上がっているのはWhiteスペクトルの形状に起因しており、実際の反射スペクトルを求めるにはDark値を0％、White値を100％として規格化を行う必要がある。規格化を行う事で図7に示すようなサンプル本来の反射スペクトルが得られる。

照明条件が変化するとWhite値に影響し、受光素子の温度が変化するとDark値に影響する。また、カメラの電子的露光時間を変えた場合にはDark値とWhite値の両方に影響する。従って、これらの撮影条件を変えた場合には、その都度Dark値とWhite値を取り直す必要がある。

ハイパースペクトル画像を用いた画像処理技術では、スペクトル形状から構成物質を同定するなどの解析を行うため、正確な反射スペクトルを取得する必要があり、上述の規格化作業が必須である。通常はハイパースペクトル画像を取得する前に各画素毎のDark値、White値を取得するのであるが、撮影条件を変更する度にDark値、White値の取り直しが必要となり面倒である。例えば、撮影中に照明条件を変えた場合や、カメラの電子的露光時間を変更した場合にはDark値、White値の取り直しが必要となる。

撮影方法による制約などからDark値、White値の取り直しが出来ない場合もある。たとえば、航空機やクレーンを用いて地上の植生などの調査を行う屋外での撮影では、日照条件が変化するたびにDark値、White値の取り直しをするのは現実的ではない。

また、撮影中に環境温度が変化した場合にも、カメラの受光素子の温度が変化する事に起因してDark値が変化するため、Dark値の取り直しが必要となる。この現象は受光素子をペルチェ素子などで一定温度に冷却するタイプのカメラにおいても完全に避けることは難しい。環境温度が変化する事でペルチェ素子の放熱側温度が変化するため、ペルチェ素子の吸熱側（受光素子側）にもその影響が僅かながら現れることが原因である。低温で動作する受光素子においては僅かな温度変化でも暗電流（Dark値）が大きく変化するため、一定温度に冷却制御していても放熱側の温度変化の影響を受けてしまうのである。

更にもう一つの大きな問題として、受光素子のリニアリティの問題がある。前述のDark値とWhite値による規格化では、光量0％と100％の場合の受光素子からの出力は正確に補正（規格化）されるが、中間光量の場合には線形補間により規格化されるため、受光素子のリニアリティが悪い場合には、出力に誤差が生じる事がある。例えば標準白色板からの反射光の光量に対して49％の光量時に受光素子からの出力がWhite値の50％となる素子では、中間光量において50％に対して1％、つまり約2％の誤差が生じる。この様な受光素子出力の線形性からの逸脱は特に低光量の場合に問題となる。50％に対する1％のズレは高々2％の誤差であるが、5％に対する1％のズレは20％の誤差に相当するからである。現実的にこの様な問題が発生しやすいのは、屋外でのハイパースペクトル画像で青色に相当するスペクトルの評価を行う場合である。波長600nm付近の強い光に対して受光素子出力が飽和しない撮影条件に設定すると、青色の光に対する出力は20％以下となることが原因である。（図６では、波長600nmよりさらに波長の長い領域までイメージ的に受光素子出力を示してある。）

特開２００３−２３６４２号公報

本発明の目的は、撮影環境によらずにより正確な反射スペクトルを測定することが可能なハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法を提供することである。

本発明は、上記の目的を達成するために、（１）被測定物からの反射光を分光する分光手段と、（２）分光された光を受光し撮像データを取得する２次元の撮像素子と、（３）撮像素子の各ピクセルにおける複数の受光量での感度特性データを保存するメモリと、（４）撮像データを保存されている感度特性データで補正して補正された撮像データに変換する演算手段とからなる画像処理装置を提供する。
また、（１）被測定物からの反射光を分光するステップと、（２）分光された光を受光し２次元の撮像素子によって撮像データを取得するステップと、（３）撮像データを、あらかじめ取得され保存されていた撮像素子の各ピクセルの複数の受光量における感度特性データで補正して、補正された撮像データに変換するステップとからなる画像処理方法を提供する。

本発明では、予めカメラの複数の撮影条件に合わせて撮像素子の各ピクセルにおける複数の受光量での感度特性データを取得して記憶しておく事で、撮影環境によらずにより正確な反射スペクトルを測定することが可能となる。

ラインセンサ型分光カメラを示す斜視図である。 波長可変フィルタと組み合わせた通常のカメラを示す斜視図である。 ラインセンサ型分光カメラの入射光量と受光素子出力との関係を示す図である。 太陽高度θも変数として含んだ場合の入射光量Iに対する受光素子出力値DN＝W（I,θ）の関係を示す図である。 波長可変フィルタと組み合わせた通常カメラの入射光量Ｉに対する受光素子出力値DN＝W（I,λ）の関係を示す図である。 規格化前の反射スペクトルを示す図である。 規格化後の反射スペクトルを示す図である。 従来技術に係るヘリコプターからの地上撮影図である。 本発明に係るヘリコプターからの地上撮影図である。 従来技術に係るクレーンからの地上撮影図である。 本発明に係るクレーンからの地上撮影図である。 画像処理装置の概要を示す図である。

はじめに、図1に示すラインセンサ型分光カメラ１を用いる場合について説明する。この場合、受光素子２上の任意の一画素には常に決まった波長の光が入射することになる。図３は、受光面上の一画素を取り出して、その画素が担当する波長λの光が入射した場合の入射光量Iに対する受光素子出力値DNを模式的に表したグラフである。通常は入射光量と出力値はほぼ直線的な関係となるが、図3では説明を分かり易くするために敢えて直線関係から大きく逸脱した関係としている。

従来の技術の様にハイパースペクトル画像を取る前にDark値とWhite値を取得して、それを元に規格化により光量を求める場合、つまりDN0とDN5だけを元に線形補間を行う場合、受光素子出力aに対する入射光量はb'と見積もられる。しかし、実際の入射光量はbである。この誤差は受光素子２のリニアリティが悪い事に起因しており、図3に示すようにDN0とDN5に加えてDN1からDN4に対応する中間光量に対する入射光量と受光素子出力の関係を取り込んで、補間点を増やす事により避ける事ができる。つまり各画素に対して
DN＝W（I）
の関係を求める際に補間点を増やして測定する事で真の関数Wに近い関係を求めることができるということである。

DN0とDN5の取得は、従来と同じようにシャッタを閉じた時と標準白色板を撮影した時の受光素子２からの出力を測定すればよい。DN1からDN4の取得は、標準白色板と受光素子２の間に設けた絞りで受光素子２が受光する光量を調節し、そのときの受光素子２からの出力を測定すればよい。Dark値（0％）、White値（100％）以外の中間光量に対する受光素子２からの出力値も予め取得して記憶しておく事で、中間光量に対する規格化後の出力も誤差が小さくなる。中間光量の測定点以外の光量に対しては、線形補間などの補間を用いるが、0％と100％の間を全て補間するよりも、中間光量での受光素子２からの出力を実測している分だけ補間間隔が狭くなり、規格化後のデータ精度が向上する。

受光素子２の各ピクセル各々において、標準白色板を撮影してDN0からDN5を取得することを複数回繰り返し、複数のDN0からDN5それぞれの平均値を使用して各々のピクセルにおける関係W(I)を求めるのが好ましい。これにより、ノイズが低減できる。

さらに、標準白色板を受光素子に対して相対的に移動させてDN0からDN5を取得することを複数回繰り返すのが好ましい。これは、特にWhite値を取得する際に有効であり、標準白色板の異なる位置を撮影して平均化する事で標準白色板反射率の面内不均一に起因する誤差要因を取り除ける。

尚、Wはカメラの電子的露光時間、照明条件、環境温度に依存して変化するので、これらの条件が変化した場合のWを予め測定して記憶しておき、ハイパースペクトル画像を取得する際の条件に最も近いWから測定光量を求めるのがよい。環境温度毎の感度特性データ（Dark値、White値、及び中間光量に対する受光素子出力値）を取得することにより、測定中に温度が変わった際にも、その温度に合った規格化データを用いる事で規格化後のデータ精度が向上する。測定点以外の温度に対しては線形補間などによりデータを補間することで対応できる。

屋外での測定における太陽高度や環境温度に関しては離散的な測定点から補間により近似値を求めることも可能である。図4には太陽高度θも変数として含んだ場合の入射光量Iに対する受光素子出力値
DN＝W（I,θ）
を示すグラフである。この場合、Wは曲線ではなくI、θを変数とする曲面を形成する。測定点以外の太陽高度における入射光量を求める際にはIに関する補間と同様の操作によりθに関する補間を行う。測定時の太陽高度は観測可能であるので、θは特定の値となり、θを含まない
DN＝W（I） θは一定値
の曲線上で入射光量を求めることになる。

環境温度に関しても太陽高度と同様の補間技術を用いる事が可能であるが、天候に関しては補間が難しいため、予め複数の天候（晴天、晴天時に太陽に雲がかかった場合、薄曇り、曇天など）に対応したWのセットを準備しておき、最も近い天候のWを用いることで対応する。この様な方法を採用することにより、屋外のハイパースペクトル撮影においても規格化後のデータ精度を向上させることが可能となる。尚、Wは画素毎に微妙に異なる関数となるため、上述のWを全ての画素に対して準備しておく必要がある。

以上を纏めると各画素に対して
DN＝W（I,θ,T）
DN：受光素子出力値
I：入射光量
θ：太陽高度
T：環境温度
なる関係をI、θ、Tに対してそれぞれ複数点の測定を行い、Wの形状を近似的に求めておき、更に異なる天候に対するWのセットを準備する。ハイパースペクトル画像測定時にはθ、Ｔが一意に決定するので、測定時の天候に最も近いWを用いて、測定した受光素子出力値DNから入射光量Iを求めることが可能となる。

次に、図2に示す様な波長可変フィルタ8と通常のカメラ6を組み合わせてハイパースペクトル画像を撮影する場合について説明する。この場合、波長は時間的に変化するため、受光素子7上の各画素は全ての波長の光を順番に受光する事になる。各画素のWは波長に対しても依存するため、図3では
DN＝W（I）
であった関係式は
DN＝W（I,λ）
となる。この対応関係を図5に示す。図3では曲線であった対応関係が図4と同様に変数が一つ増える事により曲面での対応関係となる。図4で太陽高度θであった軸を波長λで置き換えただけであり、測定点以外のλに対しては補間技術を用いる事になる。

太陽高度θ、環境温度Tを含む最終的な関係式は
DN＝W（I,λ,θ,T）
DN：受光素子出力値
λ：波長
I：入射光量
θ：太陽高度
T：環境温度
となり、図1に示すラインセンサ型分光カメラ1より変数が１つ増えた形となる。それ以外はラインセンサ型カメラ1と同様である。

以上の説明では太陽高度や環境温度を変数として含んだが、受光素子の温度制御が十分に高性能であり、また、測定値の許容誤差もそれほどシビアでない場合には環境温度は一定として扱う事も可能である。また、室内で常に一定の照明条件でハイパースペクトル画像を撮る場合にはWはθが含まれない式となる。変数を増やすとそれだけ演算に必要なデータも増えるので、必要最低限の変数を含むWを求める事が効果的である。また、離散的なI、λ、θ、Ｔから補間によりWを求める場合には線形補間以外にも多項式などにより微係数が連続的となる補間などを利用する事も可能である。

図1に示すラインセンサ型分光カメラ1により、ヘリコプターから地上のハイパースペクトル画像を撮影した画像を図8、図9に示す。受光素子出力のリニアリティの問題は、前述したように光量の低い青色の光に対して顕著に現れるため、両図は共に波長450nmの画像を記載している。図8は離陸直前にWhite値とDark値を撮っておき、受光素子出力値0％と100％の間を線形補間することにより得られた従来方法による画像である。図9は0％と100％の間に5点の実測点を設けて、その間を線形補間したデータを予め準備しておき、撮影時はそのデータを元に規格化を行った本発明の方法により取得した画像である。ライン型のセンサであるため、画素のリニアリティの悪さは横方向の縞模様として現れるが、図9の本特許による技術の方が横方向の縞が緩和されている事が分かる。図9でも縞模様が残っているが、この撮影では環境温度による補正や太陽高度による補正を行っていないため、その影響が残っているのではないかと推測している。

ラインセンサ型分光カメラ1を使用してクレーンから地上のハイパースペクトル画像を撮影した画を図10、図11に示す。両図は共に波長450nmの画像を記載している。図10は従来方法により取得した画像であり、地上に設置した標準白色板を用いてWhite値を取得した。しかし、標準白色板が画角全体を覆えるほどに大きくないため、標準白色板を撮影できなかった画素では標準白色板を撮影できた画素のWhite値（出力100％）の平均値をその画素のWhite値として代用している。そのため、各画素のリニアリティの問題だけでなく、他の画素のWhite値を代用していることも誤差要因となっている。図11は0％と100％の間に5点の実測点を設けて、その間を線形補間したデータを予め準備しておき、撮影時はそのデータを元に規格化を行った本発明の方法により取得した画像である。図11でも環境温度や太陽高度による補正は行っていないが、図10と比較しても明らかに横方向の縞模様が緩和されていることが分かる。

図１２に、画像処理装置11の概要を示す。同図に示すように、この画像処理装置11は、被測定物12からの反射光を分光する分光手段13と、分光された光を受光し撮像データを取得する２次元の撮像素子14と、撮像素子14の各ピクセルにおける複数の受光量での感度特性データを取得する感度データ取得手段15と、取得された感度データを保存するメモリ16と、前記撮像データを前記保存されている感度特性データで補正して補正された撮像データに変換する演算手段17と、受光量調節機構18とを備え、被測定物12のハイパースペクトル画像を取得する。また、感度データ取得手段15は、測定された離散的な感度特性データを補間した太陽高度に対する連続的な補間感度特性データを取得し、更には複数の異なる天候に対する感度測定データを取得する機能を有している。

１ ラインセンサ型分光カメラ
２ 受光素子
３ 分光器
４ レンズ
５ 被測定物
６ カメラ
７ 受光素子
８ 波長可変フィルタ
９ レンズ
１０ 被測定物
１１ 画像処理装置
１２ 被測定物
１３ 分光手段
１４ 撮像素子
１５ 感度データ取得手段
１６ メモリ
１７ 演算手段
１８ 受光量調節機構

Claims (13)

1. 被測定物のハイパースペクトル画像を取得する画像処理装置であって、
   被測定物からの反射光を分光する分光手段と、
   分光された光を受光し撮像データを取得する２次元の撮像素子と、
   該撮像素子の各ピクセルにおける複数の受光量での感度特性データを保存するメモリと、
   前記撮像データを前記保存されている感度特性データで補正して補正された撮像データに変換する演算手段と
   からなることを特徴とする画像処理装置。
2. 前記感度特性データは、標準白色板を被測定物として用いて取得された複数組の撮像データの各ピクセル毎の平均値からなることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数組の撮像データは、前記標準白色板と前記２次元の撮像素子の相対位置を変えながら取得したものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記分光手段が空間的分光手段であって、前記２次元の撮像素子は、１次元が波長データ、他の１次元が測定空間軸に対応した空間軸データからなるラインセンサとして機能し、該ラインセンサと前記被測定物との相対移動によって、前記ハイパースペクトル画像を得ることを特徴とする請求項１から請求項３のいずれかの１項に記載の画像処理装置。
5. 前記画像処理装置は、受光量を調節する機構を備え、前記メモリは離散的な複数の受光量に対して測定された感度特性データ及び前記離散的な感度特性データを補間した補間感度特性データを保存することを特徴とする請求項１から請求項４のいずれかの１項に記載の画像処理装置。
6. 前記分光手段が波長可変フィルタであって、前記２次元の撮像素子は、前記波長可変フィルタの透過波長をスキャンしながら複数枚の画像を取得することにより前記ハイパースペクトル画像を得ることを特徴とする請求項１から請求項３のいずれかの１項に記載の画像処理装置。
7. 前記画像処理装置は、受光量を調節する機構を備え、前記メモリは、離散的な複数の受光量と離散的な複数の波長に対して測定された光量と波長に対する離散的な感度特性データ及び前記離散的な感度特性データを補間した補間感度特性データを保存することを特徴とする請求項６に記載の画像処理装置。
8. 前記メモリは、更に離散的な複数の外気温度に対して測定された離散的な感度特性データ及び該離散的な感度特性データを補間した補間感度特性データを保存することを特徴とする請求項５または７に記載の画像処理装置。
9. 前記画像処理装置は、前記測定された離散的な感度特性データを補間した太陽高度に対する連続的な補間感度特性データを取得し、前記メモリは、更に離散的な複数の太陽高度に対して測定された離散的な感度特性データ及び該離散的な感度特性データを補間した太陽高度に対する連続的な補間感度特性データを保存することを特徴とする請求項５、７、または８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、更に複数の異なる天候に対する感度測定データを取得し、前記メモリに保存することを特徴とする請求項５、または７から９のいずれか１項に記載の画像処理装置。
11. 被測定物のハイパースペクトル画像を取得する画像処理方法であって、
    被測定物からの反射光を分光するステップと、
    分光された光を受光し２次元の撮像素子によって撮像データを取得するステップと、
    前記撮像データを、あらかじめ取得され保存されていた前記撮像素子の各ピクセルの複数の受光量における感度特性データで補正して、補正された撮像データに変換するステップ、
    とからなることを特徴とする画像処理方法。
12. 前記感度特性データは、標準反射板を被測定物として用いて取得された複数組の撮像データの各ピクセル毎の平均値からなることを特徴とする請求項１１に記載の画像処理方法。
13. 前記複数組の撮像データは、前記標準白色板と前記２次元の撮像素子の相対位置を変えながら取得したものであることを特徴とする請求項１２に記載の画像処理方法。