JP2020120204A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】カラーフィルタアレイ方式分光撮像装置で取得された、複数の分光画像が混合した画像から、正確な分光情報を取得することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置１００は、Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理部と、Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理部と、を有する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。特に、カラーフィルタアレイを有する単板式撮像素子を用いた分光撮像装置による分光画像の画像処理を行う画像処理装置、画像処理方法、並びに、プログラムに関する。

分光情報は物質情報を取得するための手段として有効である。この分光情報を取得するための手段として、カラーフィルタアレイを有する単板式撮像素子を用いた分光撮像装置（Color Filter Array方式、略してＣＦＡ方式分光撮像装置）が知られている。

このＣＦＡ方式分光撮像装置は、小型で、低価格であるため、幅広い分野で利用されている。最も一般的な構成として、可視光の赤色、緑色、青色波長帯域に対して光透過特性を有するカラーフィルタをベイヤー配列させた構成が知られている。

その他の構成として、より多くの分光情報を取得するためにカラーフィルタ数を増加した構成や、可視波長帯域では得られない物質情報を取得するために近赤外波長帯域の分光情報を取得する構成が知られている。

単板式撮像素子としてシリコンイメージセンサを用いた場合、シリコンイメージセンサは、およそ波長３５０ｎｍから１１００ｎｍの範囲の光に対して感度を有する。従って、上記波長範囲内で任意の波長帯域に対して光透過特性を有するカラーフィルタを用いることで、所望の波長帯域の分光情報を取得することが可能である。

図３（ａ）は、シリコンイメージセンサと各種カラーフィルタを組み合わせて作製したイメージセンサの分光感度特性の一例である。図中、一点鎖線は赤色カラーフィルタ、破線は緑色カラーフィルタ、点線は青色カラーフィルタ、実線は近赤外用カラーフィルタを用いた場合のイメージセンサの分光感度特性を表している。

図３（ａ）に示すように、一般的なカラーフィルタは所望の波長帯域以外の波長帯域においても光透過特性を有する。例えば、赤色、緑色、青色用のカラーフィルタは可視波長帯域だけでなく、近赤外波長帯域においても光透過特性を有する。また、近赤外用カラーフィルタは、近赤外波長帯域だけでなく、可視波長帯域においてもわずかながら光透過特性を有している。

このような分光感度特性を有するイメージセンサにより取得される画像は、実質的に複数の分光画像が混合した画像と等価である。例えば、図３（ａ）の赤色カラーフィルタにより取得した画像は、赤色の分光画像と近赤外光の分光画像が混合した画像と見なすことができる。

従って、図３（ａ）に示すような特性のイメージセンサを用いた場合、混色のない分光画像を取得するには、複数の分光画像が混合した画像から混色のない分光画像に分離する処理（色補正処理）が必要となる。

また、ＣＦＡ方式分光撮像装置により取得された画像は、図２に示すようにカラーフィルタ毎に空間的にサンプリングされた画像（モザイク画像）となる。従って、欠落した空間情報を補間するための処理（デモザイキング）も必要となる。

非特許文献１に、ベイヤー配列のカラーフィルタの緑色用カラーフィルタの１つを、近赤外用カラーフィルタに置き換えたＣＦＡ方式分光撮像装置が開示されている。また、上記分光撮像装置により取得したモザイク画像の画像処理方法が開示されている。

図７に非特許文献１の画像処理装置の構成図を示す。以下、図７を用いて、従来手法のデモザイキング、並びに、色補正処理について説明する。

図７中、Ｒｍ、Ｇｍ、Ｂｍ、ＮＩＲｍはそれぞれ、赤色用、緑色用、青色用、近赤外用のカラーフィルタを用いて取得したモザイク画像である。なお、各カラーフィルタを用いたイメージセンサの分光感度特性は、図３（ａ）に示す特性と同様な特性を有するものとする。

従来手法では、ベイヤー配列デモザイキング手法を利用するために、まず、緑色用カラーフィルタの対角に配置されたカラーフィルタにより取得されるモザイク画像ＮＩＲｍの補間処理を行い、補間画像ＮＩＲｉｐを生成する。次に、補間画像ＮＩＲｉｐを用いて、後述の色差補間により、Ｇｍの対角成分のみを補間したモザイク画像Ｇｍ２を生成する。その後、通常のベイヤー配列のデモザイキングと同様の手法を用いて、Ｇｍ２、Ｒｍ、Ｂｍから、補間画像Ｇｉｐ、Ｒｉｐ、Ｂｉｐを生成する。最後に、補間画像Ｇｉｐ、Ｒｉｐ、ＢｉｐからＮＩＲｉｐ成分を差し引くことにより、所望の分光画像Ｇｃｃ、Ｒｃｃ、Ｂｃｃ、ＮＩＲｉｐを得ている。

M. Martinello, A. Wajs, S. Quan, H. Lee, C. Lim, T. Woo, W. Lee, S. S. Kim, and D. Lee, "Dual aperture photography: Image and depth from a mobile camera," Proc. of IEEE Int. Conf. on Computational Photography(ICCP), 2015.

非特許文献１のデモザイキングで用いられている色差補間は、異なる分光画像間の相関性を用いた補間手法であり、補間に用いる２つの分光画像間の相関性が高いことを前提としている。しかしながら、可視波長帯域の分光画像と近赤外波長帯域の分光画像の相関性は必ずしも高いとは限らない。従って、非特許文献１のように緑色の分光画像Ｇｍと近赤外光の分光画像ＮＩＲｉｐを用いて色差補間を行うと、補間画像Ｇｍ２に分光情報の誤差が生じ、分光画像を正しく取得することが困難であった。

加えて、上記色差補間に用いる２つの画像Ｇｍ、ＮＩＲｉｐは、複数の分光画像が混合した画像であるため、２つの分光画像間の相関情報にもとづく正確な補間を行うことが困難であった。そのため、補間画像Ｇｍ２に分光情報の誤差が生じ、分光画像を正しく取得することが困難であった。

また、非特許文献１の色補正処理手法では、近赤外用カラーフィルタにより取得されるモザイク画像ＮＩＲｍに混合した可視波長帯域の分光画像の分離を行っていないため、正確な分光情報を有する分光画像を取得することが困難であった。

そこで、本発明は、ＣＦＡ方式分光撮像装置で取得された画像から、正確な分光情報を取得するための画像処理装置、画像処理方法、並びにプログラムを提供することを目的としている。

上記の目的を達成するために、本発明の一側面としての画像処理装置は、
カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置であって、前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理部と、前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理部と、を有する。

本発明の他の側面としての画像処理方法は、カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理方法であって、前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、を有する。

本発明の他の側面としてのプログラムは、カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するためのプログラムであって、前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、を実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明画像処理装置、画像処理方法、並びにプログラムによれば、カラーフィルタアレイ方式分光撮像装置で取得された、複数の分光画像が混合した画像から、正確な分光情報を取得することができる。

本発明の実施例１の画像処理装置の構成図である。 本発明が対象とするモザイク画像の説明図である。 本発明が対象とするセンサの分光感度特性を示した図である。 本発明の実施例１の補間処理方法の説明図である。 本発明の実施例１の解像度処理部の構成図である。 本発明の実施例２の画像処理方法のフローチャートである。 従来例の画像処理装置の構成図である。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

本発明は、２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置、画像処理方法、並びにプログラムに関する。

そこで、まず、本発明が対象とするモザイク画像について説明する。

（本発明が対象とするモザイク画像について）
図２は本発明が対象とするモザイク画像の説明図である。図２は、図３（ｃ）に示す分光感度特性Ｓｍ_１、Ｓｍ_２、Ｓｍ_３、Ｓｍ_４を有するセンサＳ_１、Ｓ_２、Ｓ_３、Ｓ_４が複数配置された単板式撮像素子により取得されるモザイク画像を示している。

図２中、センサＳ_１、Ｓ_２、Ｓ_３、Ｓ_４はそれぞれ、縦線、右上がり斜線、横線、右下がり斜線パターンで表している。

図２左側のＲＡＷは単板式撮像素子からのＲａｗ出力画像を示している。図２右側のＲ_ｍ、Ｇ_ｍ、Ｂ_ｍ、ＮＩＲ_ｍは、それぞれセンサＳ_１、Ｓ_２、Ｓ_３、Ｓ_４毎に分類したモザイク画像である。

図３（ｃ）はセンサＳ_１、Ｓ_２、Ｓ_３、Ｓ_４の分光感度特性Ｓｍ_１、Ｓｍ_２、Ｓｍ_３、Ｓｍ_４を示している。図３（ｃ）の横軸は波長、縦軸は相対分光感度である。

図２のセンサは、シリコンセンサと、カラーフィルタと、後述のバンドパスフィルタと、を組み合わせた構成となっている。

図３（ａ）はシリコンセンサとカラーフィルタを掛け合わせた分光感度特性を示しており、横軸は波長、縦軸は相対分光感度である。図中、一点鎖線は赤色カラーフィルタシリコンセンサの組み合せの分光感度特性を、破線は緑色カラーフィルタシリコンセンサの組み合せの分光感度特性を、点線は青色カラーフィルタとシリコンセンサの組み合せの分光感度特性を表している。実線は近赤外用カラーフィルタの分光感度特性を表しており、近赤外用カラーフィルタは青色カラーフィルタと赤色カラーフィルタとシリコンセンサを組み合わせた構成となっている。

図３（ｂ）は光学薄膜により構成されるバンドストップフィルタの特性を示している。図３（ｂ）の横軸は波長、縦軸は透過率を示している。このバンドストップフィルタは、波長３５０ｎｍから１１００ｎｍの範囲内において、波長４００ｎｍ以下の光と波長６５０ｎｍから８５０ｎｍの光を遮断し、上記波長以外の光を透過する特性を有している。

図３（ｃ）に示すように、本発明のＣＦＡ方式分光撮像装置で取得された画像は、複数の波長帯域に感度を有している。例えば、センサＳ_１により取得される画像は、可視光の赤色波長帯域と近赤外光の波長帯域に分光感度特性を有している。

図３（ｄ）は、混色のない分光画像を取得するために必要な、ＣＦＡ方式分光撮像装置の理想的な分光感度特性を示した図である。図３（ｄ）中、一点鎖線で示すＳｃ_１は赤色の分光画像の理想分光感度特性、破線で示すＳｃ_２は緑色の分光画像の理想分光感度特性、点線で示すＳｃ_３は青色の分光画像の理想分光感度特性、実線で示すＳｃ_４は近赤外光の分光画像の理想分光感度特性を示している。

混色のない分光画像の理想分光感度特性を図３（ｄ）のように定義すると、図３（ｃ）の分光感度特性を有するイメージセンサにより取得された画像は、複数の分光画像が混合した画像と見なすことができる。例えば、分光感度特性Ｓｍ_１のイメージセンサより取得された画像は、分光感度特性Ｓｃ_１とＳｃ_４のイメージセンサによりそれぞれ取得された分光画像が混合した画像と見なすことができる。

本発明は、図３（ｃ）に示す分光感度特性を有するＣＦＡ方式分光撮像装置で取得された、複数の分光画像が混合したモザイク画像から、デモザイキングと色補正処理が施された正確な色情報を有する分光画像を取得することを目的としている。

なお、図３（ｄ）に示す理想的な分光感度特性を実現することを目的としたセンサの構成が、下記参考文献１に開示されている。参考文献１では、センサＳ_１をシリコンセンサ、赤色カラーフィルタ、ＮＩＲカットフィルタにより構成し、センサＳ_２をシリコンセンサ、緑色カラーフィルタ、ＮＩＲカットフィルタにより構成している。また、センサＳ_３をシリコンセンサ、青色カラーフィルタ、ＮＩＲカットフィルタにより構成し、センサＳ_４をシリコンセンサ、狭帯域ＮＩＲバンドパスフィルタにより構成している。

しかしながら、参考文献１に示すセンサにおいても、わずかながら所望の波長帯域以外の波長帯域に感度特性を有している。従って、本発明は参考文献１のセンサにより取得されたモザイク画像においても適用し、その効果を得ることができる。

［参考文献１］ＩＭＥＣ社製マルチスペクトラルイメージセンサ
http://www.imec-int.com/en/articles/imec-introduces-new-snapshot-multispectral-image-sensor-that-combines-color-and-near-infrared-imaging
次に、本発明の画像処理装置について説明する。

（本発明の画像処理装置）
図１は本発明の画像処理装置１００の構成図である。

本発明の画像処理装置１００は補間処理部１１、色補正処理部１２を有している。さらに、オプションとして、解像度処理部１３、ホワイトバランス処理部１４、エッジ処理部１５、輝度閾値処理部１６を有している。

以下、各処理部の機能について、画像処理の順に説明を行う。

まず、センサで取得されたモザイク画像Ｒ_ｍ、Ｇ_ｍ、Ｂ_ｍ、ＮＩＲ_ｍが、補間処理部１１に入力される。補間処理部１１では、各モザイク画像を独立に補間し、補間画像Ｒ_ｉｐ、Ｇ_ｉｐ、Ｂ_ｉｐ、ＮＩＲ_ｉｐを出力する。ここで、モザイク画像を独立に補間とは、モザイク画像間の情報を用いた補間を行わないことを意味している。従って、補間処理部１１では、例えば、色差補間法を用いた補間処理は行わない。

図４は補間処理部１１における補間方法を説明する図である。図４において、Ｉ_１１、Ｉ_１３、Ｉ_３１、Ｉ_３３はセンサの輝度値、Ｉ_１２、Ｉ_２１、Ｉ_２２、Ｉ_２３、Ｉ_３２は補間された画素の輝度値を示す。本発明では、例えば、バイリニア補間法を用いて補間を行う。バイリニア補間法を用いた場合、補間画素の輝度値Ｉ_１２、Ｉ_２１、Ｉ_２２、Ｉ_２３、Ｉ_３２は下記式で求めることができる。

なお、各モザイク画像間の情報を用いなければバイリニア補間法に限らず、例えば、バイキュービック補間法を用いてもよい。

本発明では、色補正処理前に、モザイク画像間の情報を用いた補間処理を行わないことを特徴としており、これによりデモザイキング時に分光情報の誤差が生じることを防いでいる。

次に、補間画像Ｒ_ｉｐ、Ｇ_ｉｐ、Ｂ_ｉｐ、ＮＩＲ_ｉｐは色補正処理部１２に入力される。色補正処理部１２では、上記４個の補間画像から、分光感度特性Ｓｃ_１、Ｓｃ_２、Ｓｃ_３、Ｓｃ_４のイメージセンサで取得された分光画像とほぼ等価な色補正画像Ｒ_ｃｃ、Ｇ_ｃｃ、Ｂ_ｃｃ、ＮＩＲ_ｃｃを生成する。

色補正処理部１２では、Ｍ×Ｍの色補正行列Ｃを保持しており、この色補正行列Ｃを用いて、Ｍ個の補間画像からＭ個の色補正画像を生成する。具体的には、下記式を用いて色補正画像を生成する。

ここでｉ、ｊは補間画素の横と縦の画素番号を表している。Ｒ_ｉｐ（ｉ，ｊ）、Ｇ_ｉｐ（ｉ，ｊ）、Ｂ_ｉｐ（ｉ，ｊ）、ＮＩＲ_ｉｐ（ｉ，ｊ）は画素ｉ，ｊにおける各補間画像の輝度値を表す。また、Ｒ_ｃｃ（ｉ，ｊ）、Ｇ_ｃｃ（ｉ，ｊ）、Ｂ_ｃｃ（ｉ，ｊ）、ＮＩＲ_ｃｃ（ｉ，ｊ）は画素ｉ、ｊの位置における各色補正画像の輝度値を表す。

なお、色補正行列は、前記センサの分光感度特性Ｓｍ_ｋ（ｋ＝１、２、３、４）と、前記理想分光感度特性Ｓｃ_ｋ（ｋ＝１、２、３、４）とにもとづき、生成する。具体的にはまず、下記関係式を見たす変換行列Ｋを算出する。

ここで、Ｉ_ｓ１、Ｉ_ｓ２、Ｉ_ｓ３、Ｉ_ｓ４は分光感度特性Ｓｍ_ｋ（ｋ＝１、２、３、４）のセンサに波長依存性のない光強度の入射光が入射した場合の輝度値である。また、Ｉ_ｉ１、Ｉ_ｉ２、Ｉ_ｉ３、Ｉ_ｉ４は分光感度特性Ｓｃ_ｋ（ｋ＝１、２、３、４）のセンサに波長依存性のない光強度の入射光が入射した場合の輝度値である。

上記変換行列を用いて、色補正行列Ｃは下記式により求めることができる。

図３（ｃ）の分光感度特性を有するセンサと、図３（ｄ）の理想分光感度特性を有するセンサの組における変換行列Ｋの値を表１に示す。

本発明では、式（２ａ）で示されるように、色補正処理時に全ての補間画像に対して、分光画像の分離処理を行うことを特徴としているため、正確に分光情報を取得することが可能である。

色補正処理部１２より出力された色補正画像は、解像度処理部１３に入力される。解像度処理部１３では色補正画像の空間解像度を高解像度化する処理を行う。具体的には、色差補間法を用いて高解像度化処理を行う。実施例１の場合、赤色画像、緑色画像、青色画像、近赤外画像のうち、色差補間法が有効な可視光画像のみを用いて、高解像度化処理を行う。

図５は解像度処理部１３の構成を示す図である。

解像度処理部１３は内部に、モザイク処理部１３１と、色差補間処理部１３２を有する。モザイク処理部１３１は色補正画像Ｒ_ｃｃ、Ｂ_ｃｃをモザイク画像Ｒ_ｍ、Ｂ_ｍと同様のパターンにモザイク処理し、再モザイク画像Ｒ_ｍ２、Ｂ_ｍ２を出力する。

次に、色補正画像Ｇ_ｃｃと再モザイク画像Ｒ_ｍ２、Ｂ_ｍ２が色差補間処理部１３２に入力される。色差補間処理部１３２では、色補正画像Ｇ_ｃｃと再モザイク画像Ｒ_ｍ２を用いて高解像度画像Ｒ_ｈｄを出力する。同様に、色補正画像Ｇ_ｃｃと再モザイク画像Ｂ_ｍ２を用いて高解像度画像Ｂ_ｈｄを出力する。色補正画像Ｇ_ｃｃ、ＮＩＲ_ｃｃについては特に処理を行わず、それぞれそのまま高解像度画像Ｇ_ｈｄ、ＮＩＲ_ｈｄとして出力する。なお、実施例１では、緑色画像を用いて赤色画像、青色画像の高解像度化処理を行ったが、赤色画像を用いて緑色画像、青色画像の高解像度化処理を行ってもよく、好ましくは、最も解像度の高い画像を基準にして色差補間を行うとよい。

本発明では、色補正処理後に色差補間処理を行うことを特徴としており、これにより、色情報を正確に取得しつつ、空間解像度の高い分光画像を取得することが可能である。

次に、高解像度画像Ｒ_ｈｄ、Ｇ_ｈｄ、Ｂ_ｈｄ、ＮＩＲ_ｈｄはホワイトバランス処理部１４に入力され、センサの分光感度特性Ｓｃ_ｋや分光画像撮影時の照明光分光特性に応じた重み付け処理が行われる。

本発明では色補正処理後にホワイトバランス処理部１４を有することを特徴としており、これにより正確に分光情報を取得することが可能である。

ホワイトバランス処理部１４の出力画像は、エッジ処理部１５に入力される。エッジ処理部１５では入力された画像のエッジ領域を抽出し、抽出されたエッジ領域を分光情報評価対象領域から除外する処理を行う。エッジ領域の抽出は、例えば、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｌａｐｌａｃｉａｎフィルタ等の微分フィルタを入力画像に畳み込み演算すればよい。ただし、微分フィルタは上記に限ったものではない。また、分光情報評価対象領域から除外する処理は、例えば、エッジ領域の輝度値を０や最大値に置き換える処理を指す。

ＣＦＡ方式で取得されたデモザイキング画像では、特に、エッジ領域の分光情報の誤差が大きい。そのため、本発明では、デモザイキング画像のエッジ領域を分光情報評価領域から除外した分光画像を出力することを特徴としており、これにより、出力された分光画像を用いて、正確な解析、診断を行うことができる。

最後に、エッジ処理部１５の出力画像は、輝度閾値処理部１６に入力される。輝度閾値処理部１６では、モザイク画像ＲＡＷの低輝度領域と高輝度領域を分光情報評価対象領域から除外する処理を行う。具体的には、低輝度領域の閾値Ｉ_Ｌと高輝度領域の閾値Ｉ_Ｈを設定し、モザイク画像ＲＡＷの各画素の輝度値Ｉ（ｉ，ｊ）に対し、Ｉ（ｉ，ｊ）＜Ｉ_Ｌ、もしくは、Ｉ（ｉ，ｊ）＞Ｉ_Ｈを満たす画素位置ｉ，ｊを除外領域画素位置とする。分光情報評価対象領域から除外する処理は、例えば、各分光画像の除外領域画素位置における輝度値を０や最大値に置き換える処理を指す。

撮像画像の低輝度部は信号対雑音比が小さいため、ノイズにより分光情報を正確に評価することが困難である。また、撮像画像の高輝度部はセンサに入射する光強度に対して出力値が飽和しているため、分光情報を正確に評価することができない。そのため、本発明では、モザイク画像の低輝度領域と高輝度領域を分光情報評価対象領域から除外した分光画像を出力することを特徴としており、これにより、出力された分光画像を用いて、正確な解析、診断を行うことができる。

次に、本発明の画像処理方法について説明する。

（本発明の画像処理方法）
図６は本発明の画像処理方法２００のフローチャートである。

画像処理方法２００は、補間処理ステップＳ００１、色補正処理ステップＳ００２を有し、オプションとして、解像度処理ステップＳ００３、ホワイトバランス処理ステップＳ００４、エッジ処理ステップＳ００５、輝度閾値処理ステップＳ００６を有する。

補間処理ステップＳ００１では、ＣＦＡ方式分光撮像装置で取得されたＭ個のモザイク画像を各々独立に補間したＭ個の補間画像を生成する。Ｍ個の補間画像を生成する際にはバイキュービック補間を行う。

色補正処理ステップＳ００２では、補間処理ステップＳ００１で生成されたＭ個の補間画像からＭ個の色補正画像を生成する。Ｍ個の色補正画像の生成は、色補正行列Ｃを用いて、式（２ａ）により行う。色補正行列Ｃの値は、センサの分光感度特性Ｓｍ_ｋ（ｋ＝１、２、・・、Ｍ）と、理想分光感度特性Ｓｃ_ｋ（ｋ＝１、２、・・、Ｍ）とにもとづき、式（３）、（４）を用いて予め計算された値として保持している。

解像度処理ステップＳ００３では、Ｍ個の色補正画像間の色差情報にもとづいた高解像度化処理を行い、高解像度画像を出力する。

ホワイトバランス処理ステップＳ００４では、解像度処理ステップＳ００３で出力された画像のホワイトバランス処理を行う。具体的には、ホワイトバランス処理ステップＳ００４では、予めセンサの分光感度特性Ｓｃ_ｋにより決定された重み付け値と、分光画像撮影時の照明光分光特性より決定された重み付け値にもとづき、各分光画像の重み付けを行う。

エッジ処理ステップＳ００５では、ホワイトバランス処理ステップＳ００４で出力された画像のエッジ領域を抽出し、抽出されたエッジ領域を分光情報評価対象領域から除外する処理を行う。エッジ領域の抽出には、まず、微分フィルタの畳み込み演算により微分画像を生成する処理を行い、次に、微分画像の輝度値が閾値以上の領域をエッジ領域とする閾値処理を行う。分光情報評価対象領域から除外する処理としては、エッジ領域として抽出された画素位置における各分光画像の輝度値を最大値に置き換える処理を行う。

輝度閾値ステップＳ００６では、モザイク画像ＲＡＷの低輝度領域と高輝度領域を分光情報評価対象領域から除外する処理を行う。具体的には、まず、予め設定された低輝度領域の閾値Ｉ_Ｌと高輝度領域の閾値Ｉ_Ｈを用いて、モザイク画像ＲＡＷの各画素の輝度値Ｉ（ｉ，ｊ）に対し、Ｉ（ｉ，ｊ）＜Ｉ_Ｌ、もしくは、Ｉ（ｉ，ｊ）＞Ｉ_Ｈを満たす画素位置ｉ，ｊを除外領域画素位置として算出する処理を行う。次に、各分光画像の除外領域画素位置における輝度値を最大値に置き換える処理を行う。

（他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、カラーフィルタアレイ方式分光撮像装置で取得された画像から、正確な分光情報を取得することが可能な画像処理装置、画像処理方法、および、プログラムを提供することができる。

以上、本発明の実施形態について説明したが、本発明の内容を逸脱しない範囲であれば、上記に限ったものではない。

ＲＡＷ ＲＡＷ画像、Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４ センサ、
Ｒ_ｍ，Ｇ_ｍ，Ｂ_ｍ，ＮＩＲ_ｍ モザイク画像、
Ｒ_ｉｐ，Ｇ_ｉｐ，Ｂ_ｉｐ，ＮＩＲ_ｉｐ 補間画像、
Ｒ_ｃｃ，Ｇ_ｃｃ，Ｂ_ｃｃ，ＮＩＲ_ｃｃ 色補正画像、
Ｒ_ｈｄ，Ｇ_ｈｄ，Ｂ_ｈｄ，ＮＩＲ_ｈｄ 高解像度画像

Claims (21)

1. カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置であって、
   前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理部と、
   前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理部と、
   を有することを特徴とする画像処理装置。
2. 前記色補正処理部は、Ｍ×Ｍの色補正行列を用いて、Ｍ個の補間画像から混色のないＭ個の分光画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記色補正行列は、前記モザイク画像を取得した際のカラーフィルタアレイ方式分光撮像装置の分光感度特性と、前記混色のないＭ個の分光画像を取得するために必要な理想的なカラーフィルタアレイ方式分光撮像装置の分光感度特性とにもとづき生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記補間処理部は、バイリニア補間法、バイキュービック補間法のいずれかの手法を用いて補間処理を行うことを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
5. 前記混色のない分光画像間の相関情報を用いて、混色のない分光画像の空間解像度を高解像度化する解像度処理部を有することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
6. 前記混色のない分光画像のホワイトバランスを調整するホワイトバランス処理部を有することを特徴とする請求項１乃至請求項５の何れか一項に記載の画像処理装置。
7. 前記混色のない分光画像のエッジ領域を分光情報評価対象領域から除外するエッジ処理部を有することを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
8. 前記Ｍ個のモザイク画像の低輝度領域と高輝度領域を分光情報評価対象領域から除外する輝度閾値処理部を有することを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。
9. ４つのモザイク画像を有し、前記モザイク画像は、
   少なくとも可視光の赤色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
   少なくとも可視光の緑色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
   少なくとも可視光の青色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
   を含み、
   前記混色のない分光画像は、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像、近赤外光の分光画像、であることを特徴とする請求項１乃至請求項８の何れか一項に記載の画像処理装置。
10. 前記解像度処理部は、前記混色のない分光画像のうち、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像間の相関情報を用いて、上記画像の少なくとも１つの画像の空間解像度を高解像度化する処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理方法であって、
    前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、
    前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、
    を有することを特徴とする画像処理方法。
    
12. 前記色補正処理ステップは、Ｍ×Ｍの色補正行列を用いて、Ｍ個の補間画像から混色のないＭ個の分光画像を生成することを特徴とする請求項１１に記載の画像処理方法。
13. 前記色補正行列は、前記モザイク画像を取得した際のカラーフィルタアレイ方式分光撮像装置の分光感度特性と、前記混色のないＭ個の分光画像を取得するために必要な理想的なカラーフィルタアレイ方式分光撮像装置の分光感度特性とにもとづき生成することを特徴とする請求項１２に記載の画像処理方法。
14. 前記補間処理ステップは、バイリニア補間法、バイキュービック補間法のいずれかの手法を用いて補間処理を行うことを特徴とする請求項１１乃至請求項１３の何れか一項に記載の画像処理方法。
15. 前記混色のない分光画像の画像間の相関情報を用いて、混色のない分光画像の空間解像度を高解像度化する解像度処理ステップを有することを特徴とする請求項１１乃至請求項１４の何れか一項に記載の画像処理方法。
16. 前記混色のない分光画像のホワイトバランスを調整するホワイトバランス処理ステップを有することを特徴とする請求項１１乃至請求項１５の何れか一項に記載の画像処理方法。
17. 前記混色のない分光画像のエッジ領域を分光情報評価対象領域から除外するエッジ処理ステップを有することを特徴とする請求項１１乃至請求項１６の何れか一項に記載の画像処理方法。
18. 前記Ｍ個のモザイク画像の低輝度領域と高輝度領域を分光情報評価対象領域から除外する輝度閾値処理ステップを有することを特徴とする請求項１１乃至請求項１７の何れか一項に記載の画像処理方法。
19. ４つのモザイク画像を有し、前記モザイク画像は、
    少なくとも可視光の赤色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
    少なくとも可視光の緑色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
    少なくとも可視光の青色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
    を含み、
    前記混色のない分光画像は、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像、近赤外光の分光画像、であることを特徴とする請求項１１乃至請求項１８の何れか一項に記載の画像処理方法。
20. 前記解像度処理ステップは、前記混色のない分光画像のうち、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像間の相関情報を用いて、上記分光画像の少なくとも１つの画像の空間解像度を高解像度化する処理を行うことを特徴とする請求項１９に記載の画像処理方法。
21. カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するためのプログラムであって、
    前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、
    前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、
    を実行させることを特徴とするプログラム。