JP2010193093A - 画像処理装置、撮像装置、及び、画像処理方法 - Google Patents

Abstract

【課題】彩度の高い領域であっても、偽色の影響を排除して解像度感を向上する。
【解決手段】複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、を有することを特徴とする画像処理装置。
【選択図】図３

Description

本発明は、画像処理装置、撮像装置、及び、画像処理方法に関する。

撮像素子等から入力される画像データに対し、ボケ補正や輪郭強調等の画像処理を行う技術がある。例えば、単板の撮像素子から入力される画像データに対して、デモザイキングによりＲＧＢ信号を生成する際には、偽色が発生することがある。そこで、デモザイキングの後に、彩度に応じて輪郭強調を行うことにより、彩度の低い輪郭部分における偽色の発生を抑える撮像装置が開示されている（例えば特許文献１参照）。

特開２００７−６７８０６号公報

しかしながら、上記特許文献１に開示の撮像装置等の発明では、彩度の高い領域の輪郭を強調することは考慮されていないため、彩度の高い領域における解像度感を向上させることができないという課題があった。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、彩度の高い領域であっても、偽色の影響を排除して解像度感を向上する画像処理装置、撮像装置、及び、画像処理方法を提供することを目的としている。

上記課題を解決するために、本発明は、複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、を有することを特徴とする画像処理装置を提供する。

また、本発明は、複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子と、前記撮像素子が有する複数の画素のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、前記スペクトル強度推定部により推定された光の強度を前記画素毎に記録する記録部と、を有することを特徴とする撮像装置を提供する。

上記課題を解決するために、本発明は、複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定ステップと、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正ステップと、前記パラメタ補正ステップにおいてパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定ステップと、を有することを特徴とする画像処理方法を提供する。

本発明によれば、彩度の高い領域であっても、偽色の影響を排除して解像度感を向上する画像処理装置、撮像装置、及び、画像処理方法を提供することが可能になる。

図１は、本実施形態に係る撮像装置が有する撮像素子の画素配列を説明する図である。 図２は、本実施形態に係るフィルタの例を示す図である。 図３は、本実施形態に係る撮像装置の構成を示すブロック図である。 図４は、本実施形態に係る撮像方法を説明するフロー図である。 図５は、本実施形態に係る撮像装置のハードウェア構成の例を示す図である。

以下、本実施の形態を図面に基づき説明する。

(本実施形態の撮像装置の概要)
本実施形態の撮像装置では、撮像素子上のブロック毎に処理を行う。またブロックをずらしながら処理を行うことで撮像素子上の全点に入射した光の強度を推定する。

図１は、本実施形態の撮像素子の画素配列を説明する図である。図１のブロック３０は、Ｂａｙｅｒ配列の撮像素子の７×７画素からなるブロックである。図１のブロック３０内の画素３００〜３４８にはＲＧＢいずれかのカラーフィルタが付与されている。これにより、画素毎に、Ｒ、Ｇ、Ｂの何れか一の光に対応する分光感度を有する構成となる。なお、分光感度とは、入力光の波長変化に対する感度変化である。本実施の形態では、撮像素子が有する各画素が、入力光に含まれる色成分のうちの何れか一以上の色成分に対する分光感度を有する。

図１では、Ｂを右下がりのストライプで、Ｒを格子のハッチングで、Ｇをドットのハッチングで表示している。ブロック中心の画素３２４の中心を原点とするｘ，ｙの２次元座標系を定義し、画素の間隔を１とする。例えば、画素３２４の座標はｐ_３２４＝（ｘ_３２４，ｙ_３２４）＝（０，０）であり、その右隣の画素の座標はｐ_３２５＝（ｘ_３２５，ｙ_３２５）＝（０，１）である。また、画素３２４から得られた信号に対して、画素の番号に対応した添字をつけて表記する。例えば、画素３２４は、ｓ_３２４とする。

ブロック３０の構成により、ｓ_３００〜ｓ_３４８までの４９個の信号を用い、ブロック中心ｐ_３２４におけるＲＧＢ信号を推定することができる。

次に「スペクトル強度関数」及び「モデル誤差Ｅ」について説明する。

(スペクトル強度関数)
まずスペクトル強度関数について述べる。本実施形態の撮像装置では、ブロック内に入射した光の強度をｘ，ｙの関数であるスペクトル強度関数で記述する。スペクトル強度関数はあらかじめ定められたスペクトル毎に個別に定義される。
以後の説明は、Ｂａｙｅｒのカラーフィルタの分光透過スペクトルとおなじＲＧＢの３色に対応するスペクトル強度関数ｆ_Ｒ（ｘ，ｙ），ｆ_Ｇ（ｘ，ｙ），ｆ_Ｂ（ｘ，ｙ）を用いる場合を例に説明する。撮像データからスペクトル強度関数を正しく推定できれば、ブロック中心のＲＧＢ信号はｆ_Ｒ（０，０），ｆ_Ｇ（０，０），ｆ_Ｂ（０，０）として算出することができる。

本実施形態ではスペクトル強度関数を、有限個の基底関数及び各基底関数に付与される実数であるスペクトル強度関数パラメタを含む形で定義する。また、基底関数を多項式とする例について説明する。多項式を基底関数に用いたスペクトル強度関数の例を式（１）に示す。

式（１）の３つのスペクトル強度関数は導関数がすべて同一である。すなわち、式（１）の３つのスペクトル関数は、次数毎の係数が同じであり、定数項が異なる。変数である位置xまたはyによって、f_R(x,y), f_G(x,y), f_B(x,y)１次微分をした場合のそれぞれの偏導関数が同じ関数となる。つまり、定数項を除いた関数の形状が３つの原色成分の回帰関数で同じとなることを示す。局所的に見た場合色相が大きく変化することは少ないという画像の性質に合致している。また、式（１）のスペクトル強度関数のパラメタβ＝（β_Ｒ，β_Ｇ，β_Ｂ，β_１，β_２，β_３，β_４，β_５）^ｔは、全て実数であり撮像データから推定する。
なお、スペクトル強度関数のパラメタの総数は、ブロック内の画素数以下でなければならない。例えば、図１のブロックで処理を行う場合は、スペクトル強度関数のパラメタの個数は４９個以下でなくてはならない。

（スペクトル強度関数のパラメタの意味）
スペクトル強度関数のパラメタのうち、定数項β_Ｒ，β_Ｇ，β_Ｂはブロック中心における光の強度に相当する。またその他のパラメタβ_１，β_２，β_３，β_４，β_５は、光の強度の画素位置による変化、すなわち画像におけるエッジに対応する。さらに輪郭強調や画像のぼかしも、スペクトル強度関数のパラメタの補正で表すことができる。

図２は、画像をぼかす又は輪郭強調するフィルタの例を示す図である。図２のフィルタｗは、フィルタ係数の総和は１に正規化されている。すなわち、次式（２）が成立する。

例えば画像のＲ信号にフィルタｗを畳み込むことは、スペクトル強度関数ｆ_Ｒ（ｘ，ｙ）を、次式（３）で示すｆ’_Ｒ（ｘ，ｙ）に変える事に相当する。

フィルタｗのフィルタ係数を用いたフィルタリングを行った場合ｆ_Ｒ（ｘ，ｙ）のパラメタβとｆ’_Ｒ（ｘ，ｙ）のパラメタ（β_Ｒ，β_１，β_２，β_３，β_４，β_５）^ｔの関係は式（４）に示す行列を用いて、式（５）で表すことができる。

ここでｗ_ｆ０＝０，ｗ_ｆ１＝−０．２５とするとフィルタｗは輪郭強調フィルタとなる。これは式（４）において、ブロック中心の光の強度に相当するβ_Ｒをエッジに相当するβ_３＋β_５の減算で補正していることと等価である。すなわち、撮像データから推定されたスペクトル強度関数を補正すれば、輪郭強調ができる。Ｇ及びＢ信号に対しても同様の処理により輪郭強調ができる。

一般にデモザイキング後の画像には偽色が生じるため、デモザイキング後の画像からは精度のよいエッジが得られない。そのため、デモザイキング後の画像に輪郭強調を行うと画質が低下することがある。しかし、式（１）は色相の急激な変化は起こりにくいという画像の性質に合っているため、β_３，β_５は偽色の影響を受けにくい。そこで、式（４）を用いた輪郭強調により、画質を向上させることができる。

（モデル誤差Ｅ）
本実施形態ではモデル誤差Ｅを次式（６）とする。

また、式（７）をモデル信号量とよぶ。

分光重みｗ_ｉＲは撮像素子の特性や撮像装置の用途等により定められる実数である。画素ｉに付与されたカラーフィルタの分光感度とスペクトル強度関数ｆ_Ｒに対応付けられたスペクトルが近いほど、ｗ_ｉＲを大きくする。例えば、画素ｉがＲであるときに１とし、他の場合は０とすることができる。他の分光重みｗ_ｉＧ，ｗ_ｉＢについても同様の方法で決定する。図１では、ｗ_３２４Ｒ＝１であり、ｗ_３２５Ｒ＝０となる。

以後の説明はすべての画素において、ｗ_ｉＲ，ｗ_ｉＧ，ｗ_ｉＢのうちいずれかひとつが１で残り２つが０となる場合を例に説明を行うが、分光重み_ｉＲを０又は１以外の値としてもよい。

（モデル誤差Ｅの意味）
ブロック内に入射した光の分布とスペクトル強度関数が類似していれば、モデル信号量ｆ（ｘ_ｉ，ｙ_ｉ）と測定信号量ｓ_ｉは近い値をとり、モデル誤差Ｅが小さくなると考えられる。逆に、モデル誤差Ｅを最小にするスペクトル強度関数は、ブロック内の光の変化を精度よく表していると考えられる。

なお、モデル誤差Ｅは正の数であり、｜ｓ_ｉ−ｆ（ｘ_ｉ，ｙ_ｉ）｜と正の相関を持つものであれば式（６）の形である必要はないが、Ｅを最小にするスペクトル強度関数パラメタを求めるアルゴリズムが存在することが望ましい。

（Ｅの最小化）
次にモデル誤差Ｅの最小化を行う方法について説明する。式（８）は、画素及びカラーフィルタの配置で決まるベクトルｗ_ｉである。

また、式（９）は、ｗ_ｉを並べて得られる行列Ｗである。

図１に示すブロック３０において、式（６）は、測定信号量を表すベクトルｓ＝（ｓ_３００，ｓ_３０１，・・・，ｓ_３４８）^tと、式（９）に示した行列Ｗを用いて、式（１０）となる。

式（１０）の形のエネルギーを最小化するスペクトル強度関数のパラメタの算出には、最急降下法、共役勾配法などのアルゴリズムを利用するとよい。また、一般化逆行列を用いると、モデル誤差Eを最小とするスペクトル強度関数のパラメタβ＾は、式（１１）となる。なお、式中の「βにハット記号が付加された文字」を、本文中では「β＾」と表記する。

β＾は、Ｗの一般化逆行列であるフィルタＷ^＋を用いたフィルタリングで算出できる。

なお、最急降下法や共役勾配法のような反復解法は、計算コストが高いために小型のデバイスに搭載することが難しい。また、ブロックごとに一般化逆行列を求めることも計算コストが問題となる。しかし、単板方式の撮像素子は、画素とカラーフィルタの配置に周期性があるため、画面全体の処理を通してＷの一般化逆行列Ｗ^＋は有限個のパターンしか現れない。例えばＢａｙｅｒ配列の場合は、Ｗ^＋は４個であり、これらをメモリ等に蓄積しておけば十分である。

（Ｅの変形）
また、式（６）では全ての画素を同等に扱っているが、正の実数ｗ_ｉを用いて画素毎に重みをつける例を次式（１２）に示す。

画素毎に与える重みの決定手法については、様々な手法を利用することができ、エッジに応じた重みを与えることで画質が向上する。式（１２）のエネルギー関数を最小化するβ＾は、（ｗ_ｉ）^０．５を対角成分にもつ対角行列Ｋを用いる式（１３）により、フィルタリングを用いて算出することができる。

なお、Ｋのパターンが少なければ、すべてのβ＾算出用フィルタをメモリに蓄積しておくことが容易である。フィルタの蓄積については、様々な手法を用いることができる。

以下の説明では、式（１１）のＷ^＋、及び、式（１３）の（ＫＷ）^＋Ｋ等のスペクトル強度関数のパラメタ算出に使うフィルタをＷ_Ｐと記載する。

（撮像装置の説明）
図３は、本実施形態に係わる撮像装置１０を示すブロック図である。撮像装置１０は、撮像素子１００、撮像データ入力部１０１、スペクトル強度関数パラメタ推定部１０２、スペクトル強度関数パラメタ補正部１０３、及び、スペクトル強度推定部１０４を有する。

撮像素子１００は、単板撮像素子であり、例えば、Ｂａｙｅｒ配列により撮像データを取得する。撮像データ入力部１０１は、撮像素子１００から撮像データを取得する。スペクトル強度関数パラメタ推定部１０２は、単板撮像素子上の各点に入射する光の強度を波長毎に記述する。スペクトル強度関数パラメタ補正部１０３は、スペクトル強度関数のパラメタを補正する。スペクトル強度推定部１０４は、スペクトル強度関数のパラメタから各画素に入射した光の強度を推定する。

なお、撮像データ入力部１０１、スペクトル強度関数パラメタ推定部１０２、スペクトル強度関数パラメタ補正部１０３、及び、スペクトル強度推定部１０４は、一の画像処理装置１１０として構成されてもよい。

(撮像装置の動作)
次に図４を用いて、撮像装置１０の動作について説明する。図４は、本実施形態に係わる撮像装置の動作を示すフローチャートである。

図４のステップＳ１０１では、撮像データ入力部１０１が、ブロック内の各画素が持つ分光感度と各画素において得られた測定信号量を有する撮像データを取得する。すなわち、撮像素子から画素の位置ｘ_ｉ，ｙ_ｉと、式（６）又は式（１２）におけるｓ_ｉと、式（７）のｗ_ｉＲ，ｗ_ｉＧ，ｗ_ｉＢとを取得する。

ステップＳ１０２では、スペクトル強度関数パラメタ推定部１０２が、ブロック内の画素に位置やエッジに応じた重みをつける。ステップＳ１０３では、スペクトル強度関数パラメタ推定部１０２が、式（１２）のモデル化誤差Ｅを最小にするスペクトル強度関数のパラメタβ＾を算出する。

ステップＳ１０４では、スペクトル強度関数パラメタ補正部１０３が、あらかじめ定められた負の実数ｗ_ｆ０， ｗ_ｆ１と式（４）とを用いて、ステップＳ１０３で得られたスペクトル強度関数のパラメタβ＾を補正し、より鮮鋭な画像に対応するパラメタβ＾’を得る。

ステップＳ１０５では、スペクトル強度推定部１０４が、ステップＳ１０４で得られたスペクトル強度関数のパラメタβ＾’を用いて、ブロック中心（ｘ，ｙ）＝（０，０）における光の強度を算出する。すなわち、式（１）にβ＾’とｘ＝０，ｙ＝０とを代入することでブロック中心の光の強度を算出する。

（撮像装置のハードウェア構成）
図５は、撮像装置１０のハードウェア構成の例を示す図である。図５の撮像装置４００は、光学系４０１、カラーフィルタ４０２、撮像素子４０３、駆動回路４０４、信号処理回路４０５、及び、メモリ４０６を有する。

光学系４０１は、レンズと光学フィルタを有する。カラーフィルタ４０２は、撮像素子４０３に入射される光を制御する。撮像素子４０３は、画素毎に入射される光を信号に変換し、撮像データを出力する。駆動回路４０４は、撮像素子４０３を含む、撮像装置４００の各部を駆動させることにより、撮像素子４０３が有する画素毎に、カラーフィルタ４０２により選択される光を照射させる。撮像素子４０３は、例えば、単板のイメージセンサであり、ＣＣＤを含む。

信号処理回路４０５は、撮像データに対する輪郭強調等の補正を行い、画像データを出力する。メモリ４０６は、信号処理回路４０５が処理する撮像データ等を格納する。なお、撮像素子４０３から出力される撮像データは、図示しないＡ/Ｄ変換器によりデジタル信号に変換された後、信号処理回路４０５に入力されるとよい。

（変形例）
上記の実施形態は以下に述べる（１）から（７）の変形例に変更して実施してもよい。

（１）本実施形態は、Ｂａｙｅｒ配列以外にも適用することが可能である。例えば画素の配置が正方配列でない場合には、上記の実施形態における数式は、そのまま利用することができる。また、カラーフィルタの配置が異なる場合には、ｗ_ｉＲ，ｗ_ｉＧ，ｗ_ｉＢの値を変更するとよい。さらにカラーフィルタが行われない画素が含まれる場合でもｗ_ｉＲ＝１，ｗ_ｉＧ＝１，ｗ_ｉＢ＝１とすればよい。

（２）実施の際に用いるブロックサイズは７×７画素でなくともよい。ブロックに含まれる画素の数がスペクトル強度関数のパラメタ数以上であれば、ブロックサイズを縮小する、又は、正方形のブロックのコーナーにあたる部分を利用しないようにしてもよい。ただし、ブロックサイズが小さい場合は、ノイズを輪郭として強調することがあるので、画質を考慮してブロックサイズを定めるとよい。

（３）式（１）のスペクトル強度関数は２次多項式でなくともよい。スペクトル強度関数のパラメタがブロック内の画素数以下に収まるのであれば、例えば４次式等、次数を増やしてもよい。ただし、次数が高い場合は、ノイズを輪郭として強調することがあるので、画質を考慮して次数を定めるとよい。

（４）輪郭強調の際はスペクトル強度関数の２次の項の係数以外も利用してもよい。特にスペクトル強度関数の次数を増やした場合は、式（３）を用いてフィルタリング前後の関係を、再び算出する。また、２次以上の項を利用することで鮮鋭化の際に強調される周波数を変化させることができる。

（５）輪郭強調に利用するフィルタは、図２に示す３×３画素かつ点対称である必要はない。式（３）を用いてフィルタリング前後の関係を算出しなおすことにより、ブロックサイズを増加させることができ、また、対称性を崩すこともできる。また、光学ボケに対応するフィルタ係数が事前に分かる場合は、それを用いてパラメタ補正の重みを決めることも可能である。光学ボケに対応するフィルタ係数が図２に示す形で与えられている場合は、与えられたフィルタｗを用いて上記の実施形態と同じ手法でＷ_Ｆを取得し、β＾’の算出にはＷ_Ｆ ^−１を用いればよい。

（６）スペクトル強度推定部１０４が推定する光の強度は、必ずしもブロック中心（ｘ，ｙ）＝（０，０）のものでなくともよい。例えば（ｘ，ｙ）＝（０．５，０．５）として画素の隙間の光の強度を推定すれば、ズーム等の画素補間に用いることも可能である。

（７）スペクトル強度関数のパラメタ補正は、必ずしも式（４）の行列の乗算に限定されない。例えば、β_３，β_５が所定の閾値より小さい場合にはパラメタの補正を行わなくともよい。また、例えば、β_３，β_５から常に一定の値を差し引いてもよい。

（モデル誤差の最小化方法を限定した計算コスト削減）
なお、スペクトル強度関数パラメタ推定部１０２で行う演算を限定することで、更に計算コストを削減することができる。上記の実施形態では、様々なカラーフィルタ配列に対応するため、スペクトル強度関数パラメタ推定部１０２が、ブロック毎に、最急降下法、共役勾配法、一般化逆行列等を利用して、モデル誤差Ｅを最小化するスペクトル強度関数のパラメタβ＾を算出する。しかし、モデル誤差Ｅを式（６）や式（１２）の形に限定することにより、β＾を算出するための演算は単純なフィルタリングになる。また、カラーフィルタ配列は、有限のパターンの繰り返しであるため、β＾を算出するフィルタＷ_Ｐは有限個に限定されメモリに蓄積することが容易になる。

この特性を利用すると、以下に述べる２つの方法で計算コストを削減することが可能になる。

（１）スペクトル強度関数パラメタ推定部１０２は、必ずしもすべてのスペクトル強度関数のパラメタを推定する必要はない。上記の実施形態において、ブロック中心の値のみを推定するため、スペクトル強度関数のパラメタβ_１，β_２，β_４を算出する必要はない。この特性を利用すれば、Ｗ_Ｐのうちβ_１，β_２，β_４に対応するものは、メモリに蓄積する必要がなく、回路規模を小さくすることができる。

（２）補正方法に応じてＷ_Ｐを事前に変形しておくことで、畳み込み演算の回数を削減できる。上記の実施形態において、Ｗ_Ｐを用いて、β_Ｒ，β_Ｇ，β_Ｂ，β_３，β_５を算出した後にＷ_Ｆを用いて重み付け加算している。そこで、フレームの処理を開始する前に両者の積Ｗ_Ｆ Ｗ_Ｐを算出しておくことで、５回のフィルタリング演算を３回に削減できる。

（コンピュータ等による実現）
なお、本実施形態に係る画像処理装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本実施形態に係る画像処理方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行されてもよい。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

以上のように、本発明にかかる画像処理装置、撮像装置、及び、画像処理方法は、撮像素子から入力される撮像データの画質向上に有用であり、特に、携帯電話等の小型デバイスにおいて撮影される画像の処理に適している。

１０ 撮像装置
３０ ブロック
１００ 撮像素子
１０１ 撮像データ入力部
１０２ スペクトル強度関数パラメタ推定部
１０３ スペクトル強度関数パラメタ補正部
１０４ スペクトル強度推定部
１１０ 画像処理装置
４００ 撮像装置
４０１ 光学系
４０２ カラーフィルタ
４０４ 駆動回路
４０５ 信号処理回路
４０６ メモリ

Claims (7)

1. 複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、
   前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、
   前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、
   を有することを特徴とする画像処理装置。
2. 複数の前記スペクトル強度関数のうちの何れか２以上のスペクトル強度関数の導関数は同一であることを特徴とする請求項１記載の画像処理装置。
3. 前記スペクトル強度関数は多項式であり、
   前記パラメタ補正部は、前記パラメタのうち、重み付けされた所定の次数の係数を定数項に加算する補正をすることを特徴とする請求項２記載の画像処理装置。
4. 前記パラメタ補正部は、前記所定の次数の係数の値が所定の値以下の場合に、前記定数項に加算する補正を行わないことを特徴とする請求項３記載の画像処理装置。
5. 前記スペクトル強度関数のパラメタは、前記ブロックが有する画素の数以下であることを特徴とする請求項１記載の画像処理装置。
6. 複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子と、
   前記撮像素子が有する複数の画素のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、
   前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、
   前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、
   前記スペクトル強度推定部により推定された光の強度を前記画素毎に記録する記録部と、
   を有することを特徴とする撮像装置。
7. 複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定ステップと、
   前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正ステップと、
   前記パラメタ補正ステップにおいてパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定ステップと、
   を有することを特徴とする画像処理方法。

Images