JP2010258628A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 撮影画像のノイズ量に応じた暈け補正用の補正データを取得する。
【解決手段】 ノイズ量推定部111は、撮像光学系101の撮像状態を示す撮影パラメータ107を取得し、撮影パラメータ107に基づき撮影画像104に含まれるノイズ量112を計算する。暈け補正部108は、撮像光学系101を介して撮像デバイス102によって撮影された撮影画像104を入力する。そして、撮影パラメータ107、ノイズ量112および撮影画像104の注目画素の位置を示す画素位置114に対応する、撮像光学系101による撮影画像の暈けを補正するための補正係数115を取得する。
【選択図】 図1

Description

本発明は、撮像光学系による撮影画像の暈けの補正に関する。

ディジタルカメラ、ディジタルビデオカメラなどの撮像装置は、被写体からの光を、レンズなどで構成される撮像光学系によって、撮像デバイスであるCCDやCMOSセンサ上に導き、結像させる。撮像デバイスは、受光した光を電気信号に変換する。この電気信号に、アナログ-ディジタル(A/D)変換やデモザイキングなど電気信号を画像化するための処理を施して、撮影画像を得る。

撮像デバイスに到達する光は撮像光学系を通過するため、撮影画像の画質は撮像光学系の影響を受ける。例えば、高性能なレンズを使用すれば、画像の周辺領域に至るまで解像度の高い撮影画像を得ることができる。逆に、安価な低性能のレンズを使用すれば、撮影画像の、とくに周辺領域の解像度の低下が著しい。

例えば、星空を撮影する場合、高性能レンズで撮影した画像は一つひとつの星がほぼ点像になる。低性能レンズで撮影した画像の星は点像にならず暈ける。また、人物を撮影する場合、高性能レンズを用いれば一本一本の髪の毛が記録された画像を得ることができるが、低性能レンズを用いれば髪の毛が暈けた画像が得られる。つまり、低性能レンズを使うと精細感に欠ける画像になる。

このような暈けはピントが合っていても発生する、撮像光学系の特性に依存した暈けである。言い換えれば、ピントが合っていてもレンズの性能により撮影画像の解像度に違いが生じる。

撮影画像に画像処理を施して、撮像光学系に起因する画像の暈けを補正する方法がある。この方法は、予めデータ化した撮像光学系の暈けの特性に基づき画像処理を行い、撮像光学系に起因する画像の暈けを補正する。

撮像光学系の暈けの特性をデータ化するには、例えば、点像分布関数(point spread function: PSF)を用いる方法がある。PSFは、被写体の一点がどのように暈けるかを表す。例えば、暗黒下において、体積が非常に小さい発光体（点光源）を撮像光学系を介して撮影した場合、理想的な撮像光学系を用いれば撮像デバイスの面（撮像面）上に結像する光は点になる。しかし、暈けが大きい撮像光学系を用いれば撮像面上に結像する光は点にはならず、ある程度の広がりをもつ。つまり、撮像面上における光の二次元分布が当該撮像光学系のPSFに相当する。実際に撮像光学系のPSFを取得する場合、必ずしも、点光源のような被写体を撮影する必要はない。例えば、白と黒のエッジを有するチャートを撮影した画像から、チャートに対応した計算方法によってPSFを計算することができる。

PSFによって画像の暈けを補正する方法として、逆フィルタを用いる方法が知られている。説明のため暗黒下で点光源を撮影する場合を想定する。暈けがある撮像光学系を用いれば、点光源から出た光は、撮像面上に、ある程度の広がりを有する光の分布を形成する。光は撮像デバイスによって電気信号になる。この電気信号を画像化すると点光源を撮影したディジタル画像が得られる。暈けがある撮像光学系を用いて撮影した画像は、点光源に対応する一画素だけが零ではない有意の画素値を有するわけではなく、その周辺の画素も零に近いが有意の画素値を有する。この画像を、ほぼ一点で有意な画素値をもつ画像に変換する画像処理が逆フィルタである。逆フィルタによって、恰も暈けが少ない撮像光学系で撮影したような画像が得られる。

上記では、説明のために点光源を例にしたが、被写体からの光も多数の点光源の集まりと考えれば、被写体の各部から放出または各部が反射する光のそれぞれの暈けをなくして、点光源以外の被写体についても暈けが少ない画像が得られる。

次に、逆フィルタの具体的な構成方法を説明する。ここで、暈けがない理想的な撮像光学系を用いて撮影した撮影画像をf(x, y)とする。x、yは、画像の二次元上の画素位置を示し、f(x, y)は画素(x, y)の画素値を表す。一方、暈けがある撮像光学系で撮影した撮影画像をg(x, y)とする。また、暈けがある撮像光学系のPSFをh(x, y)で表す。するとf、g、hには次の関係がなり立つ。
g(x, y) = h(x, y)＊f(x, y) …(1)
ここで、＊はコンボリューションを表す。

画像の暈けの補正（以下、暈け補正）は、暈けがある撮像光学系を用いて撮影した画像gと、当該撮像光学系のPSFであるhから、暈けがない撮像光学系で撮影されるfを推定すること、と言い換えることができる。また、上式をフーリエ変換により空間周波数における表示形式にすると、下式のように周波数ごとの積の形式になる。
G(u, v) = H(u, v)・F(u, v) …(2)
ここで、HはPSFのフーリエ変換である光学伝達関数(optical transfer function: OTF)、
uはx方向の空間周波数、
vはy方向の空間周波数、
Gはgのフーリエ変換、
Fはfのフーリエ変換。

暈けがある撮影画像gから、暈けがない撮影画像fを得るには、下式に示すように、式(2)の両辺をHで除算すればよい。
G(u, v)/H(u, v) = F(u, v) …(3)

式(3)によって得られるF(u, v)を逆フーリエ変換して、実空間に戻せば、暈けがない画像f(x, y)が得られる。ここで、1/Hの逆フーリエ変換をRとすると、下式に示すように、実空間でコンボリューションを行うことにより、暈けがない画像が得られる。
g(x, y)＊R(x, y) = f(x, y) …(4)

式(4)に示すR(x, y)を逆フィルタと呼ぶ。実際には、H(u, v)が零になる周波数(u, v)において除数0の除算が発生するため、逆フィルタR(x, y)は多少の変形を必要とする。

通常、OTFの値は周波数が高くなるほど小さくなり、OTFの逆数である逆フィルタの値は周波数が高くなるほど大きくなる。従って、逆フィルタを用いて撮影画像のコンボリューションを行うと、撮影画像の高周波成分が強調され、撮影画像に含まれるノイズ（ノイズは一般に高周波成分）を強調することになる。そこで、R(x, y)を変形して、逆フィルタほどは高周波成分を強調しない特性を与える方法が知られている。ノイズを考慮して、高周波成分をあまり強調しないフィルタとしてWiener（ウィナ）フィルタが有名である。

このように、撮影画像に含まれるノイズや、OTFが零になる周波数があるなど、理想条件からの乖離により、暈けを完全に取り除くことはできない。しかし、上記処理により暈けを低減することはできる。なお、以降では、逆フィルタやWienerフィルタなど、暈け補正に用いるフィルタをまとめて「回復フィルタ」と呼ぶ。前述したように、回復フィルタは、撮像光学系のPSFを用いて画像処理を行うことが特徴である。

Wienerフィルタを構成する際は、撮像光学系のOTFとノイズ量が用いられる。つまり、Wienerフィルタは、撮像光学系のPSFまたはOTFと、ノイズ量を用いて構成することに特徴がある。

なお、撮像光学系の暈けを補正する方法として、逆フィルタとWienerフィルタに言及したが、それら以外にも最大エントロピ法やRichardson-Lucy法などの暈け補正方法が提案されている。これらは、詳細な説明は省略するが、OTFまたはPSFとノイズ量に基づき処理を行うことで撮影画像の暈けを補正した画像を得るという意味で、Wienerフィルタと同等のフィルタである。

一般に、暈け補正においては、撮影画像に含まれる各周波数成分を強調する。撮影画像はノイズを含むため、暈け補正により、ノイズの周波数成分も強調されてしまう。そのため、暈け補正の度合いが強い場合、ノイズも増大する。ノイズの増大を避けるには、暈け補正の度合いを弱める必要がある。つまり、暈け補正の度合いと、ノイズの増大は、トレードオフの関係にある。

Wienerフィルタは、暈け補正の度合いと、ノイズの増大の最適なバランスを実現するフィルタの一つである。具体的には、ノイズがなく、撮像光学系による暈けもない状態の撮影画像に、二乗誤差の意味で最も近い補正画像を与えるのがWienerフィルタによる補正である。つまり、Wienerフィルタは、ノイズの増大と暈け補正の度合いの双方を考慮して補正を行うため、ノイズの増大と暈け補正の度合いのバランスを好適に保つことができる。

上述したように、Wienerフィルタは、OTFとノイズ量から計算することができる。従来は、ノイズ量が一定の撮影条件で測定したノイズ量、または、経験的に定めたノイズ量からWienerフィルタを構成していた。しかし、撮影条件に応じてノイズ量は変動し、一定の撮影条件で測定したノイズ量や経験的に定めたノイズ量は正確とは言えない。その結果、従来のWienerフィルタは、必ずしも最適な構成とは言えないことがある。

撮影条件に応じてノイズ量が変動する例として、連続撮影を行うと撮像デバイスの温度が上昇し、ノイズ量が増大する例がある。実際のノイズ量よりも少ないノイズ量から構成したWienerフィルタは、撮影画像のノイズを必要以上に増大させる。逆に、実際のノイズ量よりも多いノイズ量から構成したWienerフィルタは、暈け補正の度合いを必要以上に弱める。言い換えれば、不正確なノイズ量に基づき暈け補正を行えば、補正不足またはノイズ過剰になる。

上述した最大エントロピ法やRichardson-Lucy法などの暈け補正方法においても、やはり、暈け補正の度合いとノイズの増大はトレードオフの関係にあり、正確なノイズ量が得られない場合は、最適な暈け補正にはならない。

特開昭62-127976号公報（逆フィルタによる画像回復処理） 特開2004-205802公報（Wienerフィルタによる画像回復処理）

本発明は、撮影画像のノイズ量に応じた暈け補正用の補正データを取得することを目的とする。

また、ノイズの増加と暈け補正の度合いのバランスがとれた暈け補正を行うことを他の目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、撮像光学系の撮像状態を示す撮影パラメータを取得し、前記撮像状態において、前記撮像光学系を介して撮像デバイスによって撮影された撮影画像を入力し、前記撮影パラメータに基づき前記撮影画像に含まれるノイズ量を計算し、前記撮影パラメータ、前記ノイズ量および前記撮影画像の注目画素の位置に基づき、前記撮像光学系による撮影画像の暈けを補正するための補正データを取得することを特徴とする。

好ましくは、さらに、前記補正データに基づく暈け補正を前記撮影画像に施すことを特徴とする。

本発明によれば、撮影画像のノイズ量に応じた暈け補正用の補正データを取得することができる。

また、ノイズの増加と暈け補正の度合いのバランスがとれた暈け補正を行うことができる。

実施例の撮像装置の構成例を示すブロック図、 画像処理部の画像処理を説明するフローチャート、 ダーク画像の特性例を説明する図、 補正係数記憶部の概念を示す図、 ノイズ量と暈け補正の関係の概念的に示す図、 ノイズ量と暈け補正の関係の概念的に示す図、 ノイズ量と暈け補正の関係の概念的に示す図、 暈け補正部の処理を説明するフローチャート、 実施例2の撮像装置の構成例を示すブロック図、 実施例2における暈け補正部の処理を説明するフローチャート、 OB部の概念図、 実施例3の撮像装置の構成例を示すブロック図、 実施例4の撮像装置の構成例を示すブロック図、 実施例4の画像処理部の画像処理を説明するフローチャート、 ノイズ特性記憶部の概念を示す図、 実施例5の撮像装置の構成例を示すブロック図である。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の撮像装置の構成例を示すブロック図である。

図示しない被写体からの光は、撮像光学系101を介して、撮像デバイス102の受光面に結像する。撮像デバイス102は、受光面に結像した光を電気信号に変換する。この電気信号は、図示しないA/D変換器によってディジタル信号に変換され、撮影画像104が得られる。

撮像デバイス102は、受光面上に結像された像の光信号を、受光面に配置された光電変換素子ごとに電気信号に変換する、CCDやCMOSセンサなどである。遮光部103は、被写体からの光を遮断して、撮像デバイス102の受光面に光が達するのを遮る機能を有する。遮光部103は、例えばシャッタでもよいし、最大限に絞ることで光を遮断することが可能であれば絞りでも構わない。なお、被写体の画像を撮影する場合は、遮光部103を所定時間開く。つまり、撮影時間内において、被写体からの光のすべてを遮断することはない。

状態検知部131は、撮像装置の撮像状態（撮像光学系101の特性、撮像デバイス102の特性）を規定する一連のパラメータである撮影パラメータを取得する。撮影パラメータの例として、レンズ識別子、ボディ識別子、絞り値、物体距離、ズーム位置、ISO感度などが挙げられる。

ノイズ量推定部111は、詳細を後述するが、ダーク画像105を用いてノイズ量112を推定する。前処理部106は、詳細は後述するが、ダーク画像105を用いて、暈け補正に先立つ処理を撮影画像104に施す。暈け補正部108は、補正係数補間部113に補正対象の画素位置114を通知し、補正係数補間部113から返される補正係数115を用いて、前処理部106から入力した撮影画像104の暈けを補正する。

補正係数補間部113は、ノイズ量112および撮影パラメータ107に基づき、暈け補正部108から通知された画素位置114に対応する補正係数115を補正係数記憶部116から取得し、暈け補正部108に返す。後処理部119は、暈け補正部108から入力した暈け補正後の撮影画像に色変換、ゲイン調整などの後処理を施した補正画像110を出力する。画像記録部141は、補正画像110をメモリカードなどの記録媒体に記録する。

［画像処理部の処理］
図2は画像処理部121の画像処理を説明するフローチャートである。

画像処理部121は、撮影画像104を取得し(S201)、ダーク画像105を取得する(S202)。

ダーク画像105は、被写体からの光を遮断するように遮光部103を動作させ、撮像デバイス102が出力する電気信号をA/D変換したデータである。撮像デバイス102が出力する電気信号は、通常、ノイズを有し、遮光状態においても撮像デバイス102が出力する電気信号の値は0ではない。つまり、ダーク画像105の画素値はすべて0でなく、何らかの値を有する。言い換えれば、ダーク画像105の画素値はノイズによって決まり、ダーク画像105は撮像デバイス102のノイズ特性を示す情報をもつ。

図3はダーク画像の特性例を説明する図である。

符号306は、撮像デバイス102の受光面に相当し、ダーク画像105に相当する。電源304に近い領域301の光電変換素子のノイズは、電源304の熱によって大きくなる傾向がある。そのためダーク画像105における領域301の画素値は、ダーク画像105全体の平均画素値よりも大きな値をとる傾向がある。

また、ストロボ発光時には、ストロボ305に近い領域302の光電変換素子のノイズも熱によって大きくなる。そのため、ダーク画像105のおける領域302の画素値は、ダーク画像105全体の平均画素値よりも大きな値をとる傾向がある。

また、撮像デバイス102のある領域303は、画素欠陥などによって他の領域と異なるノイズ特性を有する場合もある。つまり、ダーク画像105は、領域ごとに画素値が異なる特徴がある。

一方、撮影画像104も同様のノイズを含むが、撮影画像104には被写体の情報とノイズの情報が混在するため、撮影画像104からノイズ特性を推定することは困難である。つまり、被写体を撮影した撮影画像104に加えて、ダーク画像105を取得することで、撮影画像104が含むだろうノイズ量を推定することができる。

次に、画像処理部121は、状態検知部131から撮影パラメータ107を取得する(S203)。撮影パラメータが決まると、撮像光学系101のOTFを測定またはシミュレーションによって求めることが可能である。撮影パラメータによって撮像光学系101のOTFが異なるため、撮像光学系101の暈けを補正するには、撮影パラメータの取得は必須である。

次に、画像処理部121は、詳細は後述するが、ノイズ量推定部111によりダーク画像105からノイズ量112を推定し(S204)、前処理部106により前処理を実行する(S205)。そして、暈け補正部108により、補正係数補間部113を介して取得した補正係数を用いて、前処理後の撮影画像104の暈けを低減する処理（暈け補正）を行う(S206)。

次に、画像処理部121は、後処理部119により暈け補正後の撮影画像に後処理を施し(S207)、後処理後の補正画像110を画像記録部141に出力して(S208)、補正画像110を記録媒体に記録させる。

［ノイズ量推定部］
ノイズ量推定部111は、ダーク画像105を複数の領域に分割し、各領域の画素値の標準偏差を計算する。ノイズ量が大きい領域では標準偏差が大きくなり、またノイズ量が小さい領域では標準偏差が小さくなる。つまり、領域ごとに標準偏差をとることで、図3において説明した領域ごとに異なるノイズ量を正確に把握することができる。

ところで、ISO感度の設定が高い場合、通常、撮影画像の画素値を増幅する処理を行う。そのため、ISO感度の設定が高い状態で撮影された撮影画像は、前処理部106または後処理部119において画素値が増幅される。撮影画像に含まれるノイズも設定されたISO感度に応じて増幅されることになる。そのため、ダーク画像105から得た標準偏差を、単純に、撮影画像104のノイズ量とすることはできない。そこで、ダーク画像105から得た標準偏差を、設定されたISO感度に応じた所定の割合で増幅し、増幅結果を実質的なノイズ量112とする。

なお、ノイズ量として標準偏差を用いる例を示したが、画素値の分散や最大値と最小値の差などの指標も、ノイズが大きい場合に大きくなり、ノイズが小さい場合に小さくなることから、ノイズの大きさを表す指標になり得る。従って、ノイズ量112として、標準偏差に限らず、分散や最大値と最小値の差を用いてもよい。

［補正係数補間部］
補正係数補間部113は、ノイズ量112、撮影パラメータ107、画素位置114に応じた暈け補正のための補正係数115を取得する。ノイズ量112、撮影パラメータ107、画素位置114は、補正係数115を取得するために必要な情報である。以下では、Wienerフィルタにより暈け補正を行う例を説明する。なお、Wienerフィルタにより暈け補正を行う場合、補正係数115はWienerフィルタの係数である。

図4は補正係数記憶部116の概念を示す図である。

補正係数記憶部116は、撮影パラメータ107、画素位置114、ノイズ量112の組み合わせに応じた補正係数115（Wienerフィルタ）を予め記憶する。図4には、撮影パラメータ107の例として絞り値とズーム位置が記載されている。また、画素位置114に応じてOTFは変化し、OTFの変化に伴い補正係数115も変化する。さらに、補正係数115はノイズ量112にも依存する。

Wienerフィルタは、図4に補正係数として示すように、3×3の二次元ディジタルフィルタである。Wienerフィルタの構成方法の詳細は後述する。

撮影パラメータ107、画素位置114、ノイズ量112の組み合わせは膨大であり、すべての組み合わせについて補正係数115を記憶すれば、補正係数記憶部116の記憶容量は膨大になる。そこで、補正係数記憶部116は、撮影パラメータ107、画素位置114、ノイズ量112の各代表値に対応する補正係数を記憶する。従って、補正係数補間部113は、入力した撮影パラメータ107、画素位置114、ノイズ量112の組み合わせに隣接する代表値の補正係数を補正係数記憶部116から取得する。そして、それら補正係数から撮影パラメータ107、画素位置114、ノイズ量112の組み合わせに対応する補正係数115を補間演算する。

例えば、画素位置114について、代表値を画像端と画像中央の二点とすれば、任意の画素位置114の補正係数115は、画像端の補正係数と画像中央の補正係数の加重平均により近似的に求める。

以上では、Wienerフィルタを例に説明したが、最大エントロピ法やRichardson-Lucy法などの暈け補正を用いる場合、補正係数115はOTFおよびノイズ量になる。

［Wienerフィルタの構成方法］
Wienerフィルタは、次式に示すWをフーリエ逆変換することにより求めることができる。
W(u, v) = H^*(u, v)/{|H(u, v)|² + Sn(u, v)/Sf(u, v)} …(5)
ここで、H^*(u, v)はOTFであるH(u, v)の複素共役、
Sn(u, v)はノイズのパワースペクトル、
Sf(u, v)は撮影画像のパワースペクトル。

また、式(5)におけるSn(u, v)とSf(u, v)を空間周波数(u, v)に依存しない形式で簡略化した次式でもしばしば用いられる。
W(u, v) = H^*(u, v)/{|H(u, v)|² + SNR²} …(6)
ここで、SNRはSN比、ノイズの標準偏差を撮影画像の画素値で除した値。

ダーク画像105の領域ごとにノイズの標準偏差を計算する場合、除算に用いる画素値は撮影画像104の対応領域の平均画素値である。厳密には、SNRは、補正対象画素の画素値に依存する量であるが、簡易的に撮影画像104の平均画素値としてもよい。

［ノイズ量と暈け補正の関係］
図5Aから図5Cはノイズ量と暈け補正の関係の概念的に示す図で、グラフの縦軸はOTFの絶対値である空間周波数伝達関数(modulation transfer function: MTF)を表し、横軸は空間周波数を表す。なお、図5Aから図5Cにおいて、説明を簡単にするため、値0ではない有意の値を有する点を被写体（点光源）と考える。

図5Aはノイズがない場合のMTFを説明する図である。図5A左は被写体のMTFであり、撮像光学系101による暈けがない場合は被写体の撮影画像も同等のMTFを示す。図5A中は撮像光学系101による暈けが加わった場合の撮影画像のMTFを示し、高周波ほどMTFの値が小さくなる。なお、被写体として点光源を想定するため、図5A中は撮像光学系101のMTFでもある。

図5A右は、図5A中に対応する撮影画像に逆フィルタによる暈け補正を施した撮影画像のMTFを表す。図5A中に示すMTF＞0の範囲において、逆フィルタによる暈け補正により、図5A右と同じ状態に撮影画像を回復することができる。しかし、実際は、ノイズが存在し、撮影画像のMTFにはノイズの周波数特性が加わる。

図5Bはノイズがあり、ノイズ量を正確に推定できる場合のMTFを説明する図である。図5B左に示す領域51aが撮影画像のMTFに加わったノイズ成分である。図5B中は、図5B左に対応する撮影画像に逆フィルタによる暈け補正を施した撮影画像のMTFを表し、領域51bで示すように高周波域でノイズが極端に増大する。

図5B右は、図5B左に対応する撮影画像にWienerフィルタによる暈け補正を施した撮影画像のMTFを表す。Wienerフィルタは、撮像光学系101のMTFに対するノイズ成分の割合が大きくなる周波数域において補正の度合いを低下する。その結果、ノイズ成分の割合が大きい高周波域において補正の度合いが小さくなり、図5B右に示す領域51cのように、ノイズの増大が抑制される。

また、低周波域と中間周波域において、図5B中に示すMTFは1に近付き、当該周波数域において暈けが補正される。つまり、図5B中のMTFに対応する撮影画像を得るような暈け補正は、暈け補正の効果とノイズ増大の弊害が適度にバランスしたものと言え、望ましい暈け補正である。しかし、このようなバランスを得るにはノイズ量を正確に推定する必要がある。

図5Cはノイズがあり、ノイズ量を正確に推定できない場合のMTFを説明する図である。図5C左は、図5B左に対応する撮影画像にWienerフィルタによる暈け補正を施した撮影画像のMTFを表すが、実際よりもノイズ量を小さく推定した場合を表している。つまり、実際よりもノイズ量を小さく推定したため、領域52aに示すように高周波域においてノイズが増大している。

また、図5C右は、図5B左に対応する撮影画像にWienerフィルタによる暈け補正を施した撮影画像のMTFを表すが、実際よりもノイズ量を大きく推定した場合を表している。つまり、実際よりもノイズ量を大きく推定したため、領域52bに示すように高周波域におけるノイズの増加は抑制されるが、中間周波域でのMTFが低下し、暈け補正は不充分である。

［前処理部］
前処理部106は、必要に応じて、例えば、ガンマ補正、デモザイキング（現像処理）、撮像デバイス102の欠陥（画素の欠落）を補償する処理などを撮影画像104に施す。さらに、ダーク画像105に基づく前処理を撮影画像104に施す。ダーク画像105に基づく前処理は、暈け補正と直接には関係しないが、ダーク画像105をノイズ量112の推定以外に用いる例として説明する。

ノイズが存在する場合、被写体の最も暗い領域に対応する撮影画像104の領域も値0以外の有意の値を有する。その結果、撮影画像104において黒が浮き、コントラストが低下する。コントラストの低下は、ダーク画像105の平均画素値を撮影画像104の各画素値から減算することで改善される。また、図3に示すように、領域によってノイズ特性が大きく異なる場合は、ダーク画像105の領域ごとに平均画素値を計算し、撮影画像104の対応する領域の画素値から当該平均画素値を減算すればよい。さらに、画素レベルでノイズ特性が異なる場合は、ダーク画像105自体を撮影画像104から減算すればよい。とくに、常時、値0にならない欠陥画素がある場合、撮影画像104からダーク画像105を減算することが望ましい。

その他の前処理として、ダーク画像105に基づくノイズリダクションを行ってもよい。例えばダーク画像105からノイズが大きい領域を判定し、撮影画像104の対応領域のノイズリダクションを強目にするなどの処理が考えられる。このようにすれば、実際のノイズ特性に適応したノイズリダクションを行うことができ、撮影画像104のノイズ低減に効果的である。ただし、ノイズリダクション後の撮影画像104はノイズが減少した状態になるため、前処理部106は、低減したノイズ量に関する情報をノイズ量推定部111に通知する必要がある。そして、ノイズ量推定部111は、当該通知に基づきノイズ量112を修正する必要がある。

［暈け補正部］
暈け補正部108は、Wienerフィルタを用いて暈け補正を行う場合は、Wienerフィルタ（補正係数115）と撮影画像104のコンボリューション演算を行う。また、最大エントロピ法やRichardson-Lucy法などの暈け補正方法を用いて暈け補正を行う場合は、補正係数115に相当するOTFとノイズ量を用いて繰り返し演算により撮影画像104の暈けを補正する。

図6は暈け補正部108の処理を説明するフローチャートである。

暈け補正部108は、撮影画像104の注目画素の位置を画素位置114として出力し(S101)、補正係数補間部113からWienerフィルタ（補正係数115）を取得する(S102)。そして、注目画素を中心とする3×3画素とWienerフィルタのコンボリューション演算を行い(S103)、注目画素に対応する補正画素を出力する(S104)。

次に、暈け補正部108は、撮影画像104の全画素を処理したか否かを判定し(S105)、未了であれば注目画素を移動して(S106)、処理をステップ101に戻す。また、全画素の処理が終了した場合は、暈け補正を終了する。

このように、ダーク画像105を用いることで撮影条件によって変動するノイズ量112を正確に推定することができる。そして、正確に推定したノイズ量112と撮像光学系101の暈け特性に関わる補正係数115を用いて暈け補正を行うことで、ノイズ増大と暈け補正の度合いのバランスがとれた暈け補正を行うことができる。その結果、撮像光学系101による暈けが低減され、かつ、ノイズの増加が適度に抑えられた補正画像110を得ることができる。

また、撮影画像104に含まれる各周波数成分の補正すべき度合いは、画素位置と撮影条件に応じて変化する。例えばノイズ量が大きい画素位置や、ISO感度の設定が高い撮影条件においてはノイズ量が大きくなり、その結果、撮影画像104の各周波数成分を補正すべき度合いは小さくなる。本実施例においては、画素位置と撮影条件により、異なるノイズ特性に対して、適応的に周波数成分の補正の調度合いを変化させることで、ノイズと暈け補正の度合いのバランスを良好に保つことができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

撮像デバイス102の受光面に光が当ったときに発生するノイズとして、ショットノイズが知られている。そして、ショットノイズは、光電変換素子に入る光エネルギの平方根に比例することが知られている。

実施例1のノイズ量推定部111は、ダーク画像105と撮影パラメータ107に基づきノイズ量112を計算した。つまり、実施例1におけるノイズ量112は、撮像デバイス102の受光面に光が当っていない状態のノイズ量を示す。言い換えれば、光を遮断した状態で撮影されたダーク画像105は、ショットノイズに関する情報を含まない。

そこで、実施例2においては、ショットノイズを考慮して、ノイズ推定を高精度化する。

図7は実施例2の撮像装置の構成例を示すブロック図である。図1に示す実施例1の構成と異なるのは、ノイズ量推定部111がダーク画像105と撮影パラメータ107に加えて、撮影画像104の画素値118とショットノイズ特性記憶部117の情報に基づき、ノイズ量112を計算する点である。実施例2のノイズ量推定部111は、次式によってノイズ量112の推定する。
STDt = √(STDd² + STDs²) …(7)
ここで、STDtは推定したノイズ量、
STDdはダーク画像105から計算したノイズ量、
STDsはショットノイズ量。

STDdは、実施例1と同様にダーク画像105の標準偏差とする。STDsは、光エネルギにより定まるが、光エネルギにより画素の画素値が決まるため、画素値が得られればSTDsを求めることができる。具体的には、画素値とSTDsの関係を示すルックアップテーブル(LUT)をショットノイズ特性記憶部117に保持し、暈け補正部108から得られる注目画素の画素値118からSTDsを求めればよい。なお、実施例1と同様に、ISO感度の設定に応じて、STDt（ノイズ量112）を調整する必要がある。

ショットノイズ特性記憶部117のLUTは次のように作成する。つまり、一様な明るさの物体を撮影して、撮影画像の画素値の標準偏差と画素値から、ショットノイズ量と画素値の対応を計算してLUTにする。

図8は実施例2における暈け補正部108の処理を説明するフローチャートである。暈け補正部108は、撮影画像104の注目画素の値を画素値118として出力し(S100)、以降、実施例1と同じ処理(S101〜S106)を行う。

例えば明るい画素の画素値はノイズよりも大きくSNRは大きい。SNRが大きい場合、Wienerフィルタによる暈け補正の度合いは強くなる。従って、明るい画素は暈け補正を強目にするという望ましい結果が得られる。ノイズが目立ち易い画像の暗部の画素値は、ノイズよりも充分に大きいとは言えず、SNRは小さい。SNRが小さい場合、Wienerフィルタによる暈け補正の度合いは弱まる。従って、画像の暗部はノイズの増大を抑制するという望ましい結果が得られる。

実施例2によれば、画素値118に応じてノイズ量112が変化し、Wienerフィルタが頻繁に変更される可能性がある。Wienerフィルタの変更が煩雑な場合は、例えば閾値を設けて、画素値が閾値を超える場合は所定の画素値118を出力するようにし、SNRが大きい画像の明部におけるWienerフィルタの頻繁な変更を抑制してもよい。

また、実施例2では、ショットノイズ特性記憶部117の分、実施例1に比べて記憶容量が大きいメモリを必要とする。そのため、実施例2の構成は、ショットノイズ量がダーク画像105から得られるノイズ量に比べて小さい撮像装置には向かない。逆に、ショットノイズ量がダーク画像105から得られるノイズ量に比べて大きい撮像装置に向く構成であると言える。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

固体メモリ素子を有するメモリカードを記録媒体として、CCDやCMOSなどの固体撮像デバイスで撮像した静止画像や動画像を記録および再生する電子カメラなどの撮像装置が市販されている。これら電子カメラの撮像デバイスの多くは、OB (optical black)画素と呼ばれるアルミニウム膜などによって遮光された複数の画素を備え、OB画素範囲（以下、OB部）が出力する画像データをOBデータと呼ぶ。

図9はOB部の概念図である。OB部801は、撮像領域802に隣接配置され、撮影画像の黒を規定するために用いられている。OBデータは、ノイズにより値0以上の有意の値を有し、OBデータの平均値も値0以上になる。撮影画像にも、OBデータと同様のノイズが混入していると考えると、撮影画像において最も値が低い画素は値0ではなく、OBデータの平均値以上になる。そこで、撮影画像からOBデータの平均値を減算することで、光が当たっていない画素の値を略0に補正する処理が知られている。このような処理を、以下では黒引き処理と呼ぶ。OB部801は、既に遮光されている状態にあるため、OB部801を利用すれば、上述した遮光部103は必ずしも備える必要はない。

図10は実施例3の撮像装置の構成例を示すブロック図である。図1に示す実施例1と異なるのは、遮光部103がなく、前処理部106が撮影画像104からOBデータ120の平均値を減算する黒引き処理を前処理の一つとして行い、ノイズ量推定部111がOBデータ120に基づきノイズ量112を推定することである。

つまり、実施例3の画像処理部121は、OBデータ120を黒引き処理だけではなく、ノイズ量112の推定にも使用する。具体的には、ノイズ量推定部111は、OBデータ120の標準偏差をノイズ量112にする。

勿論、実施例2と同様に、ノイズ量推定部111は、ショットノイズも考慮してノイズ量を推定してもよい。その際、OB部801の全画素を用いる必要がなく、一部の画素のOBデータ120からノイズ量STDdを計算してもよい。

実施例1、2においては、ノイズ量112を推定するために、撮影画像104を得るための撮影と、ダーク画像105を得るための遮光状態の撮影を行う必要がある。実施例3においては、撮影画像104の撮影とは別にOB部801からOBデータ120を取得することができ、処理手順を簡便化することができる。ただし、OB部801は、撮像領域802とは異なる領域にあるため、撮影画像104の領域ごとに異なるノイズ量を正確に推定することができない。言い換えれば、実施例3の構成は、撮影画像104の領域ごとにノイズ量が異なる度合いが小さい撮像装置に向く構成であると言える。

以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1〜3と略同様の構成については、同一符号を付して、その詳細説明を省略する。

図11は実施例4の撮像装置の構成例を示すブロック図である。図1に示す実施例1と異なるのは、遮光部103がなく、前処理部106がノイズ量112に基づき撮影画像104の黒引き処理を前処理の一つとして行い、ノイズ量112の推定用にノイズ特性記憶部122を備えることである。ノイズ特性記憶部122は、撮影パラメータ107とノイズ量112の対応を記憶する。従って、ノイズ量推定部111は、撮影パラメータ107に対応するノイズ量112をノイズ特性記憶部122から取得する。

ノイズ量112に関連する撮影パラメータ107として、撮像デバイス102の温度、露光時間、ISO感度の設定が挙げられる。また、実施例2と同様に、ショットノイズを考慮してノイズ量112を推定する場合は、撮影パラメータ107に露光量または画素値を含める必要がある。

図12は実施例4の画像処理部121の画像処理を説明するフローチャートである。図2に示す実施例1の処理と異なるのは、ダーク画像105を取得するステップS202がない点である。図13はノイズ特性記憶部122の概念を示す図である。

ノイズ特性記憶部122は、撮影パラメータ107の組み合わせ、例えば、撮像デバイス102の温度、露光量、露光時間、ISO感度の設定値の組み合わせに応じたノイズ量をLUTとして予め記憶する。ノイズ特性記憶部122が記憶するLUTを構成するには、撮影パラメータ107の組み合わせごとに、暗黒下でノイズ量を測定すればよい。

ノイズ量の測定に際して、撮影パラメータ107の各項目の値を小刻みに設定すると、測定回数が膨大になり、LUTの記憶容量も膨大になる。そこで、撮像装置に搭載可能なメモリの記憶容量に応じて各項目の値の刻みを調整することが望ましい。例えば、ISO感度の設定だけを変更し、その他の項目は所定値に固定、または、二点に制限してノイズ量を測定してもよい。従って、ノイズ量推定部111は、撮影パラメータ107の組み合わせに一致するノイズ量がノイズ特性記憶部122のLUTに記録されていない場合、撮影パラメータ107の組み合わせに隣接する組み合わせのノイズ量を取得する。そして、それらノイズ量から撮影パラメータ107の組み合わせに対応するノイズ量112を補間演算する。

実施例4によれば、ノイズ特性値を記憶する分の記憶容量が必要になるが、ダーク画像105またはOBデータ120からノイズ量112を計算する必要がないため計算コストを低減することができる。

以下、本発明にかかる実施例5の画像処理を説明する。なお、実施例5において、実施例1〜5と略同様の構成については、同一符号を付して、その詳細説明を省略する。

図14は実施例5の撮像装置の構成例を示すブロック図である。図12に示す実施例4と異なるのは、ノイズ特性記憶部122を備えない点である。実施例5のノイズ量推定部111は、撮影パラメータ107からノイズ量112を計算する計算式を保持する。

ノイズ量推定部111が保持する計算式は、図13に示す撮影パラメータ107の組み合わせとノイズ量の関係を回帰分析などによりモデル化したものである。なお、計算式の構成方法としては、回帰分析を行う方法が最も簡便ではあるが、例えば、ノイズの物理的なモデル式を用いてもよい。

実施例5によれば、実施例4に比べて、ノイズ特性値を記憶する分の記憶容量を低減することができる。しかし、計算式によってノイズ特性を近似するため、近似誤差によってり実施例4に比べるとノイズ量112の推定精度が低下する可能性がある。

［他の実施例］
本発明は、上記実施例の機能を実現するプログラムを記録した記録媒体（または記憶媒体）を装置（またはシステム）に供給し、装置のコンピュータ（CPUやMPU）が記録媒体から読み出したプログラムを実行することでも実現される。この場合、記録媒体に格納されたプログラムが上記実施例の機能を実現し、そのプログラムと、そのプログラムを記憶するコンピュータが読み取り可能な記録媒体は本発明を構成する。

また、プログラムの実行により上記機能が実現されるだけではない。つまり、プログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または他のプログラムなどが実際の処理または制御の一部または全部を行い、それによって上記機能が実現される場合も含む。また、プログラムは、コンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに格納されていてもよい。つまり、プログラムの指示により、デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。本発明を記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するプログラムが格納される。

Claims (10)

1. 撮像光学系の撮像状態を示す撮影パラメータを取得するパラメータの取得手段と、
   前記撮像状態において、前記撮像光学系を介して撮像デバイスによって撮影された撮影画像を入力する撮影画像の入力手段と、
   前記撮影パラメータに基づき前記撮影画像に含まれるノイズ量を計算する計算手段と、
   前記撮影パラメータ、前記ノイズ量および前記撮影画像の注目画素の位置に基づき、前記撮像光学系による撮影画像の暈けを補正するための補正データを取得する補正データの取得手段とを有することを特徴とする画像処理装置。
2. さらに、前記補正データに基づく暈け補正を前記撮影画像に施す補正手段を有することを特徴とする請求項1に記載された画像処理装置。
3. さらに、前記撮像デバイスに光が入力しない状態において前記撮像デバイスが出力するダーク画像を入力するダーク画像の入力手段を有し、
   前記計算手段は、前記ダーク画像から取得したノイズ量を前記撮影パラメータに基づき補正して、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項1または請求項2に記載された画像処理装置。
4. さらに、前記撮像デバイスに光が入力しない状態において前記撮像デバイスが出力するダーク画像を入力するダーク画像の入力手段と、
   前記撮像デバイスの受光面に光が当ったときに発生するノイズ量を記憶する記憶手段とを有し、
   前記計算手段は、前記ダーク画像から取得したノイズ量、および、前記注目画素の画素値と前記撮影パラメータに基づき前記記憶手段から取得したノイズ量から、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項1または請求項2に記載された画像処理装置。
5. さらに、前記撮像デバイスに配置された遮光された画素が出力する画像データを入力する画像データの入力手段を有し、
   前記計算手段は、前記画像データから取得したノイズ量を前記撮影パラメータに基づき補正して、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項1または請求項2に記載された画像処理装置。
6. さらに、前記撮影パラメータとノイズ量の対応を記憶する記憶手段を有し、
   前記計算手段は、前記撮影パラメータに基づき前記記憶手段から取得したノイズ量から、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項1または請求項2に記載された画像処理装置。
7. 前記計算手段は、前記撮影パラメータに基づく計算により、前記撮影画像に含まれるノイズ量を計算することを特徴とする請求項1または請求項2に記載された画像処理装置。
8. 撮像光学系の撮像状態を示す撮影パラメータを取得し、
   前記撮像状態において、前記撮像光学系を介して撮像デバイスによって撮影された撮影画像を入力し、
   前記撮影パラメータに基づき前記撮影画像に含まれるノイズ量を計算し、
   前記撮影パラメータ、前記ノイズ量および前記撮影画像の注目画素の位置に基づき、前記撮像光学系による撮影画像の暈けを補正するための補正データを取得することを特徴とする画像処理方法。
9. 画像処理装置を制御して、請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
10. 請求項9に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images