JP2015170928A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】安価であって簡単に、かつ正確にエッジを強調して片ボケによる解像性能のばらつきを抑制できるようにする。
【解決手段】まず、光学シミュレーション等を用いて全画素位置での解像性能（ＳＦＲ）を求め、それぞれの画素位置について撮像中心のＳＦＲとの差分値ΔＳＦＲを算出する。次に、算出したＳＦＲの差分値ΔＳＦＲに定数ａを掛け１を足した値をゲインＧとし、全画素位置でのゲインを算出する。そして、軸上のエッジ強調パラメータｆ（ｒ＝０）に対してゲインＧを乗算することによって、各画素位置におけるエッジ強調パラメータｆを算出する。
【選択図】図１

Description

本発明は、特に、エッジを強調するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラ等の撮像装置では、一般に一つの光軸に対し、軸対称な形状を持つレンズ等の撮像光学系が用いられる。このような撮像光学系の結像光学特性は、基本的に、撮像面上では画面の中心（光軸と撮像面との交点）から動径方向への距離（像高）に依存している。この像高に依存した結像光学特性として、球面収差、非点収差、コマ収差、像面湾曲、及び色収差があり、これらの収差が大きくなるに従って画像が劣化する。従来、これらの収差によって劣化した画像を補正するために、収差が最小値を示すようにレンズ等の撮像光学系の構成を最適化している。また、従来は画像処理によって劣化した画像の補正も行っており、エッジを強調するなどの処理を実施することにより、収差によって生じるコントラストの低下を防止する等の対応がとられている。

エッジを強調する場合には、画面上の水平方向のエッジを強調するエッジ強調手段と垂直方向のエッジを強調するエッジ強調手段とを備えた撮像装置を用いるのが一般的である。このような撮像装置では、上述の像高に応じた収差によって画像が劣化することに対応するために、この二種類のエッジを強調する際の強度を像高に応じて変化するように画像処理を実施する。より具体的には、画面中心付近で調整されたエッジを強調する際の強度に対し、各像高で所定のゲインを乗算したエッジを強調する際の強度を算出して画像処理を行う。これにより、像高毎の収差に対応した画像の劣化を抑制することができる。

特許文献１には、撮像光学系の動径方向に垂直なエッジを強調するエッジ強調手段と方位角方向に垂直なエッジを強調するエッジ強調手段との二種類のエッジ強調手段を有する画像処理装置が開示されている。特許文献１に開示されている２つのエッジ強調手段には、二種類のバンドパスフィルターが用意されている。そして、動径、方位角、画角、絞り、もしくは、被写体距離の大きさによってこの二種類のエッジ強調手段の比率を変化させることにより、収差（特に非点収差）によって生じる画像の劣化をより抑制できるとしている。

また、特許文献１には、製造上の誤差から起因する、いわゆる片ボケに対しても対応できることが開示されている。光軸に対し軸対称な形状を持つレンズ光学系において、同一動径の位置における結像性能は、理論的には、方位角によらず同一の性能を示す。しかし、レンズや撮像素子の取り付け誤差などの製造誤差などにより、同一動径の位置であっても方位角によって結像性能が異なってしまうことがあり、これがいわゆる「片ボケ」という現象である。

図１１は、片ボケを有するカメラにおける、解像性能の１種であるＳＦＲ（Spatial Frequency Response）の像高特性の一例を示す図である。図１１に示すように、片ボケを有するカメラにおいては、画像のエリア（方位角）によって像高特性が異なり、同じ像高（同じ動径位置）であってもＳＦＲが異なっている。そして、前述の像高に依存した結像光学特性に起因して、同一方位角線上でも像高によりＳＦＲが異なるため、結果的に解像性能が位置によってばらつくことになる。

以上のような片ボケは個体毎にその度合いが異なっており、同一機種のカメラにおける解像性能のばらつきの主要因となっている。これに対し、特許文献１に記載の画像処理装置では、片ボケを有するカメラにおいても有効に作用することが開示されており、片ボケによる解像性能のばらつきを抑制することができるとしている。

特開２００６−２１１２１８号公報

ところが、特許文献１に記載の方法では、動径方向、及び方位角方向で補正を実施したい領域数分のバンドパスフィルターを必要とするため、その分演算回路やメモリなどが必要であり、これらの機能を追加することによりコストアップを招くという問題がある。また、演算回路を用いてバンドパスフィルターを導出する場合、導出するための演算処理時間も多く必要とされ、撮影の高速化を妨げるという問題も生じる。

本発明は前述の問題点に鑑み、安価であって簡単に、かつ正確にエッジを強調して片ボケによる解像性能のばらつきを抑制できるようにすることを目的としている。

本発明に係る画像処理装置は、撮像面上の撮像中心での解像性能と、前記撮像面上の撮像中心から離れた所定の画素位置での解像性能との差分を算出し、前記算出した差分の関数から前記所定の画素位置でのゲインを算出する第１の算出手段と、前記第１の算出手段によって算出されたゲインと、前記撮像中心でのエッジ強調パラメータとを用いて、前記所定の画素位置でのエッジ強調パラメータを算出する第２の算出手段と、前記第２の算出手段によって算出されたエッジ強調パラメータに従って画像のエッジを強調する処理を行う画像処理手段とを有することを特徴とする。

本発明によれば、安価であって簡単に、かつ正確にエッジを強調することによって、片ボケによる画像の劣化を抑制することができる。

実施形態におけるデジタルカメラの概略構成例を示すブロック図である。 解像性能の差分値ΔＳＦＲとゲインＧとの関係を示す図である。 第１の実施形態において、画像処理を行った後の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。 像高特性の評価方法を説明するための図である。 背景ぼかしを行う場合の画像処理結果を説明するための図である。 第２の実施形態において、画像処理を行った後の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。 メリジオナルＳＦＲを算出するためのチャートの一例を示す図である。 サジタルＳＦＲを算出するためのチャートの一例を示す図である。 サジタルＳＦＲとメリジオナルＳＦＲとを用いて求められた４つの方位角のチャートの一例を示す図である。 第３の実施形態において、画像処理を行った後の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。 片ボケを有する場合の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態におけるデジタルカメラ１００の概略構成例を示すブロック図である。
図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、およびシャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。Ａ／Ｄ変換器１０３は、撮像素子１０２から出力されたアナログの画像信号をデジタルの画像信号に変換する。

画像処理回路１０４は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０４は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。なお、画像処理回路１０４は、Ａ／Ｄ変換器１０３から出力された画像信号のみでなく、記録媒体１０８から読み出した画像信号に対しても同様の画像処理を行うことができる。

制御回路１０５は、本実施形態のデジタルカメラ１００を構成する各回路を制御して、デジタルカメラ１００の動作を統括し、光学系１０１や撮像素子１０２の駆動制御も行う。また、制御回路１０５は、後述するエッジを強調するためのパラメータを算出する処理を行う。

表示メモリ１０６は、表示装置１０７に表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０７は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０８から読み出した画像信号に係る画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することにより、電子的なビューファインダーとして機能することが可能である。

記録媒体１０８は、このデジタルカメラ１００に着脱可能に構成されたものであっても、デジタルカメラ１００に内蔵されたものであってもよい。操作部材１０９は、ユーザーがデジタルカメラ１００に指示を送るために操作する部材である。バス１１０は、画像処理回路１０４、制御回路１０５、表示メモリ１０６、および記録媒体１０８の間で画像信号をやり取りするために用いられる。

次に、本実施形態におけるデジタルカメラ１００の撮影時の動作の一例について説明する。ユーザーによって操作部材１０９が操作され、撮影準備を開始する指示が入力されると、制御回路１０５がそれぞれの回路の動作の制御を開始する。

まず、撮像素子１０２は、光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０３がアナログの画像信号をデジタル化する。画像処理回路１０４は、Ａ／Ｄ変換器１０３から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調処理などを行う。

画像処理回路１０４で処理された画像信号、もしくは、画像処理回路１０４で処理された画像信号に対し、制御回路１０５による後述のエッジを強調する処理を実施した画像信号は、表示メモリ１０６を介して、表示装置１０７に画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示装置１０７に表示することにより表示装置１０７は電子的なビューファインダーとして機能する。

そして、ユーザーが操作部材１０９に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０５は画像処理回路１０４で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０４が、この静止画の画像信号に対して種々の画像処理を行う。そして、記録媒体１０８には画像処理回路１０４から出力された画像信号が記録される。

本実施形態では、従来の画像処理パラメータを用いて、画像処理回路１０４でエッジを強調するためのパラメータ（以下、エッジ強調パラメータ）を算出する。ここで、従来の画像処理パラメータとは、エッジ強調以外のパラメータであるホワイトバランス等の色に関する画像処理パラメータや、従来の軸上（撮像中心）付近のエッジを強調するために用いられるエッジ強調パラメータ等の画像処理パラメータのことを指す。

本実施形態では、撮像素子１０２における撮像面上の画素毎の光学結像性能に応じたエッジ強調パラメータを算出する。より具体的には、画素毎にゲインＧを求め、上述した軸上のエッジ強調パラメータに対してゲインＧを乗算したものを、所定の画素のエッジ強調パラメータとして画像処理時に用いる。画素毎のゲインＧは、以下の手順により算出することができる。まず、撮像面上の全画素位置における解像性能を求め、続いて撮像光学系の光軸と撮像面との交点である撮像中心の解像性能と、それ以外の各画素位置での解像性能との差分を用いることにより画素毎のゲインＧを算出することができる。ここで解像性能は、例えば画像処理を含めた空間周波数応答を表すＳＦＲ（Spatial Frequency Response）、又はレンズ単体に係る変調伝達関数を表すＭＴＦ（Modulation Transfer Function）を用いる。

以下、解像性能をＳＦＲとした場合の例について説明する。本実施形態では、予めデジタルカメラ１００の片ボケ量を実測し、片ボケ度合いを考慮した光学シミュレーションによる設計値により、撮像面上の全画素位置でのＳＦＲを求めるものとする。なお、本実施形態では、光学シミュレーションを用いて解像性能（ＳＦＲ）を求めるが、これに限るものではなく、チャートを撮影して実測することによりＳＦＲを求めてもよい。

ここで、撮像面における各画素位置を極座標で表し、撮像光学系の光軸と撮像面との交点である撮像中心の解像性能をＳＦＲ（ｒ＝０）とし、それ以外の各画素位置での解像性能をＳＦＲｎ（ｒ，θ）とする。この場合、上述の解像性能の差分値ΔＳＦＲは、以下の式（１）により算出される。
ΔＳＦＲ＝｛ＳＦＲ（ｒ＝０）−ＳＦＲｎ（ｒ，θ）｝／ＳＦＲ（ｒ＝０）
・・・（１）

続いて、算出した解像性能の差分値ΔＳＦＲを用いて、以下の式（２）により、各画素位置のゲインＧを算出する。なお、図２には、解像性能の差分値ΔＳＦＲとゲインＧとの関係を示す。
Ｇ＝ａ×ΔＳＦＲ＋１ ・・・式（２）
（ａ：任意の比例定数）

本実施形態では、ゲインＧを算出する式として１次関数を用いたが、これに限るものではなく、ΔＳＦＲ＝０の時にＧ＝１であれば、２次関数などの多次元の関数を用いてもよい。そして、前述したように、以下の式（３）のように軸上のエッジ強調パラメータｆ（ｒ＝０）に対してゲインＧを乗算することによって、各画素位置におけるエッジ強調パラメータｆを算出する。
ｆ＝ｆ（ｒ＝０）×Ｇ ・・・（３）

以上のように本実施形態で用いる計算式は平易な関数であるため、演算処理時間も特許文献１に記載の技術に比べて大幅に短縮することができる。画像処理回路１０４は、以上のように算出されたエッジ強調パラメータに従って画像に対してエッジ強調処理を行う。

本実施形態では、例えば定数ａを１．４とするが、定数ａはこれに限るものではない。画像の輪郭をより際立てさせたい場合は、定数ａをより大きな値を設定すればよく、逆に、画像の輪郭をあまり際立てさせたくない場合は、定数ａをより小さな値に設定すればよい。

また、定数ａの値は、強調させたい被写体の空間周波数にも依存する。強調させたい空間周波数が高いものほど、撮像面の中心から周辺部へ向かって解像性能の低下量が大きく、ゲインＧとしては大きく設定する必要がある。この場合には、式（２）中の定数ａをより大きな値にする必要がある。

さらに、定数ａは、歪曲収差補正などにおける画素補間の方法によっても、設定値を変えた方が好ましい。例えば、歪曲収差補正における画素補間がバイリニア補間の場合とバイキュービック補間の場合とで比較した場合、バイリニア補間の方が定数ａの値を大きくする必要がある。一般的に、バイリニア補間の方がバイキュービック補間よりも解像度が低下するため、両者で同様の解像感を得るためには、式（２）中の定数ａを変更し、解像度の差を抑圧する必要がある。

また、強調させたい被写体の空間周波数が低く、且つバイキュービック補間を行う場合であっても、定数ａが１より小さいとエッジを十分に強調させることができなくなる。また、強調させたい被写体の空間周波数が高く、且つバイリニア補間を行う場合であっても、定数ａが３を超えるとエッジが大きくなり過ぎる。以上のような状況を鑑みて、自然画における画質としては、定数ａを１以上３以下に設定することが好ましい。

本実施形態では、解像性能をＳＦＲとして例について説明したが、解像性能をＭＴＦとしてもよい。ゲインＧを算出する際の解像性能をＭＴＦとした場合は、解像性能の差分値ΔＭＴＦは、以下の式（４）により算出される。
ΔＭＴＦ＝｛ＭＴＦ（ｒ＝０）−ＭＴＦｎ（ｒ，θ）｝／ＭＴＦ（ｒ＝０）
・・・式（４）

ここで、ＭＴＦ（ｒ＝０）は、撮像光学系の光軸と撮像面との交点である撮像中心の解像性能を表し、ＭＴＦｎ（ｒ，θ）は、それ以外の極座標（ｒ，θ）における画素位置での解像性能を表している。そして、ゲインＧを１次関数により算出する場合には、例えば以下の式（５）を用いる。
Ｇ＝ｂ×ΔＭＴＦ＋１ ・・・式（５）
（ｂ：任意の定数）

ここで、式（５）を用いてゲインＧを算出する場合には、定数ａの場合と同様の理由により、自然画における画質としては、定数ｂを１以上５以下に設定することが好ましい。そして、前述した式（３）により、各画素位置におけるエッジ強調パラメータｆを算出することができる。

次に、以上のように算出したエッジ強調パラメータにより画像処理を行った後の像高特性について説明する。
図３は、本実施形態に係るデジタルカメラ１００により画像処理を行った後の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。図３に示す方位角１〜８は、図４（ａ）に示す方位に対応している。図４（ａ）に示すチャートを、本実施形態のデジタルカメラ１００で撮影することにより、図４（ｂ）に示す撮影画像が得られる。図３に示す像高特性は、この撮影画像の動径方向線４０１、及び方位角方向線４０２から構成されるチャート部のＳＦＲを測定して解析することにより求められる。

ここで、図４（ａ）に示すチャートを参照しながら、制御回路１０５による像高特性の評価方法について説明する。図４（ａ）に示すチャートは、動径方向に平行な関係の動径方向線４０１と、動径方向線４０１と垂直な関係の方位角方向線４０２との２種類の直線により構成されている。以上のようなチャートを、画像対角線上、画像中心を通る水平線上、及び垂直線上に配置するように描画することにより、８つの方位角の方向でチャートを形成している。

この動径方向線４０１間、及び方位角方向線４０２間の線間隔は等間隔であり、この線間隔と線幅とが解像度を表す指標となっている。本実施形態では、デジタルカメラのセンサーの画素ピッチから求まるナイキスト周波数による解像度本数をｆｎ（本／ｍｍ）とした場合に、撮像面上の線間隔が０．４×ｆｎ（本／ｍｍ）になるように、図４（ａ）のチャート上の線間隔を決定している。また、線幅としては、線間隔に対する線幅の割合が５０％となるようにしている。

なお、本実施形態では、撮像面上の線間隔が０．４×ｆｎ（本／ｍｍ）になるようにチャート上の線間隔及び線幅を定めたが、これに限るものではなく、どのような解像度本数でも、同様の効果を得ることができる。なお、前述の通り、解像度本数（空間周波数に相当）が変化する場合は、式（２）における定数ａ、もしくは、式（５）における定数ｂの値を変える必要が生じる。

また、本実施形態では、８つの方位角で形成するチャートにおいて、動径方向線４０１同士の線間隔及び方位角方向線４０２同士の線間隔はすべて同じになるように設定されている。像高特性を評価する際には、図４（ｂ）に示す撮影画像を用いて、所定の像高ｒにおけるＳＦＲを測定する。像高に関しては、図４（ｂ）に示す撮影画像の中心が撮像光学系における軸上に相当し、像高ｒ＝０％となる。また、撮影画像の４隅が最軸外の像高ｒ＝１００％となる。

まず、ＳＦＲを算出する際には、所定の方位角の所定の像高ｒにおける、隣り合う動径方向線４０１同士の輝度の変化を撮影画像から読み取る。より詳しくは、所定の像高ｒにおける各動径方向線同士間における輝度の最も低い最低輝度Ｉ_minと、輝度の最も高い最高輝度Ｉ_maxとを求める。そして、以下の式（６）により所定の像高ｒにおけるＳＦＲを算出する。また、方位角方向線４０２同士の輝度の変化も同様に撮影画像から読み取り、同様にＳＦＲを算出する。
ＳＦＲ＝（Ｉ_max−Ｉ_min）／（Ｉ_max＋Ｉ_min） ・・・式（６）

以上のように、動径方向線４０１同士による、いわゆるサジタルエッジによるサジタルＳＦＲと方位角方向線４０２同士による、いわゆるメリジオナルエッジによるメリジオナルＳＦＲとの２種類の像高特性を求めることができる。そして、図４（ａ）に示す方位角１〜８の各方位角線上の各像高においてＳＦＲを算出し、各像高におけるサジタルＳＦＲとメリジオナルＳＦＲとの相加平均を、像高に対してプロットする。図３に示す像高特性は、このような手順で算出された結果である。図３の結果に示すように、本実施形態による画像処理を行うことにより、像高、方位角によらず同等のＳＦＲを得ることができ、解像性能のばらつきがなく画質的に良好な特性が得られる。

また、本実施形態のデジタルカメラ１００において、制御回路１０５は、撮像面の所定の領域に応じて、撮像中心周辺の任意の位置でゲインＧの設定を適用するか否かを切り替えることができる。従来の先行技術を適用した場合、撮影シーンによっては、画質的にふさわしくない画像が得られてしまう場合がある。このことについて図５を参照しながら説明する。

図５（ａ）は、中心に被写体が存在し、背景にスジ５０１が発生している画像の一例を示す模式図であり、図５（ｂ）は、背景をぼかしたい撮影シーンで被写体を撮像したときの理想画像の一例を示す模式図である。ここで、図５（ａ）に示す画像の上側両端近辺で良好にぼかしたい場合について考える。

従来の先行技術を適用した場合、背景をぼかすように画像処理をしても、図５（ｃ）に示すように、ぼかし方が不十分でスジ５０１が残り、さらには、ノイズ５０２が増した現像画像を取得してしまう場合がある。このように、図５（ｃ）に示す画像は、図５（ｂ）に示す理想画像に比べ、ぼかしたい部分のぼけ方が不十分となり、さらに、ノイズ感が増しており、画質的に好ましくない。

そこで、本実施形態のデジタルカメラ１００では、操作部材１０９として背景ぼかしモードを選択できる切替スイッチを付設している。切替スイッチにより背景ぼかしモードを選択した場合、ゲインＧの設定を不適用にし、ゲインＧ＝１で画像処理が行われる。つまり、上述のΔＳＦＲから算出したゲインＧは設定されず、周辺画像の解像性能の低下した画像が得られ、その結果、図５（ｂ）に示す理想画像のように、背景をぼかした画像を取得することができる。

一方で、別の撮影シーンで背景をぼかさず周辺画像でも解像感の良好な画像を取得したい場合は、切替スイッチにより背景ぼかしモードを不適用にするよう切り替える。この場合、上述のΔＳＦＲから算出したゲインＧの設定を適用し、解像感の良好な画像が得られる。

なお、本実施形態では、背景ぼかしモードを適用する場合に全画素でゲインＧ＝１にして画像処理を行うものとしたが、これに限るものではない。例えば、ユーザーが操作部材１０９からぼかしたい領域を指定できるようにし、ぼかしたい領域の画素にだけゲインＧ＝１として画像処理を行うようにしてもよい。

例えば、図５に示す例の場合、ぼかしたい領域は図５（ａ）に示す画像の上側両端近辺であり、この領域をユーザーが指定して、この領域の画素にだけゲインＧ＝１の設定にして画像処理を行う。これにより、取得画像においては、画像上側両端近辺だけがぼかし状態になり、その他の領域の画素のおいてはΔＳＦＲから算出したゲインＧが適用され、解像感の良好な画像が得られる。この結果、ぼかした領域とそれ以外の領域とでメリハリのついた画像を取得することができる。さらに、解像感、及びぼかし具合をさまざまに変えることができるゲインＧを複数種類用意しておき、ぼかす領域とそれ以外の領域とで、ゲインＧを複数の組合せることによって、さまざまな画像表現を実現することもできる。

以上のように本実施形態によれば、複雑な演算回路を不要にして、簡単な計算式により全画素位置でのエッジ強調パラメータを算出することができ、かつ８つの方位角線上で優れたＳＦＲの像高特性を得ることができる。これにより、画像の劣化を抑制することができる。

（第２の実施形態）
第１の実施形態では、エッジ強調パラメータを算出する際に、予めデジタルカメラ１００の片ボケ量を実測し、片ボケ度合いを考慮した光学シミュレーションによる設計値により、撮像面上の全画素位置でのＳＦＲを算出した。これに対して本実施形態では、全画素位置ではなく、所定の方位角における所定の像高ｒでのＳＦＲを算出する点で異なる。本実施形態では、ゲインＧを求める際のＳＦＲとして、設計値ベースの光学シミュレーションからＳＦＲを算出するのではなく、デジタルカメラにより実写することによりＳＦＲを算出する例について説明する。なお、これ以外については、第１の実施形態と同様である。したがって、デジタルカメラ１００の構成等については説明を省略し、第１の実施形態と異なる点についてのみ説明する。

まず、図４（ａ）に示すチャートを実写し、撮像面の中心及び方位角１〜４の各方位角線上における像高ｒ＝３０、５０、７０、９０％の計１７点の位置のＳＦＲを実測により算出する。このとき、当然のことながら、第１の実施形態と同様に光学シミュレーションを用いて、各方位角線上の各像高のＳＦＲを算出してもよい。また、実測ポイントに関しても、上述の実測ポイントに限るものではなく、測定する方位角の数、もしくは、測定する像高の数を増やすことによって、ゲインＧを算出する際の精度をより向上させてもよい。

以上のように算出した１７点のＳＦＲを用いて、この１７点以外の画素位置のＳＦＲをバイリニア的な線形補間により算出する。そして、第１の実施形態と同様に式（１）及び式（２）を用いて全画素位置のゲインＧを算出し、全画素位置のエッジ強調パラメータを算出して画像処理を行う。なお、１７点以外の画素位置でＳＦＲを算出する際の補間方法としては、これに限るものではない。例えば、ニアレストネイバー的な０次補間、バイキュービック的なキュービック補間、ラグランジュ補間、スプライン補間などによる補間方法を用いてもよい。

図６は、本実施形態による画像処理を実施した後の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。図６に示す結果は、第１の実施形態と同様の手順により評価したものである。図６に示すように、本実施形態による画像処理を行うことにより、像高、方位角によらずほぼ同等のＳＦＲを示しており、解像性能のばらつきの少ない、画質的に良好な特性を示す。また、第１の実施形態では、全画素分のＳＦＲを算出する必要があったが、本実施形態では一部の画素（例えば前述の１７点）のＳＦＲを算出するだけでよく、ハード的負荷の削減を可能にし、よりコストを抑えることができる。

（第３の実施形態）
本実施形態は、ゲインＧを求める際にＳＦＲを算出するために使用するチャート、及び、方位角が異なる点以外は第２の実施形態と同様である。したがって、デジタルカメラ１００の構成等については説明を省略し、第２の実施形態と異なる点についてのみ説明する。

図７（ａ）は、像高ｒ＝５０％の全方位角のメリジオナルＳＦＲを算出するためのチャートの一例を示す図であり、図８（ａ）は、像高ｒ＝５０％の全方位角のサジタルＳＦＲを算出するためのチャートの一例を示す図である。なお、図７（ｂ）及び図８（ｂ）は、それぞれのチャートを撮影した画像の一例を示している。

本実施形態では、これらの画像を用いて、撮像中心（像高ｒ＝０％）のＳＦＲ、像高ｒ＝５０％における全方位角のサジタルＳＦＲ、及び像高ｒ＝５０％における全方位角のメリジオナルＳＦＲを算出する。そして、以上のサジタルＳＦＲとメリジオナルＳＦＲとの相加平均において、ＳＦＲが最小値（解像性能最小）を示す方位角、及び最大値（解像性能最大）を示す方位角を求め、さらに、それぞれの方位角の中間となる２つの方位角を求める。

以上のようにして求めた４つの方位角を示した模式図を図９に示す。図９において、方位角９０１はＳＦＲが最小値で解像性能が最小となる方位角であり、方位角９０２はＳＦＲが最大値で解像性能が最大となる方位角である。そして、方位角９０３、９０４は、それぞれ方位角９０１、９０２の中間となる方位角を示している。

さらに、この４つの各方位角線上に、図４（ａ）に示したような動径方向線４０１、及び方位角方向線４０２によるチャートを配置する。そして、この方位角線上における像高ｒ＝０、３０、５０、７０、９０％のＳＦＲを実測により算出する。ここで、方位角９０３、９０４では、高像高側（像高ｒ＝７０％もしくは９０％）のＳＦＲが撮像領域外に位置してしまう可能性があり、このような高像高側のＳＦＲを測定することができない。この場合は、測定できる像高ｒ（像高ｒ＝０、３０、５０％）のＳＦＲを用いて外挿により、測定できなかった高像高側のＳＦＲとして代用する。

そして、以上のように算出した１７点のＳＦＲを用いて、第２の実施形態と同様に１７点以外の画素位置のＳＦＲをバイリニア的な線形補間により算出する。そして、第１の実施形態と同様に式（１）及び式（２）を用いて全画素位置のゲインＧを算出し、全画素位置のエッジ強調パラメータを算出して画像処理を行う。なお、第２の実施形態と同様に１７点以外の画素位置でＳＦＲを算出する際の補間方法については特に限定されない。

図１０は、本実施形態による画像処理を実施した後の８つの方位角線上のＳＦＲの像高特性の一例を示す図である。図１０に示す結果は、第１の実施形態と同様の手順により評価したものである。図１０に示すように、本実施形態による画像処理を行うことにより、像高、方位角によらずほぼ同等のＳＦＲを示しており、解像性能のばらつきの少ない、画質的に良好な特性を示す。また、第２の実施形態よりも解像性能のばらつきが僅少であり、画質的に良好な特性を示している。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０４ 画像処理回路
１０５ 制御回路

Claims (12)

1. 撮像面上の撮像中心での解像性能と、前記撮像面上の撮像中心から離れた所定の画素位置での解像性能との差分を算出し、前記算出した差分の関数から前記所定の画素位置でのゲインを算出する第１の算出手段と、
   前記第１の算出手段によって算出されたゲインと、前記撮像中心でのエッジ強調パラメータとを用いて、前記所定の画素位置でのエッジ強調パラメータを算出する第２の算出手段と、
   前記第２の算出手段によって算出されたエッジ強調パラメータに従って画像のエッジを強調する処理を行う画像処理手段とを有することを特徴とする画像処理装置。
2. 前記第２の算出手段は、前記第１の算出手段によって算出されたゲインと、前記撮像中心でのエッジ強調パラメータとの積を、前記所定の画素位置でのエッジ強調パラメータとして算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記解像性能はＳＦＲ（Spatial Frequency Response）であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記解像性能はＭＴＦ（Modulation Transfer Function）であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１の算出手段は、前記解像性能の差分の１次関数から前記所定の画素位置でのゲインを算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記解像性能の差分の１次関数は、被写体の空間周波数及び画素補間の方法に応じて比例定数が異なることを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の算出手段によって算出されたエッジ強調パラメータを用いるか否かを設定する設定手段をさらに有し、
   前記設定手段により前記エッジ強調パラメータを用いないと設定されている場合に、前記画像処理手段は、エッジを強調しないようにすることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記設定手段は、前記エッジ強調パラメータを用いるか否かを前記画像の領域ごとに設定し、
   前記画像処理手段は、前記設定手段により前記エッジ強調パラメータを用いると設定された領域に対してエッジを強調する処理を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像面上の所定の方位角の所定の像高における解像性能を補間することにより前記所定の画素位置での解像性能を算出する第３の算出手段をさらに有することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記所定の方位角は、前記所定の像高における解像性能が最も高い方位角と最も低い方位角とを含むことを特徴とする請求項９に記載の画像処理装置。
11. 撮像面上の撮像中心での解像性能と、前記撮像面上の撮像中心から離れた所定の画素位置での解像性能との差分を算出し、前記算出した差分の関数から前記所定の画素位置でのゲインを算出する第１の算出工程と、
    前記第１の算出工程において算出されたゲインと、前記撮像中心でのエッジ強調パラメータとを用いて、前記所定の画素位置でのエッジ強調パラメータを算出する第２の算出工程と、
    前記第２の算出工程において算出されたエッジ強調パラメータに従って画像のエッジを強調する処理を行う画像処理工程とを有することを特徴とする画像処理方法。
12. 撮像面上の撮像中心での解像性能と、前記撮像面上の撮像中心から離れた所定の画素位置での解像性能との差分を算出し、前記算出した差分の関数から前記所定の画素位置でのゲインを算出する第１の算出工程と、
    前記第１の算出工程において算出されたゲインと、前記撮像中心でのエッジ強調パラメータとを用いて、前記所定の画素位置でのエッジ強調パラメータを算出する第２の算出工程と、
    前記第２の算出工程において算出されたエッジ強調パラメータに従って画像のエッジを強調する処理を行う画像処理工程とをコンピュータに実行させることを特徴とするプログラム。

Images