JP2014057369A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】撮像された画像において、画質劣化を好適に補正する。
【解決手段】画像処理装置は、第１の画像の一部の領域を読み出して、第２の画像としてメモリに記憶する。そして、第２の画像内の着目画素の信号値を、着目画素と異なる位置を中心として設定される所定の範囲に含まれる周辺画素の信号値と、この周辺画素の信号値に乗算する補間係数を用いて演算する。ここで、画像処理装置は、所定の範囲がメモリに記憶された第２の画像に含まれない第１の画像の範囲を参照するように設定される場合と、第１の画像の範囲を参照しないように設定される場合とで、補間係数を異ならせる。
【選択図】図１１

Description

本発明は、画像補正技術に関する。

デジタルカメラ等の撮像装置で撮像して得られた画像は、撮像レンズ等の光学系が有する倍率色収差や歪曲収差の影響を受ける。撮像された画像内の画素に着目すると、本来、着目画素に結像されるべき像は、それぞれの収差によって着目画素と画像の中心を結ぶ線上に移動されて結像されている。

近年では、撮像装置において多画素の撮像素子が用いられたり、広角や高ズーム倍率の光学系が用いられたりしており、収差による画質劣化が顕在化してしまうため、撮像装置の中には画像処理によって収差による影響の補正を行うものがある。収差によって移動された画素の情報を、本来あるべき画素に補正するための補正量は、画像の中心からの距離を表す像高と、光学系の特性によって求められることが知られている。

また、収差による像の移動は必ずしも撮像素子の画素単位ではなく、撮像素子の画素と画素の間に移動される（欠落画素）場合があり、収差による影響の補正においては補間演算が必要である。特許文献１及び特許文献２では、撮像された画像における倍率色収差や歪曲収差を補正するために、複数の画素に補間関数を乗ずることによって、補正後の着目画素の画素値を導出する技術が開示されている。

特開２００１−１８６５３３号公報 特開２００５−０５７６０５号公報

しかしながら上述した技術では、収差による影響を補正する処理方法については開示されているが、補正処理を行う際の記憶領域の容量によって制限される補正限界については、これまで言及されていなかった。即ち、上述したような多画素の撮像素子を備える撮像装置では撮像して得られる画像も大容量化している。このため、得られた画像に収差による影響を補正する等の画像処理を適用するためには、画像を多数の領域に分割し、それぞれの領域を順番に記憶領域に読み出して補正処理を行う必要がある。また特に映像記録時等、撮像から記録にかかる時間を短縮化するためには重複領域の読み出しを可能な限り避ける必要があり、画像処理は１つの領域について１回の読み出しで処理を完了することが求められる。つまり、収差の補正量は記憶領域の容量によって制限されてしまうため、補正限界を考慮しつつ、好適な補正を適用する必要がある。
本発明は、上述の問題点に鑑みてなされたものであり、画質劣化を好適に補正することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
第１の画像の一部の領域を読み出して、第２の画像として記憶する記憶手段と、第２の画像内の着目画素の信号値を、着目画素と異なる位置を中心として設定される、第１の範囲に含まれる第２の画像内の周辺画素の信号値、および、該周辺画素の信号値に乗ずる補間係数を用いて演算する演算手段と、を有し、演算手段は、第１の範囲が記憶手段に記憶された第２の画像に含まれない第１の画像の範囲を参照するように設定される場合と、第１の画像の範囲を参照しないように設定される場合とで、補間係数を異なる値に設定することを特徴とする。

このような構成により本発明によれば、画質劣化を好適に補正することが可能となる。

実施形態に係るデジタルカメラの機能構成を表す図 実施形態に係る画素座標生成回路を説明するための図 補正量を算出するための近似関数導出方法 実施形態に係る係数生成回路の回路構成を表す図 補正後の画素値の導出方法を説明するための図 補間関数の周波数応答特性を説明するための図 実施形態に係る周波数特性制御回路の回路構成を表す図 補間関数の抑圧係数を説明するための図 実施形態に係る補正後の画素値の導出方法を説明するための図 実施形態に係る光学補正回路の回路構成を表す図 補間演算に用いる、バッファメモリ上の参照画素を説明するための図 実施形態に係る像高と補正量との関係を表す図 実施形態に係る補正限界量と各パラメータとの関係を説明するための図 実施形態３に係る補正特性情報生成回路の回路構成を表す図 実施形態４に係る特徴検出回路の回路構成を表す図

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像した画像の光学系に起因して生じている倍率色収差または歪曲収差を補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、入力された画像において、画像を撮像した光学系の収差により生じている画質劣化を補正することが可能な任意の機器に適用可能である。
なお、倍率色収差及び歪曲収差における補正量と像高の関係は異なるが、収差の補正量は像高に依存するものであるため、本実施形態ではＲＧＢ各色の倍率色収差または歪曲収差のいずれかの補正量について以下に説明するものとする。

図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。なお、本実施形態ではデジタルカメラ１００において、撮像された画像に生じる収差による影響を補正するために、少なくとも必要な機能構成のみを示して説明し、画像の記録や表示に係る構成部は図示しない。

マイコン１０１は、デジタルカメラ１００の全体の処理を制御するブロックであり、演算や各ブロックへの演算結果等のデータの受け渡しを行う。マイコン１０１は、内部にデジタルカメラ１００の全体の処理に係る動作プログラムを記憶する不揮発性メモリ、及び動作プログラムの実行や演算結果及び入力されたデータの一時的な記憶を行うワークメモリを備える。

光学系１０２は、ズームレンズ及びフォーカスレンズ等のレンズ群で構成され、光学系１０２及び絞り１０６を介して被写体からの反射光を、後述する撮像素子１０８に被写体像を結像する。光学系１０２及び絞り１０６は、マイコン１０１から供給される駆動位置の情報に従って、ズームレンズ用アクチュエータ１０３、フォーカスレンズ用アクチュエータ１０４、及び絞り用アクチュエータ１０５によって駆動され、被写体像を光学的に調整する。光学系１０２及び絞り１０６に供給する駆動位置の情報を算出するための情報である、焦点距離、フォーカス位置、絞り値は倍率色収差及び歪曲収差に影響を与える要因であるため、以後、収差による影響の補正の説明において光学パラメータと総称して説明する。

光学系１０２及び絞り１０６を介してデジタルカメラ１００に入射した被写体からの反射光は、色分離プリズム１０７によってＲＧＢに色分離され、ＲＧＢそれぞれの色用の撮像素子１０８に結像される。撮像素子１０８は、ＣＣＤやＣＭＯＳセンサ等であり、各撮像素子１０８に結像された光学像は光電変換され、得られたアナログ画像信号はアナログフロントエンド（ＡＦＥ）１０９によって入力された駆動波形に従い、スキャン順にＡＦＥ１０９に出力される。ＡＦＥ１０９は、入力されたアナログ画像信号をデジタル画像に変換するブロックであり、ＲＧＢの各色用の撮像素子１０８から入力されたアナログ画像信号をそれぞれデジタル画像Ｓｒ、Ｓｇ、Ｓｂに変換し、後述する光学補正回路１１５に出力する。撮像素子１０８からアナログ画像信号を出力させるためにＡＦＥ１０９が生成する撮像素子１０８の駆動波形は、タイミングジェネレータ（ＴＧ）１１０からＡＦＥ１０９に出力される水平同期信号ＨＤ及び垂直同期信号ＶＤによる。ＴＧ１１０はデジタルカメラ１００が備える撮像素子１０８の駆動に関する情報をマイコン１０１より受信し、水平同期信号ＨＤ及び垂直同期信号ＶＤを生成し、ＡＦＥ１０９及び画素座標生成回路１１１に出力する。撮像素子１０８の駆動に関する情報は、例えば撮像素子１０８が水平１ライン分のアナログ画像信号を出力するために要する時間の情報や、全てのアナログ画像信号を出力するために要する、即ち１フレームのアナログ画像信号の読み出しに要する時間の情報である。

画素座標生成回路１１１は、収差による影響を補正するためにそれぞれの画素位置の情報を極座標化する回路である。倍率色収差及び歪曲収差は、光学中心からの距離である像高に依存するため、本画素座標生成回路１１１において光学中心を極とした極座標にそれぞれの画素位置の情報を変換する。ここで、図２を用いて画素座標生成回路１１１についてさらに説明する。

図２（ａ）は画素座標生成回路１１１の回路構成の例である。ＴＧ１１０から入力された水平同期信号ＨＤ及び垂直同期信号ＶＤをカウントすることにより、撮像素子１０８上の現在ＡＦＥ１０９に出力されている画素位置の情報Ｘｔ及びＸｙが得られ、極座標変換回路２０１に入力される。また、マイコン１０１から供給される撮像された画像の光学中心の画素位置の情報Ｃｘ及びＣｙが極座標変換回路２０１に入力される。極座標変換回路２０１では、これらの入力された情報をもとに、図２（ｂ）のように現在ＡＦＥ１０９に出力されている画素の極座標である、動径Ｒｔ及び偏角θｔの情報を以下の式で算出する。

このようにして算出された極座標の情報は、後述する係数生成回路１１３に出力される。なお、平方根演算は、二分法、開平法などの既知の手法を有限語長精度で表現することにより、またａtａｎ演算は、高次関数近似あるいはＸＹ比を所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。

光学補正データベース１１２は、光学系の収差、即ち上述した撮像時の光学パラメータに対する光学補正特性情報を記憶する、例えばフラッシュメモリ等の記憶装置である。光学補正データベース１１２の記憶容量が有限であるため、光学補正特性情報は、例えば予め設定された光学パラメータの組み合わせに対し、離散的な像高位置における、各色の倍率色収差及び歪曲収差の補正量を示すプロットデータとして記憶される。即ち、光学補正特性情報として記憶されていない、光学パラメータの組み合わせ及び像高位置における補正量を算出する場合には、光学補正データベース１１２に記憶されている光学補正特性情報から保管して補正量と像高の近似関数を得る必要がある。

ここで、光学補正データベース１１２に記憶されている光学補正特性情報から、撮像時の光学パラメータにあった補正量と像高の近似関数のプロットデータＣｍ１〜Ｃｍ４を、マイコン１０１が算出する方法について図３を用いて説明する。
マイコン１０１は例えばユーザの指示によって撮像が行われた際に、撮像時の光学パラメータを取得するとともに光学補正データベース１１２から撮像時の光学パラメータの組み合わせと類似度が高い２つの光学補正特性情報Ｃａ、Ｃｂを読み出す。読み出した光学補正特性情報は、図３（ａ）のように２つの異なる近似関数において、４つの像高位置における補正量を示すプロットデータ（Ｃａ１〜Ｃａ４、Ｃｂ１〜Ｃｂ４）となっている。なお、図３（ａ）において各プロットデータは曲線で接続されて図示しているが、それぞれの光学補正特性情報ＣａとＣｂを識別するために接続したものであり、実際のプロットデータでは、各プロット間のデータは存在しない。マイコン１０１は、撮像時の光学パラメータと、読み出した２つの光学補正特性情報Ｃａ及びＣｂの光学パラメータとの乖離度に応じて重み付けを行い、図３（ｂ）のような２つの光学特性情報から撮像時の光学パラメータにおける光学補正特性情報を算出する。マイコン１０１は、２つの光学補正特性情報Ｃａ及びＣｂから算出されたプロットデータＣｍ１〜Ｃｍ４を、撮像時の光学パラメータの光学補正特性情報として、係数生成回路１１３に出力する。

係数生成回路１１３は、入力された撮像時の光学パラメータの光学補正特性情報のプロットデータＣｍから、各プロット間について、撮像時の光学パラメータにおける補正量と像高の近似関数を導出する。また係数生成回路１１３は、導出した補正量と像高の近似関数を用いて、入力された画素位置において光学系１０２収差による影響の補正量を算出する。

ここで係数生成回路１１３の回路構成について図４を用いて説明する。係数生成回路１１３には、関数係数算出回路４０１、補正値算出回路４０２、及びＸＹベクトル係数算出回路４０３が存在する。
関数係数算出回路４０１は、撮像時の光学パラメータの光学補正特性情報のプロットデータから、プロット区間ごとに補正量と像高の近似関数の係数を算出する。本実施形態では、光学補正特性情報のプロットデータから、各プロット間の近似関数を次のような像高Ｒｔの２次関数として導出する。

Ｚｔ＝ａＲｔ^２＋ｂＲｔ＋ｃ
即ち、関数係数算出回路４０１は導出された近似関数の３つの係数ａ、ｂ、ｃを補正値算出回路４０２に出力する。

なお、本実施形態では補正量と像高の近似関数を２次関数として導出する方法について説明するが、近似関数は１次関数や高次関数で近似してもよい。例えば近似関数が３次関数である場合、補正値算出回路４０２には４つの係数が出力される。また、本実施形態では補正量と像高の近似関数をプロットデータから関数係数算出回路４０１において導出する方法について説明するが、光学補正データベース１１２にはそれぞれの光学パラメータにおける近似関数の係数が記憶されていてもよい。その場合、係数生成回路１１３には関数係数算出回路４０１はなくてよく、係数生成回路１１３に入力された撮像時の光学パラメータにおける近似関数の係数が、直接補正値算出回路４０２に入力されればよい。

補正値算出回路４０２は、関数係数算出回路４０１から入力された、各プロット区間の近似関数の係数と、画素座標生成回路１１１から係数生成回路１１３に入力された着目画素の像高の情報とから、図３（ｃ）のように着目画素の補正量Ｚｔを算出する。なお、補正値算出回路４０２で算出された補正量Ｚｔは、極座標系において着目画素と極を結んだ線分上における補正量であり、極座標系からＸＹ座標系に変換するためにはＸＹベクトル係数算出回路４０３から出力されるベクトル係数を乗ずる必要がある。

ＸＹベクトル係数算出回路４０３は、極座標系で算出された補正量を、ＸＹ座標系の補正量に変換するためのベクトル係数を算出する。具体的には、ＸＹベクトル係数算出回路４０３は、画素座標生成回路１１１から係数生成回路１１３に入力された着目画素の偏角θｔの情報に従い、ベクトル係数は以下のようになる。

Ｖｘ＝ｃｏｓθｔ
Ｖｙ＝ｓｉｎθｔ
なお、正弦関数、余弦関数演算は、高次関数近似あるいは偏角θｔを所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。

このようにＸＹベクトル係数算出回路４０３で算出されたベクトル係数を用いて、係数生成回路１１３はＸＹ座標系の補正量のＸ成分ＺｔＨ、Ｙ成分ＺｔＶは次のように表せる。

ＺｔＨ＝Ｚｔ・Ｖｘ
ＺｔＶ＝Ｚｔ・Ｖｙ
係数生成回路１１３は算出された補正量のＸＹ成分ＺｔＨ、ＺｔＶを、後述する周波数特性制御回路１１４及び光学補正回路１１５に出力する。なお、着目画素における補正量は、本来着目画素に存在するべき光学像の位相ズレ量を表し、補正量のＸＹ成分は水平、垂直方向の位相ズレ成分を表す。また倍率色収差の補正量はＲＧＢの各色が光学系１０２によって屈折される角度が異なるためデジタル画像Ｓｒ、Ｓｇ、Ｓｂにおいて全て異なるが、歪曲収差の補正量はデジタル画像Ｓｒ、Ｓｇ、Ｓｂにおいて全て同じ値となる。

光学補正回路１１５は、撮像された画像において係数生成回路１１３で算出された補正量分だけ着目画素から離れた位置を中心とする周辺画素の画素値から補間演算を行うことにより、収差による影響を補正した後の着目画素の画素値を算出する。具体的には、着目画素から係数生成回路１１３で算出された着目画素の補正量のＸＹ成分ＺｔＨ、ＺｔＶだけ離れた位置を中心とする所定の数の周辺画素に対して、補間関数から得られる補間係数を乗ずることにより、補正後の着目画素の位置の画素値を導出する。これにより、光学補正回路１１５では入力されたデジタル画像の全ての画素について補間関数を用いた補間演算を行い、収差による影響を補正した画像を出力することができる。

ここで、補間関数及び補間関数を用いた本実施形態の収差の補正方法について、図を用いて詳細に説明する。
補間関数は、Ｂｉ−Ｃｕｂｉｃ補間で用いられるように、ｓｉｎｃ関数に窓関数を重畳して得られる有限な関数であり、収差による影響を補正する際に、窓関数で規定される範囲の画素（参照画素）のそれぞれについて乗ずる補間係数を導出することが可能である。着目画素Ｓに本来結像されるべき画素である仮想画素Ｓ’の画素値ｓ’は、仮想画素Ｓ’を中心とするｎ個の参照画素Ｓ_０〜Ｓ_ｎ−１の画素値に、それぞれ補間係数を乗じて総和をとることにより求めることができる。仮想画素の画素値ｓ’は、ｎ個の参照画素の画素値ｓ_０〜ｓ_ｎ−１、及び参照画素それぞれに乗ずる補間係数ｃ_０〜ｃ_ｎ−１を用いて、次の式で表すことができる。

なお、本実施形態では仮想画素Ｓ’と仮想画素の画素値ｓ’のように、画素を特定する情報は大文字のアルファベット、当該画素の画素値は小文字の同一のアルファベットを用いて表すものとする。

着目画素Ｓと仮想画素Ｓ’の位置関係が、例えば図５のようにある場合、仮想画素の画素値ｓ’は、参照画素数を４とすると仮想画素Ｓ’を中心とする周辺の４つの参照画素Ｓ_１〜Ｓ_４を用いて導出する。このとき補間関数によって導出される補間係数は、例えば仮想画素Ｓ’に対する参照画素の距離に反比例するような値であり、Ｓ’に最も近い画素Ｓ４に最大の重み付けを行うような係数となる。

図６（ａ）、（ｂ）、及び（ｃ）は、８点補間の補間関数の時間特性を示した例であり、（ａ）（ｂ）（ｃ）の順に窓関数が狭くなっており、参照している８点の画素の間隔は狭くなっている。図では、時間０で示される補間位相に対して、前後にずれた位相の画素に対応する補間係数ｃ_０〜ｃ_７の値が示されている。

また図６（ｄ）、（ｅ）、及び（ｆ）は、それぞれの補間関数の周波数特性を示した例であり、それぞれナイキスト周波数近傍の周波数応答特性が異なっている。図６（ｄ）のように窓関数が広い場合、ナイキスト周波数近傍の周波数応答特性は急峻となっているため、このような補間関数から得られた補間係数を用いて収差による影響の補正を行うことにより、再現精度の高い画素値を得ることができる。また図６（ｆ）のように窓関数が狭い場合、ナイキスト周波数近傍の周波数応答特性は緩やかであるため、このような補間関数から得られた補間係数を用いて収差による影響の補正を行うと、画素値の再現精度は低い。

本実施形態では、このように光学補正回路１１５での補間演算に用いる補間関数の周波数特性を制御するために、周波数特性制御回路１１４を備える。ここで、周波数特性制御回路１１４の回路構成について図７を用いて説明する。
周波数特性制御回路１１４は、係数生成回路１１３から入力された収差の補正量のＸＹ成分ＺｔＨ、ＺｔＶが入力されると、水平方向及び垂直方向のそれぞれについて、補間関数の周波数特性を制御するための抑圧係数を光学補正回路１１５に出力する。具体的には、周波数特性制御回路１１４に収差の補正量が入力されると、水平及び垂直方向のそれぞれの補正量について係数関数算出回路７０１から７０３を用いて、抑圧係数をＩｔＨａ、ＩｔＨｂ、ＩｔＨｃ及びＩｔＶａ、ＩｔＶｂ、ＩｔＶｃを決定する。なお、抑圧係数は方向に依らず補正限界によって決定される値であるため、本実施形態では水平方向の補間関数の抑圧係数について以下に説明する。

抑圧係数ＩｔＨａ、ＩｔＨｂ、ＩｔＨｃは、図８のような閾値ｔｈ＿ａ、ｔｈ＿ｂ、ｔｈ＿ｃで挙動を変える、収差の補正量ＺｔＨの関数である。係数関数算出回路７０１から７０３のそれぞれには、例えばマイコン１０１から閾値の情報及び閾値を越える補正量ＺｔＨに対する勾配ｇｒａｄ＿ａ、ｇｒａｄ＿ｂ、ｇｒａｄ＿ｃが供給され、補正量の値に従って抑圧係数が決定される。

例えば、撮像された画像の一部の領域の画像が光学補正回路１１５の有限の記憶領域に読み出される場合、一般的に収差の補正量が小さい方が、補正処理における仮想画素を中心とした参照画素を記憶領域内で多くとることが可能である。即ち、補正量が小さいほど補間関数の窓関数を広く、補正量が大きいほど補間関数の窓関数を狭くする必要がある。図６のように仮想画素Ｓ’を中心とする水平方向の８点の参照画素の補正を行う場合、補間関数の周波数特性を制御して得られる補間係数ｃｈ’は、周波数特性を制御していない補間関数から得られる補間係数ｃｈと抑圧係数を用いて、
ｃｈ’ｊ＝ｃｈｊ （ｊ＝３， ４）
ｃｈ’ｊ＝ｃｈｊ×ＩｔＨａ （ｊ＝２， ５）
ｃｈ’ｊ＝ｃｈｊ×ＩｔＨｂ （ｊ＝１， ６）
ｃｈ’ｊ＝ｃｈｊ×ＩｔＨｃ （ｊ＝０， ７）
と表される。

このとき、補間関数の周波数特性を制御して得られる補間係数ｃｈ’が、補正量ＺｔＨに応じて図６のように窓関数の広狭を制御するためには、
０≦ｔｈ＿ｃ≦ｔｈ＿ｂ≦ｔｈ＿ａ
かつ、勾配ｇｒａｄ＿ａ、ｇｒａｄ＿ｂ、ｇｒａｄ＿ｃにより算出されるｘ切片ｉｔｃ＿ａ、ｉｔｃ＿ｂ、ｉｔｃ＿ｃが、
０≦ｉｔｃ＿ｃ≦ｉｔｃ＿ｂ≦ｉｔｃ＿ａ
となるようにマイコン１０１は周波数特性制御回路１１４へ供給するパラメータを制御する。このようにして周波数特性制御回路１１４は、収差の補正量によって決定した補間関数の抑圧係数を光学補正回路１１５に出力する。

次に、周波数特性制御回路１１４で決定した抑制係数を用いて光学補正回路１１５で行われる、補正後の画素値を導出する方法について図を用いて詳細に説明する。なお、以下で説明する補正後の画素値の導出方法は、着目画素Ｓから係数生成回路１１３で算出された補正量分だけ離れた仮想画素Ｓ’の位置を中心とする、８×８個の周辺画素を参照画素として用いて仮想画素Ｓ’の画素値を導出するものとして説明する。具体的には図９に示すように、着目画素Ｓから水平座標に補正量ＺｔＨ、垂直座標に補正量ＺｔＶだけ離れた画素位置に存在する仮想画素Ｓ’の画素値を導出するために、仮想画素Ｓ’を中心とするＳ_００〜Ｓ_７７までの６４個の画素を参照画素として用いる。しかしながら、本発明の実施はこれに限らず、２以上の任意の数の周辺画素を参照画素として用いて、仮想画素Ｓ’の画素値を導出する方法であればよい。

ここで光学補正回路１１５の回路構成について、図１０（ａ）、図１０（ｂ）、及び図１０（ｃ）を用いて説明する。
係数生成回路１１３から入力された収差の補正量ＺｔＨ及びＺｔＶ、周波数特性制御回路１１４から入力された抑圧係数ＩｔＨａ〜ＩｔＨｃ及びＩｔＶａ〜ＩｔＶｃは、垂直、水平成分ごとに、補間制御回路１００１または補間制御回路１００２に入力される。補間制御回路１００１は、垂直成分の補間係数を算出する回路であり、補間関数と入力された抑圧係数とを用いて、補間係数ｃｖ_０〜ｃｖ_７を補間回路１０１２に出力する。また補間制御回路１００１は、入力された垂直方向の補正量ＺｔＶの情報を、バッファメモリ１００３に伝送する。補間制御回路１００２は、水平成分の補間係数を産出する回路であり、補間係数と入力された抑圧係数とを用いて、補間係数ｃｈ_０〜ｃｈ_７を補間回路１００４〜１０１１のそれぞれに出力する。また補間制御回路１００２は、入力された水平方向の補正量ＺｔＨの情報を、バッファメモリ１００３に伝送する。

バッファメモリ１００３は、ＡＦＥ１０９で変換されたデジタル画像Ｓｒ，Ｓｇ，Ｓｂのうち、一部の領域の画像が補正処理のために記憶される記憶領域であって、ＡＦＥ１０９によって順次変換された画像が記憶される。バッファメモリ１００３に水平及び垂直方向の補正量ＺｔＨ、ＺｔＶが入力されると、マイコン１０１はバッファメモリ１００３に記憶されている画像の着目画素Ｓから、補正量分だけ離れた仮想画素Ｓ’の位置を算出する。さらにマイコン１０１は、算出した仮想画素Ｓ’の画素位置を中心とする所定の数の周辺画素を決定し、垂直座標ごとに異なる補間回路で処理されるように、決定した周辺画素の画素値を補間回路１００４〜１０１１に出力する。例えば、図９の参照画素の画素値ｓ_００〜ｓ_０７は、補間回路１００４に出力される。

補間回路１００４〜１０１１のそれぞれの構成を図１０（ｂ）に、補間回路１０１２の構成を図１０（ｃ）に示す。図１０（ｂ）に示すように、それぞれ同一の垂直座標を有する参照画素の画素値に、それぞれの水平方向の画素位置に応じた補間係数ｃｈ’_０〜ｃｈ’_７を乗じて総和回路１０１３に出力する。そして総和回路１０１３において、補間係数が乗じられた参照画素の画素値の総和を算出して水平補間値出力する。補間回路１００４〜１０１１のそれぞれから出力された、同一の垂直座標を有する水平方向の補間演算がなされた画素値から求められた水平補間値ｓ’_０〜ｓ’_７は、補間回路１０１２に出力され、垂直方向の補間演算を行う。補間回路１０１２は図１０（ｃ）に示すように、水平方向の補間演算がなされた画素値の水平補間値に、それぞれの垂直方向の画素位置に応じた補間係数ｃｖ’_０〜ｃｖ’_７を乗じて総和回路１０１４に出力する。そして総和回路１０１４において、補間係数が乗じられた全ての参照画素の画素値の総和である補間値ｓ’を算出して出力する。なお、上述した２段階の補間回路を介した補間値の平均値ｓ’を算出する補間演算は、次のような式で表すこともできる。

このようにすることで、着目画素に本来結像されるべきであった光学像の画素値を導出することができるため、全ての画素について光学補正回路１１５における補正処理を適用することにより、好適な収差により生じる画質劣化の補正を行うことができる。
なお、全ての画素について光学補正回路１１５での補正処理を適用する場合、バッファメモリ１００３の容量や補正量の大きさ、着目画素の位置によっては、次のような問題が生じる。

補正処理では、バッファメモリ１００３に記憶されている着目画素から、係数生成回路１１３で算出された補正量分だけ離れた位置にある仮想画素を中心とした、所定の数の周辺画素を参照して補間演算を行う。このとき、図１１（ｂ）、（ｃ）、及び（ｄ）のように、仮想画素を中心とした所定の数の周辺画素の少なくともいずれかの画素がバッファメモリ１００３に読み込まれていない状態が存在する。このような場合、参照できない画素値の分、補間演算が正しく行われないことになり、補正後の画像において必要以上の画質劣化を引き起こしてしまう。

本実施形態では、上述したように着目画素に本来結像されるべきであった画素位置を中心とした所定の数の周辺画素が、一部の領域の画像を読み出して記憶している記憶手段に記憶されていない場合に、収差による影響の補正を実現する方法について以下に説明する。
図１１（ａ）は、例えばある着目画素Ｓについて、収差の補正量分だけ離れた位置を中心とした、所定の数の周辺画素を用いて好適な補間演算を行うことが可能な、水平方向の補正限界を示している。即ち、このときの収差の補正量の水平成分ＺｔＨ_ｍａｘを超える補正量については、図１１（ｂ）、（ｃ）及び（ｄ）のように、記憶手段に記憶されていない画素が補間演算において参照されるため、補間関数を次のように制御すればよい。

図１１（ｂ）のように、参照画素の範囲が、記憶手段に記憶されている画像の領域より水平方向に１画素分はみ出してしまう場合、補間係数ｃｈ’_０及びｃｈ’_７が０になるように、抑圧係数ＩｔＨｃを０にする。具体的には、マイコン１０１は周波数特性制御回路１１４に、例えば次のようなｔｈ＿ｃ及びｇｒａｄ＿ｃを供給すればよい。

ｔｈ＿ｃ＝ＺｔＨ_ｍａｘ−３
ｇｒａｄ＿ｃ＝−１
このようにすることで、（補正限界量ー２）でＩｔＨｃが０になるため、補間演算において参照画素数を少なくしたことと等価な処理を実現することができる。即ち、水平方向の参照画素数の所定値が８画素である場合、両端に位置する２画素については補間係数が０になるため、実質的に水平方向の６画素について補間演算を行うことになる。これにより、補間関数において窓関数を狭くした場合と等価な補間処理を行うことができるため、得られる画素値の再現精度は低くなるが補正量ＺｔＨの制限は行わないため、好適に収差により生じる画質劣化を補正することができる。

同様に、図１１（ｃ）及び（ｄ）も、それぞれ記憶手段に記憶されている画像の領域よりはみ出てしまう画素に乗じられる補間係数が０となるように、抑圧係数の算出パラメータを変更することにより、好適な、収差による画質劣化の補正処理を行うことができる。

なお、本実施形態ではデジタルカメラ１００が、３板方式の撮像手段を備えるものとして説明したが、本発明の実施はこれに限らず、例えば１つの撮像素子にＲＧＢベイヤ配列等の色フィルタを施した、単板方式の撮像手段を備えるデジタルカメラであってもよい。この場合、例えば色フィルタ毎に画像信号を分離して補正処理を適用することで、同様の効果を得ることができる。

以上説明したように、本実施形態の画像処理装置は、撮像された画像において、補正限界を考慮した、収差による画質劣化を好適に補正することができる。具体的には、画像処理装置は、光学系を用いて撮像された画像について領域ごとに読み出し、領域の画素それぞれについて光学系に起因して生じている収差の補正量を算出する。そして、算出された収差の補正量分だけ当該画素から離れた位置を中心とする、所定の数の周辺画素に対して、補間関数から得られる補間係数を乗じて加算することにより、補正後の当該画素の位置の画素値を導出する。このとき、算出された収差の補正量分だけ離れた位置を中心とした所定の数の周辺画素が、読み出された領域に存在しない場合、補間関数を変更することにより好適な、収差による画質劣化の補正を実現する。具体的には、補間関数のナイキスト周波数近傍の周波数応答特性が、所定の数の周辺画素に乗ずる補間係数を与える補間関数のものより緩やかになるように、補間関数を変更し、補正処理に用いる。
このようにすることで、補正処理において所定数の画素が参照できないような補正限界に至っても、収差により生じる画質劣化を好適に補正することができる。

（実施形態２）
本実施形態では、上述した実施形態１に加え、さらに光学系が有する、撮像された画像における解像感を表すＭＴＦ情報を考慮した収差の補正処理について説明する。なお、本実施形態のデジタルカメラの機能構成は実施形態１と同様であり、デジタルカメラ１００が備える光学系１０２のＭＴＦ情報は、光学補正データベース１１２に記憶され、補正処理の過程で読み出される。

なお、上述の実施形態１では、係数生成回路１１３で導出された補正量と像高の近似関数に基づいて収差の補正量は算出されるものとして説明した。しかしながら、本実施形態では光学補正回路１１５が備えるバッファメモリ１００３の容量によって補正量の限界値（第１の上限値）が予め定まるものとして説明する。例えば図１２（ａ）において、係数生成回路１１３で導出された補正量と像高の近似関数が破線１２０１であった場合、バッファメモリ１００３によって予め定まる補正量の限界値Ｌｍによって近似関数は制限されることになる。即ち、予め補正量の限界値が定められている場合、像高に対する補正量は太破線１２０２に制限される。

ここで、解像感を示すＭＴＦ情報Ｃｏについて説明する。
ＭＴＦ情報Ｃｏは光学系１０２の設計時に予め計算できるパラメータであり、光学系１０２によって結像される光学像の、像の細かさを表している。ＭＴＦ情報は、図１３（ａ）のように、通常は像高が高くなるに従って低下する特性を持つ。図１３（ａ）において縦軸はＭＴＦ情報Ｃｏを表し、光学中心（像高が０）の値で正規化されている。ＭＴＦ情報Ｃｏが高い場合、被写体の再現度が高く、撮像素子上には被写体の細部まで結像されるため、「解像感が高い」と表現される。

解像感が高い場合、被写体像は細部まで再現されているため、倍率色収差や歪曲収差によって移動した被写体像のズレや歪みは目立ちやすくなる。即ち、解像感が高い場合は収差による影響が目立ちやすいため、収差の補正量を可能な限り高く保ち、被写体像のズレや歪みを補正する必要がある。また解像感が低い場合は収差による影響は目立ちにくいため、収差の補正精度は低くし、逆に補正後の画素の再現精度を高く保つことが必要である。このことから、ＭＴＦ情報Ｃｏと補正限界量の関係は図１３（ｂ）のようになる。

即ち、図１３（ａ）及び（ｂ）から、ＭＴＦ情報を考慮した補正限界量は図１２（ａ）における一点鎖線１２０３（第３の上限値）で表され、本実施形態の補正量と像高の近似関数は太線１２０４のようになる。このように、係数生成回路１１３において導出された補正量と像高の近似関数１２０１は、光学補正回路１１５のバッファメモリ１００３の容量及びＭＴＦ情報Ｃｏによって、近似関数１２０４のように制限される。本実施形態では、このような補正量の制限は、周波数特性制御回路１１４において図７のように水平、垂直成分ごとにリミッタ７２１及びリミッタ７２２を設けることによって実現される。

以上説明したように、本実施形態の画像処理装置は、解像感を表すＭＴＦ情報を考慮した、収差により生じた画質劣化の好適な補正を行うことができる。

（実施形態３）
本実施形態では実施形態１の構成に加え、実施形態２のようにバッファメモリ１００３の容量から定まる補正量の限界値により補正量と像高の近似関数が制限された際に、補正後の画質がどのような印象を与えるかを定性的に示した補正特性情報Ｃｃを考慮する。補正特性情報Ｃｃは、補正量と像高の近似関数が制限された際に、補正量の限界値を超える像高の範囲の情報Ｌｗ、及び当該像高の範囲における最小の像高Ｌｈのそれぞれが、補正後の画質からうける印象度Ｃｃｗ及びＣｃｈから決定される情報である。

本実施形態のデジタルカメラ１００の機能構成は、上述した実施形態１の構成に、補正特性情報Ｃｃを算出するための補正特性情報生成回路１２０が加わった構成となる。補正特性情報生成回路１２０は、撮像時の光学パラメータの光学補正特性情報のプロットデータＣｍ１〜Ｃｍ４、及び光学補正回路１１５のバッファメモリ１００３の容量から予め定まる補正量の限界値Ｌｍの情報をマイコン１０１から入力される。そして、補正特性情報生成回路１２０は、入力された情報を用いて補正特性情報Ｃｃを算出する。

補正特性情報生成回路１２０の回路構成について、図１４をさらに用いて詳細に説明する。補正特性情報生成回路１２０に入力された、撮像時の光学パラメータの光学補正特性情報のプロットデータは、係数生成回路１１３が備える関数係数算出回路４０１と同様の関数係数算出回路１４０１に入力され、各プロット間の２次の近似関数の係数を出力する。各プロット間の近似関数の係数は、それぞれ切片算出回路１４０２、１４０３、及び１４０４に出力され、各切片算出回路において
Ｌｍ＝ａＲｔ^２＋ｂＲｔ＋ｃ
を満たす像高Ｒｔについて解き、それぞれ得られた解の像高Ｒｔについて特性係数算出回路１４０５で、補正量の限界値を超える像高の範囲の情報Ｌｗ及び当該像高の範囲における像高の最小値Ｌｈを導出する。

また、特性係数算出回路１４０５ではさらに、得られた補正量の限界値を超える像高の範囲の情報Ｌｗ、及び当該像高の範囲の最小の像高Ｌｈの情報から、補正後の画質から受ける印象度を示す補正特性情報Ｃｃを算出する。補正量の限界値を超える像高の範囲の最小の像高Ｌｈと補正後の画質から受ける印象度Ｃｃｈは、図１３（ｃ）のような関係で表され、補正量の限界値を超える像高の範囲Ｌｗと補正後の画質から受ける印象度Ｃｃｗは、図１３（ｄ）のような関係で表される。
ここで、印象度Ｃｃｈ及び印象度Ｃｃｗは、外部から設定された正規化レベルＣｃｈｎ及びＣｃｗｎによって正規化されるものとする。この正規化レベルＣｃｈｎおよびＣｃｗｎは、補正後の画質から受ける印象度が画質低下につながらないことを基準に設定される画質調整項目であり、この値は実験的に求められる。

ここで本実施形態における、補正後の画質から受ける印象度の概念について説明する。本実施形態では、ポートレートモード等の撮影モードの設定により、光学中心（像高が０）に存在する情報を重要被写体像とみなす場合を想定する。即ち、フレーミングの中央に位置する被写体像の画質を、画像の画質として観察者が判断するものとしている。即ち、補正量の限界値を超えた場合は、収差によって生じた被写体像のズレや歪みの補正精度が低くなっていると考えられるため、画質が低下している。このため、像高の範囲の最小の像高Ｌｈが光学中心に近いほど、フレーミングの中央に位置する被写体像について収差によって生じたズレや歪みが補正されず残存することになるため、観察者に画質が低下していることを感じさせやすい。また、補正量の限界値を超える像高の範囲Ｌｗが大きい場合、補正後の画像において収差によって生じたズレや歪みが補正されずに残存している像高の範囲が大きくなるため、観察者は補正精度が保たれずに生じた画質の低下に気づきやすい。

このように本実施形態では、特性係数算出回路１４０５において、定性的に定められた補正後の画質から受ける印象度Ｃｃｈ及びＣｃｗを、例えばいずれか大きい方を選択することにより、補正特性情報Ｃｃとして周波数特性制御回路１１４に出力する。即ち、補正特性情報生成回路１２０で得られた補正特性情報Ｃｃが高いほど観察者が画質劣化を感じやすいため、収差の補正量を可能な限り高く保ち、被写体像のズレや歪みを補正する必要がある。また補正特性情報Ｃｃが低いほど、観察者は画質劣化を感じにくいため、収差の補正精度は低くし、逆に補正後の画素の再現精度を高く保つことが必要である。このことから、補正特性情報Ｃｃと補正限界量の関係は図１３（ｅ）のようになる。

光学補正回路１１５が備えるバッファメモリ１００３の容量によって補正量の限界値が決定し、撮像時の光学パラメータから補正量と像高の近似関数が得られると、補正量の限界値を超える像高の範囲Ｌｗと当該像高の範囲の最小の像高Ｌｈが算出される。そして、得られた像高の範囲Ｌｗと最小の像高Ｌｈから補正特性情報Ｃｃが得られ、図１３（ｅ）のグラフから得られた補正特性情報Ｃｃに対応する補正限界量Ｌｍ’（第２の上限値）の情報が得られる。即ち、本実施形態の補正量と像高の近似関数は、図１２（ｂ）において補正量の上限値未満（第１の上限値未満）である補正限界量Ｌｍ’を表す破線１２０５で制限される、太線１２０６のようになる。このように、係数生成回路１１３において導出された補正量と像高の近似関数１２０１は、光学補正回路１１５のバッファメモリ１００３の容量及び補正特性情報Ｃｃによって、近似関数１２０６のように制限される。本実施形態では、このような補正量の制限は、周波数特性制御回路１１４において図７のように水平、垂直成分ごとにリミッタ７２１及びリミッタ７２２を設けることによって実現される。

以上説明したように、本実施形態の画像処理装置は、観察者の補正後の画質に対する劣化の感じやすさが小さいとみなせるほど、補正精度よりも、補正後の画素の再現精度を高く保つことを優先するように、補正後の限界値を設定している。即ち、補正量の限界値によって決まる、補正後の画質から受ける印象度である補正特性情報を考慮した、収差により生じる画質劣化を好適に補正することができる。

（実施形態４）
本実施形態では実施形態１の構成に加え、さらに撮像された画像内のエッジ成分や動きベクトルを検出することにより得られる、被写体像の特徴度を表す被写体特徴情報を考慮した収差の補正処理について説明する。なお、本実施形態も実施形態２のようにバッファメモリ１００３の容量から定まる補正量の限界値により補正量と像高の近似関数が制限されている場合について説明する。なお、被写体特徴情報Ｃｆとは撮像された画像において特徴があるか、即ち補正時に画素値の再現精度が要求されるかを表した値である。

本実施形態のデジタルカメラ１００の機能構成は、上述した実施形態１の構成に、被写体特徴情報Ｃｆを導出するために必要な特徴評価値Ｉｄを算出するための特徴検出回路１３０が加わった構成となる。特徴検出回路１３０は、勾配検出、高周波成分検出、動き検出等、被写体像の特徴として検出する情報の種類に従って、異なる回路構成となればよく、検出する情報それぞれの回路構成について、図１５を用いて以下に説明する。

被写体像の特徴として、エッジ成分である画素間における勾配検出（エッジ検出）を行う場合、一般的には図１５（ａ）のような構成となる。輝度信号生成回路１５０１は、ＡＦＥ１０９からＲＧＢ各色のデジタル画像Ｓｒ、Ｓｇ、Ｓｂが入力されると、それぞれのデジタル画像の着目画素位置の画素値から、次のような式によって着目画素の輝度値ｙを算出する。

ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ
このように全ての画素について算出された輝度値ｙは、勾配検出回路１５０２に輝度信号（輝度画像）として出力される。勾配検出回路１５０２は、例えばソーベルフィルタであり、輝度信号生成回路１５０１から輝度信号Ｙが入力されると、着目画素位置の勾配量Ｙｇ（輝度信号の１次微分値）を出力する。そして勾配検出回路１５０２で得られた勾配量Ｙｇは積分回路１５０３に入力され、撮像された画像の輝度信号を区分した矩形領域ごとに、勾配量Ｙｇの積分値を特徴評価値Ｉｄとして出力する。

被写体像の特徴として、輝度信号の高周波成分検出を行う場合、一般的には図１５（ｂ）のような構成となる。ＡＦＥ１０９からＲＧＢ各色のデジタル画像Ｓｒ、Ｓｇ、Ｓｂが入力されると、デジタル画像を輝度信号生成回路１５０１は輝度信号Ｙに変換し、高周波成分検出回路１５０４に出力する。高周波成分検出回路１５０４は、例えばバンドパスフィルタであり、着目が沿い地の高周波成分Ｙｈ（輝度信号の２次微分値）を出力する。そして高周波成分検出回路１５０４で得られた高周波成分Ｙｈは積分回路１５０３に入力され、撮像された画像の輝度信号を区分した矩形領域ごとに、高周波成分Ｙｈの積分値を特徴評価値Ｉｄとして出力する。

このように勾配検出、または高周波成分検出で得られた特徴評価値Ｉｄは、特徴評価値Ｉｄが高いほど撮像された画像において特徴がある領域であり、補正時に画素値の再現精度が要求されるため、被写体特徴情報Ｃｆは図１３（ｆ）のようになる。

また、被写体像の特徴として、連続する画像に存在する動きベクトル検出を行う場合、図１５（ｃ）のような構成となる。なお、図１５（ｃ）の構成は、代表点によるマッチング演算を適用した動きベクトル解析回路の一般的な構成である。ＡＦＥ１０９からＲＧＢ各色のデジタル画像Ｓｒ、Ｓｇ、Ｓｂが入力されると、デジタル画像を輝度信号生成回路１５０１は輝度信号Ｙに変換し、フレームメモリ１５０５に出力する。フレームメモリ１５０５は、少なくとも２フレーム分の輝度代表点フレームを保持する容量を備え、輝度信号Ｙを所定の画素間隔で水平・垂直方向にリサンプリングした代表点データ画像を保持する。また、フレームメモリ１５０５で作られた代表点データ画像は、バッファメモリ１５０６にも保持される。

代表点マッチング回路１５０７では、このようにフレームメモリ１５０５及びバッファメモリ１５０６に記憶されている代表点データ画像を比較することにより、撮像された画像の輝度信号を区分した矩形領域ごとに、特徴評価値Ｉｄを算出して出力する。具体的には、バッファメモリ１５０６に記憶されている代表点データ画像は、矩形領域に区分され、順に代表点マッチング回路１５０７に出力される。代表点マッチング回路１５０７では、フレームメモリ１５０５から矩形領域と同じ大きさの代表点画素群Ｙｓを左上から順に読み出し、バッファメモリ１５０６から入力された代表点画素群Ｙｔとの差分が最も小さい代表点画素群Ｙｓの位置を探し出す。そして、差分が最も小さい代表点画素群Ｙｓの読み出し位置と、バッファメモリ１５０６から入力された矩形領域の位置とから、当該矩形領域の動きベクトルを算出する。さらに代表点マッチング回路１５０７は、各領域の動きベクトルのスカラー量の逆数を、特徴評価値Ｉｄとして出力する。

このように動きベクトル検出で得られた特徴評価値Ｉｄは、特徴評価値Ｉｄが低いほど撮像された画像において被写体に動きがある領域であるため、収差によって生じる被写体像のズレや歪みは目立ちにくい。即ち、動きベクトル検出の場合、動きベクトルが大きいほど収差の補正精度は要求されず、補正時には補正量を少なくして、画素値の再現精度をあげることができるため、被写体特徴情報Ｃｆは図１３（ｇ）のようになる。

このように本実施形態では、特徴検出回路１３０において特徴評価値Ｉｄを算出し、補正時に要求される画素値の再現精度である被写体特徴情報Ｃｆを求める。被写体特徴情報Ｃｆが小さい場合は、画素値の再現精度の要求が高いため、収差の補正量を制限してでも補正処理における参照画素数を多くして、画素値の再現精度を向上させる必要がある。つまり、被写体特徴情報Ｃｆと補正限界量との関係は図１３（ｈ）のようになる。

即ち、特徴検出回路１３０において特徴評価値Ｉｄが算出されると、マイコン１０１は特徴検出の種類によって決まる被写体特徴情報Ｃｆを得る。さらにマイコン１０１は、図１３（ｈ）のグラフから、得られた被写体特徴情報Ｃｆに対応する補正限界量Ｌｍ’（第４の上限値、第５の上限値）の情報を得る。即ち、本実施形態の補正量と像高の近似関数は、実施形態３と同様に、図１２（ｂ）において補正限界量Ｌｍ’に制限される太線１２０６のようになる。このように係数生成回路１１３において導出された補正量と像高の近似関数１２０１は、光学補正回路１１５のバッファメモリ１００３の容量及び被写体特徴情報Ｃｆによって、近似関数１２０６のように制限される。本実施形態では、このような補正量の制限は、周波数特性制御回路１１４において図７のように水平、垂直成分ごとにリミッタ７２１及びリミッタ７２２を設けることによって実現される。

以上説明したように、本実施形態の画像処理装置は、補正時の画素値の再現精度の要求が高いとみなせるほど、補正精度よりも、補正後の画素の再現精度を高く保つことを優先するように、補正量の限界値を設定している。即ち、撮像された画像におけるエッジ成分や高周波成分、動きベクトル等によって決まる、画素値の再現精度の要求である被写体特徴情報を考慮して、収差により生じる画質劣化を好適に補正することができる。

（実施形態５）
本実施形態では、上述した実施形態２乃至４で述べられた、ＭＴＦ情報Ｃｏ、補正特性情報Ｃｃ、被写体特徴情報Ｃｆの全てを考慮した、補正量と像高の近似関数の制限及び収差の補正方法について説明する。即ち、本実施形態のデジタルカメラ１００の機能構成は、実施形態１の構成に補正特性情報生成回路１２０及び特徴検出回路１３０が加わった構成となる。さらに、光学補正データベース１１２ではＭＴＦ情報が管理される。

上述した実施形態の情報をまとめると
・解像感であるＭＴＦ情報Ｃｏは像高が低いほど高くなる
・ＭＴＦ情報Ｃｏが高いほど補正精度が求められる
・ＭＴＦ情報Ｃｏが低いほど補正精度より再現精度が求められる

・補正後の画質の印象度である補正特性情報Ｃｃは、
−補正量の限界値を超える像高の範囲が広いほど高くなる
−補正量の限界値を超える最小の像高が低いほど高くなる
・補正特性情報Ｃｃが高いほど補正精度が求められる
・補正特性情報Ｃｃが低いほど補正精度より再現精度が求められる

・被写体像の特徴度である被写体特徴情報Ｃｆは、
−エッジ成分が大きい領域ほど高くなる
−高周波成分が大きい領域ほど高くなる
−動きベクトルが小さい領域ほど高くなる
・被写体特徴情報Ｃｆが高いほど補正精度が求められる
・被写体特徴情報Ｃｆが低いほど補正精度より再現精度が求められる
このようになるため、図１３（ｂ）、（ｅ）及び（ｈ）からも明らかなように、各情報が１に近づくにつれ、収差の補正精度を限りなく高く保つような傾向になる。即ち、ＭＴＦ情報Ｃｏ、補正特性情報Ｃｃ、及び被写体特徴情報Ｃｆを統合すると、例えば像高によって導出される補正限界量の最低値を選択するようにすると、制限された補正量と像高の近似関数は図１２（ｃ）の太線１２０７のようにすればよい。

以上説明したように、本実施形態の画像処理装置は、撮像された画像の特徴及び補正量の限界量を考慮した上で、収差により生じる画質劣化を好適に補正することができる。

なお、上述した実施形態では画像処理装置の一例として、光学系を備えるデジタルカメラについて説明したが、本発明の実施はこれに限らない。例えば、画像処理装置はプリンタ等の画像の入力を受け付ける機器であってよく、この場合、光学系の収差の情報が、１つのファイルとして画像とともに入力されるか、画像のデータ情報の中に含まれていればよい。そして画像処理装置は、補正処理の過程において光学系の収差の情報を読み出して、上述のような補正処理を行えばよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 第１の画像の一部の領域を読み出して、第２の画像として記憶する記憶手段と、
   前記第２の画像内の着目画素の信号値を、前記着目画素と異なる位置を中心として設定される、第１の範囲に含まれる前記第２の画像内の周辺画素の信号値、および、該周辺画素の信号値に乗ずる補間係数を用いて演算する演算手段と、を有し、
   前記演算手段は、前記第１の範囲が前記記憶手段に記憶された前記第２の画像に含まれない前記第１の画像の範囲を参照するように設定される場合と、前記第１の画像の範囲を参照しないように設定される場合とで、前記補間係数を異なる値に設定することを特徴とする画像処理装置。
2. 前記演算手段は、前記第１の範囲が前記第２の画像に含まれない前記第１の画像の範囲を参照するように設定される場合には、前記第１の範囲よりも狭い第２の範囲に含まれる周辺画素の信号値を用いて、前記着目画素の信号値を演算することを特徴とする請求項１に記載の画像処理装置。
3. 前記演算手段が用いる前記補間係数は補間関数から得られるものであって、
   前記演算手段は、前記着目画素の信号値の演算に前記第１の範囲に含まれる周辺画素の信号値を用いる場合と前記第２の範囲に含まれる周辺画素の信号値を用いる場合とで、異なる周波数特性を有する補間関数から得られた前記補間係数を用いることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の範囲に含まれる周辺画素の信号値を用いて前記着目画素の信号値を演算する場合に用いられる補間関数は、前記第２の範囲に含まれる周辺画素の信号値を用いて前記着目画素の信号値を演算する場合に用いられる補間関数よりもナイキスト周波数近傍の周波数特性が急峻であることを特徴とする請求項３に記載の画像処理装置。
5. 前記演算手段は、水平成分の補間係数を用いて演算を行う第１の補間手段と、垂直成分の補間係数を用いて演算を行う第２の補間手段を有することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記演算手段は、複数の前記第１の補間手段を有し、前記周辺画素の信号値を前記複数の第１の補間手段に入力し、前記複数の第１の補間手段から出力された信号値を前記第２の補間手段に入力することで前記着目画素の信号値の演算を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記演算手段は、前記着目画素の像高に基づいて、前記着目画素と異なる位置を決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 記憶手段が、第１の画像の一部の領域を読み出して、第２の画像として記憶する工程と、
   演算手段が、前記第２の画像内の着目画素の信号値を、前記着目画素と異なる位置を中心として設定される、第１の範囲に含まれる前記第２の画像内の周辺画素の信号値、および、該周辺画素の信号値に乗ずる補間係数を用いて演算する工程と、を有し、
   前記補間係数は、前記第１の範囲が前記記憶された前記第２の画像に含まれない前記第１の画像の範囲を参照するように設定される場合と、第１の画像の範囲を参照しないように設定される場合とで、異なる値に設定されることを特徴とする画像処理方法。