JP2010177832A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】撮影時の光軸シフト量を用いることができない場合であっても、画像に生じている倍率色収差に基づく色ずれを適正に補正できるようにする。
【解決手段】光学系を介して撮影された画像が記憶される記憶部１０２と、記憶部１０２に記憶された画像の複数の色ずれ測定箇所において色ずれ測定値をそれぞれ算出する色ずれ測定部１０３と、色ずれ測定部１０３により算出された色ずれ測定値に基づいて、前記光学系の光軸に対応する画像内の位置である光軸中心位置、及び倍率色収差量を推定する色ずれ測定値解析部１０４とを備える画像処理装置１０１である。
【選択図】図１

Description

本発明は、撮影された画像を処理する画像処理装置及び画像処理方法に関する。

撮影レンズには倍率色収差が残存しているものがあり、その撮影レンズで撮影した画像には倍率色収差によって光軸中心を中心とした色ずれ（Ｒ値に係る画像、Ｇ値に係る画像、Ｂ値に係る画像が相互にずれる）が生じる。この色ずれは、光軸中心（画像の撮影レンズの光軸に対応する位置）を中心として生じるため、手ぶれ補正等の撮影レンズの光軸を積極的にシフト（変化）させて撮影された画像では、その光軸中心のシフト量が分からないと、倍率色収差を適切に補正することができない。そこで、従来技術として、例えば下記特許文献１に記載されているように、撮影レンズの光軸シフト量（ベクトル）のデータ等の撮影時に検出された情報に基づいて、光軸中心を中心としてＲＧＢを変倍することによって、撮影された画像に生じている倍率色収差に基づく色ずれを補正するようにした技術が提案されている。この技術によれば、手ぶれ補正等のために撮影レンズの光軸を積極的にシフトして撮影した画像の倍率色収差を補正することが可能である。

特許第４０１０２５４号公報

しかしながら、特許文献１に記載の技術では、撮影時に検出された光軸シフト量等のデータを用いる必要があるため、例えばレンズ交換式の電子カメラ等において、光軸シフトに関する情報を出力しない撮影レンズが装着されている場合等においては、光軸シフト量に基づいた倍率色収差の補正処理を行うことができないという問題がある。

よって本発明の目的は、撮影時の光軸シフト量を用いることができない場合であっても、画像に生じている倍率色収差に基づく色ずれを適正に補正できるようにすることである。

本発明の第１の観点によると、光学系を介して撮影された画像が記憶される記憶部と、前記記憶部に記憶された前記画像の複数の色ずれ測定箇所において色ずれ測定値をそれぞれ算出する色ずれ測定部と、前記色ずれ測定部により算出された前記色ずれ測定値に基づいて、前記光学系の光軸に対応する前記画像内の位置である光軸中心位置、及び倍率色収差量を推定する色ずれ測定値解析部とを備える画像処理装置が提供される。

本発明の第２の観点によると、光学系を介して撮影された画像を記憶する記憶部と、前記記憶部に記憶された前記画像の複数の色ずれ測定箇所において、画像中心に対して動径方向に設定した第１の色ずれ測定方向について色ずれを測定して第１の色ずれ測定値を算出する第１の色ずれ測定部と、前記光学系の光軸に対応する前記画像内の位置である光軸中心に対して動径方向に発生した色ずれを前記第１の色ずれ測定方向へ射影した値が前記第１の色ずれ測定値であるとみなして、前記第１の色ずれ測定値に基づいて、暫定的光軸中心位置を決定する第１の色ずれ測定値解析部と、前記画像の複数の色ずれ測定箇所において、前記暫定的光軸中心位置に対して動径方向に設定した第２の色ずれ測定方向について色ずれを測定して第２の色ずれ測定値を算出する第２の色ずれ測定部と、前記光軸中心に対して動径方向に発生した色ずれを前記第２の色ずれ測定方向へ射影した値が前記第２の色ずれ測定値であるとみなして、前記第２の色ずれ測定値に基づいて、前記光軸中心及び倍率色収差量を推定する第２の色ずれ測定値解析部とを備える画像処理装置が提供される。

本発明の第３の観点によると、記憶部から光学系を介して撮影された画像を読み出す読出ステップと、前記読出ステップで読み出された画像の複数の色ずれ測定箇所において色ずれ測定値をそれぞれ算出する色ずれ測定ステップと、前記色ずれ測定ステップにより算出された前記色ずれ測定値に基づいて、前記光学系の光軸に対応する前記画像内の位置である光軸中心位置、及び倍率色収差量を推定する色ずれ測定値解析ステップとを含む画像処理方法が提供される。

本発明の第４の観点によると、記憶部から光学系を介して撮影された画像を読み出す読出ステップと、前記読出ステップで読み出された画像の複数の色ずれ測定箇所において、画像中心に対して動径方向に設定した第１の色ずれ測定方向について色ずれを測定して第１の色ずれ測定値を算出する第１の色ずれ測定ステップと、前記光学系の光軸に対応する前記画像内の位置である光軸中心に対して動径方向に発生した色ずれを前記第１の色ずれ測定方向へ射影した値が前記第１の色ずれ測定値であるとみなして、前記第１の色ずれ測定値に基づいて、暫定的光軸中心位置を決定する第１の色ずれ測定値解析ステップと、前記画像の複数の色ずれ測定箇所において、前記暫定的光軸中心位置に対して動径方向に設定した第２の色ずれ測定方向について色ずれを測定して第２の色ずれ測定値を算出する第２の色ずれ測定ステップと、前記光軸中心に対して放射方向に発生した色ずれを前記第２の色ずれ測定方向へ射影した値が前記第２の色ずれ測定値であるとみなして、前記第２の色ずれ測定値に基づいて、前記光軸中心及び倍率色収差量を推定する第２の色ずれ測定値解析ステップとを含む画像処理方法が提供される。

本発明によれば、撮影時の光軸シフト量を用いることができない場合であっても、画像に生じている倍率色収差に基づく色ずれを適正に補正することができるようになるという効果がある。

本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第１実施形態に係る画像処理装置の処理を示すフローチャートである。 本発明の第１実施形態の画像中心を中心とした領域分割及び色ずれ測定方向の設定を説明するための図である。 本発明の第２実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る画像処理装置の処理を示すフローチャートである。 本発明の第２実施形態の暫定的光軸中心を中心とした領域分割及び色ずれ測定方向の設定を説明するための図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

〔第１実施形態〕
図１は本発明の第１実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。この画像処理装置１０１は、記憶部１０２、色ずれ測定部１０３、色ずれ測定値解析部１０４、及び倍率色収差補正部１０５を概略備えて構成されている。色ずれ測定部１０３、色ずれ測定値解析部１０４、及び倍率色収差補正部１０５の各機能は、マイクロプロセッサ、記憶装置（内部メモリ、外部メモリ）、入出力装置（キーボード、マウス、ＬＣＤ）等を備える汎用のコンピュータシステム（例えば、パーソナルコンピュータ）上で、所定の画像処理プログラム（倍率色収差補正プログラム）を実行することにより実現される。但し、画像処理装置１０１はこのような汎用のコンピュータシステムではなく、コンピュータシステムが搭載された電子カメラ等の撮像装置にオプション機能として搭載するようにしてもよい。なお、画像処理装置１０１は、このようにソフトウエアとコンピュータシステムというハードウエア資源とを協働させることによって実現するのみならず、電子回路を用いてハードウエアとして実現するようにしてもよい。

画像処理装置１０１が搭載可能な撮像装置としては、一眼レフ方式のデジタルカメラ、コンパクトデジタルカメラ、デジタルビデオカメラ等を例示できる。また、撮像装置は、一般的にカメラと称呼される装置にも限定されず、携帯電話機やＰＤＡ等の撮像機能を備える電子装置等にも適用可能である。

記憶部１０２には、撮影レンズ（光学系）を介して撮影された画像（画像データ）１２１が記憶される。ここでは、記憶部１０２には、撮像素子の撮像面に対する撮影レンズの光軸の位置を可変とした電子カメラ、例えば、手ぶれ補正又はあおり補正を行うため、撮影レンズの光軸を積極的にシフト（平行移動又は傾斜）可能な交換式の撮影レンズが装着された一眼レフ方式の電子カメラで撮影された画像が記憶されているものとする。また、この電子カメラ（又は撮影レンズ）は、撮影時のレンズのシフト量を検出できず、従って、記憶部１０２に記憶された画像には、そのようなレンズのシフト量に関するデータは付随していないものとする。記憶部１０２に記憶される画像データの色空間としては、ＲＧＢ表色系が用いられているものとする。なお、画像データの色空間がＲＧＢ表色系以外の表色系を用いている場合には、ＲＧＢ表色系又はこれと同等の表色系に変換して用いる。また、記憶部１０２に記憶された画像がＢａｙｅｒ画像のように各画素に全色成分の情報がない画像である場合には、線形補間等を行って色成分を補間生成した画像を用いる。

色ずれ測定部１０３は、記憶部１０２に記憶された画像の複数の色ずれ測定箇所において、色ずれ測定値をそれぞれ算出する。より具体的には、色ずれ測定部１０３は、画像入力部１３１、色ずれ測定方向設定部１３２、色ずれ測定箇所設定部１３３、及び色ずれ測定値検出部１３４を概略有している。画像入力部１３１は、記憶部１０２から処理すべき画像の入力（読込）を行う。色ずれ測定方向設定部１３２は、画像入力部１３１により入力された画像を、予め決められた手順に従って領域分割を行い、分割された各領域毎に色ずれ測定方向を設定する。色ずれ測定箇所設定部１３３は、色ずれ測定方向設定部１３２により設定された色ずれ測定方向に従って各領域毎に複数の色ずれ測定箇所を設定する。色ずれ測定値検出部１３４は、各色ずれ測定箇所において色ずれ測定値及び像高を検出する。なお、色ずれ測定方向設定部１３２は、ここでは、色ずれ測定方向を、画像の画像中心に対して動径方向に設定するものとする。

色ずれ測定値解析部１０４は、色ずれ測定部１０３（色ずれ測定値検出部１３４）により算出された色ずれ測定値に基づいて、撮影レンズの光軸に対応する画像内の位置である光軸中心位置（画像中心に対するシフト量）、及び倍率色収差量を算出（推定）する。なお、この色ずれ測定値解析部１０４によって算出される光軸中心位置及び倍率色収差量は、画像中の実際の光軸中心位置及び倍率色収差量に近いものではあるが、正確に一致しているとは言えないため、光軸中心位置及び倍率色収差量を推定することになる。色ずれ測定値解析部１０４は、より具体的には、画像内の所定位置における色ずれ量及び位置の変化に対する色ずれ量の変化を表す係数を未知パラメータとして所定の倍率色収差モデルを設定し、該倍率色収差モデルに基づく色ずれ量を、色ずれ測定方向に射影した量と色ずれ測定値との差分の二乗値を複数の色ずれ測定箇所について加算した総和が最小となるように、前記未知パラメータを算出し、これに基づき光軸中心位置及び倍率色収差量を推定する。

倍率色収差補正部１０５は、色ずれ測定値解析部１０４により推定された光軸中心位置を中心として、同じく推定された倍率色収差量に基づいて動径方向に画像の色成分の位置をずらすことにより画像の倍率色収差を補正する。倍率色収差が補正された画像は、記憶部１０２に元画像（補正前画像）とは別に又は上書きで補正後画像１２２として記憶される。

次に、図２に示すフローチャートを参照して、この画像処理装置１０１による処理を詳細に説明する。まず、Ｓｔｅｐ１−１において、色ずれ測定部１０３の画像入力部１３１により、記憶部１０２に記憶されている画像データ１２１の入力（読込）が行われる。なお、ここでは、便宜的に、当該画像の画像領域（画像データを２次元的に展開した状態における画像の占める領域）の左上端を原点とし、横方向にｘ軸を、縦方向にｙ軸をとり、ｘ軸は右方向をプラス（＋）、ｙ軸は下方向をプラス（＋）とする。また、画像の中心の座標を（Ｘ０，Ｙ０）とする。

次いで、Ｓｔｅｐ１−２において、色ずれ測定部１０３の色ずれ測定方向設定部１３２は、画像中心（Ｘ０，Ｙ０）に対する位置に応じて、画像領域を、複数の領域に分割するとともに、各分割領域毎に色ずれ測定方向を設定する。画像領域の分割及び色ずれ測定方向の設定は、倍率色収差の補正に適するように予め決められた手法で行われる。画像領域を、ここでは、図３に示すように、画像中心（Ｘ０，Ｙ０）に対して左右を領域１、左上と右下を領域２、上下を領域３、右上と左下を領域４として、画像中心を通り動径方向に設定された分割線によって分割するものとする。次いで、領域１〜領域４のそれぞれについて、画像中心（Ｘ０，Ｙ０）に対する動径方向に関して、縦、横、及び斜め４５度のいずれか近似した方向を、色ずれ測定方向とする。具体的には領域１では右方向、領域２では右下方向、領域３では下方向、領域４では左下方向を色ずれ測定方向とする。各領域１〜４におけるそれぞれの色ずれ測定方向は、図２に矢印で示されている。

次いで、Ｓｔｅｐ１−３において、色ずれ測定部１０３の色ずれ測定箇所設定部１３３は、色ずれ測定方向に沿って隣接する画素の輝度の差が所定の閾値以上の箇所を色ずれ測定箇所として設定する。なお、色ずれ測定箇所の設定はこれに限定されず、例えば所定間隔の格子点に設定しても良い。次いで、Ｓｔｅｐ１−４において、色ずれ測定部１０３の色ずれ測定値検出部１３４は、以下のような処理を行う。なお、本実施形態では、Ｒ（レッド）に係る画像とＧ（グリーン）に係る画像の色ずれの測定、及びＢ（ブルー）に係る画像とＧ（グリーン）に係る画像の色ずれの測定を行うが、これらは同様の処理なので、以下ではＲに係る画像とＧに係る画像の色ずれの測定のみについて説明する。

色ずれ測定部１０３の色ずれ測定値検出部１３４は、Ｓｔｅｐ１−３で定められた各色ずれ測定箇所について、画像の局所領域のＲに係る画像とＧに係る画像の色ずれを、Ｓｔｅｐ１−２で定めた色ずれ測定方向について測定する。ここで、局所領域とは、色ずれ測定箇所を中心として予め決められた大きさで設定される小領域のことである。色ずれ測定方法としては、公知の方法を用いることができる。例えば、色ずれ測定箇所を中心として２０画素四方の局所領域を設定し、局所領域内のＲに係る画像とＧに係る画像の局所平均を揃え、Ｒの局所画像（局所領域に係る画像）をＧの局所画像に対して色ずれ測定方向に、−４〜＋４画素程度の範囲でずらし、それぞれのずらし量についてＲに係る画像とＧに係る画像との画素値の差分の局所平均値を求め、その局所平均値が最小となるずらし量を色ずれ画素数（色ずれ測定値）とすればよい。なお、公知の内挿法を用いて色ずれ画素数を小数画素精度で算出してもよい。そして、１画素の縦横幅を単位として色ずれ画素数換算した値を色ずれ測定値とする。つまり、領域２と領域４では斜め方向の色ずれ画素数に、１画素の対角幅に対する縦横幅の割合である（１／√２）を積算した値を色ずれ測定値とする。一方、領域１と領域３では色ずれ画素数の測定値をそのまま色ずれ測定値とする。

次いで、領域１、領域２、領域３、領域４におけるｉ番目の色ずれ測定値をＤ１［ｉ］，Ｄ２［ｉ］，Ｄ３［ｉ］，Ｄ４［ｉ］として出力する。ｉはその領域において色ずれ測定箇所が設定された順番である。例えば、Ｄ１［ｉ］は、領域１内でｉ番目に設定された色ずれ測定箇所における色ずれ画素数の測定結果である。また、領域１、領域２、領域３、領域４におけるｉ番目の色ずれ測定箇所の像高をＨ１［ｉ］，Ｈ２［ｉ］，Ｈ３［ｉ］，Ｈ４［ｉ］として出力する。ここで、ｉ番目の色ずれ測定箇所の座標が（Ｘｉ，Ｙｉ）の場合の像高Ｈは以下のルールで算出される。ただし、（Ｘ０，Ｙ０）は画像の中心の座標であり、ｘ軸（左右方向の軸）は右方向がプラス、ｙ軸（上下方向の軸）は下方向がプラスである。
領域１：Ｈ１［ｉ］＝Ｘｉ−Ｘ０；
領域２：Ｈ２［ｉ］＝（１／√２）×（Ｘｉ＋Ｙｉ−Ｘ０−Ｙ０）；
領域３：Ｈ３［ｉ］＝Ｙｉ−Ｙ０；
領域４：Ｈ４［ｉ］＝（１／√２）×（−Ｘｉ＋Ｙｉ＋Ｘ０−Ｙ０）；

次いで、Ｓｔｅｐ１−５において、色ずれ測定値解析部１０４は、倍率色収差による任意の座標（Ｘ，Ｙ）における色ずれについて、（ｘ方向の色ずれ画素数，ｙ方向の色ずれ画素数）＝（Ｋ×（Ｘ−Ｘ０）＋Ｐ，Ｋ×（Ｙ−Ｙ０）＋Ｑ）で与えられるモデルを設定し、パラメータＫ，Ｐ，Ｑを算出する。ここで、パラメータＫは座標（Ｘ，Ｙ）の変化に対する色ずれ量の変化を表す係数であり、Ｐ，Ｑは画像中心における色ずれ量である。パラメータＫ，Ｐ，Ｑの値は、以下の方法で算出される。なお、領域１における色ずれ測定箇所の数をＮ１、領域２における色ずれ測定箇所の数をＮ２、領域３における色ずれ測定箇所の数をＮ３、領域４における色ずれ測定箇所の数をＮ４とする。また、積算値は１画素の縦又は横の長さを単位としている。

（１）領域１における測定値の積算
下記の（式１）〜（式４）に従って、像高の積算値（ｓｕｍＨ１）、像高の二乗の積算値（ｓｕｍＨＨ１）、色ずれ測定値の積算値（ｓｕｍＤ１）、及び像高と色ずれ測定値の積の積算値（ｓｕｍＨＤ１）を算出する。

（２）領域２における測定値の積算
（１）と同様にして、ｓｕｍＨ２，ｓｕｍＨＨ２，ｓｕｍＤ２，ｓｕｍＨＤ２を算出する。
（３）領域３における測定値の積算
（１）と同様にして、ｓｕｍＨ３，ｓｕｍＨＨ３，ｓｕｍＤ３，ｓｕｍＨＤ３を算出する。
（４）領域４における測定値の積算
（１）と同様にして、ｓｕｍＨ４，ｓｕｍＨＨ４，ｓｕｍＤ４，ｓｕｍＨＤ４を算出する。
（５）行列Ｍの算出
Ｍ_００＝ｓｕｍＨＨ１＋ｓｕｍＨＨ２＋ｓｕｍＨＨ３＋ｓｕｍＨＨ４；
Ｍ_０１＝ｓｕｍＨ１＋（１／√２）×（ｓｕｍＨ２−ｓｕｍＨ４）；
Ｍ_０２＝ｓｕｍＨ３＋（１／√２）×（ｓｕｍＨ２＋ｓｕｍＨ４）；
Ｍ_１０＝Ｍ_０１；
Ｍ_１１＝Ｎ１＋（Ｎ２＋Ｎ４）／２；
Ｍ_１２＝（Ｎ２−Ｎ４）／２；
Ｍ_２０＝Ｍ_０２；
Ｍ_２１＝Ｍ_１２；
Ｍ_２２＝Ｎ３＋（Ｎ２＋Ｎ４）／２；
（６）ベクトルＶの算出
Ｖ_１＝ｓｕｍＨＤ１＋ｓｕｍＨＤ２＋ｓｕｍＨＤ３＋ｓｕｍＨＤ４；
Ｖ_２＝ｓｕｍＤ１＋（１／√２）×（ｓｕｍＤ２−ｓｕｍＤ４）；
Ｖ_３＝ｓｕｍＤ３＋（１／√２）×（ｓｕｍＤ２＋ｓｕｍＤ４）；
（７）行列Ｍの逆行列Ｍ^−１の算出
公知の方法で行列Ｍの逆行列Ｍ^−１を算出する。
（８）パラメータＫ，Ｐ，Ｑの算出
Ｋ＝Ｍ^−１ _１１×Ｖ_１＋Ｍ^−１ _１２×Ｖ_２＋Ｍ^−１ _１３×Ｖ_３
Ｐ＝Ｍ^−１ _２１×Ｖ_１＋Ｍ^−１ _２２×Ｖ_２＋Ｍ^−１ _２３×Ｖ_３
Ｑ＝Ｍ^−１ _３１×Ｖ_１＋Ｍ^−１ _３２×Ｖ_２＋Ｍ^−１ _３３×Ｖ_３

上記で求めたパラメータＫ，Ｐ，Ｑにより、倍率色収差による座標（Ｘ，Ｙ）における色ずれ画素数は次の式で与えられる。即ち、色ずれ測定値は（ｘ方向の色ずれ画素数，ｙ方向の色ずれ画素数）＝（Ｋ×（Ｘ−Ｘ０）＋Ｐ，Ｋ×（Ｙ−Ｙ０）＋Ｑ）となり、光軸中心位置は（Ｘ０−Ｐ／Ｋ，Ｙ０−Ｑ／Ｋ）、シフト量は（−Ｐ／Ｋ，−Ｑ／Ｋ）となる。

次いで、Ｓｔｅｐ１−６において、Ｓｔｅｐ１−５で求めた色ずれ画素数（色ずれ測定値）に基づいて、公知の方法によりＲに係る画像及びＢに係る画像の位置をＧに係る画像と重なるようにずらすことにより、倍率色収差を補正する。なお、言うまでもないが、Ｒの補正はＲについて求めたパラメータに基づいて行い、Ｂの補正はＢについて求めたパラメータに基づいて行う。

上述した第１実施形態によると、光軸をシフトして撮影した画像の倍率色収差の補正を、撮影時における光軸シフトに関する情報を必要とせずに行っている。この場合、色ずれ方向が未知な色ずれを測定する必要がある。ずれの方向が未知の場合に画像の色ずれを測定する方法として、２次元のずれベクトルを求める公知の方法があるが、処理が比較的複雑で演算規模が大きくなるとともに、輪郭線に平行な成分のずれ量の測定が不安定になるという問題がある。しかし、、本実施形態では画像中心に対して動径方向に色ずれを測定している。光軸シフト撮影は、手振れ補正又はあおり補正の目的で行われるが、どちらの場合でも光軸中心位置は画像中心位置から大きく離れる事はないので、上記の方法で問題なく色ずれを測定することができる。

Ｓｔｅｐ１−５で倍率色収差による色ずれを与えるモデルを、（ｘ方向の色ずれ画素数，ｙ方向の色ずれ画素数）＝（Ｋ×（Ｘ−Ｘ０）＋Ｐ，Ｋ×（Ｙ−Ｙ０）＋Ｑ）で与えているが、これは光軸中心を（Ｘ０−Ｐ／Ｋ，Ｙ０−Ｑ／Ｋ）と、色倍率差をＫとした場合の色ずれである。ここで、（−Ｐ／Ｋ ，−Ｑ／Ｋ）は、手振れ補正又はあおり撮影のために光軸中心位置を画像中心位置からシフトさせた量である。Ｓｔｅｐ１−５で算出されるパラメータＫ，Ｐ，Ｑは、以下の（式５）に示す色ずれ誤差評価値Ｅを最小化するパラメータである。ＥをＫ，Ｐ，Ｑで偏微分した結果が０になるという条件を設定して、線形代数に基づいて計算すればＳｔｅｐ１−５の各式（（式１）〜（式４））が導出される。

上記（式５）の１行目における（Ｋ×Ｈ１［ｉ］＋Ｐ）は、領域１の色ずれ測定箇所において、モデルから与えられる色ずれを、色ずれ測定方向に射影した量である。そして、測定値Ｄ１［ｉ］がその量の測定値であるとみなして、モデル式と測定値がなるべく一致するようにパラメータＫ，Ｐ，Ｑを求めている。上記（式５）の２行目、３行目、及び４行目も同様の意味を持つ。以上のように、光軸中心に対して動径方向に発生した色ずれを色ずれ測定方向へ射影した値の測定値が色ずれ測定値であるとみなすことができるのは、手ぶれ補正やあおり補正を行った撮影において、光軸シフト量があまり大きくないからである。光軸シフト量が最大像高の半分程度以下である場合には、この方法によって充分な精度で倍率色収差を推定することができる。

〔第２実施形態〕
図４は本発明の第２実施形態に係る画像処理装置の機能構成の概略を示すブロック図である。なお、図１と実質的に同一の構成部分については同一の番号を付して、その説明の一部を省略する。

この画像処理装置２０１は、記憶部１０２、第１色ずれ測定部１０３、第１色ずれ測定値解析部１０４、倍率色収差補正部１０５に加えて、第２色ずれ測定部２０３、及び第２色ずれ測定値解析部２０４を概略備えて構成されている。第１色ずれ測定部１０３、第１色ずれ測定値解析部１０４、倍率色収差補正部１０５、第２色ずれ測定部２０３、第２色ずれ測定値解析部２０４の各機能は、汎用のコンピュータシステムで実現できるのは、上述した第１実施形態と同様である。記憶部１０２、第１色ずれ測定部１０３、第１色ずれ測定値解析部１０４は、上述した第１実施形態の記憶部１０２、色ずれ測定部１０３、色ずれ測定値解析部１０４と実質的に同じである。

この第２実施形態では、第２色ずれ測定部２０３、第２色ずれ測定値解析部２０４が付加されている。第２色ずれ測定部２０３は、第２色ずれ測定方向設定部２３２、第２色ずれ測定箇所設定部２３３、第２色ずれ測定値検出部２３４を有しており、第２色ずれ測定方向設定部２３２は第１色ずれ測定方向設定部１３２と、第２色ずれ測定箇所設定部２３３は第１色ずれ測定箇所設定部１３３と、第２色ずれ測定値検出部２３４は第１色ずれ測定値検出部１３４と実質的に同じ機能を有している。第２色ずれ測定値解析部２０４は第１色ずれ測定値解析部１０４と実質的に同じ機能を有している。

第１色ずれ測定値解析部１０４による算出結果は、第２色ずれ測定部２０３の第２色ずれ測定方向設定部２３２に送られ、第２色ずれ測定方向設定部２３２は色ずれ測定方向を第１色ずれ測定値解析部１０４により算出された光軸中心位置に対して動径方向に設定し、これに基づき第２色ずれ測定箇所設定部２３３、第２色ずれ測定値検出部２３４による処理が行われる。第２色ずれ測定値解析部２０４は、第２色ずれ測定部２０３（第２色ずれ測定値検出部２３４）により算出された色ずれ測定値に基づいて、光軸中心位置（暫定的光軸中心に対するシフト量）、及び倍率色収差量を算出（推定）し、倍率色収差補正部１０５は、第２色ずれ測定値解析部２０４による結果に基づいて画像の倍率色収差を補正し、倍率色収差が補正された画像を、記憶部１０２に補正後画像１２２として記憶させる。

次に、図５に示すフローチャートを参照して、この画像処理装置２０１による処理を詳細に説明する。Ｓｔｅｐ２−１〜２−４における処理は、図２のＳｔｅｐ１−１〜１−４における処理と同じであるので、その説明は省略する。なお、図２の説明において、色ずれ測定部を第１色ずれ測定部と、色ずれ測定方向設定部を第１色ずれ測定方向設定部と、色ずれ測定箇所設定部を第１色ずれ測定箇所設定部と、色ずれ測定値検出部を第１色ずれ測定値検出部と、色ずれ測定方向を第１色ずれ測定方向と、色ずれ測定値を第１色ずれ測定値と適宜読み替えて参照されたい。

次いで、Ｓｔｅｐ２−５において、第１色ずれ測定値解析部１０４は、上述した第１実施形態のＳｔｅｐ１−５と同じ処理を行ってパラメータＫ，Ｐ，Ｑを算出する。そして、（Ｘ０，Ｙ０）を画像の中心として、暫定的光軸中心位置（Ｘ０’，Ｙ０’）を、下記の式を用いて算出する。
（Ｘ０’，Ｙ０’）＝（Ｘ０−Ｐ／Ｋ，Ｙ０−Ｑ／Ｋ）

次いで、Ｓｔｅｐ２−６において、第２色ずれ測定部２０３の第２色ずれ測定方向設定部２３２は、暫定的光軸中心位置からの方向に応じて、画像領域を、図６に示すように、領域１〜領域４に分割する。具体的には、暫定的光軸中心位置に対して左右を領域１、左上と右下を領域２、上下を領域３、右上と左下を領域４とする。図６で分割線の交点が暫定的光軸中心位置（Ｘ０’，Ｙ０’）である。そして、領域１〜領域４のそれぞれについて、暫定的光軸中心に対する動径方向において、縦、横、斜め４５度のいずれか近似した方向を、第２色ずれ測定方向とする。ここでは、第２色ずれ測定方向は、領域１で右方向、領域２で右下方向、領域３で下方向、領域４で左下方向であり、図６において矢印の方向である。

次いで、Ｓｔｅｐ２−７において、第２色ずれ測定箇所設定部２３３は、Ｓｔｅｐ２−６で求められた第２色ずれ測定方向に基づいて、Ｓｔｅｐ２−３と同様に色ずれ測定箇所を設定する。次いで、Ｓｔｅｐ２−８において、第２色ずれ測定値検出部２３４は、Ｓｔｅｐ２−６で求められた第２色ずれ測定方向に基づいて、Ｓｔｅｐ２−４と同様に色ずれを測定する。なお、Ｓｔｅｐ２−４では画像中心位置（Ｘ０，Ｙ０）の値を用いて演算を行っているが、ここでは、画像中心位置（Ｘ０，Ｙ０）の代わりに、暫定的光軸中心位置（Ｘ０’，Ｙ０’）を用いて演算を行っている。

次いで、Ｓｔｅｐ２−９において、第２色ずれ測定値解析部２０４は、Ｓｔｅｐ２−８で測定した色ずれ測定値に基づき、Ｓｔｅｐ２−５と同様の処理を行ってパラメータＫ，Ｐ，Ｑを算出する。

次いで、倍率色収差補正部１０５は、Ｓｔｅｐ２−９で求めたパラメータＫ，Ｐ，Ｑにより、倍率色収差による座標（Ｘ，Ｙ）における色ずれ画素数（色ずれ補正値）を下記の式を用いて算出する。
（ｘ方向の色ずれ画素数，ｙ方向の色ずれ画素数）
＝（Ｋ×（Ｘ−Ｘ０’）＋Ｐ，Ｋ×（Ｙ−Ｙ０’）＋Ｑ）
ここで、（Ｘ０’，Ｙ０’）は暫定的光軸中心位置である。

最後に、Ｓｔｅｐ２−１０において、倍率色収差補正部２０５は、この色ずれ画素数（色ずれ測定値）に基づいて、公知の方法によりＲに係る画像及びＢに係る画像の位置をＧに係る画像と重なるようにずらすことにより、倍率色収差を補正する。なお、言うまでもないが、Ｒの補正はＲについて求めたパラメータに基づいて行い、Ｂの補正はＢについて求めたパラメータに基づいて行う。

上述した第２実施形態においてば、暫定的光軸中心位置は、第１実施形態において推定された光軸中心位置と同じである。この場合において、光軸シフト量が大きい場合には、暫定的光軸中心位置は必ずしも正確に真の光軸中心位置に一致しないが、真の光軸中心位置に近い位置になる。本第２実施形態では、暫定的光軸中心位置を基準として再び色ずれの測定と解析を行うことにより、光軸シフト量が大きい場合でも高精度に光軸中心位置と倍率色収差を推定することができる。なお、第２色ずれ測定値解析部２０４の算出結果に基づいて、Ｓｔｅｐ２−６〜２−９の処理を更に１回又は複数回行って、その結果に基づいて倍率色収差の補正を行うようにしてもよく、このようにすることで、光軸中心位置及び倍率色収差値の精度を更に高めることができる。

なお、上述した実施形態では、記憶部１０２に記憶される画像は、撮影レンズを積極的にシフトさせて撮影した画像を例として説明したが、このように撮影レンズを積極的にシフトさせて撮影を行う場合でなく、撮影レンズの偏心により倍率色収差が光軸に対して非対称に生じているような場合にも、倍率色収差を適切に補正することができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１０１…画像処理装置、１０２…記憶部、１０３…色ずれ測定部１０４…色ずれ測定値解析部、１０５…倍率色収差補正部、１２１…画像データ（補正前）、１２２…画像データ（補正後）、１３２…色ずれ測定方向設定部、１３３…色ずれ測定箇所設定部、１３４…色ずれ測定値検出部。

Claims (9)

1. 光学系を介して撮影された画像が記憶される記憶部と、
   前記記憶部に記憶された前記画像の複数の色ずれ測定箇所において色ずれ測定値をそれぞれ算出する色ずれ測定部と、
   前記色ずれ測定部により算出された前記色ずれ測定値に基づいて、前記光学系の光軸に対応する前記画像内の位置である光軸中心位置、及び倍率色収差量を推定する色ずれ測定値解析部と
   を備えることを特徴とする画像処理装置。
2. 前記色ずれ測定部は、前記画像の画像中心に対して動径方向に設定した色ずれ測定方向について色ずれ測定値を算出し、
   前記色ずれ測定値解析部は、前記光軸中心に対して動径方向に発生した色ずれを前記色ずれ測定方向へ射影した値の測定値が前記色ずれ測定値であるとみなして、前記色ずれ測定値に基づいて光軸中心位置及び倍率色収差量を推定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記色ずれ測定値解析部は、前記画像内の所定位置における色ずれ量及び位置の変化に対する色ずれ量の変化を表す係数を未知パラメータとして倍率色収差モデルを設定し、
   前記倍率色収差モデルに基づく色ずれ量を前記色ずれ測定方向に射影した量と前記色ずれ測定値との差分の二乗値を前記複数の色ずれ測定箇所について加算した総和が最小となるように、前記未知パラメータを設定することにより、前記光軸中心位置及び前記倍率色収差量を推定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 光学系を介して撮影された画像を記憶する記憶部と、
   前記記憶部に記憶された前記画像の複数の色ずれ測定箇所において、画像中心に対して動径方向に設定した第１の色ずれ測定方向について色ずれを測定して第１の色ずれ測定値を算出する第１の色ずれ測定部と、
   前記光学系の光軸に対応する前記画像内の位置である光軸中心に対して動径方向に発生した色ずれを前記第１の色ずれ測定方向へ射影した値が前記第１の色ずれ測定値であるとみなして、前記第１の色ずれ測定値に基づいて、暫定的光軸中心位置を決定する第１の色ずれ測定値解析部と、
   前記画像の複数の色ずれ測定箇所において、前記暫定的光軸中心位置に対して動径方向に設定した第２の色ずれ測定方向について色ずれを測定して第２の色ずれ測定値を算出する第２の色ずれ測定部と、
   前記光軸中心に対して動径方向に発生した色ずれを前記第２の色ずれ測定方向へ射影した値が前記第２の色ずれ測定値であるとみなして、前記第２の色ずれ測定値に基づいて、前記光軸中心及び倍率色収差量を推定する第２の色ずれ測定値解析部と
   を備えることを特徴とする画像処理装置。
5. 前記色ずれ測定値解析部又は前記第２の色ずれ測定値解析部により推定された前記光軸中心位置を中心として、同じく推定された前記倍率色収差量に基づいて動径方向に前記画像の色成分の位置をずらすことにより前記画像の倍率色収差を補正する倍率色収差補正部を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 撮像素子と、
   被写体の像を前記撮像素子に結像させる光学系と、
   請求項１〜５の何れか一項に記載の画像処理装置と
   を備えることを特徴とする電子カメラ。
7. 記憶部から光学系を介して撮影された画像を読み出す読出ステップと、
   前記読出ステップで読み出された画像の複数の色ずれ測定箇所において色ずれ測定値をそれぞれ算出する色ずれ測定ステップと、
   前記色ずれ測定ステップにより算出された前記色ずれ測定値に基づいて、前記光学系の光軸に対応する前記画像内の位置である光軸中心位置、及び倍率色収差量を推定する色ずれ測定値解析ステップと
   を含むことを特徴とする画像処理方法。
8. 記憶部から光学系を介して撮影された画像を読み出す読出ステップと、
   前記読出ステップで読み出された画像の複数の色ずれ測定箇所において、画像中心に対して動径方向に設定した第１の色ずれ測定方向について色ずれを測定して第１の色ずれ測定値を算出する第１の色ずれ測定ステップと、
   前記光学系の光軸に対応する前記画像内の位置である光軸中心に対して動径方向に発生した色ずれを前記第１の色ずれ測定方向へ射影した値が前記第１の色ずれ測定値であるとみなして、前記第１の色ずれ測定値に基づいて、暫定的光軸中心位置を決定する第１の色ずれ測定値解析ステップと、
   前記画像の複数の色ずれ測定箇所において、前記暫定的光軸中心位置に対して動径方向に設定した第２の色ずれ測定方向について色ずれを測定して第２の色ずれ測定値を算出する第２の色ずれ測定ステップと、
   前記光軸中心に対して動径方向に発生した色ずれを前記第２の色ずれ測定方向へ射影した値が前記第２の色ずれ測定値であるとみなして、前記第２の色ずれ測定値に基づいて、前記光軸中心位置及び倍率色収差量を推定する第２の色ずれ測定値解析ステップと
   を含むことを特徴とする画像処理方法。
9. コンピュータを、請求項１〜５の何れか一項に記載の画像処理装置として機能させる画像処理プログラム。

Images