JP2014154977A - 画像処理装置、画像処理方法、および撮像装置 - Google Patents

Abstract

【課題】あらかじめ記憶された補正量を用いつつ、より柔軟で精度の高い色収差補正を実現する。
【解決手段】予め記憶された、光学系の光学パラメータの離散的な組み合わせごとの補正量に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第１の補正量として算出し、前記画像を撮像した際の光学パラメータの組み合わせと、前記予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、前記第１の補正量の信頼度である第１の信頼度を算出し、前記画像に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第２の補正量として算出し、前記画像に基づいて、前記第２の補正量の信頼度である第２の信頼度を算出し、前記第１および前記第２の信頼度に基づいて第３の補正量を生成し、前記第３の補正量を前記画像に適用して前記色収差補正を行う。
【選択図】図１

Description

本発明は画像処理装置、画像処理方法、および撮像装置に関し、特に撮像画像における、光学系の色収差の影響を補正する技術に関する。

光の屈折率が波長に応じて異なることにより、撮像レンズによる結像位置が光の波長（色）によってずれる現象を色収差と呼ぶ。例えば色収差のうち倍率色収差は、特に画像のエッジ周辺において色滲みとして観察され、画質を劣化させる要因となっている。また、色収差の大きさ（結像位置のずれ量）は、焦点距離、絞り、物体距離（以下、光学パラメータと呼ぶ）と光軸からの距離（以下、像高と呼ぶ）に応じて変化することが知られている。

特許文献１には、予め記憶した、光学パラメータおよび像高に応じた基準色信号と補正対象色信号との結像位置のずれ量に基づいて、補正対象色信号のデータを近傍のデータにより補間することで倍率色収差を補正することが開示されている。

特開２００１−１８６５３３号公報

しかしながら、特許文献１の方法では、ずれ量が記憶されていない光学パラメータや像高に対するずれ量は、記憶されているずれ量を補間して求める必要があるため、補間による誤差が発生する。特に、光学パラメータの膨大な組み合わせの中から実際に記憶できる組み合わせは少ないため、所望の光学パラメータの組み合わせに近いものが記憶されている可能性は小さく、誤差が発生する可能性が高くなる。

また、結像位置のずれ量はレンズの設計値から生成するが、製品には製造上の個体差があるため、必ずしもレンズの設計値通りのずれ量とはならず、この点においても誤差が生じる。さらに、テレコンバータレンズやワイドコンバータレンズを装着した場合など、撮像レンズの色収差の特性が変化する場合には対応できない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、あらかじめ記憶された補正量を用いつつ、より柔軟で精度の高い色収差補正を実現することである。

上述の目的は、撮像された画像に対し、画像の撮影に用いられた光学系の色収差補正を行う画像処理装置であって、予め記憶された、光学系の光学パラメータの離散的な組み合わせごとの補正量に基づいて、画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第１の補正量として算出する第１の補正量算出手段と、画像を撮像した際の光学パラメータの組み合わせと、予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、第１の補正量の信頼度を算出する第１の信頼度算出手段と、画像に基づいて、画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第２の補正量として算出する第２の補正量算出手段と、画像に基づいて、第２の補正量の信頼度を算出する第２の信頼度算出手段と、第１の信頼度および第２の信頼度に基づく重みを用いて第１の補正量および第２の補正量を加重加算し、第３の補正量を生成する第３の補正量生成手段と、第３の補正量を画像に適用して色収差補正を行う補正手段と、を有することを特徴とする画像処理装置によって達成される。

以上説明したように、本発明によれば、あらかじめ記憶された補正量を用いつつ、より柔軟で精度の高い色収差補正を実現することができる。

本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置の構成を示すブロック図 図１の色収差評価部６の構成例を示すブロック図 本発明の第１の実施形態に係る画像からの信頼度算出制御を示す図 図１の補正量算出部７の制御動作を示すフローチャート 本発明の第１の実施形態に係る補正量算出部７を説明する図 本発明の第１の実施形態に係る補正量セットを説明する図 本発明の第１の実施形態に係る倍率色収差補正の概念図 本発明の第１の実施形態に係る補正量生成部９における重み算出制御を示す図 本発明の第２の実施形態に係る撮像装置の構成を示すブロック図 本発明の第２の実施形態に係る補正量生成部９の制御動作を示すフローチャート 本発明の第３の実施形態に係る補正量生成部９の制御動作を示すフローチャート 本発明の第３の実施形態に係るデータ破棄の制御方法を示すブロック図

（第１の実施形態）
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置の構成を示すブロック図である。撮像装置は、デジタルカメラ、デジタルビデオカメラといった撮像を主機能とする装置はもちろん、カメラを内蔵した任意の電子機器（例えばパーソナルコンピュータ、携帯電話機、ゲーム機など）であってよい。

光学系１はズームレンズ、フォーカスレンズ、絞りを含み、被写体像を撮像面に結像する。光学系駆動部２は光学系１のズームレンズ、フォーカスレンズ、絞り等を駆動する。撮像素子３は例えば複数の画素が二次元的に配列されたＣＣＤまたはＣＭＯＳイメージセンサであり、光学系１が結像した被写体像を画素単位の電気信号として出力する。撮像素子駆動部４は、撮像素子３を駆動する。色収差補正部５は補正量生成部９からの補正量を用いて、撮像素子３の出力する画像信号に対して色収差補正を適用する。

第２の信頼度算出手段としての色収差評価部６は、画像信号を補正量算出部７に供給するとともに、補正量算出部７が算出する補正量の信頼度（第２の信頼度）を、画像信号に基づいて算出する。第２の補正量算出手段としての補正量算出部７は画像信号から色収差の補正量を算出する。像高演算部８は、像高（光学中心からの距離）を算出する。第３の補正量算出手段としての補正量生成部９は、色収差補正部５で用いる補正量（第３の補正量）を生成する。光学データベース（ＤＢ）１０には、光学パラメータ（例えば焦点距離，絞り，物体距離）の離散的な組み合わせごとに、離散的な複数の像高に対応した色収差量（補正量）が予め記憶されている。

第１の補正量算出手段としての補正量補間部１１は、現在の光学パラメータの組み合わせに対応する補正量が光学ＤＢ１０に記憶されていない場合、近傍の光学パラメータの組み合わせに対応する補正量を補間することによって生成する。第１の信頼度算出手段としての補正量補間部１１はさらに、現在の光学パラメータと光学ＤＢ１０に記憶されている光学パラメータとの差に基づき、補正量補間部１１が生成する補正量の信頼度（第１の信頼度）を生成する。

システム制御部１２は、光学系駆動部２、撮像素子駆動部４、補正量生成部９、および像高演算部８を制御するとともに、光学ＤＢ１０より光学パラメータに基づく補正量を読み出し、補正量補間部１１へ出力する。システム制御部１２は、例えばＣＰＵ，ＭＰＵ等のプログラマブルプロセッサと、ソフトウェアの組み合わせによって実現できる。また、光学系１および撮像素子３以外の機能ブロックの１つ以上は、ソフトウェア、ハードウェア、またはその組み合わせによって実現可能である。

なお、システム制御部１２は、任意の方法で光学パラメータを取得することができる。例えば、光学系駆動部２から現在の絞り値，焦点距離（画角），物体距離に関する情報を取得することができる。なお、焦点距離に関する情報はズームレンズの位置、物体距離に関する情報はフォーカスレンズの位置であってもよい。また、本発明を撮像機能を持たない電子機器で実施する場合、外部装置や画像データのヘッダ部などからこれらの光学パラメータを取得してもよい。なお、画角が固定であることが予め分かっている場合には、焦点距離に関する情報を取得する必要がないことはいうまでもない。

図１の構成を有する撮像装置の撮影動作について説明する。まず、システム制御部１２からの制御信号により、光学系駆動部２を通じて光学系１の絞りやレンズが駆動され、適切な明るさに設定された被写体像が撮像素子３上に結像される。撮像素子３は、システム制御部１２により制御される撮像素子駆動部４が出力する駆動パルスで駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。画像信号に対しては通常、相関二重サンプリングやゲイン調整、Ａ／Ｄ変換などの前処理が行われる。

色収差評価部６は、撮像素子３からの画像信号を補正量算出部７へ出力する。また、色収差評価部６は、補正量算出部７で算出される補正量の信頼度を撮像素子３からの画像信号に基づいて算出（推定）し、補正量生成部９へ出力する。

図２は、色収差評価部６の機能構成例を示すブロック図である。
なお、本実施形態では、撮像素子３がベイヤー配列の原色カラーフィルタが設けられた単板撮像素子であるとする。従って、撮像素子３の出力する画像信号は、画素ごとに、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれか１色に対応している。このような、各画素が１色の情報しか有さない画像信号をＲＡＷデータと呼ぶ。色収差評価部６にはＲＡＷデータが入力されるため、ＬＰＦ１０１は、ＲＡＷデータをＲ画素，Ｇ画素，Ｂ画素に分離した後、すべての画素がＲＧＢの値を持つよう補間演算（デモザイク処理）を行う。そして、補間演算により得られた、すべての画素がＲＧＢの値を持つ画像データから、Ｒ成分の画像プレーン、Ｇ成分の画像プレーン、Ｂ成分の画像プレーンを生成し、勾配検出部１０２〜１０４に供給する。

勾配検出部１０２〜１０４はそれぞれ、Ｒ成分の画像プレーン、Ｇ成分の画像プレーン、Ｂ成分の画像プレーンから、像高方向における画像の特徴の一例としての勾配またはコントラストを検出し、勾配信号を出力する。
信頼度生成部１０５では、勾配検出部１０２〜１０４からの勾配信号を用いて、補正量算出部７が画像信号（ＲＡＷデータ）から算出する補正量の信頼度を算出（推定）し、補正量生成部９へ出力する。後述するように、補正量算出部７は複数の評価領域の各々で１つの補正量を算出する。そのため、信頼度生成部１０５も、各評価領域の像高方向における勾配信号から、個々の補正量に対する信頼度を算出する。

ここで、色収差の補正量を画像信号に基づいて算出する場合、ＲＧＢの各色成分のうち基準色信号（Ｇ）と補正対象信号（ＲまたはＢ）の勾配信号のピーク値が高い画像が適している。信頼度生成部１０５は、ＲＡＷデータから検出される画像の特徴により、画像が色収差の補正量の算出に適した画像である程度が高いと判定されるほど、補正量算出部７が算出する補正量の信頼度が高くなるように算出（推定）する。具体的には、信頼度生成部１０５は、検出されたＲＧＢの勾配のピークを検出し、図３に示すように、基準色信号（Ｇ）と補正対象信号（ＲまたはＢ）の勾配のピークがいずれも高く、かつ符号が同じ場合に、高い信頼度Ｔｒが得られるように信頼度を算出する。

補正量算出部７は、色収差評価部６を通じて供給されるＲＡＷデータから、離散的な複数の像高に対応する色収差の補正量を算出し、補正量生成部９へ出力する。

補正量算出部７の動作を、図４に示すフローチャートに基づいて説明する。補正量算出部７は、図４に示すＳ１０１〜Ｓ１０６の処理を個々の評価領域に対して実行し、評価領域を代表する像高（ここでは評価領域の中心に対応する像高）に対する補正量を算出する。

Ｓ１０１で補正量算出部７は、例えば図５に示すように設定された複数の評価領域のうち、１つの評価領域に対応する画像信号（ＲＡＷデータ）を抽出する。ここでは、像高方向として、画面の中央（光軸と画面の交点）から垂直方向、水平方向、および対角方向に複数の評価領域を設定している。異なる像高に対する補正値を計算するため、画面の中央から評価領域（例えば領域の中心）までの距離は互いに異なるように評価領域を設定している。また、光学ＤＢ１０に記憶されている補正値と同じ像高に対する補正値を求めるように評価位置を設定する。なお、図５の例では、画面を縦横２つに分割した際の右上の領域に全ての評価領域を設定しているが、必ずしも評価領域を特定の領域に集中して設定しなくてもよい。

Ｓ１０２において補正量算出部７は、例えば図６に示すような、予め記憶してある、ある範囲のある分解能を持った補正量セットから１つの補正量を読み出す。補正量セットは像高方向に対する補正量である。

Ｓ１０３において補正量算出部７は、読み出した補正量を用いて評価領域内のＲおよびＢプレーンについて、倍率色収差補正を行う。
図７は、補正量算出部７における倍率色収差補正の例を模式的に示す図である。
倍率色収差の補正量は、着目画素位置におけるずれ量を水平、垂直方向の位相ずれ成分として分離した位相ずれ量である。図７（ａ）の黒画素は、着目画素Ｓが本来あるべき位相を示しており、仮想画素Ｓ’は、着目画素Ｓがブレの影響で水平方向にHp、垂直方向にVp、それぞれ位相ずれして撮像された位置を示す。倍率色収差を補正するには、仮想画素Ｓ’の値を求め、着目画素Ｓの値を置換すればよい。仮想画素Ｓ’の値は、図７（ｂ）に示すように、仮想画像Ｓ’の近傍に存在する画素s1、s2、s3、s4の値を、仮想画素Ｓ’との画素間距離c1、c2、c3、c4で重み付け補間演算することで生成することができる。図７（ｃ）に示すように、着目画素Ｓの値が生成された仮想画素Ｓ’の値で置換され、倍率色収差が補正される。

図６に示した補正量セットは、像高方向における補正量であるため、Ｓ１０３において補正量算出部７は、評価領域における像高方向に応じて補正量を水平成分と垂直成分に分解し、図７（ａ）のHp，Vpの値を求めて補正を行う。なお、本実施形態では、評価領域内の各画素のＲ成分およびＢ成分に対し、補正量セットから選択した１つの補正量を共通に用いて色収差補正を行う。

Ｓ１０４において補正量算出部７は、基準信号としてのＧ成分と、色収差補正後のＲ，Ｂ成分との差分（Ｇ−Ｒ，Ｇ−Ｂ）を求める。差分は画素ごとの差分の合計であってよい。

Ｓ１０５において補正量算出部７は、補正量セットに含まれるすべての補正量について、差分抽出が完了したかどうかを判断し、完了していなければＳ１０２へ進んで、補正量セット内の別の補正量を設定し、補正および差分抽出を行う。Ｓ１０５において、全ての補正値についての差分抽出が完了していれば、Ｓ１０６において補正量算出部７は、Ｓ１０４で求めた差分が最小となるときの補正量を、評価領域（を代表する像高）に対する補正量として補正量生成部９へ出力する。

像高演算部８はシステム制御部１２から与えられる着目画素の座標と、予め設定されている（あるいはシステム制御部１２から与えられる）光学中心の座標とから、例えば以下の式（１）に示す演算を用いて着目画素の像高hgtを求め、補正量生成部９へ出力する。

ここで、座標は例えば左上隅を原点とした直交座標系で表され、xadrは着目画素の水平方向の座標を示し、yadrは着目画素の垂直方向の座標を示す。また、Hcは光学中心の水平方向の座標を示し、Vcは光学中心の水平方向の座標を示す。

補正量生成部９は、補正量補間部１１からの補正量および信頼度、色収差評価部６からの信頼度、像高演算部８からの像高、および補正量算出部７からの補正量とから補正量を算出し、色収差補正部５へ出力する。
なお、補正量補間部１１からの補正量および補正量算出部７からの補正量は離散的な像高に対応する補正量である。そのため、補正量生成部９は、像高演算部８から与えられる着目画素の像高に対する補正量を、近傍の像高に対する補正量の補間により求める。

補正量補間部１１は、光学ＤＢ１０に記憶されている補正量（色収差量）から、現在の光学パラメータに対応した補正量を生成し、補正量生成部９へ出力する。光学ＤＢ１０に光学パラメータの全ての組み合わせについて別個に補正量を記憶するには膨大な記憶容量が必要となるため、光学パラメータの離散的な組み合わせに対応した補正量を保持するのが現実的である。この場合、補正量補間部１１は、現在の光学パラメータの組み合わせに対応した補正量が光学ＤＢ１０に記憶されていればその補正量をそのまま出力する。現在の光学パラメータの組み合わせに対応した補正量が光学ＤＢ１０に記憶されていなければ、記憶されている光学パラメータの組み合わせのうち、近い組み合わせに対応した複数の補正量を補間して現在の光学パラメータの組み合わせに対応した補正量を生成する。

なお、上述の通り、光学ＤＢ１０には、光学パラメータの組み合わせごとに、それぞれが異なる像高に対応する複数の補正量が記憶されている。そのため、補正量補間部１１も、異なる像高に対応する複数の補正量を出力する。

補間により補正量を生成する場合、現在の光学パラメータの組み合わせと、補間に用いる補正量に対応する光学パラメータの組み合わせとの差が大きくなるほど、生成される補正量の精度が低下する。そのため、補正量補間部１１は、補間に用いた補正量に対応する光学パラメータの組み合わせと、現在の光学パラメータの組み合わせとの差が大きいほど低くなる信頼度ＤＩを補正量生成部９へ出力する。なお、光学パラメータ間の差は、光学パラメータの各々についての差を数値化して合計するなど、任意の方法で評価することができる。

色収差補正部５は、撮像素子３からの画像信号に対し、補正量生成部９からの補正量を用いて色収差補正を行う。色収差補正の方法は図７を用いて説明したものと同じでよい。

次に、図８を用いて、補正量生成部９の制御動作の例を説明する。
まず、補正量生成部９は、補正量算出部７が画像から算出した補正量と、光学ＤＢ１０に記憶された補正量（またはそれから生成された補正量）とのうち、同じ像高に対応する補正量を加重加算し、離散的な複数の像高に対する補正量を生成する。像高演算部８から供給される像高が、離散的な複数の像高と異なる場合には、近い像高に対応する複数の補正量を補間して補正量を生成する。

第３の補正量生成手段としての補正量生成部９は、加重加算における重みを、色収差評価部６からの信頼度Ｔｒと、補正量補間部１１からの信頼度ＤＩとから算出する。
図８は、補正量算出部７が画像から算出した補正量の重みαの特性の例を模式的に示している。画像から算出した補正量の重みαは、補正量補間部１１からの信頼度ＤＩが低くなるほど、かつ、色収差評価部６からの信頼度Ｔｒが高くなるほど大きくなる。より具体的には、補正量補間部１１からの信頼度ＤＩが最も低く、かつ、色収差評価部６からの信頼度Ｔｒが最も高い場合に最大（α＝１）となり、そこから信頼度ＤＩが高く、また信頼度Ｔｒが低くなるにつれて小さくなる特性を有する。信頼度ＤＩが最大で、信頼度Ｔｒが最小の場合に、重みαは０となる（すなわち、光学ＤＢ１０に基づく補正量のみが用いられる）。

信頼度ＤＩと信頼度Ｔｒが等しい場合には、重み０＜α＜０．５とする。これは、画像に基づく補正量よりも設計値に基づく補正量の方が一般には誤差が少ないと考えられることによる。同様の理由により、重みαは信頼度の変化に対して線形的に変化するのではなく、信頼度Ｔｒが十分に高い場合にのみ高くなるような特性を持たせている。なお、図８におけるＴｒｍａｘは、色収差評価部６からの信頼度Ｔｒの最大値を示し、ＤＩｍａｘは補正量補間部１１からの信頼度ＤＩの最大値を示す。

次に第３の補正量生成手段としての補正量生成部９は、例えば以下の式（２）に示す演算を用いて、補正量算出部７が画像から算出した補正量と、光学ＤＢ１０に記憶された補正量（またはそれから生成された補正量）とを加重加算して補正量corを求める。
cor = (1 - α) * corDB + α*corCalc （２）
ここで、corDBは光学ＤＢ１０より取得した補正量（または光学ＤＢ１０より取得した補正量を補間して求めた補正量）、corCalcは補正量算出部７が画像から（評価領域内の画像データから）算出した補正量を表す。

このようにして複数の離散的な像高について求めた補正量に基づき、補正量生成部９は、像高演算部８から供給される像高に対応する補正量を色収差補正部５に出力する。

以上説明したように、本実施形態によれば、現在の光学パラメータの組み合わせによって撮像された画像から算出される補正量と、予め記憶された補正量とを、それぞれの信頼度に基づいて重み付け加算して、最終的な補正量を算出する。そのため、現在の光学パラメータと、記憶されている補正値に対応する光学パラメータとの差異によって生じる誤差の影響を抑制し、精度の高い色収差補正を実現できる。また、撮像レンズの色収差特性が変わった場合でも、画像から算出された補正量が加味されることによって色収差補正の精度が大きく低下することを防止でき、全体として精度の良い色収差補正を実現できる。

（第１の実施形態の変形例）
上述した第１の実施形態において、図１に点線の矢印で示すように、補正量算出部７が色収差評価部６が算出した信頼度を取得し、信頼度に応じて補正量の算出精度を変えることによって、補正量算出負荷を軽減することができる。

つまり、補正量算出部７は、色収差評価部６が算出した信頼度が所定値以上であれば、図４のＳ１０２〜Ｓ１０５の処理を、図６に示した補正量セットの全ての補正量に対して行う。一方、色収差評価部６が算出した信頼度が所定値未満であれば、補正量算出部７は、図６に示した補正量セットのうち、一部を間引いた補正量について図４のＳ１０２〜Ｓ１０５の処理を行う。もちろん、信頼度をより多くのレベルに分割し、レベルが低いほど間引きの割合を多くするようにしてもよい。このように、信頼度が低い場合には、補正量の精度を落とす代わりに演算負荷を軽減するようにしてもよい。なお、この変形例は、後述する第２および第３の実施形態に適用することもできる。

（第２の実施形態）
図９は、本発明の第２の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図であり、図１と同一のブロックには同一の参照番号を付し、重複する説明は省略する。本実施形態においては、システム制御部１２に接続されたメモリ１３を追加し、色収差評価部６からの信頼度Ｔｒと、補正量算出部７が画像から算出した補正量corCalcとを、その時の光学パラメータと対応付けて保持しておく。そして、その後同じ光学パラメータの組み合わせとなった時に、メモリ１３に保持している信頼度と補正量を用いて、より精度の高い色収差補正を実現することを特徴とする。

以下、第１の実施形態との相違点に重点を置いて、本実施形態の撮像装置の動作について説明する。
メモリ１３はシステム制御部１２からの記録命令に従い、色収差評価部６からの信頼度Ｔｒと補正量算出部７からの補正量corCalcとを、その時の光学パラメータと対応付けて保存する。以下、メモリ１３に記憶された信頼度をＭＴｒ、補正量をＭcorCalcと表す。メモリ１３はまた、システム制御部１２からの読み出し命令と光学パラメータに従い、対応する信頼度ＭＴｒと補正量ＭcorCalcを出力する。

図１０は、本実施形態における補正量生成部９の動作を説明するフローチャートである。
Ｓ２０１で補正量生成部９は、メモリ１３に現在と同じ光学パラメータに対応した信頼度ＭＴｒと補正量ＭcorCalcが保持されているかシステム制御部１２を通じて確認し、保持されていなければＳ２０２へ、保持されていればＳ２０３へ処理を進める。

Ｓ２０２において補正量生成部９は、色収差評価部６からの信頼度Ｔｒと補正量算出部７からの補正量corCalcとを、その時の光学パラメータと対応付けてメモリ１３に、システム制御部１２を通じて保存し、処理をＳ２０７へ進める。一方、Ｓ２０３において補正量生成部９は、メモリ１３から現在の光学パラメータの組み合わせに対応した信頼度ＭＴｒと補正量ＭcorClacをシステム制御部１２を通じて読み出し、処理をＳ２０４へ進める。

Ｓ２０４において補正量生成部９は、メモリ１３から読み出した信頼度ＭＴｒと、色収差評価部６が算出した信頼度Ｔｒとを比較し、信頼度ＭＴｒの方が高い場合にはＳ２０５へ、信頼度Ｔｒの方が高い場合にはＳ２０６へ処理を進める。

Ｓ２０６において補正量生成部９は、メモリ１３に記憶されている、現在の光学パラメータの組み合わせに対応する信頼度ＭＴｒと補正量ＭcorCalcを、色収差評価部６からの信頼度Ｔｒと補正量算出部７からの補正量corCalcで更新する。

Ｓ２０７において補正量生成部９は、色収差評価部６からの信頼度Ｔｒと補正量補間部１１からの信頼度ＤＩを用いて、例えば図８に示したような特性に従って重みαを算出し処理をＳ２０８へ進める。Ｓ２０８において補正量生成部９は、Ｓ２０７で算出した重みαを用いて、上述の式（２）に従って補正量を求める。

一方、Ｓ２０５において補正量生成部９は、色収差評価部６からの信頼度Ｔｒの代わりにメモリ１３からの信頼度ＭＴｒを用い、補正量補間部１１からの信頼度ＤＩとから重みαを算出する。Ｓ２０９においては、Ｓ２０５で算出した重みαと、メモリ１３から読み出した補正量ＭcorCalc、光学ＤＢ１０に基づく補正量corDBとを上述の式（２）に適用して補正量を求める。

このように本実施形態では、画像から算出した信頼度と補正量を光学パラメータの組み合わせとともに保持しておき、その後、同じ光学パラメータの組み合わせとなった場合に利用可能とする。そのため、第１の実施形態の効果に加え、現在の画像から算出された補正量の信頼度が低い場合でも、過去に得られた信頼度の高い補正量を利用して精度の高い色収差補正を行うことができるという効果が実現できる。

なお、本実施形態では、現在の光学パラメータの組み合わせに対応する信頼度と補正量がメモリ１３に保持されていない場合には、信頼度によらずメモリ１３に記録する場合を説明した。しかし、メモリ１３に保持されていない場合であっても、信頼度が所定レベルに達していない場合には記録しないようにすることで、メモリ１３の容量を節約しながらも、精度の高い色収差補正を行うことができるようになる。

（第３の実施形態）
図１１は、本発明の第３の実施形態における補正量生成部９の動作を説明するためのフローチャートである。本実施形態は補正量生成部９の動作を除き第２の実施形態と同様の撮像装置で実施可能であるため、撮像装置の構成に関する説明は省略する。

本実施形態は、第２の実施形態に対し、記憶容量が足りなくなった場合など、メモリ１３内のデータの少なくとも一部を破棄する必要がある場合、メモリ１３に記憶されているデータの精度を低くしないように破棄を行うための制御を付加したものである。

本実施形態における補正量生成部９の動作は、第２の実施形態で説明した図１０のフローチャートにおけるＳ２０１とＳ２０２の間に、メモリ１３の空き容量の判定と、空き容量が少ないと判断される場合に重要度の低いデータを破棄する処理を挿入したものである。従って、以下では、本実施形態に固有のＳ３０２，Ｓ３０３の処理についてのみ説明する。

Ｓ３０２において補正量生成部９は、メモリ１３に新たに記憶できる容量があるかどうかシステム制御部１２を通じて確認し、メモリ容量に余裕がある場合はＳ３０４へ、メモリ容量に余裕がない場合はＳ３０３へそれぞれ処理を進める。

Ｓ３０３において補正量生成部９は、後述する図１２に示す動作によって破棄するデータの選択および破棄を行い、処理をＳ２０２へ進める。

次に、本実施形態の特徴となる、破棄するデータの選択および破棄処理について、図１２のフローチャートを利用して説明する。

まず、Ｓ４０１において補正量生成部９は、光学ＤＢ１０に記憶されているデータをメモリ１３に保存されているデータと比較する。ここで、「データ」は、同一の光学パラメータの組み合わせに対応する１つ以上のデータ（１つ以上の補正量および信頼度）である。

Ｓ４０２で補正量生成部９は、光学ＤＢ１０とメモリ１３の両方に重複して保存されているデータの有無および数に応じて処理を分岐する。具体的には、補正量生成部９は、重複データが１つであればＳ４０３へ、重複データがない、または、複数ある場合にはＳ４０４へ処理を進める。

Ｓ４０３で補正量生成部９は、重複データのうち、メモリ１３に保存されているものをシステム制御部１２を通じて破棄（削除）する。
Ｓ４０４に補正量生成部９は、どのデータを破棄するか選択するため、メモリ１３に保存されているデータに対応する光学パラメータと、光学ＤＢ１０に記憶されているデータに対応する光学パラメータの差の大きさを調べる疎密調査を行う。

メモリ１３に保存されているデータのうち、光学ＤＢ１０に記憶されているデータに対応する光学パラメータの組み合わせとの差が所定未満の光学パラメータの組み合わせに対応するデータの数が１つであれば、そのデータを補正量生成部９はＳ４０６で削除する。なお、重複データは、差が所定未満の光学パラメータの組み合わせに対応するデータに含まれる。

一方、そのようなデータの数が複数ある場合、補正量生成部９はＳ４０７で、それら複数のデータを信頼度順にソートし、Ｓ４０８で、信頼度の最も低いデータを破棄する。

このように、本実施形態では、第２の実施形態の効果に加え、メモリ１３に保持されているデータの一部を破棄する場合に、破棄の影響を抑制したデータの破棄を行うことができる。なお、本実施形態ではデータの重複や疎密、信頼度を考慮して、破棄するデータを選択したが、単に信頼度の低いものから順にデータを破棄しても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 撮像された画像に対し、該画像の撮影に用いられた光学系の色収差補正を行う画像処理装置であって、
   予め記憶された、前記光学系の光学パラメータの離散的な組み合わせごとの補正量に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第１の補正量として算出する第１の補正量算出手段と、
   前記画像を撮像した際の光学パラメータの組み合わせと、前記予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、前記第１の補正量の信頼度である第１の信頼度を算出する第１の信頼度算出手段と、
   前記画像に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第２の補正量として算出する第２の補正量算出手段と、
   前記画像に基づいて、前記第２の補正量の信頼度である第２の信頼度を算出する第２の信頼度算出手段と、
   前記第１の信頼度および前記第２の信頼度に基づく重みを用いて前記第１の補正量および前記第２の補正量を加重加算し、第３の補正量を生成する第３の補正量生成手段と、
   前記第３の補正量を前記画像に適用して前記色収差補正を行う補正手段と、を有することを特徴とする画像処理装置。
2. 前記第１の信頼度算出手段は、前記画像を撮像した際の光学パラメータの組み合わせと、前記予め記憶された補正量に対応する光学パラメータの組み合わせとの差が大きいほど低くなるように前記第１の信頼度を算出することを特徴とする請求項１記載の画像処理装置。
3. 前記第２の信頼度算出手段は、像高方向における前記画像の特徴に基づいて、画像が色収差の補正量の算出に適した画像である程度が高いと判定されるほど、前記第２の信頼度が高くなるように算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の信頼度算出手段は、前記画像の像高方向における基準色信号と補正対象信号の勾配のピークがいずれも高く、かつ符号が同じ場合に高い信頼度となるように前記第２の信頼度を算出することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記第３の補正量生成手段は、前記第１の信頼度が低くなるほど、かつ、前記第２の信頼度が高くなるほど、前記加重加算における前記第２の補正量の重みを大きくすることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. さらに、前記第２の補正量および前記第２の信頼度を、対応する光学パラメータの組み合わせとともに記憶する記憶手段を有し、
   前記第３の補正量生成手段が、前記記憶手段に、前記画像を撮像した際の光学パラメータの組み合わせと同じ光学パラメータの組み合わせに対応する前記第２の補正量および前記第２の信頼度が記憶されており、かつ、前記記憶手段に記憶されている前記第２の信頼度の方が前記第２の信頼度算出手段から取得した第２の信頼度よりも高い場合、前記記憶手段に記憶されている前記第２の補正量および前記第２の信頼度を用いて前記第３の補正量を算出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記第３の補正量生成手段がさらに、前記記憶手段から、前記予め記憶された補正量と重複する第２の補正量と該第２の補正量に対応付けられたデータとを削除することを特徴とする請求項６記載の画像処理装置。
8. 前記記憶手段に、前記予め記憶された補正量と重複する第２の補正量が複数ある場合、前記第３の補正量生成手段が、対応する第２の信頼度が最も低い第２の補正量と該第２の補正量に対応付けられたデータとを削除することを特徴とする請求項７記載の画像処理装置。
9. 前記記憶手段に、前記予め記憶された補正量に対応する光学パラメータの組み合わせとの差が所定未満の光学パラメータの組み合わせに対応する第２の補正量が複数ある場合、前記第３の補正量生成手段が、対応する第２の信頼度が最も低い第２の補正量と該第２の補正量に対応付けられたデータとを削除することを特徴とする請求項７記載の画像処理装置。
10. 前記第２の補正量算出手段が、前記第２の信頼度が低いほど、前記第２の補正量の算出精度を低下させることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記光学系と、
    前記光学系が結像する被写体像を撮像して前記画像を出力する撮像手段と、
    請求項１から１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
12. コンピュータを、請求項１から請求項１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
13. 撮像された画像に対し、該画像の撮影に用いられた光学系の色収差補正を行う画像処理装置によって実行される画像処理方法であって、
    第１の補正量算出手段が、予め記憶された、前記光学系の光学パラメータの離散的な組み合わせごとの補正量に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第１の補正量として算出する第１の補正量算出工程と、
    第１の信頼度算出手段が、前記画像を撮像した際の光学パラメータの組み合わせと、前記予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、前記第１の補正量の信頼度である第１の信頼度を算出する第１の信頼度算出工程と、
    第２の補正量算出手段が、前記画像に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する補正量を第２の補正量として算出する第２の補正量算出工程と、
    第２の信頼度算出手段が、前記画像に基づいて、前記第２の補正量の信頼度である第２の信頼度を算出する第２の信頼度算出工程と、
    第３の補正量算出手段が、前記第１の信頼度および前記第２の信頼度に基づく重みを用いて前記第１の補正量および前記第２の補正量を加重加算し、第３の補正量を生成する第３の補正量生成工程と、
    補正手段が、前記第３の補正量を前記画像に適用して前記色収差補正を行う補正工程と、を有することを特徴とする画像処理方法。

Images