JP4402230B2

JP4402230B2 - Image processing device

Info

Publication number: JP4402230B2
Application number: JP36462299A
Authority: JP
Inventors: 一仁堀内
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-12-22
Filing date: 1999-12-22
Publication date: 2010-01-20
Anticipated expiration: 2019-12-22
Also published as: JP2001186533A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置において発生する光学系の倍率色収差を信号処理で補正する画像処理装置、特に欠落している色信号を信号処理で補間する際に倍率色収差を補正する画像処理装置に関するものである。
【０００２】
【従来の技術】
撮像装置等に用いる光学系で発生する収差の一つに倍率色収差がある。色収差は、波長によって屈折率が異なることに起因するもので、特に倍率色収差は色によって焦点距離が異なることで、像面における像の位置（倍率）が各色でずれて見られる現象である。なお、本明細書では、倍率色収差を以後簡略して色収差と記す。この色収差は、レンズの材質等である程度補正できるが、この場合には材質が高価になる等の原因でレンズ製造におけるコストがかかることになる。
【０００３】
そこで、従来、色収差を信号処理によって補正する方法が幾つか提案されている。例えば、特公平６−５９５９号公報には、基準色と他色との誤差および近傍の色信号から補間処理を行うための補正データを予め記憶し、撮像動作時にこれら記憶されているデータを読み出して他色のデータを近傍のデータにより補間することで補正を行うようにしたものが開示されている。
【０００４】
また、特開平８−２０５１８１号公報には、ズーム位置等のレンズ状態と画面位置に対応した色収差情報（基準色に対する他色のずれ情報）を予めメモリに記憶し、該当する色収差情報を用いて基準色との色収差を補正した画像データを補間するようにしたものが開示されている。さらに、この公報には、色収差情報のメモリを減らすための工夫として、画面中心からの距離に応じて色収差を判定したり、部分的に色収差情報を記憶して、色収差情報が存在しない部分は補間により色収差情報を求めることも開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、基本的に各画素すべての色が存在する段階で色収差補正を行っているため、例えばＲＧＢで表される場合には、各色一つずつの撮像素子（３板撮像素子）を持つ撮像装置が必要となり、撮像素子を多く持つ分だけ撮像装置自体が大きく、かつコスト高になる。
【０００６】
これに対し、単板や２板の撮像素子を用いる（画像再現に必要な色信号に対して撮像素子が少ない）場合には、３板撮像素子を用いる撮像装置に比べ撮像装置自体を小さく、かつ安価にできるが、この場合には、画像として再現するために各画素に関して欠落している色信号を補間する必要がある。ところが、この場合に補間される色信号は、上述した色収差の影響により、参照する画素の像とは異なった部分の像に関して生成されることになる。
【０００７】
この様子を、図１０を用いてさらに詳細に説明する。図１０は、単板撮像素子における欠落色信号の補間の様子を示している。ここで注目している画素“Ｇ｛ｉ，ｊ｝”にはＧ信号が存在し、画像として再現するにはＲ信号およびＢ信号を補間する必要がある。この位置に結像するＧ信号の像に関して、理想的には補間されるＲ信号およびＢ信号は同一位置に結像する。しかし、実際には光学系の色収差により、Ｇ信号の像に関するＲ信号およびＢ信号の結像位置“Ｒ｛ｉ，ｊ｝”， “Ｂ｛ｉ，ｊ｝”は、図１０のようにＧ信号の位置とは異なった位置に結像される。
【０００８】
ここで、色収差補正を行わずにＲ信号およびＢ信号の欠落色信号の補間処理を行うと、参照しているＧ信号の像に対して位置的にずれた像の欠落色信号を補間することになり、実際の被写体の色とは異なる色として再現される場合がある。図１０の場合には、“Ｇ｛ｉ，ｊ｝”にある像のＲ信号およびＢ信号をこのまま補間しようとしても、色収差の影響により実際の像のＲ信号およびＢ信号は“Ｇ｛ｉ，ｊ｝”ではないため、結果として適切な補間処理を行うことができないことになる。
【０００９】
以上のことから、欠落色信号を補間処理するにあたっては、色収差を補正する必要がある。ここで、信号処理による色収差の補正方法として、撮像光学系の色収差情報を基に、色信号の位置ずれ補正量を表す位置補正情報を各画素毎に保持したルックアップテーブル（ＬＵＴ）を予めメモリに記憶させ、欠落色信号の補間処理において画素の位置をアドレスとしてメモリのＬＵＴから位置補正情報を読み込み、その位置補正情報により位置を補正して補間処理を行う、という方法が考えられる。
【００１０】
しかし、この場合には、補間処理前に各画素に対して位置補正情報のＬＵＴを参照するため、参照時の計算時間の増加やメモリ等の回路規模の増大が引き起こされ、コストの安い撮像装置では色収差を補正することが困難であった。
【００１１】
したがって、かかる点に鑑みてなされた本発明の目的は、簡単かつ安価な構成で、入力画像信号の色収差を補正できると共に、欠落色信号の補間処理で色収差を補正できる画像処理装置を提供しようとするものである。
【００１２】
【課題を解決するための手段】
上記目的を達成する請求項１に係る発明は、撮像光学系を経て撮像素子から得られる画像情報の色信号に基づいて各画素に関して欠落している画像情報の色信号を補間処理により復元する画像処理装置において、
前記撮像素子から得られる画像情報の色信号を記憶する画像情報記憶部と、
前記撮像光学系で発生する色収差の情報を色収差情報として記憶する色収差情報記憶部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記撮像光学系に関する情報とに基づいて、前記色収差情報記憶部から色収差情報を読み出して色収差を補正するための色収差補正情報を生成する色収差補正情報生成部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記色収差補正情報生成部で生成された色収差補正情報とに基づいて補間処理のための補間係数を算出する補間係数算出部と、
前記画像情報記憶部に記憶されている画像情報の色信号と前記補間係数算出部で算出された補間係数とを用いて前記画像情報記憶部に記憶されている画像情報の色信号および前記欠落している画像情報の色信号に関して補間処理を行う補間処理部と、
を有することを特徴とするものである。
【００１３】
請求項１に係る発明によると、画像情報の色信号の画素位置と撮像光学系の状態とに基づいて色収差情報から色収差補正情報が生成されるので、撮像光学系の状態変化に応じて画素毎に適した色収差補正情報を得ることができると共に、画像情報の色信号の画素位置に応じて、色収差補正情報から補間係数を生成して入力された画像情報の色信号および欠落している画像情報の色信号に補間処理が施されるので、画素毎に色収差補正に適した補間係数が求められ、補間処理によって画素単位で入力色信号と欠落色信号の色収差を補正することが可能となり、結果として、撮像光学系や撮像素子等のコストを最小限に抑え、信号処理によって全画素に関する全ての色信号に対して色収差を補正した高画質な画像を生成することが可能となる。
【００１４】
請求項２に係る発明は、撮像光学系を経て撮像素子から得られる画像情報の色信号に基づいて各画素に関して欠落している画像情報の色信号を補間処理により復元する画像処理装置において、
前記撮像素子から得られる画像情報の色信号を記憶する画像情報記憶部と、
前記撮像素子から得られる画像情報の色信号に基づいて前記撮像光学系で発生する色収差の情報を生成する色収差情報生成部と、
前記色収差情報生成部で生成された色収差の情報を色収差情報として記憶する色収差情報記憶部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記撮像光学系に関する情報とに基づいて前記色収差情報記憶部から色収差情報を読み出して色収差を補正するための色収差補正情報を生成する色収差補正情報生成部と、
前記画像情報記憶部に記憶されている画像情報の色信号の画素位置と前記色収差補正情報生成部で生成された色収差補正情報とに基づいて補間処理のための補間係数を算出する補間係数算出部と、
前記画像情報記憶部に記憶されている画像情報の色信号と前記補間係数算出部で算出された補間係数とを用いて前記画像情報記憶部に記憶されている画像情報の色信号および前記欠落している画像情報の色信号に関して補間処理を行う補間処理部と、
を有することを特徴とするものである。
【００１５】
請求項２に係る発明によると、画像情報の色信号から色収差情報が生成されるので、画像情報を得る実際の撮像光学系に適合した色収差情報を得ることができると共に、この色収差情報を利用して画像情報の色信号の画素位置と撮像光学系の状態とに基づいて色収差補正情報が生成されるので、撮像光学系の状態変化に応じて画素毎に適した色収差補正情報を得ることが可能となる。また、画像情報の色信号の画素位置に応じて色収差補正情報から補間係数が生成されるので、画素毎に色収差補正に適した補間係数が求められると共に、この補間係数に基づいて入力された画像情報の色信号および欠落している画像情報の色信号に対して補間処理が施されるので、画素単位で入力色信号と欠落色信号の色収差を補正することができ、結果として、撮像光学系や撮像素子等のコストを最小限に抑え、信号処理によって全画素に関する全ての色信号に対して色収差を補正した高画質な画像を生成することが可能となる。
【００１６】
請求項３に係る発明は、請求項１または２に記載の画像処理装置において、前記色収差情報記憶部は、前記画像情報の色信号の画素位置と前記撮像光学系に関する情報とに依存する特性を前記色収差情報として記憶することを特徴とするものである。
【００１７】
請求項３に係る発明によると、各画素毎に色収差情報を記憶する必要がないので、色収差情報記憶部のメモリ容量を縮小することが可能になると共に、色収差情報記憶部およびその周辺の回路構成の簡略化を図ることが可能になる。
【００１８】
請求項４に係る発明は、請求項１または２に記載の画像処理装置において、前記色収差補正情報生成部は、前記色収差情報記憶部から読み出される前記色収差情報を、前記画像情報の色信号の画素位置と前記撮像光学系に関する情報とに依存する特性に変換して、前記色収差補正情報を生成することを特徴とするものである。
【００１９】
請求項４に係る発明によると、色収差補正情報を生成するための情報を各画素毎に保持する必要がないので、メモリ容量を縮小することが可能になると共に、色収差補正情報生成部およびその周辺の回路構成の簡略化を図ることが可能となる。
【００２０】
請求項５に係る発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、前記撮像光学系に関する情報は、前記撮像光学系の焦点距離であることを特徴とするものである。
【００２１】
請求項５に係る発明によると、撮影時のズーム動作等により焦点距離が変化しても、それに対応した色収差情報や色収差補正情報等を得て適切に色収差を補正することが可能となるので、結果的に様々な撮影状態においても常に適切な色収差補正を行うことが可能となる。
【００２２】
請求項６に係る発明は、請求項１〜４のいずれか一項に記載の画像処理装置において、前記撮像光学系に関する情報は、前記撮像光学系の結像面を複数のブロックに分割して定義する情報であることを特徴とするものである。
【００２３】
請求項６に係る発明によると、色収差が複雑に発生する撮像光学系に対しても複数のブロックに分割して部分的に対応した色収差情報や色収差補正情報等を得て部分的に適切に色収差を補正することが可能となるので、結果的に結像面全体すなわち画像全体に適切な色収差補正を行うことが可能となる。
【００２４】
請求項７に係る発明は、請求項２に記載の画像処理装置において、前記色収差情報生成部は、
色収差の補正を目的としたパターン情報をパターン参照情報として記憶するパターン参照情報記憶部と、
前記パターン情報を撮影した画像情報の色信号をパターン画像情報として記憶するパターン画像情報記憶部と、
前記パターン画像情報記憶部に記憶されている前記パターン画像情報に対して位置補正を行うパターン画像情報位置補正部と、
前記パターン画像情報位置補正部で位置補正された前記パターン画像情報と前記パターン参照情報とを比較して色ずれ情報を生成するパターン情報間色ずれ比較部と、
前記パターン情報間色ずれ比較部で生成された色ずれ情報に基づいて前記色収差情報を算出する色収差情報算出部と、
を有することを特徴とするものである。
【００２５】
請求項７に係る発明によると、色収差を補正するためのパターン情報を用意し、これを撮影した画像情報と予め記憶されている参照情報とを比較して色収差情報が生成されるので、撮像光学系の設計スペックに対して誤差が生じていても、各装置毎に適した色収差情報を得ることができ、結果的にどの装置においても適切に色収差補正を行うことが可能となる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明に係る画像処理装置の実施の形態について説明する。
【００２７】
図１は、本発明の第１実施の形態としての電子スチールカメラの基本的構成を示すブロック図である。この電子スチールカメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ撮像素子１を用いるもので、このＣＣＤ撮像素子１には、レンズ群２および絞り・シャッタ機構３を経て被写体像が結像され、その被写体像が光電変換されて画像信号として出力される。ＣＣＤ撮像素子１からの被写体像の画像信号は、図示しない相関二重サンプリング回路等でノイズ成分が除去さたのち、アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル信号に変換されてカメラ信号処理回路６に供給され、ここで画像データとして処理される。
【００２８】
また、Ａ／Ｄ変換器５の出力は、ＡＦ，ＡＥ，ＡＷＢ検波回路７にも供給され、ここで本来の撮影に先立って、フォーカスを自動的に制御するためのＡＦ情報を取り出すＡＦ検波処理、露出を自動的に制卸するためのＡＥ情報を取り出すＡＥ検波処理、およびホワイトバランスを自動的に設定するためのＡＷＢ情報を取り出すＡＷＢ検波処理が行われる。このＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情報は、それぞれＣＰＵ８を介してレンズ群２、絞り・シャッタ機構３およびカメラ信号処理回路６に供給される。
【００２９】
カメラ信号処理回路６およびＣＰＵ８は、バスライン９に接続され、このバスライン９には、メモリコントローラ１０を介して、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭｌｌが接続されていると共に、カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接続されている。また、バスライン９には、圧縮回路１２で圧縮処理された画像データをメモリカード１３に記録するために、メモリカードＩ／Ｆ１４が接続されていると共に、メモリカード１３に記録された画像データを読み出して表示したり、撮影状態を表示するために表示回路１５を介して液晶表示素子（ＬＣＤ）１６が接続されている。さらに、バスライン９には、メモリカード１３に記録されている画像データをパソコン（ＰＣ）１７へ転送するためのＰＣＩ／Ｆ１８が接続されている。
【００３０】
また、ＣＰＵ８には、ＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＥ情報に基づいて制御されるストロボ装置１９、および各種撮影モードの設定やトリガスイッチの駆動等を行う入力キー２０がそれぞれ接続されている。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のもとにタイミングジェネレータ（ＴＧ）２１からのタイミングパルスによって駆動されるようになっている。
【００３１】
さらに、レンズ群２は、入力キー２０からのズーム操作に応じてモータ２２により駆動され、その焦点距離情報がモータ２２を介してＣＰＵ８に取り込まれてＡＦ情報、ＡＥ情報、ＡＷＢ情報とともにカメラ信号処理回路６に供給されるようになっている。
【００３２】
図２は、本実施の形態で用いるレンズ群２の一例の構成を示すものである。このレンズ群２は、ズームレンズで収差等に関して光軸回転対称の特性を持ち、モータ２２により駆動して焦点距離を変更することで望遠（テレ）や広角（ワイド）の状態にすることができる構成になっている。
【００３３】
図３は、本実施形態におけるカメラ信号処理回路６の内部の一例の構成を示すブロック図である。このカメラ信号処理回路６は、フレームメモリ３１、ホワイトバランス設定部３２、撮像光学系情報メモリ３３、色収差補正情報特性算出部３４、色収差補正情報算出部３５、色収差補正・欠落色補間処理部３６、色強調マトリックス変換部３７およびγ補正部３８を有しており、撮像光学系情報メモリ３３には、色収差情報を含む撮像光学系に関する情報を予め記憶しておく。
【００３４】
このカメラ信号処理回路６では、Ａ／Ｄ変換器５からデジタル信号として出力される画像信号をフレームメモリ３１に記憶し、このフレームメモリ３１に記憶された画像信号に対してホワイトバランス設定部３２において、ＣＰＵ８から出力されるＡＷＢ情報やＡＥ情報等を用いてホワイトバランス調整を行い、そのホワイトバランス調整された画像信号を、色収差補正情報算出部３５および色収差補正・欠落色補間処理部３６にそれぞれ供給する。
【００３５】
一方、色収差補正情報特性算出部３４では、撮像光学系情報メモリ３３に予め記憶されている色収差情報等の撮像光学系に関する情報と、ＣＰＵ８から出力される焦点距離情報やＡＦ情報とに基づいて、結像面すなわちＣＣＤ撮像素子１上での画素の位置に依存する関数として表される色収差補正情報を生成するための特性を算出し、その算出した色収差補正情報の特性を色収差補正情報算出部３５に供給する。
【００３６】
色収差補正情報算出部３５では、ホワイトバランス設定部３２でホワイトバランス調整された画像信号と、色収差補正情報特性算出部３４で算出された色収差補正情報の特性とに基づいて、画素単位で画像信号を参照して、参照画素の位置に関して色収差補正情報の特性から色収差補正情報を算出し、その算出した色収差補正情報を色収差補正・欠落色補間処理部３６に供給する。本実施の形態では、色収差補正情報は、各色別に参照画素における像の位置ずれを像面の座標値としてサブピクセルのレベルで表されるものとする。
【００３７】
色収差補正・欠落色補間処理部３６では、ホワイトバランス設定部３２でホワイトバランス調整された画像信号と、色収差補正情報算出部３５で算出された色収差補正情報とに基づいて、後述するようにして入力された画像信号に関する色収差補正処理、および欠落している色信号に関して色収差を補正する補間処理を行う。
【００３８】
色収差補正・欠落色補間処理部３６で色収差補正および欠落色補間処理された画像信号は、色強調マトリックス変換部３７で色強調処理を施した後、γ補正部３８でγ補正してバスライン９に伝送する。
【００３９】
図４は、上記の色収差補正・欠落色補間処理部３６での処理の流れを示すフローチャートである。図１に示した電子スチールカメラで撮影して得られる画像信号には、それ自体に色収差、すなわち各画素において色毎に異なった位置ずれが生じて、本来参照する位置からずれた部分を像としているため、この色収差を補正しなければ欠落している色信号を適切に補間することができない。
【００４０】
そこで、色収差補正・欠落色補間処理部３６では、先ず、ステップＳ１で、色収差補正および欠落色補間対象となる色信号を有する参照画素位置の近傍画素について、画素値、像面座標値、および該当色の色収差補正情報を読み込む。ただし、参照画素の色収差補正においては、参照画素自身の情報も併せて読み込む。なお、ここで必要とする近傍画素数は、例えば通常行われる一般の補間と同程度とすることができる。
【００４１】
次に、ステップＳ２で、読み込まれた各画素の像面座標値を色収差補正情報に基づいて補正する。これは各画素に関する色収差補正であり、結果として各画素が持つ画素値に対応する像の位置は適切な場所になる。
【００４２】
図５（Ａ）は、その一例を示すものである。ここでは、参照画素ｐ０{ｉ，ｊ}をＧ信号（白点）とし、近傍画素としてｐ０{ｉ，ｊ}の対角に隣接する４個の画素を用いている。ここで、参照画素ｐ０{ｉ，ｊ}におけるＧの色収差補正情報を{ＧＦｘ（ｉ，ｊ），ＧＦｙ（ｉ，ｊ）}とすると、ステップＳ２の色収差補正により、参照画素ｐ０{ｉ，ｊ}が本来結像される位置は、色収差補正情報分だけずれて図５（Ａ）中のｐ０{ｉ＋ＧＦｘ（ｉ，ｊ），ｊ＋ＧＦｙ（ｉ，ｊ）}となる。同様に、近傍画素についても、色収差補正により本来の結像位置は色収差補正情報分だけずれるようになる。
【００４３】
その後、ステップＳ３において、ステップＳ２で色収差補正された各画素の位置と参照画素位置との距離に基づいて、補間処理に利用する重み係数（補間係数）を算出する。ここで、算出される補間係数は、色収差の補正を考慮したものであり、特性として色収差補正された各画素に対し、参照画素位置との距離が小さい（近い）場合は補間係数を大きく、参照画素位置との距離が大きい（遠い）場合は補間係数を小さくなるようにする。
【００４４】
図５（Ｂ）は、その一例を示すもので、図５（Ａ）から色収差補正された後の状態を示している。図５（Ｂ）において、近傍に位置する５個の色収差補正画素Ｐ０〜Ｐ４によって参照位置の画素Ｐ{ｉ，ｊ}の補間を行う場合、画素Ｐ{ｉ，ｊ}と画素Ｐｎ（ｎ＝０，１，２，３，４）との距離をＤｎとすると、画素Ｐｎに対応する補間係数Ｗｎは（１）式のようになる。
【００４５】
【数１】
Ｗｎ＝（Ｓ−Ｄｎ）／（４×Ｓ）（１）
ただし、Ｓ＝ΣＤｎ（ｎ＝０，１，２，３，４）
【００４６】
（１）式から明らかなように、補間係数Ｗｎは、距離の総和Ｓに対して、距離Ｄｎがどの程度の割合であるかに基づいて決定される。すなわち、距離Ｄｎが小さければ補間係数Ｗｎは大きくなることで補間における画素値の計算割合は大きくなり、距離Ｄｎが大きければ補間係数Ｗｎは小さくなることで補間における画素値の計算割合は小さくなる。また、補間係数Ｗｎの総和は１となることは明らかである。さらに、（１）式を一般化して、近傍に位置するＮ個の色収差補正画素を用いて補間処理を行う場合の補間係数Ｗｎは、（２）式のようになる。
【００４７】
【数２】
Ｗｎ＝（Ｓ−Ｄｎ）／｛（Ｎ−１）×Ｓ｝（２）
ただし、Ｓ＝ΣＤｎ（ｎ＝０，１，．．．，Ｎ−１）
【００４８】
次に、ステップＳ４において、算出された補間係数とそれに対応する色収差補正された各画素の画素値とを用いて、参照画素位置における該当色信号の画素値を補間処理にて算出する。ここで、（２）式におけるＮ個の補間係数Ｗｎと対応するＮ個の色収差補正画素Ｐｎの画素値をＰＶｎとすると、参照位置の画素Ｐ{ｉ，ｊ}の補間画素値ＰＶ{ｉ，ｊ}は、（３）式のようになる。
【００４９】
【数３】
ＰＶ{ｉ，ｊ}＝Σ（ＰＶｎ×Ｗｎ）（３）
ただし、ｎ＝０，１，…，Ｎ−１
【００５０】
上述したステップＳｌ〜Ｓ４によって、色収差を補正した画素値の位置関係を補間係数に反映させて参照位置の画素値を補間により算出することにより、参照位置に関して色収差が補正された適切な画素値を得ることができる。また、図４で説明した色収差を補正する補聞方法は、入力される画像信号および欠落色信号の両方に対して同じ方法で実現できるので、各画素において入力信号の色収差補正と欠落色信号の補間とに場合分けするといった手間が不要となり、処理系自体を単純に構成することができる。
【００５１】
以上のように、本実施の形態によれば、色収差補正情報を、撮像光学系が持つ色収差情報に基づいて画素の位置に依存する関数として算出するので、各画素における色収差情報を記憶する大容量のメモリを必要とせず、処理回路規模を縮小することができる。また、ズーム等により撮像光学系の状態が変化しても、それに対応した色収差補正情報を得るようにしたので、広角や望遠等様々な状況においても常に適切な色収差補正情報を算出することができる。さらに、入力色信号および欠落色信号の如何にかかわらず、画素毎に色収差を補正するための補間処理を同一の処理で行うことができるので、処理回路規模の縮小化および処理の高速化を図ることができ、結果として色収差が適切に補正されたカラー画像を再現することができる。
【００５２】
本発明の第２実施の形態では、図１に示した電子スチールカメラにおいて、モータ２２を省略すると共に、レンズ群２を偏心自由曲面レンズをもって構成する。その他の基本的構成は、図１と同様であるので詳細な説明は省略する。
【００５３】
図６は、本実施の形態で用いるレンズ群２の一例の構成を示すものである。このレンズ群２は、非回転対称形状の偏心自由曲面レンズで、非常に明るくかつ高解像な画像信号が得られる、小型軽量化にできる、等の特徴を有している。
【００５４】
図７は、本実施の形態における図１に示すカメラ信号処理回路６の内部の一例の構成を示すブロック図である。このカメラ信号処理回路６は、フレームメモリ４１、ホワイトバランス設定部４２、第１スイッチ４３、色収差情報生成部４４、色収差情報メモリ４５、第２スイッチ４６、撮像光学系情報メモリ４７、色収差補正情報特性算出部４８、色収差補正情報算出部４９、色収差補正・欠落色補間処理部５０、色強調マトリックス変換部５１およびγ補正部５２を有している。ここで、フレームメモリ４１、ホワイトバランス設定部４２、色収差補正・欠落色補間処理部５０、色強調マトリックス変換部５１およびγ補正部５２は、それぞれ図３に示したフレームメモリ３１、ホワイトバランス設定部３２、色収差補正・欠落色補間処理部３６、色強調マトリックス変換部３７およびγ補正部３８と同等の機能であるので、説明を省略する。また、色収差補正・欠落色補聞処理部５０での内部処理についても、図４と同等であるので、説明を省略する。
【００５５】
本実施の形態では、予め色収差情報を生成するための基準パターンを用意し、これを電子スチールカメラで撮影することによって色収差情報を色収差情報メモリ４５に記憶し、この色収差情報と撮像光学系情報メモリ４７に予め記憶した撮像光学系情報とに基づいて色収差補正情報を算出する。
【００５６】
このため、先ず、図１の入力キー２０の状態によって選択される一般撮影モードもしくは基準パターン撮影モードの撮影モード信号に基づいてＣＰＵ８により第１スイッチ４３および第２スイッチ４６を制御する。
【００５７】
ここで、撮影モード信号が基準パターン撮影モードを示す場合には、第１スイッチ４３はホワイトバランス調整後の画像信号を色収差情報生成部４４に伝送するように駆動し、第２スイッチ４６は色収差補正情報特性算出部４８に色収差情報メモリ４５からの情報を伝送しないように開状態に駆動する。これにより、基準パターン撮影モードでは、撮影された基準パターンの画像信号を色収差情報生成部４４に供給して、後述する方法により色収差情報を生成し、その生成された色収差情報を色収差情報メモリ４５に記憶して、一般撮影モードにて撮影される画像信号の色収差補正に利用する。
【００５８】
これに対し、撮影モードが一般撮影モードを示す場合には、第１スイッチ４３はホワイトバランス調整後の画像信号を色収差補正情報算出部４９、および色収差補正・欠落色補間処理部５０に伝送するように駆動し、第２スイッチ４６は色収差補正情報特性算出部４８に色収差情報メモリ４５からの情報を伝送するように閉状態に駆動する。これにより、一般撮影モードでは、色収差補正情報特性算出部４８に、色収差情報メモリ４５内の色収差情報を第２スイッチ４６を経て読み込むと共に、撮像光学系情報メモリ４７内の撮像光学系情報を読み込む。
【００５９】
ここで、撮像光学系情報メモリ４７内に予め記憶する撮像光学系情報は、例えば図８に示すように、像面全体を複数の部分ブロックに分割して定義される情報で、画素の位置に応じて当該画素がどのブロックに属するかが決定される情報とする。
【００６０】
色収差補正情報特性算出部４８では、撮像光学系情報の各ブロック毎に、色収差情報に基づいて色収差補正情報を生成するための特性を算出する。このように、各ブロックに対応して個別に色収差補正情報を生成するための特性を算出することは、偏心自由曲面レンズのように非回転対称形状で、かつ色収差が部分的に異なって複雑に発生する撮像光学系を有する場合には、非常に有効な方法である。この色収差補正情報を生成するための特性は、第１実施の形態と同様、ＣＣＤ撮像素子１上での画素の位置に依存する関数として表される。
【００６１】
色収差補正情報算出部４９では、ホワイトバランス調整後の画像信号と、色収差補正情報特性算出部４８で算出された色収差補正情報の特性とをそれぞれ読み込んで、色収差補正情報を算出する。この色収差補正情報算出部４９での処理は、基本的には図３に示した第１実施の形態における色収差補正情報算出部３５での処理と同じであるが、本実施の形態では像面を分割したブロック単位で色収差補正情報の特性が異なるので、参照画素の位置に対応したブロックに関する色収差補正情報の特性を選択し、その選択した色収差補正情報の特性に基づいて参照画素における像の位置ずれを像面の座標値として表す色収差補正情報を算出する。以後の処理は、第１実施の形態と同様である。
【００６２】
図９は、図７に示した色収差情報生成部４４の内部の一例の構成を示すブロック図である。この色収差情報生成部４４は、基準パターン画像信号メモリ６１、基準パターン参照信号メモリ６２、画像信号位置補正部６３、画像信号・参照信号間色ずれ比較部６４および色収差情報算出部６５を有している。
【００６３】
本実施の形態では、第１実施の形態のように光学設計値等に基づく撮像光学系の色収差情報を予め記憶するのではなく、基準パターンを撮影して得られる画像信号に基づいて色収差情報を生成する。このため、色収差情報を生成するにあたっては、先ず、第１スイッチ４３を経て伝送される撮影された基準パターンの画像信号を、基準パターン画像信号メモリ６１に読み込んで記憶する。ここで、基準パターン画像信号メモリ６１に記憶される基準パターンの画像信号は、ホワイトバランス調整後の単板画像信号であり、各画素に関して欠落色信号が存在している。
【００６４】
また、これとは別に、基準パターン参照信号メモリ６２には、色収差のない基準パターンの参照情報を予め記憶しておく。この基準パターン参照信号メモリ６２に記憶される基準パターンの参照情報は、撮像装置と同様の単板カラーフィルタにより単板の参照情報として扱われる。なお、ここで利用する基準パターンとしては、色収差情報を生成するという観点から、カラーチャート等のように複数の色が混在するパターンであることが望ましく、また、色収差のない参照情報が得られ易いように、ＣＧ等による人工的なデータを用いるのが取り扱いの点で好ましい。
【００６５】
次に、画像信号位置補正部６３において、基準パターンの画像信号に関する位置合わせ、例えば基準パターンの中心を画像全体の中心に合わせる等の処理を行った後、画像信号・参照信号間色ずれ比較部６４において、同一画素位置における画像信号と参照信号とを比較して色ずれを算出する。
【００６６】
画像信号・参照信号間色ずれ比較部６４での色ずれの算出方法は、基準パターンにも依存するが、例えば参照している画素とその近傍における画素値とから参照画素の色がどちらの方向にどの程度ずれているかを求め、これを画像全体に対して行うことで色ずれ情報として算出する。
【００６７】
次に、色収差情報算出部６５において、画像信号・参照信号間色ずれ比較部６４からの色ずれ情報に基づいて色収差情報を算出する。ここで、色収差情報は画素単位で算出せず、例えばブロック内における該当色の色ずれ情報の平均を当該ブロックの色収差情報として、撮像光学系情報で定義している部分ブロックに対応する形で部分的に算出してブロック毎に異なる色収差特性を保持するようにする。この色収差情報算出部６５で生成した色収差情報は、色収差情報メモリ４５に伝送する。
【００６８】
なお、上記の構成では、撮像装置の入力キー２０を切り換えることで、基準パターン撮影による色収差情報を更新することが可能であるが、別方法として製造時の検査等において色収差情報を上記の方法で予め記憶し、一般には色収差情報の更新ができないようにすることも可能である。
【００６９】
以上のように、本実施の形態によれば、像面全体を複数のブロックに分割し、各ブロックに対応した状態で画素の位置に依存する関数としての色収差補正情報を算出して補間処理を行うようにしたので、部分的に色収差特性が異なる複雑な撮像光学系に対しても、参照画素に対して適切な色収差補正情報を算出することができる。すなわち、どの部分に関しても適切な色収差補正を行うことができるので、結果的に画像全体に色収差補正効果をあげることができる。また、基準パターンを撮影して色収差情報を生成するので、例えば撮像光学系の設計スペックに対して製造等により誤差が生じても、それそれの装置において最適な色収差情報を得ることができ、結果的に色収差が補正された画像を再現することができる。さらに、第１実施の形態の場合と同様に、入力色信号および欠落色信号の如何にかかわらず、画素毎に色収差を補正するための補間処理を同一の処理で行うことができるので、処理回路規模の縮小化および処理の高速化を図ることができ、結果として色収差が適切に補正されたカラー画像を再現することができる。
【００７０】
【発明の効果】
以上説明したところから明らかなように、本発明によれば、簡単かつ安価な構成で、入力画像信号の色収差を補正できると共に、欠落色信号の補間処理で色収差を補正できる画像処理装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施の形態としての電子スチールカメラの基本的構成を示すブロック図である。
【図２】図１に示すレンズ群の一例の構成を示す図である。
【図３】図１に示すカメラ信号処理回路の内部の一例の構成を示すブロック図である。
【図４】図３に示す色収差補正・欠落色補間処理部での処理の流れを示すフローチャートである。
【図５】同じく、色収差補正および欠落色補間の一例を示す図である。
【図６】本発明の第２実施の形態で用いるレンズ群の一例の構成を示す図である。
【図７】第２実施の形態における図１に示すカメラ信号処理回路の内部の一例の構成を示すブロック図である。
【図８】図７に示した撮像光学系情報メモリに予め記憶する撮像光学系情報を説明するための図である。
【図９】図７に示した色収差情報生成部の内部の一例の構成を示すブロック図である。
【図１０】色収差補正を行わない場合の単板撮像素子における欠落色信号の補間の様子を示す図である。
【符号の説明】
１カラーＣＣＤ撮像素子
２レンズ群
３絞り・シャッタ機構
４アンプ
５Ａ／Ｄ変換器
６カメラ信号処理回路
７ＡＦ，ＡＥ，ＡＷＢ検波回路
８ＣＰＵ
９バスライン
１０メモリコントローラ
１１ＤＲＡＭ
１２圧縮回路（ＪＰＥＧ）
１３メモリカード
１４メモリカードＩ／Ｆ
１５表示回路
１６液晶表示素子（ＬＣＤ）
１７パソコン（ＰＣ）
１８ＰＣＩ／Ｆ
１９ストロボ装置
２０入力キー
２１タイミングジェネレータ（ＴＧ）
２２モータ
３１フレームメモリ
３２ホワイトバランス設定部
３３撮像光学系情報メモリ
３４色収差補正情報特性算出部
３５色収差補正情報算出部
３６色収差補正・欠落色補間処理部
３７色強調マトリックス変換部
３８ γ補正部
４１フレームメモリ
４２ホワイトバランス設定部
４３第１スイッチ
４４色収差情報生成部
４５色収差情報メモリ
４６第２スイッチ
４７撮像光学系情報メモリ
４８色収差補正情報特性算出部
４９色収差補正情報算出部
５０色収差補正・欠落色補間処理部
５１色強調マトリックス変換部
５２ γ補正部
６１基準パターン画像信号メモリ
６２基準パターン参照信号メモリ
６３画像信号位置補正部
６４画像信号・参照信号間色ずれ比較部
６５色収差情報算出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that corrects lateral chromatic aberration of an optical system generated in an imaging apparatus by signal processing, and more particularly to an image processing apparatus that corrects lateral chromatic aberration when interpolating a missing color signal by signal processing. is there.
[0002]
[Prior art]
One of the aberrations generated in an optical system used for an imaging device or the like is chromatic aberration of magnification. Chromatic aberration is caused by the difference in refractive index depending on the wavelength. In particular, lateral chromatic aberration is a phenomenon in which the position (magnification) of the image on the image plane is shifted by each color because the focal length varies depending on the color. In the present specification, the lateral chromatic aberration is hereinafter simply referred to as chromatic aberration. This chromatic aberration can be corrected to some extent by the lens material or the like, but in this case, the cost for manufacturing the lens is increased because the material is expensive.
[0003]
Therefore, several methods for correcting chromatic aberration by signal processing have been proposed. For example, in Japanese Patent Publication No. 6-5959, correction data for performing interpolation processing from an error between a reference color and another color and a nearby color signal is stored in advance, and the stored data is read out during an imaging operation. In this case, correction is performed by interpolating data of other colors with neighboring data.
[0004]
In Japanese Patent Laid-Open No. 8-205181, chromatic aberration information corresponding to a lens state such as a zoom position and a screen position (information on misalignment of other colors with respect to a reference color) is stored in a memory in advance, and the corresponding chromatic aberration information is used. An image in which image data corrected for chromatic aberration with respect to a reference color is interpolated is disclosed. Furthermore, in this publication, as a contrivance for reducing the memory of chromatic aberration information, chromatic aberration is determined according to the distance from the center of the screen, or chromatic aberration information is partially stored, and a portion where no chromatic aberration information exists is interpolated. It is also disclosed that chromatic aberration information is obtained.
[0005]
[Problems to be solved by the invention]
However, in the above-described conventional example, chromatic aberration correction is basically performed at the stage where all the colors of each pixel exist. Therefore, for example, in the case of RGB, an image sensor for each color (3-plate imaging). An image pickup apparatus having an element) is required, and the image pickup apparatus itself is large and expensive because of the large number of image pickup elements.
[0006]
On the other hand, when a single-plate or two-plate image pickup device is used (the number of image pickup devices is smaller than the color signals necessary for image reproduction), the image pickup device itself is smaller than an image pickup device using a three-plate image pickup device, In this case, it is necessary to interpolate missing color signals for each pixel in order to reproduce the image. However, the color signal to be interpolated in this case is generated with respect to an image of a portion different from the image of the reference pixel due to the influence of the chromatic aberration described above.
[0007]
This will be described in more detail with reference to FIG. FIG. 10 shows how the missing color signal is interpolated in the single-plate image sensor. The pixel “G {i, j}” of interest here has a G signal, and it is necessary to interpolate the R signal and the B signal in order to reproduce it as an image. With respect to the G signal image formed at this position, ideally, the interpolated R signal and B signal are formed at the same position. However, in actuality, due to the chromatic aberration of the optical system, the imaging positions “R {i, j}” and “B {i, j}” of the R signal and the B signal related to the G signal image are represented by G as shown in FIG. The image is formed at a position different from the signal position.
[0008]
If the R signal and B signal missing color signals are interpolated without correcting the chromatic aberration, the missing color signal of the image shifted in position with respect to the referenced G signal image is interpolated. And may be reproduced as a color different from the actual color of the subject. In the case of FIG. 10, even if the R signal and B signal of the image in “G {i, j}” are to be interpolated as they are, the R signal and B signal of the actual image will be “G {i, j, j} ", the result is that an appropriate interpolation process cannot be performed.
[0009]
From the above, it is necessary to correct chromatic aberration when interpolating the missing color signal. Here, as a method for correcting chromatic aberration by signal processing, a look-up table (LUT) in which position correction information representing the amount of color signal misregistration correction is stored for each pixel based on chromatic aberration information of the imaging optical system is stored in advance. In the interpolation processing of the missing color signal, the position correction information is read from the memory LUT using the pixel position as an address, and the position is corrected by the position correction information to perform the interpolation processing.
[0010]
However, in this case, since the LUT of the position correction information is referred to each pixel before the interpolation processing, an increase in calculation time at the time of reference and an increase in the circuit scale of the memory and the like are caused, and the imaging apparatus with low cost. Then, it was difficult to correct chromatic aberration.
[0011]
Accordingly, an object of the present invention made in view of such a point is to provide an image processing apparatus capable of correcting chromatic aberration of an input image signal with a simple and inexpensive configuration and correcting chromatic aberration by interpolation processing of a missing color signal. To do.
[0012]
[Means for Solving the Problems]
The invention according to claim 1 that achieves the above-described object is an image in which the missing color signal of the image information for each pixel is restored by interpolation processing based on the color signal of the image information obtained from the image sensor through the imaging optical system. In the processing device,
An image information storage unit for storing color signals of image information obtained from the image sensor;
A chromatic aberration information storage unit that stores information on chromatic aberration generated in the imaging optical system as chromatic aberration information;
Chromatic aberration correction information for reading out chromatic aberration information from the chromatic aberration information storage unit and correcting chromatic aberration based on the pixel position of the color signal of the image information stored in the image information storage unit and information on the imaging optical system A chromatic aberration correction information generating unit for generating
An interpolation coefficient calculation unit that calculates an interpolation coefficient for interpolation processing based on the pixel position of the color signal of the image information stored in the image information storage unit and the chromatic aberration correction information generated by the chromatic aberration correction information generation unit When,
Using the color signal of the image information stored in the image information storage unit and the interpolation coefficient calculated by the interpolation coefficient calculation unit, the color signal of the image information stored in the image information storage unit and the omission An interpolation processing unit that performs interpolation processing on the color signal of the image information being
It is characterized by having.
[0013]
According to the first aspect of the present invention, the chromatic aberration correction information is generated from the chromatic aberration information based on the pixel position of the color signal of the image information and the state of the imaging optical system. Chromatic aberration correction information suitable for the image information can be obtained, and according to the pixel position of the color signal of the image information, an interpolation coefficient is generated from the chromatic aberration correction information and the input image information color signal and missing image information Since the interpolation process is applied to each color signal, an interpolation coefficient suitable for chromatic aberration correction is obtained for each pixel, and the chromatic aberration of the input color signal and the missing color signal can be corrected pixel by pixel by the interpolation process. As a result, it is possible to minimize the cost of the image pickup optical system and the image pickup device, and to generate a high-quality image in which chromatic aberration is corrected for all color signals related to all pixels by signal processing.
[0014]
The invention according to claim 2 is an image processing apparatus that restores a missing color signal of image information for each pixel by interpolation processing based on a color signal of image information obtained from an image sensor via an imaging optical system.
An image information storage unit for storing color signals of image information obtained from the image sensor;
A chromatic aberration information generating unit that generates chromatic aberration information generated in the imaging optical system based on color signals of image information obtained from the imaging element;
A chromatic aberration information storage unit for storing chromatic aberration information as chromatic aberration information generated by the chromatic aberration information generation unit;
Chromatic aberration correction information for reading out chromatic aberration information from the chromatic aberration information storage unit and correcting chromatic aberration based on the pixel position of the color signal of the image information stored in the image information storage unit and the information related to the imaging optical system. A chromatic aberration correction information generation unit to generate,
An interpolation coefficient calculation unit that calculates an interpolation coefficient for interpolation processing based on the pixel position of the color signal of the image information stored in the image information storage unit and the chromatic aberration correction information generated by the chromatic aberration correction information generation unit When,
Using the color signal of the image information stored in the image information storage unit and the interpolation coefficient calculated by the interpolation coefficient calculation unit, the color signal of the image information stored in the image information storage unit and the omission An interpolation processing unit that performs interpolation processing on the color signal of the image information being
It is characterized by having.
[0015]
According to the second aspect of the present invention, since chromatic aberration information is generated from the color signal of the image information, chromatic aberration information suitable for an actual imaging optical system for obtaining the image information can be obtained, and this chromatic aberration information is used. Since chromatic aberration correction information is generated based on the pixel position of the color signal of the image information and the state of the imaging optical system, it is possible to obtain chromatic aberration correction information suitable for each pixel according to the state change of the imaging optical system It becomes. In addition, since an interpolation coefficient is generated from the chromatic aberration correction information according to the pixel position of the color signal of the image information, an interpolation coefficient suitable for chromatic aberration correction is obtained for each pixel, and an image input based on this interpolation coefficient is obtained. Interpolation processing is performed on the color signal of information and the color signal of missing image information, so that the chromatic aberration of the input color signal and the missing color signal can be corrected in units of pixels. As a result, the imaging optical system It is possible to generate a high-quality image in which chromatic aberration is corrected for all color signals related to all pixels by signal processing while minimizing the cost of the image sensor and the like.
[0016]
According to a third aspect of the present invention, in the image processing device according to the first or second aspect, the chromatic aberration information storage unit has characteristics depending on a pixel position of a color signal of the image information and information on the imaging optical system. The chromatic aberration information is stored.
[0017]
According to the invention of claim 3, since it is not necessary to store chromatic aberration information for each pixel, the memory capacity of the chromatic aberration information storage unit can be reduced, and the chromatic aberration information storage unit and its peripheral circuit configuration can be reduced. Can be simplified.
[0018]
According to a fourth aspect of the present invention, in the image processing device according to the first or second aspect, the chromatic aberration correction information generation unit converts the chromatic aberration information read from the chromatic aberration information storage unit into a pixel of a color signal of the image information. The chromatic aberration correction information is generated by converting into characteristics depending on a position and information on the imaging optical system.
[0019]
According to the fourth aspect of the invention, since it is not necessary to store information for generating chromatic aberration correction information for each pixel, the memory capacity can be reduced, and the chromatic aberration correction information generation unit and its surroundings can be reduced. The circuit configuration can be simplified.
[0020]
According to a fifth aspect of the present invention, in the image processing device according to any one of the first to fourth aspects, the information related to the imaging optical system is a focal length of the imaging optical system. is there.
[0021]
According to the invention according to claim 5, even if the focal length changes due to a zoom operation or the like at the time of shooting, it is possible to appropriately correct chromatic aberration by obtaining chromatic aberration information and chromatic aberration correction information corresponding thereto, As a result, appropriate chromatic aberration correction can always be performed even in various photographing states.
[0022]
According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fourth aspects, the information related to the imaging optical system is obtained by dividing the imaging surface of the imaging optical system into a plurality of blocks. It is characterized by being information to be defined.
[0023]
According to the sixth aspect of the present invention, an imaging optical system in which chromatic aberration occurs in a complicated manner is also divided into a plurality of blocks to obtain partially corresponding chromatic aberration information, chromatic aberration correction information, etc., and partially properly chromatic aberration As a result, it is possible to perform appropriate chromatic aberration correction on the entire imaging surface, that is, the entire image.
[0024]
The invention according to claim 7 is the image processing apparatus according to claim 2, wherein the chromatic aberration information generation unit includes:
A pattern reference information storage unit for storing pattern information for correcting chromatic aberration as pattern reference information;
A pattern image information storage unit that stores color signals of image information obtained by photographing the pattern information as pattern image information;
A pattern image information position correction unit that performs position correction on the pattern image information stored in the pattern image information storage unit;
A color misregistration comparison unit between pattern information for generating color misregistration information by comparing the pattern image information position corrected by the pattern image information position correction unit and the pattern reference information;
A chromatic aberration information calculation unit that calculates the chromatic aberration information based on the color misregistration information generated by the color misregistration comparison unit between the pattern information;
It is characterized by having.
[0025]
According to the seventh aspect of the present invention, pattern information for correcting chromatic aberration is prepared, and chromatic aberration information is generated by comparing image information obtained by photographing this with reference information stored in advance. Even if an error occurs with respect to the system design specifications, chromatic aberration information suitable for each apparatus can be obtained, and as a result, any apparatus can appropriately perform chromatic aberration correction.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image processing apparatus according to the present invention will be described below with reference to the drawings.
[0027]
FIG. 1 is a block diagram showing a basic configuration of an electronic still camera as a first embodiment of the present invention. This electronic still camera uses a single-plate color CCD image pickup device 1 having an electronic shutter function. A subject image is formed on the CCD image pickup device 1 through a lens group 2 and an aperture / shutter mechanism 3. The subject image is photoelectrically converted and output as an image signal. The image signal of the subject image from the CCD image sensor 1 is amplified by an amplifier 4 after being removed by a correlated double sampling circuit (not shown) and further converted to a digital signal by an A / D converter 5. It is supplied to the camera signal processing circuit 6 where it is processed as image data.
[0028]
The output of the A / D converter 5 is also supplied to the AF, AE, and AWB detection circuit 7, where AF detection processing for extracting AF information for automatically controlling the focus prior to the original photographing. Then, AE detection processing for extracting AE information for automatically controlling exposure and AWB detection processing for extracting AWB information for automatically setting white balance are performed. The AF information, AE information, and AWB information from the AF, AE, and AWB detection circuit 7 are supplied to the lens group 2, the aperture / shutter mechanism 3 and the camera signal processing circuit 6 through the CPU 8, respectively.
[0029]
The camera signal processing circuit 6 and the CPU 8 are connected to a bus line 9, and a DRAM 11 used as a working memory when performing color processing of image data or the like is connected to the bus line 9 via a memory controller 10. In addition, a compression circuit (JPEG) 12 for compressing image data from the camera signal processing circuit 6 is connected. In addition, a memory card I / F 14 is connected to the bus line 9 in order to record the image data compressed by the compression circuit 12 in the memory card 13, and the image data recorded in the memory card 13 is stored in the bus line 9. A liquid crystal display element (LCD) 16 is connected via a display circuit 15 to read out and display or to display a photographing state. Further, a PCI / F 18 for transferring image data recorded on the memory card 13 to a personal computer (PC) 17 is connected to the bus line 9.
[0030]
The CPU 8 is connected to a strobe device 19 that is controlled based on AE information from the AF, AE, and AWB detection circuit 7 and an input key 20 that sets various shooting modes, drives a trigger switch, and the like. Yes. The CCD image pickup device 1 is driven by a timing pulse from a timing generator (TG) 21 under the control of the CPU 8.
[0031]
Further, the lens group 2 is driven by a motor 22 in response to a zoom operation from the input key 20, and its focal length information is taken into the CPU 8 via the motor 22 and camera signal processing is performed together with AF information, AE information, and AWB information. The circuit 6 is supplied.
[0032]
FIG. 2 shows an example of the configuration of the lens group 2 used in the present embodiment. This lens group 2 is a zoom lens and has an optical axis rotationally symmetric characteristic with respect to aberrations and the like, and can be set to a telephoto (tele) or wide-angle (wide) state by being driven by a motor 22 and changing a focal length. It is configured.
[0033]
FIG. 3 is a block diagram showing an example of the internal configuration of the camera signal processing circuit 6 in the present embodiment. The camera signal processing circuit 6 includes a frame memory 31, a white balance setting unit 32, an imaging optical system information memory 33, a chromatic aberration correction information characteristic calculation unit 34, a chromatic aberration correction information calculation unit 35, a chromatic aberration correction / missing color interpolation processing unit 36, A color enhancement matrix conversion unit 37 and a γ correction unit 38 are provided, and the imaging optical system information memory 33 stores information related to the imaging optical system including chromatic aberration information in advance.
[0034]
In the camera signal processing circuit 6, an image signal output as a digital signal from the A / D converter 5 is stored in the frame memory 31, and the image signal stored in the frame memory 31 is stored in the white balance setting unit 32. Then, white balance adjustment is performed using AWB information, AE information, etc. output from the CPU 8, and the image signal subjected to the white balance adjustment is supplied to the chromatic aberration correction information calculation unit 35 and the chromatic aberration correction / missing color interpolation processing unit 36, respectively. To do.
[0035]
On the other hand, the chromatic aberration correction information characteristic calculation unit 34, based on information related to the imaging optical system such as chromatic aberration information stored in advance in the imaging optical system information memory 33, and focal length information and AF information output from the CPU 8, A characteristic for generating chromatic aberration correction information expressed as a function depending on the position of the pixel on the imaging surface, that is, the CCD image pickup device 1 is calculated, and the characteristic of the calculated chromatic aberration correction information is calculated as a chromatic aberration correction information calculation unit 35. To supply.
[0036]
The chromatic aberration correction information calculation unit 35 generates an image signal in units of pixels based on the image signal that has been white balance adjusted by the white balance setting unit 32 and the characteristics of the chromatic aberration correction information calculated by the chromatic aberration correction information characteristic calculation unit 34. Referring to the reference pixel position, chromatic aberration correction information is calculated from the characteristics of the chromatic aberration correction information, and the calculated chromatic aberration correction information is supplied to the chromatic aberration correction / missing color interpolation processing unit 36. In the present embodiment, it is assumed that the chromatic aberration correction information is represented at the sub-pixel level by using the positional deviation of the image in the reference pixel for each color as the image plane coordinate value.
[0037]
In the chromatic aberration correction / missing color interpolation processing unit 36, input is performed as described later based on the image signal that has been white balance adjusted by the white balance setting unit 32 and the chromatic aberration correction information calculated by the chromatic aberration correction information calculation unit 35. A chromatic aberration correction process for the image signal that has been performed and an interpolation process for correcting the chromatic aberration for the missing color signal are performed.
[0038]
The image signal that has been subjected to chromatic aberration correction and missing color interpolation processing by the chromatic aberration correction / missing color interpolation processing unit 36 is subjected to color enhancement processing by the color enhancement matrix conversion unit 37 and then γ-corrected by the γ correction unit 38 to be the bus line 9. Transmit to.
[0039]
FIG. 4 is a flowchart showing the flow of processing in the chromatic aberration correction / missing color interpolation processing unit 36 described above. In the image signal obtained by photographing with the electronic still camera shown in FIG. 1, chromatic aberration, that is, a positional shift different for each color occurs in each pixel, and a portion shifted from the original reference position is used as an image. Therefore, the missing color signal cannot be appropriately interpolated unless this chromatic aberration is corrected.
[0040]
Therefore, in the chromatic aberration correction / missing color interpolation processing unit 36, first, in step S1, the pixel value, the image plane coordinate value, and the corresponding pixel value of the pixel near the reference pixel position having the color signal to be subjected to chromatic aberration correction and missing color interpolation. Read color chromatic aberration correction information. However, in correcting the chromatic aberration of the reference pixel, information on the reference pixel itself is also read. Note that the number of neighboring pixels required here can be set to the same level as that of general interpolation that is normally performed, for example.
[0041]
Next, in step S2, the image plane coordinate value of each read pixel is corrected based on the chromatic aberration correction information. This is chromatic aberration correction for each pixel, and as a result, the position of the image corresponding to the pixel value of each pixel is an appropriate place.
[0042]
FIG. 5A shows an example. Here, the reference pixel p0 {i, j} is a G signal (white point), and four pixels adjacent to the diagonal of p0 {i, j} are used as neighboring pixels. Here, if the G chromatic aberration correction information in the reference pixel p0 {i, j} is {GFx (i, j), GFy (i, j)}, the reference pixel p0 {i, j is obtained by chromatic aberration correction in step S2. Is originally shifted by chromatic aberration correction information and becomes p0 {i + GFx (i, j), j + GFy (i, j)} in FIG. Similarly, with respect to neighboring pixels, the original imaging position is shifted by the amount of chromatic aberration correction information due to chromatic aberration correction.
[0043]
Thereafter, in step S3, a weighting coefficient (interpolation coefficient) used for interpolation processing is calculated based on the distance between the position of each pixel corrected in chromatic aberration in step S2 and the reference pixel position. Here, the calculated interpolation coefficient considers correction of chromatic aberration. If the distance from the reference pixel position is small (close) for each pixel corrected for chromatic aberration as a characteristic, the interpolation coefficient is increased. When the distance to the pixel position is large (far), the interpolation coefficient is made small.
[0044]
FIG. 5B shows an example thereof, and shows a state after the chromatic aberration correction from FIG. 5A. In FIG. 5B, when interpolation of the pixel P {i, j} at the reference position is performed by the five chromatic aberration correction pixels P0 to P4 located in the vicinity, the pixel P {i, j} and the pixel Pn (n = When the distance from 0, 1, 2, 3, 4) is Dn, the interpolation coefficient Wn corresponding to the pixel Pn is expressed by the equation (1).
[0045]
[Expression 1]
Wn = (S−Dn) / (4 × S) (1)
However, S = ΣDn (n = 0, 1, 2, 3, 4)
[0046]
As is apparent from the equation (1), the interpolation coefficient Wn is determined based on the ratio of the distance Dn to the total distance S. That is, if the distance Dn is small, the interpolation coefficient Wn is large, so that the pixel value calculation ratio in interpolation is large. If the distance Dn is large, the interpolation coefficient Wn is small, and the pixel value calculation ratio in interpolation is small. It is clear that the total sum of the interpolation coefficients Wn is 1. Furthermore, generalizing equation (1), the interpolation coefficient Wn when performing interpolation processing using N chromatic aberration correction pixels located in the vicinity is expressed by equation (2).
[0047]
[Expression 2]
Wn = (S−Dn) / {(N−1) × S} (2)
However, S = ΣDn (n = 0, 1,..., N−1)
[0048]
Next, in step S4, the pixel value of the corresponding color signal at the reference pixel position is calculated by interpolation processing using the calculated interpolation coefficient and the corresponding pixel value of each pixel corrected for chromatic aberration. Here, if the pixel values of the N chromatic aberration correction pixels Pn corresponding to the N interpolation coefficients Wn in the equation (2) are PVn, the interpolation pixel value PV {i, of the pixel P {i, j} at the reference position. j} is expressed by equation (3).
[0049]
[Equation 3]
PV {i, j} = Σ (PVn × Wn) (3)
However, n = 0, 1,..., N−1
[0050]
By calculating the pixel value of the reference position by interpolation by reflecting the positional relationship of the pixel values corrected for chromatic aberration in the interpolation coefficient by steps S1 to S4 described above, an appropriate pixel value corrected for chromatic aberration with respect to the reference position is obtained. Obtainable. Further, since the hearing method for correcting chromatic aberration described in FIG. 4 can be realized by the same method for both the input image signal and the missing color signal, the correction of the chromatic aberration of the input signal and the missing color signal in each pixel. There is no need to separate the case into interpolation, and the processing system itself can be simply configured.
[0051]
As described above, according to the present embodiment, the chromatic aberration correction information is calculated as a function depending on the position of the pixel based on the chromatic aberration information of the imaging optical system, so that a large capacity for storing the chromatic aberration information in each pixel. Therefore, the processing circuit scale can be reduced. Further, even if the state of the imaging optical system changes due to zooming or the like, the corresponding chromatic aberration correction information is obtained, so that appropriate chromatic aberration correction information can always be calculated even in various situations such as wide angle and telephoto. . Furthermore, the interpolation process for correcting chromatic aberration can be performed in the same process regardless of the input color signal and the missing color signal, so that the processing circuit scale can be reduced and the processing speed can be increased. As a result, a color image in which chromatic aberration is appropriately corrected can be reproduced.
[0052]
In the second embodiment of the present invention, in the electronic still camera shown in FIG. 1, the motor 22 is omitted and the lens group 2 is configured with an eccentric free-form surface lens. The other basic configuration is the same as that shown in FIG.
[0053]
FIG. 6 shows an example of the configuration of the lens group 2 used in the present embodiment. This lens group 2 is a non-rotationally symmetric decentered free-form surface lens, and has characteristics such that an extremely bright and high-resolution image signal can be obtained, and that it can be reduced in size and weight.
[0054]
FIG. 7 is a block diagram showing an example of the internal configuration of the camera signal processing circuit 6 shown in FIG. 1 in the present embodiment. The camera signal processing circuit 6 includes a frame memory 41, a white balance setting unit 42, a first switch 43, a chromatic aberration information generation unit 44, a chromatic aberration information memory 45, a second switch 46, an imaging optical system information memory 47, and chromatic aberration correction information characteristics. A calculation unit 48, a chromatic aberration correction information calculation unit 49, a chromatic aberration correction / missing color interpolation processing unit 50, a color enhancement matrix conversion unit 51, and a γ correction unit 52 are provided. Here, the frame memory 41, the white balance setting unit 42, the chromatic aberration correction / missing color interpolation processing unit 50, the color enhancement matrix conversion unit 51, and the γ correction unit 52 are the frame memory 31, the white balance setting unit shown in FIG. 32, the function is the same as that of the chromatic aberration correction / missing color interpolation processing unit 36, the color enhancement matrix conversion unit 37, and the γ correction unit 38, and a description thereof will be omitted. Further, the internal processing in the chromatic aberration correction / missing color hearing processing unit 50 is also the same as that in FIG.
[0055]
In the present embodiment, a reference pattern for generating chromatic aberration information is prepared in advance, and the chromatic aberration information is stored in the chromatic aberration information memory 45 by photographing this with an electronic still camera. The chromatic aberration information and the imaging optical system information memory The chromatic aberration correction information is calculated based on the imaging optical system information stored in advance in 47.
[0056]
Therefore, first, the CPU 8 controls the first switch 43 and the second switch 46 based on the shooting mode signal of the general shooting mode or the reference pattern shooting mode selected according to the state of the input key 20 in FIG.
[0057]
Here, when the shooting mode signal indicates the reference pattern shooting mode, the first switch 43 is driven to transmit the image signal after white balance adjustment to the chromatic aberration information generation unit 44, and the second switch 46 is corrected for chromatic aberration. The information characteristic calculation unit 48 is driven to be in an open state so that information from the chromatic aberration information memory 45 is not transmitted. Thereby, in the reference pattern photographing mode, the image signal of the photographed reference pattern is supplied to the chromatic aberration information generation unit 44, chromatic aberration information is generated by a method described later, and the generated chromatic aberration information is stored in the chromatic aberration information memory 45. Stored and used for chromatic aberration correction of an image signal shot in the general shooting mode.
[0058]
On the other hand, when the shooting mode indicates the general shooting mode, the first switch 43 transmits the image signal after the white balance adjustment to the chromatic aberration correction information calculation unit 49 and the chromatic aberration correction / missing color interpolation processing unit 50. The second switch 46 is driven in the closed state so as to transmit the information from the chromatic aberration information memory 45 to the chromatic aberration correction information characteristic calculator 48. Thereby, in the general imaging mode, the chromatic aberration information in the chromatic aberration information memory 45 is read into the chromatic aberration correction information characteristic calculator 48 through the second switch 46 and the imaging optical system information in the imaging optical system information memory 47 is read.
[0059]
Here, the imaging optical system information stored in advance in the imaging optical system information memory 47 is information defined by dividing the entire image plane into a plurality of partial blocks, for example, as shown in FIG. Accordingly, the information is determined to which block the pixel belongs.
[0060]
The chromatic aberration correction information characteristic calculation unit 48 calculates a characteristic for generating chromatic aberration correction information based on the chromatic aberration information for each block of the imaging optical system information. Thus, calculating the characteristics for generating chromatic aberration correction information individually corresponding to each block has a non-rotationally symmetric shape like a decentered free-form surface lens, and the chromatic aberration is partially different and complicated. This is a very effective method when an imaging optical system is generated. The characteristic for generating the chromatic aberration correction information is expressed as a function depending on the position of the pixel on the CCD image pickup device 1 as in the first embodiment.
[0061]
The chromatic aberration correction information calculation unit 49 reads the image signal after white balance adjustment and the characteristics of the chromatic aberration correction information calculated by the chromatic aberration correction information characteristic calculation unit 48 to calculate chromatic aberration correction information. The processing in the chromatic aberration correction information calculation unit 49 is basically the same as the processing in the chromatic aberration correction information calculation unit 35 in the first embodiment shown in FIG. 3, but in this embodiment the image plane is changed. Since the characteristics of the chromatic aberration correction information are different for each divided block, the chromatic aberration correction information characteristic for the block corresponding to the position of the reference pixel is selected, and the positional deviation of the image in the reference pixel based on the selected chromatic aberration correction information characteristic Is calculated as coordinate values of the image plane. The subsequent processing is the same as that of the first embodiment.
[0062]
FIG. 9 is a block diagram showing an example of the internal configuration of the chromatic aberration information generation unit 44 shown in FIG. The chromatic aberration information generation unit 44 includes a standard pattern image signal memory 61, a standard pattern reference signal memory 62, an image signal position correction unit 63, an image signal / reference signal color shift comparison unit 64, and a chromatic aberration information calculation unit 65. Yes.
[0063]
In this embodiment, the chromatic aberration information of the imaging optical system based on the optical design value or the like is not stored in advance as in the first embodiment, but the chromatic aberration information is based on the image signal obtained by photographing the reference pattern. Generate. Therefore, when generating the chromatic aberration information, first, the image signal of the captured reference pattern transmitted through the first switch 43 is read into the reference pattern image signal memory 61 and stored. Here, the image signal of the reference pattern stored in the reference pattern image signal memory 61 is a single-plate image signal after white balance adjustment, and a missing color signal exists for each pixel.
[0064]
Separately from this, the reference pattern reference signal memory 62 stores reference information of a reference pattern without chromatic aberration in advance. The reference information of the reference pattern stored in the reference pattern reference signal memory 62 is handled as reference information of a single plate by a single plate color filter similar to that of the imaging apparatus. The reference pattern used here is preferably a pattern in which a plurality of colors are mixed, such as a color chart, from the viewpoint of generating chromatic aberration information, and reference information without chromatic aberration is easily obtained. Thus, it is preferable in terms of handling to use artificial data such as CG.
[0065]
Next, in the image signal position correction unit 63, after performing processing such as alignment of the image signal of the reference pattern, for example, adjusting the center of the reference pattern to the center of the entire image, the image signal / reference signal color shift comparison unit In 64, the color shift is calculated by comparing the image signal at the same pixel position with the reference signal.
[0066]
The color shift calculation method in the image signal / reference signal color shift comparison unit 64 also depends on the reference pattern, but for example, in which direction the color of the reference pixel is based on the referenced pixel and the pixel value in the vicinity thereof. The color shift information is calculated as the color shift information by calculating the color shift information.
[0067]
Next, the chromatic aberration information calculation unit 65 calculates chromatic aberration information based on the color shift information from the image signal / reference signal color shift comparison unit 64. Here, the chromatic aberration information is not calculated in units of pixels. For example, the average of the color misregistration information of the corresponding color in the block is used as the chromatic aberration information of the block, and the partial chromatic aberration information corresponds to the partial block defined in the imaging optical system information. Thus, the chromatic aberration characteristic that is different for each block is maintained. The chromatic aberration information generated by the chromatic aberration information calculation unit 65 is transmitted to the chromatic aberration information memory 45.
[0068]
In the above configuration, it is possible to update the chromatic aberration information by the reference pattern photographing by switching the input key 20 of the image pickup apparatus. However, as another method, the chromatic aberration information can be updated by the above method in the manufacturing inspection or the like. It is also possible to store in advance and generally prevent the chromatic aberration information from being updated.
[0069]
As described above, according to the present embodiment, the entire image plane is divided into a plurality of blocks, and interpolation processing is performed by calculating chromatic aberration correction information as a function depending on the pixel position in a state corresponding to each block. Since this is performed, it is possible to calculate appropriate chromatic aberration correction information for the reference pixel even for a complicated imaging optical system having partially different chromatic aberration characteristics. That is, since appropriate chromatic aberration correction can be performed for any part, as a result, the chromatic aberration correction effect can be achieved on the entire image. In addition, since the chromatic aberration information is generated by photographing the reference pattern, for example, even if an error occurs due to manufacturing with respect to the design specification of the imaging optical system, the optimum chromatic aberration information can be obtained in each apparatus, and as a result Thus, an image with chromatic aberration corrected can be reproduced. Further, as in the case of the first embodiment, the interpolation processing for correcting chromatic aberration for each pixel can be performed by the same processing regardless of the input color signal and the missing color signal. The scale can be reduced and the processing speed can be increased. As a result, a color image in which chromatic aberration is appropriately corrected can be reproduced.
[0070]
【The invention's effect】
As is apparent from the above description, according to the present invention, an image processing apparatus capable of correcting chromatic aberration of an input image signal and correcting chromatic aberration by interpolation processing of a missing color signal can be obtained with a simple and inexpensive configuration. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of an electronic still camera as a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of an example of a lens group illustrated in FIG.
3 is a block diagram showing an example of the internal configuration of the camera signal processing circuit shown in FIG. 1. FIG.
4 is a flowchart showing a flow of processing in a chromatic aberration correction / missing color interpolation processing unit shown in FIG. 3;
FIG. 5 is a diagram similarly showing an example of chromatic aberration correction and missing color interpolation.
FIG. 6 is a diagram showing a configuration of an example of a lens group used in the second embodiment of the present invention.
FIG. 7 is a block diagram showing an example of the internal configuration of the camera signal processing circuit shown in FIG. 1 in the second embodiment.
8 is a diagram for explaining imaging optical system information stored in advance in an imaging optical system information memory shown in FIG. 7; FIG.
9 is a block diagram showing an example of the internal configuration of the chromatic aberration information generation unit shown in FIG. 7;
FIG. 10 is a diagram illustrating how a missing color signal is interpolated in a single-plate image sensor when chromatic aberration correction is not performed.
[Explanation of symbols]
1 Color CCD image sensor
2 Lens group
3 Aperture / Shutter Mechanism
4 amplifiers
5 A / D converter
6 Camera signal processing circuit
7 AF, AE, AWB detection circuit
8 CPU
9 Bus line
10 Memory controller
11 DRAM
12 Compression circuit (JPEG)
13 Memory card
14 Memory card I / F
15 Display circuit
16 Liquid crystal display (LCD)
17 PC
18 PCI / F
19 Strobe device
20 Input key
21 Timing generator (TG)
22 Motor
31 frame memory
32 White balance setting section
33 Imaging optical system information memory
34 Chromatic aberration correction information characteristic calculation unit
35 Chromatic aberration correction information calculation unit
36 Chromatic aberration correction / missing color interpolation processing section
37 Color enhancement matrix converter
38 γ correction unit
41 frame memory
42 White balance setting section
43 First switch
44 Chromatic aberration information generator
45 Chromatic aberration information memory
46 Second switch
47 Imaging optical system information memory
48 Chromatic aberration correction information characteristic calculator
49 Chromatic aberration correction information calculation unit
50 Chromatic aberration correction / missing color interpolation processing section
51 Color enhancement matrix converter
52 γ correction unit
61 Reference pattern image signal memory
62 Reference pattern reference signal memory
63 Image signal position correction unit
64 Color shift comparison part between image signal and reference signal
65 Chromatic aberration information calculator

Claims

In an image processing apparatus that restores a color signal of image information that is missing with respect to each pixel based on a color signal of image information obtained from an image sensor through an imaging optical system by interpolation processing,
An image information storage unit for storing color signals of image information obtained from the image sensor;
A chromatic aberration information storage unit that stores information on chromatic aberration generated in the imaging optical system as chromatic aberration information;
Chromatic aberration correction information for reading out chromatic aberration information from the chromatic aberration information storage unit and correcting chromatic aberration based on the pixel position of the color signal of the image information stored in the image information storage unit and information on the imaging optical system A chromatic aberration correction information generating unit for generating
An interpolation coefficient calculation unit that calculates an interpolation coefficient for interpolation processing based on the pixel position of the color signal of the image information stored in the image information storage unit and the chromatic aberration correction information generated by the chromatic aberration correction information generation unit When,
Using the color signal of the image information stored in the image information storage unit and the interpolation coefficient calculated by the interpolation coefficient calculation unit, the color signal of the image information stored in the image information storage unit and the omission An interpolation processing unit that performs interpolation processing on the color signal of the image information being
An image processing apparatus comprising:

In an image processing apparatus that restores a color signal of image information that is missing with respect to each pixel based on a color signal of image information obtained from an image sensor through an imaging optical system by interpolation processing,
An image information storage unit for storing color signals of image information obtained from the image sensor;
A chromatic aberration information generating unit that generates chromatic aberration information generated in the imaging optical system based on color signals of image information obtained from the imaging element;
A chromatic aberration information storage unit for storing chromatic aberration information as chromatic aberration information generated by the chromatic aberration information generation unit;
Chromatic aberration correction information for reading out chromatic aberration information from the chromatic aberration information storage unit and correcting chromatic aberration based on the pixel position of the color signal of the image information stored in the image information storage unit and the information related to the imaging optical system. A chromatic aberration correction information generation unit to generate,
An interpolation coefficient calculation unit that calculates an interpolation coefficient for interpolation processing based on the pixel position of the color signal of the image information stored in the image information storage unit and the chromatic aberration correction information generated by the chromatic aberration correction information generation unit When,
Using the color signal of the image information stored in the image information storage unit and the interpolation coefficient calculated by the interpolation coefficient calculation unit, the color signal of the image information stored in the image information storage unit and the omission An interpolation processing unit that performs interpolation processing on the color signal of the image information being
An image processing apparatus comprising:

3. The image processing according to claim 1, wherein the chromatic aberration information storage unit stores, as the chromatic aberration information, characteristics depending on a pixel position of a color signal of the image information and information relating to the imaging optical system. apparatus.

The chromatic aberration correction information generation unit converts the chromatic aberration information read from the chromatic aberration information storage unit into characteristics depending on a pixel position of a color signal of the image information and information on the imaging optical system, and corrects the chromatic aberration. The image processing apparatus according to claim 1, wherein information is generated.

The image processing apparatus according to claim 1, wherein the information related to the imaging optical system is a focal length of the imaging optical system.

5. The image processing apparatus according to claim 1, wherein the information related to the imaging optical system is information that defines an imaging plane of the imaging optical system by dividing it into a plurality of blocks. .

The chromatic aberration information generator is
A pattern reference information storage unit for storing pattern information for correcting chromatic aberration as pattern reference information;
A pattern image information storage unit that stores color signals of image information obtained by photographing the pattern information as pattern image information;
A pattern image information position correction unit that performs position correction on the pattern image information stored in the pattern image information storage unit;
A color misregistration comparison unit between pattern information for generating color misregistration information by comparing the pattern image information position corrected by the pattern image information position correction unit and the pattern reference information;
A chromatic aberration information calculation unit that calculates the chromatic aberration information based on the color misregistration information generated by the color misregistration comparison unit between the pattern information;
The image processing apparatus according to claim 2, further comprising: