JP2010045588A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】倍率色収差によって発生する色ずれの検出を精度良く行うことが可能な画像処理装置及び画像処理方法を提供すること。
【解決手段】画像データから少なくとも一部の画像信号を抽出する画像信号抽出部と、抽出された画像信号を検出対象とし、画像信号の輝度値に基づいて、検出対象から画像データによる画像内のエッジ部分を検出するエッジ検出部と、画像内の基準位置からの距離に応じて、画像信号内に含まれる少なくとも２つの色成分について相関を算出し、色ずれ量を検出する色ずれ量検出部とを有する。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

スチルカメラやビデオカメラ等の撮像装置において、レンズなどの光学系によって倍率色収差が発生する。倍率色収差は、可視光の波長によってレンズの屈折率が異なり、焦点距離が異なるため、像の大きさに差が生じて発生する。

倍率色収差が発生するレンズで白色点光源を撮影すると、画面の周辺部が虹色に色づき、放射方向に伸びるように光源が撮影される。また、通常の被写体でも、特に画像のエッジ部分で色ずれが顕著に見られる。そこで、例えば特許文献１には、倍率色収差による色ずれを検出し画像を補正する技術が開示されている。

特開２００６−２０２７５号公報

ところで、特許文献１による技術では、ＣＣＤやＣＭＯＳ等の撮像素子から得られたＲＡＷデータに基づいて、色ずれの検出と補正を行う。その際、画像のエッジ部分を検出対象領域として、色ずれの検出を行う。しかしながら、画像のエッジ部分では、画像信号の輝度値が飽和しているときのフリンジによる偽色が原因で、エッジ部分の周波数特性が劣化してしまい、エッジ部分を正しく検出できないという問題があった。また、点像強度分布関数（ＰＳＦ：point spread function）による注目画素周辺の点像拡散が原因のフリンジによる偽色が原因で、エッジ部分の周波数特性が劣化してしまい、エッジ部分を正しく検出できないという問題があった。従って、エッジ部分を正しく検出できないため、色ずれの検出精度が低下していた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、倍率色収差によって発生する色ずれの検出を精度良く行うことが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像信号の信号特性に基づいて、画像データから少なくとも一部の画像信号を抽出する画像信号抽出部と、抽出された画像信号を検出対象とし、画像信号の輝度値に基づいて、検出対象から画像データによる画像内のエッジ部分を検出するエッジ検出部と、画像内の基準位置からの距離に応じて、画像信号内に含まれる少なくとも２つの色成分について相関を算出し、色ずれ量を検出する色ずれ量検出部とを有する画像処理装置が提供される。

上記画像信号抽出部は、画像信号の輝度値が飽和レベル又は飽和レベル近傍であるか否かを判断する判断部と、飽和レベル又は飽和レベル近傍であると判断された画像信号以外の画像信号を抽出する第１の抽出部とを有してもよい。

上記画像信号抽出部は、画像信号が画像内の基準位置から位置する距離を算出する距離算出部と、距離に応じて画像信号を抽出する第２の抽出部とを有してもよい。

上記エッジ検出部は、画像データに含まれる全て又は少なくとも一部の画像信号の輝度値に基づいてエッジ検出に関する閾値を算出する閾値算出部を有し、閾値に基づいて画像データによる画像内のエッジ部分を検出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像信号の信号特性に基づいて、画像データから少なくとも一部の画像信号を抽出するステップと、抽出された画像信号を検出対象とし、画像信号の輝度値に基づいて、検出対象から画像データによる画像内のエッジ部分を検出するステップと、画像内の基準位置からの距離に応じて、画像信号内に含まれる少なくとも２つの色成分について相関を算出し、色ずれ量を検出するステップとを有する画像処理方法が提供される。

本発明によれば、倍率色収差によって発生する色ずれの検出を精度良く行うことができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本実施形態の撮像装置１００は、例えば、レンズ１１４が交換可能、又は交換不可能双方におけるディジタルスチルカメラに限られず、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置１００を適用することができる。

また、後述する撮像装置１００の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置１００の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。

まず、本実施形態に係る撮像装置１００の構成を説明する。図１は、本実施形態に係る撮像装置を示すブロック図である。

図１に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。
撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、カメラ信号処理部１０３と、変換処理部１０４と、圧縮伸張部１０５と、メモリ制御部１０６と、メモリ１０７と、表示処理部１０８と、圧縮伸張部１０９と、記録デバイス制御部１１０と、記録デバイス１１１と、表示部１１２と、制御部１１３と、撮像レンズ１１４などを備えている。

撮像レンズ１１４は、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。倍率色収差は、被写体からの光が撮像レンズ１１４を通過する際、可視光の波長の長さでその屈折率が異なるために各色で焦点距離が異なり、結像位置がずれてしまうことにより発生する。また、倍率色収差は、撮像レンズ１１４の点像強度分布関数（ＰＳＦ：point spread function）により結像位置において、各色が点像強度分布による分散を持つために、各色間の分散の幅の差が偽色となって発生する。

イメージセンサ１０１は、光学系（例えば、撮像レンズ１１４、赤外線除去フィルタ、光学的ローパスフィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、イメージセンサ１０１として、ＣＣＤ(Charge Coupled Device)を使用してもよい。

また、イメージセンサ１０１は、例えば、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１０１は、６０ｆｐｓ以上のフレームレート、例えば通常レートの４倍の２４０ｆｐｓで高速に信号を読み出してもよい。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）及びＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。

前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。前処理部１０２は、後述する倍率色収差の検出や補正を行う。前処理部１０２は、画像データから少なくとも一部の画像信号を抽出する画像信号抽出部と、抽出された画像信号を検出対象とし、画像信号の輝度値に基づいて、検出対象から画像データによる画像内のエッジ部分を検出するエッジ検出部と、画像内の基準位置からの距離に応じて、画像信号内に含まれる少なくとも２つの色成分について相関を算出し、色ずれ量を検出する色ずれ量検出部とを有する。

カメラ信号処理部１０３は、前処理部１０２からの撮像データに対して、同時化処理、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。

変換処理部１０４は、カメラ信号処理部１０３から受け取った画像信号を表示部１１２の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理部１０８に出力するとき行う。

圧縮伸張部１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御部１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御部１０６は、メモリ１０７に対する画像データの書き込み及び読み込みを制御する。メモリ１０７は、メモリ制御部１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。

表示処理部１０８は、変換処理部１０４又は圧縮伸張部１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、画像信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータの画像などを表示する。

圧縮伸張部１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理部１０８に出力する。表示部１１２は、表示処理部１０８から受け取った動画を表示する。

制御部１１３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。

次に、画像信号処理による倍率色収差の検出及び補正方法の動作について説明する。

本実施形態では、ＲＡＷデータにおいて倍率色収差の検出と補正を行うとする。ＲとＢのそれぞれの位置にその近傍のＧから補間Ｇを生成し、画素位置の揃ったＲと補間Ｇ、又は画素位置の揃ったＢと補間Ｇによって擬似輝度信号を生成する。倍率色収差は、輝度のエッジ付近に生じるということから、擬似輝度信号を用いて高周波成分を検出（エッジを検出）する。ある方向において、像高毎に上記高周波の位置における補間Ｇ（のウィンドウ）と、Ｒ又はＢ（のウィンドウ）のずれ量を検出する。そして、ずれ量の検出を様々な方向でも行い、各像高におけるずれ量のヒストグラムを生成し、各像高におけるその最頻値を最終的なずれ量、すなわち収差量として検出する。補正は、ＲとＢに対して行い、検出されたずれ量の分だけずらした位置の画素値を補間することで行う。

図１８は、倍率色収差の検出と補正動作を示すフローチャートである。
まず、倍率色収差の検出と補正をＲＡＷデータに対して行うため、ＲＡＷデータが入力される（ステップＳ００１）。

次に、Ｒの画素位置にＧを補間する（ステップＳ００２）。この補間されたＧを以下では補間Ｇという。補間Ｇは、補間位置の近傍にあるＧを使用し、加算平均によって得られる。全画像領域に対しこの補間処理を行う。なお、ステップＳ０１１までのステップＳ００２以降の処理も同様に全画像領域に対して行われる。これにより、Ｒと補間ＧのそれぞれでＲＡＷデータのサイズ、かつ他色が欠落した間欠配列の画像が得られる。そして、この欠落した部分の画素位置にデータを有する画素を寄せて詰めることで、Ｒと補間ＧのそれぞれでＲＡＷデータの１／４サイズのプレーン画像を生成する（ステップＳ００２）。以降、ここではＲとＧを例にしているが、これがＢとＧであってもよく、ＲとＢのどちらを先に処理するかの処理順は問わない。

そして、同位相に位置するＲと補間Ｇを用い、（Ｒ＋補間Ｇ）／２を計算することで擬似輝度信号を生成する（ステップＳ００３）。この擬似輝度信号は全画素位置それぞれにおいて算出される。

その後、例えば光軸を中心（極）としたときの動径方向に擬似輝度信号をハイパスフィルタ処理（ＨＰＦ）し、ＨＰＦ結果の絶対値をエッジ検出用の閾値と比較することによって、高周波成分（エッジ）を検出する（ステップＳ００４）。

次に、上記ステップＳ００４で検出された高周波成分（エッジ）を含む部分を中心としてＧのウィンドウを設ける。ここで、ウィンドウとは、例えば５画素×５ライン等の縦横に有限長の画素エリアのことである。また、Ｇと同サイズのＲのウィンドウを設ける。そして、動径方向にシフトしながらＧウィンドウとＲウィンドウ間で、同じ座標にある画素どうしの差分の絶対値をとり、全て加算する（以下、ＳＡＤ：Sum of Absolute Differenceと記載する。）。このＳＡＤ結果がいわゆるＲウィンドウとＧウィンドウとの相関を表す指標となる。すなわち、このＳＡＤ結果が大きければ相関が低く、ＳＡＤ結果が小さければ相関が高いということである。上述したように、Ｒウィンドウを動径方向にシフトしつつＳＡＤを求めていき、ＳＡＤ結果が最も小さい（＝最も相関が高い）ＲウィンドウとＧウィンドウと間の距離（＝Ｒウィンドウの中心とＧウィンドウの中心との間の距離）を色ずれ量として検出する（ステップＳ００５）。なお、本処理は像高毎に行われる。

そして、ステップＳ００５で得られた色ずれ量を像高１００％の距離で正規化することで、各像高におけるＲのＧに対する拡大縮小倍率を算出する（ステップＳ００６）。これは、Ｒに対するＧの倍率色収差の候補である。なお、本処理は像高毎に行われる。

次に、ステップＳ００５の色ずれ量検出処理とＳ００６の拡大縮小倍率算出処理を様々な任意の動径方向に対して行う（ステップＳ００７）。この任意の動径方向は、３６０度方向のうち可能な限りバランスさせて様々な方向にとることが望ましく、方向のバランスが均一であったり、方向数が多いほど後述するヒストグラムの精度が増す。

ステップＳ００７で得られた倍率色収差の候補群（拡大縮小倍率）の発生頻度から、像高毎に拡大縮小倍率のヒストグラムを生成する（ステップＳ００８）。このヒストグラムは、倍率色収差の候補の発生頻度の分布を示すものである。そして、ステップＳ００８で得られた各像高におけるヒストグラムの最頻値を最終的に検出された倍率色収差量として決定する（ステップＳ００９）。

そして、各像高毎に、ステップＳ００９で得られた倍率色収差量を用いて、Ｒの倍率色収差による色ずれを補正する（ステップＳ０１０）。ステップＳ００９により得られた倍率色収差量は、Ｒの補間Ｇに対する拡大縮小倍率であるので、補正しようとするＲの画像中心からの距離に検出された倍率色収差量を乗算する。補正後の画像中心からの距離を得て、その補正した距離に位置するＲの画素値を近傍に位置するＲから補間することでＲの倍率色収差補正が完了する。

また、ステップＳ００２〜Ｓ０１０をＢに対しても行うことでＢの倍率色収差補正が完了する（ステップＳ０１１）。

（フリンジによるエッジ誤検出の問題）
まず、フリンジについて説明する。図２及び図３は、レンズと結像面の関係を示す説明図（Ａ）及び結像面とＰＳＦの関係を示す説明図（Ｂ）である。
図２に示すように、点像強度分布関数（ＰＳＦ：point spread function）（後述）により近傍画素に拡散された色が、広い画素領域に渡って漏れるため、結果として周囲に偽色や色ずれ、色滲みとして発生してしまう現象がフリンジと言われている。図２に示す例は、ＲとＧとＢの結像位置がずれている例である。図２に示すように、色がずれる現象が倍率色収差である。なお、フリンジは、倍率色収差が発生していなくても起こり得る現象である。

また、フリンジは、図３に示すように、各色の飽和状態に関わらず起こり得る現象である。フリンジは、エッジ部分における画素のうち、輝度値が上側の画素で輝度値が飽和していると発生しやすい。但し、フリンジは、輝度値の飽和状態に関わらず発生する。フリンジが発生すると、エッジ部分の周波数特性が悪化し、エッジ検出の精度を劣化させる。

また、フリンジは、エッジ強度が大きいほど、フリンジの発生量は大きくなる特徴がある。エッジ強度が大きくなるほど、ＰＳＦの拡散が広範囲に及び、拡散の裾野の範囲が多くなるからである。エッジ強度とは、隣接する画素の輝度値の差である。

また、フリンジは、像高が高くなるほど、フリンジの発生量は大きくなる特徴がある。像高が高くなるほど、ＰＳＦの拡散が広範囲に及び、結像位置のずれが多くなるので、拡散した裾野の見える範囲が多くなるためである。像高とは、画像内における光軸中心からの距離である。

次に、ＰＳＦに関して説明する。図４は、点光源１０、レンズ１１４、撮像素子１０１上の点像１２、ＰＳＦ１４の関係を示す説明図である。
図４に示すように、光学レンズの精度は、例えば点像強度分布関数（ＰＳＦ：Point Spread Function）を使って表す。

点像強度分布関数とは、点を撮影し光学レンズによる像のぼけ方を得たものであり、ボケた時の強度分布を表す関数である。点像強度分布関数は、理想的な点像が光学系を通過した場合にどのように光線が広がるかを表した関数である。

点とは、Ｄｉｒａｃのデルタ関数を意味する。離散的な信号処理では、撮影面における撮像素子の分解能を物体空間に写像した時の大きさが、より十分に小さければ良いことになる。数式的には
ａ・ｅ^{−２（ｘ／σ）（ｘ／σ）}
ｘ：距離（ｍｍ）、σ：分散（ｍｍ）、ａ：規格化定数
のように表現されることが知られている。

また、図１０Ａ、図１０Ｂに示すように、ＰＳＦは、像高が高くなるにつれてその色の拡散度合が増加し、結像位置のずれも大きくなるという特徴がある。図１０Ａ、図１０Ｂは、点像強度分布関数を示すグラフである。図１０Ａの上のグラフは、光軸上のＰＳＦであり、図１０Ａの下のグラフは、像高５０％のＰＳＦであり、図１０Ｂのグラフは、像高１００％のＰＳＦである。一点鎖線は緑色成分を示し、実線は赤色成分を示し、破線は青色成分を示す。

上記距離ｘは、撮像素子の画素ピッチやレンズからの距離等の仕様が既知であればそれを画素数に換算できることから、以降、ＰＳＦの拡散度合は上記のような距離ｘをその換算画素数で扱うこととする。

ここで、フリンジによるエッジ検出精度の低下を防ぐための第１の実施例を示す。
第１の実施例では、フリンジは、輝度値が飽和しているエッジで発生し易いという特徴を用いて、まず輝度値の飽和状態を参照する。

擬似輝度信号のエッジ検出を行う際、エッジと判別された箇所において、図５（Ａ）のように、まず上側の擬似輝度信号レベルが飽和しているか否かを判別する。図５は、輝度信号のレベルを示す説明図である。

図５（Ａ）のように、輝度値に差が生じて擬似輝度信号のエッジが発生しているとき、隣接する画素において、上側の擬似輝度信号レベルが飽和していれば、図５（Ｂ）のように点線で示されるようなフリンジが発生している可能性が高い。

そこで、本実施形態では、飽和しているエッジにおいては倍率色収差検出を無効にするための処理を行い、当該エッジを倍率色収差の検出に使用させない。エッジが飽和しているか否かを判別する方法は、例えば図５（Ａ）にあるようにエッジの上側の擬似輝度信号のレベルを参照し、それが最大レベルか最大レベル付近になっているかを判別する。擬似輝度信号のレベルが最大レベルか最大レベル付近になっている場合には、以降そのエッジでは倍率色収差の検出処理を行わない、又は処理を無効にする。

なお、本実施形態では、擬似輝度信号は、（Ｒ（又はＢ）＋補間Ｇ）／２で生成されるとしているが、これに限ったものではない。例えば、Ｒ（又はＢ）と補間Ｇを使用した演算により得られれば、その演算結果を擬似輝度信号としてもよい。または、補間Ｇそのものを擬似輝度信号としてもよい。

また、図１９は、上記処理を示すフローチャートである。これは、図１８におけるＳ００４の改良処理である。図１９の開始は図１８のＳ００３の出力となり、図１９の終了は図１８のＳ００５の入力となる。

まず、ステップＳ００３で生成された擬似輝度信号が入力され、入力された擬似輝度信号レベルが飽和しているか否か、又は飽和付近にあるか否かを判別する（ステップＳ１０４Ａ）。

入力された擬似輝度信号レベルが飽和していない場合、又は飽和付近にない場合は、擬似輝度信号を動径方向にＨＰＦする。そして、ＨＰＦ結果の絶対値をエッジ検出用の閾値と比較することでエッジを検出する（ステップＳ１０４Ｂ）。

一方、入力された擬似輝度信号レベルが飽和している場合、又は飽和付近にある場合は、擬似輝度信号について、エッジの検出を行わない（ステップＳ１０４Ｃ）。以上のように、Ｓ１０４ＢとＳ１０４Ｃによって得られるエッジ検出結果を用いて、ステップＳ００５で色ずれ量を検出する。

次に、フリンジによるエッジ検出精度の劣化を防ぐための第２の実施例を示す。
第１の実施例では、輝度レベルが飽和しているエッジに対する処理であるが、第２の実施例では輝度レベルが飽和しているか否かに関わらず、輝度エッジにおける処理を行う。

図１１に示すように、フリンジは、同一のエッジ強度であると、像高が大きくなるにつれて広がる。従って、偽色が発生する領域が多くなる。なお、図１１は、輝度信号のレベルを示す説明図である。図１１は、輝度レベルが飽和している例であるが、飽和していない状態でも同様である。これは、像高が大きくなるにつれて、ＰＳＦによる偽色範囲が大きくなることによるものである。この範囲を倍率色収差の検出から除外され易くする手段を採用することで、第１の実施例から更にその検出精度を向上させる。

エッジ検出は、ステップＳ１０４Ｂで説明したように、擬似輝度信号にＨＰＦを行い、ＨＰＦ結果を閾値と比較することで行われる。ここで、閾値よりＨＰＦ結果が大きければそれは高周波成分であると判断でき、高周波成分であると判断されたときエッジ検出とする。

この閾値は、第１の実施例では一定値であるが、本第１の実施例ではこの閾値を像高の大きさに応じて変化させる。例えば、第１の実施例における閾値をＴＨ１とし、像高をＲとすれば、像高に応じて変化させた閾値ＴＨ２は、例えば次式で表される。

ＴＨ２＝ＴＨ１×（１＋Ｒ）＋ＯＦＳＴ（オフセット）

本例では、像高は正規化されており、０≦Ｒ≦１であり、Ｒは小数点以下の精度をもつ。また、０≦ＯＦＳＴ≦ＴＨ１とし、ＯＦＳＴは小数点以下の精度をもつ。これは図６（Ａ）に示すように、像高変化に対してリニアに閾値ＴＨ２を変化させている例であり、像高が高くなるにつれてフリンジの影響を除外するエッジ検出を行えるようになる。図６は、閾値と像高の関係を示すグラフである。

また、図６（Ｂ）、図６（Ｃ）には、像高変化に対してノンリニアに閾値を変化させている例を示す。これらのように、像高に対する閾値ＴＨ２をレンズの特性にあわせて非線形に設定することによりレンズ固有の特性に最適化された閾値ＴＨ２を使用することも可能となる。ここで、レンズ固有の特性はあらかじめメモリ等の記憶媒体に記憶したものを用いてもよく、交換式レンズが装着される場合などにはレンズがその固有情報を記憶しておき、それを信号処理部が得ることにより像高に対する閾値の設定を行うとしてもよい。

また、図２０は、上記処理を示すフローチャートである。
これは、図１８におけるＳ００４の改良処理である。従って、図２０の開始は図１８のＳ００３の出力となり、図２０の終了は図１８のＳ００５の入力となる。

まず、ステップＳ００３で生成された擬似輝度信号が入力され、入力された擬似輝度信号が位置する座標から、像高Ｒを得る（ステップＳ２０４Ａ）。

ステップＳ２０４Ａで得られた像高Ｒを用い、エッジ検出用の閾値ＴＨ２をＲの関数として得る（ステップＳ２０４Ｂ）。これは、例えば像高が大きくなるにつれて閾値ＴＨ２も大きくしていくような処理である。

次に、擬似輝度信号を動径方向にＨＰＦする。そして、ＨＰＦ結果の絶対値をステップＳ２０４Ｂで得られたエッジ検出用の閾値ＴＨ２と比較することでエッジを検出する（ステップＳ２０４Ｃ）。以上のように、ステップＳ２０４Ｃによって得られるエッジ検出結果を用いて、ステップＳ００５で色ずれ量を検出する。

次に、フリンジによるエッジ検出精度の劣化を防ぐための第３の形態を示す。
第３の実施例では、第２の実施例と同様、輝度レベルが飽和しているか否かに関わらず、輝度エッジにおける処理を行う。

図１２に示すように、フリンジは、同一の像高であると、エッジ強度が大きくなるにつれて広がる。従って、偽色が発生する領域が多くなる。なお、図１２は、輝度信号のレベルを示す説明図であり、図１２は、輝度レベルが飽和している例であるが、飽和していない状態でも同様である。これは、エッジ強度が大きくなるにつれて、ＰＳＦによる偽色範囲が大きくなることによるものである。この範囲を倍率色収差の検出から除外され易くする手段を採用することで、第１の実施例から更にその検出精度を向上させる。

エッジ検出は、ステップＳ１０４Ｂで説明したように、擬似輝度信号にＨＰＦを行い、ＨＰＦ結果を閾値と比較することで行われる。ここで、閾値よりＨＰＦ結果が大きければそれは高周波成分であると判断でき、高周波成分であると判断されたときエッジ検出とする。

この閾値は、第１の実施例では一定値であるが、本第３の実施例ではこの閾値をエッジ強度の大きさに応じて変化させる。
例えば、第１の実施例における閾値をＴＨ１とし、エッジ強度を｜ＨＰＦ｜とすれば、エッジ強度に応じて変化させた閾値ＴＨ２は、例えば次式で表される。

ＴＨ２＝ＴＨ１×（１＋｜ＨＰＦ｜）＋ＯＦＳＴ

本例では、エッジ強度は正規化されており、０≦｜ＨＰＦ｜≦１であり、｜ＨＰＦ｜は小数点以下の精度をもつ。また、０≦ＯＦＳＴ≦ＴＨ１とし、ＯＦＳＴは小数点以下の精度をもつ。これは図７（Ａ）に示すように、エッジ強度変化に対してリニアに閾値ＴＨ２を変化させている例であり、エッジ強度が高くなるにつれてフリンジの影響を除外するエッジ検出を行えるようになる。図７は、閾値と｜ＨＰＦ｜の関係を示すグラフである。

また、図７（Ｂ）、図７（Ｃ）には、エッジ強度変化に対してノンリニアに閾値を変化させている例を示す。これらのように、エッジ強度に対する閾値ＴＨ２をレンズの特性にあわせて非線形に設定することによりレンズ固有の特性に最適化された閾値を使用することも可能となる。ここで、レンズ固有の特性はあらかじめメモリ等の記憶媒体に記憶したものを用いてもよいし、交換式レンズが装着される場合などにはレンズがその固有情報を記憶しておき、それを信号処理部が得ることによりエッジ強度に対する閾値の設定を行うとしてもよい。

また、図２１に上記処理フローを示す。
これは、図１８におけるＳ００４の改良処理である。従って、図２１の開始は図１８のＳ００３の出力となり、図２１の終了は図１８のＳ００５の入力となる。

まず、ステップＳ００３で生成された擬似輝度信号が入力され、入力された擬似輝度信号をＨＰＦし、その絶対値を算出することでエッジ強度｜ＨＰＦ｜を得る（ステップＳ３０４Ａ）。

ステップＳ３０４Ａで得られたエッジ強度｜ＨＰＦ｜を用い、エッジ検出用の閾値ＴＨ２を｜ＨＰＦ｜の関数として得る（ステップＳ３０４Ｂ）。これは、例えばエッジ強度が大きくなるにつれてＴＨ２も大きくしていくような処理である。

次に、擬似輝度信号を動径方向にＨＰＦする。そして、ＨＰＦ結果の絶対値をステップＳ３０４Ｂで得られたエッジ検出用の閾値ＴＨ２と比較することでエッジを検出する（ステップＳ３０４Ｃ）。以上のように、ステップＳ３０４Ｃによって得られるエッジ検出結果を用いて、ステップＳ００５で色ずれ量を検出する。

なお、これまでに示した第１の実施例、第１の実施例及び第３の実施例を同時に実現することにより、これら３つの実施例の効果を同時に得ることも可能である。また、３つの実施例のうち、いずれか２つの実施例を取捨選択することも可能である。

ここで、図１９、図２０、図２１に示したフローチャートに示したような第１の実施例、第１の実施例及び第３の実施例を同時に実現する場合のフローを図２２に示す。

これは、図１８におけるＳ００４の改良処理である。従って、図２２の開始は図１８のＳ００３の出力となり、図２２の終了は図１８のＳ００５の入力となる。

まず、ステップＳ００３で生成された擬似輝度信号が入力され、入力された擬似輝度信号レベルが飽和しているか否か、又は飽和付近にあるか否かを判別する（ステップＳ４０４Ａ）。

次に、ステップＳ４０４Ａで入力された擬似輝度信号レベルが飽和していない、又は飽和付近にないと判別された擬似輝度信号が入力され、入力された擬似輝度信号が位置する座標から、像高Ｒを得る（ステップＳ４０４Ｂ）。または、後述するＳ４０４Ｌにおいて、飽和レベル若しくは飽和レベル付近の輝度信号であるが、エッジ検出に使用すると判別された擬似輝度信号が入力され、入力された擬似輝度信号が位置する座標から、像高Ｒを得る（ステップＳ４０４Ｂ）。

ステップＳ４０４Ｂから出力された擬似輝度信号が入力され、入力された擬似輝度信号をＨＰＦし、その絶対値を算出することでエッジ強度｜ＨＰＦ｜を得る（ステップＳ４０４Ｃ）。次に、像高に応じてエッジ検出のための閾値（以下、エッジ閾値ともいう。）を変化させるかの動作決定を行う（ステップＳ４０４Ｄ）。像高に応じてエッジ検出のための閾値を変化させると決定した場合、更に、エッジ強度に応じてもエッジ閾値を変化させるかの動作決定を行う（ステップＳ４０４Ｄ）。

ステップＳ４０４ＤとステップＳ４０４Ｅによって、像高とエッジ強度の双方に応じてエッジ閾値を変化させると決定した場合は、エッジ検出用の閾値ＴＨ２を、Ｒと｜ＨＰＦ｜の関数として得る。一方、ステップＳ４０４ＤとステップＳ４０４Ｅによって、像高のみに応じてエッジ閾値を変化させると決定した場合は、エッジ検出用の閾値ＴＨ２を、Ｒの関数として得る（ステップＳ４０４Ｇ）。

また、ステップＳ４０４Ｄによって、像高に応じてエッジ検出のための閾値を変化させないと決定した場合、更に、エッジ強度に応じてエッジ閾値を変化させるかの動作決定を行う（ステップＳ４０４Ｈ）。ステップＳ４０４ＤとステップＳ４０４Ｈによって、エッジ強度のみからエッジ閾値を変化させると決定した場合は、エッジ検出用の閾値ＴＨ２を、｜ＨＰＦ｜の関数として得る（ステップＳ４０４Ｉ）。ステップＳ４０４ＤとステップＳ４０４Ｈによって、像高及びエッジ強度のいずれからもエッジ閾値を変調させないと決定した場合は、エッジ検出用の閾値ＴＨ１を、固定値として得る（ステップＳ４０４Ｊ）。

次に、擬似輝度信号を動径方向にＨＰＦする。そして、ＨＰＦ結果の絶対値を、ステップＳ４０４Ｆ、ステップＳ４０４Ｇ若しくはステップＳ４０４Ｉによって得られたエッジ検出用の閾値ＴＨ２、又はステップＳ４０４Ｊによって得られたＴＨ１と比較することでエッジを検出する（ステップＳ４０４Ｋ）。ステップＳ４０４Ａで飽和レベル若しくは飽和レベル付近であると判別された擬似輝度信号が入力され、その擬似輝度信号について、エッジの検出をするか否か判別する（ステップＳ４０４Ｌ）。

ステップＳ４０４Ｌで飽和レベル若しくは飽和レベル付近であるため、エッジ検出に使用しないと判断された擬似輝度信号は、エッジ検出対象から除外され、擬似輝度信号についてエッジ検出を行わない（ステップＳ４０４Ｍ）。

以上のように、Ｓ４０４Ｋ又はＳ４０４Ｍによって得られるエッジ検出結果を用いて、ステップＳ００５で色ずれ量を検出する。

次に、フリンジによるエッジ検出精度劣化を防ぐための第４の実施例を示す。
上述のように、フリンジはＰＳＦによる画素レベルの拡散により、像高が高くなるにつれて、偽色が発生する領域が広範囲にわたる。本第４の実施例では、レンズ固有の特性を考慮してエッジ検出除外領域を決定することで色ずれ量の検出精度を向上させる。
この手段を説明する。

まず、あらかじめ記憶媒体にレンズ固有の情報を記憶しておく。このレンズ固有の情報とは、各像高におけるＰＳＦによる画素レベル拡散情報である。例えば図１０に示すように、ＰＳＦは像高が高くなるにつれてその色の拡散度合が増し、広範囲に偽色が発生する。この偽色発生範囲は図１０のようなＰＳＦ情報から得られるものであるため、ＰＳＦ情報をあらかじめ記憶しておく。なお、ＰＳＦ情報はレンズの設計データとして既知な情報である。

図８に像高５０％の位置におけるエッジ検出除外領域の例を示す。図８は、撮像面とＰＳＦを示す説明図である。
この例は、擬似輝度信号が飽和しているか否かを問わず、像高５０％の位置での擬似輝度信号に対して、その周辺画素をエッジ検出対象から除外する際の除外領域を示している。
なお、他の像高においても同一の概念が適用される。

例えば、図８に示すように、像高５０％の位置でのＰＳＦによって、円(楕円）で示される領域に偽色が発生する。そこで、第４の実施例では、偽色が発生する円内部ではエッジ検出を行わないようにさせる。しかし、ＰＳＦは一般的にどこの像高でも拡散領域が存在するので、図８に示すような偽色領域の除外を全画像領域に適用すると、結果的にエッジ検出対象が存在しなくなってしまう。このことからも、除外領域に対して何らかの制約をつけることが望ましい。

例えば、図８における拡散長さａやｂに像高割合を乗算するなどして、
ａ’＝ａ×Ｒ
ｂ’＝ｂ×Ｒ
上記のように新たな拡散長さａ’とｂ’を算出して適用することが望ましい。ここで、０≦Ｒ≦１であり、Ｒは小数点以下の精度をもつ。こうすることにより、像高の高い位置で目立つフリンジによる偽色の範囲のエッジ検出を除外し、像高に応じた適応的なエッジ検出領域を得ることが可能となる。なお、上記ａ’やｂ’の算出は上例に限定されたものではなく、像高以外にも例えば上述のエッジ強度に応じて変化させたものでもよい。
以上により、ＰＳＦや像高、エッジ強度などを考慮してフリンジの影響を除外するエッジ検出を行えるようになる。

また、上述した第４の実施例について、実際には信号処理回路規模、又はＤＳＰの処理時間等の諸制約によって、エッジ検出を行わなくさせる領域を更に簡易的に設定することもできる。図９は、撮像面とＰＳＦを示す説明図である。

ここでは、図９に示すように像高５０％の位置でのＰＳＦにより、
水平開始位置：ｘ−ａ
水平終了位置：ｘ＋ｂ
垂直開始位置：ｙ−ａ
垂直終了位置：ｙ＋ｂ
の領域に偽色が発生していると仮定し、この領域での検出を行わないようにする。

しかし、上述したように、ＰＳＦは一般的にどこの像高でも拡散領域が存在するので、図９に示すような偽色領域の除外を全画像領域に適用すると、結果的にエッジ検出対象が存在しなくなってしまう。このことからも、除外領域に対して何らかの制約をつけることが望ましい。

例えば、図９における拡散長さａやｂに像高割合を乗算するなどして、
ａ’＝ａ×Ｒ
ｂ’＝ｂ×Ｒ
上記のように新たな拡散長さａ’とｂ’を算出して適用することが望ましい。ここで、０≦Ｒ≦１であり、Ｒは小数点以下の精度をもつ。こうすることにより、像高の高い位置で目立つフリンジによる偽色の範囲のエッジ検出を除外し、像高に応じた適応的なエッジ検出領域を得ることが可能となる。なお、上記ａ’やｂ’の算出は上例に限定されたものではなく、像高以外にも例えば上述のエッジ強度に応じて変化させたものでもよい。
以上により、ＰＳＦや像高、エッジ強度などを考慮してフリンジの影響を除外するエッジ検出を行えるようになる。

また、図２３に上記処理フローを示す。
これは、図１８におけるＳ００４の改良処理である。従って、図２３の開始は図１８のＳ００３の出力となり、図２３の終了は図１８のＳ００５の入力となる。

まず、ステップＳ００３で生成された擬似輝度信号が入力され、入力された擬似輝度信号が位置する座標から、像高Ｒを得る（ステップＳ５０４Ａ）。
次に、ステップＳ５０４Ａで得られた像高Ｒを用い、擬似輝度信号周辺において、エッジ検出から除外する領域をＰＳＦの関数として得る（ステップＳ５０４Ｂ）。
そして、エッジ検出から除外する領域以外において、擬似輝度信号の高周波成分（エッジ）を検出する（ステップＳ５０４Ｃ）。
以上のように、ステップＳ５０４Ｃによって得られるエッジ検出結果を用いて、ステップＳ００５で色ずれ量を検出する。

レンズの固有の情報を取得するには、レンズが交換式である場合、レンズ部のＲＯＭに記憶されたＰＳＦ情報、又はＰＳＦ情報に相当する情報を取得する。これにより、レンズ固有の特性を考慮することができる。また、レンズが交換式ではない場合は、当該レンズのＰＳＦ情報、又はＰＳＦ情報に相当するデータを既知として、予め信号処理部の記憶媒体に記憶させておく。これにより、レンズ固有の特性を考慮することができる。

［本実施形態の効果］
１．輝度レベルが飽和レベル付近にある擬似輝度信号の領域、すなわちフリンジ発生領域（ＰＳＦによる画素レベルの拡散による偽色領域）においては、エッジ検出を行わないことで、エッジ検出するエッジを適応的に決定できる。これにより、飽和エッジによって明らかに発生するであろうフリンジを検出領域から除外することができ、フリンジによるエッジ周波数特性劣化や偽色の悪影響による検出精度の劣化を発生させない倍率色収差検出が可能となる。

２．輝度レベルが飽和しているか否かに関わらず、エッジ検出のための閾値を像高の大きさに応じて変化させることで、検出するエッジを適応的に決定できる。これにより、エッジの周辺部に発生するフリンジを像高に応じて検出領域から除外することができ、像高が大きくなるにつれて範囲が大きくなるフリンジによるエッジ周波数特性劣化や偽色の悪影響による検出精度の劣化を発生させない倍率色収差検出が可能となる。

３．輝度レベルが飽和しているか否かに関わらず、エッジ検出のための閾値をエッジ強度の大きさに応じて変化させることで、検出するエッジを適応的に決定できる。これにより、エッジの周辺部に発生するフリンジをエッジ強度に応じて検出領域から除外することができ、エッジ強度が大きくなるにつれて範囲が大きくなるフリンジによるエッジ周波数特性劣化や偽色の悪影響による検出精度の劣化を発生させない倍率色収差検出が可能となる。

４．上記第１〜第３の実施例を同時に、かつ選択的に実現する。即ち、輝度レベルが飽和レベル付近にあるエッジにおいてはエッジ検出を行わないこと、及び輝度レベルが飽和しているか否かに関わらず、像高の大きさ又はエッジ強度の大きさに応じてエッジ検出のための閾値を変化させることを選択的に可能とする。これにより、飽和エッジの周辺部に発生するフリンジを検出領域から除外することができ、全エッジの周辺部に発生するフリンジを像高又はエッジ強度に応じて検出領域から除外することができる。飽和エッジにより明らかに発生するであろうフリンジや、像高やエッジ強度が大きくなるにつれて、範囲が大きくなるフリンジによる
エッジ周波数特性劣化や偽色の悪影響により検波精度を劣化させない倍率色収差検出が可能となる。

５．輝度レベルが飽和しているか否かに関わらず、エッジ検出を行う領域を、レンズ固有の特性（ＰＳＦ）を考慮して決定することで、検出するエッジを適応的に決定できる。これにより、エッジの周辺部に発生するフリンジをＰＳＦに応じて検出領域から除外することが可能となり、像高が大きくなるにつれてその範囲が大きくなるフリンジによるエッジ周波数特性劣化や、偽色の悪影響による検出精度の劣化を発生させない倍率色収差検出が可能となる。

６．本来、倍率色収差は、レンズの光学設計・製造の際に抑えておくことがより良い。しかし、従来、レンズの光学設計・製造時に行っていた倍率色収差の低減方法は、高コスト化やレンズブロックの大型化に繋がっていた、又はレンズの大きさを据え置きにしようとすると低倍率のレンズになってしまっていた。一方、本実施形態のように倍率色収差の検出及び補正を信号処理で行うことによって、カメラのレンズブロックの小型化、低コスト化、高倍率化を容易に実現できる。

次に、ノイズによるエッジ検出精度劣化を防ぐための本実施形態の第５の実施例について説明する。画像データに生じるノイズは、一般的にＩＳＯ感度に比例してその振幅と強度が大きくなる。例えば、強度が等しいエッジに対して、ＩＳＯ感度によっては、Ｓ／Ｎ比の変化に応じて、エッジがノイズに埋もれてしまう場合が多々ある。

図１３は、輝度信号のレベルを示す説明図である。図１３（Ａ）に示すように、ＩＳＯ感度が低い場合はＳ／Ｎ比がよいため、エッジがノイズに埋もれてしまうことはなく、エッジ検出はノイズの影響を受けにくい。一方、図１３（Ｂ）に示すように、ＩＳＯ感度が高い場合はＳ／Ｎ比が悪いため、エッジがノイズに埋もれてしまうことが多々あり、エッジ検出はノイズの影響を受け易く、誤検出の発生頻度が高くなる。

上記のような誤検出を回避するためには、エッジ検出のための閾値をＩＳＯ感度に応じて変化させる手法が望ましい。例えば、閾値をＴＨとし、ＩＳＯ感度の度合いを表すパラメータをＩＳＯとし、ＩＳＯ感度に応じて変化させる閾値をＴＨ’とすると、
ＴＨ’＝ＴＨ×ＩＳＯ
として変化させる。ここで、ＩＳＯは、例えば
ＩＳＯ１００のときのパラメータ値：１
ＩＳＯ２００のときのパラメータ値：２
ＩＳＯ４００のときのパラメータ値：４
ＩＳＯ８００のときのパラメータ値：８
ＩＳＯ１６００のときのパラメータ値：１６
ＩＳＯ３２００のときのパラメータ値：３２
とする。図１４にＩＳＯ感度変化に応じて異なる値を有する上記ＩＳＯパラメータの一例を示す。図１４は、ＩＳＯとＩＳＯ感度の関係を示すグラフである。この例の場合、ＩＳＯ感度に応じて閾値ＴＨを適応的に変化させることとなり、ノイズレベルに応じて閾値を変化させることができる。その結果、ノイズに影響を受けにくいエッジ検出が可能となる。

また、図２４に上記処理フローを示す。
これは、図１８におけるＳ００４の改良処理である。従って、図２４の開始は図１８のＳ００３の出力となり、図２４の終了は図１８のＳ００５の入力となる。

まず、画像データ撮影時のＩＳＯ感度情報を例えば画像データから得る（ステップＳ６０４Ａ）。そして、エッジ検出用の閾値ＴＨ’をＩＳＯ感度の関数として得る（ステップＳ６０４Ｂ）。次に、擬似輝度信号を動径方向にＨＰＦし、ＨＰＦ結果の絶対値をステップＳ６０４Ｂで得られたエッジ検出用の閾値ＴＨ’と比較することでエッジを検出する（ステップＳ６０４Ｃ）。
以上のように、ステップＳ６０４Ｃによって得られるエッジ検出結果を用いて、ステップＳ００５で色ずれ量を検出する。

（補間Ｇ生成方法）
次に、エッジ検出用にＨＰＦを行う際に使用する補間Ｇ生成方法に関して説明する。
補間Ｇは、ＨＰＦの方向にも加算が行われているとＨＰＦ方向の周波数特性が劣化するため、ＨＰＦによるエッジ検出精度が劣化してしまう。本変更例によれば、このエッジ検出精度の劣化を防ぐことができる。

いま、図１５（Ａ）のようにエッジ検出のためのＨＰＦを垂直上方向に行う場合を考える。図１５は、画素配列を示す説明図である。ＨＰＦは、擬似輝度信号を用いて行う。擬似輝度信号は、Ｒ及びＢの画素位置に、最も近傍のＧから補間Ｇを生成し、その補間Ｇと、Ｒ若しくはＢから生成された信号である。すなわち、Ｒの位置に擬似輝度信号を生成する場合、図１５（Ｂ）のようなＲの位置に、図１５（Ｃ）のＧの位置から図１５（Ｄ）のように補間Ｇを生成することでＲとＧの位相を揃える。

ここで、ＨＰＦは垂直上方向に行うので、本変更例では、補間Ｇを生成する際は、垂直方向のＧを使用せず、水平方向のＧのみを使用する（図１５（Ｄ）に示す矢印の方向）。これにより、ＨＰＦ方向である垂直方向の周波数特性を劣化させないようにできる。
以上は、垂直にＨＰＦを行う際の例であるが、垂直以外にＨＰＦをする場合、例えば、水平方向、又は斜め方向にＨＰＦを行う際の前処理としても、同様の考えに基づき補間Ｇを生成するＧを選択する。
すなわち、補間Ｇを生成する際には、ＨＰＦ方向に直交する方向のみに位置するＧを用いて、補間Ｇを生成することで、より高精度なエッジ検出が可能となる。

次に、ＳＡＤ（Sum of Absolute Difference）を行う際に使用する補間Ｇ生成方法に関して説明する。

補間Ｇは、ＳＡＤの方向にも加算が行われていると、ＳＡＤ方向の周波数特性が劣化し、
そのためにＳＡＤによる倍率色収差検出精度が劣化してしまう。これを防ぐための形態を示す。

いま、図１６は、画素配列を示す説明図である。図１６（Ａ）のように倍率色収差検出のためのＳＡＤを右斜め方向に行う場合を考える。ＳＡＤは、Ｒ若しくはＢと、補間Ｇを用いて、擬似輝度信号を生成した後、エッジ検出を経て、エッジ部分のＲ若しくはＢと補間Ｇを用いて行われる。

ここで、この補間Ｇは、Ｒ及びＢの画素位置に、最も近傍のＧから補間Ｇを生成し、その補間Ｇと、Ｒ若しくはＢから生成される。すなわち、Ｒの位置に擬似輝度信号を生成するとする場合、図１６（Ｂ）のようなＲの位置に、図１６（Ｃ）のＧの位置から図１６（Ｄ）のように補間Ｇを生成することでＲとＧの位相を揃える。
ここで、ＳＡＤは右斜め上方向に行うので、本変更例では、補間Ｇを生成する際は、右斜め方向からのＧを使用せず、左斜め方向からのＧのみを使用する（図１６（Ｄ）に示す矢印の方向）。これにより、ＳＡＤ方向である右斜め上方向の周波数特性を劣化させないようにできる。
以上は、右斜めにＳＡＤを行う際の例であるが、右斜め以外にＳＡＤをする場合、例えば水平、垂直、左斜め方向にＳＡＤを行う際の前処理としても、同様の考えに基づき補間Ｇを生成するＧを選択する。
すなわち、補間Ｇを生成する際には、ＳＡＤ方向に直交する方向のみに位置するＧを用いて、補間Ｇを生成することで、より高精度な色ずれ量検出が可能となる。

（内挿補間する方法）
ここでは、ＳＡＤにより得られるＧに対するＲ若しくはＢの変位の小数点以下の精度を内挿補間する方法を説明する。

ＳＡＤの結果は整数で得られるが、倍率色収差は小数点以下の精度を有している。よって、ＳＡＤで得られる結果を用いて内挿補間を行うことで小数点以下の検出精度を得るものである。

いま、図１７のように、ＳＡＤにより変位量ｉを極小値とする収差が検出されたとする。図１７は、相関値と変位の関係を示すグラフである。ここで、図１７に示されている変位量と相関値を用いて、内挿補間値Ｖｘを表現すると
Ｖｘ＝ｉ＋（ａ−ｂ）／［２×｛ｍａｘ（ａ，ｂ）−ｃ｝］
となる。なお、これは、図１７に示されている２本の直線の交点の水平軸座標を演算したものである。
本内挿補間方法は、極小点の左右に位置する点において、極小点と結線した場合に、より傾きの大きい結線が可能になる結線上に極小点を位置させるという考えに基づく内挿補間方法である。
以上により、ＳＡＤでは画素数精度、すなわち小数点以下の検出精度が存在し得なかったところに本手法により画素数精度を超えた、すなわち小数点以下の検出精度を得ることできる。

１．輝度レベルが飽和しているか否かに関わらず、エッジ検出のための閾値をノイズの多さを推定できる指標、例えばＩＳＯ感度の大きさに応じて変化させることで、検出するエッジを適応的に決定することができる。その結果、ノイズに埋もれたエッジでは検出を行わなくすることが可能となり、ノイズレベルに左右されず、低照度時やＳ／Ｎ比が悪い撮影状態であってもエッジ検出精度を劣化させない倍率色収差検出が可能となる。

２．補間Ｇを生成する際、その後段処理として行われるエッジ検出時ＨＰＦの方向を考慮し、そのＨＰＦ方向に直交する方向のみに位置するＧを用いて補間Ｇを生成する。その結果、上記ＨＰＦ時にＨＰＦ方向の補間Ｇの周波数特性劣化を防ぐことが可能となり、ＨＰＦ方向になまることなく、より高周波情報を残した補間Ｇを用いてＨＰＦが可能となる。
その結果、検出できる高周波成分を入力画像に忠実に検出することができ、精度のよい倍率色収差検出が可能となる。

３．ＳＡＤを行う際、補間Ｇウィンドウに対するＲ若しくはＢウィンドウのシフト方向を考慮し、そのシフト方向に直交する方向のみに位置するＧを用いて補間Ｇを生成する。その結果、ＳＡＤ時に上記シフト方向の補間Ｇの周波数特性劣化を防ぐことが可能となり、上記シフト方向になまることなく、より高周波情報を残した補間Ｇを用いてＳＡＤが可能となる。
その結果、検出できる色ずれ量を入力画像に忠実に検出することができ、精度のよい倍率色収差検出が可能となる。

４．小数点以下の精度を持たない倍率色収差量検出結果に対し、内挿補間を行い小数点以下の精度を補間して求めることにより、精度が不足している（小数点以下の精度を持たない）検出結果を高精度化（小数点以下の精度を持たせる）ことが可能となる。本来、倍率色収差は小数点以下の精度をもっているので、真の倍率色収差量に検出結果を近づけることができ、精度のよい倍率色収差検出が可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本実施形態では、ベイヤ配列のＲＡＷデータを採用しているが、ベイヤ配列以外の画素配列である場合も同様である。具体的には、色ずれ検出時に、Ｇを補間する際に使用するＧの参照位置がそれらベイヤ配列以外の画素配列依存となり、補間時に、Ｒ又はＢを補間する際に使用するＲ又はＢの参照位置がそれらベイヤ配列以外の画素配列依存となる。

本発明の一実施形態に係る撮像装置を示すブロック図である。 レンズと結像面の関係を示す説明図（Ａ）及び結像面とＰＳＦの関係を示す説明図（Ｂ）である。 レンズと結像面の関係を示す説明図（Ａ）及び結像面とＰＳＦの関係を示す説明図（Ｂ）である。 点光源１０、レンズ１１４、撮像素子１０１上の点像１２、ＰＳＦ１４の関係を示す説明図である。 輝度信号のレベルを示す説明図である。 閾値と像高の関係を示すグラフである。 閾値と｜ＨＰＦ｜の関係を示すグラフである。 撮像面とＰＳＦを示す説明図である。 撮像面とＰＳＦを示す説明図である。 点像強度分布関数を示すグラフである。 点像強度分布関数を示すグラフである。 輝度信号のレベルを示す説明図である。 輝度信号のレベルを示す説明図である。 輝度信号のレベルを示す説明図である。 ＩＳＯとＩＳＯ感度の関係を示すグラフである。 画素配列を示す説明図である。 画素配列を示す説明図である。 相関値と変位の関係を示すグラフである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。 倍率色収差の検出と補正動作を示すフローチャートである。

符号の説明

１００ 撮像装置
１０１ イメージセンサ
１０２ 前処理部
１０３ カメラ信号処理部
１０４ 変換処理部
１０５ 圧縮伸張部
１０６ メモリ制御部
１０７ メモリ
１０８ 表示処理部
１０９ 圧縮伸張部
１１０ 記録デバイス制御部
１１１ 記録デバイス
１１２ 表示部
１１３ 制御部
１１４ 撮像レンズ

Claims (5)

1. 画像信号の信号特性に基づいて、画像データから少なくとも一部の画像信号を抽出する画像信号抽出部と、
   前記抽出された画像信号を検出対象とし、前記画像信号の輝度値に基づいて、前記検出対象から前記画像データによる画像内のエッジ部分を検出するエッジ検出部と、
   前記画像内の基準位置からの距離に応じて、前記画像信号内に含まれる少なくとも２つの色成分について相関を算出し、色ずれ量を検出する色ずれ量検出部と、
   を有する、画像処理装置。
2. 前記画像信号抽出部は、
   前記画像信号の輝度値が飽和レベル又は飽和レベル近傍であるか否かを判断する判断部と、
   前記飽和レベル又は飽和レベル近傍であると判断された前記画像信号以外の前記画像信号を抽出する第１の抽出部と
   を有する、請求項１に記載の画像処理装置。
3. 前記画像信号抽出部は、
   前記画像信号が前記画像内の基準位置から位置する距離を算出する距離算出部と、
   前記距離に応じて前記画像信号を抽出する第２の抽出部と
   を有する、請求項１又は２に記載の画像処理装置。
4. 前記エッジ検出部は、
   前記画像データに含まれる全て又は少なくとも一部の前記画像信号の輝度値に基づいてエッジ検出に関する閾値を算出する閾値算出部を有し、
   前記閾値に基づいて前記画像データによる画像内のエッジ部分を検出する、請求項１〜３のいずれかに記載の画像処理装置。
5. 画像信号の信号特性に基づいて、画像データから少なくとも一部の画像信号を抽出するステップと、
   前記抽出された画像信号を検出対象とし、前記画像信号の輝度値に基づいて、前記検出対象から前記画像データによる画像内のエッジ部分を検出するステップと、
   前記画像内の基準位置からの距離に応じて、前記画像信号内に含まれる少なくとも２つの色成分について相関を算出し、色ずれ量を検出するステップと、
   を有する、画像処理方法。

Images