JP2010219683A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】倍率色収差が発生した画像において、画像のエッジにおける輝度レベルの変化の仕方に対応した画像補正用の補正倍率を算出でき、適切な画像補正を施すことが可能な画像処理装置、画像処理方法及びプログラムを提供すること。
【解決手段】画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分と、エッジ部分の輝度値の変化方向を検出し、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出し、色ずれ量と光軸からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率を算出し、エッジ部分の輝度値の変化方向の種類ごとに、画像データにおける拡大縮小倍率の頻度を集計し、拡大縮小倍率の頻度に基づいて、エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出することを特徴とする。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

スチルカメラやビデオカメラ等の撮像装置において、レンズを透過した光は、色別の点像強度分布関数（ＰＳＦ：point spread function）の影響で、点像に広がりが生じ、倍率色収差が発生することが知られている。倍率色収差は、可視光の波長に応じてレンズの屈折率が異なり、焦点距離が異なるため、像の大きさに差が生じることによって発生する。

倍率色収差が発生するレンズで白色点光源を撮影すると、画面の周辺部が虹色に色づき、放射方向に伸びるように光源が撮影される。また、通常の被写体でも、特に画像のエッジ部分で色ずれが顕著に見られる。

図１、図２は、点像強度分布関数を示すグラフである。図１のグラフは、光軸上のＰＳＦであり、図２のグラフは、光軸から離れて像高が高く、例えば画面の端付近のＰＳＦである。なお、像高とは、例えば撮像素子の撮像面上で像位置を光軸からの距離で表した値である。図１及び図２の横軸は、像高方向（光軸から画像周辺への方向を＋方向とする。）の位置を示し、縦軸は光の強度を示す。一点鎖線は緑色成分を示し、実線は赤色成分を示し、破線は青色成分を示す。

図１及び図２に示すように、各色のＰＳＦは像高が高くなるにつれて、倍率色収差の発生量が大きくなり、同時に、ＰＳＦの形状の裾野部分の広がりが増加する特性がある。図１及び図２に示す例では、裾野部分が右側に長く広がる形状を有している。そこで、例えば特許文献１には、倍率色収差による色ずれを検出し画像を補正する技術が開示されている。

特開２００６−２０２７５号公報

特許文献１による色ずれの検出や画像の補正方法は、まず、画像からエッジ部分を検出し、検出したエッジから色ずれ量を算出する。そして、算出された色ずれ量を像高で割って、どの程度色がずれているかを表す倍率を算出する。そして、この倍率に基づいて、各画素の色ずれ先の位置を算出し、色ずれ先の画素の画素値を抽出する。そして、抽出された画素値を各画素の本来の画素値とすることで、色ずれを補正する。

ところで、画像のエッジとは、輝度レベルが変化する部分であり、輝度レベルの変化の仕方には低い方から高い方への変化と、高い方から低い方への変化の２種類がある。光軸から画像周辺への方向を像高方向というとき、エッジには、像高方向に輝度レベルが低い値から高い値に変化する「立ち上がりエッジ」と、反対に像高方向に輝度レベルが高い値から低い値に変化する「立ち下がりエッジ」がある。

図１及び図２に示す通り、一般にレンズのＰＳＦは像高が高くなり、画面の端にいくにつれて、ＰＳＦの形状の対称性が崩れる。そうすると、立ち上がりエッジと、立ち下がりエッジでは、倍率色収差の発生量が異なってくる。

このような現象が生じるにもかかわらず、従来の特許文献１などの技術では、エッジにおける輝度レベルの変化の仕方に着目せず、画像ごとに１つの倍率ヒストグラムのみを生成し、最頻度値に基づいて、最終的な補正倍率を算出していた。ここで、倍率ヒストグラムとは、エッジごとに算出された倍率について、倍率ごとの度数を集計したものである。

画像に立ち上がりエッジと立ち下がりエッジの両方が含まれる場合、１つの倍率ヒストグラムのみを生成すると、図３に示すような複数のピークが生じている倍率ヒストグラムが生成される。図３は、ある画像の倍率ヒストグラムの一例を示す説明図である。図３に示すように、複数のピーク（ヒストグラムのピーク割れ）が生じているにもかかわらず、最頻度値によって補正倍率を決定してしまうと、エッジによっては画像の補正が不適切になり、画像が劣化するという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、倍率色収差が発生した画像において、画像のエッジにおける輝度レベルの変化の仕方に対応した画像補正用の補正倍率を算出でき、適切な画像補正を施すことが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。

画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分と、エッジ部分の輝度値の変化方向を検出するエッジ検出部と、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する色ずれ量検出部と、色ずれ量と光軸からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率を算出する倍率算出部と、エッジ部分の輝度値の変化方向の種類ごとに、画像データにおける拡大縮小倍率の頻度を集計する頻度集計部と、拡大縮小倍率の頻度に基づいて、エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出する倍率抽出部とを備える画像処理装置が提供される。

上記エッジ部分の信頼度を決定する信頼度決定部と、決定された信頼度に基づいて、輝度値の変化方向の種類ごとに抽出された補正倍率を用いて色収差の補正をする補正部とを更に備えてもよい。

上記輝度値の変化方向の種類ごとに抽出された補正倍率を用いて、輝度値の変化方向に対応させてエッジ部分の色収差の補正をする補正部を更に備えてもよい。

上記輝度値の変化方向の種類ごとに抽出された補正倍率を用いて色収差の補正をする補正部を更に備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、エッジ検出部が、画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分と、エッジ部分の輝度値の変化方向を検出するステップと、色ずれ量検出部が、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出するステップと、倍率算出部が、色ずれ量と光軸からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率を算出するステップと、頻度集計部が、エッジ部分の輝度値の変化方向の種類ごとに、画像データにおける拡大縮小倍率の頻度を集計するステップと、倍率抽出部が、拡大縮小倍率の頻度に基づいて、エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出するステップとを備える画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分と、エッジ部分の輝度値の変化方向を検出する手段、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する手段、色ずれ量と光軸からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率を算出する手段、エッジ部分の輝度値の変化方向の種類ごとに、画像データにおける拡大縮小倍率の頻度を集計する手段、拡大縮小倍率の頻度に基づいて、エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出する手段としてコンピュータを機能させるためのプログラムが提供される。

本発明によれば、倍率色収差が発生した画像において、画像のエッジにおける輝度レベルの変化の仕方に対応した画像補正用の補正倍率を算出でき、適切な画像補正を施すことができる。

点像強度分布関数を示すグラフである。 点像強度分布関数を示すグラフである。 ある画像の倍率ヒストグラムの一例を示す説明図である。 本発明の一実施形態に係る撮像装置を示すブロック図である。 倍率色収差の検出と補正動作を示すフローチャートである。 ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。 画面の分割領域と動径方向の設定例を示す説明図である。 ＳＡＤ値と動径方向のずらし量（シフト量）との関係を示すグラフである。 ＳＡＤ値と動径方向のずらし量（シフト量）との関係を示すグラフである。 拡大縮小倍率の発生頻度を示すヒストグラムである。 本発明の一実施形態に係る収差補正方法を示すフローチャートである。 エッジ部分の輝度信号の分布を示す説明図である。 本発明の一実施形態に係る収差補正方法を示すフローチャートである。 画像の一部を模式的に表した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．一実施形態に係る撮像装置１００
２．一実施形態に係る倍率色収差の検出及び補正方法
３．一実施形態に係る倍率色収差補正方法の効果

＜１．一実施形態に係る撮像装置１００＞
本発明の一実施形態に係る撮像装置１００は、例えば、レンズ１１４が交換可能、又は交換不可能双方におけるディジタルスチルカメラに限られず、カムコーダ、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置１００を適用することができる。

また、後述する撮像装置１００の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置１００の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。

まず、本実施形態に係る撮像装置１００の構成を説明する。図４は、本実施形態に係る撮像装置を示すブロック図である。

図４に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。
撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、カメラ信号処理部１０３と、変換処理部１０４と、圧縮・伸張部（ＪＰＥＧ）１０５と、メモリ制御部１０６と、メモリ１０７と、表示処理部１０８と、圧縮・伸張部（ＭＰＥＧ）１０９と、記録デバイス制御部１１０と、記録デバイス１１１と、表示部１１２と、制御部１１３と、撮像レンズ１１４などを備えている。

撮像レンズ１１４は、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。倍率色収差は、被写体からの光が撮像レンズ１１４を通過する際、可視光の波長の長さでその屈折率が異なるために各色で焦点距離が異なり、結像位置がずれてしまうことにより発生する。また、倍率色収差は、撮像レンズ１１４の点像強度分布関数（ＰＳＦ：point spread function）により結像位置において、各色が点像強度分布による分散を持つために、各色間の分散の幅の差が偽色となって発生する。

イメージセンサ１０１は、光学系（例えば、撮像レンズ１１４、赤外線除去フィルタ、光学的ローパスフィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、イメージセンサ１０１として、ＣＣＤ(Charge Coupled Device)を使用してもよい。

また、イメージセンサ１０１は、例えば、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）及びＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。

前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。前処理部１０２は、後述する倍率色収差の検出や補正を行う。

例えば、前処理部１０２は、エッジ検出部と、色ずれ量検出部と、倍率算出部と、頻度集計部と、倍率抽出部と、信頼度決定部と、補正部などを有する。エッジ検出部は、画像データに含まれる画素信号の輝度値に基づいて、画像データに基づく画像内のエッジ部分と、エッジ部分の輝度値の変化方向を検出する。色ずれ量検出部は、エッジ部分において、画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する。倍率算出部は、色ずれ量と光軸からの距離に基づいて１つの色成分信号を基準とした他の色成分信号の拡大縮小倍率を算出する。頻度集計部は、エッジ部分の輝度値の変化方向の種類ごとに、画像データにおける拡大縮小倍率の頻度を集計する。倍率抽出部は、拡大縮小倍率の頻度に基づいて、エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出する。

また、補正部は、輝度値の変化方向の種類ごとに抽出された補正倍率を用いて色収差の補正をする。このとき、補正部は、輝度値の変化方向に対応させてエッジ部分の色収差の補正をしてもよい。または、エッジ部分の信頼度を決定する信頼度決定部で決定された信頼度に基づいて、輝度値の変化方向の種類ごとに抽出された補正倍率を用いて色収差の補正をしてもよい。

カメラ信号処理部１０３は、前処理部１０２からの撮像データに対して、同時化処理、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。

変換処理部１０４は、カメラ信号処理部１０３から受け取った画像信号を表示部１１２の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理部１０８に出力するとき行う。

圧縮・伸張部（ＪＰＥＧ）１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御部１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御部１０６は、メモリ１０７に対する画像データの書き込み及び読み込みを制御する。メモリ１０７は、メモリ制御部１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などである。

表示処理部１０８は、変換処理部１０４又は圧縮・伸張部（ＭＰＥＧ）１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、画像信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータの画像などを表示する。

圧縮・伸張部（ＭＰＥＧ）１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理部１０８に出力する。表示部１１２は、表示処理部１０８から受け取った動画を表示する。

制御部１１３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。

＜２．一実施形態に係る倍率色収差の検出及び補正方法＞
次に、本実施形態に係る画像信号処理による倍率色収差の検出及び補正方法について説明する。

本実施形態では、ＲＡＷデータにおいて倍率色収差の検出と補正を行うとする。Ｒ信号とＢ信号のそれぞれの位置にその近傍のＧ信号から補間Ｇ信号を生成し、画素位置の揃ったＲ信号と補間Ｇ信号の両者、又は画素位置の揃ったＢ信号と補間Ｇ信号の両者によって擬似輝度信号Ｙを生成する。倍率色収差は、輝度のエッジ付近に生じるということから、擬似輝度信号Ｙを用いて高周波成分を検出（エッジを検出）する。ある方向において、上記高周波の位置における補間Ｇ信号（のウィンドウ）と、Ｒ信号又はＢ信号（のウィンドウ）のずれ量を検出する。そして、ずれ量の検出を様々な方向でも行い、各像高におけるずれ量のヒストグラムを生成し、各像高におけるその最頻値を最終的なずれ量、すなわち収差量として検出する。本実施形態では、検出されたエッジを立ち上がりエッジと立ち下がりエッジに分け、それぞれについてヒストグラムを生成する。補正は、Ｒ信号とＢ信号に対して行い、検出されたずれ量の分だけずらした位置の画素値を補間することで行う。

図５は、倍率色収差の検出と補正動作を示すフローチャートである。
まず、倍率色収差の検出と補正をＲＡＷデータに対して行うため、ＲＡＷデータが取り込まれる（ステップＳ１０１）。

次に、例えばバイリニア補間によってＲの画素位置にＧ信号を補間する（ステップＳ１０２）。図６に補間処理の様子を示す。図６は、ベイヤ配列で配置されたＲＧＢ各色の画素を示す説明図である。補間処理によって補間されたＧ信号を以下では補間Ｇ信号という。補間Ｇ信号は、補間位置の近傍にあるＧ信号を使用し、加算平均によって得られる。この補間処理は、全画像領域に対して行う。これにより、Ｒ信号と補間Ｇ信号のそれぞれでＲＡＷデータのサイズ、かつ他色が欠落した間欠配列の画像が得られる。そして、この欠落した部分の画素位置にデータを有する画素を寄せて詰めることで、Ｒ信号と補間Ｇ信号のそれぞれでＲＡＷデータの１／４サイズのプレーン画像を生成する（ステップＳ１０２）。ここではＲ信号とＧ信号を例にしているが、Ｂ信号とＧ信号に対しても同様の処理を行う。なお、Ｒ信号とＢ信号のどちらを先に処理するかの処理順は問わない。

そして、同位相に位置するＲ信号と補間Ｇ信号を用い、（Ｒ＋補間Ｇ）／２を計算することで擬似輝度信号Ｙを生成する（ステップＳ１０３）。この擬似輝度信号は全画素位置それぞれにおいて算出される。

その後、擬似輝度信号Ｙに対してエッジ検出フィルタを施してエッジ検出をする（ステップＳ１０４）。例えば光軸を中心（極）としたときの動径方向に擬似輝度信号Ｙをハイパスフィルタ処理（ＨＰＦ）し、ＨＰＦ結果の絶対値をエッジ検出用の閾値と比較することによって、高周波成分（エッジ）を検出する。このとき、図７に示すように、擬似輝度信号Ｙの画面を８領域に分割して、矢印に沿った方向にフィルタを作用させて像高方向のエッジ信号を検出する。図７は、画面の分割領域と動径方向の設定例を示す説明図である。

また、エッジ検出によって、像高方向に輝度レベルが低い値から高い値に変化する「立ち上がりエッジ」、又は、像高方向に輝度レベルが高い値から低い値に変化する「立ち下がりエッジ」のいずれであるかを検出する。

次に、上記ステップＳ１０４で検出された高周波成分（エッジ）を含む部分を中心として、参照信号とする補間Ｇ信号のウィンドウを設ける。ここで、ウィンドウとは、例えば５画素×５ライン等の縦横に有限長の画素エリアのことである。また、補間Ｇ信号と同サイズのＲ信号のウィンドウを設ける。そして、動径方向にずらし（シフトし）ながら、補間Ｇ信号ウィンドウとＲ信号ウィンドウ間で、同じ座標にある画素どうしの差分の絶対値をとり、全て加算し（以下、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）という。）、ＳＡＤ結果を得る（ステップＳ１０５）（テンプレートマッチング）。そして、ＳＡＤ結果を用いて、補間によってピクセル単位より小さいサブピクセル単位の色ずれ量を算出する（ステップＳ１０６）。

ＳＡＤ結果は、Ｒ信号ウィンドウと補間Ｇ信号ウィンドウとの相関を表す指標である。ＳＡＤ値が大きければ相関が低く、ＳＡＤ値が小さければ相関が高い。図８及び図９にＳＡＤ結果の一例を示す。図８及び図９は、ＳＡＤ値と動径方向のずらし量（シフト量）との関係を示すグラフである。

上述したように、Ｒ信号ウィンドウを動径方向にシフトしつつＳＡＤを求めていき、ＳＡＤ結果が最も小さい（＝最も相関が高い）Ｒ信号ウィンドウと補間Ｇ信号ウィンドウと間の距離（＝Ｒ信号ウィンドウの中心と補間Ｇ信号ウィンドウの中心との間の距離）を色ずれ量として検出する（ステップＳ１０６）。

そして、ステップＳ１０６で得られた色ずれ量を像高で割ることで、Ｇ信号を基準としたＲ信号の拡大縮小倍率を算出する（ステップＳ１０７）。拡大縮小倍率は、エッジ部分ごとに得られ、画像補正の際に用いる補正倍率の候補となる。

そして、エッジ位置ごとにステップＳ１０５〜Ｓ１０７で得られた拡大縮小倍率の発生頻度を、立ち上がりエッジと立ち下がりエッジに分けて集計して、２種類の拡大縮小倍率のヒストグラムを生成する（ステップＳ１０８）。図１０にヒストグラムの一例を示す。図１０は、拡大縮小倍率の発生頻度を示すヒストグラムである。そして、ステップＳ１０８で得られた２種類のヒストグラムのそれぞれの最頻値を最終的な補正倍率として決定する（ステップＳ１０９）。

なお、ステップＳ１０８のヒストグラムの生成と、ステップＳ１０９の補正倍率の決定は、画像全体で処理するのではなく、像高がほぼ等しい領域（ドーナツ状の領域）毎に処理してもよい。これにより、像高に応じた補正倍率が得られるため、より精度の高い補正を行うことができる。

そして、ステップＳ１０９で得られた補正倍率を用いて、Ｒ信号の倍率色収差による色ずれ及びＢ信号の倍率色収差による色ずれを幾何学的変換によって補正する。ステップＳ１０９により得られた補正倍率は、Ｒ信号（又はＢ信号）の補間Ｇ信号に対する拡大縮小倍率である。この補正倍率に基づいて、補正対象とするＲ画素位置の色ずれ先を求める。そして、色ずれ先のＲ信号の画素値を抽出して、補正対象とするＲ画素位置に抽出したＲ信号の画素値を挿入する。そして、色ずれ補正が完了したＲＡＷデータに対して色補間処理を行い、１画素に複数の色成分が含まれる画像データを生成する。これにより、補正による画像改善効率の高い画像を得ることができる。

本実施形態では、立ち上がりエッジと立ち下がりエッジの２種類の拡大縮小倍率のヒストグラムを生成し、２種類の補正倍率を得ることができる。この２種類の補正倍率を使用した倍率色収差の補正方法について、以下で説明する。

（１）両者の補正倍率の加重平均値の適用
（２）エッジのレベル変化の方向に応じた最適な補正倍率の選択
（３）信頼度を用いた補正倍率の適用

（１）両者の補正倍率の加重平均値の適用
立ち上がりエッジのヒストグラムから導かれた補正倍率と、立ち下がりエッジのヒストグラムから導かれた補正倍率の加重平均値に基づいて、色ずれ補正を行う。立ち上がりエッジの補正倍率と立ち下がりエッジの補正倍率の加重配分は、レンズ設計の時点で判明するＰＳＦを用いて決定してもよい。

ＰＳＦは、図２に示すように像高が高い位置では、ピーク位置を基準として左右が非対称である。この非対称性を考慮して、試行錯誤で補正処理画像を見ながら手作業で見栄えが良くなるように加重配分を決定する方法がある。

また、図２のＰＳＦの青色成分（破線）を例にとると、ＰＳＦのピークを中心として右側の広がりのほうが、左側の広がりよりも広い。ＰＳＦのピークを中心として右側の広がりは、立ち下がりエッジの特性と相関があり、左側の広がりは、立ち上がりエッジの特性と相関がある。従って、ピークを中心として右側と左側とで収差量が異なる場合、図１２に示すように、本来のエッジ（図１２中の実線Ａ）に対して、立ち上がりエッジと立ち下がりエッジとでは、色収差による広がり（図１２中の破線Ｂ）が異なる。図１２は、エッジ部分の輝度信号の分布を示す説明図である。

そこで、図１１に示すフローで加重配分を決定し収差補正する方法もある。図１１は、本実施形態に係る収差補正方法を示すフローチャートである。
まず、ＰＳＦのピークを中心として右側の広がりの面積と左側の広がりの面積の比を予め算出する（ステップＳ２０１）。次に、面積比に基づいて加重値を算出し（ステップＳ２０２）、立ち上がりエッジの補正倍率と立ち下がりエッジの補正倍率の加重平均値を算出する（ステップＳ２０３）。そして、補正倍率の加重平均値を用いて色収差補正をする（ステップＳ２０４）。例えば、ＰＳＦのピークを中心として右側のほうは、収差量が多く面積も広いため、加重値も大きく決定しておく。これにより、収差量が大きい方のエッジについて補正の効果を強くすることができ、色収差を適切に補正できる。

（２）エッジのレベル変化の方向に応じた最適な補正倍率の選択
エッジ検出によって、エッジ部分が立ち上がりエッジであるか、又は立ち下がりエッジであるかというエッジのレベル変化の方向が分かる。従って、エッジ部分が立ち上がりエッジであると判断された部分については、立ち上がりエッジの拡大縮小倍率のヒストグラムから算出した補正倍率を使用する。また、エッジ部分が立ち下がりエッジであると判断された部分については、立ち下がりエッジの拡大縮小倍率のヒストグラムから算出した補正倍率を使用する。これにより、エッジの種類に応じた補正を各エッジ部分に適切に施すことができる。

（３）信頼度を用いた補正倍率の適用
「エッジの信頼度」を新たに定義し、立ち上がりエッジの信頼度が確実に高い場合は、立ち上がりエッジの補正倍率で補正を行い、立ち下がりエッジの信頼度が確実に高い場合は、立ち下がりエッジの補正倍率で補正を行う。また、いずれの信頼度も高くない場合は、立ち上がりエッジの補正倍率及び立ち下がりエッジの補正倍率の加重平均値を用いる。いずれの信頼度も高くない場合とは、立ち上がりエッジ及び立ち下がりエッジが不明な場合である。これは、エッジ検出フィルタの出力は強いエッジを示しているが、フィルタの特性によって高周波のエッジ成分が折り返しを起こしているため、立ち上がりエッジ及び立ち下がりエッジが不明なエッジが存在するため発生する。

そこで、図１３に示すフローで最終的な補正倍率を決定し収差補正する方法もある。図１３は、本実施形態に係る収差補正方法を示すフローチャートである。
まず、図８又は図９に示すようなＳＡＤ値の分布に基づいて、ＳＡＤ値の極小値を検出する（ステップＳ３０１）。図８に示す例では、極小値は１つであり、図９に示す例では、極小値は複数である。そして、極小値の数に基づいて、エッジの信頼度を決定する（ステップＳ３０２）。補間Ｇ信号とＲ信号又はＢ信号とのテンプレートマッチングの際、立ち上がりエッジ又は立ち下がりエッジが明確であるときのＳＡＤ値の分布は、図８に示すように最小値が明確に表れる。一方、例えば高周波による折り返しによって最小値を判別することができないときのＳＡＤ値の分布は、図９に示すように最小値のほかに複数の極小値が発生する。従って、例えば、極小値の数が１つであれば、信頼度が高く、極小値の数が多いほど信頼度が低くなるように決定する。

次に、立ち上がりエッジと立ち下がりエッジのどちらかの信頼度が高いか、又はいずれの信頼度も高くないかを判断する（ステップＳ３０３）。立ち上がりエッジと立ち下がりエッジのどちらかの信頼度が確実に高い場合は、より信頼度が高い方のエッジの補正倍率を採用する（ステップＳ３０４）。一方、立ち上がりエッジと立ち下がりエッジのいずれの信頼度も高くない場合は、例えば立ち上がりエッジと立ち下がりエッジの補正倍率の加重平均値を算出する（ステップＳ３０５）。そして、ステップＳ３０４又はステップＳ３０５で決定した補正倍率を最終的な補正倍率として収差補正する（ステップＳ３０６）。

これにより、立ち上がりエッジの信頼度が確実に高い場合は、立ち上がりエッジの補正倍率で補正を行うことができ、立ち下がりエッジの信頼度が確実に高い場合は、立ち下がりエッジの補正倍率で補正を行うことができる。また、いずれの信頼度も高くない場合は、立ち上がりエッジの補正倍率及び立ち下がりエッジの補正倍率の加重平均値を用いて補正することで、倍率色収差を適切に補正できる。

＜３．一実施形態に係る倍率色収差方法の効果＞
以下、本実施形態に係る倍率色収差方法の効果について説明する。
画像のエッジには、輝度レベルが変化する部分であり、輝度レベルの変化の仕方には低い方から高い方への変化と、高い方から低い方への変化の２種類がある。光軸から画像周辺への方向を像高方向というとき、エッジには、像高方向に輝度レベルが低い値から高い値に変化する「立ち上がりエッジ」と、反対に像高方向に輝度レベルが高い値から低い値に変化する「立ち下がりエッジ」がある。

図１及び図２に示す通り、一般にレンズのＰＳＦは像高が高くなり、画面の端にいくにつれて、ＰＳＦの形状の対称性が崩れる。そうすると、立ち上がりエッジと、立ち下がりエッジでは、倍率色収差の発生量が異なってくる。このような現象が生じるにもかかわらず、従来の特許文献１などの技術では、エッジにおける輝度レベルの変化の仕方に着目せず、画像ごとに１つの倍率ヒストグラムのみを生成し、最頻度値に基づいて、最終的な補正倍率を算出していた。

画像に立ち上がりエッジと立ち下がりエッジの両方が含まれる場合、１つの倍率ヒストグラムのみを生成すると、図３に示すような複数のピークが生じている倍率ヒストグラムが生成される。図３は、ある画像の倍率ヒストグラムの一例を示す説明図である。図３に示すように、複数のピーク（ヒストグラムのピーク割れ）が生じているにもかかわらず、最頻度値によって補正倍率を決定してしまうと、エッジによっては画像の補正が不適切になり、画像が劣化するという問題があった。

一方、本実施形態は、上述した通り、立ち上がりエッジと立ち下がりエッジとに分けて、２つの倍率ヒストグラムを生成する。その結果、ヒストグラムにおけるピーク割れを防止することができ、立ち上がりエッジによるヒストグラム、立ち下がりエッジによるヒストグラムそれぞれの最頻度値に基づいた２つの補正倍率を決定できる。そして、両者の補正倍率を上述した例などを適用して適切に組み合わせて、幾何学的変換による収差補正を行うことで、画像処理において補正による改善効果が高い補正画像を得ることができる。

図１４は、画像の一部を模式的に表した説明図である。図１４（Ａ）は、収差補正がされていない画像を示す。図１４（Ｂ）は、立ち上がりエッジ部分のみに対して収差補正をした結果の画像を示し、図１４（Ｃ）は、立ち下がりエッジ部分のみに対して収差補正をした結果の画像を示す。図１４（Ｄ）は、本実施形態によって得られた２つの補正倍率を用いて加重平均によって算出した最終的な補正倍率で収差補正した結果の画像を示す。

図１４に表された黒い領域と白い領域の境界がエッジである。倍率色収差が発生すると、エッジ部分で色ずれが見られるが、図１４では、エッジ近傍においてハッチングで表現した。ハッチング部分は、実際の画像では、色ずれによって、エッジ近傍に本来にはない色が発生する。例えば図１４の黒い領域が青色であり、白い領域が白色であるとき、色ずれによって、エッジ近傍のハッチング部分には黄色の領域が発生することがある。

収差補正がされていない場合は、図１４（Ａ）に示すように、立ち上がりエッジ、立ち下がりエッジ共に色ずれが生じている。従来、１つの倍率ヒストグラムのみを生成してピーク割れが発生すると、立ち上がりエッジ又は立ち下がりエッジのいずれかのみでしか補正できず、図１４（Ｂ）又は図１４（Ｃ）のどちらかの補正画像になってしまう。

一方、本実施形態によれば、２つの補正倍率の加重平均を用いて、立ち上がりエッジ、立ち下がりエッジのいずれの部分にも適切な色収差補正をすることができる。図１４（Ｄ）は補正後の画像の一例である。または、エッジ部分が立ち下がりエッジであると判断された部分については、立ち下がりエッジの拡大縮小倍率のヒストグラムから算出した補正倍率を使用することにより、エッジの種類に応じた補正を各エッジ部分に適切に施すこともできる。

更には、「エッジの信頼度」を新たに定義し、立ち上がりエッジの信頼度が確実に高い場合は、立ち上がりエッジの補正倍率で補正を行うことができ、立ち下がりエッジの信頼度が確実に高い場合は、立ち下がりエッジの補正倍率で補正を行うことができる。また、いずれの信頼度も高くない場合は、立ち上がりエッジの補正倍率及び立ち下がりエッジの補正倍率の加重平均値を用いて補正することで、倍率色収差を適切に補正できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本実施形態の画像処理は、ベイヤ配列によるＲＡＷデータを用いるとしたが、ベイヤ配列以外の画素配列である場合も適用できる。具体的には、色ずれ検出時に、Ｇ信号を補間する際に使用するＧ信号の参照位置がそれらベイヤ配列以外の画素配列依存となり、補間時に、Ｒ信号又はＢ信号を補間する際に使用するＲ信号又はＢ信号の参照位置がそれらベイヤ配列以外の画素配列依存となる。

また、本実施形態の画像処理は、撮像装置１００において行われる場合について説明したが、本発明はこの例に限定されない。例えば、撮像装置による撮影で取得されたＲＡＷデータを外部に出力して、例えばパーソナルコンピュータなどで上述した本実施形態の画像処理を適用することができる。

１００ 撮像装置
１０１ イメージセンサ
１０２ 前処理部
１０３ カメラ信号処理部
１０４ 変換処理部
１０５ 圧縮・伸張部（ＪＰＥＧ）
１０６ メモリ制御部
１０７ メモリ
１０８ 表示処理部
１０９ 圧縮・伸張部（ＭＰＥＧ）
１１０ 記録デバイス制御部
１１１ 記録デバイス
１１２ 表示部
１１３ 制御部
１１４ 撮像レンズ

Claims (6)

1. 画像データに含まれる画素信号の輝度値に基づいて、前記画像データに基づく画像内のエッジ部分と、前記エッジ部分の前記輝度値の変化方向を検出するエッジ検出部と、
   前記エッジ部分において、前記画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する色ずれ量検出部と、
   前記色ずれ量と光軸からの距離に基づいて１つの前記色成分信号を基準とした他の前記色成分信号の拡大縮小倍率を算出する倍率算出部と、
   前記エッジ部分の輝度値の変化方向の種類ごとに、前記画像データにおける前記拡大縮小倍率の頻度を集計する頻度集計部と、
   前記拡大縮小倍率の頻度に基づいて、前記エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出する倍率抽出部と、
   を備える、画像処理装置。
2. 前記エッジ部分の信頼度を決定する信頼度決定部と、
   前記決定された信頼度に基づいて、前記輝度値の変化方向の種類ごとに抽出された補正倍率を用いて色収差の補正をする補正部と、
   を更に備える、請求項１に記載の画像処理装置。
3. 前記輝度値の変化方向の種類ごとに抽出された補正倍率を用いて、前記輝度値の変化方向に対応させて前記エッジ部分の色収差の補正をする補正部を更に備える、請求項１に記載の画像処理装置。
4. 前記輝度値の変化方向の種類ごとに抽出された補正倍率を用いて色収差の補正をする補正部を更に備える、請求項１に記載の画像処理装置。
5. エッジ検出部が、画像データに含まれる画素信号の輝度値に基づいて、前記画像データに基づく画像内のエッジ部分と、前記エッジ部分の前記輝度値の変化方向を検出するステップと、
   色ずれ量検出部が、前記エッジ部分において、前記画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出するステップと、
   倍率算出部が、前記色ずれ量と光軸からの距離に基づいて１つの前記色成分信号を基準とした他の前記色成分信号の拡大縮小倍率を算出するステップと、
   頻度集計部が、前記エッジ部分の輝度値の変化方向の種類ごとに、前記画像データにおける前記拡大縮小倍率の頻度を集計するステップと、
   倍率抽出部が、前記拡大縮小倍率の頻度に基づいて、前記エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出するステップと、
   を備える、画像処理方法。
6. 画像データに含まれる画素信号の輝度値に基づいて、前記画像データに基づく画像内のエッジ部分と、前記エッジ部分の前記輝度値の変化方向を検出する手段、
   前記エッジ部分において、前記画像データに含まれる２つの色成分信号の相関を算出し色ずれ量を検出する手段、
   前記色ずれ量と光軸からの距離に基づいて１つの前記色成分信号を基準とした他の前記色成分信号の拡大縮小倍率を算出する手段、
   前記エッジ部分の輝度値の変化方向の種類ごとに、前記画像データにおける前記拡大縮小倍率の頻度を集計する手段、
   前記拡大縮小倍率の頻度に基づいて、前記エッジ部分の輝度値の変化方向の種類ごとに色収差の補正に用いる１つの補正倍率を抽出する手段、
   としてコンピュータを機能させるためのプログラム。

Images