JP2016127389A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】焦点検出用画素の隣接画素値に生じている画質劣化の要因を精度良く判別し、適切に補正することが可能な画像処理装置およびその制御方法の提供。【解決手段】 焦点検出用画素に隣接する撮像用画素の値を補正する際に、補正対象画素の近傍に存在する、焦点検出用画素に隣接する撮像用画素の値と、近傍に存在し、かつ、焦点検出用画素に隣接しない複数の撮像用画素の値とに基づいて、補正対象画素の値がフレアの影響を受けているか否かを判定する。補正対象画素の値がフレアの影響を受けていると判定された場合には、フレアの影響を補正するために適切な方法を用いる。【選択図】図３

Description

本発明は、画像処理装置およびその制御方法に関し、特に画素値の補正技術に関する。

従来、一部の画素を焦点検出用画素として構成し、焦点検出用画素の出力を用いて位相差検出方式の焦点検出を可能とする撮像素子が知られている（特許文献１）。
しかし、焦点検出用画素は、通常の画素（撮像用画素）とは異なる構造を有するため、焦点検出用画素の周囲の画素値に影響を与え、画質劣化が発生させる場合がある。特許文献２では、絞り値に応じたクロストーク率を用い、焦点検出用画素の周囲の撮像用画素の値を、その撮像用画素の近傍の焦点検出用画素の値に基づいて補正する方法が提案されている。また、特許文献３には、配線領域からの反射光によってフレアが発生しているか否かを、所定画素数以上のマゼンタ領域の有無により判定し、焦点検出用画素の周囲の撮像用画素がマゼンタ領域に属する場合には平滑化処理を適用する方法が提案されている。また、マゼンタ色が濃い領域に属する画素ほどフレアの影響を強く受けていると判定して、平滑度を強めている。

特開２０００−１５６８２３号公報 特開２００９−１２４５７３号公報 特開２０１３−２４７５９７号公報

焦点検出用画素に入射する光の分光特性が撮像用画素と異なることで、焦点検出用画素に隣接する撮像用画素値に影響を与える原因には、クロストークとフレア（ゴースト）の２通りがあり、１画像内に両方の影響が混在しうる。そして、フレアは明るい光源が存在する場合に発生しやすいため、クロストークよりも大きな影響を画素値に与えうる。

フレアに起因する影響を補正する処理をフレアに起因する影響を受けていない画素に適用してしまうと、誤補正が画像劣化の原因となってしまうため、フレアに起因する影響を受けている画素を精度良く検出する必要である。しかし、特許文献３に記載された技術では、マゼンタ色の領域をフレアの影響を受けた画素の集合として検出しているため、マゼンタ色の被写体の領域を、フレアによってマゼンタ色に成った領域と誤検出するおそれがある。

本発明は、このような従来技術の課題に鑑みなされたものであり、焦点検出用画素の隣接画素値に生じている画質劣化の要因を精度良く判別し、適切に補正することが可能な画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、焦点検出用画素に隣接する撮像用画素の１つを補正対象画素として、補正対象画素の値を取得する第１の取得手段と、補正対象画素の近傍に存在する、焦点検出用画素に隣接する撮像用画素の値を取得する第２の取得手段と、第１および第２の取得手段が取得した複数の撮像用画素の値と、複数の撮像用画素の近傍に存在し、かつ、焦点検出用画素に隣接しない複数の撮像用画素の値とに基づいて、補正対象画素の値がフレアの影響を受けているか否かを判定する判定手段と、判定手段により補正対象画素の値がフレアの影響を受けていると判定された場合には第１の補正方法により補正対象画素の値を補正する補正手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、焦点検出用画素の隣接画素値に生じている画質劣化の要因を精度良く判別し、適切に補正することが可能な画像処理装置およびその制御方法の提供することができる。

本発明の実施形態に係る撮像装置および情報処理装置のブロック図 焦点検出用画素の隣接画素に生じる、クロストークおよびフレアに起因する画質劣化の例を示す図 実施形態に係る画素補正処理の例を示すフローチャート 実施形態に係る画素補正処理を説明するための模式図 実施形態に係る画素補正処理の例と、閾値の効果を説明するための模式図 第１の実施形態におけるフレア判定処理の例を説明するための模式図 第２の実施形態におけるフレア判定処理の例を説明するための模式図

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態では本発明を撮像装置に適用した例について説明するが、本発明に係る画像処理装置には撮影ならびに撮影画像の記録に関する機能など、撮像装置に特有の構成は必須ではない。本発明は撮影によって得られた画像データと、その撮影に用いられた撮像素子の欠陥画素に関する情報が取得可能な任意の電子機器において実施可能である。また、撮像装置とは、デジタルカメラのような撮影を主な機能とする装置に限らず、撮像機能を有する任意の電子機器を意味する。

●（第１の実施形態）
図１（ａ）は、本発明の実施形態に係る画像処理装置の一例である撮像装置１００の機能構成例を示すブロック図である。
撮像装置１００はデジタルカメラ、デジタルビデオカメラなど、被写体を撮影し、被写体の画像を表すデータ（画像データ）を取得する装置である。光学系１０１は、レンズ、シャッター、絞りを有し、ＣＰＵ１０３の制御によって被写体光学像を撮像素子１０２に結像させる。ＣＣＤもしくはＣＭＯＳイメージセンサなどの撮像素子１０２は、結像された被写体光学像を各画素で光電変換し、アナログ画像信号に変換する。ＣＰＵ１０３は、アナログ画像信号をデジタル画像信号（画像データ）に変換し、ホワイトバランス調整や色補間処理などのいわゆる現像処理や、符号化処理などを適用する。ＣＰＵ１０３はプログラムを実行して各機能ブロックを制御することにより、撮像装置１００の様々な機能を実現する。

一次記憶装置１０４は例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ１０３のワークエリアなど、一時的なデータ記憶領域として用いられる。二次記憶装置１０５は例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）、ＣＰＵ１０３が実行するプログラム、各種の設定情報などを記憶する。

例えば半導体メモリカードである記憶媒体１０６は、撮影によって得られた画像データを予め定められた形式のデータファイルとして記憶する。記憶媒体１０６は撮像装置１００から取り外し可能であり、記憶媒体１０６のアクセス機能を有する他の装置、例えばパーソナルコンピュータなどによっても利用可能である。つまり、撮像装置１００は記憶媒体１０６へのアクセス機能を有し、記憶媒体１０６に対するデータの読み書きが行えればよい。

表示部１０７は、撮影時のビューファインダー画像の表示、撮影した／記憶媒体１０６から読み出した画像の表示、対話的な操作のためのユーザインタフェースの表示などに用いられる。操作部１０８は、例えばボタン、スイッチ、レバー、タッチパネルなどの入力デバイスを有し、撮像装置１００に対して使用者が各種の指示や設定を行うことを可能にする。なお、音声入力や視線入力のような、物理的な操作を必要としない入力方法を実現する構成も操作部１０８に含まれる。

通信装置１０９は、撮像装置１００が外部装置と制御コマンドやデータの送受信を行うことを可能にする。外部機器との通信に用いるプロトコルに特に制限は無いが、例えばＰＴＰ（Picture Transfer Protocol）であってよい。なお、通信装置１０９は、例えばＵＳＢ（Universal Serial Bus）ケーブルなどの有線接続により外部機器と通信を行ってもよし、無線ＬＡＮなどの無線接続により外部機器と通信を行ってもよい。また、外部装置とは直接接続されてもよいし、サーバを経由したりインターネットなどのネットワークを介して接続されたりしてもよい。

次に、焦点検出用画素に起因する画質劣化の発生要因の例について、図２を用いて説明する。図２（ａ）は、ある画素で光電変換されて発生した電荷が隣接画素に漏れ込むことで生じるクロストークに起因する画質劣化について模式的に示している。図２（ａ）の上段は撮像素子の一部の画素配列を抜き出して示したもので、撮像素子が有する撮像用画素には特定の色パターンを有するカラーフィルタが設けられている。

具体的には、撮像用画素３０１と３０３には同色（例えば赤色（Ｒ））のカラーフィルタが設けられ、撮像用画素３０２には別の色（例えば緑（Ｇ））のカラーフィルタが設けられている。撮像用画素３０１の上下の撮像用画素には撮像用画素３０２と同色（緑（Ｇ））のカラーフィルタが設けられている。また、撮像用画素３０２および焦点検出用画素３０４の上下の撮像用画素には撮像用画素３０１，３０２とは異なる共通色（例えば青（Ｂ））のカラーフィルタが設けられている。

また、下段の図は隣接する撮像用画素３０１，３０２と、隣接する撮像用画素３０３および焦点検出用画素３０４の垂直断面を模式的に示している。各画素にはマイクロレンズ３１１、３２１、カラーフィルタ３１２、３２２、配線層３１３、３２３、およびフォトダイオード３１４、３２４が設けられている。なお、図２に示した以外の構成が設けられていても良い。例えば、配線層３１３，３２３は最下層のパターンのみを示しており、他の配線層は図示していない。

まず、クロストークに起因する画質劣化について説明する。撮像用画素３０２への入射光３１５の一部がフォトダイオード３１４の外部で光電変換されると、発生した電子３１６が隣接画素に漏れこみ、隣接画素値に影響を与えることがある（クロストーク）。クロストークは画素の種類によらず、任意の隣接画素間で発生しうるが、焦点検出用画素に設けられたカラーフィルタの色が本来の色パターンと異なる場合に問題となり得る。図２（ａ）の例では、焦点検出用画素３０４の位置には本来、撮像用画素３０２と同じ色のカラーフィルタが設けられるが、ここでは無色（透明）のフィルタが設けられている。そのため、焦点検出用画素３０４に入射する光の分光特性は、撮像用画素３０２と同じ色のカラーフィルタを通じて入射する光の分光特性と異なる。そのため、フォトダイオード３２４の外部で光電変換された電子３２６の、撮像用画素３０３への漏れ込み方が、撮像用画素３０２から撮像用画素３０１への漏れ込み方と異なる。その結果、焦点検出用画素からのクロストークが隣接画素値に与える影響が、焦点検出用画素と同様の隣接画素配置を有する撮影用画素からのクロストークが隣接画素値に与える影響とが異なり、画質劣化として認識されてしまう。

次に、フレアに起因する画質劣化について説明する。図２（ｂ）は、図２（ａ）と同様にして撮像素子の一部について、画素配列と一部の画素の垂直断面構造を模式的に示している。ただし、図２（ｂ）では撮像素子のカバーガラス４３０が記載されている。また、撮像用画素４０５は、焦点検出用画素４０４と同じ画素行内で離間した、撮像用画素４０２と同色のカラーフィルタを有する画素を示している。

撮像用画素４０５に入射した光４３５の一部は、撮像用画素４０５のマイクロレンズ４３１とカバーガラス４３０で反射されながら撮像素子内を伝搬し、他の画素（ここでは撮像用画素４０４，４０２）に入射する（図中Ａ）。このような反射光は入射光量が多いほど増加するため、太陽などの高輝度被写体が含まれる場合には反射光によって画像の一部が明るくなる現象（フレア）として視認される。フレアの原因となる反射光は、図２（ｂ）に示すような大きな角度で画素に入射しうるため、入射画素のフォトダイオードに至る前に隣接画素に入射して、隣接画素値に影響を与える。

クロストークの場合と同様、フレアも画素の種類に依存しない現象であり、画素の種類によらず、任意の隣接画素間で発生しうる。しかし、焦点検出用画素のカラーフィルタの色が撮像用画素に適用されるカラーフィルタの色パターンで割り当てられる色と異なる場合、焦点検出画素から隣接画素に入射する光の分光特性は、撮影用画素から隣接画素に入射する光の分光特性と異なる。そのため、図２（ｂ）において撮影用画素４０１が反射光Ａによって受ける影響と、撮影用画素４０３が反射光Ａによって受ける影響とが異なり、画質劣化として認識されてしまう。

上述したように、フレアが発生するのは高輝度被写体が存在する場合であるため、隣接画素に漏れ込む光による影響はクロストークによる影響よりも大きい傾向にある。

本実施形態は、このような、焦点検出用画素が有するカラーフィルタの色、もしくは焦点検出画素に入射する光の分光特性の違いに起因して発生する、焦点検出用画素の周辺画素における画質劣化を抑制する。
図３は、このような画質劣化を抑制するための、本実施形態に係る画素補正処理を説明するためのフローチャートであり、補正対象画素ごとに実行される。なお、以下の説明では、図４（ａ）に示すような、原色ベイヤー配列のカラーフィルタを備える撮像素子において、緑（Ｇ）画素の位置に焦点検出用画素６０１が設けられる場合に、右に隣接する赤（Ｒ）画素６０２の値を補正する場合について説明する。

まず、第１の取得手段としてのＣＰＵ１０３は、Ｓ５０１ａにおいて補正対象画素（画素６０２）の値Ｒｃを取得する。ここでは、画素６０２の値が図４（ａ）に示すようにＲ３３であるため、ＣＰＵ１０３は値Ｒ３３を補正対象画素値Ｒｃとして取得する。すなわち、
Ｒｃ＝Ｒ３３ （１）
である。

次にＣＰＵ１０３はＳ５０２ａにおいて、目標値Ｒｔを算出する。目標値は、画素６０２が焦点検出用画素６０１に起因する影響を受けないとした場合の予測値である。予測値は、例えば近傍の同色（Ｒ）画素６０３〜６０５のような、焦点検出用画素に隣接していない撮像用画素の値に基づいて算出することができる。ここでは、例えば画素６０３〜６０５の値が図４（ａ）に示すように、Ｒ１１、Ｒ１３、Ｒ１５だった場合、ＣＰＵ１０３は、
Ｒｔ＝（Ｒ１１＋Ｒ１３＋Ｒ１５）／３ （２）
と、平均値を予測値として算出する。なお、予測値の算出方法および算出に用いる画素の位置や数はこれに限定されない。

ＣＰＵ１０３は例えば補正対象画素６０２の画素値Ｒｃを目標値Ｒｔに直ちに置き換える画素補正を実行してもよいが、誤補正になる可能性がある。そのため、本実施形態においてＣＰＵ１０３は、目標値Ｒｔが得られたら、画素補正を行う前にＳ５０３ａにおいて、補正を実行するか否かを判定する。

Ｓ５０３ａで行う判定の具体例について、図４（ｂ）および（ｃ）を用いて説明する。図４（ｂ）および（ｃ）は、図４（ｂ）に示す焦点検出用画素７０４、７０５、７０６に隣接する画素７０１ａ、７０２ａ、７０３ａの３つが補正対象画素である例を示している。ここでは、図４（ｃ）に示すように、補正対象画素７０１ａ、７０２ａ、７０３ａのそれぞれの処理において、補正対象画素値Ｒｃ１、Ｒｃ２、Ｒｃ３がＳ５０１ａで取得される。

なお、ここでは簡単のため、補正対象画素７０１ａ、７０２ａ、７０３ａそれぞれについてＳ５０２ａで算出された目標値Ｒｔが同一であったとする。まずＣＰＵ１０３は、Ｓ５０１ｂにおいて、閾値Ｔｈ１およびＴｈ２を設定する。この閾値に関しては例えばＳ５０２ａで算出した目標値Ｒｔを基準として、Ｔｈ１＝（Ｒｔ＋Ｒｔのｎ％）およびＴｈ２＝（Ｒｔ−Ｒｔのｎ％）の値や、Ｔｈ１＝（Ｒｔ＋ｎ）およびＴｈ２＝（Ｒｔ−ｎ）の値として設定することができる。なお、｜Ｔｈ１−Ｒｔ｜＝｜Ｔｈ２−Ｒｔ｜の場合、共通の閾値Ｔｈを１つ設定してもよい。

そして、ＣＰＵ１０３はＳ５０２ｂにおいて、閾値Ｔｈ１，Ｔｈ２を用いて補正対象画素の各々について、補正を行うかどうか判定する。ここでは、
補正対象画素値Ｒｃ≧Ｒｔの場合、（Ｒｃ−Ｒｔ）＜（Ｔｈ１−Ｒｔ）
補正対象画素値Ｒｃ＜Ｒｔの場合、（Ｒｔ−Ｒｃ）＜（Ｒｔ−Ｔｈ２）
（Ｔｈが共通閾値の場合には｜Ｒｃ−Ｒｔ｜＜｜Ｔｈ−Ｒｔ｜）
という条件を満たす場合に、ＣＰＵ１０３は補正を実行するものと判定して処理をＳ５０３ｂへ進め、条件を満たさない場合に、ＣＰＵ１０３は補正を実行しないものと判定して処理をＳ５０４ｂへ進める。

従って、図４（ｃ）の例では、補正対象画素７０１ａ，７０２ａについては補正を実行するものと判定され、補正対象画素７０３ａについては補正を実行しないものと判定される。

Ｓ５０３ａでＣＰＵ１０３は、補正実行有無を示すフラグcFlagを、補正の実行を表す値TRUEに設定し、補正実行判定処理を終了する。
Ｓ５０４ａでＣＰＵ１０３は、補正実行有無を示すフラグcFlagを、補正の不実行を表す値FALSEに設定し、補正実行判定処理を終了する。

図３（ｂ）に戻り、Ｓ５０４ａでＣＰＵ１０３は、フラグcFlagの値に基づいて、個々の補正対象画素について補正実行有無を判定する。補正を実行すると判定された場合、補正手段としてのＣＰＵ１０３は処理をＳ５０５ａに処理を進め、例えば画素値Ｒｃを目標値Ｒｔに置換する画素値補正処理を適用して画像補正処理を終了する。また、ＣＰＵ１０３は、Ｓ５０４ａで補正を実行しないと判定された補正対象画素については、そのまま画素補正処理を終了する。

Ｓ５０３ａの補正実行判定処理を行うことの効果について、図５を用いて説明する。例えば図５（ａ）に示すような被写体に対応して、図５（ｂ）に示す画素値（補正対象画素と同色の画素についてのみ示している）が得られたものとする。ここでは簡単のため、焦点検出用画素８０１および８０２の右側に隣接する撮像用画素８０３，８０４のみが焦点検出用画素からのクロストークの影響を受けて３カウントだけ本来の値よりも増加しているものとする。

補正対象画素８０３、８０４の値を補正しない場合、出力される画像は例えば図５（ｃ）のようになる。周辺の同色画素が同値であるのに対し、補正対象画素８０３の値だけが異なるため、補正対象画素８０３におけるクロストークの影響が画質劣化として目立っている。一方、補正対象画素８０４は被写体のエッジ部分のため、クロストークの影響が比較的目立ちにくい。

ここで、Ｓ５０２ｂの閾値判定に用いる閾値を例えばＴｈ１＝（Ｒｔ＋５）およびＴｈ２＝（Ｒｔ−５）とした場合を考える。Ｓ５０２ａにおいて、前述の式（２）のように、焦点検出用画素と隣接していない近傍の同色画素の平均値を目標値として算出した場合、補正対象画素８０３の目標値Ｒｔは０となる。従って、補正対象画素８０３は、（Ｒｃ−Ｒｔ）≦Ｔｈ１の条件を満たし、補正を実行する画素と判定され、Ｓ５０５ａで画素値が目標値０に補正される。

補正対象画素８０４について同様に算出される目標値Ｒｔも０となるが、補正対象画素値Ｒｃが５３であるため、（Ｒｃ−Ｒｔ）≦Ｔｈ１の条件を満たさない。そのため、補正対象画素８０４については画素補正が実行されず、値Ｒｃは５３のまま維持される。従って、本実施形態の画素補正処理の適用後は図５（ｄ）に示すような画素値となり、出力される画像は図５（ｅ）のように、必要な補正が行われる一方で誤補正も防止され、クロストークによる画質劣化が目立ちにくくなる。

図５の例ではクロストークに起因する画質劣化であったため、閾値ＴｈをＲｔ±５とすることで適切な補正を行うことが可能であったが、フレアに起因する画質劣化はクロストークに起因するものよりも大きく、この閾値では適切な補正ができない場合がある。例えば補正対象画素８０３に発生した、フレアに起因する画質劣化（目標値Ｒｔと画素値Ｒｃの差）が閾値を超える大きさの場合には、補正実行判定処理において補正しない画素と判定されてしまう。

フレアに起因する画質劣化が発生した場合にも補正が行われるように、閾値Ｔｈ１、Ｔｈ２を大きく設定することも考えられる。しかし、図５（ｂ）の補正対象画素８０４が上述の条件を満たすような大きな閾値を設定した場合、補正対象画素８０４に適切でない補正が適用され、画素補正処理後の画素値および画像は図５（ｆ）および（ｇ）に示すようになってしまう。

つまり、クロストークに起因する画質劣化と、フレアに起因する画質劣化の両方が起こりうる場合に適切な画素補正を行うには、フレアが発生しているかどうかに応じて閾値を変更することが必要である。なお、ここでは閾値が大きすぎることによる誤補正の可能性について説明するために５３より大きな閾値の設定を想定したが、これはフレアに起因する画質劣化の大きさを限定するものではない。クロストークに起因する画質劣化の補正に適切な閾値と、フレアに起因する画質劣化の補正に適切な閾値は、撮像素子の構成や特性、撮影レンズの特性などに応じて予め実験やシミュレーションを通じて決定することができる。

従って、本実施形態においてＣＰＵ１０３はＳ５０１ｂで閾値を設定する際に、補正対象画素にフレアに起因する画質劣化が生じているか否か判定し、判定結果に応じた閾値を設定する。

ここで、フレアに起因する画質劣化の有無の判定方法の例を説明する。フレアに起因する画質劣化は、焦点検出用画素を挟んで光源と逆方向に位置する隣接画素に強く発生する傾向がある。例えば、焦点検出用画素の受光面に向かって左側に光源がある場合は、右に隣接する画素にフレアによる画質劣化が強く発生する傾向がある。本実施形態ではこの特性を利用してフレアに起因する画質劣化の有無を判定する。

具体的には、第２の取得手段としてのＣＰＵ１０３は、補正対象画素に隣接する焦点検出用画素を含む、周辺の複数の焦点検出用画素について、焦点検出用画素との位置関係（隣接方向）が補正対象画素と同様の撮像用画素の値を取得する。そして、判定手段としてのＣＰＵ１０３は、これらの画素値が、焦点検出用画素に隣接しない、近傍の同色画素値より有意に（クロストークに起因する場合よりも）大きい場合に、フレアに起因する画質劣化が発生していると判定する。

図６はこのようなフレア判定処理の例を模式的に示す。図６（ａ）に示すように、焦点検出用画素９０７〜９０９の右に隣接する撮像用画素９０１〜９０３と、周辺の同色画素が、画素値５０前後の値を有しているものとする。これは、例えば、画素値５０の領域にランダムノイズが存在する状態に相当する。

この状態で、焦点検出用画素９０７〜９０９の右に隣接する撮像用画素９０１〜９０３にクロストークに起因する画質劣化が生じた例を図６（ｂ）に、フレアに起因する画質劣化が生じた例を図６（ｃ）に示す。ここでは簡単のため、焦点検出用画素９０７〜９０９の右側のみがフレアやクロストークの影響を受けており、クロストークに起因する画質劣化（画素値の変化）は＋３、フレアに起因する画質劣化（画素値の変化）＋１０としている。

ここでは、例えば補正対象画素９０２についての閾値を設定する際の閾値設定処理について、図３（ｃ）のフローチャートを用いて説明する。ＣＰＵ１０３はＳ５０１ｃにおいて、補正対象画素９０２の値と、周辺の焦点検出用画素に対して補正対象画素９０２と同じ方向に隣接する複数の補正対象画素の画素値を取得する。ここでは、フレアが焦点検出用画素の右側に生じることが想定されているため、補正対象画素９０２と同じ画素行で左右に存在する焦点検出用画素の右側に隣接する補正対象画素９０１，９０３の値を取得している。実際には、画像中の高輝度被写体の位置から推定される光源方向に基づいて、想定されるフレアの発生方向に存在する補正対象画素から値を取得するようにしてもよい。

補正対象画素９０１〜９０３の値をそれぞれＲｌ、Ｒｃ、Ｒｒとする。次に判定手段としてのＣＰＵ１０３はＳ５０２ｃにおいて、比較用の画素値として、補正対象画素９０１〜９０３の各々から特定の方向において近傍に存在し、かつ焦点検出用画素に隣接しない、補正対象画素と同色の撮像用画素を取得する。ここでは、ＣＰＵ１０３は例えば特定の方向を上方とし、撮像用画素９０４〜９０６の値を比較用に取得し、それぞれＲｔｌ、Ｒｔｃ、Ｒｔｒとする。なお、比較用の値を取得する撮像用画素は、補正対象画素の周辺同色画素のうち、焦点検出用画素に隣接せず、かつ想定されるフレアの発生方向と異なる方向に存在する画素とすることができる。

次に判定手段としてのＣＰＵ１０３はＳ５０３ｃにおいて、補正対象画素９０１〜９０３の値Ｒｌ、Ｒｃ、Ｒｒと、比較用の画素値Ｒｔｌ、Ｒｔｃ、Ｒｔｒとをそれぞれ比較し、
Ｒｌ＞Ｒｔｌ＋α ＡＮＤ Ｒｃ＞Ｒｔｃ＋α ＡＮＤ Ｒｒ＞Ｒｔｒ＋α （３）
が成り立つ場合には、補正対象画素９０２の値がフレアの影響を受けているものと判定し、処理をＳ５０５ｃへと進めてフレア用の閾値を設定する。これにより、Ｓ５０３ａ〜Ｓ５０５ａでは、フレア用の閾値を用いた第１の補正方法による補正処理が実行される。上述の通り、フレア用の閾値は、クロストーク用の閾値より目標値との差が大きい値とする。なお、式（３）におけるαは０以上の定数であり、クロストークに起因する画素値の変化と、フレアに起因する画素値の変化とを切り分けるための値を設定する。ここでは、α＝５であるものとするが、閾値と同様に、αの値も撮像素子の構成や特性、撮影レンズの特性などに応じて予め実験やシミュレーションを通じて決定することができる。

図６（ｂ）および（ｃ）の例を用いて具体的に説明する。補正対象画素９０２がクロストークの影響を受け、フレアの影響を受けていない図６（ｂ）の状態では、補正対象画素９０２の値Ｒｃ＜比較値（撮像用画素９０５の値）Ｒｔｃであるため、αの値によらず式（３）の条件を満たさない。そのため、図３（ｃ）の閾値設定処理においてＣＰＵ１０３は、Ｓ５０３ｃからＳ５０４ｃへ処理を移行させ、通常の（クロストーク用の）閾値を設定する。これにより、Ｓ５０３ａ〜Ｓ５０５ａでは、クロストーク用の閾値を用いた第２の補正方法による補正処理が実行される。

一方、補正対象画素９０２がフレアの影響を受けている図６（ｃ）の状態では、補正対象画素９０１〜９０３の値Ｒｌ、Ｒｃ、Ｒｒが、比較用の撮像用画素９０４〜９０６の値Ｒｔｌ、Ｒｔｃ、Ｒｔｒについて、式（３）の条件を満たす。そのため、図３（ｃ）の閾値設定処理においてＣＰＵ１０３は、Ｓ５０３ｃからＳ５０５ｃへ処理を移行させ、通常閾値よりも目標値との差が大きい、フレア用の閾値を設定する。

このように、補正対象画素の値がフレアの影響を受けていると判定される場合には、そうでない場合より大きな閾値を設定することで、誤補正を抑制しつつ、補正が必要な画素が適切に補正されるようにすることができる。

なお、ここでは焦点検出用画素の右側に隣接する撮像用画素（補正対象画素）の値を、補正対象画素の上方に存在する同色の撮像用画素の値と比較することによりフレアの影響を受けているか否かを判定する例を説明した。しかし、例えば焦点検出用画素の上下左右にある補正対象画素それぞれに関して同様の方法を適用して判定を行ってもよい。また、比較用の画素値Ｒｔｌ、Ｒｔｃ、Ｒｔｒについても、複数の周辺同色画素の平均値と比較して、比較用の画素自体にもフレアが影響しているかを判定し、フレアが影響していると判定されれば平均値と補正対象画素の値を比較してフレアの判定を行ってもよい。

また、式（３）のように、フレアの判定条件を構成する複数の不等式のうち、満たされないものがあった場合、満たされたものの数に応じて通常の閾値とフレア用閾値の間の値を閾値として設定するように構成してもよい。さらに、比較用の画素値に対する補正対象画素の値の大きさの程度に応じて、複数の閾値から１つを選択するなど、閾値を変化させてもよい。

以上説明したように本実施形態によれば、焦点検出用画素の隣接画素に生じるクロストークやフレアに起因する画質劣化を、誤補正を抑制しながら適切に補正することができる。また、フレアに起因する画質劣化が生じているか否かを、複数の同色画素値に基づいて判定するため、被写体色に依存しない判定が可能であり、補正すべき画素を精度良く判定することができる。

●（第２の実施形態）
第１の実施形態においては、所定の方向に隣接する複数の補正対象画素のそれぞれが、所定の方向とは異なる同方向に隣接する同色の（焦点検出用画素に隣接しない）撮像用画素の値よりも大きい値を有するか否かによってフレアの発生を判定する例を説明した。

本実施形態においては、１つの焦点検出用画素に隣接する複数の補正対象画素の値に基づいてフレアの発生を判定することを特徴とし、図３（ｃ）のＳ５０１ｃ〜Ｓ５０３ｃの処理の内容が第１の実施形態と異なる。従って、以下では本実施形態における閾値設定処理についてのみ、図７を参照しながら説明する。

図７は、撮像素子１０２の一部の画素配列を抜き出して示した図であり、左右の図は同じ画素群を示している。ここでは着目する補正対象画素（Ｓ５０１ａで値を取得する画素）を、画素１００１とする。本実施形態においてＣＰＵ１０３は、Ｓ５０１ｃにおいて、補正対象画素１００１および、補正対象画素１００１と同じ焦点検出用画素１０００に隣接する画素１００２、１００３、１００４の値を取得し、それぞれＲ１、Ｂ２、Ｒ３、Ｂ４とする。

次にＣＰＵ１０３はＳ５０２ｃにおいて、比較用の画素値として、Ｓ５０１ｃで値を取得した各画素１００１〜１００４について、上または下方向に隣接する同色の画素１０１１、１０１２、１０１３、１０１４の画素値を取得する。これらの画素値をそれぞれＲｔ１、Ｂｔ２、Ｒｔ３、Ｂｔ４とする。

次にＣＰＵ１０３はＳ５０３ｃにおいて、補正対象画素１００１がフレアの影響を受けているか否かの判定を行うが、まず図７に矢印で示すように、各画素１００１〜１００４の値と、対応する比較用の画素値との差分を以下の様に算出する。
ΔＲ１＝Ｒ１−Ｒｔ１
ΔＢ２＝Ｂ２−Ｂｔ２
ΔＲ３＝Ｒ３−Ｒｔ３
ΔＢ４＝Ｂ４−Ｂｔ４ （４）

第１の実施形態でも述べたように、フレアが発生している場合、高輝度物体または光源がある方向と、焦点検出用画素を挟んで逆方向にフレアの影響が強く発生する傾向にある。そこで、ＣＰＵ１０３は、式（４）において算出した各差分ΔＲ１、ΔＢ２、ΔＲ３、ΔＢ４に関し、例えば以下の式が成り立てば、図中左の方向に光源があり、焦点検出用画素の右側にフレアに起因する画質劣化が発生していると予測することが可能である。
ΔＲ１＞＞ΔＢ２ ＡＮＤ ΔＲ１＞＞ΔＲ３ ＡＮＤ ΔＲ１＞＞ΔＢ４ （５）

そこで、例えば予めクロストークの影響として予測される閾値Ｔｈを指定しておき、以下の式（６）が成り立つ場合は補正対象画素１００１の画素補正処理で用いる閾値にフレア用の閾値を設定するように構成することができる。
ΔＲ１−ＭＩＮ（ΔＢ２、ΔＲ３、ΔＢ４） ＞ Ｔｈ （６）

補正対象画素が画素１００３の場合には、ΔＲ１の代わりにΔＲ３を評価することで、図中右の方向に光源があり、焦点検出用画素の左側にフレアに起因する画質劣化が発生していると予測することが可能である。

また、同様の原理により、補正対象画素が画素１００２および１００４の場合には、左右方向に隣接する同色画素について差分を算出して評価することで、上方向や下方向へのフレアの発生を予測することができる。

このように、本実施形態においては、１つの焦点検出用画素に関する複数の隣接画素の値と、複数の隣接画素のそれぞれに予め定めた方向に隣接する同色かつ焦点検出画素に隣接しない撮像用画素の値とからフレアによる影響の有無を判定する。本実施形態によっても、フレアの有無に応じた適切な補正処理を行うことが可能となる。

なお、第１および第２の実施形態は組み合わせ可能である。例えば、第２の実施形態の方法によって複数の焦点検出用画素について同方向の隣接画素がフレアの影響を受けていると判定されることをもって、フレア補正を行うように判定してもよい。この方法を用いるとフレアによる影響有無の検出精度をより高めることが可能となる。

図１（ｂ）は、実施形態に係る別の画像処理装置の例としての情報処理装置２００の機能構成例を示すブロック図である。図１（ｂ）において、表示部２０１は、撮影画像の表示や対話的な操作のためのユーザインタフェースの表示などに用いられる。操作部２０２は、例えばキーボード、マウス、タッチパッドなど、情報処理装置２００に対して使用者が各種の指示や設定を行うことを可能にする。ＣＰＵ２０３はＯＳやアプリケーションプログラムを実行して各機能ブロックを制御することにより、上述した実施形態に係る画素補正処理を実現する。

一次記憶装置２０４は例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ２０３のワークエリアなど、一時的なデータ記憶領域として用いられる。二次記憶装置２０５は例えばハードディスクドライブ、ＳＳＤ、ＥＥＰＲＯＭのような不揮発性記憶装置であり、ＯＳやファームウェア、アプリケーションプログラム、各種の設定情報などを記憶する。

通信装置２０６は、情報処理装置２００が外部装置と制御コマンドやデータの送受信を行うことを可能にする。なお、通信装置２０６は、例えばＵＳＢ（Universal Serial Bus）ケーブルなどの有線接続により外部機器と通信を行ってもよし、無線ＬＡＮなどの無線接続により外部機器と通信を行ってもよい。また、外部装置とは直接接続されてもよいし、サーバを経由したりインターネットなどのネットワークを介して接続されてもよい。

また、通信装置２０６は、撮像装置１００の記憶媒体１０６のような着脱可能な記録媒体をアクセスする機能を備えていてもよい。撮像装置から取り外した記録媒体を通信装置２０６に装着することで、記録媒体から画像データを情報処理装置２００に読み込むことができる。

（その他の実施形態）
上述の実施形態では、補正対象画素の値がフレアの影響を受けていると判定されない場合には、補正対象画素に対してクロストークの影響を補正する処理を適用するものであった。しかし、フレアの影響を受けている画素値に対して適切な閾値が設定できれば本発明の効果は達成できるため、フレアの影響を受けていないと判定された補正対象画素に対する、クロストークの影響を補正する処理の適用は必須ではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…光学系、１０２…撮像素子、１０３…中央演算装置（ＣＰＵ）、１０４…一次記憶装置、１０５…二次記憶装置、１０６…記憶媒体、１０７…表示部、１０８…操作部、１０９…通信装置

Claims (12)

1. 焦点検出用画素に隣接する撮像用画素の１つを補正対象画素として、該補正対象画素の値を取得する第１の取得手段と、
   前記補正対象画素の近傍に存在する、焦点検出用画素に隣接する撮像用画素の値を取得する第２の取得手段と、
   前記第１および第２の取得手段が取得した複数の撮像用画素の値と、前記複数の撮像用画素の近傍に存在し、かつ、焦点検出用画素に隣接しない複数の撮像用画素の値とに基づいて、前記補正対象画素の値がフレアの影響を受けているか否かを判定する判定手段と、
   前記判定手段により前記補正対象画素の値がフレアの影響を受けていると判定された場合には第１の補正方法により前記補正対象画素の値を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記第２の取得手段は、前記補正対象画素が隣接する前記焦点検出用画素とは異なる焦点検出用画素に隣接する撮像用画素であって、焦点検出用画素との位置関係が前記補正対象画素と等しい撮像用画素の値を取得することを特徴とする請求項１記載の画像処理装置。
3. 前記第２の取得手段は、前記補正対象画素が隣接する前記焦点検出用画素に隣接する他の撮像用画素の値を取得することを特徴とする請求項１記載の画像処理装置。
4. 前記判定手段は、前記第１および第２の取得手段が取得した複数の撮像用画素の値と、前記複数の撮像用画素の各々から特定の方向において近傍に存在し、かつ、焦点検出用画素に隣接しない複数の撮像用画素の値とに基づいて、前記補正対象画素の値がフレアの影響を受けているか否かを判定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記特定の方向が、高輝度被写体の位置に基づいて想定されるフレアの発生方向と異なる方向であることを特徴とする請求項４記載の画像処理装置。
6. 前記補正手段は、前記判定手段により前記補正対象画素の値がフレアの影響を受けていないと判定された場合には第２の補正方法により前記補正対象画素の値を補正し、
   前記第１の補正方法および前記第２の補正方法は、前記補正対象画素の値と目標値との差が閾値を超える場合に前記補正対象画素の値を補正し、前記補正対象画素の値と前記目標値との差が前記閾値を超えない場合に前記補正対象画素の値を補正しない方法であり、
   前記第１の補正方法で用いる前記閾値の値が、前記第２の補正方法で用いる前記閾値の値よりも大きいことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記目標値が、前記補正対象画素の近傍に存在し、かつ、焦点検出用画素に隣接しない撮像用画素の値に基づく値であることを特徴とする請求項６記載の画像処理装置。
8. 前記補正対象画素の値が、前記目標値に置き換えられることにより補正されることを特徴とする請求項６または７に記載の画像処理装置。
9. 焦点検出用画素と撮像用画素とを有する撮像素子と、
   請求項１から８のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
10. 前記撮像用画素に入射する光の分光特性が、前記焦点検出用画素に入射する光の分光特性と異なることを特徴とする請求項９記載の撮像装置。
11. 第１の取得手段が、焦点検出用画素に隣接する撮像用画素の１つを補正対象画素として、該補正対象画素の値を取得する第１の取得工程と、
    第２の取得手段が、前記補正対象画素の近傍に存在する、焦点検出用画素に隣接する撮像用画素の値を取得する第２の取得工程と、
    判定手段が、前記第１および第２の取得手段が取得した複数の撮像用画素の値と、前記複数の撮像用画素の近傍に存在し、かつ、焦点検出用画素に隣接しない複数の撮像用画素の値とに基づいて、前記補正対象画素の値がフレアの影響を受けているか否かを判定する判定工程と、
    補正手段が、前記判定工程で前記補正対象画素の値がフレアの影響を受けていると判定された場合には第１の補正方法により前記補正対象画素の値を補正する補正工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images