JP2018093257A - 撮像装置 - Google Patents

Abstract

【課題】ゴーストにより、撮像素子の焦点検出用画素の周囲で発生するノイズを補正する撮像装置を提供すること。【解決手段】カメラシステム１０は、画像用の信号を生成する画像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子１０４と、撮像素子から得られる信号に発生するゴーストを検出するゴースト検出部１２０と、ゴースト検出部によりゴーストが発生していると検出された場合に、焦点検出用画素に隣接する画像用画素の中で、ゴーストによるクロストークの影響を受けている画像用画素を補正対象画素に設定する補正対象画素設定部１３０と、補正対象画素の近傍の画像用画素から算出した補正値に基づき、補正対象画素を補正する画素補正部１３２と、を具備する。【選択図】図１

Description

本発明は、ゴースト光による画質低下を防止する撮像装置に関する。

近年、焦点検出用画素が内蔵された撮像素子を搭載する撮像装置が開発されている。焦点検出用画素には、通常の画像生成用画素と透過特性等が異なるカラーフィルタが設けられる場合が多い。透過特性等の差によって、ゴースト（フレアとも呼ばれる）による影響が、焦点検出用画素の周囲の画素と他の画素では、異なってくる。そのため、焦点検出用画素が内蔵された撮像素子では、ゴーストによる影響が画素によって異なることで、ゴースト発生時に、画像にノイズが生じることがある。

このゴーストによる画質劣化を防止する提案もされている。例えば、ゴーストが生じていると判定した場合に、焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化してゴースト抑制処理を行う撮像装置が提案されている（特許文献１）。

特開２０１３−１３００７号公報

前述のように、焦点検出用画素が内蔵された撮像素子では、ゴーストの影響により、焦点検出用画素の周囲でノイズが発生する場合があり、これを対策する必要がある。
本願発明は、上記課題に鑑み、ゴーストにより、撮像素子の焦点検出用画素の周囲で発生するノイズを補正する撮像装置を提供することを目的とする。

上記目的を達成するために、撮像装置は、画像用の信号を生成する画像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子と、前記撮像素子から得られる信号に発生するゴーストを検出するゴースト検出部と、前記ゴースト検出部によりゴーストが発生していると検出された場合に、前記焦点検出用画素に隣接する画像用画素の中で、前記ゴーストによるクロストークの影響を受けている画像用画素を補正対象画素に設定する補正対象画素設定部と、前記補正対象画素の近傍の画像用画素から算出した補正値に基づき、前記補正対象画素を補正する画素補正部と、を具備する。

本発明によれば、ゴーストにより、撮像素子の焦点検出用画素の周囲で発生するノイズを補正する撮像装置を提供することができる。

本発明が適用される撮像装置の構成例を示す機能ブロック図である。 遮光方式の撮像素子における画素配列を示す図である。 遮光方式の撮像素子における構造を示す図である。 ＰＤ分割方式の撮像素子における画素配列を示す図である。 ＰＤ分割方式の撮像素子における構造を示す図である。 クロストークが発生する様子を説明する図である。 （Ｂ、Ｇｂ、Ｂ、Ｇｂ）の画素列におけるクロストークを示す図である。 （Ｒ、Ｇｒ、Ｒ、Ｇｒ）の画素列におけるクロストークを示す図である。 焦点検出用画素に隣接する画素においてクロストーク量が増加することを説明する図である。 ゴースト検出部の詳細を示すブロック図である。 ゴースト検出部がソフトウェアで実現される場合の機能ブロック図である。 クロストーク補正処理の手順を説明するフローチャートである。 補正対象画素の設定処理の手順を説明するサブルーチンである。 光源位置が撮像面の上辺にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の下辺にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の右辺にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の左辺にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の右斜め上にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の左斜め上にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の右斜め下にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の左斜め下にある場合の、補正対象画素の位置を示す図である。 光源位置が撮像面の右斜め上にある場合の、補正対象画素の位置を示す図である。 光源位置が画像面内の場合の、補正対象画素の位置を示す図である。 光源位置が画像面内の場合の、補正対象画素の位置を示す図である。 光源位置が画像面内の場合の、補正対象画素の位置を示す図である。 ゴースト検出用の領域分割例として、格子状に均等分割された例である。 ゴーストが発生した画面例を示す図である。 光源位置が画像面外の左斜め上または右斜め下にある場合の、領域分割例である。 光源位置が画像面外の左斜め上にある場合の、領域分割例である。 Ｇの色特性の焦点検出用画素Ｆで、補正対象画素を設定する例を説明する図である。

以下、図面に従って本発明の実施形態を説明する。図１は、本発明が適用される撮像装置（カメラシステム１０）の構成例を示す機能ブロック図である。カメラシステム１０は、カメラ本体１００と、カメラ本体１００に着脱される交換式レンズ２００を有する。なお、本発明の撮像装置は、レンズ固定式のカメラでも良いし、また、携帯端末（スマートフォン）に内蔵される撮像装置であってもよい。

カメラ本体１００は、メカシャッタ１０２、撮像素子１０４、アナログ処理部１０６、Ａ／Ｄ変換部１０８、位相差情報処理部１１０、ＡＦ処理部１１２、ＡＥ処理部１１４、ゴースト検出部１２０、補正対象画素設定部１３０、画素補正部１３２及び画像処理部１３４を有する。

メカシャッタ１０２は、被写体光束の通過時間を制御する。メカシャッタ１０２は、例えば、公知のフォーカルプレーンシャッタである。

撮像素子１０４は、被写体像を撮像して光電変化し、画像信号を出力する。撮像素子１０４は、各画素を構成するフォトダイオードを二次元的にマトリックス状に配置する。

本実施形態で使用される撮像素子１０４は、通常の画素（画像用画素）の間に焦点検出用画素を備える。画像用画素は、画像生成用の画素である。焦点検出用画素は、位相情報を出力する焦点検出用の画素である。焦点検出方式には遮光方式やＰＤ分割方式などがある。撮像素子１０４については、図２Ａ〜図３Ｂで後述する。

アナログ処理部１０６は、撮像素子１０４から読み出された画像信号に対してアナログ処理を施す。アナログ処理には、相関二重サンプリング処理やゲイン調整処理等が含まれる。

Ａ／Ｄ変換部１０８は、アナログデジタル変換器であり、アナログ処理部１０６でアナログ処理された画像信号を、デジタル形式の画像信号（画素データ）に変換する。

位相差情報処理部１１０は、撮像素子１０４の焦点検出用画素から出力される位相情報に基づき、被写体の距離情報や合焦状態情報などを出力する。

ＡＦ処理部１１２は、位相差情報処理部１１０からの出力に基づき、合焦評価値を算出する。ＡＥ処理部１１４は、画像データに基づいて被写体輝度を測定し、被写体輝度情報を出力する。

ゴースト検出部１２０は、画像面内でのゴースト発生有無の判定、ゴースト発生領域の判定、ゴースト光源位置の判定、ゴースト強度検出等を行う。ゴースト（ゴースト像とも呼ばれる）とは、レンズ表面や鏡枠内面で反射した不要光（迷光とも呼ばれる）が、撮像素子１０４に入り込み、これにより形成される光学像をいう。ゴーストを形成する不要光を、以下ではゴースト光とも呼ぶ。また、以下では、ゴーストとフレアを特に区別しない。

以下で、ゴースト検出部１２０は、画像データを用いてゴースト検出を行う例を説明するが、ゴーストの検出手段はこれに限られない。例えば、ゴースト検出部１２０は、撮像素子周辺で反射している不要光を検知するセンサを設け、センサの出力によりゴースト検出を行っても良い。ゴースト検出部１２０の詳細は、図６で説明する。

補正対象画素設定部１３０は、焦点検出用画素に隣接する画像用画素の中で、ゴースト光のクロストークによる影響を受けた画像用画素を補正対象画素に設定する。焦点検出用画素を通過して、隣の画素に漏れ込んだゴースト光を、以下ではクロストークと呼ぶ。

画素補正部１３２は、各種の画素補正を行う。画素補正部１３２は、クロストークの影響を受けた補正対象画素を補正する。画素補正部１３２は、周辺の画像用画素の補間演算により補正値を生成して、補正対象画素を補正する。さらに、画素補正部１３２は、焦点検出用画素を補間するために、焦点検出用画素を周囲の画像用画素で補正する処理を行う。また、画素補正部１３２は、欠陥画素と判定された画素を周囲の画像用画素で補正する処理も行う。

画像処理部１３４は、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。

更に、カメラ本体１００は、画像圧縮部１３６及び画像伸張部１３８を有する。画像圧縮部１３６は、静止画の場合には画像データをＪＰＥＧ方式で圧縮し、また動画の場合にはＭＰＥＧ等の各種方式に従って圧縮する。画像伸張部１３８は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張を行う。

また、カメラ本体１００は、マイクロコンピュータ１５０、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１５２、フラッシュメモリ１５４、表示ドライバ１５６、表示部１５８、メモリＩＦ（Interface）１６０、記録媒体１６２、操作部１６４、レンズＩＦ（Interface）１６６を有する。

マイクロコンピュータ１５０は、カメラシステム１０全体を統括的に制御するプロセッサーである。マイクロコンピュータ１５０は、フラッシュメモリ１５４に記憶されている制御プログラムを読込み、制御プログラムを実行して、カメラの各種シーケンスを行う。マイクロコンピュータ１５０には、操作部１６４、レンズＩＦ１６６が接続される。

ＳＤＲＡＭ１５２は、画像データ等の一時記憶用の電気的書き換えができる揮発性メモリである。ＳＤＲＡＭ１５２は、Ａ／Ｄ変換部１０８から出力された画像データや、画像処理部１３４等において処理された画像データを一時記憶する。

フラッシュメモリ１５４は、前述した制御プログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報を記憶する。

表示ドライバ１５６は、ＳＤＲＡＭ１５２や記録媒体１６２から読み出され、画像伸張部１３８によって伸張された画像データに基づいて、画像を表示部１５８に表示させる。表示部１５８は、例えばＬＣＤで構成され、表示ドライバ１５６から出力される画像を表示する。

メモリＩＦ１６０は、記録媒体１６２に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１６２に書き込みおよび読出しの制御を行う。

記録媒体１６２は、カメラ本体１００に着脱自在なメモリカード等の記録媒体である。記録媒体１６２は、カメラ本体１００に内蔵されたハードディスク等であっても良い。

操作部１６４は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材（不図示）を含む。操作部１６４は、これらの操作部材の操作状態をマイクロコンピュータ１５０に通知する。

レンズＩＦ１６６は、交換式レンズ２００内のマイクロコンピュータ２１０とカメラ本体１００内のマイクロコンピュータ１５０の相互間の通信を行うためのインターフェースである。

交換式レンズ２００は、レンズ２０２、絞り２０４、マイクロコンピュータ２１０、フラッシュメモリ２１２、ドライバ２１４を有する。

レンズ２０２は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成される。レンズ２０２は、単焦点レンズまたはズームレンズいずれでもよい。絞り２０４は、開口径が可変であり、レンズ２０２を通過する被写体光束の光量を制御する。

マイクロコンピュータ２１０は、フラッシュメモリ２１２の情報をカメラ本体１００内のマイクロコンピュータ１５０に送信する。フラッシュメモリ２１２は、制御プログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報を記憶する。

ドライバ２１４は、レンズ２０２に含まれるフォーカスレンズ等の位置制御や絞り２０４の開口径の制御を行う。

なお、図１において、一点鎖線で囲まれる範囲の部位（位相差情報処理部１１０やマイクロコンピュータ１５０等々）は、ＡＳＩＣ（Application Specific Integrated Circuit）１７０内に設けられる。また、ＡＳＩＣ１７０で行われるこれらの処理は、一部あるいは全部を、ハードウェア、ＤＳＰあるいはＣＰＵによるソフトウェア処理のいずれで実施するようにしてもよい。

次に、図２Ａから図３Ｂを用いて、本実施形態で使用される撮像素子１０４の画素配列と焦点検出用画素の構造を簡単に説明する。前述のように、焦点検出方式には、遮光方式とＰＤ分割方式の２つあり、焦点検出方式により、焦点検出用画素の構造が異なる。

図２Ａ及び図２Ｂは、遮光方式の撮像素子１０４を説明する図である。図２Ａは、遮光方式の撮像素子１０４における画素配列を示す図である。以下では、画素配列として、ベイヤ配列を例にするが、カラーフィルタの配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。

Ｒ、Ｂ、Ｇｒ、Ｇｂで示す各画素は、画像用画素である。また、Ｒ、Ｂ、Ｇｒ、Ｇｂは、カラーフィルタ色を示す。なお、Ｇｒ、Ｇｂは、共に緑色の画素であるが、赤色（Ｒ）列に配置されたＧをＧｒ、青色（Ｂ）列に配置されたＧをＧｂとして、区別する。また、水平方向を横方向、垂直方向を縦方向と呼ぶ。画像用画素の間に、太枠で示す焦点検出用画素が配置される。焦点検出用画素を、符号Fで示す。なお、Ｗは、焦点検出用画素のカラーフィルタが透明であることを示す。

図２Ｂは、遮光方式の焦点検出用画素の構造を示す図である。図２Ｂは、焦点検出用画素の断面図である。焦点検出用画素は、マイクロレンズ４００、カラーフィルタ４０２、配線層４０４ 遮光幕４０６、フォトダイオード４０８、基板４１０及び基盤４１２を有する。マイクロレンズ４００、配線層４０４、フォトダイオード４０８、基板４１０及び基盤４１２は、通常の画像用画素のものと同様であるので、説明は省略する。

遮光方式においては、焦点検出用画素のカラーフィルタ４０２は、画像用画素のカラーフィルタと異なるものが設けられることが多い。本例では、の透明（White）のカラーフィルタ４０２を備える焦点検出用画素を中心に説明する。

透明フィルタは、有色のカラーフィルタと比較して多く受光できる点で優位である。もちろん、有色のカラーフィルタでも、位相検出には差し支えない。遮光幕４０６は、入射光Ｋの左右あるいは上下いずれかを遮蔽するものである。図２Ｂの例では、入射光Ｋの右側が遮蔽される。例えば、左領域の信号と、右領域の信号の位相差を検出することで、ピントのずれが判定される。

図３Ａ及び図３Ｂは、ＰＤ分割方式の撮像素子１０４を示す図である。図３Ａは、ＰＤ分割方式の撮像素子１０４における画素配列を示す図である。図２Ａと同様に、焦点検出用画素を太枠で示し、符号Fで示す。図３Ｂは、ＰＤ分割方式の焦点検出用画素の構造を示す図である。焦点検出用画素は、マイクロレンズ４００、カラーフィルタ４０２、配線層４０４、フォトダイオード４０８、基板４１０及び基盤４１２を有する。

ＰＤ分割方式の焦点検出用画素は、一対のフォトダイオード４０８を有する。左側のフォトダイオード４０８は、マイクロレンズ４００の左側を通過した入射光Ｋを受光する。右側のフォトダイオード４０８は、マイクロレンズ４００の右側を通過した入射光Ｋを受光する。フォトダイオード４０８の一対の方向は、左右ではなく上下でも良い。

図３Ａは、焦点検出用画素のカラーフィルタ４０２をベイヤ配列に則った色の例であるが、これに限るものではない。例えば、図２Ａの場合と同様に、焦点検出用画素のカラーフィルタ４０２を、焦点検出用画素の入射光量を増やすために、透明にしても良い。また、焦点検出用画素のカラーフィルタ４０２を、有色であっても、画像用画素のカラーフィルタと異なる色にしてもよい。

次に、ゴースト光によりクロストークが発生する原理を簡単に説明する。図４は、レンズ表面や鏡枠内面で反射したゴースト光（不要光）により、クロストークが発生する様子を説明する図である。ゴースト光Ｍが、図４の右側の画素に浅い角度で入射したとする。右側の画素のマイクロレンズ４００及びカラーフィルタ４０２を通過したゴースト光Ｍが、左右の画素の境界の配線層４０４の上面で反射して、左側画素に進入する。隣接する画素に進入したゴースト光Ｍが、クロストークＣ（クロストーク光）となる。

左側の画素のフォトダイオード４０８は、本来の入射光Ｋに加えて、ノイズであるクロストークＣを受光する。そして、ゴースト光Ｍはカラーフィルタ４０２を通過して減衰するので、クロストークＣの量は、ゴースト光Ｍが通過するカラーフィルタ４０２の特性に応じて変化することになる。

図５Ａ〜図５Ｃは、ゴースト光Ｍが入射するカラーフィルタ４０２の特性に応じて、隣の画素に漏れ込むクロストークＣの大きさが変化することを説明する図である。

図５Ａは、（Ｂ、Ｇｂ、Ｂ、Ｇｂ）の画素列におけるクロストークの様子を示す図である。Ｇｂ画素のカラーフィルタ４０２を通過して、隣接するＢ画素に漏れ込んだゴースト光Ｍが、クロストークＢcrossとなる。Ｂ画素のカラーフィルタ４０２を通過して、隣接するＧｂ画素に漏れ込んだゴースト光Ｍが、クロストークＧｂcrossとなる。

図５Ｂは、（Ｒ、Ｇｒ、Ｒ、Ｇｒ）の画素列におけるクロストークの様子を示す図である。Ｇｒ画素のカラーフィルタ４０２を通過して、隣接するＲ画素に漏れ込んだゴースト光Ｍが、クロストークＲcrossとなる。Ｒ画素のカラーフィルタ４０２を通過して、隣接するＧｒ画素に漏れ込んだゴースト光Ｍが、クロストークＧｒcrossとなる。

ここで、カラーフィルタの透過率の違いにより、一般的に、
Ｒcross≒Ｂcross＞Ｇｒcross＞Ｇｂcross が成立する。この結果、本来のＲＧＢバランスに比べてＲ信号とＢ信号が多くなる。Ｒ信号とＢ信号が多くなることにより、画面ではマゼンタ（紫）が増加する。つまり、ゴーストの領域では、マゼンタが目立つようになる。そこで、画面内のマゼンタを検出することで、ゴーストの発生を判定することもできる。

図５Ｃは、焦点検出用画素に隣接する画素においてクロストーク量が増加することを説明する図である。図５Ｃは、（Ｂ、Ｇｂ、Ｗ、Ｇｂ）の画素列の例である。なお、ここでは、遮光方式の撮像素子１０４を例にする。焦点検出用画素のカラーフィルタ４０２を透明（Ｗ）とし、焦点検出用画素をＷ画素と呼ぶ。

Ｇｂ画素のカラーフィルタ４０２を通過して、隣接するＢ画素に漏れ込んだゴースト光Ｍが、クロストークＢcrossとなる。Ｗ画素のカラーフィルタ４０２を通過して、隣接するＧｂ画素に漏れ込んだゴースト光Ｍが、クロストークＧｂcrossとなる。Ｇｂ画素のカラーフィルタ４０２を通過して、隣接するＷ画素に漏れ込んだゴースト光Ｍが、クロストークＷcrossとなる。

図５Ｃの画素配列は、図５Ａの画素配列に対して、右から２番目のＢ画素が、焦点検出用画素に変更されたものである。そのため、図５ＣでのＧｂcrossは、図５ＡでのＧｂcrossより大きくなる。焦点検出用画素のカラーフィルタ４０２は透明であるため、焦点検出用画素のカラーフィルタ４０２の分光透過率が画素のカラーフィルタ４０２よりも高くなるからである。つまり、焦点検出用画素に隣接するＧｂ画素へのクロストーク量は、焦点検出用画素に隣接していないＧｂ画素へのクロストーク量より多くなる。

このように、焦点検出用画素のカラーフィルタが画像用画素のカラーフィルタと異なっている場合、焦点検出用画素の周辺にある画像用画素と、焦点検出用画素から遠い位置にある画像用画素では、漏れ込むクロストーク量が、異なってくる。そして、クロストーク量による差が、画面ではノイズとして現れる。

図６は、ゴースト検出部１２０の詳細を示すブロック図である。ゴースト検出部１２０は、発生判定部１２１、発生領域判定部１２２、光源位置判定部１２３及び強度検出部１２４を有する。

ゴースト検出部１２０は、画像データに基づき、画面を所定の領域に分割し、各領域で、Ｇｒ画素とＧｂ画素の差分や、マゼンタ色の彩度を検出する。検出された各領域におけるＧｒ画素とＧｂ画素の差分やマゼンタ色の彩度により、以下の判定処理や検出処理が行われる。

発生判定部１２１は、ゴースト発生の有無を判定する。具体的には、発生判定部１２１は、各領域で、Ｇｒ画素とＧｂ画素の差が所定以上であるか、あるいはマゼンタ色の彩度が所定以上であるかを、単独あるいは組み合わせて、ゴースト発生を判定する。

発生領域判定部１２２は、ゴースト発生領域がどの部分にどれ程の広さで存在しているかを判定する。発生領域判定部１２２は、Ｇｒ画素とＧｂ画素の差がある領域や、マゼンタ色の彩度の高い領域が画面内のどこに位置しているかで、発生領域を判定する。

光源位置判定部１２３は、ゴースト光源の位置を判定する。光源位置判定部１２３は、発生領域判定部１２２で判定されたゴースト発生領域に基づき、ゴースト光源の位置を判定する。例えば、光源位置判定部１２３は、画面の上端側に、ゴースト領域が偏って存在している場合は、ゴースト光源が撮像素子１０４の上側に位置していると判定する。以下では、ゴースト光源を単に光源とも称す。なお、光源位置判定部１２３は、発生領域判定部１２２とは別の条件で、Ｇｒ画素とＧｂ画素の差の大きい領域や、マゼンタ色彩度の高い領域で、ゴースト光源の位置を判定してもよい。

強度検出部１２４は、ゴースト強度を検出する。具体的には、強度検出部１２４は、発生領域判定部１２２でゴーストが発生したと判定される領域で、Ｇｒ画素とＧｂ画素の差分値や、マゼンタ色の彩度の高さを基に、ゴースト強度を検出する。

前述したゴースト検出部１２０による領域分割について、いくつか例を説明する。図１４Ａ〜図１４Ｄは、ゴースト検出用の領域分割例である。図１４Ａは、画面全体を格子状の領域に均等分割する例で、基本的な領域分割の例である。ゴースト検出部１２０は、図１４Ａの格子状の各領域の単位として、発生領域等の判定を行う。

また、図１４Ｂは、ゴーストが発生した画面例を示す図である。図１４Ｂでは、光源が画像面外の左斜め上に位置するとする。光源により、例えば、画面の左上隅およびその周囲の領域にゴーストが発生する。Ｐで示す領域が、ゴーストの発生領域である。

前述のように、ゴーストを判断するセンサを設けておけば、ゴースト検出部１２０は、センサの出力によって、ゴースト発生や光源位置を判定することができる。そして、センサにより光源位置が特定された後は、検出用の領域分割は、図１４Ａのような一律な分割ではなく、光源位置を基点とした分割にしてもよい（図１４Ｃ、図１４Ｄ）。例えば、前述したセンサにより光源位置が特定された後は、強度検出部１２４は、光源位置を基点とした分割された領域で、ゴーストの強度を検出してもよい。これにより、不要な領域の検出を省くことができ、処理時間を短縮することができる。

図１４Ｃは、光源位置が画像面外の左斜め上または右斜め下にある場合の、領域分割例である。また、図１４Ｄは、光源位置が画像面外の左斜め上にある場合の、領域分割例である。図１４Ｄの例では、光源位置に近い左上の部分は、細かく分割され、遠くなるに従い荒く分割される。つまり、光源に近い位置で、検出の領域が小さく設定され、光源から遠い位置で、検出の領域が大きく設定される。これにより、光源位置に近く、ゴーストのクロストークの影響を受けている領域を、細かく判定することができる。

なお、図１４Ｃ及び図１４Ｄで示す斜め方向の分割の例は、光源の位置が画像面外にある場合を示しているが、斜め方向の分割は、光源の位置が画像面内にある場合に適用してもよい。

なお、前述したマゼンタ色の判定は、画像処理前のＲＡＷデータで実施してもよいし、画像処理を実施した後のＹＣデータで実施しても良い。いずれの場合でも、光源の色の差を排除するために、ホワイトバランスを合わせたデータで実施できると望ましい。

また、ゴースト検出部１２０の各判定や検出は、静止画撮影後に静止画画像を利用して実施してもよいし、静止画撮影前のライブビュー表示中にライブビュー画像を利用して実施しても良い。また、動画撮影中であれば、ゴースト検出部１２０は、動画像の現フレームや過去のフレームを用いて、各判定や検出を実施しても良い。

図７は、ゴースト検出部１２０等がソフトウェアで実現される場合の機能ブロック図である。図１では、ゴースト検出部１２０、補正対象画素設定部１３０及び画素補正部１３２をハードウェアで構成した例を示した。しかし、ゴースト検出部１２０等は、マイクロコンピュータ１５０によるソフトウェア処理で、実現することもできる。制御部１８０は、フラッシュメモリ１５４に記憶された制御プログラムを読込んだマイクロコンピュータ１５０により実現される。そして、制御部１８０に含まれるゴースト検出部１２０、補正対象画素設定部１３０及び画素補正部１３２も、制御プログラムを読込んだマイクロコンピュータ１５０により実現される。

図８は、補正処理特にクロストーク補正処理の手順を説明するフローチャートである。ゴースト検出部１２０は、ゴースト判定を行う（ステップＳ１０）。ステップＳ１０では、ゴースト検出部１２０に含まれる、発生判定部１２１、発生領域判定部１２２、光源位置判定部１２３及び強度検出部１２４により、ゴースト発生の判定や検出等の処理が行われる。各部の具体的な処理は、図６で説明済であるので、省略する。

発生判定部１２１は、ゴーストが発生したかを判定する（ステップＳ１２）。発生判定部１２１が、ゴーストが発生したと判定すると（ステップＳ１２のＹｅｓ）、補正対象画素設定部１３０は、補正対象画素の設定を行う（ステップＳ１４）。発生判定部１２１が、ゴーストが発生していないと判定すると（ステップＳ１２のＮｏ）、ステップＳ１６に進む。

図９は、補正対象画素の設定処理の手順を説明するサブルーチンである。補正対象画素設定部１３０は、撮像素子１０４の１画素ずつを対象画素とし、対象画素を補正対象画素に設定するかの判定を行う。この判定は、発生領域判定部１２２でゴーストによる影響があると判定された領域のみ、実施してもよい。

補正対象画素設定部１３０は、当該対象画素が焦点検出用画素の隣接画素であるかを判断する（ステップＳ１００）。補正対象画素設定部１３０は、当該対象画素が焦点検出用画素の隣接画素でないと判断すると（ステップＳ１００のＮｏ）、ステップＳ１１２に進む。なお、隣接画素には、上下左右の画素だけでなく、斜めの画素を含んでもよい。

補正対象画素設定部１３０は、対象画素が焦点検出用画素の隣接画素であると判定すると（ステップＳ１００のＹｅｓ）、ゴースト光源位置が画像面内であるかを判定する。補正対象画素設定部１３０は、光源位置判定部１２３の判定結果に基づき、光源位置が画像面内であるかを判定する。補正対象画素設定部１３０は、ゴースト光源位置が画像面外であると判定すると（ステップＳ１０２のＮｏ）、画像面外における判定条件に基づき、補正対象画素を設定する（ステップＳ１０４）。

補正対象画素設定部１３０は、光源位置が画像面外と判定した場合、光源位置との関係に応じて、焦点検出用画素に隣接する画像用画素の中から、補正対象画素を設定する。なお、補正対象画素設定部１３０は、いずれの焦点検出用画素でも、同じ方向に隣接する画像用画素を補正対象画素に設定する。光源位置が画像面外の場合、ゴーストの影響を受ける領域の各焦点検出用画素は、光源から見て大よそ同方向とみなすことができるからである。

以下に具体例を示す。
１）ゴースト光源位置が撮像面の上下左右の辺の外の場合には、補正対象画素設定部１３０は、焦点検出用画素に隣接する画像用画素の中で、光源位置と反対方向にある画素を、補正対象画素に設定する。光源位置と反対方向にある画素を、対極関係にあると称す。

また、対極関係になる画素とは、隣接する画像用画素の中で、光源位置からの距離が遠い画素とも表現できる。そこで、光源の位置が画像面外である場合には、補正対象画素設定部１３０は、焦点検出用画素に隣接する画像用画素の中で、光源の位置からの距離が遠い順番に従って１以上の画素を、補正対象画素に設定するとも、言える。

以下、具体例を示す。図１０Ａ等では、光源位置をＳで示し、焦点検出用画素をＦで示し、補正対象画素をハッチングで示す。
ａ）光源位置が撮像面の上辺の上にある場合には、焦点検出用画素Ｆの下に隣接する画素が、補正対象画素に設定される（図１０Ａ参照）。
ｂ）光源位置が撮像面の下辺の下にある場合には、焦点検出用画素Ｆの上に隣接する画素が、補正対象画素に設定される（図１０Ｂ参照）。
ｃ）光源位置が撮像面の右辺の右にある場合には、焦点検出用画素Ｆの左に隣接する画素が、補正対象画素に設定される（図１０Ｃ参照）。
ｄ）光源位置が撮像面の左辺の左にある場合には、焦点検出用画素Ｆの右に隣接する画素が、補正対象画素に設定される（図１０Ｄ参照）。

なお、上記ａ）〜ｄ）では、設定される補正対象画素が１つで説明したが、複数であってもよい。例えば、図１０Ａで、Ｐ１で示す補正対象画素（Ｇｒ画素）の左右のＲ画素を、補正対象画素に加えてもよい。補正対象画素に左右の画素も含めるか否かは、ゴースト強度によって判定すればよい。

２）ゴースト光源位置が画像面外で、かつ撮像面の角部周辺（近傍）にある場合には、補正対象画素設定部１３０は、いずれか２方向の画素が対極関係にあると判定する。
ａ）光源位置が撮像面の右斜め上の場合には、焦点検出用画素の下及び左に隣接する画素が、補正対象画素に設定される（図１１Ａ参照）。
ｂ）光源位置が撮像面の左斜め上の場合には、焦点検出用画素の下及び右に隣接する画素が、補正対象画素に設定される（図１１Ｂ参照）。
ｃ）光源位置が撮像面の右斜め下の場合には、焦点検出用画素の上及び左に隣接する画素が、補正対象画素に設定される（図１１Ｃ参照）。
ｄ）光源位置が撮像面の左斜め下の場合には、焦点検出用画素の上及び右に隣接する画素が、補正対象画素に設定される（図１１Ｄ参照）。

３）また、ゴースト光源位置が画像面外で、かつ撮像面の対角方向にある場合には、補正対象画素設定部１３０は、上下左右だけでなく、斜め方向の画素も補正対象画素に設定してもよい。この場合には、いずれか３方向の画素が対極関係にある。例えば、光源位置が撮像面の右斜め上の場合には、補正対象画素設定部１３０は、下または左または左斜め下の画素を補正対象画素に設定する（図１２参照）。

以上から、補正対象画素設定部１３０は、判定された光源の位置が画像面外であって、かつ画面の角部周辺にある場合には、焦点検出用画素に隣接する画像用画素の中で、光源の位置からの距離が遠い順番に従って２以上の画素を、補正対象画素に設定すると言うこともできる。

ステップＳ１０２に戻る。補正対象画素設定部１３０は、ゴースト光源位置が画像面内であると判定すると（ステップＳ１０２のＹｅｓ）、画像面内における判定条件に基づき、補正対象画素を設定する（ステップＳ１０６）。

補正対象画素設定部１３０は、光源位置が画像面内の場合には、画像面内の光源位置と焦点検出用画素との位置関係に応じて、焦点検出用画素に隣接する画像用画素から、補正対象画素を設定する。

具体的には、補正対象画素設定部１３０は、焦点検出用画素に隣接する画像用画素の中で、光源位置と焦点検出用画素の位置関係の対極関係にある、画像用画素を補正対象画素に設定する。つまり、補正対象画素設定部１３０は、光源と焦点検出用画素との具体的な位置関係に応じて、上下左右いずれかの方向に隣接する画素を補正対象画素に設定する。以下、実例を示す。

ａ）例えば、補正対象画素設定部１３０は、光源の右側に位置する焦点検出用画素Ｆａについては、焦点検出用画素Ｆａの右の画素を補正対象画素に設定する（図１３Ａ参照）。同様に、補正対象画素設定部１３０は、光源の下側に位置する焦点検出用画素Ｆｂについては、焦点検出用画素Ｆｂの下の画素を補正対象画素に設定する（図１３Ａ参照）。
ｂ）また、補正対象画素設定部１３０は、光源から見て斜め右上に位置する焦点検出用画素Ｆｃについては、焦点検出用画素Ｆｃの右と上の画素を補正対象画素に設定する（図１３Ｂ参照）。同様に、補正対象画素設定部１３０は、光源から見て斜め左下に位置する焦点検出用画素Ｆｄについては、焦点検出用画素Ｆｄの左と下の画素を補正対象画素に設定する（図１３Ｂ参照）。
ｃ）さらに、補正対象画素設定部１３０は、ゴースト強度が所定の閾値よりも強い場合には、斜めの画素も補正対象画素に設定してもよい。例えば、補正対象画素設定部１３０は、光源から見て斜め右上に位置する焦点検出用画素Ｆｅについては、焦点検出用画素Ｆｅの右と上の画素に加えて、右斜め上に隣接する画素も補正対象画素に設定してもよい（図１３Ｃ参照）。

以上のように、焦点検出用画素は撮像面内で様々な位置に配置されているので、光源位置が固定であっても、光源位置と焦点検出用画素の位置関係は一定ではない。そのため、補正対象画素設定部１３０は、光源位置が画像面内の場合には、各焦点検出用画素について、光源との位置関係をそれぞれ判定して、補正対象画素の設定を行うことが望ましい。

補正対象画素設定部１３０は、当該対象画素がステップＳ１０４またはＳ１０６で補正対象画素に設定された場合に、更に当該対象画素について、ゴースト強度＞閾値Ｔであるかを判定する（ステップＳ１０８）。ゴースト強度が低い場合には、クロストークも小さく、補正の必要性が低いからである。閾値Ｔは、フラッシュメモリ１５４に記憶される。

補正対象画素設定部１３０は、強度検出部１２４により検出された結果に基づき、当該対象画素を含む所定領域のゴースト強度と所定の閾値Ｔを比較して、ゴースト強度＞閾値Ｔであるかを判定する。なお、補正対象画素設定部１３０は、当該対象画素がステップＳ１０４またはＳ１０６で補正対象画素に設定されなかった場合に、ステップＳ１１２に進む。

補正対象画素設定部１３０は、ゴースト強度＞閾値Ｔであると判定すると（ステップＳ１０８のＹｅｓ）、補正対象画素設定部１３０は、当該対象画素を補正対象画素に設定する（ステップＳ１１０）。そして、補正対象画素設定部１３０は、撮像面の全ての有効画素について判定が終了したかを判断する（ステップＳ１１２）。また、補正対象画素設定部１３０は、ゴースト強度＞閾値Ｔでないと判定すると（ステップＳ１０８のＮｏ）、ステップＳ１１２に進む。

補正対象画素設定部１３０は、全ての画素の判定が終了したと判断すると（ステップＳ１１２のＹｅｓ）、図９の処理を終了して、図８のステップＳ１６に進む。補正対象画素設定部１３０は、全ての画素の判定が終了していないと判断すると（ステップＳ１１２のＮｏ）、ステップＳ１００に戻る。

図８のステップＳ１６に戻る。画素補正部１３２は、クロストーク補正、焦点検出用画素の画素補正、あるいは画素欠陥補正等の画素補正を行う（ステップＳ１６）。クロストーク補正では、画素補正部１３２は、補正対象画素設定部１３０によって補正対象画素と設定された画素に対し、補正を行う。画素補正部１３２は、補正対象画素の周辺の画像用画素の画素値から補正値を算出し補正対象画素の画素値とする。画素補正部１３２は、ブロックマッチングによる重み付け方式などを利用して、補正値を算出する。

また、画素補正部１３２は、周辺の画像用画素の画素値の平均値を補正値としてもよいし、補正対象画素と周辺の通常画素との距離に応じて重み付けをした平均値を補正値としても良い。また、画素補正部１３２は、焦点検出用画素もここで同様に補正してもよい。

また、画素補正部１３２は、ゴーストが発生してない場合には、ステップＳ１６で、クロストーク補正は行わず、焦点検出用画素の画素補正あるいは画素欠陥補正等の画素補正を行う。

画像処理部１３４は、画素補正された画像を画像処理して（ステップＳ１８）、出力画像を生成する。画像処理の内容は、ＷＢ（Ｗhite Balance）、デモザイク、色補正、ガンマ補正、ノイズリダクション等である。

次に、Ｇのカラーフィルタが設けられた焦点検出用画素Ｆにおいて、補正対象画素を設定する例を説明する。図１５は、Ｇのカラーフィルタが設けられた焦点検出用画素Ｆにおける、画素配列の例である。太枠で囲まれた画素（Ｆ１〜Ｆ８）が、焦点検出用画素Ｆである。

具体的には、画像用画素のＢ画素の中で所定の位置に、Ｇの色特性（表記はＧｂ）の焦点検出用画素Ｆ１、Ｆ２が配置される。また、画像用画素のＲ画素の中で所定の位置に、Ｇの色特性（表記はＧｒ）の焦点検出用画素Ｆ３、Ｆ４が配置される。つまり、焦点検出用画素Ｆ１と焦点検出用画素Ｆ２の色特性は、色配列の順からいうと、本来は「Ｂ」なのだが、「Ｇｂ」になっている。また、焦点検出用画素Ｆ３と焦点検出用画素Ｆ４の色特性は、色配列の順からいうと、本来は「Ｒ」なのだが、「Ｇｒ」になっている。つまり焦点検出用画素Ｆ１〜焦点検出用画素Ｆ４は、画像用画素の色配列の色とは異なる色特性の画素である。

一方、焦点検出用画素Ｆ５〜焦点検出用画素Ｆ８は、画像用画素のＧｒ画素の中で所定の位置に配置されている。焦点検出用画素Ｆ５〜焦点検出用画素Ｆ８の色特性はＧｒであるので、焦点検出用画素Ｆ５〜焦点検出用画素Ｆ８は、画像用画素の色配列の色と同じ色特性の画素となる。つまり、焦点検出用画素Ｆ５〜焦点検出用画素Ｆ８のカラーフィルタは、画像用画素の色配列の順通りのカラーフィルタである。

そして、焦点検出用画素Ｆの色特性が、画像用画素の色配列の色とは異なる場合（Ｆ１〜Ｆ４）には、この焦点検出用画素Ｆに隣接する画像用画素の中から補正対象画素が設定される。本例では、光源Ｓの位置が下辺の下にあるので、補正対象画素の設定ルールは、前述の図１０Ｂの例が適用される。焦点検出用画素Ｆ１〜焦点検出用画素Ｆ４の上に隣接する画素が補正対象画素に設定される。補正対象画素を斜線で示す。

また、焦点検出用画素Ｆの色特性が、画像用画素の色配列の色と同じ場合には、当該焦点検出用画素に隣接する画像用画素は補正対象画素としない。つまり、焦点検出用画素Ｆ５〜焦点検出用画素Ｆ８に隣接する画素は、補正対象画素から除外される。焦点検出用画素の色特性が画像用画素の色配列の色と同じであれば、ゴーストによるクロストークの影響は少ないからである。これにより、補正対象画素を限定することができる。

以上のように、Ｇの色特性の焦点検出用画素Ｆに対しても、透明（Ｗ）な色特性の焦点検出用画素Ｆと同様に、撮像面に対する各光源位置に応じて、補正対象画素が設定される。具体的な方式は、図１１Ａ等、図１２、図１３Ａ等で説明したと同様であるので、詳細は省略する。これにより、Ｇの色特性の焦点検出用画素Ｆが設けられた撮像素子１０４においても、クロストークによるノイズが改善される。

〈変形例〉
上記実施形態では、補正対象画素設定部１３０は、ゴースト光源位置に応じて、補正対象画素を設定することを説明したが、設定方法はこれに限るものではない。例えば、補正対象画素設定部１３０は、焦点検出用画素に隣接する画像用画素の画素値の差から、補正対象画素を設定するようにしても良い。具体的には、補正対象画素設定部１３０は、焦点検出用画素の隣接画素の画素値と、周囲の同色画素の画素値と比較して、差が所定以上大きい場合は、その隣接画素は周囲の同色画素よりもクロストークが多く生じていと判断して、補正対象画素に設定するようにしてもよい。

さらに、補正対象画素設定部１３０は、ステップＳ１０４またはＳ１０６で説明したゴースト光源位置の情報と画素値の差の双方を利用して、補正対象画素を設定してもよい。例えば、補正対象画素設定部１３０は、ゴースト光源位置の情報によって補正対象画素に設定した画素であっても、周囲の画素との画素値の差が所定の閾値を超えていなければ、クロストークの影響が少ないと判断して、その画素を補正対象画素から除外してもよい。

〈効果〉
・以上により、クロストーク補正が必要な補正対象画素を適切に判断して補正を実行するので、ゴーストに起因する画質劣化を確実に抑制することができる。
・また、クロストークの影響を受けている画素を判定して補正するので、補正不要な画素への補正を回避することができる。補正による悪影響を防止することができる。
・また、ゴースト光源位置を基準にして、補正対象画像を設定するので、クロストーク補正の必要な画素を適切に選択することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。

１０ カメラシステム
１００ カメラ本体
１０４ 撮像素子
１０６ アナログ処理部
１０８ Ａ／Ｄ変換部
１１０ 位相差情報処理部
１２０ ゴースト検出部
１２１ 発生判定部
１２２ 発生領域判定部
１２３ 光源位置判定部
１２４ 強度検出部
１３０ 補正対象画素設定部
１３２ 画素補正部
１３４ 画像処理部
１５０ マイクロコンピュータ
１７０ ＡＳＩＣ
１８０ 制御部
２００ 交換式レンズ
４００ マイクロレンズ
４０２ カラーフィルタ
４０４ 配線層
４０６ 遮光幕
４０８ フォトダイオード

Claims (13)

1. 画像用の信号を生成する画像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子と、
   前記撮像素子から得られる信号に発生するゴーストを検出するゴースト検出部と、
   前記ゴースト検出部によりゴーストが発生していると検出された場合に、前記焦点検出用画素に隣接する画像用画素の中で、前記ゴーストによるクロストークの影響を受けている画像用画素を補正対象画素に設定する補正対象画素設定部と、
   前記補正対象画素の近傍の画像用画素から算出した補正値に基づき、前記補正対象画素を補正する画素補正部と、を具備する
   ことを特徴とした撮像装置。
2. 前記補正対象画素設定部は、
   前記焦点検出用画素のうち前記画像用画素の色配列とは異なる色特性を有する焦点検出用画素に、隣接する画素を前記補正対象画素に設定する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記ゴースト検出部は、さらに、前記撮像素子から得られる信号に基づき、前記ゴーストを発生させる光源の位置を判定し、
   前記補正対象画素設定部は、前記判定された光源の位置に応じて、前記補正対象画素を設定する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記ゴースト検出部は、さらに、前記光源の位置が前記撮像素子により撮影される画像面内であるか画像面外であるかを判定し、
   前記補正対象画素設定部は、前記判定された前記光源の位置が前記画像面内か画像面外であるかに応じて、前記補正対象画素の設定を変更する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記補正対象画素設定部は、前記判定された光源の位置が前記画像面内である場合には、前記光源と前記焦点検出用画素との位置関係に応じて、前記焦点検出用画素に隣接する前記画像用画素の中から、前記補正対象画素を設定する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記補正対象画素設定部は、前記判定された光源の位置が前記画像面外である場合には、前記焦点検出用画素に隣接する前記画像用画素の中で、前記光源の位置からの距離が遠い順番に従って１以上の画素を、前記補正対象画素に設定する
   ことを特徴とする請求項４に記載の撮像装置。
7. 前記補正対象画素設定部は、前記判定された光源の位置が前記画像面外であって、かつ画面の角部周辺にある場合には、前記焦点検出用画素に隣接する前記画像用画素の中で、前記光源の位置からの距離が遠い順番に従って２以上の画素を、前記補正対象画素に設定する
   ことを特徴とする請求項４に記載の撮像装置。
8. 前記ゴースト検出部は、前記撮像素子の撮像面を複数の領域に分けて、前記ゴーストが発生している領域を判定し、
   前記補正対象画素設定部は、前記ゴーストが発生していると判定された領域内にのみ、前記補正対象画素を設定する
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記ゴースト検出部は、前記焦点検出用画素に隣接する前記画像用画素の差分により、前記ゴーストの発生を検出し、
   前記補正対象画素設定部は、前記焦点検出用画素に隣接する前記画像用画素の差分により、補正対象画素に設定する
   ことを特徴とする請求項１に記載の撮像装置。
10. 画像用の信号を生成する画像用画素と焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子により撮影される画像を補正する画像補正方法において、
    前記撮像素子から得られる信号に基づき、ゴーストの発生を検出する検出ステップと、
    前記ゴーストが発生していると検出された場合に、前記焦点検出用画素に隣接する画像用画素の中で、前記ゴーストによるクロストークの影響を受けている画像用画素を補正対象画素に設定する設定ステップと、
    前記補正対象画素の近傍の画像用画素から算出した補正値に基づき、前記補正対象画素を補正する補正ステップを含む
    ことを特徴とする画像補正方法。
11. 前記補正対象画素設定ステップは、
    前記焦点検出用画素のうち前記画像用画素の色配列とは異なる色特性を有する焦点検出用画素に、隣接する画素を前記補正対象画素に設定する、
    ことを特徴とする請求項１０に記載の画像補正方法。
12. 前記検出ステップは、前記ゴーストを発生させる光源の位置を判定する判定ステップを含み、
    前記設定ステップは、前記判定ステップで判定された光源の位置に応じて、前記補正対象画素を設定する
    ことを特徴とする請求項１０または１１に記載の画像補正方法。
13. 画像用の信号を生成する画像用画素と焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子を備える撮像装置のコンピュータに画像補正方法を実行させるプログラムにおいて、
    前記撮像素子から得られる信号に基づき、ゴーストの発生を検出するステップと、
    前記ゴーストが発生していると検出された場合に、前記焦点検出用画素に隣接する画像用画素の中で、前記ゴーストによるクロストークの影響を受けている画像用画素を補正対象画素に設定するステップと、
    前記補正対象画素の近傍の画像用画素から算出した補正値に基づき、前記補正対象画素を補正するステップを含む
    ことを特徴とするプログラム。