JP2016144090A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】焦点検出用画素の隣接画素値に生じる画質劣化を、精度良く補正することが可能な画像処理装置およびその制御方法を提供する【解決手段】焦点検出用画素に隣接する複数の補正対象画素の少なくとも１つの値について補正する必要があるか否かを、補正対象画素の少なくとも１つの近傍に存在し、かつ、焦点検出用画素に隣接しない、複数の補正対象画素と同色の複数の撮像用画素の値に基づいて判定する。補正が必要と判定された補正対象画素の値を減少させるとともに、補正された値を含む複数の補正対象画素の値を、オフセット補正値により増加させる。【選択図】図５

Description

本発明は、画像処理装置およびその制御方法に関し、特に画素値の補正技術に関する。

従来、一部の画素を焦点検出用画素として構成し、焦点検出用画素の出力を用いて位相差検出方式の焦点検出を可能とする撮像素子が知られている。
しかし、焦点検出用画素は、通常の画素（撮像用画素）とは異なる構造を有するため、焦点検出用画素の周囲の画素値に影響を与え、画質劣化を発生させる場合がある。特許文献１では、絞り値に応じたクロストーク率を用い、焦点検出用画素の周囲の撮像用画素の値を、その撮像用画素の近傍の焦点検出用画素の値に基づいて補正する方法が提案されている。

特開２００９−１２４５７３号公報

特許文献１記載の技術は、補正対象画素にクロストークの影響を与える焦点検出用画素の位置や数を予め特定し、それらから特定の割合でクロストークの影響を受けるものとして、補正対象画素値を補正している。しかしながら、個々の補正対象画素に生じる実際のクロストークの影響はそれほど単純にモデル化できる訳ではなく、必ずしも精度の良い補正が行えない場合もあった。

本発明は、このような従来技術の課題に鑑みなされたものであり、焦点検出用画素の隣接画素値に生じる画質劣化を、精度良く補正することが可能な画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、焦点検出用画素に隣接する複数の撮像用画素の値を、複数の補正対象画素の値として取得する第１の取得手段と、複数の補正対象画素の少なくとも１つの近傍に存在し、かつ、焦点検出用画素に隣接しない、複数の補正対象画素と同色の複数の撮像用画素の値を取得する第２の取得手段と、複数の補正対象画素の値の少なくとも１つと、第２の取得手段が取得した複数の撮像用画素の値とに基づいて、複数の補正対象画素の値の少なくとも１つを補正する必要があるか否かを判定する判定手段と、判定手段により補正が必要と判定された補正対象画素の値を減少させる第１の補正手段と、補正手段で補正された値を含む複数の補正対象画素の値を、オフセット補正値により増加させる第２の補正手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、焦点検出用画素の隣接画素値に生じる画質劣化を、精度良く補正することが可能な画像処理装置およびその制御方法を提供することができる。

本発明の実施形態に係る画像処理装置の一例としてレンズ交換式のデジタル一眼レフカメラ（カメラシステム）の機能構成例を示すブロック図 第１実施形態における焦点検出領域の配置および撮像素子における画素配列の例を示す図 実施形態における画素の構造例およびクロストークの発生原理を模式的に示す図 クロストークの発生原理を説明するための模式図 第１実施形態におけるクロストーク判別・補正処理を説明するためのフローチャート 第２実施形態における撮像素子の画素配列の例を示す図 第２実施形態におけるクロストーク判別・補正処理を説明するためのフローチャート

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態では本発明を撮像装置、具体的にはレンズ交換式のデジタル一眼レフカメラ（ＤＳＬＲ）に適用した例について説明するが、撮影ならびに撮影画像の記録に関する機能など、撮影動作に特有の構成は本発明に必須ではない。本発明は撮影によって得られた画像データと、撮影に用いられた撮像素子が有する焦点検出用画素の位置に関する情報が取得可能な任意の電子機器において実施可能である。また、撮像装置とは、デジタルカメラのような撮影を主な機能とする装置に限らず、例えばカメラ付き携帯電話のように、撮影機能を有する任意の電子機器を意味する。

●（第１の実施形態）
図１は、本発明の実施形態に係る画像処理装置の一例であるレンズ交換式のデジタル一眼レフカメラ（カメラシステム）の機能構成例を示すブロック図である。
カメラシステムは、カメラ本体１００と、カメラ本体１００に着脱可能に取り付けられるレンズユニット２００とを有する。カメラ本体１００とレンズユニット２００は、それぞれが有するマウント部によって接続され、マウント部には電気的な接点群２１０が設けられる。接点群２１０はカメラ本体１００とレンズユニット２００との間で制御信号、状態信号、データ信号等を通信したり、カメラ本体１００から撮影レンズに電源を供給したり、レンズユニット２００の接続有無をカメラ本体１００で検知したりすることを可能にする。なお、接点群２１０はカメラ本体１００とレンズユニット２００との間の通信を可能とするものであれば、電気信号以外の信号、例えば光信号を伝達するものであってよい。なお、便宜上、レンズユニット２００が内蔵する撮影レンズ２０１を１枚のレンズのように図示しているが、実際は複数のレンズから構成される。

被写体からの光束が、撮影レンズ２０１および絞り２０２を介してクイックリターンミラー１０２に導かれる。クイックリターンミラー１０２は矢印方向に移動可能で、図示の状態（ダウン状態）において、レンズユニット２００から入射する光束の一部が透過するよう、中央部がハーフミラーに形成されている。ハーフミラー部分を透過した光束は、クイックリターンミラー１０２の裏面に設けられたサブミラー１０３により、ＡＦセンサユニット１０４に入射する方向に反射される。

ＡＦセンサユニット１０４は結像面近傍に配置されたフィールドレンズ、反射ミラー、２次結像レンズ、絞り、およびラインセンサ等から構成されており、位相差方式の自動焦点検出（位相差ＡＦ）に用いる１対の像信号を生成する。焦点検出回路１０５はＡＦセンサユニット１０４で生成される１対の像信号を用い、デフォーカス量とデフォーカス方向を取得する。このデフォーカス量とデフォーカス方向に基づいてシステムコントローラ１２０がレンズユニット２００のフォーカスレンズを駆動制御し、レンズユニット２００の焦点調節を行う。

一方、レンズユニット２００から入射した光束のうち、ダウン状態のクイックリターンミラー１０２で反射された光束は、ペンタプリズム１０１、接眼レンズ１０６を介して出射する。この出射光を撮影者が観察することで、撮影範囲を確認することができる。なお、接眼レンズ１０６の近傍には、被写体の輝度情報を得るための測光センサが設けられており、測光センサの出力は測光回路１０７を経てシステムコントローラ１２０へ供給される。システムコントローラ１２０は被写体の輝度情報を用いて、自動露出制御（ＡＥ）を行う。

撮影時にはクイックリターンミラー１０２が上方に移動し（アップ状態）、レンズユニット２００から入射した光束は、機械シャッタであるフォーカルプレーンシャッタ１０８、光学フィルタ１０９を介して撮像素子１１２に入射する。クイックリターンミラー１０２のアップ時、サブミラー１０３は折り畳まれる。

光学フィルタ１０９は赤外線カットフィルタと光学ローパスフィルタの両方の機能を有する。フォーカルプレーンシャッタ１０８は先幕及び後幕を有し、システムコントローラ１２０の制御に従ってレンズユニット２００からの光束を透過もしくは遮断させる。

システムコントローラ１２０はＣＰＵやＭＰＵ等のプログラマブルプロセッサと、プログラム、設定値、ＧＵＩデータ等を保存する不揮発性メモリ（ＲＯＭ）と、プログラムを展開したりワークエリアとして用いたりするための揮発性メモリ（ＲＡＭ）を有する。システムコントローラ１２０はプログラムを実行してカメラ本体１００、レンズユニット２００、外部フラッシュ等のアクセサリの動作を制御することにより、カメラシステム全体の機能を実現する。なお、システムコントローラ１２０がソフトウェア的に実現する動作の少なくとも一部を、ＡＳＩＣなどのハードウェア回路によって実現してもよい。

システムコントローラ１２０は、上述した接点群２１０を介してレンズユニット２００内のレンズコントローラ２０７と通信可能に接続される。レンズコントローラ２０７は、システムコントローラ１２０からの制御によってレンズ制御回路２０４や絞り制御回路２０６の動作を制御したり、レンズユニット２００の情報をシステムコントローラ１２０に送信したりする。レンズユニット２００の情報には例えば、フォーカスレンズの位置、設定されている絞り値、撮影レンズ２０１の焦点距離などが含まれてよい。

また、レンズコントローラ２０７にはレンズユニット２００の固有情報（例えば焦点距離、開放絞り、個体識別情報（レンズＩＤ））や、システムコントローラ１２０から受け取った情報を記憶する書き換え可能な不揮発性メモリが設けられている。

レンズ駆動機構２０３はレンズ制御回路２０４の制御に従って、撮影レンズ２０１に含まれるフォーカスレンズを光軸方向に駆動する。絞り駆動機構２０５は絞り制御回路２０６の制御に従って、絞り２０２を駆動する。

システムコントローラ１２０には、クイックリターンミラー１０２のアップ・ダウンの駆動およびフォーカルプレーンシャッタ１０８のシャッタチャージを制御するシャッタチャージ・ミラー駆動機構１１０が接続されている。また、システムコントローラ１２０には、フォーカルプレーンシャッタ１０８の先幕、後幕の走行を制御するためのシャッタ制御回路１１１が接続されている。ＥＥＰＲＯＭ１２２は、システムコントローラ１２０がカメラシステムを制御する上で調整が必要なパラメータ、カメラ本体１００の個体識別情報（カメラＩＤ）、基準レンズで調整されたＡＦ補正データやＡＥ補正データなどが記憶される。

システムコントローラ１２０は、上述したＡＥ制御で決定された絞り値（Ａｖ）とシャッタスピード（Ｔｖ）に従って、撮影時の露光制御を行う。具体的には、レンズコントローラ２０７を介して絞り２０２の開口の大きさを制御し、シャッタ制御回路１１１を介してフォーカルプレーンシャッタ１０８の動作を制御する。

フォーカルプレーンシャッタ１０８の先幕、後幕はバネ駆動であり、動作前にバネチャージ動作を要する。シャッタチャージ・ミラー駆動機構１１０は、バネチャージ動作を制御するとともに、クイックリターンミラー１０２のアップ・ダウン動作も制御する。

画像データコントローラ１１５は、例えばＤＳＰ（デジタル信号プロセッサ）により構成され、撮像素子１１２の駆動および読み出し動作を制御する。また、画像データコントローラ１１５は、Ａ／Ｄコンバータ１１３でデジタル化された画像データについて、システムコントローラ１２０の制御に基づいて補正したり加工したりする。画像データコントローラ１１５が実行する補正・加工には、例えば色補間やホワイトバランス調整などが含まれる。

なお、画像データコントローラ１１５は、画像データから例えば画像の分割領域ごとの輝度情報を取得し、システムコントローラ１２０に供給することができる。このように、システムコントローラ１２０は、ミラーアップ状態で測光センサの出力が得られない場合でも被写体の輝度情報を得ることができる。

タイミングパルス発生回路１１４は、撮像素子１１２の駆動に必要なパルス信号を出力する。Ａ／Ｄコンバータ１１３は、タイミングパルス発生回路１１４からのタイミングパルスに従って、撮像素子１１２から出力される被写体像に対応したアナログ信号をデジタル信号に変換する。ＤＲＡＭ１２１は、例えば加工や所定のフォーマットへのデータ変換が行われる前の画像データ（デジタルデータ）を一時的に記憶しておくための記憶装置の一例である。

画像コーデック１１９は、ＤＲＡＭ１２１に記憶された画像データを、予め定められた形式（例えばＪＰＥＧ形式）で符号化したり、符号化された画像データを復号するための回路である。符号化された画像データは、画像ファイルとして記録媒体４００へ記録される。記録媒体４００は、内蔵メモリまたは着脱可能な記憶媒体であり、メモリカードが代表的であるが、これに限定されない。また、無線通信などを用いて外部装置に記録されてもよい。

画像データコントローラ１１５は、ＤＲＡＭ１２１上の画像データを、Ｄ／Ａコンバータ１１６によりアナログ信号に変換してエンコーダ回路１１７へ出力する。エンコーダ回路１１７はＤ／Ａコンバータ１１６の出力を、一般的には液晶表示パネルである画像表示回路１１８の駆動に必要な映像信号（例えばＮＴＳＣ信号）に変換する。

動作表示回路１２３は、カメラシステムの動作モードの情報や露出情報（シャッタスピード、絞り値等）などを、カメラ本体１００の筐体表面に設けられた第１表示装置１２４や、接眼レンズ１０６を通じて見ることのできる第２表示装置１２５に表示させる。

システムコントローラ１２０には、ユーザがカメラ本体１００に各種の指示や設定を行うための操作部を構成するボタンやスイッチが接続されている。これらボタンやスイッチとして、図１には以下のものが示されている。撮影モード選択ボタン１３０、メイン電子ダイヤル１３１、決定ＳＷ１３２、測距点選択ボタン１３３、ＡＦモード選択ボタン１３４、測光モード選択ボタン１３５、レリーズＳＷ１ １３６、レリーズＳＷ２ １３７、ファインダーモード選択ＳＷ１３８。なお、これらは単なる例示である。

レリーズＳＷ１ １３６、レリーズＳＷ２ １３７はレリーズボタンの半押しおよび全押しでオンするスイッチである。レリーズＳＷ１ １３６のオンは、撮影準備動作（ＡＦ，ＡＥなど）の開始指示に相当する。また、レリーズＳＷ２ １３７のオンは、記録のための撮影動作の開始指示に相当する。

ファインダーモード選択ＳＷ１３８は、画像表示回路１１８を電子ビューファインダーとして機能させるか否かを選択するスイッチである。画像表示回路１１８を電子ビューファインダーとして機能させないばあい、ユーザは接眼レンズ１０６から撮影範囲を確認することができる（光学ファインダーモード）。

カメラ本体１００には、様々な外部アクセサリが装着可能であってよい。図１では、外部フラッシュ３００がマウント部（例えばホットシュー）を介し着脱可能に取り付けられている。マウント部には電気的な接点群３１０が設けられる。接点群３１０はカメラ本体１００と外部フラッシュ３００との間で制御信号、状態信号、データ信号などを通信したり、外部フラッシュ３００の接続有無をカメラ本体１００で検知したりすることを可能にする。カメラ本体１００と外部フラッシュ３００との間の通信は、電気通信に限らず、光通信などを用いてもよい。また、外部アクセサリとカメラ本体１００とは無線通信してもよく、従って外部アクセサリはカメラ本体１００に機械的に接続されなくてもよい。

ＩＧＢＴなどで構成される発光制御回路３０３は、キセノン（Ｘｅ）管３０１の発光を制御する。Ｘｅ管３０１の近傍には反射笠３０２が配置されている。充電回路３０４は、Ｘｅ管３０１に給電するため、３００Ｖ程度の電圧を発生する。電源３０５は例えば乾電池である。フラッシュコントローラ３０６は、システムコントローラ１２０と通信して外部フラッシュ３００の発光、充電などを制御する。

図２（ａ）は、本実施形態における焦点検出領域（ＡＦエリア）の一例を示す図である。撮像素子１１２における撮影範囲２５０の内部に、水平５×垂直５の計２５の焦点検出領域が設定されている。撮像素子１１２に設けられた焦点検出用画素は、焦点検出領域ごとにグループ化され、ある焦点検出領域における焦点検出は、その焦点検出領域内の焦点検出用画素群の出力を用いて行われる。
なお、焦点検出領域は例えば顔検出の結果に応じて定められるなど、大きさや位置が動的に定められてもよい。

図２（ｂ）は、本実施形態における撮像素子１１２の画素配置の例を示す図である。撮像素子１１２は、通常画素（撮像用画素）と焦点検出用画素とを有し、撮像用画素には原色ベイヤー配列のカラーフィルタが設けられている。図２（ｂ）でＲ，Ｇ，Ｂは赤、緑、青のカラーフィルタに対応する撮像用画素を示している。以下、赤のカラーフィルタに対応する画素を赤画素もしくはＲ画素という場合がある。他の色のカラーフィルタに対応する画素についても同様である。

ＰＡ、ＰＢは焦点検出用画素であり、ＰＡとＰＢとは、レンズユニット２００の射出瞳から出射する光束のうち、異なる部分領域を出射した光束を受光するように構成されている。ＰＡ群の出力から生成される像（Ａ像）と、ＰＢ群の出力から生成される像（Ｂ像）とからなる一対の像信号の位相差を用いて、焦点検出を行う。以下では、ＰＡをＡ像画素３５１、ＰＢをＢ像画素３５２という場合がある。本実施形態では、Ａ像画素３５１、Ｂ像画素ともに緑色のカラーフィルタが設けられている。

なお、撮像素子に設けられるカラーフィルタの構成や焦点検出用画素の配置は単なる一例であり、他の構成であってもよい。

図３（ａ）は、図２（ｂ）に矢印で示す方向から見た撮像用画素（Ｒ画素、Ｂ画素、Ｇ画素）１つの構造を模式的に示す図である。
光束の入射方向からマイクロレンズ４０４、カラーフィルタ４０３、配線層４０２、フォトダイオード４０１を示している。配線層４０２は、層構成を有する配線の最下層に該当する。以下に説明するように、焦点検出用画素と撮像用画素とでは配線層４０２の開口部の構成が異なる。画素の構成のうち、以下の説明に関連しないものは図示を省略している。

レンズユニット２００の射出瞳４０５のうち、領域４０６を出射した光束が、マイクロレンズ４０４によってフォトダイオード４０１の受光領域に導かれる。図３（ａ）に示すように、撮像用画素においては、射出瞳４０５のほぼ全域から出射した光束をフォトダイオード４０１が受光するようにマイクロレンズ４０４の曲率および配線層４０２の開口部が形成されている。

図３（ｂ）、（ｃ）は、図３（ａ）と同様に、焦点検出用画素の構造を模式的に示した図である。図３（ｂ）は例えばＡ像画素３５１（ＰＡ）、図３（ｃ）は例えばＢ像画素３５２（ＰＢ）の構造を示す。
Ａ像画素３５１と、Ｂ像画素３５２とは、射出瞳４０５のうち、フォトダイオード４０１に入射する光束が出射する領域５０６，５１６が異なる。具体的には、配線層５０２、５１２の開口部の水平方向における中心位置をＡ像画素３５１とＢ像画素３５２とで異ならせることで、領域５０６，５１６を制御している。なお、配線層５０２、５１２の開口部は、配線層４０２の開口部よりも小さい。

レンズユニット２００の射出瞳４０５のうち、Ａ像画素３５１のフォトダイオード４０１の受光範囲に対応する領域５０６の中心は、レンズユニット２００の光軸から水平方向左側にずれている。同様に、Ｂ像画素３５２のフォトダイオード４０１の受光範囲に対応する領域５１６の中心は、レンズユニット２００の光軸から水平方向右側にずれている。このように、配線層５０２，５１２の開口部の大きさと位置を制御することにより瞳分割を実現し、位相差方式の焦点検出に利用可能な１対の像信号を生成可能にしている。

なお、本実施形態において焦点検出用画素のカラーフィルタ４０３は緑（Ｇ）であるものとするが、カラーフィルタが設けられない構成であってもよい。

次に、図３（ｄ）、（ｅ）を用いて、光学的なクロストークによる画質劣化について説明する。図３（ｄ）は２つの撮像用画素（Ｇ画素とＢ画素）が隣接している状態、図３（ｅ）は、撮像用画素（Ｇ画素）と焦点検出用画素（Ｂ像画素）が隣接している状態を、図３（ａ）〜（ｃ）と同様に示している。

図３（ｄ）において、レンズユニット２００からＢ画素のマイクロレンズ４０４ｂに入射する光束６０９は、マイクロレンズ４０４ｂ直下のフォトダイオード４０１ｂに入射する。一方、レンズユニット２００から通常は入射しない角度の光束６１０がマイクロレンズ４０４ｂに入射すると、Ｂ画素のカラーフィルタ４０３ｂやＧ画素のカラーフィルタ４０３ａを透過して隣接するＧ画素のフォトダイオード４０１ａに入射する。これが光学的なクロストーク（以下、単にクロストークという）であり、Ｇ画素の出力値に影響を与える。

図３（ｅ）の場合も、レンズユニット２００から通常は入射しない角度の光束６１０が焦点検出用画素のマイクロレンズ４０４ｃに入射すると、図３（ｄ）の場合と同様に隣接Ｇ画素に入射し、Ｇ画素の出力値に影響を与える。しかしながら、焦点検出用画素のカラーフィルタ４０３ｃは緑（Ｇ）であるため、Ｇ画素の出力値が受けるクロストークの影響は図３（ｄ）の場合と異なる。より具体的には、図３（ｅ）の場合の方がＧ画素の出力値が受けるクロストークの影響が大きい（出力値がより大きくなる）。

このように、近隣の同色画素が隣接画素から受けるクロストークの影響の差は、両者が撮像用画素に隣接していれば無視できる程度であるが、一方が撮像用画素に、他方が焦点検出用画素に隣接する場合には画質劣化として視認できる程度に大きくなり得る。この問題は、焦点検出用画素が有するカラーフィルタの色が、撮像用画素に設けられるカラーフィルタの配列に従わない場合（焦点検出用画素がカラーフィルタを持たない場合を含む）に生じる。

図３（ｄ），（ｅ）においてクロストークの原因となる、レンズユニット２００からは通常入射しない角度で入射する光束６０９は、例えば、レンズユニット２００から入射した光束が撮像素子内で反射することで発生する。

図４は、レンズユニットから入射した光束が撮像素子内で反射する様子を模式的に示す図である。
撮像素子１１２は、図３に示した画素が配列された受光部７０１と、受光部７０１の表面に設けられているマイクロレンズ４０４の近傍に設けられたカバーガラス７０２とを有している。７０３は、レンズユニット２００の鏡筒内面などからの反射光をカットするための遮光マスクである。

被写体７０５からレンズユニット２００を介して撮像素子１１２に入射した光束の一部は、カバーガラス７０２やマイクロレンズ４０４の表面で反射される。そして、マイクロレンズ４０４の表面で拡散反射された光束の一部がカバーガラス７０２で再反射されて再びマイクロレンズ４０４に入射する際、上述した、クロストークの原因である光束６０９となりうる。

このような反射光は、入射光束の輝度が高いほど多くなるため、クロストークも入射光束の輝度が高いほど多くなるが、大きな輝度差のないシーンでは目立たないため、さほど問題にならない。一方、太陽やスポットライトのように、周囲との輝度差が大きな高輝度被写体が存在するシーンでは、クロストークが画素値に与える影響がわかりやすくなる。しかし、その場合でも、焦点検出用画素が存在しない場合には、クロストークの影響の大きさのばらつきが小さいため、画質劣化として視認されるほどは目立たない。しかしながら、焦点検出用画素が存在すると、クロストークの影響に大きさに差が生じるため、画質劣化として認識される。

また、図に示すように、クロストークの原因となる反射光が入射する画素は、反射光の元になる高輝度光束が入射する画素から離れた位置である。そして、反射光が輝度やコントラストが低い領域に含まれる画素に入射した場合に、クロストークによる画質劣化が顕著に観察される。

従って、撮像用画素に適用されるカラーフィルタの配列に従わない焦点検出用画素を撮像素子に形成する場合、焦点検出用画素に入射して他の画素のフォトダイオードに到達する光束に起因したクロストークの影響が目立たないように補正する必要がある。

図２（ｃ）は、図２（ｂ）において太枠で囲んだ領域を抜き出して示した図である。図２（ｃ）において画素ＧＵ、ＧＤ、ＧＬ、およびＧ＊は、Ａ像画素３５１のクロストークの影響を受ける可能性がある、Ａ像画素３５１の上下左右に隣接する撮像用画素（全てＧ画素）である。なお、本実施形態においては、図２（ｂ）に示すように、Ａ像画素３５１が水平方向に１画素おきに配置される構成のため、あるＡ像画素３５１の右（左）に隣接する画素は、別のＡ像画素３５１の左（右）に隣接する画素でもある。従って、これらの画素に対する補正処理が重複して行われないようにする。本実施形態では各Ａ像画素３５１の上、下、および左に隣接する画素ＧＵ、ＧＤ、ＧＬを補正対象として１回の補正処理を行う（右に隣接している画素Ｇ＊については、別の回の補正処理で補正対象とする）。画素Ｇ１、Ｇ２、Ｇ３、Ｇ４は、補正対象画素が実際に補正を必要とするか否かを判定するために参照する画素（参照画素）である。参照画素は補正対象画素の周辺に存在する、補正対象画素と同色の撮像用画素とする。

なお、Ａ像画素３５１と角で隣接する４つのＲ画素も、画素ＧＵ、ＧＤ、ＧＬと同様にＡ像画素３５１のクロストークの影響を受けるが、Ｇ＊の上下に隣接する２つのＲ画素は、Ｇ＊と同様に補正対象とせず、ＧＬの上下に隣接するＲ画素を補正対象とする。補正対象のＲ画素についても、参照画素が異なる以外は画素ＧＵ、ＧＤ、ＧＬと同様に補正可能であるため、以下では画素ＧＵ、ＧＤ、ＧＬの補正処理について説明する。

図５は、補正対象画素に対する、値の補正が必要かどうかの判定処理と、画素値の補正処理の手順を示すフローチャートである。本実施形態において、これらの処理は、システムコントローラ１２０または画像データコントローラ１１５が、ＤＲＡＭ１２１に記憶されている、デモザイク（色補間）処理前の画像データに対して実行することができる。従って、ここで説明する処理において、カラーフィルタが設けられている画素は、カラーフィルタの色に対応した１つの色成分に対する値を有する。なお、ここではシステムコントローラ１２０が処理を実行するものとして説明する。

Ｓ９０１でシステムコントローラ１２０は、処理の繰り返し回数を設定する変数ＬｏｏｐＥｎｄに設定値Ｃを、処理回数のカウンタとして用いる変数Ｌｏｏｐに０を、それぞれ設定し、処理をＳ９０２へ進める。実際には、１回の処理で１つの焦点検出画素に関する補正対象画素を処理するため、焦点検出画素の数に等しい回数をＣに設定するが、以下の説明では理解および説明を容易にするため、Ｃを１とする。また、システムコントローラ１２０（第１の取得手段）は、補正対象画素ＧＵ、ＧＤ、ＧＬの値を取得する。

Ｓ９０２でシステムコントローラ１２０（第２の取得手段）は、参照画素（ここでは画素Ｇ１、Ｇ２、Ｇ３、Ｇ４）の値を取得し、平均値Ｇ＿ａｖｅを算出して処理をＳ９０３へ進める。
Ｓ９０３でシステムコントローラ１２０は、補正対象画素ＧＵ、ＧＤ、ＧＬの最大値Ｇ＿ｍａｘを検出し、処理をＳ９０４へ進める。図３（ｅ）に示したように、補正すべきクロストークは、反射光の入射方向と逆の方向に存在する画素に発生する。例えば、反射光が焦点検出用画素の右側から入射した場合、焦点検出用画素の左側に隣接する画素の値がクロストークの影響を受ける。また、一般的な撮影シーンでは、クロストークの原因となる反射光が１つの焦点検出用画素に複数の方向から入射する可能性は低い。そのため、焦点検出用画素の複数の隣接同色画素のうち、値が最大の（出力の高い）画素が、クロストークの影響を受けている可能性が最も高いと考えられる。従って、本実施形態では、参照画素の値と比較する画素値として、補正対象画素の最大値を検出している。

Ｓ９０４でシステムコントローラ１２０は、Ｇ＿ｍａｘとＧ＿ａｖｅの差分Ｓｕｂを算出し、処理をＳ９０５へ進める。参照画素は補正対象画素の近傍の同色画素であるため、補正対象画素がクロストークの影響を受けていなければ、差分Ｓｕｂの値は大きくならない。

Ｓ９０５でシステムコントローラ１２０は、周囲画素における高周波数成分の参考値として、以下の式で表される、参照画素Ｇ１〜Ｇ４の最大値と最小値の差分の絶対値Ｅｄｇｅを算出し、処理をＳ９０６へ進める。
Ｅｄｇｅ＝｜ＭＡＸ（Ｇ１〜Ｇ４）−ＭＩＮ（Ｇ１〜Ｇ４）｜
被写体の輪郭部分など、空間周波数の高い部分では、Ｅｄｇｅの値は大きくなる。

Ｓ９０６でシステムコントローラ１２０は、上限値σとして、Ｇ＿ａｖｅの平方根に正数Ａを乗じた値（Ａ×√（Ｇ＿ａｖｅ））を算出し、処理をＳ９０７に進める。本実施形態ではＡを５とする。

Ｓ９０７でシステムコントローラ１２０（判定手段）は、最大値Ｇ＿ｍａｘを有する補正対象画素の値を補正する必要があるか否かを判定する。具体的には、システムコントローラ１２０は、ＳｕｂとＥｄｇｅの和が下限値αより大きく上限値σ未満であれば（α＜Ｓｕｂ＋Ｅｄｇｅ＜σという条件を満たせば）補正が必要と判定して処理をＳ９０８へ進める。一方、システムコントローラ１２０は、ＳｕｂとＥｄｇｅの和が下限値α以下か上限値σ以上であれば、補正不要と判定して処理をＳ９１０へ進める。

補正すべきクロストークが発生していれば、Ｓｕｂの値は大きくなり、下限閾値であるαを超える。αは任意の固定値もしくは関数としてよいが、本実施形態のようにＳｕｂの計算に用いる画素が少ない場合、αが小さすぎるとランダムノイズの影響によって偶発的に上述した条件を満たし、誤補正する可能性が大きくなる。画素のランダムノイズの大きさは画素の信号量（輝度）に依存することが知られているため、αを固定値とするより、画素の信号量または輝度の関数とした方が、精度の良い判定が可能となる。ただし、本実施形態では、説明及び理解を容易にするため、αは固定値（５０ＬＳＢ）とする。なお、０ＬＳＢは光学的黒レベルに相当するＡ／Ｄコンバータ１１３の出力に対応し、デジタル値の絶対値とは異なる。

Ｓｕｂの値は被写体の輝点部分や輪郭部分においても大きくなるため、誤補正を抑制するために、Ｓｕｂ＋Ｅｄｇｅが上限値σ以上の値となる範囲では補正処理を行わない。上限値σを決定する係数Ａの値は、例えば実験的に定めることができる。

Ｓ９０８でシステムコントローラ１２０（第１の補正手段）は、補正する画素（最大値Ｇ＿ｍａｘを有する補正対象画素）の近傍に存在し、かつ、焦点検出用画素に隣接しない、補正する画素と同色の複数の撮像用画素の値を取得する。そして、システムコントローラ１２０は、取得した撮像用画素の値の平均値を補正値Ｇ＿ｒｅｆとして算出し、処理をＳ９０９へ進める。例えば、システムコントローラ１２０は、参照画素Ｇ１〜Ｇ４の平均値Ｇ＿ａｖｅを補正値Ｇ＿ｒｅｆとして用いることができる。

あるいは、システムコントローラ１２０は、補正を行う画素と同色で、位置が最も近く、焦点検出用画素に隣接しない複数の撮像用画素の平均値を補正値Ｇ＿ｒｅｆとして算出することができる。例えば、補正を行う画素がＧＵの場合、システムコントローラ１２０は、画素ＧＵに最も近い４つのＧ画素Ｇ１、Ｇ２、ＧＬ、Ｇ＊の平均値を補正値Ｇ＿ｒｅｆとして計算する。このように、補正を行う画素と同色で位置が最も近い複数の画素の平均値を補正値とすることで、補正による解像感の低下を防止することができる。

Ｓ９０９でシステムコントローラ１２０（第１の補正手段）は、補正値Ｇ＿ｒｅｆと、補正を行う画素値Ｇ＿ｍａｘとの重み付け平均値（β×Ｇ＿ｒｅｆ＋（１−β）×Ｇ＿ｍａｘ）／２を、補正後の値として算出する。そして、システムコントローラ１２０（第１の補正手段）は、算出した値で、補正する画素ＧＵの値を置き換えることで画素ＧＵの値を減少させ、処理をＳ９１０へ進める。なお、混合率β（０≦β≦１）は例えば予め定めた固定値であってよく、例えばβ＝０．５であってよい。あるいは、補正値Ｇ＿ｒｅｆを求める為に用いた４つのＧ画素Ｇ１、Ｇ２、ＧＬ、Ｇ＊の画素値の分散を求め、この分散が小さいほど混合率βの値を増加させ、分散が大きいほど混合率βを減少させるようにしてもよい。これら４つの画素値のばらつきが小さい（分散が小さい）ほど、ランダムノイズの影響が小さく、補正値Ｇ＿ｒｅｆの信頼度が高いと考えられるためである。さらには、β＝１として、画素値を補正値Ｇ＿ｒｅｆで置き換えて補正するようにしてもよい。

Ｓ９１０でシステムコントローラ１２０は、補正対象画素ＧＵ、ＧＤ、ＧＬに対するオフセット補正値Ｏｆｆｓｅｔとして、Ｇ＿ａｖｅの平方根に正数Ｂを乗じた値（Ｂ×√（Ｇ＿ａｖｅ））を算出し、処理をＳ９１１に進める。Ｂの値は実験的に求めることができるが、本実施形態では０．２５とする。

Ｓ９１１でシステムコントローラ１２０（第２の補正手段）は、補正対象画素ＧＵ、ＧＤ、ＧＬのそれぞれの値に対して、オフセット補正値Ｏｆｆｓｅｔを加算して画素値を増加させ、処理をＳ９１２へ進める。
Ｓ９０７で下限値αを用いて補正要否を判定することで、ランダムノイズによって値が大きくなった画素の値を誤補正する可能性を抑制したが、誤補正を完全になくすことは難しい。そのため、誤補正の可能性を考慮し、補正後の値が仮に誤補正された場合でもそれが目立たなくなるようにするためのオフセット補正値を求め、補正した画素を含む補正対象画素の値に加算する。

Ｓ９１３でシステムコントローラ１２０は、変数Ｌｏｏｐの値をインクリメントし、処理をＳ９１４へ進める。
Ｓ９１４でシステムコントローラ１２０は、変数Ｌｏｏｐと変数ＬｏｏｐＥｎｄとを比較する。システムコントローラ１２０は、変数Ｌｏｏｐの値が変数ＬｏｏｐＥｎｄの値に達していなければＳ９０３から処理を繰り返し、変数Ｌｏｏｐの値が変数ＬｏｏｐＥｎｄの値に達していれば処理を終了する。

本実施形態では、焦点検出用画素に隣接する画素に、補正を必要とするクロストークの影響が生じているかどうかを判定して、クロストーク補正を行うため、実際にクロストークが生じている画素について、精度の良い補正が可能になる。また、補正を行った画素を含む近隣の同色画素にオフセット補正を行うため、ランダムノイズに起因する誤補正の影響を抑制することができ、さらに精度の良い補正を実現できる。

特に焦点検出用画素が１画素おきのような高密度で設けられる場合、クロストークの影響を受ける画素も高密度に存在するため、個々のクロストークの影響が小さくても目立ちやすいという特性がある。また、画素値の上昇要因がランダムノイズかクロストークかを完全に切り分けることは困難であり、誤補正を完全に無くすこともまた困難である。誤補正の影響もクロストークによる影響と同様の理由で、特に高密度に焦点検出用画素が配置される場合に目立ちやすくなる。従って、誤補正がある程度生じることを想定し、オフセット補正を行うことで、焦点検出用画素が設けられている行の画素の平均値が、隣接する焦点検出用画素が設けられない行の画素の平均値に近くなり、誤補正が生じた場合でも目立たなくすることができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、焦点検出用画素の配置が第１実施形態と異なる撮像素子を用いる場合のクロストーク補正に関する。焦点検出用画素の配置およびクロストーク判定・補正処理以外は第１実施形態と共通でよいため、以下では本実施形態に特有な構成および処理について重点的に説明する。

図６は、本実施形態における撮像素子１１２’の画素配置例を図２（ｂ）と同様に示した図である。第１実施形態と同様、撮像素子１１２’は、通常画素（撮像用画素）と焦点検出用画素とを有し、撮像用画素には原色ベイヤー配列のカラーフィルタが設けられている。本実施形態では、Ａ像画素３５１とＢ像画素３５２が、瞳分割方向（ここでは水平方向）に直交する方向に隣接する画素行に、かつ瞳分割方向に直交する方向に隣接しないように（瞳分割方向の位置が異なるように）配置されている。図６（ａ）の例では特に、原色ベイヤー配列におけるＲ画素位置と、隣接行のＢ画素位置にそれぞれＡ像画素３５１とＢ像画素３５２が配置されている。

本実施形態においても、焦点検出用画素には緑色のカラーフィルタが設けられているものとするが、透明のフィルタを設けたり、フィルタを設けない構成であってもよい。従って、Ａ像画素３５１とＢ像画素３５２が配置される、隣接する２つの画素行に含まれる画素には、いずれも緑色のカラーフィルタが設けられている。

図６（ｂ）は、図６（ａ）において太線で囲んだ領域を抜き出して示した図である。画素ＧＡ、ＧＢ、ＧＣ、ＧＤは、Ａ像画素３５１またはＢ像画素３５２の少なくとも一方に隣接する撮像用画素であり、Ａ像画素３５１またはＢ像画素３５２の少なくとも一方のクロストークの影響を受ける可能性がある。本実施形態では、画素ＧＡ、ＧＢ、ＧＣ、ＧＤを補正対象として１回の補正処理を行う。なお、本実施形態ではＡ像画素３５１に隣接する撮像用画素と、Ｂ像画素３５２に隣接する撮像用画素とを１回の補正処理の補正対象とするため、最大で２つの画素について補正を実行する。画素Ｇ１、Ｇ２、Ｇ３、Ｇ４は、補正対象画素が実際に補正を必要とするか否かを判定するために参照する画素（参照画素）である。参照画素は補正対象画素の周辺に存在する、補正対象画素と同色の撮像用画素とする。

なお、Ａ像画素３５１と角で隣接する２つのＲ画素と、Ｂ像画素３５２と角で隣接する２つのＢ画素も、Ａ像画素３５１やＢ像画素３５２のクロストークの影響を受ける。しかし、Ａ像画素３５１の右上角に隣接するＲ画素と、Ｂ像画素３５２の左下角に隣接するＢ画素は補正対象とせず、Ａ像画素３５１の左上角に隣接するＲ画素１００２と、Ｂ像画素３５２の右下角に隣接するＢ画素１００３を補正対象とする。補正対象のＲ画素１００２およびＢ画素１００３についても、参照画素が異なる以外は画素ＧＡ〜ＧＤと同様に補正可能であるため、以下では画素ＧＡ〜ＧＤの補正処理について説明する。

本実施形態の焦点検出用画素の配置では、補正対象画素に生じるクロストークの影響が、焦点検出用画素と隣接する方向に応じて異なる。
Ａ像画素３５１の上に隣接する画素ＧＡには、下方向からＡ像画素３５１のクロストークを受ける可能性がある。
Ａ像画素３５１の下とＢ像画素３５２の左右に隣接する画素ＧＢには、上方向からＡ像画素３５１のクロストーク、横方向からはＢ像画素３５２のクロストークを受ける可能性がある。
Ａ像画素３５１の左右とＢ像画素３５２の上に隣接する画素ＧＣには、横方向からＡ像画素３５１のクロストーク、下方向からはＢ像画素３５２のクロストークを受ける可能性がある。
Ｂ像画素３５２の下に隣接する画素ＧＤには、上方向からＢ像画素３５２のクロストークを受ける可能性がある。
したがって、これらの起こり得る状態をそれぞれ検出して、補正する必要がある。

図７は、補正対象画素に対する、値の補正が必要かどうかの判定処理と、画素値の補正処理の手順を示すフローチャートである。図５と同じ処理を行う工程については、同じ参照数字を付し、説明を省略する。

Ｓ１２０３でシステムコントローラ１２０は、補正対象画素ＧＡ〜ＧＤの最大値Ｇ＿ｍａｘ１および、２番目に大きい値Ｇ＿ｍａｘ２を検出し、処理をＳ１２０４へ進める。
Ｓ１２０４でシステムコントローラ１２０は、Ｇ＿ｍａｘ１とＧ＿ａｖｅの差分Ｓｕｂ１と、Ｇ＿ｍａｘ２とＧ＿ａｖｅの差分Ｓｕｂ２を算出し、処理をＳ１２０５へ進める。

Ｓ９０５でシステムコントローラ１２０は、周囲画素における高周波数成分の参考値として、以下の式で表される、参照画素Ｇ１〜Ｇ４の最大値と最小値の差分の絶対値Ｅｄｇｅを算出し、処理をＳ１２０６へ進める。
Ｅｄｇｅ＝｜ＭＡＸ（Ｇ１〜Ｇ４）−ＭＩＮ（Ｇ１〜Ｇ４）｜

Ｓ１２０６でシステムコントローラ１２０は、焦点検出用画素の上に隣接する画素ＧＡの値に対する、焦点検出用画素の下に隣接する画素ＧＤの値の比（ＧＡとＧＤの大小関係）に基づいて、クロストークが生じていると考えられる方向（上／横／下）を判別する。そして、システムコントローラ１２０（方向判別手段）は、判別結果に応じて、
比が０．２５未満（ＧＡ／ＧＤ＜０．２５）ならＳ１２０７へ、
比が０．２５以上０．７５未満（０．２５≦ＧＡ／ＧＤ＜０．７５）ならＳ１２０９へ、
比が０．７５以上（０．７５≦ＧＡ／ＧＤ）ならＳ１２１０へ。
それぞれ処理を分岐させる。

Ｓ１２０７でシステムコントローラ１２０は、上限値σ１として、Ｇ＿ａｖｅの平方根に正数Ａ１を乗じた値（Ａ１×√（Ｇ＿ａｖｅ））を、上限値σ２として、Ｇ＿ａｖｅの平方根に正数Ａ２を乗じた値（Ａ２×√（Ｇ＿ａｖｅ））を算出する。
Ｓ１２０９，Ｓ１２１０においてもシステムコントローラ１２０は、Ｓ１２０７と同様にして、正数Ａ３、Ａ４、Ａ５、Ａ６を用いて上限値σ１とσ２を算出する。

上限値σ１とσ２を算出すると、システムコントローラ１２０は処理をＳ１２１１に進める。上限値σ１およびσ２の目的は、被写体の輝点部分や輪郭部分など、クロストーク以外の要因で大きくなっている画素値に対してクロストーク補正が行われることを抑制することにある。従って、正数Ａ１〜Ａ６は、このような目的を踏まえ、それぞれクロストークの方向に対応した実写画像を用いて実験的に求めることができる。

Ｓ１２１０でシステムコントローラ１２０は、最大値Ｇ＿ｍａｘ１を有する補正対象画素の値を補正する必要があるか否かを判定する。具体的には、システムコントローラ１２０は、Ｓｕｂ１とＥｄｇｅの和が下限値α１より大きく上限値σ１未満であれば（α１＜Ｓｕｂ１＋Ｅｄｇｅ＜σ１なら）補正が必要と判定して処理をＳ１２１２へ進める。一方、システムコントローラ１２０は、Ｓｕｂ１とＥｄｇｅの和が下限値α１以下か上限値σ１以上であれば、２番目に大きな値Ｇ＿ｍａｘ２を有する補正対象画素を含めて補正不要と判定し、処理をＳ１２１７へ進める。第１実施形態と同様、下限値α１は任意の固定値もしくは関数としてよいが、やはり第１の実施形態と同様に、本実施形態ではα１を５０ＬＳＢとする。

Ｓ１２１２でシステムコントローラ１２０（第１の補正手段）は、補正を行う画素（最大値Ｇ＿ｍａｘ１を有する補正対象画素）の近傍に存在し、かつ、焦点検出用画素に隣接しない、補正する画素と同色の複数の撮像用画素の値を取得する。そして、システムコントローラ１２０は、取得した撮像用画素の値の平均値を補正値Ｇ＿ｒｅｆ１として算出し、処理をＳ１２１３へ進める。例えば、システムコントローラ１２０は、参照画素Ｇ１〜Ｇ４の平均値Ｇ＿ａｖｅを補正値Ｇ＿ｒｅｆ１として用いることができる。

あるいは、システムコントローラ１２０は、補正を行う画素と同色で、位置が最も近い複数の画素の平均値を補正値Ｇ＿ｒｅｆ１として算出することができる。例えば、補正を行う画素がＧＡの場合、システムコントローラ１２０は、画素ＧＡに最も近い２つのＧ画素Ｇ１、Ｇ２の平均値を補正値Ｇ＿ｒｅｆとして計算する。なお、画素ＧＡの左右下角に隣接する２つのＧ画素（Ａ像画素の左右に隣接する画素）も画素ＧＡに最も近い画素だが、焦点検出画素のクロストークの影響を受ける可能性があるため、除外している。ただし、焦点検出用画素の隣接画素であっても、Ｓ１２０６で判別されたクロストークの方向から、クロストークの影響を受けていないと判別されるものについては、Ｓ１２１２の算出に用いてもよい。このように、補正を行う画素と同色で位置が最も近い複数の画素の平均値を補正値とすることで、補正による解像感の低下を防止することができる。

Ｓ１２１３でシステムコントローラ１２０（第１の補正手段）は、補正値Ｇ＿ｒｅｆ１と、補正を行う画素値Ｇ＿ｍａｘ１との重み付け平均値（β×Ｇ＿ｒｅｆ１＋（１−β）×Ｇ＿ｍａｘ１）／２を、補正後の値として算出する。そして、システムコントローラ１２０は、算出した値で、補正する画素ＧＡの値を置き換え、処理をＳ１２１４へ進める。なお、混合率β（０≦β≦１）は例えば予め定めた固定値であってよく、例えばβ＝０．５であってよい。あるいは、β＝１として、画素値を補正値Ｇ＿ｒｅｆ１で置き換えて補正するようにしてもよい。

Ｓ１２１４〜Ｓ１２１６でシステムコントローラ１２０は、Ｓ１２１１〜Ｓ１２１３と同様にして、値Ｇ＿ｍａｘ２を有する画素について、補正要否の判定および画素値の補正を行い、処理をＳ１２１７へ進める。下限σ２は下限σ１と同様に決定することができるが、本実施形態ではσ１と等しい５０ＬＳＢとする。

Ｓ１２１７でシステムコントローラ１２０は、補正対象画素ＧＡ〜ＧＤの各々に対するオフセット補正値Ｏｆｆｓｅｔ＿Ａ〜Ｏｆｆｓｅｔ＿Ｄとして、Ｇ＿ａｖｅの平方根に正数Ｂ１〜Ｂ４を乗じた値
Ｏｆｆｓｅｔ＿Ａ＝Ｂ１×√（Ｇ＿ａｖｅ）
Ｏｆｆｓｅｔ＿Ｂ＝Ｂ２×√（Ｇ＿ａｖｅ）
Ｏｆｆｓｅｔ＿Ｃ＝Ｂ３×√（Ｇ＿ａｖｅ）
Ｏｆｆｓｅｔ＿Ｄ＝Ｂ４×√（Ｇ＿ａｖｅ）
を算出し、処理をＳ１２１８に進める。Ｂ１〜Ｂ４の値は予め実験的に決定することができる。なお、Ｓ１２０６で判別するクロストークの方向（上／横／下）ごとに、Ｂ１〜Ｂ４の値を決定しておき、Ｓ１２０６で判別された方向に応じた値をＳ１２１７で用いるようにしてもよい。例えば、補正対象画素ＧＡ〜ＧＤのうち、Ｓ１２０６で判別された方向のクロストークの影響を受けない位置の画素のオフセット補正値が、クロストークの影響を受けうる位置の画素のオフセット補正値よりも小さくなるようにＢ１〜Ｂ４を決定することができる。

また、Ｓ１２０７，Ｓ１２０９，Ｓ１２１０で用いる正数Ａ１〜Ａ６の値が大きいほど、Ｓ１２１１，Ｓ１２１４で補正要否の判定に用いられる条件が緩くなり、画素値が補正される確率が高く、また、補正前後の画素値の差（すなわち補正量）が大きくなりうる。つまり、正数Ａ１〜Ａ６の値が大きいほど誤補正の影響も大きくなる。従って、正数Ａ１〜Ａ６のうち、大きい値の正数が用いられるほどオフセット補正値も大きくなるように、Ｂ１〜Ｂ４を決定しておくことができる。あるいは、補正要否の判定に用いられる条件が、第１の条件である場合より、より緩い第２の条件である場合の方がオフセット補正値が大きくなるようにすることができる。そして、Ｓ１２０６で判別されたクロストークの方向（Ｓ１２０７，Ｓ１２０９，Ｓ１２１０のどの工程が実行されたか）に応じて、対応するＢ１〜Ｂ４の値を用いるように構成することができる。

Ｓ１２１８でシステムコントローラ１２０（第２の補正手段）は、補正対象画素ＧＡの値に対して、オフセット補正値Ｏｆｆｓｅｔ＿Ａを加算する。また、システムコントローラ１２０は、他の補正対象画素ＧＢ〜ＧＤの値に対しても同様にＯｆｆｓｅｔ＿Ｂ〜Ｏｆｆｓｅｔ＿Ｄを加算して、処理をＳ９１２へ進める。以後は、第１実施形態と同様であるため説明を省略する。

以上説明したように、第１実施形態よりも高密度で焦点検出用画素が配置される場合であっても、第１実施形態と同様に、焦点検出用画素のクロストークに起因する画質劣化を精度良く補正することが可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…カメラ本体、１１２…撮像素子、１１５…画像データコントローラ、１２０…システムコントローラ、２００…レンズユニット

Claims (13)

1. 焦点検出用画素に隣接する複数の撮像用画素の値を、複数の補正対象画素の値として取得する第１の取得手段と、
   前記複数の補正対象画素の少なくとも１つの近傍に存在し、かつ、焦点検出用画素に隣接しない、前記複数の補正対象画素と同色の複数の撮像用画素の値を取得する第２の取得手段と、
   前記複数の補正対象画素の値の少なくとも１つと、前記第２の取得手段が取得した複数の撮像用画素の値とに基づいて、前記複数の補正対象画素の値の少なくとも１つを補正する必要があるか否かを判定する判定手段と、
   前記判定手段により補正が必要と判定された補正対象画素の値を減少させる第１の補正手段と、
   前記補正手段で補正された値を含む前記複数の補正対象画素の値を、オフセット補正値により増加させる第２の補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記複数の補正対象画素の値の少なくとも１つが、前記複数の補正対象画素の値のうち、値の大きな方から選択されることを特徴とする請求項１記載の画像処理装置。
3. 前記判定手段は、前記複数の補正対象画素の値の少なくとも１つと、前記第２の取得手段が取得した複数の撮像用画素の値の平均値との差に基づいて、前記複数の補正対象画素の値の少なくとも１つを補正する必要があるか否かを判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、
   前記複数の補正対象画素の値の少なくとも１つと、前記第２の取得手段が取得した複数の撮像用画素の値の平均値との差と、
   前記第２の取得手段が取得した複数の撮像用画素の値の最大値と最小値との差、
   の和が、予め定められた下限値より大きく、前記第２の取得手段が取得した複数の撮像用画素の値の平均値に基づく上限値より小さい場合に、前記複数の補正対象画素の値の少なくとも１つを補正する必要があると判定することを特徴とする請求項３記載の画像処理装置。
5. 前記第２の補正手段は、前記上限値が大きいほど前記オフセット補正値を大きくすることを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の補正手段は、前記判定手段により補正が必要と判定された補正対象画素の値を、該補正対象画素の近傍に位置する、該補正対象画素と同色で、かつ焦点検出用画素に隣接しない複数の撮像用画素の値に基づく補正値を用いて減少させることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記補正値が、前記判定手段により値の補正が必要と判定された補正対象画素の最も近くに位置する、該補正対象画素と同色で、かつ焦点検出用画素に隣接しない複数の撮像用画素の値に基づくことを特徴とする請求項６に記載の画像処理装置。
8. 前記第２の補正手段は、前記第２の取得手段が取得した複数の撮像用画素の値の平均値に基づく値を、前記オフセット補正値として用いることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記第２の補正手段は、前記判定手段が第１の条件を用いて前記判定を行う場合よりも、前記第１の条件より緩い第２の条件を用いて前記判定を行う場合の方が前記オフセット補正値を大きくすることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記判定手段が前記判定に用いる条件が、前記複数の補正対象画素のうち、焦点検出用画素と隣接する方向の異なる複数の補正対象画素の値に基づいて決定されることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 焦点検出用画素と撮像用画素とを有する撮像素子と、
    請求項１から１０のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
12. 第１の取得手段が、焦点検出用画素に隣接する複数の撮像用画素の値を、複数の補正対象画素の値として取得する第１の取得工程と、
    第２の取得手段が、前記複数の補正対象画素の少なくとも１つの近傍に存在し、かつ、焦点検出用画素に隣接しない、前記複数の補正対象画素と同色の複数の撮像用画素の値を取得する第２の取得工程と、
    判定手段が、前記複数の補正対象画素の値の少なくとも１つと、前記第２の取得手段が取得した複数の撮像用画素の値とに基づいて、前記複数の補正対象画素の値の少なくとも１つを補正する必要があるか否かを判定する判定工程と、
    第１の補正手段が、前記判定手段により補正が必要と判定された補正対象画素の値を減少させる第１の補正工程と、
    第２の補正手段が、前記補正手段で補正された値を含む前記複数の補正対象画素の値を、オフセット補正値により増加させる第２の補正工程と、
    を有することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images