JP2014230020A - 画像処理装置、画像処理方法、および画像処理用プログラム - Google Patents

Abstract

【課題】通常画素が配置された領域と位相差画素が配置された領域の色味の違いを軽減することが可能な画像処理装置、画像処理方法、および画像処理用プログラムを提供する。
【解決手段】撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子２１を有し、位相差検出画素からのクロストークの影響を受けた画素Ｒｓｕｍ、Ｂｓｕｍの画素値と、その近傍にある、位相差検出画素からのクロストークの影響を受けていない同色画素Ｒｓｕｍ１〜Ｒｓｕｍ６、Ｂｓｕｍ１〜Ｂｓｕｍ６の画素値から、それぞれの画素値のクロストーク差分量を推定し、推定されたクロストーク差分量に基づいて位相差検出画素からのクロストークの影響を受けた画素Ｒｓｕｍ、Ｂｓｕｍの画素値を補正する。
【選択図】 図７

Description

本発明は、通常画素が配置された領域と位相差画素が配置された領域の色味の違いを軽減することが可能な画像処理装置、画像処理方法、および画像処理用プログラムに関する。

撮像素子の一部に位相差を検出するための位相差画素を配置し、これらの位相差画素から位相差情報を取得し、撮影光学系のデフォーカス量を算出し、オートフォーカスに利用する技術が実用化されている。一方、撮像素子の一般的な特性として、隣接画素への電荷漏れ（クロストークと称する）現象が知られている。撮像素子のクロストークの電荷量は、画素への入射光量にほぼ比例するが、位相差画素は、通常画素に比較し入射光量が少ないため、通常画素に対してクロストーク量が少なくなる。

このため、同じ色味の被写体を撮影した場合、通常画素が配置された領域と、位相差画素が配置された領域で、色味が異なってしまう。この問題を解決するために、注目画素（通常画素）の周辺の位相差画素値からクロストーク量を推定し、注目画素値に対して補正するようにした撮像装置が提案されている（特許文献１参照）。

特開２００９−１２４５７３号公報

ライブビュー表示時や動画記録時等、撮像素子からの画素データ読み出しを高速化するため、撮像素子の同色複数画素を加算合成することが一般的である。この加算合成により、クロストークの影響を受けた画素の周囲にまでクロストークの影響が伝播し、周辺の画素値からクロストーク量を推定することが困難となる。

本発明は、このような事情を鑑みてなされたものであり、通常画素が配置された領域と位相差画素が配置された領域の色味の違いを軽減することが可能な画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る画像処理装置は、撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子と、上記位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、上記位相差検出画素からのクロストークの影響を受けていない画素の画素値とから、それぞれの画素値のクロストーク影響量を推定するクロストーク影響量推定部と、上記クロストーク影響量推定部により推定されたクロストーク影響量に基づいて上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部と、を備える。

第２の発明に係る画像処理装置は、上記第１の発明において、上記位相差検出画素からのクロストークの影響を受けた画素が近傍に存在する場合には、所定の領域内に配置された、上記位相差検出画素からのクロストークの影響を受けた画素を含む複数の同色画素の画素値を混合する混合部を更に備え、上記クロストーク影響量推定部は、上記混合部の出力画素値とその近傍にあるクロストークの影響を受けていない同色画素の画素値とから、上記クロストーク影響量を推定する。
第３の発明に係る画像処理装置は、上記第１の発明において、上記混合部への入力画素値は、上記撮像素子内で複数の同色画素の画素値を混合したものである。

第４の発明に係る画像処理装置は、撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子と、上記撮像素子の第１の領域内に配置された、上記位相差検出画素からのクロストークの影響を受けた画素を含む複数の同色画素の画素値を混合する第１の混合部と、上記撮像素子の第２の領域内に配置された、上記位相差検出画素からのクロストークの影響を受けていない複数の同色画素の画素値のみを混合する第２の混合部と、それぞれの混合画素値から、上記第１の領域内の混合画素値と上記第２の領域内の混合画素値とのクロストーク影響量を推定するクロストーク影響量推定部と、上記クロストーク影響量推定部により推定されたクロストーク影響量に応じて、上記第１の領域内の上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部と、を備える。

第５の発明に係る画像処理装置は、上記第４発明において、上記第１の領域は、少なくとも１つ以上の第２の領域と隣接するように領域設定されている。
第６の発明に係る画像処理装置は、上記第５発明において、上記第１及び第２の混合部への入力画素値は、上記撮像素子内で複数の同色画素の画素値を混合したものである。

第７の発明に係る画像処理装置は、上記第１ないし第６発明において、上記補正処理部は、上記クロストーク影響量推定部により推定されたクロストーク影響量に応じて、補正対象となる全ての画素の画素値に対して同一の補正を適用する。

第８の発明に係る画像処理方法は、撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子を有する画像処理装置における画像処理方法において、上記位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、上記位相差検出画素からのクロストークの影響を受けていない同色画素の画素値とから、それぞれの画素値のクロストーク影響量を推定し、上記推定されたクロストーク影響量に基づいて上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する。

第９の発明に係る画像処理用プログラムは、撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子を有する画像処理装置における画像処理用プログラムであって、上記位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、上記位相差検出画素からのクロストークの影響を受けていない同色画素の画素値とから、それぞれの画素値のクロストーク影響量を推定するステップと、上記推定されたクロストーク影響量に基づいて上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正するステップと、をコンピュータに実行させる。

本発明によれば、通常画素が配置された領域と位相差画素が配置された領域の色味の違いを軽減することが可能な画像処理装置、画像処理方法、および画像処理用プログラムを提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおけるクロストークの発生を説明するグラフである。 本発明の一実施形態に係るカメラの撮像素子において、位相差画素の配置領域を示す図である。 本発明の一実施形態に係るカメラの撮像素子において、位相差画素の配置パターンと周辺画素へのクロストークの影響を示す図である。 本発明の一実施形態に係るカメラの撮像素子において、画素加算時のクロストークの伝播を示す図である。 本発明の一実施形態に係るカメラの撮像素子において、画素加算データとクロストーク推定用画素積算領域を示す図である。 本発明の一実施形態に係るカメラの撮像素子において、クロストーク推定用画素積算データを示す図である。 本発明の一実施形態に係るカメラのクロストーク補正の動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像画素の一部に位相差検出方式による焦点検出用の位相差画素を備えた撮像素子を有する撮像部を設け、この撮像部によって被写体像を撮像データに変換し、また位相差画素からの出力に基づいて公知の位相差検出方式によってデフォーカス方向とデフォーカス量を算出し、撮影レンズのピント合わせを行う。

また、撮像部によって生成された撮像データに基づいてライブビュー表示を行い、また静止画撮影や動画撮影を行う。このとき、位相差画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、位相差画素からのクロストークの影響を受けていない同色画素の画素値とから、それぞれの画素値のクロストーク差分量を推定し、この推定されたクロストーク差分量に基づいて位相差画素からのクロストークの影響を受けた画素の画素値を補正する。この補正された画素値を用いて、ライブビュー表示や動画撮影等を行う。

図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。カメラ内には、撮影レンズ１１、絞り１３、メカシャッタ１５、駆動部１７、操作部１９、撮像素子２１、Ａ−ＡＭＰ２３、アナログデジタル変換器（ＡＤＣ）２５、撮像制御回路２６、ＣＰＵ（Central Processing Unit）２７、画像処理部２９、焦点検出回路３１、ビデオエンコーダ３３、バス３５、ＤＲＡＭ（Dynamic Random Access Memory）３７、ＲＯＭ（Read Only Memory）３９、フラッシュメモリ４１を有する。

撮影レンズ１１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ１１の光軸の後方には、絞り１３が配置されており、この絞り１３は開口径が可変であり、撮影レンズ１１を通過した被写体光束の光量を制限する。絞り１３の後方には、メカシャッタ１５が配置されており、撮影レンズを通過した被写体光束の通過時間の制御を行う。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用される。

駆動部１７は、ＣＰＵ２７から出力される制御信号に基づいて、撮影レンズ１１のピント調節、絞り１３の開口径制御、およびメカシャッタ１５の開閉制御（シャッタ制御）を行う。

操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をＣＰＵ２７に出力する。撮影モードダイヤルやメニュー画面等において、静止画撮影モードと動画撮影モードを選択することができる。動画撮影モードが選択されている際に、レリーズ釦を操作すると、動画撮影が開始され、再度、レリーズ釦が操作されると動画撮影が終了する。なお、操作部１９に動画釦を設け、動画釦が操作された際に、動画撮影を開始する等、撮影選択部として、他の方法に置き換えても勿論かまわない。

撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体像が結像される位置付近には、撮像素子２１が配置されている。撮像素子２１には、画素の一部に焦点検出をするための位相差画素が設けられている。また、撮像素子２１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。

各画素の入射面側には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。Ｇ画素の一部は、焦点検出用の位相差画素に置き換えられている。本実施形態では、ベイヤー配列を前提としているが、本発明はこれに限定するものではない。ハニカム配列の撮像装置やカラーフィルタの配置周期が不規則なものでもよい。また位相差画素もＧ画素の一部でなく、配置周期や配置箇所、カラーフィルタの種別およびカラーフィルタの有無もこれに限定するものではない。

また、撮像素子２１は、通常画素や位相差画素から信号を読み出す際に、所定エリア内の同色画素の画素値を混合（加算処理）して出力する混合部としての機能も果たす。本実施形態においては、混合部の機能は撮像素子が果たすが、後述するＡＤＣ２５において、画素値を混合するようにしてもよい。撮像素子２１の詳しい構成について、図３及び図４を用いて後述する。なお、本明細書においては、撮像素子２１の画素から出力されるアナログの画像信号に基づく信号であれば、後述するＡＤＣ２５によってＡ／Ｄ変換された信号のみならず画像信号も含めて撮像データ（画像データ）と称する。

撮像素子２１の出力は、Ａ−ＡＭＰ２３に接続されている。Ａ−ＡＭＰ２３は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。Ａ−ＡＭＰ２３の出力は、ＡＤＣ２５に接続されている。

ＡＤＣ２５は、アナログデジタル変換器であり、Ａ−ＡＭＰ２３によってアナログゲイン調整された画像信号をデジタル形式の撮像データ（画像データ）に変換する。この撮像データには、非焦点検出用であって通常の画素からのデータと、焦点検出用の位相差画素からのデータの両方のデータが含まれている。なお、前述したように、ＡＤＣ２５が所定エリア内の同色画素の画素値を混合して出力する混合部としての機能も果たすようにしてもよい。ＡＤＣ２５の出力はバス３５に出力され、撮像データは後述するＤＲＡＭ３７に一時記憶される。

撮像制御回路２６は、ＣＰＵ２７の制御命令に従って、撮像素子２１の露光開始や読み出し等の制御を行う。撮像制御回路２６は、静止画撮影時、ライブビュー表示時、動画撮影時等における駆動モードに応じて、その読み出し制御を変更する。例えば、前述の画素値の混合を行う。すなわち、ライブビュー表示や動画撮影時には、静止画よりも画素数を必要としないが１秒間に多数のフレーム画像を取得することから、画素加算によって画素値の混合を行うように制御する。

バス３５に接続されたＣＰＵ２７は、後述するＲＯＭ３９に記憶されているプログラムに従って、各部・各回路等を制御し、カメラの全体制御を行う。ＣＰＵ２７は、位相差画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、位相差画素からのクロストークの影響を受けていない同色画素の画素値とから、それぞれの画素値のクロストーク差分量を推定するクロストーク差分量推定部としての機能を果たす。クロストーク差分量の推定については、図２を用いて後述する。

画像処理部２９は、バス３５を介してＤＲＡＭ３７から撮像データを入力し、各種画像処理を行い、静止画または動画の記録用画像データを生成し、この生成された記録用画像データは、一旦、ＤＲＡＭ３７に一時記憶する。また、ＤＲＡＭ３７から読み出した動画の画像データを用いて、表示用画像データを生成し、一旦、ＤＲＡＭ３７に一時記憶する。

また、画像処理部２９は、撮像素子２１内の焦点検出用画素位置にある位相差画素のデータを周囲の画素データを用いて補間処理等を行い、クロストークによる影響を除去する。すなわち、画像処理部２９は、クロストーク差分量推定部により推定されたクロストーク差分量に基づいて上記位相差画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部としての機能を果たす。このクロストーク補正については、（３）式および図８のＳ５、Ｓ１１を用いて後述する。

焦点検出回路３１は、ＤＲＡＭ３７に一時記憶された位相差画素からのデータを取得し、このデータに基づいて、公知の位相差ＡＦによるデフォーカス方向およびデフォーカス量を算出する。焦点検出回路３１によって算出されたデフォーカス方向およびデフォーカス量に基づいて、ＣＰＵ２７は駆動部１７によって撮影レンズ１１のピント合わせを行う。

ビデオエンコーダ３３は、画像処理部２９によって生成されＤＲＡＭ３７に一時記憶された表示用画像データを読出し、ＬＣＤ／ＴＶ４３に出力する。ＬＣＤは液晶表示部であり、カメラの背面等にライブビュー表示や記録済み画像の再生表示等に使用される。またＴＶは外部のテレビ装置であり、記録済み画像の再生表示等に使用される。

ＤＲＡＭ３７は、電気的に書き換え可能なメモリであり、前述したように、画像データ、記録用画像データ、表示用画像データ等の一時記憶を行う。また、ＣＰＵ２７がカメラの制御を行う際の各種データの一時記憶も行う。画像データの一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いてもよい。後述するクロストーク補正は、一時記憶された画像データを用いて行う。

ＲＯＭ３９は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ３９には、前述したＣＰＵ２７で使用するプログラムの他、カメラの調整値等の各種データも記憶されている。フラッシュメモリ４１は、カメラに内蔵もしくは装填可能であり、画像データ記録用の記憶媒体である。

次に、図２を用いて、本実施形態に係るカメラの撮像素子２１におけるクロストークについて説明する。図２（ａ）は、入射光量に応じて、通常画素の内のＧ画素（Ｇｎｏｒ）と、Ｇ画素に隣接するＲ画素またはＢ画素（Ｒ／Ｂと称する）の画素値の変化を示す。入射光量Ｉ１までは、Ｇ画素もＲ／Ｂ画素も入射光量に比例した画素値を出力する。但し、Ｇ画素の方がＲ／Ｂ画素に比べて感度が高いため、入射光量Ｉ１において、飽和状態に達する。

図２（ａ）において、入射光量Ｉ１より光量が増加すると、Ｇ画素（Ｇｎｏｒ）は飽和状態に達しているため、Ｇ画素（Ｇｎｏｒ）で発生した電荷は周囲のＲ／Ｂ画素に移動する。このため、Ｃ点を境に、Ｒ／Ｂ画素の画素値はＲ／Ｂｃｒとなる。すなわち、点線で示したＲ／Ｂラインと、Ｒ／Ｂｃｒラインで挟まれた領域は、クロストークによる画素値の変化量に相当する。

図２（ｂ）は、通常画素のＧ画素とＲ／Ｂ画素に加えて、通常画素の周囲に位相差画素（Ｇｐｈ）（図では斜字体で表示）が配置された場合における入射光量と画素値の変化を示す。位相差画素Ｇｐｈ（図では斜字体で表示）は、位相差検出を得るために画素の一部を覆う遮光板が配置されている。このため通常画素のＧ画素に比較して、感度が低くなっており、通常画素の入射光量が入射光量Ｉ１に達して飽和レベルに達しても、位相差画素Ｇｐｈ（図では斜字体で表示）の画素値は飽和レベルに達せず、入射光量Ｉ２に達すると、飽和レベルに達する。

また、図２（ｂ）において、ラインＲ／Ｂｎｏｒは、Ｒ／Ｂ画素の周囲に通常画素のみが隣接する場合のクロストークによる変化量を示し、ラインＲ／ＢｐｈはＲ／Ｂ画素の周囲に位相差画素も隣接する場合のクロストークによる変化量を示す。ラインＲ／ＢｎｏｒとラインＲ／Ｂｐｈに挟まれた領域（網掛けの領域）は、クロストークの差分量を示す。なお、ラインＲ／Ｂの延長線上の破線は、クロストークの影響がない場合のＲ／Ｂ画素の画素値を示す。

図２（ｃ）は、図２（ｂ）におけるクロストークの差分量の部分のみを取り出した図である。Ｒ／Ｂ画素の周囲が通常画素のみに隣接している場合には、前述したように、Ｒ／Ｂｎｏｒであり、クロストーク量が大きい。一方、Ｒ／Ｂ画素の周囲に位相差画素がある場合には、Ｒ／Ｂｐｈであり、クロストーク量が小さい。入射光量Ｉ２において、Ｒ／Ｂｎｏｒの画素値はＤ’であり、Ｒ／Ｂｐｈの画素値はＤである。

次に、図３を用いて位相差画素Ｇｐｈ（またはＧｂ）の配置領域を説明する。撮像素子２１の撮像面には、前述したように、Ｇ画素、Ｒ画素、Ｂ画素からなる通常画素と、Ｇ画素の位置に置き換えられた位相差画素Ｇｐｈ（またはＧｂ）が配列されている。この内、通常画素は、撮像素子２１の有効画素領域２１ａの全面に配置されているが、位相差画素Ｇｐｈ（またはＧｂ）は、図３に示すように、領域２１ｂ〜２１ｄ内のみに配置されている。なお、位相差画素Ｇｐｈ（またはＧｂ）の配置は、図３に示すような横長に領域を配置する以外にも、矩形や円形の小領域を、マトリックス状に配置する等、測距エリアの配置に応じて、適宜、決めればよい。

次に、図４を用いて、領域２１ｂ〜２１ｄ内における位相差画素の配置パターンと周辺画素へのクロストークの影響について説明する。図４において、Ｇｒ、ＧｂはそれぞれＲ画素およびＢ画素と同一ライン状のＧ画素を表す。これらのＲ、Ｇｒ、Ｇｂ、Ｂ画素は、撮像用画素である。

また、図４において、斜字体で表したＧｂは、位相差画素であり、Ｇｂ画素の位置に配置され、左右のいずれかが開口しており、左側、右側のいずれかの光束がＧ画素に入射する。図４に示す例では、位相差画素は、（ｘ３、ｙ３）、（ｘ７、ｙ３）、（ｘ１１、ｙ３）、（ｘ３、ｙ７）、（ｘ７、ｙ７）、（ｘ１１、ｙ７）、・・・の位置に配置されている。なお、位相差画素の配置は、左右のいずれかが開口しているとして説明したが、上下のいずれかが開口していてもよく、また斜め方向で開口する等、図４に示したような配置以外にも適宜、変更してもよいことは勿論である。

また、図４において、下線を施したＢ画素とＲ画素は、位相差画素Ｇｂ（図では斜字体で表示）からクロストークの影響を受ける画素を示す。図４に示す例では、位相差画素Ｇｂ（ｘ３、ｙ３）（図ではＧｂを斜字体で表示）の周囲にある（ｘ３、ｙ２）（ｘ３、ｙ４）のＲ画素、および（ｘ２、ｙ３）（ｘ４、ｙ３）のＢ画素等である。

次に、図５を用いて、動画用の画素加算と、画素加算によるクロストークの伝播を説明する。動画撮影時やライブビュー表示時には、同色の画素を加算したデータを用いて、表示や画像データの記録を行う。この加算処理は、図５（ａ）に示すＲ１〜Ｒ４画素（図４の（ｘ３、ｙ２）（ｘ５、ｙ２）（ｘ３、ｙ４）（ｘ５、ｙ４）に相当）を加算して、図５（ｂ）に示すＲ’画素とする。同様に、Ｇｒ１〜Ｇｒ４画素（図４の（ｘ４、ｙ２）（ｘ６、ｙ２）（ｘ４、ｙ４）（ｘ６、ｙ４）に相当）を加算して、図５（ｂ）に示すＧｒ’画素とする。

また、Ｇｂ１〜Ｇｂ４画素（図４の（ｘ３、ｙ３）（ｘ５、ｙ３）（ｘ３、ｙ５）（ｘ５、ｙ５）に相当）を加算して、図５（ｂ）に示すＧｂ’画素とする。同様に、Ｂ１〜Ｂ４画素（図４の（ｘ４、ｙ３）（ｘ６、ｙ３）（ｘ４、ｙ５）（ｘ６、ｙ５）に相当）を加算して、図５（ｂ）に示すＧｂ’画素とする。

なお、同色画素の加算処理は、前述したように、撮像素子２１内においてアナログ処理で行ってもよく、撮像素子２１から読み出した後にアナログで加算処理、またはデジタルで加算処理を行ってもよい。また、本実施形態においては、同色４画素を加算処理し１画素としていたが（２×２画素）、これに限らず、加算する画素数は、適宜、変更してもよい。

このように、動画用に画素加算処理を行うと、クロストークの影響が伝播していく。例えば、Ｒ１〜Ｒ４画素の内、Ｒ１画素とＲ３画素は、クロストークの影響を受けており、このため、Ｒ１〜Ｒ４画素を加算処理した加算Ｒ’画素は、クロストークの影響を受ける。同様に、Ｂ１〜Ｂ４画素を加算処理する加算Ｂ’画素もクロストークの影響を受ける。

図６は、図５に示した加算処理後の加算Ｒ’画素、加算Ｂ’画素、加算Ｇｒ’画素、加算Ｇｂ’画素の有効画素領域２１ａ内における配置を示す。太線で示した領域２１ｂは、複数の積算エリア２１ｂ１・・・に分けられている。また、領域２１ｂ内は、位相差画素が存在し、この外側には位相差画素が存在しない。図５を用いて説明したように、位相差画素が存在する領域２１ｂ〜２１ｄにおいては、位相差画素によるクロストークが加算処理することによって伝播してしまう。従って、領域２１ｂ〜２１ｄ内はクロストークの影響が大きい。一方、図２で説明した通り、位相差画素の周りとそれ以外ではクロストークの影響度合いが異なるため、領域２１ｂ〜２１ｄ内のクロストークの影響は外側の領域に比べて小さい。このため、位相差画素の領域２１ｂ〜２１ｄと、その外側の領域では、色味が異なってしまう。

そこで、本実施形態においては、位相差画素の存在する領域における加算画素値（加算Ｒ’値、加算Ｂ’値）を、位相差画素が存在しない領域における加算画素値（加算Ｒ’値、加算Ｂ’値）を用いて補正演算処理を行っている。補正演算処理にあたっては、補正係数の算出は積算エリア単位で行い、補正処理は加算画素毎に行う。積算エリアは、図６に示す例では、６×８加算画素単位としているが（図中の太線枠の範囲）、これに限らず、加算画素の数は適宜変更してもよい。

補正演算処理は、図７に示すように、位相差画素からのクロストークの影響を受けている加算Ｒ’値の積算値Ｒｓｕｍと、位相差画素からのクロストークの影響を受けていない加算Ｒ’値の積算値Ｒｓｕｍ１〜Ｒｓｕｍ６を用いて補正係数を算出し、算出した補正係数を用いて積算エリア内の加算Ｒ’値を補正する。また、同様に、位相差画素からのクロストークの影響を受けている加算Ｂ’値の積算値Ｂｓｕｍと、位相差画素からのクロストークの影響を受けていない加算Ｂ’値の積算値Ｂｓｕｍ１〜Ｂｓｕｍ６を用いて補正係数を算出し、算出した補正係数を用いて積算エリア内の加算Ｂ’値を補正する。なお、積算値Ｒｓｕｍは、積算エリア内の加算Ｒ’値の総和であり、積算値Ｂｓｕｍは、積算エリア内の加算Ｂ’値の総和である。

このクロストーク補正処理について、図８に示すフローチャートを用いて説明する。なお、このフローチャートは、ＣＰＵ２７が、ＲＯＭ３９に記憶されているプログラムに従って、画像処理部２９、ＤＲＡＭ３７等を制御することによって実行する。

クロストーク補正処理のフローに入ると、まず、注目するＲｓｕｍの期待値を算出する（Ｓ１）。ここでは、補正の対象となるＲｓｕｍの近傍にある６つのＲｓｕｍを用いて、Ｒｓｕｍの期待値を算出する。具体的には、積算値Ｒｓｕｍと隣接し、かつ、Ｒｓｕｍに対して対称の位置にある積算値の組合せ、すなわち、Ｒｓｕｍ１とＲｓｕｍ６、Ｒｓｕｍ２とＲｓｕｍ５、Ｒｓｕｍ３とＲｓｕｍ４の差の絶対値（｜Ｒｓｕｍ１−Ｒｓｕｍ６｜、｜Ｒｓｕｍ２−Ｒｕｓｍ５｜、｜Ｒｓｕｍ３−Ｒｓｕｍ４｜）を算出し、最小となるＲｓｕｍの組み合わせを検出し、この最小となる組み合わせの平均値をＲｓｕｍの期待値とする。例えば、最小となる組み合わせが、Ｒｓｕｍ１とＲｓｕｍ６の場合には、Ｒｓｕｍの期待値は、下記（１）で算出される。
Ｒｓｕｍ期待値＝Ａｖｅｒａｇｅ（Ｒｓｕｍ１＋Ｒｓｕｍ６） ・・・（１）

Ｒｓｕｍの期待値を算出すると、次に、クロストーク補正係数ΔＶｃを算出する（Ｓ３）。クロストーク補正係数は、ステップＳ１において算出したＲｓｕｍの期待値と、補正の対象であるＲｓｕｍの比から算出する。すなわち、クロストーク補正係数ΔＶｃは、下記（２）式で算出される。このクロストーク補正係数ΔＶｃは、クロストーク差分量に相当し、ＣＰＵ２７によって算出される。
ΔＶｃ＝Ｒｓｕｍ期待値／Ｒｓｕｍ ・・・（２）

クロストーク補正係数を算出すると、次に、Ｒ画素をクロストーク補正係数で補正する（Ｓ５）。ここでは、同一積算エリア（領域２１ｂ〜２１ｄ）内のＲ画素（加算Ｒ’値）を同一のクロストーク補正係数ΔＶｃで補正する。すなわち、補正後のＲ画素値は、下記（３）式で算出される。このクロストーク補正係数ΔＶｃをＲ画素値に乗算することによって、クロストークの影響を受けた画素値の補正を行うことができる。なお、この乗算処理は、画像処理部２９によって、個々の画素に対して行う。
Ｒ’（補正後）＝Ｒ’（補正前）×ΔＶｃ ・・・（３）

Ｒ’画素をクロストーク補正係数で補正すると、次に、Ｂ’画素について、上述のステップＳ１〜Ｓ５の処理を行う（Ｓ７〜Ｓ１１）。ここでは、ステップＳ１〜Ｓ５において、ＲｓｕｍをＢｓｕｍに置き換えて、同様の処理を施すだけであるので、詳しい説明を省略する。

ステップＳ１１において、Ｂ画素をクロストーク補正係数で補正すると、次に、全ての積算エリアの補正処理が終了したか否かを判定する（Ｓ１３）。クロストーク補正は、積算エリア（図６の太線枠の範囲）単位で、クロストーク補正係数を算出し、このクロストーク補正係数を用いて、加算Ｒ’値および加算Ｂ’値に対して補正を行っている。このステップでは、全積算エリアについて、補正処理が終了したか否かを判定する。

ステップＳ１３における判定の結果、全ての積算エリアについて補正処理が終了していない場合には、次の積算エリアを設定し、ステップＳ１に戻り、上述の補正処理を繰り返す。一方、全ての積算エリアについて補正処理が終了した場合には、クロストーク補正の処理を終了する。

以上説明したように、本発明の一実施形態においては、撮像素子２１は、撮像画素の一部の位置に焦点検出をするための位相差画素（例えば、図５のＧｂ（図では斜字体で表示））が配置されており、位相差画素からのクロストークの影響を受けた画素（例えば、図５のＲ、Ｂ、図７のＲｓｕｍ、Ｂｓｕｍ）の画素値と、その近傍にある、位相差画素からのクロストークの影響を受けていない同色画素（例えば、図７のＲｓｕｍ、Ｂｓｕｍ）の画素値とから、それぞれの画素値のクロストーク差分量を推定し（例えば、図２（ｂ）のＤとＤ’の差分（またはＲ／ＢｎｏｒとＲ／Ｂｐｈの差分量）、画像処理部２９において実行される図８のＳ３、Ｓ９）、推定されたクロストーク差分量に基づいて位相差画素からのクロストークの影響を受けた画素の画素値を補正している（例えば、図８のＳ５、Ｓ１１）。位相差画素のクロストークを補正するようにしていることから、通常画素が配置された領域と位相差画素が配置された領域の色味の違いを軽減することができる。

また、本発明の一実施形態においては、位相差画素からのクロストークの影響を受けた画素が近傍に存在する場合には、所定の領域内に配置された、位相差画素からのクロストークの影響を受けた画素を含む複数の同色画素の画素値を混合する混合部（例えば、撮像素子２１またはＡＤＣ２５）を備えている（図５参照）。クロストーク差分量の推定は、混合部の出力画素値とその近傍にあるクロストークの影響を受けていない画素の画素値とから、クロストーク差分量を推定する（図７、図８参照）。このため、位相差画素が密に配置された領域と、位相差画素が疎または全く配置されていない領域が有る場合でも、クロストークによる画質劣化を低減することができる。

また、本発明の一実施形態においては、混合部への入力画素値は、撮像素子２１内で複数の同色画素の画素値を混合したものである。このため、動画やライブビュー用の画素混合モードにて取得された画像において、クロストークによる画質劣化を防止することができる。

また、本発明の一実施形態においては、撮像素子２１の第１の領域内に配置された、位相差画素からのクロストークの影響を受けた画素を含む複数の同色画素の画素値を混合する第１の混合部（例えば、図７の領域２１ｂの画素を混合するＡＤＣ２５または画像処理部２９）と、撮像素子２１の第２の領域内に配置された、位相差画素からのクロストークの影響を受けていない複数の同色画素の画素値のみを混合する第２の混合部（例えば、図７の領域２１ｂの外側の画素を混合するＡＤＣ２５または画像処理部２９）と、それぞれの混合画素値から、第１の領域内の混合画素値と第２の領域内の混合画素値とのクロストーク差分量を推定するクロストーク差分量推定部（例えば、図２（ｂ）のＤとＤ’の差分（またはＲ／ＢｎｏｒとＲ／Ｂｐｈの差分量、画像処理部２９において実行される図８のＳ３、Ｓ９）と、クロストーク差分量推定部により推定されたクロストーク差分量に応じて、第１の領域内の位相差画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部（例えば、ＣＰＵ２７によって実行される図８のＳ５、Ｓ１１）を備えている。このため、位相差画素が密に配置された第１の領域と、位相差画素が疎または全く配置されていない第２の領域が有る場合でも、クロストークによる画質劣化を低減することができる。

また、本発明の一実施形態においては、第１の領域（例えば、図７の領域２１ｂの内側）は、少なくとも１つ以上の第２の領域（例えば、図７の領域２１ｂの外側）と隣接するように領域設定されている。このため、ストローク量を精度良く推定することができ、画質劣化を低減することができる。

また、本発明の一実施形態においては、補正処理部（例えば、ＣＰＵ２７によって実行される図８のＳ５、Ｓ１１）は、推定されたクロストーク差分量に応じて、補正対象となる全ての画素の画素値に対して同一の補正を適用している（例えば、同一積算エリア内においては、同一のクロストーク補正係数ΔＶｃを使用）。補正対象となる全ての画素に対して補正を行っていることから、画面全体の画質の劣化を低減することができる。

なお、本発明の一実施形態においては、図７を用いて説明したように、撮像素子からの画素値を混合し、この混合した画素値に対して、クロストーク補正を行っていた。しかし、これに限らず、混合することなく、画素ごとにクロストーク補正を行うようにしても勿論かまわない。画素値を混合することによりライブビューや動画記録のように、高速で画像が更新する場合には、迅速にクロストーク補正を行うことができる。一方、混合することなく画素ごとにクロストーク補正することにより、静止画のように大画素であっても、高画質の画像を得ることができる。

また、本発明の一実施形態においては、クロストーク補正演算を行うにあたって、クロストーク補正係数を、式（２）に示すように、Ｒｓｕｍ期待値とＲｓｕｍの比により求めていた。しかし、比に限らず、図２（ｂ）のＤとＤ’の差分値、すなわち、通常画素のクロストークの影響を受けたＲ／Ｂ画素値と、位相画素のクロストークの影響を受けたＲ／Ｂ画素値の差分値等に基づいてクロストーク補正演算を行うようにしてもよい。

また、本発明の一実施形態においては、画像処理を行う機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、ミラーレスカメラ、コンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像画素の一部の位置に焦点検出をするための位相差画素が配置された撮像素子を用いた機器であれば、本発明を適用することができる。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・被写体、１１・・・撮影レンズ、１３・・・絞り、１５・・・メカシャッタ、１７・・・駆動部、１９・・・操作部、２１・・・撮像素子、２３・・・Ａ−ＡＭＰ、２５・・・アナログデジタル変換器（ＡＤＣ）、２６・・・撮像制御回路、２７・・・ＣＰＵ、２９・・・画像処理部、３１・・・焦点検出回路、３３・・・ビデオエンコーダ、３５・・・バス、３７・・・ＤＲＡＭ、３９・・・ＲＯＭ、４１・・・フラッシュメモリ、４３・・・ＬＣＤ／ＴＶ

Claims (9)

1. 撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子と、
   上記位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、上記位相差検出画素からのクロストークの影響を受けていない画素の画素値とから、それぞれの画素値のクロストーク影響量を推定するクロストーク影響量推定部と、
   上記クロストーク影響量推定部により推定されたクロストーク影響量に基づいて上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部と、
   を備えたことを特徴とする画像処理装置。
2. 上記位相差検出画素からのクロストークの影響を受けた画素が近傍に存在する場合には、所定の領域内に配置された、上記位相差検出画素からのクロストークの影響を受けた画素を含む複数の同色画素の画素値を混合する混合部を更に備え、
   上記クロストーク影響量推定部は、上記混合部の出力画素値とその近傍にあるクロストークの影響を受けていない同色画素の画素値とから、上記クロストーク影響量を推定することを特徴とする請求項１に記載の画像処理装置。
3. 上記混合部への入力画素値は、上記撮像素子内で複数の同色画素の画素値を混合したものであることを特徴とする請求項２に記載の画像処理装置。
4. 撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子と、
   上記撮像素子の第１の領域内に配置された、上記位相差検出画素からのクロストークの影響を受けた画素を含む複数の同色画素の画素値を混合する第１の混合部と、
   上記撮像素子の第２の領域内に配置された、上記位相差検出画素からのクロストークの影響を受けていない複数の同色画素の画素値のみを混合する第２の混合部と、
   それぞれの混合画素値から、上記第１の領域内の混合画素値と上記第２の領域内の混合画素値とのクロストーク影響量を推定するクロストーク影響量推定部と、
   上記クロストーク影響量推定部により推定されたクロストーク影響量に応じて、上記第１の領域内の上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する補正処理部と、
   を備えたことを特徴とする画像処理装置。
5. 上記第１の領域は、少なくとも１つ以上の第２の領域と隣接するように領域設定されていることを特徴とする請求項４に記載の画像処理装置。
6. 上記第１及び第２の混合部への入力画素値は、上記撮像素子内で複数の同色画素の画素値を混合したものであることを特徴とする請求項５に記載の画像処理装置。
7. 上記補正処理部は、上記クロストーク影響量推定部により推定されたクロストーク影響量に応じて、補正対象となる全ての画素の画素値に対して同一の補正を適用することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子を有する画像処理装置における画像処理方法において、
   上記位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、上記位相差検出画素からのクロストークの影響を受けていない同色画素の画素値とから、それぞれの画素値のクロストーク影響量を推定し、
   上記推定されたクロストーク影響量に基づいて上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正する、
   ことを特徴とする画像処理方法。
9. 撮像画素の一部の位置に焦点検出をするための位相差検出画素が配置された撮像素子を有する画像処理装置における画像処理用プログラムにおいて、
   上記位相差検出画素からのクロストークの影響を受けた画素の画素値と、その近傍にある、上記位相差検出画素からのクロストークの影響を受けていない同色画素の画素値とから、それぞれの画素値のクロストーク影響量を推定するステップと、
   上記推定されたクロストーク影響量に基づいて上記位相差検出画素からのクロストークの影響を受けた画素の画素値を補正するステップと、
   をコンピュータに実行させることを特徴とする画像処理用プログラム。

Images