JP2014135564A - 撮像装置および画像処理装置 - Google Patents

Abstract

【課題】クロストークを簡易かつ高精度に補正可能な撮像装置を提供する。
【解決手段】撮像装置は、複数の撮像用画素および複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、クロストーク補正用のデータを記憶する記憶部と、複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、機能画素の位置における像信号の補間画素値を生成する画素補間部と、記憶部に記憶されたクロストーク補正用のデータを用いて、機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行うクロストーク補正部と、複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、平坦判定部により所定領域が平坦であると判定された場合にクロストーク補正用のデータを更新する補正データ算出部とを有する。
【選択図】図１

Description

本発明は、機能画素を離散的に配置した撮像素子を有する撮像装置に係り、特にクロストーク補正を行う撮像装置に関する。

撮影レンズの一部の領域を通過した光束のみを受光するように設計された焦点検出用画素をＣＣＤやＣＭＯＳ等の固体撮像素子上に離散的に配置することにより、位相差焦点検出を実現する技術が知られている。特許文献１には、マイクロレンズ下に遮光層を設けた焦点検出用画素を用いて位相差焦点検出を実現する技術が開示されている。

ところで、画素に入射した光が近傍の画素に漏れ込むことによって撮影画像が劣化してしまういわゆるクロストークの問題が知られている。クロストークは、画素内の光の反射等による光学的要因および半導体内部で電子が拡散する事による電子的要因によって発生することが判っている。

特許文献１の撮像装置に構成される固体撮像素子を用いて撮影画像を取得した場合、焦点検出用画素と撮像用画素の画素構造の違いに起因したクロストークの影響が顕著に表れ、焦点検出用画素近傍の画質が劣化してしまうという問題がある。この問題を解決するために、特許文献２には、焦点検出用画素の出力値と、クロストークの発生量を決定する要因の特性データに基づいてクロストーク補正を実施する技術が開示されている。

特開２０００−１５６８２３号公報 特開２００９−１２４５７３号公報

しかしながら、特許文献２に開示された構成を用いてクロストーク補正を行う場合、補正の精度を向上させるには、予め記憶された特性データを増加させる必要がある。また、クロストークの発生要因のうち一部の特性データを用いてクロストーク補正を行うことにより、予め記憶しておくデータ量を削減できるが、クロストーク補正の精度が劣化してしまう場合がある。

そこで本発明は、機能画素の近傍に配置された撮像用画素に対するクロストークを簡易かつ高精度に補正可能な撮像装置および画像処理装置を提供する。

本発明の一側面としての撮像装置は、複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、クロストーク補正用のデータを記憶する記憶部と、前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行うクロストーク補正部と、前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを更新する補正データ算出部とを有する。

本発明の他の側面としての撮像装置は、複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、クロストーク補正用のデータを記憶する記憶部と、前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行う第一のクロストーク補正部と、前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを新たに算出する補正データ算出部と、前記補正データ算出部により新たに算出された前記クロストーク補正用のデータを用いて前記クロストーク補正を行う第二のクロストーク補正部とを有する。

本発明の他の側面としての画像処理装置は、複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子から得られた信号の画像処理を行う画像処理装置であって、クロストーク補正用のデータを記憶する記憶部と、前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行うクロストーク補正部と、前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを更新する補正データ算出部とを有する。

本発明の他の側面としての画像処理装置は、複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子から得られた信号の画像処理を行う画像処理装置であって、クロストーク補正用のデータを記憶する記憶部と、前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行う第一のクロストーク補正部と、前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを新たに算出する補正データ算出部と、前記補正データ算出部により新たに算出された前記クロストーク補正用のデータを用いて前記クロストーク補正を行う第二のクロストーク補正部とを有する。

本発明の他の側面としての撮像装置は、複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、前記撮像素子から得られた時間軸の互いに異なる第一の画像および第二の画像を記憶可能な記憶部と、前記機能画素の近傍に配置された撮像用画素に対して、クロストーク補正用関数を用いてクロストーク補正を行うクロストーク補正部と、前記第一の画像および前記第二の画像の間のずれ量を算出して該第一の画像および該第二の画像の位置合わせを行うずれ量算出部と、前記ずれ量算出部による位置合わせで得られた前記第一の画像および前記第二の画像の対応画素の画素値に基づいて、前記クロストーク補正用関数を修正する関数修正部とを有する。

本発明の他の側面としての画像処理装置は、複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子から得られた信号の画像処理を行う画像処理装置であって、前記撮像素子から得られた時間軸の互いに異なる第一の画像および第二の画像を記憶可能な記憶部と、前記機能画素の近傍に配置された撮像用画素に対して、クロストーク補正用関数を用いてクロストーク補正を行うクロストーク補正部と、前記第一の画像および前記第二の画像の間のずれ量を算出して該第一の画像および該第二の画像の位置合わせを行うずれ量算出部と、前記ずれ量算出部による位置合わせで得られた前記第一の画像および前記第二の画像の対応画素の画素値に基づいて、前記クロストーク補正用関数を修正する関数修正部とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、機能画素の近傍に配置された撮像用画素に対するクロストークを簡易かつ高精度に補正可能な撮像装置および画像処理装置を提供することができる。

実施例１、２における撮像装置の構成を示すブロック図である。 実施例１乃至３における撮像用画素の断面図である。 実施例１乃至３における焦点検出用画素の断面図である。 実施例１乃至３における撮像素子の画素配置図である。 実施例１乃至３における画素補間処理の説明図である。 実施例１乃至３におけるクロストーク補正処理の説明図である。 実施例１乃至３における平坦判定処理の説明図である。 実施例１乃至３における撮像処理を示すフローチャートである。 実施例１乃至３における画素補間処理を示すフローチャートである。 実施例１、２におけるクロストーク補正処理を示すフローチャートである。 実施例１におけるクロストーク補正の修正処理を示すフローチャートである。 実施例３における撮像装置の構成を示すブロック図である。 実施例３におけるクロストーク補正の修正処理を示すフローチャートである。 実施例４における撮像装置の構成を示すブロック図である。 実施例４、５における撮像素子の画素配置図である。 実施例４、５における撮影用画素の断面図である。 実施例４、５における焦点検出用画素の断面図である。 実施例４、５における欠陥画素補正の説明図である。 実施例４、５におけるクロストーク補正対象画素を示す図である。 実施例４、５におけるクロストーク補正方法の説明図である。 実施例４、５における位置合わせの説明図である。 実施例４、５におけるクロストーク補正用関数の修正に関する説明図である。 実施例４における撮像処理を示すフローチャートである。 実施例５における撮像装置の構成を示すブロック図である。 実施例５における画像記録時の撮像処理を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００の構成を示すブロック図である。撮像装置１００は、交換レンズ１０１および撮像装置ボディ１０３を備えて構成されている。交換レンズ１０１は、マウント部１０２を介して、撮像装置ボディ１０３に装着される。ただし本実施例は、撮像装置ボディとレンズとが一体的に構成された撮像装置にも適用可能である。なお、本実施例の撮像装置１００は、画像処理装置（例えば、メモリ１０６、画素補間部１１２、クロストーク補正部１１３、および、クロストーク修正部１１４）を備えて構成される。

交換レンズ１０１は、レンズ、絞り、ズーミングレンズ、フォーカシングレンズ、レンズ制御部、ピントリング、および、ズームリング（いずれも不図示）などを備えて構成される。撮像装置ボディ１０３は、撮像素子１０４（固体撮像素子）およびカメラ制御部１０７などを備えて構成される。撮像素子１０４は、複数の撮像用画素を２次元的に配置して構成されている。また撮像素子１０４は、複数の撮像用画素のそれぞれと異なる構造を有する焦点検出用画素（機能画素）を備えている。撮像素子１０４についての詳細な説明は後述する。Ａ／Ｄ変換部１０５は、撮像素子１０４に入射した光束を電気信号に変換する。

交換レンズ１０１を通過した光束は、撮像装置ボディ１０３の内部へ導かれ、撮像素子１０４の受光面上に結像して被写体像（光学像）を形成する。被写体像は、Ａ／Ｄ変換部１０５で光電変換された後、後述のカメラ制御部１０７を介してメモリ１０６に画像信号（像信号）として記憶される。１０６はメモリ（記憶部）であり、焦点検出用画素の位置（位置情報データ）やクロストーク補正用のデータ（特性データ）、および、各種処理に用いられるデータなどを記憶する。またメモリ１０６は、撮影中の画像信号データおよび各種演算の一次データを記憶する領域としても用いられる。

１０７はカメラ制御部である。カメラ制御部１０７は、撮像装置ボディ１０３のシステム全体の動作を制御するとともに、交換レンズ１０１との通信によりレンズ情報の受信およびカメラ情報、オートフォーカス信号（ＡＦ信号）の送信が可能である。１０８は焦点検出処理部である。焦点検出処理部１０８は、焦点検出用画像生成部１０９、相関演算部１１０、および、合焦位置決定部１１１により構成される。焦点検出用画像生成部１０９は、撮像素子１０４により取得された焦点検出用画素の出力値（画素値）に基づいて位相が互いにずれた（シフトした）一対の像信号を生成する。焦点検出用画像生成部１０９により生成された一対の像信号は、相関演算部１１０に入力され、像信号をシフトしながら相関量を算出し、演算結果を合焦位置決定部１１１に出力する。合焦位置決定部１１１は、相関演算部１１０から出力された相関量に基づいて合焦位置を判定し、カメラ制御部１０７を介して交換レンズ１０１にＡＦ駆動信号を送信する。

１１２は画素補間部である。画素補間部１１２は、複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、焦点検出用画素の位置における像信号の補間値（補間画素値）を生成する。１１３はクロストーク補正部である。クロストーク補正部１１３は、メモリ１０６（記憶部）に記憶されたクロストーク補正用のデータ（特性データ）を用いて、焦点検出用画素の近傍に配置された撮像用画素に対してクロストーク補正を行う。クロストーク補正部１１３の詳細な動作については後述する。

１１４はクロストーク修正部である。クロストーク修正部１１４は、平坦判定部１１５、補正データ算出部１１６、および、特徴点判定部１１７により構成される。１１５は平坦判定部である。平坦判定部１１５は、複数の撮像用画素のうち所定領域の平坦判定を行うことにより、撮影された画像データ（撮影画像）の任意の対象領域が平坦であるか否かを判定する。平坦判定部１１５の詳細な動作については後述する。１１６は補正データ算出部であり、クロストーク補正処理を修正するための補正データを算出する。補正データ算出部１１６は、例えば、平坦判定部１１５により所定領域が平坦であると判定された場合にクロストーク補正用のデータを更新する。補正データ算出部１１６の詳細な動作については後述する。１１７は特徴点判定部である。特徴点判定部１１７は、クロストーク補正の対象となる画素（補正対象画素）が特徴点であるか否かを判定する。特徴点判定部１１７の詳細な動作については後述する。

１１８は画像処理部である。画像処理部１１８は、画像信号に対してホワイトバランス補正などの各種補正処理や現像処理などの信号処理を行う。

次に、図２乃至図４を参照して、撮像素子１０４の構成について説明する。図２は、本実施例における撮像用画素の断面図である。２０１はマイクロレンズであり、入射された光束を光電変換部２０３へ集光する。２０２はカラーフィルタ層である。カラーフィルタ層２０２には、赤、緑、青のいずれかの波長の光のみを透過するような分光感度特性を有するカラーフィルタが配置されている。２０３は受光した光束を光電変換する光電変換部である。以降、赤、緑、青の波長の光を透過するカラーフィルタを有する撮像用画素を、それぞれ、Ｒ画素、Ｇ画素、Ｂ画素という。

図３は、本実施例における焦点検出用画素（機能画素）の断面図である。３０１はマイクロレンズであり、入射された光束を光電変換部３０４へ集光する。焦点検出用画素のマイクロレンズ３０１は、撮像用画素のマイクロレンズ２０１に比べて曲率が大きくなるように設計されている。３０２はカラーフィルタ層であり、透明なカラーフィルタを有する。３０３は遮光層であり、マイクロレンズ３０１から入射した光束の一部を遮光するように形成される。３０４は、受光した光束を光電変換する光電変換部である。なお、図３では透明なカラーフィルタを有する構成について示しているが、カラーフィルタ層を有しない構成であってもよい。

図４は、本実施例における撮像素子１０４の画素配置図である。４００は、撮像素子１０４上の一部の領域である。４０１で示される白塗りのセルは撮像用画素、４０２に示される黒塗りのセルは焦点検出用画素を表している。また、図４中のＲ、Ｇ、Ｂは、前述のＲ画素、Ｇ画素、Ｂ画素にそれぞれ対応している。撮像素子１０４上には、Ｒ画素、Ｇ画素、Ｂ画素がベイヤー状に配置されている。また撮像素子１０４上には、ベイヤー状に配置された複数の撮像用画素（撮像用画素群）における一部のＲ画素およびＢ画素の位置に、離散的に焦点検出用画素が配置されている。

ライン４０３、４０５上に位置する焦点検出用画素は、焦点検出用画素内の左半分に遮光層が設けられている。またライン４０４、４０６上に位置する焦点検出用画素は、焦点検出用画素内の右半分に遮光層が設けられている。このため、撮像素子１０４上に配置された複数の焦点検出用画素は、それぞれの遮光層の形状に応じて撮像光学系（交換レンズ１０１）の特定の領域を通過した光束のみを受光する。なお、焦点検出用画素は、複数の撮像用画素のそれぞれと互いに異なる構造を有する画素である。従って、焦点検出用画素によって得られる画素値（画素値データ）は、画像データを生成する際の画素値データとして適していない。このため、焦点検出用画素の位置における像信号（画像データ）生成用の画素値データは、画素補間部１１２の補間処理により生成される。

次に、図５を参照して、画素補間部１１２における補間処理について説明する。図５は、本実施例における画素補間処理の説明図であり、撮像素子１０４上の焦点検出用画素ＡＦ（Ｘ，Ｙ）を中心として一部の領域を拡大した図である。図５において、変数Ｘ，Ｙはそれぞれ撮像素子１０４上の水平および垂直方向の画素位置を示す変数である。

画素補間部１１２は、焦点検出用画素ＡＦ（Ｘ，Ｙ）に対して画素補間処理を行う。焦点検出用画素ＡＦ（Ｘ，Ｙ）は、ベイヤー配列においてＲ画素の位置に対応する焦点検出用画素である。このため画素補間部１１２は、焦点検出用画素ＡＦ（Ｘ，Ｙ）の周囲に存在する８つのＲ画素の加算平均を用いて、補間値（補間画素値）を算出する。図５において、補間値の算出に用いられる複数のＲ画素（Ｒ画素群）は斜線で示される。

焦点検出用画素ＡＦ（Ｘ，Ｙ）の補間値ＡＦ´（Ｘ，Ｙ）は、以下の式（１）で表される補間式を用いて得られる。

また、焦点検出画素がベイヤー配列においてＢ画素の位置に対応している場合、カラーフィルタの分光感度特性が異なることを除けば、相対的な位置関係は式（１）と同様である。このため、Ｒ画素の場合と同様に、式（１）を用いて補間することができる。なお本実施例では、焦点検出用画素の周囲に存在する８画素から補間処理を行う例について説明しているが、本実施例の補間処理方法はこれに限定されるものではなく、公知の他の技術を用いて補間処理を行ってもよい。

このように、画素補間部１１２により焦点検出用画素の位置における補間画素値を得ることはできる。しかし、焦点検出用画素の近傍に配置された画素には、焦点検出用画素に起因して発生したクロストーク成分が残っている。そこで本実施例において、クロストーク補正部１１３は、焦点検出用画素の近傍に配置された撮影用画素に含まれるクロストーク成分を補正する。

次に、図６を参照して、クロストーク補正部１１３におけるクロストーク補正処理について説明する。図６は、本実施例におけるクロストーク補正処理の説明図であり、撮像素子１０４上の焦点検出用画素ＡＦ（Ｘ，Ｙ）を中心として一部の領域を拡大した図である。変数Ｘ，Ｙはそれぞれ撮像素子１０４上の水平および垂直方向の画素位置を示す変数である。焦点検出用画素ＡＦ（Ｘ，Ｙ）に隣接するＧ画素Ｇ（Ｘ，Ｙ−１）、Ｇ（Ｘ−１、Ｙ）、Ｇ（Ｘ＋１、Ｙ）、Ｇ（Ｘ，Ｙ＋１）は、それぞれ、焦点検出用画素ＡＦ（Ｘ，Ｙ）からのクロストークの影響を受けている。図６において、焦点検出用画素ＡＦ（Ｘ，Ｙ）に隣接する複数のＧ画素（Ｇ画素群）は、斜線で示されている。本実施例において、クロストーク補正処理は、全ての焦点検出用画素のそれぞれの上下左右に隣接するＧ画素に対して行われる。以降、クロストーク補正処理が行われる画素を補正対象画素という。

補正対象画素Ｇ（Ｘ，Ｙ−１）、Ｇ（Ｘ−１、Ｙ）、Ｇ（Ｘ＋１、Ｙ）、Ｇ（Ｘ，Ｙ＋１）に対して、後述の汎用的なクロストーク補正用関数を用いてクロストーク補正処理が行われる。これにより、クロストーク補正後の画素値Ｇ´（Ｘ，Ｙ−１）、Ｇ´（Ｘ＋１，Ｙ）、Ｇ´（Ｘ，Ｙ＋１）、Ｇ´（Ｘ−１，Ｙ）が得られる。クロストーク補正用関数は、以下の式（２）のように表される。

式（２）において、Ｇは補正対象画素のクロストーク補正前画素値、Ｇ´は補正対象画素のクロストーク補正後画素値である。また、ＡＦは焦点検出用画素の画素値、ＡＦ´は画素補間部１１２において式（１）を用いて算出された焦点検出用画素の位置の補間画素値である。ＣＯＥＦは、クロストーク特性に応じた係数データを格納する変数（係数）である。

係数ＣＯＥＦ（ＣＯＥＦに格納される係数データ）は、関数ＣＯＥＦ＿ＳＥＬＥＣＴを用いて決定される。関数ＣＯＥＦ＿ＳＥＬＥＣＴは、クロストーク発生量を決定する条件（ＰＡＲＡＭ）を引数に与えると、予めメモリ１０６に記憶されているクロストーク補正用の特性データから条件ＰＡＲＡＭに対応する係数データの格納先アドレスを返す関数である。

条件ＰＡＲＡＭは、撮像素子１０４上における補正対象画素の位置（ＰＯＳ１）、撮影時の開口Ｆ値（ＦＮｏ）、焦点検出用画素の開口方向（Ｄｉｒｅｃｔｉｏｎ）、焦点検出用画素に対する補正対象画素の相対位置（ＰＯＳ２）により決定される。条件ＰＡＲＡＭは、更に、焦点検出用画素の画素値と焦点検出用画素の補間値（補間画素値）との差分符号（ＳＩＧＮ）により決定される。すなわち、ＣＯＥＦ＿ＳＥＬＥＣＴ関数は、ＣＯＥＦ＿ＳＥＬＥＣＴ（ＰＯＳ１，ＦＮｏ，Ｄｉｒｅｃｔｉｏｎ，ＰＯＳ２，ＳＩＧＮ）のように表される。係数ＣＯＥＦには、関数ＣＯＥＦ＿ＳＥＬＥＣＴによって出力されるアドレスに格納されたデータが係数として得られる。

ここで、焦点検出用画素の補間値は、焦点検出用画素位置が撮像用画素と同じ構成である場合の推定光量として扱われる。すなわち、焦点検出量画素の受光量と推定光量の差分に対して、条件ＰＡＲＡＭに対応した係数ＣＯＥＦを乗算することで補正量を算出し、補正対象画素の画素値に加算している。

例えば、式（２）を用いた補正対象画素Ｇ（Ｘ，Ｙ−１）のクロストーク補正処理の式は、Ｇ´（Ｘ，Ｙ−１）＝Ｇ（Ｘ，Ｙ−１）＋（ＡＦ（Ｘ，Ｙ）−ＡＦ´（Ｘ，Ｙ））×ＣＯＥＦのように表される。なお本実施例では、焦点検出用画素の画素値と焦点検出用画素の補間画素値との差分値に対して、特定の係数ＣＯＥＦを乗算するという線形的な特性を有するクロストーク補正用関数について説明した。しかし、実際のクロストークは、本実施例のクロストーク補正用関数で参照した以外の様々な要因（例えば補正対象画素からのクロストークの影響、光源の色温度、画素の固体製造誤差など）により非線形的な特性を有して発生する。このため、クロストーク補正に用いられる汎用的なクロストーク補正用関数は、線形的な特性のクロストーク補正式に限定されるものではなく、非線形的な特性を有するものであってもよい。

なお本実施例では、焦点検出用画素の上下左右に隣接するＧ画素においてクロストークが発生すると仮定して、補正対象画素を決定する例を示した。しかし実際には、クロストークの影響は、撮像素子１０４や画素構造の特性などにより変化する。このため、クロストーク補正部１１３は、その特性に応じて補正対象画素を変更するように構成することが好ましい。

本実施例において、式（２）に示される汎用的なクロストーク補正用関数を用いてクロストーク補正を行う場合、前述のとおり、クロストーク補正後の画素には補正しきれなかったクロストーク成分が残る可能性がある。補正しきれなかったクロストーク成分は、焦点検出用画素の周辺領域の画素値変化が大きい場合、高周波成分に隠れて見た目上は目立たなくなる。一方、焦点検出用画素の周辺領域の画素値変化が少ない場合、不自然なパターンとなって現れ、見た目の画質が劣化する。このため、見た目に違和感の少ない画像を生成するには、焦点検出用画素の周辺領域の画素値の変化の少ない領域において、補正しきれなかったクロストーク成分を適切に補正すればよい。

本実施例においては、画素値の変化の少ない領域を検出するため、平坦判定部１１５を用いる。以下、平坦判定部１１５の動作について説明する。平坦判定部１１５は、焦点検出用画素を中心とした所定の領域（対象領域）における分散値を評価値として算出し、対象領域が平坦であるか否かを判定する。そして平坦判定部１１５は、算出した分散値に基づいて平坦判定を行う。

一般的な分散の公式は、以下の式（３）のように表される。

式（３）において、σ^２は分散値、ｎは標本数、Ｘｉは着目している標本の値、ＸＡｖｅは全標本の値の加算平均値である。

次に、図７を参照して、焦点検出用画素ＡＦを中心とした７×７画素の領域（対象領域）の平坦判定について説明する。図７は、本実施例における平坦判定処理の説明図である。図７において、Ｇ１〜Ｇ２０はＧ画素、Ｒ１〜Ｒ１６はＲ画素、Ｂ１〜Ｂ８はＢ画素、ＧＨ１〜ＧＨ４は補正対象画素、ＡＦは焦点検出用画素をそれぞれ示している。

まず、分散値の算出に用いる標本の決定方法について説明する。本実施例において、領域中の画素全てを標本として用いる場合、分光感度特性の違いやクロストークに起因して、個々の画素の画素値のばらつきが発生する。このような分光感度特性の違いによる画素値のばらつきを除外するため、同じ分光感度特性を有する画素群から標本を取るようにする。すなわち平坦判定部１１５は、複数の撮像用画素のうち補正対象画素の画素値と分光感度特性が異なる画素の画素値を用いることなく、評価値を算出することが好ましい。本実施例では、補正対象画素がＧ画素位置に存在するため、領域中のＧ画素群を標本とする。また、クロストークに起因した画素値のばらつきを除外するため、補正対象画素を標本として用いないようにする。すなわち平坦判定部１１５は、複数の撮像用画素のうち補正対象画素の画素値を用いることなく、評価値を算出することが好ましい。また、平坦判定部１１５は、焦点検出用画素（機能画素）の画素値を用いることなく、評価値を算出することが好ましい。従って、本実施例では、Ｇ画素Ｇ１〜Ｇ２０を標本として用いる。標本となるＧ画素Ｇ１〜Ｇ２０は、図７中に斜線で示される。

図７の領域（Ｇ画素Ｇ１〜Ｇ２０）における分散値Ｇσ^２は、以下の式（４）、（５）を用いて求められる。

式（４）は、標本となる画素群の加算平均値ＧＡｖｅを算出する式である。式（５）は、分散値Ｇσ^２を算出する式である。本実施例において、式（５）により算出された分散値Ｇσ^２は、平坦判定のための評価値として用いられる。

また、平坦判定の条件式は、以下の式（６）のように表される。

式（６）において、ＴＨＲＥＳＨＯＬＤ＿Ｈは、カメラ制御部１０７に予め記憶された平坦判定用の閾値である。分散値Ｇσ^２が閾値ＴＨＲＥＳＨＯＬＤ＿Ｈよりも小さい場合、現在の領域（対象領域）は平坦であると判定される。一方、分散値Ｇσ^２が閾値ＴＨＲＥＳＨＯＬＤ＿Ｈ以上である場合、現在の領域は平坦ではないと判定される。なお、本実施例で説明した方法を用いて平坦判定を行う場合、注目領域が飽和している場合でも平坦であると判定されてしまう。このため、平坦判定の出力前に飽和判定処理を設けることが好ましい。すなわち平坦判定部１１５は、所定領域（対象領域）に含まれる撮像用画素の画素値が飽和している場合、この領域は平坦でないと判定することが好ましい。

次に、平坦判定部１１５により検出された画素値の変化の少ない領域において、補正しきれなかったクロストーク成分を適切に補正するため、補正データ算出部１１６により補正用のデータを算出する。以下、補正データ算出部１１６の動作について説明する。

補正データ算出部１１６は、平坦領域を用いてクロストーク補正処理の補正データを算出する回路である。平坦判定部１１５で平坦領域であると判定された領域において、補正対象画素Ｇの理想的な画素値は、同領域中のクロストークの影響を受けていないＧ画素とほぼ同じ画素値であると推定できる。本実施例では、式（４）を用いて算出したクロストークの影響を受けていないＧ画素群の加算平均値ＧＡｖｅを、補正対象画素Ｇの理想的な画素値ＰＧとして用いる（ＰＧ＝ＧＡｖｅ）。

ＰＧは、クロストーク補正処理の理想的な出力値であるとも言える。従って、以下の式（７）で表されるように、式（２）を用いて理想的なクロストーク補正処理結果を出力する式が定義される。

更に式（７）を変形し、補正対象画素Ｇの理想的な画素値ＰＧを算出するための理想的な係数ＰＣＯＥＦを求める式（８）を導くことができる。

補正データ算出部１１６は、平坦領域中の補正対象画素に対して式（８）を適用し、それぞれの補正対象画素に対して理想的な係数ＰＣＯＥＦを算出する。理想的な係数ＰＣＯＥＦを、それぞれの補正対象画素におけるクロストーク補正処理の係数として利用することにより、不自然なパターンが無くなり、見た目の画質劣化を低減させることができる。また、使用する係数自体を修正することにより、次フレーム以降でも有効な補正値を得ることができる。このように、平坦判定部１１５および補正データ算出部１１６により、画素値変化の少ない領域中の補正対象画素に対する理想係数算出方法を行うことができる。

しかし、前述の方法で算出した画素値変化の少ない領域中の理想的な係数は、補正対象画素位置に領域中の他の画素値と著しく画素値の異なる点（特徴点）が発生している場合、誤った値を取ってしまう。これは、補正対象画素の周囲の領域が平坦である場合には補正対象画素位置も平坦であるという前提に基づいて、理想的な画素値および理想的な係数を算出しているためである。従って、補正対象画素位置に特徴点が発生している場合には、補正データ算出部１１６において算出された理想的な係数を適用しない方が好ましい。

そこで、平坦判定部１１５により所定領域（対象領域）が平坦であると判定された場合、特徴点判定部１１７は、補正対象画素の位置に特徴点が存在するか否かを判定する。以下、特徴点判定部１１７の動作について説明する。特徴点判定部１１７は、以下の式（９）を用いて、補正対象画素の位置が特徴点であるか否かを判定する。

式（９）において、Ｇ´はクロストーク補正部１１３において算出されたクロストーク補正後の補正対象画素値、ＰＧは理想的なクロストーク補正処理後の補正対象画素値である。また、ＴＨＲＥＳＨＯＬＤ＿Ｔは、メモリ１０６に予め記憶された特徴点判定用の閾値である。ＰＧは、標本として用いたＧ画素群の平均値と等価であることから、補正対象画素のクロストーク補正により算出された画素値が、周囲に存在するＧ画素の平均値とどの程度乖離しているかを示している。式（９）が満たされる場合、補正対象画素値（補正対象画素の位置）が特徴点ではあると判定される。

次に、図８乃至図１１を参照して、本実施例における撮像処理（画像処理）の一連の流れについて説明する。図８は、本実施例における撮像装置１００により行われる撮像処理（画像処理装置により行われる画像処理）のフローチャートである。図８の各ステップは、例えば、カメラ制御部１０７の指令に基づいて実行される。まずステップＳ８０１において、撮像装置１００は、電源がＯＮになると撮像処理を開始する。続いてステップＳ８０２において、画素補間部１１２は、焦点検出用画素（機能画素）の補間処理を行う。

ここで、図９を参照して、焦点検出用画素の補間処理の一連の流れについて説明する。図９は、焦点検出用画素の補間処理のフローチャートである。図９の各ステップは、主に画素補間部１１２により実行される。まずステップＳ９０１において、焦点検出用画素の補間処理を開始する。そしてステップＳ９０２において、焦点検出用画素の画素値をメモリ１０６に記憶する。続いてステップＳ９０３において、焦点検出用画素がベイヤー配列においてＲ画素に対応する位置にあるか否かを判定する。Ｒ画素に対応する位置に焦点検出用画素が配置されている場合、ステップＳ９０４へ進む。一方、Ｒ画素に対応しない位置に焦点検出用画素が配置されている場合、ステップＳ９０５へ進む。

ステップＳ９０４において、画素補間部１１２は、焦点検出用画素の周囲に存在する８つのＲ画素（Ｒ画素群）を用いて補間値ＡＦ´を算出する。一方、ステップＳ９０５において、画素補間部１１２は、焦点検出用画素の周囲に存在する８つのＢ画素（Ｂ画素群）を用いて補間値ＡＦ´を算出する。ステップＳ９０４およびステップＳ９０５における補間値の算出式は、式（１）に示されるとおりである。続いてステップＳ９０６において、着目している焦点検出用画素の画素値は、ステップＳ９０４またはステップＳ９０５で算出された焦点検出用画素の補間値ＡＦ´で上書きされる（更新される）。そしてステップＳ９０７において、焦点検出用画素の補間処理は終了する。

図８のステップＳ８０２にて焦点検出用画素の補間処理を実施した後、ステップＳ８０３において、クロストーク補正部１１３は、クロストーク補正処理を行う。ここで、図１０を参照して、クロストーク補正処理の一連の流れについて説明する。図１０は、クロストーク補正処理のフローチャートである。図１０の各ステップは、主にクロストーク補正部１１３により実行される。

まずステップＳ１００１において、クロストーク補正部１１３はクロストーク補正処理を開始する。そしてステップＳ１００２において、着目している補正対象画素に応じたクロストーク発生量を決定する条件ＰＡＲＡＭが取得される。次にステップＳ１００３において、ステップＳ１００２にて取得された条件ＰＡＲＡＭに応じた係数ＣＯＥＦ（係数データ）を取得し、ステップＳ１００４へ進む。そしてステップＳ１００４において、式（２）を用いてクロストーク補正処理が実施され、補正対象画素の補正後の画素値Ｇ´が算出される。続いてステップＳ１００５において、ステップＳ１００４にて算出された補正後の画素値Ｇ´を補正対象画素位置の画素値に上書きする（更新する）。

次に、図８のステップＳ８０４において、クロストーク補正の修正処理が行われる。ここで、図１１を参照して、クロストーク補正の修正処理における一連の流れについて説明する。図１１は、クロストーク補正の修正処理のフローチャートである。図１１の各ステップは、主にクロストーク修正部１１４により実行される。

まずステップＳ１１０１において、クロストーク修正部１１４は、クロストーク補正の修正処理を開始する。そしてステップＳ１１０２において、式（５）を用いて分散値が算出される。続いてステップＳ１１０３において、式（６）を用いて平坦判定が実施される。ステップＳ１１０３にて対象領域が平坦であると判定された場合、ステップＳ１１０４へ進む。一方、対象領域が平坦ではないと判定された場合、ステップＳ１１０９へ進み、本処理を終了する。このように本実施例では、補正データ算出部１１６は、特徴点が存在しない場合にはクロストーク補正用のデータを更新し、特徴点が存在する場合にはクロストーク補正用のデータを更新しない。ステップＳ１１０４では、式を用いて補正対象画素の理想的な係数ＰＣＯＥＦを算出し、ステップＳ１１０５へ進む。続いてステップＳ１１０５において、式（９）を用いて特徴点判定が実施される。

ステップＳ１１０５において、着目している補正対象画素が特徴点ではないと判定された場合、ステップＳ１１０６へ進む。一方、補正対象画素が特徴点であると判定された場合、ステップＳ１１０９へ進み、本処理を終了する。ステップＳ１１０６では、着目している補正対象画素に対応する条件ＰＡＲＡＭが取得され、ステップＳ１１０７へ進む。そしてステップＳ１１０７において、ステップＳ１１０６にて取得された条件ＰＡＲＡＭを関数ＣＯＥＦ＿ＳＥＬＥＣＴに引数として与え、着目している補正対象画素のクロストーク補正に用いた係数データの格納されているアドレスを得る。更に、格納アドレス先のデータをステップＳ１１０４にて算出された理想的な係数ＰＣＯＥＦを用いて上書きし（更新し）、ステップＳ１１０８へ進む。ステップＳ１１０８において、修正された係数データ（理想的な係数ＰＣＯＥＦ）を用いて、再度クロストーク補正処理が実施される。ステップＳ１１０９はクロストーク補正の修正処理の終了である。そして図８のステップＳ８０５において、撮像処理は終了する。

このような一連の撮像処理によれば、予め全ての特性データを記憶していない場合でも、画像データ中の平坦領域の不自然なパターンを補正することができる。また、一度クロストーク補正の修正が実施された補正対象画素は、次フレーム以降でも補正後の係数データを用いてクロストーク処理を実施するため、補正対象画素が高周波領域に含まれる場合でも有効な結果が得られる。

なお本実施例では、補正対象画素毎にクロストーク補正用係数の上書き処理（更新処理）を行う例を示した。ただし、同じ条件ＰＡＲＡＭで対応付けられる複数の補正対象画素が存在する場合、そのうちの１補正対象画素から算出された係数を用いることができる。または、複数の補正対象画素でそれぞれ算出された係数の加算平均値またはメディアン値を用いてもよい。また、時間軸方向に同じ補正対象画素の複数のクロストーク補正用係数を有し、時間軸方向の係数データの加算平均値を用いてもよい。

本実施例において、クロストーク補正用のデータは、撮像素子１０４の補正対象画素の位置に基づいたデータ、機能画素と補正対象画素の相対的な位置関係に基づいたデータ、または、撮影時の開口Ｆ値に基づいたデータである。また、クロストーク補正用のデータは、機能画素の画素値と機能画素の補間画素値との差分符号に基づいたデータ、機能画素の開口形状に応じたデータ、または、撮像用画素の位置に応じたデータである。

次に、本発明の実施例２における撮像装置（画像処理装置）について説明する。本実施例の撮像装置は、平坦判定部１１５が標準偏差を評価値として平坦判定を行う点で、分散を用いて平坦判定を行う実施例１の構成と異なる。他の構成は実施例１と同様であるため、それらの説明は省略する。

本実施例において、平坦判定部１１５は、焦点検出用画素を中心とした一部の領域（任意の領域）の標準偏差値を算出し、その領域が平坦であるか否かを判定する回路である。一般的な標準偏差の公式は、以下の式（１０）のように表される。

式（１０）において、σは標準偏差値、ｎは標本数、Ｘｉは着目している標本の値、ＸＡｖｅは全標本の値の加算平均値である。

ここで、図７を参照して、焦点検出画素ＡＦを中心とした７×７画素の領域の平坦判定を行う例を示す。図７において、Ｇ１〜Ｇ２０はＧ画素、Ｒ１〜Ｒ１６はＲ画素、Ｂ１〜Ｂ８はＢ画素、ＧＨ１〜ＧＨ４は補正対象画素、ＡＦは焦点検出用画素をそれぞれ示している。本実施例において、平坦判定に用いられる標本は、実施例１と同様の画素とする。また、標本の決定方法については、実施例１で既に説明しているため省略する。

標本となる画素Ｇ１〜Ｇ２０は、図７中に斜線で示される。図７の領斜線領域における標準偏差値Ｇσは、以下の式（１１）、（１２）を用いて求められる。

式（１１）は、画素群の加算平均値ＧＡｖｅを算出する式である。式（１２）は、標準偏差値Ｇσを算出する式である。式（１２）により算出された標準偏差値σは、平坦判定のための評価値として用いられる。

次に、平坦判定の条件式は、以下の式（１３）のように表される。

式（１３）において、ＴＨＲＥＳＨＯＬＤ＿Ｈはカメラ制御部１０７に予め記憶された平坦判定用の閾値である。標準偏差値Ｇσが閾値ＴＨＲＥＳＨＯＬＤ＿Ｈよりも小さい場合、現在の領域は平坦であると判定される。一方、標準偏差値Ｇσが閾値ＴＨＲＥＳＨＯＬＤ＿Ｈ以上である場合、現在の領域は平坦ではないと判定される。

なお、実施例１では分散を、本実施例では標準偏差を用いて焦点検出用画素周辺の画素の平坦判定を実施する例を示したが、公知の平坦領域検出の技術を用いて焦点検出用画素周辺の画素の平坦判定を実施してもよい。

次に、本発明の実施例３における撮像装置（画像処理装置）について説明する。実施例１ではクロストーク補正用の関数に用いる理想的な係数を算出し、以降のクロストーク補正に用いる例を示した。一方、本実施例では、クロストーク補正用の関数の出力結果を更に補正するようなクロストーク補正処理について説明する。

図１２は、本実施例における撮像装置１２００の構成を示すブロック図である。図１２において、１２０１〜１２１８は、図１中の１０１〜１１８にそれぞれ対応している。１２１９は、撮像装置１２００における第二のクロストーク補正部である。なお本実施例において、便宜上、クロストーク補正部１２１３を第一のクロストーク補正部と呼ぶ。以下、補正データ算出部１２１６の動作について説明する。

実施例１では式を用いて理想的な係数ＰＣＯＥＦを算出するが、本実施例では以下の式（１４）、（１５）を用いてクロストーク補正の出力結果を補正するための新たな係数を算出する。第一のクロストーク補正部１２１３の出力結果を画素値ＰＧに補正するための係数ＮｅｗＣＯＥＦは、以下の式（１４）のように定義される。

式（１４）を変形して係数ＮｅｗＣＯＥＦを算出する式は、以下の式（１５）ようになる。

式（１４）、（１５）において、Ｇ´は第一のクロストーク補正部１２１３によって算出された補正対象画素の補正後の画素値、ＰＧはクロストーク補正後の理想的な画素値である。Ｇ´およびＰＧの算出方法は、実施例１にて説明したとおりである。

次に、第二のクロストーク補正部１２１９の動作について説明する。第二のクロストーク補正部１２１９は、補正データ算出部１２１６により算出された係数ＮｅｗＣＯＥＦを用いて、以下の式（１６）で表されるように、補正対象画素の更なる補正値Ｇ´２を算出する。

ここで、図１３を参照して、本実施例におけるクロストーク補正処理の修正処理について説明する。図１３は、本実施例におけるクロストーク補正処理の修正処理のフローチャートである。図１３の各ステップは、主にクロストーク修正部１２１４および第二のクロストーク補正部１２１９により実行される。

まずステップＳ１３０１において、クロストーク修正部１２１４は、クロストーク補正の修正処理を開始する。そしてステップＳ１３０２において、式（５）を用いて分散値が算出される。続いてステップＳ１３０３において、式（６）を用いて平坦判定が実施される。ステップＳ１３０３にて対象領域が平坦であると判定された場合、ステップＳ１３０４へ進む。一方、対象領域が平坦ではないと判定された場合、ステップＳ１３０８へ進む。ステップＳ１３０４において、クロストーク修正部１２１４（補正データ算出部１２１６）は、式を用いて補正対象画素を理想的な値に補正するための新たな係数ＮｅｗＣＯＥＦを算出し、ステップＳ１３０５へ進む。

ステップＳ１３０５において、式（９）を用いて特徴点判定が実施される。ステップＳ１３０５において着目している補正対象画素が特徴点ではないと判定された場合、ステップＳ１３０６へ進む。一方、補正対象画素が特徴点であると判定された場合、ステップＳ１３０７へ進む。ステップＳ１３０６において、補正対象画素毎に用意されたメモリ領域に新たな係数ＮｅｗＣＯＥＦを上書きして（更新して）記憶する。そしてステップＳ１３０７において、第一のクロストーク補正処理結果Ｇ´に対して係数ＮｅｗＣＯＥＦが乗算され、第二のクロストーク補正処理結果Ｇ´２が算出される。続いてステップＳ１３０８において、補正対象画素の画素値をＧ´２に置き換える。そしてステップＳ１３０９においてクロストーク補正の修正処理は終了する。

実施例１乃至３によれば、機能画素の近傍に配置された撮像用画素に対するクロストークを簡易かつ高精度に補正可能な撮像装置および画像処理装置を提供することができる。

次に、本発明の実施例４における撮像装置（画像処理装置）について説明する。本実施例の撮像装置は、焦点検出画素の近傍に配置された画素に対するクロストーク補正を行う。図１４は、本実施例における撮像装置１４００の構成を示すブロック図である。図１４に示される撮像装置１４００は、レンズ一体式のいわゆるコンパクトデジタルスチルカメラやムービーカメラであってもよいし、レンズ交換式のデジタル一眼レフレックス式カメラであってもよい。または、撮像装置１４００は、レンズ交換式ではあるが、レフレックスミラーやフォーカシングスクリーンなどを有しておらず、代わりに電子ビューファインダー装置（ＥＶＦ）やライブビュー画像を表示するための表示装置を有するカメラであってもよい。

本実施例では、撮像装置１４００は交換レンズ１４０１を撮像装置ボディ１４０３に装着し、電子ビューファインダー（ＥＶＦ）画像を観察しながら撮影をするタイプのデジタルスチルカメラであるものとして説明する。ただし本実施例は、撮像装置ボディとレンズとが一体的に構成された撮像装置にも適用可能である。なお、本実施例の撮像装置１４００は、画像処理装置（例えば、メモリ１４１５、クロストーク補正部１４２２、ずれ量算出部１４２４、および、関数修正部１４２５）を備えて構成される。

図１４において、撮像装置１４００は、交換レンズ１４０１と撮像装置ボディ１４０３とを備えて構成される。交換レンズ１４０１は、マウント部１４０２を介して撮像装置ボディ１４０３に装着される。交換レンズ１４０１は、レンズ１４０４、絞り１４０５、ズーミングレンズ１４０６、フォーカシングレンズ１４０７、レンズ制御部１４０８、不図示のピントリング、ズームリングなどにより構成される。レンズ制御部１４０８は、後述する絞り１４０５、ズーミングレンズ１４０６、フォーカシングレンズ１４０７などの駆動を制御するとともに、交換レンズ１４０１に構成されるユニットの状態を検出する。また、レンズ制御部１４０８は、後述するカメラ制御部１４１２と通信し、検出されたレンズ情報の送信及びカメラ情報、ＡＦ信号の受信を行うことが可能である。

１４０４はレンズであり、撮影対象空間から光が入射する。１４０５は絞りであり、複数枚の羽根で構成される。絞り１４０５は、レンズ制御部１４０８により駆動され、開口形状を変化させて入射する光量を調節する。ズーミングレンズ１４０６は、複数のレンズで構成され、レンズ制御部１４０８による駆動制御または撮影者が手動で交換レンズ１４０１のズームリングを調節することでズーミングレンズ１４０６を前後に駆動し、焦点距離を調節することができる。フォーカシングレンズ１４０７は、レンズ制御部１４０８による駆動制御または撮影者が手動で交換レンズ１４０１に構成されるピントリングを調節することにより、フォーカシングレンズ１４０７を前後に駆動し、合焦位置を調整することができる。

撮像装置ボディ１４０３は、撮像素子１４０９、カメラ制御部１４１２、表示部１４１３などを備えている。撮像素子１４０９は、撮像用画素（機能画素）が２次元に配置されており、配列の一部に焦点検出用画素を備えている。Ａ／Ｄ変換部１４１０は、撮像素子１４０９に入射した光束を電気信号に変換する。信号処理部１４１１は、各種信号処理を行う回路である。交換レンズ１４０１を通過した光束は、撮像装置ボディ１４０３の内部へ導かれ、撮像素子１４０９の受光面上に結像し、被写体像（光学像）を形成する。被写体像は、Ａ／Ｄ変換部１４１０で光電変換された後、信号処理部１４１１へ送られ、各種信号処理が施される。

１４１２は、カメラ制御部であり、撮像装置ボディ１４０３のシステム全体の動作を制御するとともに、レンズ制御部１４０８との通信によりレンズ情報の受信およびカメラ情報、オートフォーカス信号（ＡＦ信号）の送信が可能である。１４１３は、ＴＦＴ液晶などで構成される表示部である。撮像素子１４０９から取り出した画像信号をリアルタイムで信号処理し、表示部１４１３に逐次表示することにより、電子ビューファインダー（ＥＶＦ）機能を実現することが可能である。１４１４は、操作部であり、ユーザがパラメータの変更や撮影モードの切り替えを行うことが可能なボタン群である。

１４１５は、各種データを記憶するメモリ（記憶部）である。メモリ１４１５には、焦点検出用画素の位置データ、シェーディング補正用のシェーディング特性データ、欠陥画素位置データ、クロストーク補正用関数などが予め記憶されている。後述のように、メモリ１４１５には、クロストーク補正用関数の修正のため、撮像素子１４０９から得られた時間軸の互いに異なる第一の画像および第二の画像（複数の画像）を記憶可能である。１４１６は、撮影した画像を記録可能なＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ（登録商標））カードやＳＤカードなどの記録メディアである。

１４１７は焦点検出処理部である。焦点検出処理部１４１７は、焦点検出用画像生成部１４１８、相関演算部１４１９、および、焦点位置決定部１４２０を備えて構成される。焦点検出用画像生成部１４１８は、焦点検出用の一対の像信号を生成する。相関演算部１４１９は、焦点検出用画像生成部１４１８により生成された一対の像信号に対して相関演算を実施する。焦点位置決定部１４２０は、相関演算部１４１９の出力から合焦位置を判定する。焦点検出用画像生成部１４１８は、撮像素子１４０９によって取得された焦点検出用画素の出力値に基づいて、位相のずれた一対の像信号を生成する。焦点検出用画像生成部１４１８により生成された一対の像信号は、相関演算部１４１９に入力され、像信号をシフトしながら相関量を算出し、演算結果を焦点位置決定部１４２０に出力する。焦点位置決定部１４２０は、相関演算部１４１９から出力された相関量に基づいて合焦位置を判定し、カメラ制御部１４１２を介してレンズ制御部１４０８にＡＦ信号を送信する。

１４２１は、欠陥画素補正部であり、予めメモリ１４１５に記憶されている欠陥画素位置情報と、欠陥画素の近傍の画素値に基づいて欠陥画素位置の画素値を補間により生成する。１４２２は、クロストーク補正部である。クロストーク補正部１４２２は、焦点検出用画素（機能画素）の近傍に配置された撮像用画素に対して、クロストーク補正用関数を用いてクロストーク補正を行う。本実施例において、クロストーク補正用関数は、予めメモリ１４１５に記憶されている撮影条件に応じた関数である。

１４２３は、シェーディング補正部である。シェーディング補正部１４２３は、予めメモリ１４１５に記憶されたシェーディング特性データと撮像素子１４０９によって取得された撮影用画素の画素値に基づいてシェーディングを補正する。１４２４は、ずれ量算出部である。ずれ量算出部１４２４は、メモリ１４１５に記憶されている一対の画像（第一の画像、第二の画像）をシフトしながら相関演算を行い、相関が最も高くなるような位置を算出する。すなわち、ずれ量算出部１４２４は、第一の画像および第二の画像の間のずれ量を算出して第一の画像および第二の画像の位置合わせを行う。

１４２５は、関数修正部である。関数修正部１４２５は、ずれ量算出部１４２４による位置合わせの結果に基づいてクロストーク補正関数を修正する。すなわち関数修正部１４２５は、ずれ量算出部１４２４による位置合わせで得られた第一の画像および第二の画像の対応画素の画素値に基づいて、クロストーク補正用関数を修正する。対応画素とは、後述のように、ずれ量算出部１４２４による位置合わせの結果、互いに重なり合う画素である。

次に、図１５乃至１７を参照して、撮像素子１４０９の構成について説明する。図１５は、撮像素子１４０９の画素配置図である。１５００は、撮像素子１４０９上の一部の領域であり、１５０１に示される白塗りのセルは撮影用画素を表し、１５０２に示される黒塗りのセルは焦点検出用画素を表す。撮影用画素および焦点検出用画素（機能画素）は、それぞれ画素単位で一対のマイクロレンズと光電変換部を有している。

撮影用画素１５０１は、それぞれ、赤（Ｒ），緑（Ｇ），青（Ｂ）のいずれかの波長の光のみを透過するカラーフィルタを備えており、カラーフィルタを有する撮影用画素が撮像素子１４０９上にベイヤー状に配置されている。以降、Ｒ、Ｇ、Ｂのカラーフィルタを有する撮像用画素を、それぞれ、赤画素、緑画素、青画素という。焦点検出用画素は、撮像素子１４０９上のベイヤー状に配置された撮影用画素群中の赤画素または青画素に対応する位置に一定の規則で離散的に配置されている。ライン１５０３、１５０５上の焦点検出用画素は右方向に、ライン１５０４、１５０６上の焦点検出用画素は左方向にそれぞれ開口部が設けられており、それぞれレンズ１４０４の特定の領域を通過した光束のみを受光する。

図１６は、撮影用画素の断面図である。１６０１は、マイクロレンズであり、入射された光束を光電変換部１６０４へ集光する。１６０２は、カラーフィルタ層であり、赤、緑、青のいずれかの波長の光のみを透過する分光感度特性を有するフィルタが配置されている。１６０３は、アルミなどで構成される配線層である。１６０４は、受光した光束を光電変換する光電変換部である。

図１７は、焦点検出用画素の断面図である。１７０１は、マイクロレンズであり、入射された光束を光電変換部１７０４へ集光する。また、焦点検出用画素のマイクロレンズ１７０１は、撮影用画素のマイクロレンズ１６０１に比べて曲率が大きくなるように設計されている。１７０２は、カラーフィルタ層であり、透明なカラーフィルタを構成している。１７０３は、配線層であり、配線層１７０３にはマイクロレンズ１７０１から入射した光束の一部を遮光するような配線層が形成され、レンズ１４０４の一部の領域を通過した光束のみが光電変換部１７０４に受光されるように設計されている。１７０４は、受光した光束を光電変換する光電変換部である。

次に、図１８を参照して、欠陥画素補正部１４２１における欠陥画素補正について説明する。欠陥画素補正部１４２１は、予め検出された焦点検出用画素や傷によって使用できない画素などの撮影用の信号を出力することができない画素（欠陥画素）の位置データに基づいて、欠陥画素の周囲の画素値を用いて補間処理を行う。図１８に示される５×５のセルは、撮像素子１４０９の一領域を拡大した図である。それぞれのセルは、１つの画素に対応しており、Ｒ、Ｇ、Ｂはそれぞれ赤画素、緑画素、青画素を示している。１８０１は、ベイヤー配列中の赤画素位置に存在する欠陥画素である。欠陥画素１８０１の補間画素値は、欠陥画素１８０１の近傍の赤画素１８０２〜１８０９の画素値の加算平均により求められる。なお、実施例で使用している補間処理方法は一例であり、実際には公知の補間技術を用いて欠陥画素の補間画素値を求めてもよい。

次に、図１９を参照して、クロストーク補正について説明する。なお本実施例では、クロストークは焦点検出用画素の上下左右に配置された４画素に限定して発生するものとして説明する。図１９は、クロストーク補正の対象画素を説明する図である。図１９（Ａ）、図１９（Ｂ）は、それぞれ、撮像素子１４０９上のある領域を拡大した図であり、焦点検出用画素１９００、１９０５を中心とした５×５画素の領域を示している。Ｒ、Ｇ、Ｂはそれぞれ赤画素、緑画素、青画素を示している。焦点検出用画素１９００は、画素の右側に開口部が設けられた焦点検出用画素である。焦点検出用画素１９０５は、画素の左側に開口部が設けられた焦点検出用画素である。

１９０１〜１９０４は、焦点検出用画素１９００に隣接した撮像用画素であり、焦点検出用画素１９００に起因するクロストークの影響を受けている。１９０６〜１９０９は、焦点検出用画素１９０５に隣接している撮像用画素であり、焦点検出用画素１９０３に起因するクロストークの影響を受けている。後述するクロストーク補正処理は、画素１９０１〜１９０４および１９０６〜１９０９に示すような焦点検出用画素の上下左右に隣接する画素（補正対象画素）に対して実施される。また、クロストークは、焦点検出用画素の形状や入射光の角度等の様々な要因によって発生比率が変化するため、補正対象画素１９０１〜１９０４および１９０６〜１９０９は、それぞれ異なる比率でクロストークの影響を受けている。

次に、図２０を参照して、クロストーク補正部１４２２におけるクロストーク補正処理について説明する。図２０において、２０００は、撮像素子１４０９の一部の領域を拡大した図である。黒塗りセル２００１は、横位置Ｘ列目、縦位置Ｙ行目に位置する焦点検出用画素Ｎであり、焦点検出用画素の画素値はＡＦ（Ｘ，Ｙ）で表される。網線セル２００２〜２００５は、補正対象画素であり、クロストーク補正前の補正対象画素の画素値は、それぞれＧ（Ｘ，Ｙ−１）、Ｇ（Ｘ＋１，Ｙ）、Ｇ（Ｘ，Ｙ＋１）、Ｇ（Ｘ−１，Ｙ）で表される。

まず、クロストークを補正する前に、焦点検出用画素２００１の画素値Ｎ（Ｘ，Ｙ）は、メモリ１４１５に記憶され、その後、欠陥画素補正部１４２１により焦点検出用画素２００１の補間画素値ＡＦ’（Ｘ，Ｙ）を得る。次に、式２に示したクロストーク補正式を用いて、補正対象画素２００２〜２００５に対してクロストーク補正を行う。これにより、補正対象画素２００２〜２００５からは、クロストーク補正後の画素値Ｇ’（Ｘ，Ｙ−１）、Ｇ’（Ｘ＋１，Ｙ）、Ｇ’（Ｘ，Ｙ＋１）、Ｇ’（Ｘ−１，Ｙ）がそれぞれ得られる。

クロストーク補正式は、以下の式（１７）で表される。

Ｇ’＝Ｇ＋（ＡＦ−ＡＦ’）×ＣＯＥＦ …（１７）
式（１７）において、Ｇは補正画素のクロストーク補正前画素値、Ｇ’は補正画素のクロストーク補正後画素値である。また、ＡＦは補正画素に隣接する焦点検出用画素の画素値、ＡＦ’は補正画素に隣接する焦点検出用画素位置の補間画素値である。また、ＣＯＥＦは、クロストーク補正係数データを格納する変数（係数）である。

係数ＣＯＥＦには、予め用意された関数ＣＯＥＦ＿ＳＥＬＥＣＴによって出力されるクロストーク補正係数が格納される。関数ＣＯＥＦ＿ＳＥＬＥＣＴは、Ｆ値や補正画素位置等の条件（ＰＡＲＡＭ）を引数に与えると、条件ＰＡＲＡＭに応じたクロストーク補正係数をメモリ１４１５１から読み出して出力する関数である。本実施例において、条件ＰＡＲＡＭは、開口Ｆ値、開口方向、焦点検出用画素に対する補正対象画素の位置、または、焦点検出用画素の差分値の符号により決定される。

ここで、焦点検出用画素の補間値は、焦点検出用画素位置が撮像用画素と同じ構成である場合の推定光量として扱われる。すなわち、焦点検出量画素の受光量と推定光量の差分に対して、条件ＰＡＲＡＭに対応付けられた係数ＣＯＥＦを乗算することで補正量を算出し、補正対象画素の画素値に加算している。

前述したクロストーク補正式により、補正対象画素２００２〜２００５のクロストーク補正後の画素値は、それぞれ以下の式（１８−１）〜（１８−４）で表される。なお、式（１７）で示される変数ＣＯＥＦに格納されている係数は、２００２〜２００５で異なることを明確にするため、以下の式（１８−１）〜（１８−４）では、係数ＣＯＥＦはＣＯＥＦ２００２〜ＣＯＥＦ２００５として記載される。

Ｇ’（Ｘ，Ｙ−１）＝Ｇ（Ｘ，Ｙ−１）＋（ＡＦ（Ｘ，Ｙ）−ＡＦ’（Ｘ，Ｙ））＊ＣＯＥＦ２００２ …（１８−１）
Ｇ’（Ｘ＋１，Ｙ）＝Ｇ（Ｘ＋１，Ｙ）＋（ＡＦ（Ｘ，Ｙ）−ＡＦ’（Ｘ，Ｙ））＊ＣＯＥＦ２００３ …（１８−２）
Ｇ’（Ｘ，Ｙ＋１）＝Ｇ（Ｘ，Ｙ＋１）＋（ＡＦ（Ｘ，Ｙ）−ＡＦ’（Ｘ，Ｙ））＊ＣＯＥＦ２００４ …（１８−３）
Ｇ’（Ｘ−１，Ｙ）＝Ｇ（Ｘ−１，Ｙ）＋（ＡＦ（Ｘ，Ｙ）−ＡＦ’（Ｘ，Ｙ））＊ＣＯＥＦ２００５ …（１８−４）
本実施例では、焦点検出用画素の受光量と補間によって推定された画素の受光量の差分値に対して、特定の係数ＣＯＥＦを乗算するという線形的な特性を有するクロストーク補正式を示している。しかしながら、実際のクロストークは、本実施例中の補正式で参照した以外の様々な要因（例えば補正画素からのクロストークの影響、光源の色温度、画素の固体製造誤差など）により、非線形的な特性を有する。従って、クロストーク補正に用いるクロストーク補正式は、線形的な特性のクロストーク補正式に限定されるものではなく、非線形的な特性を有するものであってもよい。

次に、図２１および図２２を参照して、クロストーク補正用関数の修正方法について説明する。図２１は、ずれ量算出部１４２４におけるずれ量算出処理および位置合わせに関する説明図である。図２１において、２１０１は比較フレーム（第二の画像）、２１０２は基準フレーム（第一の画像）である。比較フレーム２１０１および基準フレーム２１０２は、焦点検出用画素を一部に配した撮像素子を用いて時間的に連続して取得された一対のフレーム（一対の画像）である。比較フレーム（第二の画像）は、基準フレーム（第一の画像）に対して、手振れなどにより被写体が所定の量だけずれた状態で撮影されている。

また、基準フレームおよび比較フレームは、それぞれ、欠陥画素補正、クロストーク補正が既に施されている。基準フレームと比較フレームには、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｉｎｔｅｎｓｉｔｙ Ｄｉｆｆｅｒｅｎｃｅ）などの公知のステレオマッチングの手法が用いられる。このような手法により相関の最も高くなる位置までのずれ量が算出され、ずれ量に基づいて位置合わせが行われる。例えば、基準フレームの注目画素の座標を（Ｈ，Ｖ）とし、縦方向のずれ量をＺＶ、横方向のずれ量をＺＨとすると、基準フレームの注目画素に対応する比較フレームの画素の座標は（Ｈ＋ＺＨ，Ｖ＋ＺＶ）で表される。

図２２は、位置合わせ後の領域２１０３の画素配列図である。図２２（Ａ）、（Ｂ）は、それぞれ、基準フレーム、比較フレームの領域２１０３における画素の分布を示している。黒塗りセル（画素２２０１）は、焦点検出用画素であり、予め補間処理によって画素値が補間されている。斜線塗りセル（画素２２０２〜２２０５）は、補正対象画素であり、予めクロストーク補正処理によって画素値が補正されている。画素２２０１〜２２０５以外の白塗りセルは、焦点検出用画素に起因するクロストークの影響を受けていない撮像用画素（通常画素）である。

図２２（Ａ）、（Ｂ）は、ずれ量算出部１４２４の位置合わせにより得られた対応する領域である。これらの領域においては、手振れなどに起因する結像位置の差異によって画素の分布が異なる。ここで、以下に示す２つの条件の両方を満たしている場合、焦点検出用画素に起因するクロストークの影響を受けていない画素とクロストーク補正後の画素とが対応する、すなわちこれらの画素は対応画素であると判定される。このため、クロストーク補正部１４２２における補正結果を評価することが可能である。

（条件１）第二の画像の補正対象画素が第一の画像の通常画素と対応している
（条件２）補正対象画素と対応する画素のカラーフィルタの特性が同じである
例えば、基準フレームの補正対象画素２２０２、および、その対応画素である比較フレームの通常画素２２０６が上記条件を満たしている場合、それぞれの画素値を比較し、画素値が同じであればクロストーク補正は正しく実施されていると判定される。一方、画素値が乖離するほど、クロストーク補正には大きな誤差が発生していると判定される。同様に、画素２２０３と画素２２０７、画素２２０４と画素２２０８、画素２２０５と画素２２０９を比較することで、それぞれのクロストーク補正対象画素におけるクロストーク補正の誤差を算出することが可能である。

前述した説明に基づいて、補正対象画素のクロストーク補正結果Ｇ’が対応画素の画素値ＰＧと一致するような理想的な係数ＰＣＯＥＦを算出し、クロストーク補正関数の修正を実施する。まず、式（１７）を、係数ＣＯＥＦを求める式（１９）に変形する。

ＣＯＥＦ＝（Ｇ’−Ｇ）／（ＡＦ−ＡＦ’） …（１９）
次に、式（１９）に対して、Ｇ’をクロストーク補正後の目標画素値ＰＧと置き換えることにより、理想的な係数ＰＣＯＥＦを求める式（２０）を導くことができる。

ＰＣＯＥＦ＝（ＰＧ−Ｇ）／（ＡＦ−ＡＦ’） …（２０）
式（２０）により求められた理想的な係数ＰＣＯＥＦは、注目している補正対象画素の補正時に使用された条件ＰＡＲＡＭと対応するクロストーク補正係数に反映される。また、同一の条件ＰＡＲＡＭを用いてクロストーク補正される補正画素が同一基板上に多数存在する場合、特定の一補正画素で算出された理想的な係数ＰＣＯＥＦを条件ＰＡＲＡＭに対応するクロストーク補正係数に反映する。または、同一の条件ＰＡＲＡＭを用いた補正画素でそれぞれ算出される理想的な係数ＰＣＯＥＦの加算平均値を、条件ＰＡＲＡＭに対応するクロストーク補正係数に反映してもよい。

本実施例において、関数修正部１４２５は、クロストーク補正用関数における既存の係数を修正する。ただし本実施例はこれに限定されるものではない。既存のクロストーク関数内の係数ＣＯＥＦを修正する代わりに、係数ＣＯＥＦを修正する別の係数（例えばＣＯＥＦ２、ＣＯＥＦ３）を設け、係数ＣＯＥＦの記憶領域とは別の記憶領域に記憶してもよい。すなわち関数修正部１４２５は、クロストーク補正用関数に新たな係数を追加する。そして、クロストーク補正時に既存のクロストーク関数とは別に関数を生成して補正画素の画素値を求める。

また、本実施例では、位置合わせにより対応し合う画素（対応画素）が補正結果の評価に有効であるか否かの判断として、補正画素と対応する画素のカラーフィルタの特性が同じであるという条件を示している。すなわち関数修正部１４２５は、ずれ量算出部１４２４による位置合わせの結果、対応画素のカラーフィルタ特性が互いに異なる場合、クロストーク補正用関数を修正しない。

しかし、対応画素のカラーフィルタの特性が異なる場合でも、例えば周囲の通常画素でカラーフィルタの特性が同じ画素の画素値を使用する、または、それぞれのカラーフィルタの特性に基づいて演算により画素値を求めてもよい。これにより、補正結果を評価するための画素値を疑似的に生成することが可能であり、条件２が成立しない場合でも疑似的な評価値を算出し、代用することが可能である。すなわち関数修正部１４２５は、ずれ量算出部１４２４による位置合わせの結果、対応画素のカラーフィルタ特性が互いに異なる場合、疑似的に評価用の画素値を推定してクロストーク補正用関数を修正する。

次に、図２３を参照して、本実施例におけるクロストーク補正用関数の修正処理の一連の流れについて説明する。図２３は、撮像装置１４００における撮像処理を示すフローチャートである。図２３に示されるフローチャートは、１フレーム分の撮像処理を示しており、撮像装置１４００は電源がＯＮしてから電源がＯＦＦするまで、撮像処理フローを繰り返し実施する。なお、図２３の各ステップは、カメラ制御部２４１２の指令に基づいて実行される。

まずステップＳ２３００において、撮像装置１００の電源がＯＮになると撮像処理が開始する。そしてステップＳ２３０１において、現在のＦ値、各種レンズ位置情報などの撮影パラメータを取得するとともに、撮像素子１４０９から撮影パラメータに準じた画像信号を取得する。次に、ステップＳ２３０２において、ステップＳ２３０１で取得した画像信号と、予めメモリ１４１５に記憶されている欠陥画素位置情報を用いて、欠陥画素補正部１４２１で画像信号の欠陥画素補正を行う。

次にステップＳ２３０３において、予めメモリ１４１５に記憶されている撮影条件に応じたクロストーク補正用関数を用いて、クロストーク補正部１４２２で画像信号のクロストーク補正を行う。次に、ステップＳ２３０４において、メモリ１４１５に記憶されているシェーディング特性データに基づいて、シェーディング補正部１４２３で画像信号のシェーディング補正を行う。

続いてステップＳ２３０５において、メモリ１４１５に基準フレーム（第一の画像）が記憶されているか否かを判断する。基準フレームは、１フレーム分の撮影処理が終わった時点で更新されるフレーム画像信号である。ステップＳ２３０５において、基準フレームは、メモリ１４１５に記憶されている画像（第一の画像）である。そして、現在撮影中の画像は第二の画像である。このように、電源ＯＮ後、最初のフレームの撮像処理において、基準フレーム（第一の画像）がないと判定される。

ステップＳ２３０５にて基準フレームがあると判定された場合、ステップＳ２３０６へ進む。一方、基準フレームがないと判定された場合、ずれ量を算出することができないと判断して、ステップＳ２３１２へ進む。すなわち関数修正部１４２５は、第二の画像の撮影中に第一の画像がメモリ１４１５に記憶されていない場合、第二の画像に対するクロストーク補正用関数を修正しない。

ステップＳ２３０６では、基準フレームの撮影条件と現在の撮影条件が同じか否かを判断する。撮影条件が同じであれば、ステップＳ２３０７へ進む。一方、撮影条件が異なる場合には、ずれ量を算出することができないと判断して、ステップＳ２３１２へ進む。すなわち関数修正部１４２５は、第一の画像および第二の画像の撮影条件が互いに異なる場合、クロストーク補正用関数を修正しない。

続いてステップＳ２３０７において、基準フレームと現在のフレームの画素値の分布を比較し、相関度を算出する。ステップＳ２３０８では、ステップＳ２３０７で算出された相関度が、予め決めた閾値以上であるか否かを判定する。予め決めた閾値よりも相関度が高いと判断された場合、ステップＳ２３０９へ進み、ずれ量算出部１４２４は、ずれ量算出処理を実施する。一方、予め決めた閾値よりも相関度が低いと判断された場合、ずれ量を算出できないと判断し、ステップＳ２３１２へ進む。すなわち関数修正部１４２５は、第一の画像と第二の画像との相関量が所定の閾値に満たない場合、クロストーク補正用関数を修正しない。

ステップＳ２３０９において、ずれ量算出部１４２４は、ずれ量算出処理を行い、予めメモリ１４１５に記憶されている基準フレーム（第一の画像）と現在のフレーム（第二の画像）との間のずれ量を算出し、位置合わせを実施する。

続いてステップＳ２３１０において、ステップＳ２３０９における位置合わせの結果、次の２つの条件の両方を満たしているか否かを判断する。

（条件１）第二の画像の補正対象画素が第一の画像の通常画素と対応している
（条件２）補正対象画素と対応する画素のカラーフィルタの特性が同じである
これらの条件を満たしている場合、ステップＳ２３１１へ進む。一方、いずれかの条件を満たしていない場合、クロストーク補正用関数を修正できないと判断して、ステップＳ２３１２へ進む。すなわち関数修正部１４２５は、ずれ量算出部１４２４による位置合わせの結果、対応画素が第一の画像の通常画素と第二の画像の補正対象画素でない場合、クロストーク補正用関数を修正しない。また関数修正部１４２５は、ずれ量算出部１４２４による位置合わせの結果、対応画素のカラーフィルタ特性が互いに異なる場合、クロストーク補正用関数を修正しない。

ステップＳ２３１１において、関数修正部１４２５は、クロストーク補正用関数を修正する。本実施例において、クロストーク補正用関数は、撮影条件や画素の位置に応じて変化する。続いてステップＳ２３１２において、カメラ制御部１４１２は、基準フレームの更新を行い、現在撮影しているフレーム画像および撮影条件をメモリ１４１５に記憶する。そしてステップＳ２３１３において、本実施例における撮像処理を終了する。

次に、本発明の実施例５における撮像装置（画像処理装置）について説明する。実施例４は、撮像処理中に過去のフレーム画像（第一の画像）と現在のフレーム画像（第二の画像）とを用いてクロストーク補正用関数を修正するように構成されている。しかしながら、修正されたクロストーク補正用関数は、次フレーム以降の補正から適用されるため、現在のフレーム画像を撮影画像として記憶媒体に記憶する場合には最適な補正結果が反映されない場合がある。そこで本実施例では、現在のフレーム画像を記憶媒体に記憶する場合のクロストーク補正およびクロストーク補正用関数の修正について説明する。

図２４は、本実施例における撮像装置２４００の構成を示すブロック図である。撮像装置２４００は、実施例４において説明した図１４の撮像装置１４００に対して、画素値置換部２４２６を付加した構成となっている。図２４の２４００〜２４２５は、図１４の１４００〜１４２５と対応している。本実施例では、実施例３で説明した１４００〜１４２５と対応する２４００〜２４２５については、説明を省略する。画素値置換部２４２６は、ずれ量算出部２４２４で実施された位置合わせにより対応付けられた一対の画素（対応画素）の画素値を置換する回路である。本実施例では、比較フレーム（第二の画像）の補正対象画素の画素値を基準フレーム（第一の画素）の対応画素の画素値で置換する。すなわち画素値置換部２４２６は、第二の画像の画素（対応画素）の画素値を第一の画像の画素（対応画素）の画素値に置換する。

図２５は、本実施例における撮像処理を示すフローチャートである。図２５のフローチャートにおいて、ステップＳ２５００〜Ｓ２５１１、Ｓ２５１３、Ｓ２５１７は、図２３（実施例４）のステップＳ２３００〜Ｓ２３１３とそれぞれ同様である。このため本実施例において、図２３のフローチャートと同様のステップについての説明は省略する。

図２５のステップＳ２５１１において、関数修正部２４２５が撮影条件や画素の位置に応じてクロストーク補正用関数を修正すると、ステップＳ２５１２に進む。そしてステップＳ２５１２において、関数修正部２４２５は、関数修正成功フラグをＯＮにする。関数修正成功フラグは、クロストーク補正関数が修正された場合にＯＮになる変数であり、初期値はＯＦＦである。

ステップＳ２５１３において基準フレームを更新した後、現在撮影しているフレーム画像および撮影条件をメモリ２４１５に記憶する。そしてステップＳ２５１４において、カメラ制御部２４１２は、関数修正成功フラグの状態を判定する。クロストーク補正関数が修正された場合、ずれ量算出部２４２４による位置合わせが成功したと判定し、ステップＳ２５１５へ進む。一方、クロストーク補正関数が修正されていない場合、ステップＳ２５１６へ進む。

そしてステップＳ２５１５において、画素値置換部２４２６は、比較フレーム（第二の画像）の補正対象画素の画素値を、基準フレーム（第一の画像）の対応画素（位置合わせで重なり合った画素）の画素値に置換する。すなわち画素値置換部２４２６は、比較フレームの補正対象画素（クロストークの影響を受けている画素）の画素値を、ずれ量算出部２４２４の位置合わせで重ね合わせられた基準フレームの通常画素（クロストークの影響を受けてない画素）の画素値に置き換える。このような構成により、補正対象画素の画素値は、焦点検出用画素に起因するクロストークの影響を受けていない理想的な画素値（通常画素の画素値）に置換される。このため、クロストーク補正用関数の修正が反映される前であっても、フレーム間（基準フレーム、比較フレーム）で重なり合う領域の補正画素の画質劣化を回避できる。

続いてステップＳ２５１６において、カメラ制御部２４１２は、撮像処理によって取得されたフレーム画像を記憶メディア２４１６に記憶する。そしてステップＳ２５１７において、本実施例の撮像処理は終了する。

実施例４、５によれば、機能画素の近傍に配置された撮像用画素に対するクロストークを簡易かつ高精度に補正可能な撮像装置および画像処理装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記各実施例において、機能画素として焦点検出用画素の場合について説明したが、これに限定されるものではない。各実施例は、例えば、機能画素としてＩＲ画素などの他の種類の機能画素の場合についても適用可能である。

１００ 撮像装置
１０４ 撮像素子
１０６ メモリ
１１２ 画素補間部
１１３ クロストーク補正部
１１５ 平坦判定部
１１６ 補正データ算出部

Claims (30)

1. 複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、
   クロストーク補正用のデータを記憶する記憶部と、
   前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、
   前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行うクロストーク補正部と、
   前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、
   前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを更新する補正データ算出部と、を有することを特徴とする撮像装置。
2. 前記平坦判定部は、前記所定領域における分散値を評価値として算出し、該分散値に基づいて前記平坦判定を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記平坦判定部は、前記所定領域における標準偏差を評価値として算出し、該標準偏差に基づいて前記平坦判定を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記平坦判定部は、前記機能画素の画素値を用いることなく、前記評価値を算出することを特徴とする請求項２または３に記載の撮像装置。
5. 前記平坦判定部は、前記複数の撮像用画素のうち補正対象画素の画素値を用いることなく、前記評価値を算出することを特徴とする請求項２または３に記載の撮像装置。
6. 前記平坦判定部は、前記複数の撮像用画素のうち補正対象画素の画素値と分光感度特性が異なる画素の画素値を用いることなく、前記評価値を算出することを特徴とする請求項２または３に記載の撮像装置。
7. 前記平坦判定部は、前記所定領域に含まれる撮像用画素の画素値が飽和している場合、該所定領域は平坦でないと判定することを特徴とすることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記平坦判定部により前記所定領域が平坦であると判定された場合に特徴点が存在するか否かを判定する特徴点判定部を更に有し、
   前記補正データ算出部は、前記特徴点が存在しない場合には前記クロストーク補正用のデータを更新し、該特徴点が存在する場合には該クロストーク補正用のデータを更新しないことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記機能画素は、焦点検出用画素であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記クロストーク補正用のデータは、前記撮像素子の補正対象画素の位置に基づいたデータであること特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記クロストーク補正用のデータは、前記機能画素と補正対象画素の相対的な位置関係に基づいたデータであること特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
12. 前記クロストーク補正用のデータは、撮影時の開口Ｆ値に基づいたデータであること特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
13. 前記クロストーク補正用のデータは、前記機能画素の画素値と該機能画素の補間画素値との差分符号に基づいたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
14. 前記クロストーク補正用のデータは、前記機能画素の開口形状に応じたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
15. 前記クロストーク補正用のデータは、撮像用画素の位置に応じたデータであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
16. 複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、
    クロストーク補正用のデータを記憶する記憶部と、
    前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、
    前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行う第一のクロストーク補正部と、
    前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、
    前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを新たに算出する補正データ算出部と、
    前記補正データ算出部により新たに算出された前記クロストーク補正用のデータを用いて前記クロストーク補正を行う第二のクロストーク補正部と、を有することを特徴とする撮像装置。
17. 複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子から得られた信号の画像処理を行う画像処理装置であって、
    クロストーク補正用のデータを記憶する記憶部と、
    前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、
    前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行うクロストーク補正部と、
    前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、
    前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを更新する補正データ算出部と、を有することを特徴とする画像処理装置。
18. 複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子から得られた信号の画像処理を行う画像処理装置であって、
    クロストーク補正用のデータを記憶する記憶部と、
    前記複数の撮像用画素の少なくとも一部の撮像用画素の画素値を用いて、前記機能画素の位置における像信号の補間画素値を生成する画素補間部と、
    前記記憶部に記憶された前記クロストーク補正用のデータを用いて、前記機能画素の近傍に配置された撮像用画素に対してクロストーク補正を行う第一のクロストーク補正部と、
    前記複数の撮像用画素のうち所定領域の平坦判定を行う平坦判定部と、
    前記平坦判定部により前記所定領域が平坦であると判定された場合に前記クロストーク補正用のデータを新たに算出する補正データ算出部と、
    前記補正データ算出部により新たに算出された前記クロストーク補正用のデータを用いて前記クロストーク補正を行う第二のクロストーク補正部と、を有することを特徴とする画像処理装置。
19. 複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子と、
    前記撮像素子から得られた時間軸の互いに異なる第一の画像および第二の画像を記憶可能な記憶部と、
    前記機能画素の近傍に配置された撮像用画素に対して、クロストーク補正用関数を用いてクロストーク補正を行うクロストーク補正部と、
    前記第一の画像および前記第二の画像の間のずれ量を算出して該第一の画像および該第二の画像の位置合わせを行うずれ量算出部と、
    前記ずれ量算出部による位置合わせで得られた前記第一の画像および前記第二の画像の対応画素の画素値に基づいて、前記クロストーク補正用関数を修正する関数修正部と、を有することを特徴とする撮像装置。
20. 前記第一の画像は、前記記憶部に記憶されている画像であり、
    前記第二の画像は、撮影中の画像であることを特徴とする請求項１９に記載の撮像装置。
21. 前記関数修正部は、前記第二の画像の撮影中に前記第一の画像が前記記憶部に記憶されていない場合、該第二の画像に対する前記クロストーク補正用関数を修正しないことを特徴とする請求項１９または２０に記載の撮像装置。
22. 前記関数修正部は、前記第一の画像および前記第二の画像の撮影条件が互いに異なる場合、前記クロストーク補正用関数を修正しないことを特徴とする請求項１９乃至２１のいずれか１項に記載の撮像装置。
23. 前記関数修正部は、前記第一の画像と前記第二の画像との相関量が所定の閾値に満たない場合、前記クロストーク補正用関数を修正しないことを特徴とする請求項１９乃至２２のいずれか１項に記載の撮像装置。
24. 前記関数修正部は、前記ずれ量算出部による位置合わせの結果、前記対応画素が前記第一の画像の通常画素と前記第二の画像の補正対象画素でない場合、前記クロストーク補正用関数を修正しないことを特徴とする請求項１９乃至２３のいずれか１項に記載の撮像装置。
25. 前記関数修正部は、前記ずれ量算出部による位置合わせの結果、前記対応画素のカラーフィルタ特性が互いに異なる場合、前記クロストーク補正用関数を修正しないことを特徴とする請求項１９乃至２４のいずれか１項に記載の撮像装置。
26. 前記関数修正部は、前記ずれ量算出部による位置合わせの結果、前記対応画素のカラーフィルタ特性が互いに異なる場合、疑似的に評価用の画素値を推定して前記クロストーク補正用関数を修正することを特徴とする請求項１９乃至２４のいずれか１項に記載の撮像装置。
27. 前記関数修正部は、前記クロストーク補正用関数における既存の係数を修正することを特徴とする請求項１９乃至２６のいずれか１項に記載の撮像装置。
28. 前記関数修正部は、前記クロストーク補正用関数に新たな係数を追加することを特徴とする請求項１９乃至２６のいずれか１項に記載の撮像装置。
29. 前記第二の画像の対応画素の画素値を前記第一の画像の対応画素の画素値に置換する画素値置換部を更に有することを特徴とする請求項１９乃至２８のいずれか１項に記載の撮像装置。
30. 複数の撮像用画素および該複数の撮像用画素のそれぞれと異なる構造を有する機能画素を備えた撮像素子から得られた信号の画像処理を行う画像処理装置であって、
    前記撮像素子から得られた時間軸の互いに異なる第一の画像および第二の画像を記憶可能な記憶部と、
    前記機能画素の近傍に配置された撮像用画素に対して、クロストーク補正用関数を用いてクロストーク補正を行うクロストーク補正部と、
    前記第一の画像および前記第二の画像の間のずれ量を算出して該第一の画像および該第二の画像の位置合わせを行うずれ量算出部と、
    前記ずれ量算出部による位置合わせで得られた前記第一の画像および前記第二の画像の対応画素の画素値に基づいて、前記クロストーク補正用関数を修正する関数修正部と、を有することを特徴とする画像処理装置。