JP2018042056A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像素子に配列された画素の信号を参照するような信号処理が行われる際に、最適な画素の信号を参照した信号処理を可能にすることを課題とする。【解決手段】第２のキズ検出補正部（１０７２）は、撮像素子（１００）の離散的に離れたライン毎に分割読み出し動作で画素信号が読み出される各画素の中で、着目画素と、着目画素に対する参照画素とを設定する。さらに、第２のキズ検出補正部（１０７２）は、参照画素の画素信号を用いて、着目画素の画素信号に対してキズ画素検出及びキズ補正処理を行う。このとき、第２のキズ検出補正部（１０７２）は、着目画素を含むラインの中で、着目画素の周辺画素を参照画素に設定する。【選択図】図１

Description

本発明は、画像を撮像する撮像装置等に好適な画像処理装置、画像処理方法、及びプログラムに関する。

従来、焦点検出機能と画像信号取得を１枚の撮像素子を用いて実現する技術が知られており、その一例として、特許文献１には、焦点検出等に用いられる情報取得用画素を、画像信号取得のための画像取得用画素として兼用できるものが開示されている。この技術によれば、情報取得用画素を水平方向に二分割及び垂直方向に二分割して四つの領域に分け、画像取得時にはそれら四つの領域の信号をすべて加算することで、その画素の信号を得ることができる。一方、焦点検出時には、情報取得用画素の四つの領域の内、水平又は垂直方向の二つの領域の信号を加算することで画素内を瞳分割し、それら瞳分割された領域より得られた信号を、位相差方式の焦点検出用信号として用いる。また、例えば特許文献２には、撮像素子内の任意の領域を、焦点検出用信号を取得する距離情報取得領域として設定可能にしつつ、撮像素子からの画像信号の読み出し時間を短縮することができる撮像装置が開示されている。

特開２００７−３２５１３９号公報 特開２０１２−１５５０９５号公報

ところで、特許文献２の技術において、位相差方式の焦点検出用信号は、撮像素子の画素配列に対して離散的な領域に相当する信号として取得される。特許文献２の技術によれば、撮像素子は例えばライン単位で画像信号又は焦点検出用信号の読み出しを切り替え可能となされており、焦点検出用信号は離散的で不均等なライン間隔の配置に相当する信号として取得可能となされている。

ただし、画像信号と焦点検出用信号は、それら信号の特性が各々異なるため、それぞれについて専用の信号処理が必要となる。ここで例えば、焦点検出用信号が離散的で不均等なライン間隔で取得される場合において、ライン間隔方向（垂直方向）の画素信号を参照する信号処理が行われたとすると、特性が異なる信号を参照することによる誤った信号処理結果が生成される虞がある。ライン間隔方向（垂直方向）の画素信号を参照する信号処理の一例として、不良画素（欠陥画素）の検出処理・補正処理が行われるような場合には、不良画素の誤判定や不良画素の誤補正が生じ、それにより正確な焦点調節等が出来なくなる虞がある。

そこで、本発明は、画素信号を参照するような信号処理が行われる際に、最適な画素信号を参照した信号処理を可能にすることを目的とする。

本発明は、撮像素子の画素配列上で離散的に離れた領域毎に所定の読み出し動作が行われる各画素の中で、着目画素と、前記着目画素に対する参照画素とを設定する設定手段と、前記参照画素の画素信号を用いて、前記着目画素の画素信号に対して所定の信号処理を行う処理手段と、を有し、前記設定手段は、前記離散的に離れた各領域のうち前記着目画素を含んだ領域の中で前記着目画素の周辺画素を、前記所定の信号処理に用いる前記参照画素として設定することを特徴とする。

本発明によれば、画素信号を参照するような信号処理が行われる際に、最適な画素信号を参照した信号処理が可能になる。

第１の実施形態の撮像装置の概略構成を示す図である。 撮像素子の概略構成を示す図である。 撮像素子に対する読み出し動作の説明に用いる図である。 第１の実施形態のキズ検出補正部の概略構成を示す図である。 第１の実施形態のキズ検出補正部における参照範囲例を示す図である。 第２、第３の実施形態の撮像装置の概略構成を示す図である。 第２、第３の実施形態のキズ検出補正部の参照範囲例を示す図である。 第２、第３の実施形態のキズ検出補正部の概略構成を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
図１は、本発明の画像処理装置、画像処理方法及びプログラムの一適用例としての第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
本実施形態の撮像装置において、光学系１００はフォーカスレンズ、ズームレンズ、絞り、シャッター等を有する撮像光学系である。光学系駆動部１０１は、ＣＰＵ１０８から供給される光学系制御情報に基づいて光学系１００のレンズ、絞り、シャッター等を駆動する。撮像素子１０２はＣＣＤやＣＭＯＳ等の撮像センサである。撮像素子駆動部１０３は、ＣＰＵ１０８からの撮像素子制御情報に基づいて撮像素子１０２を駆動する。撮像素子１０２から出力された撮像信号は、信号分離部１０４に送られる。信号分離部１０４以降の各構成の説明は後述する。

撮像素子１０２は、図２（ａ）及び図２（ｂ）に示す構成を有する。図２（ａ）は撮像素子１０２の概略構成を示し、図２（ｂ）は撮像素子１０２内の画素アレイ２００の概略構成を示している。なお、図２（ｂ）は画素アレイ２００の一部分のみを示している。

図２（ａ）に示すように、撮像素子１０２は、画素アレイ２００、垂直走査部２０３、水平走査部２０２、読み出し部２０１、出力部２０４を有して構成されている。画素アレイ２００は、複数の画素が二次元に配列されて構成されている。なお、図示は省略するが、画素アレイ２００には、例えばいわゆるベイヤー配列と呼ばれる配列により赤（Ｒ），緑（Ｇ（Ｇ１，Ｇ２）），青（Ｂ）のカラーフィルタも併設されているとする。垂直走査部２０３は、画素アレイ２００の各画素の二次元配列における行を選択する回路である。水平走査部２０２は、画素アレイ２００の各画素の二次元配列における列を選択する回路である。読み出し部２０１は、画素アレイ２００内の各画素のうち、垂直走査部２０３による行の選択及び水平走査部２０２による列の選択によって特定される画素の信号を読み出すための回路である。

垂直走査部２０３は、画素アレイ２００の行を選択し、水平同期信号に基づいて撮像素子駆動部１０３から出力される読み出しパルスを、選択された行において有効にする。読み出し部２０１は、画素アレイ２００の列毎に設けられたアンプやメモリを有し、走査した行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の各画素の信号は、水平走査部２０２によって列方向に順に選択され、出力部２０４を介して外部に出力される。撮像素子１０２は、このような動作を繰り返すことで、画素アレイ２００内の全ての画素信号を外部に出力する。

撮像素子１０２の画素アレイ２００は、図２（ｂ）に示すように、画素毎に、それぞれ二つで一対となされたフォトダイオード（以下、ＰＤと表記する。）２０６，２０７が配されている。これら一対のＰＤ２０６，２０７は、それぞれ光電変換を行う光電変換素子であり、光学系１００のレンズの射出瞳をＡ像用とＢ像用の二つに分割するように配されている。本実施形態では、ＰＤ２０６がＡ像用、ＰＤ２０７がＢ像用になされているとする。また、画素アレイ２００は、各画素の位置及び配列に各々対応するように各マイクロレンズ２０５が二次元配列されたマイクロレンズアレイを有している。すなわち、画素アレイ２００の各画素は、それぞれが、一対のＰＤ２０６，２０７と、それら一対のＰＤ２０６，２０７に対応した一つのマイクロレンズ２０５とにより構成されている。画素アレイ２００には、このような画素が水平方向にｈ画素、垂直方向にｖ画素並べられて配置されている。

画素アレイ２００の全ての有効画素は、画像信号を取得する画素として使用されると共に、その中の一部のライン方向の各画素は測距演算信号を取得する画素としても兼用されている。測距演算信号は、いわゆる位相差方式による焦点調節を行う際の焦点検出用信号である。具体的に説明すると、画素アレイ２００の各画素では、一対のＰＤ２０６，ＰＤ２０７に光が入射したことで蓄積された信号が、後述する画素転送動作により同時又はそれぞれ独立して電圧信号に変換される。そして、画素アレイ２００の各画素の電圧信号は、前述した読み出し動作により画素信号として外部に出力される。ここで、一対のＰＤ２０６，２０７は、光学系１００のレンズの射出瞳を分割する構成となっているため、それらＰＤ２０６，２０７には位相差（視差）を持った光像が入射される。このため、一対のＰＤ２０６，２０７からそれぞれ読み出された信号に対し、既知の手法で相関演算処理を行うことで、その相関演算結果に基づくフォーカスレンズの駆動量計算が可能、つまり焦点調節が可能となる。なお、本実施形態では、図２（ｂ）に示したように、一つのマイクロレンズに対して二つのＰＤ（２０６，２０７）が配置される構成を例に挙げているが、一つのマイクロレンズに対して三つ以上のＰＤが配置されて瞳分割が行われる構成であってもよい。

また前述したように、撮像素子１０２は、画像信号の読み出しを行う第１の読み出し動作と、測距演算信号の読み出しを行う第２の読み出し動作の二つの読み出し動作が可能となされている。これら第１の読み出し動作と第２の読み出し動作は、撮像素子１０２における離散的な領域毎に変更可能となされている。本実施形態では、第１の読み出し動作又は第２の読み出し動作が行われる離散的な領域毎が、水平ラインの領域となされている。したがって、本実施形態の場合、これら第１の読み出し動作と第２の読み出し動作は、水平ライン（以下、単にラインと表記する。）毎に変更可能となされている。

また、本実施形態において、第１の読み出し動作は、一対のＰＤ２０６，２０７の信号を加算して読み出す加算読み出し動作である。加算読み出し動作の場合、読み出し部２０１は、ＣＰＵ１０８の制御に基づく撮像素子駆動部１０３からの駆動信号により、一対のＰＤ２０６とＰＤ２０７にそれぞれ蓄積された信号を読み出して加算し、出力部２０４へ転送する。この加算読み出し動作により得られる加算信号は、一対のＰＤ２０６，２０７からなる一つの画素に対応した画素信号、すなわち画像信号に含まれる一つの画素信号として使用される。

一方、本実施形態において、第２の読み出し動作は、一対のＰＤ２０６，２０７の信号をそれぞれ読み出す分割読み出し動作である。分割読み出し動作の場合、読み出し部２０１は、ＣＰＵ１０８の制御に基づく撮像素子駆動部１０３からの駆動信号により、一対のＰＤ２０６とＰＤ２０７にそれぞれ蓄積された信号を独立に読み出して出力部２０４へ転送する。本実施形態の場合、ＰＤ２０６はＡ像用、ＰＤ２０７はＢ像用となされており、ＰＤ２０６から読み出された信号がＡ像信号、ＰＤ２０７から読み出された信号がＢ像信号として、出力部２０４へ転送される。これら分割信号（Ａ像信号とＢ像信号）は、測距演算信号として使用されるとともに、後述する信号加算部１０５にて加算されることで画素信号（画像信号に含まれる一つの画素信号）としても使用される。

このように、第１の読み出し動作である加算読み出し動作により得られる信号は、一対のＰＤ２０６とＰＤ２０７による二つの信号の加算信号となっている。一方、第２の読み出し動作である分割読み出し動作による信号は、一対のＰＤ２０６とＰＤ２０７からそれぞれ読み出された分割信号となっている。したがって、第１の読み出し動作による加算信号と、第２の読み出し動作による分割信号とは、それぞれ特性が異なる信号である。

図３（ａ）は、前述した二つの読み出し動作がライン単位で切り替えられた場合に撮像素子１０２から出力される信号を、概念的に説明するための図である。なお、撮像素子１０２から出力される信号は、実際には例えばベイヤー配列のカラーフィルタのＲ，Ｇ，Ｂの各色成分に対応したＲ信号，Ｇ信号，Ｂ信号となるが、図３（ａ）の例ではＲ信号のみを例に挙げている。また、図３（ａ）は撮像素子１０２における全ラインのうちの一部のみを表している。

図３（ａ）のＲ１行，Ｒ２行，Ｒ３行，Ｒ４行，Ｒ５行，Ｒ６行は、それぞれライン（画素アレイ２００の行）を表し、Ｒ１行，Ｒ３行，Ｒ５行は加算読み出し動作がなされるライン、Ｒ２行，Ｒ４行，Ｒ６行は分割読み出し動作がなされるラインを表している。加算読み出し動作がなされるＲ１行，Ｒ３行，Ｒ５行において略々正方形の四角で示されている信号３００は、前述した一対のＰＤ２０６，２０７に蓄積された信号を加算した加算信号を表しているとする。

一方、分割読み出し動作がなされるＲ２行，Ｒ４行，Ｒ６行において、縦長四角で示されている信号３０１は、一対のＰＤ２０６，２０７のうちＡ像用のＰＤ２０６から読み出されたＡ像信号を表しているとする。また、分割読み出し動作のＲ２行，Ｒ４行，Ｒ６行において、縦長四角で示されている信号３０２は、一対のＰＤ２０６，２０７のうちＢ像用のＰＤ２０７から読み出されたＢ像信号を表しているとする。図３（ａ）の例の場合、分割読み出し動作では、Ａ像信号３０１の出力後にＢ像信号３０２が出力されているが、それらの出力順は逆であってもよいし、同時に出力されてもよい。なお、撮像素子１０２の読み出し動作は、例えば特開２０１２−１５５０９５号公報等に開示された公知の技術であるため、ここではその詳細な説明は省略する。

また、前述した分割読み出し動作により撮像素子１０２からライン単位で測距演算信号（Ａ像信号とＢ像信号）を読み出す際には、例えば図３（ｄ）に示すように離散的で不均等なライン間隔による読み出しが行われる場合がある。図３（ｄ）の例において、各画素３３１は、図２（ａ）の画素アレイ２００上に二次元配列された各画素に相当する。図３（ｄ）の例では、図中太枠で示した各ライン３３２が、測距演算信号の読み出しがなされるラインであり、それ以外のラインは前述した加算読み出し動作がなされるラインであるとする。また、図３（ｅ）は、図３（ｄ）の図中太線で示した各ライン３３２から読み出された、測距演算信号の各ライン３３３を示している。これら図３（ｄ）及び図３（ｅ）に示すように、測距演算信号は、離散的なライン間隔により読み出される。また、図３（ｄ）の画像領域３３０は、撮像素子１０２の画素アレイ２００上に結像されている被写体像の一部の画像領域を表しているとする。なお、図３（ｂ）と図３（ｃ）の説明は後述する。

図１に説明を戻す。
信号分離部１０４は、前述した撮像素子１０２の出力信号が供給されると、その出力信号から、測距演算信号（つまり分離読み出し動作によるＡ像信号及びＢ像信号）を分離する。そして、信号分離部１０４は、分離した測距演算信号（Ａ像信号及びＢ像信号）を第２のセンサ補正部１０６２に出力する。前述の図３（ａ）の例を挙げて説明すると、信号分離部１０４は、分離読み出し動作がなされたＲ２行，Ｒ４行，Ｒ６行の各ラインの測距演算信号（Ａ像信号及びＢ像信号）を、第２のセンサ補正部１０６２に出力する。

また、信号分離部１０４は、撮像素子１０２の全画素の出力信号、つまり前述した加算読み出し動作による加算信号と、分離読み出し動作による測距演算信号（Ａ像信号及びＢ像信号）とを、信号加算部１０５に出力する。図３（ａ）の例では、信号分離部１０４は、加算読み出し動作によるＲ１行，Ｒ３行，Ｒ５行の各ラインの加算信号、及び、分離読み出し動作によるＲ２行，Ｒ４行，Ｒ６行の各ラインの測距演算信号（Ａ像信号及びＢ像信号）を、信号加算部１０５に出力する。なお、信号分離部１０４からのライン毎の出力順は、各ラインの番号順であるとする。

信号加算部１０５は、信号分離部１０４から供給された加算信号と測距演算信号（Ａ像信号及びＢ像信号）のうち、測距演算信号のＡ像信号とＢ像信号とを加算する。すなわち、信号加算部１０５は、図３（ａ）に示したＲ２行，Ｒ４行，Ｒ６行の各ラインにおける測距演算信号のうち、一対のＰＤ２０６とＰＤ２０７に対応したＡ像信号３０１とＢ像信号３０２とを加算する。これにより、図３（ａ）のＲ２行，Ｒ４行，Ｒ６行の各ラインの測距演算信号からは、Ｒ２行，Ｒ４行，Ｒ６行の各ラインにおいてそれぞれＡ像信号３０１とＢ像信号３０２とを加算した加算信号が生成される。

そして、信号加算部１０５は、図３（ｂ）に示すように、Ｒ１行，Ｒ３行，Ｒ５行の各ラインの加算信号３００と、Ｒ２行，Ｒ４行，Ｒ６行の各ラインのＡ像信号とＢ像信号を加算した加算信号３０３とを、第１のセンサ補正部１０６１に出力する。これにより、信号加算部１０５からは、図３（ｂ）に示すように、Ｒ１行，Ｒ３行，Ｒ５行の各ラインの加算信号３００と、Ｒ２行，Ｒ４行，Ｒ６行の各ラインの加算信号３０３からなる全てのラインの加算信号が出力されることになる。すなわち、信号加算部１０５からは、図３（ｂ）に示したようなＲ１行，Ｒ２行，Ｒ３行，Ｒ４行，Ｒ５行，Ｒ６行の全てのラインの加算信号が、画像信号として出力されて、第１のセンサ補正部１０６１に送られる。

図３（ｃ）は、前述した信号分離部１０４により分離された測距演算信号の各ラインのＡ像信号３０１及びＢ像信号３０２を表した図である。すなわち、図３（ｃ）は、図３（ｄ）と図３（ｅ）で述べたように、測距演算信号が離散的なライン間隔で読み出された場合の各ラインの測距演算信号（Ａ像信号及びＢ像信号）を、画素アレイ２００の画素配列に対応させるように配列した図である。また、図３（ｃ）の例は、離散的なライン間隔による測距演算信号の読み出し動作により、Ｒ２行，Ｒ４行，Ｒ６行，Ｒ２２行，Ｒ２４行，Ｒ２６行の各ラインから、Ａ像信号３０１とＢ像信号３０２が読み出された場合を挙げている。これらＲ２行，Ｒ４行，Ｒ６行，Ｒ２２行，Ｒ２４行，Ｒ２６行の各ラインは、図２（ｂ）に示した画素アレイ２００上では隣接しておらず、例えばＲ２行，Ｒ４行，Ｒ６行やＲ２２行，Ｒ２４行，Ｒ２６行は、それぞれ１ラインおきのラインである。また、例えばＲ６行とＲ２２行のラインは、画素アレイ２００上では具体的には１６ライン分だけ離れたラインである。

なお、前述したような信号分離部１０４における測距演算信号の分離や信号加算部１０５における測距演算信号の加算を行うためには、測距演算信号の読み出し動作がなされたのが何れのラインであるかを識別する必要がある。測距演算信号のラインを識別するための識別方法としては、例えば、撮像素子１０２から出力される信号に対し、画素毎に測距演算信号か、加算信号であるかを示すフラグを重畳しておき、そのフラグを基に識別する方法を用いることができる。また他の方法として、予め、測距演算信号のラインの座標を記憶しておき、信号分離部１０４や信号加算部１０５が読み出しラインの座標を基に識別する方法を用いることができる。更に他の方法として、予め、測距演算信号のライン番号を記憶しておき、信号分離部１０４や信号加算部１０５が読み出しライン番号をカウントして識別する方法を用いることもできる。

図１に説明を戻す。
第１のセンサ補正部１０６１は、信号加算部１０５から供給された画像信号に対して、既知の手法により、例えば、オプティカルブラック（ＯＢ）画素を用いたクランプ処理、ノイズ低減処理等の各種信号補正処理を行う。これらの信号補正処理は、既知の処理であるため、ここではその詳細な説明は省略する。第１のセンサ補正部１０６１による信号補正処理後の画像信号は、第１のキズ検出補正部１０７１に送られる。

第１のキズ検出補正部１０７１は、既知の手法により、画像信号のなかの不良画素（欠陥画素であり、以下、キズ画素と表記する。）を検出し、その検出したキズ画素の補正処理、例えば他の正常な画素の信号を用いた補間処理や置換処理等を行う。なお、キズ画素には、製造工程等で生じたキズ画素、製品出荷後に発生したキズ画素があり、本実施形態ではそれらを区別しないこととする。このようなキズ画素に対するキズ補正処理については、既知の様々な補正方法が知られており、本実施形態ではそれら何れのキズ補正処理を用いてもよい。それら様々なキズ補正処理は、既知の処理であるため、ここではその詳細な説明は省略する。第１のキズ検出補正部１０７１によるキズ補正処理後の画像信号は、本線映像信号として、図示しない後段の現像処理部等に送られる。後段の構成については省略する。

第２のセンサ補正部１０６２は、信号分離部１０４にて分離された測距演算信号のＡ像信号とＢ像信号のそれぞれに対して、既知の手法により、ＯＢ画素を用いたクランプ処理、ノイズ低減処理等の各種信号補正処理を行う。Ａ像信号とＢ像信号のそれぞれに対する、クランプ処理、ノイズ低減処理等は、第１のセンサ補正部１０６１で行われる画像信号に対する処理と基本的に同じであるため、その説明は省略する。第２のセンサ補正部１０６２による信号補正処理後の測距演算信号（Ａ像信号及びＢ像信号）は、第２のキズ検出補正部１０７２に送られる。

第２のキズ検出補正部１０７２は、後述するように、着目画素に対する参照範囲を設定する。また、第２のキズ検出補正部１０７２は、後述するように、第２のセンサ補正部１０６２による信号補正処理後の測距演算信号から不良画素（キズ画素）を検出し、その検出したキズ画素に対するキズ補正処理を行うような、所定の信号処理を行う。

図４は、第２のキズ検出補正部１０７２の概略構成を示すブロック図である。なお、図４はハードウェア構成の例を挙げているが、この図４に示す各部の処理は例えばＣＰＵが本実施形態に係るプログラムを実行することにより実現されてもよい。本実施形態に係るプログラムは、例えば不図示のＲＯＭ等に予め用意されていてもよく、また不図示の外部記憶媒体から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりして、不図示のＲＡＭ等にロードされてもよい。このことは後述する各実施形態においても同様である。

図１の第２のセンサ補正部１０６２から出力された測距演算信号（Ａ像信号及びＢ像信号）は、図４に示す第２のキズ検出補正部１０７２のＡＢ分離部４００に送られる。ＡＢ分離部４００は、測距演算信号のＡ像信号とＢ像信号とを分離し、Ａ像信号をＡキズ検出部４０１１とＡキズ補正部４０２１とに送り、Ｂ像信号をＢキズ検出部４０１２とＢキズ補正部４０２２とに送る。なお、図４の例の場合、Ａキズ検出部４０１１とＡキズ補正部４０２１は共にＡ像信号を一つの画素信号として扱い、同様に、Ｂキズ検出部４０１２とＢキズ補正部４０２２は共にＢ像信号を一つの画素信号として扱うとする。

Ａキズ検出部４０１１は、画素毎にＡ像信号に対するキズ画素検出処理を行う。同様に、Ｂキズ検出部４０１２は、画素毎にＢ像信号に対するキズ画素検出処理を行う。Ａキズ検出部４０１１とＢキズ検出部４０１２におけるキズ画素検出処理は、基本的に同じ処理であるため、以下、Ａキズ検出部４０１１のみを例に挙げて説明する。

図５は、Ａキズ検出部４０１１がＡ像信号からキズ画素を検出する際の参照範囲の説明に用いる図である。なお、図５も前述の図３（ｃ）等と同様に、測距演算信号のＲ画素の各ラインの各信号（この場合はＲ画素のＡ像信号）を、図２（ａ），図２（ｂ）の画素アレイ２００の画素配列に対応させて配列させて表した図である。また、図５に例示した各ラインの測距演算信号のＡ像信号の配列は、前述の図３（ｃ）と同様に、画素アレイ２００の画素配列上で測距演算信号が離散的なライン間隔で読み出された場合の例を表している。すなわち、前述の図３（ｃ）の例と同様に、図５には、Ｒ２行，Ｒ４行，Ｒ６行，Ｒ２２行，Ｒ２４行，Ｒ２６行の各ラインの測距演算信号のＡ像信号が表されている。そして、この図５の例では、キズ画素検出処理及びキズ補正処理の検出の対象となる画素（以下、着目画素と表記する。）が、Ｒ６行のライン上の着目画素５０１であるとする。

本実施形態において、Ａキズ検出部４０１１は、キズ画素検出の着目画素５０１がキズ画素であるか否かを判定する際の参照範囲を、着目画素５０１が含まれるラインのなかで、その着目画素５０１の周辺画素を含む範囲５０２に設定する。図５の例の場合、着目画素５０１はＲ色のライン（Ｒ６行）の画素である。このため、Ａキズ検出部４０１１は、着目画素５０１が含まれるライン（Ｒ６行）のなかで、その着目画素５０１の周辺画素（例えば左右の隣接画素５１０，５１１）を含む範囲を、参照範囲５０２として設定する。言い換えると、第１の実施形態における参照範囲５０２は、着目画素５０１を含むライン（Ｒ６行）に対して、ライン間隔方向（垂直方向側）に配置されている他のラインを含まない範囲として設定される。

ここで、Ａキズ検出部４０１１には、ＡＢ分離部４００により測距演算信号から分離された各ラインのＡ像信号のみが供給されているので、分割読み出し動作による測距演算信号とは信号の特性が異なる、加算読み出し動作によるラインの信号は含まれていない。したがって、参照範囲５０２にも、分割読み出し動作によるラインの信号とは特性が異なる加算読み出し動作によるラインの信号は含まれていない。一方、分割読み出し動作による各ラインの測距演算信号は、加算読み出し動作による各ラインの信号のように特性が異なる信号ではなく、それぞれ略々同じ特性の信号である。ただし、例えば着目画素５０１のラインに対して垂直方向（ライン間隔方向）で上側のライン（例えばＲ４行）や下側のライン（例えばＲ２２行）の画素は、撮像素子１０２上で着目画素５０１からの距離が遠い画素である。このように着目画素５０１から距離が離れている画素の信号は、例えば着目画素５０１とは異なる被写体像等による信号である可能性がある。これに対し、着目画素５０１が含まれるラインのなかで、着目画素５０１の周辺画素は、着目画素５０１と同じ被写体像等による信号である可能性が高い。このようなことから、本実施形態では、参照範囲を、着目画素５０１が含まれるラインのなかで、その着目画素５０１の周辺画素（左右の隣接画素５１０，５１１）を含む範囲５０２に設定している。なお、図５の例では、着目画素５０１の左右の一つずつの隣接画素５１０，５１１を含む参照範囲５０２を設定したが、参照範囲は、着目画素５０１の左右それぞれ二つ以上の複数の画素を含む範囲であってもよい。

そして、Ａキズ検出部４０１１は、参照範囲５０２内の、着目画素５０１の左右の隣接画素５１０，５１１の画素値の平均値と、着目画素５０１の画素値との差分値を求め、その差分値と所定の閾値とを比較する。なお、この例の具体的な処理としては、例えばハイパスフィルタやバンドパスフィルタ等の線形フィルタを用いる処理など様々な既知の処理の何れを用いてもよい。そして、Ａキズ検出部４０１１は、差分値が所定の閾値よりも大きい場合、その着目画素５０１はキズ画素であると判定する。他の例として、Ａキズ検出部４０１１は、例えば、着目画素５０１と左右の隣接画素５１０，５１１の各画素値の中央値と所定の閾値とを比較し、中央値が閾値より大きい場合に、着目画素５０１をキズ画素と判定してもよい。なお、この例の具体的な処理としては、例えばメディアンフィルタ等の非線形フィルタを用いる処理など様々な既知の処理の何れを用いてもよい。また、キズ画素判定の結果は、差分値や中央値と閾値との大小比較結果、具体的にはキズ画素であるか又はキズ画素でないかの２値で表される判定結果となされる。なお、キズ画素判定の結果は、差分値や中央値と閾値とのレベル差に応じた多値で表される結果であってもよい。

前述したように、本実施形態では、測距演算信号が離散的なライン間隔で読み出される場合において、キズ画素検出処理の際の参照範囲は、着目画素を含む同色のライン内で設定される。すなわち、キズ画素検出処理の際の参照範囲は、着目画素を含むラインに対して垂直方向側に配置されている他のラインの画素を含まない範囲となされる。そして、キズ画素の判定は、参照範囲内の同色で同ライン内の着目画素とその周辺画素の画素値に基づく差分や中央値と所定閾値との比較により行われる。このように、本実施形態の場合、キズ画素検出の際には、着目画素を含むライン上の画素を参照画素として用い、着目画素のラインとは別のラインの画素が参照画素として用いられることはない。したがって、本実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、最適な参照画素を用いたキズ画素検出処理が可能となり、キズ画素の誤判定が生じてしまう可能性が非常に少ない。

Ａキズ検出部４０１１は、前述したキズ画素検出処理によるキズ判定結果と検出されたキズ画素の位置の情報を、Ａキズ補正部４０２１に送る。同様に、Ｂキズ検出部４０１２は、Ｂ像信号に対するキズ画素検出処理によるキズ判定結果と検出したキズ画素の位置情報を、Ｂキズ補正部４０２２に送る。なお、キズ画素の位置とは、画素アレイ２００に二次元配置されている画素の中のキズ画素の位置に相当し、キズ画素の位置情報は測距演算信号の中でキズ画素に相当する信号を特定可能な情報である。

Ａキズ補正部４０２１は、Ａキズ検出部４０１１にて検出されたキズ画素の位置情報を基に、Ａ像信号のなかでキズ画素に相当する信号を特定すると共に、キズ画素の位置に基づく参照範囲内で正常な画素のＡ像信号を用いて、そのキズ画素の信号を補正する。同様に、Ｂキズ補正部４０２２は、Ｂキズ検出部４０１２にて検出されたキズ画素の位置情報を基に、Ｂ像信号のなかでキズ画素に相当する信号を特定すると共に、キズ画素の位置に基づく参照範囲内で正常な画素のＢ像信号を用いて、そのキズ画素の信号を補正する。Ａキズ補正部４０２１とＢキズ補正部４０２２におけるキズ補正処理は、基本的に同じ処理であるため、以下、Ａキズ補正部４０２１のみを例に挙げて説明する。

Ａキズ補正部４０２１は、前述した図５に示したのと同様の参照範囲５０２を用いてキズ画素に対するキズ補正処理を行う。Ａキズ補正部４０２１でのキズ補正処理の場合の図５の例では、着目画素５０１がキズ画素であり、キズ補正処理の際の参照範囲５０２は、着目画素５０１が含まれるラインのなかで、その着目画素５０１の周辺画素を含む範囲５０２に設定される。この例では、Ａキズ補正部４０２１は、着目画素５０１を含むライン（Ｒ６行）のなかで、その着目画素５０１の周辺画素（左右の隣接画素５１０，５１１）を含む範囲を、参照範囲５０２として設定している。すなわち、キズ補正処理でも前述したキズ検出処理の場合と同様に、参照範囲５０２は、着目画素５０１を含むライン（Ｒ６行）に対して、垂直方向側に配置されている他のライン（Ｒ４行やＲ２２行等）を含まない範囲として設定される。

なお、この例においても、参照範囲は、着目画素５０１の左右の一つずつの隣接画素５１０，５１１を含む範囲（５０２）だけでなく、着目画素５０１の左右それぞれ二つ以上の複数の画素を含む範囲であってもよい。また、Ａキズ補正部４０２１で用いられる参照範囲は、前述したキズ検出部４０１１で用いられる参照範囲とは異なっていてもよい。例えば、キズ検出部４０１１では着目画素５０１に対して左右一つずつの隣接画素５１０，５１１を含む参照範囲５０２を用い、キズ補正部４０２１では着目画素５０１に対して左右二つ以上の隣接画素を含む参照範囲を用いてもよい。

そして、Ａキズ補正部４０２１は、参照範囲５０２内で、例えば着目画素の左右の隣接画素５１０，５１１の画素値の平均値を補間画素として、着目画素５０１の画素値を置換するようなキズ補正処理を行う。その他の処理として、Ａキズ補正部４０２１は、例えば着目画素５０１と左右の隣接画素５１０，５１１の各画素値の中央値を補間画素として、着目画素５０１の画素値を置換するようなキズ補正処理を行ってもよい。

また、Ａキズ検出部４０１１によるキズ画素判定の結果が２値で表されている場合には、そのキズ判定結果に応じて、着目画素５０１が補間画素により置換される。また例えば、キズ画素判定の結果が多値で表されている場合には、そのキズ判定結果の多値に応じて、着目画素５０１又は補間画素の何れか若しくは両方に重みを付けて、それら重み付けされた値を合成するようなキズ補正処理が行われてもよい。例えば、キズ画素判定の結果が多値で表されている場合、Ａキズ補正部４０２１は、多値の値が大きいほど（レベル差が大きいほど）、小さくなるような重み付けを行い、その重み付け後の値を合成する処理を行う。

前述したように、本実施形態では、測距演算信号が離散的なライン間隔で読み出される場合において、キズ補正処理の際の参照範囲は、着目画素（キズ画素）を含む同色のライン内で設定される。すなわち、キズ補正処理の際の参照範囲は、着目画素（キズ画素）を含むラインに対して垂直方向側に配置されている他のラインの画素を含まない範囲となされる。そして、キズ画素の補正処理は、参照範囲内の同色で同ライン内のキズ画素とその周辺画素の画素値に基づく補間画素値を用いた置換処理により行われる。このように、本実施形態の場合、キズ補正処理の際には、着目画素を含むライン上の画素を参照画素として用い、着目画素のラインとは別のラインの画素が参照画素として用いられることはない。したがって、本実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、最適な参照画素を用いたキズ補正処理が可能となり、キズ画素の誤補正が行われてしまう可能性が非常に少ない。

Ａキズ補正部４０２１によりキズ補正処理がなされた後のＡ像信号と、Ｂキズ補正部４０２２によりキズ補正処理がなされた後のＢ像信号とは、結合部４０３に送られる。結合部４０３は、それらＡ像信号とＢ像信号を結合する。具体的には、結合部４０３は、ＡＢ分離部４００における測距演算信号からＡ像信号とＢ像信号を分離する処理に対する逆処理である結合処理を行って、Ａ像信号とＢ像信号を結合した測距演算信号を生成して出力する。

結合部４０３から出力された測距演算信号は、図示しない後段の測距演算部に送られる。図示しない測距演算部では、測距演算信号を用い、既知の手法による相関演算処理等を行い、光学系１００で焦点調整を行う際のフォーカスレンズの駆動量などを求める。なお、測距演算部は、図１のＣＰＵ１０８にて行われてもよい。そして、光学系駆動部１０１は、測距演算部で求められたフォーカスレンズの駆動量に基づいて、光学系１００のフォーカスレンズを駆動する。これにより、測距演算信号に基づく正確な焦点調整が行われることになる。

以上説明したように、第１の実施形態では、測距演算信号が離散的なライン間隔で読み出される場合において、着目画素を含むライン上で且つ着目画素の周辺画素のみが参照画素として用いられている。すなわち、第１の実施形態では、測距演算信号とは信号特性が異なる加算読み出し動作によるラインの画素だけでなく、測距演算信号のラインであっても着目画素からは遠い、他のラインの画素を参照画素として用いないようにしている。

これにより、第１の実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、最適な参照画素を用いたキズ画素検出処理及びキズ補正処理が可能となる。したがって、第１の実施形態によれば、キズ画素の誤検出・誤判定やキズ画素の誤補正等が生ずる可能性が非常に少ない。このため、第１の実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、例えばキズ補正処理後の測距演算信号を用いた正確な焦点調整等が可能となる。

なお、前述した実施形態では、Ａキズ検出部４０１１とＡキズ補正部４０２１を別の構成としたが、着目画素とキズ画素は同じ画素であるため、それぞれ同じ参照範囲が設定される場合には、それら各部を一つの構成としてもよい。Ｂキズ検出部４０１２とＢキズ補正部４０２２についても同様に一つの構成としてもよい。また前述の実施形態では、キズ画素検出処理を単純なハイパスフィルタやバンドパスフィルタ、メディアンフィルタ等により行う例を挙げたが、複数のフィルタを組み合わせてキズ画素検出処理を行って、キズ補間処理を実行する構成であってもよい。

また、前述の実施形態では、参照範囲は、着目画素が含まれる同色のライン内で設定したが、例えば着目画素が含まれる色成分のラインに対応した他の色成分のライン上の同位置の各画素を含む範囲となされてもよい。例えば図５に示した参照範囲５０２は、Ｒ色のライン（Ｒ６行）に設定される範囲だけでなく、他の色のライン（例えば不図示のＧ色のＧ６行やＢ色のＢ６行）上の同位置の各画素（５０１，５１０，５１１）を含んでいてもよい。この例の場合、例えばＲ色における着目画素５０１のキズ画素判定の際には、参照範囲５０２内のＲ，Ｇ，Ｂの各色における各画素値から前述同様にして求めた差分値や中央値と閾値とを比較するようなキズ画素判定処理を行うことができる。また例えば、例えばＲ色における着目画素５０１のキズ補正処理の際にも同様に、参照範囲５０２内のＲ，Ｇ，Ｂの各色における各画素値から前述同様にして求めた平均値や中央値に基づく補間画素で置換するようなキズ補正処理を行うことができる。

＜第２の実施形態＞
図６は、第２の実施形態の撮像装置の概略構成を示すブロック図である。
図６の撮像装置において、図１に示した撮像装置と基本的に同じ構成要素には、図１と同一の参照符号を付して、それらの詳細な説明は省略する。第２の実施形態の撮像装置と第１の実施形態の撮像装置とでは、概ね、第２の実施形態の撮像装置が、参照画素判定部６０９を有しており、また第２のキズ検出補正部６０７２の処理が第１の実施形態の第２のキズ検出補正部１０７２とは異なる点が相違する。以下、第１の実施形態とは異なる部分を中心に、第２の実施形態の撮像装置について説明する。

図６の信号分離部１０４と信号加算部１０５は、ＣＰＵ１０８から出力される撮像素子制御情報に基づいて、撮像素子１０２の出力信号の各ラインのうち、何れのラインが測距演算信号のラインであるかを識別している。この例の場合、撮像素子制御情報には、例えば測距演算信号の読み出しラインの座標情報が含まれ、信号分離部１０４と信号加算部１０５は、その読み出しラインの座標を基に、撮像素子１０２の出力信号の各ラインが測距演算信号のラインかどうかを識別する。また、撮像素子制御情報には、測距演算信号のライン番号の情報が含まれていてもよい。この場合の信号分離部１０４と信号加算部１０５は、読み出しライン番号をカウントすることで、撮像素子１０２から出力される各ラインが測距演算信号のラインかどうかを識別する。

図６の第２のセンサ補正部１０６２による信号補正処理後の測距演算信号（Ａ像信号及びＢ像信号）は、第２のキズ検出補正部６０７２に送られる。第２のキズ検出補正部６０７２は、第２のセンサ補正部１０６２による信号補正処理後の測距演算信号（Ａ像信号及びＢ像信号）からキズ画素を検出し、その検出したキズ画素に対するキズ補正処理を行う。第２のキズ検出補正部６０７２におけるキズ画素検出処理、キズ補正処理の詳細は後述する。

参照画素判定部６０９は、ＣＰＵ１０８から出力される撮像素子制御情報に基づいて、撮像素子１０２の出力信号の各ラインの座標を管理している。そして、参照画素判定部６０９は、各ラインの座標情報を基に、撮像素子１０２の出力信号の各ラインが測距演算信号のラインかどうかを識別する。例えば、撮像素子制御情報に測距演算信号の読み出しラインの座標情報が含まれている場合、参照画素判定部６０９は、それら読み出しラインの座標情報を基に、撮像素子１０２の出力信号の各ラインが測距演算信号のラインかどうかを識別する。また例えば、撮像素子制御情報に測距演算信号のライン番号情報が含まれていている場合、参照画素判定部６０９は、その読み出しライン番号をカウントすることで、撮像素子１０２の出力信号の各ラインが測距演算信号のラインかどうかを識別してもよい。

また、参照画素判定部６０９は、撮像素子制御情報に基づいて、測距演算信号の着目画素に対して、後述するようなベース参照範囲を設定する。さらに、本実施形態において、参照画素判定部６０９は、後述するように、着目画素を含むラインと、ベース参照範囲内の他のラインとの間の距離に基づいて、ベース参照範囲を調整するか否か判定する。そして、参照画素判定部６０９は、ベース参照範囲を調整すると判定した場合には、後述するようにしてベース参照範囲を調整する。

図７は、参照画素判定部６０９が設定するベース参照範囲例の説明に用いる図である。なお、図７の例は、前述した図５の例と同様に、測距演算信号のＲ画素の各ラインの各信号（Ｒ画素のＡ像信号）を、図２（ａ），図２（ｂ）の画素アレイ２００の画素配列に対応するように配列させて表した図である。また、図７に例示した各ラインの測距演算信号のＡ像信号の配列は、前述の図５の例と同様に、画素アレイ２００の画素配列上で測距演算信号が離散的なライン間隔で読み出された場合の例を表している。なお、図７の例では、Ｒ６行のラインの画素７０１が着目画素になっているとする。

参照画素判定部６０９は、着目画素７０１を中心に、同色の測距演算信号の水平方向（ライン方向）に３画素分で、垂直方向（ライン間隔方向）に３画素分からなる、３×３画素の範囲を、ベース参照範囲７０２として設定する。図７の例では、着目画素７０１を中心として、その着目画素７０１の周囲の各画素７１０〜７１７を含む範囲が、ベース参照範囲７０２として設定される。具体的には、ベース参照範囲７０２内の画素７１０，７１１，７１２は、着目画素７０１を含むライン（Ｒ６行）に対して、同色の測距演算信号において垂直方向（ライン間隔方向）上側のライン（Ｒ４行）上で、着目画素７０１の上と斜め上の画素である。同様に、ベース参照範囲７０２内の画素７１５，７１６，７１７は、着目画素７０１を含むライン（Ｒ６行）に対して、同色の測距演算信号において垂直方向下側のライン（Ｒ２２行）上で、着目画素７０１の下と斜め下の各画素である。また、ベース参照範囲７０２内の画素７１３，７１４は、着目画素７０１を含むライン（Ｒ６行）上で着目画素７０１の左右に隣接した画素である。

また、参照画素判定部６０９は、撮像素子制御情報からベース参照範囲７０２における測距演算信号の各ラインの座標情報を求める。さらに、参照画素判定部６０９は、それら各ラインの座標情報に基づいて、着目画素７０１を含むライン（Ｒ６行）と、ベース参照範囲７０２内の他のライン（Ｒ４行、Ｒ２２行）との間の距離を算出する。そして、参照画素判定部６０９は、それらライン間の距離に基づいて、ベース参照範囲７０２を調整するか否かを判定する。参照画素判定部６０９は、ベース参照範囲７０２を調整すると判定した場合には、後述するようにしてベース参照範囲７０２を調整する。

ベース参照範囲７０２の調整判定処理は、着目画素７０１のライン（Ｒ６行）と垂直方向上側のライン（Ｒ４行）との間の距離Ｄｕ、及び、着目画素７０１のライン（Ｒ６行）と垂直方向下側のライン（Ｒ２２行）との間の距離Ｄｄに基づいて行われる。具体的には、参照画素判定部６０９は、下記式（１）により、着目画素７０１のライン座標Ｙｃ（図７の例ではＲ６行の座標）と、垂直方向上側のライン座標Ｙｕ（図７の例ではＲ４行の座標）との差分絶対値（ＡＢＳ）を、距離Ｄｕとして算出する。同様に、参照画素判定部６０９は、下記式（１）により、着目画素７０１のライン座標Ｙｃと、垂直方向下側のライン座標Ｙｄ（図７の例ではＲ２２行の座標）との差分絶対値（ＡＢＳ）を、距離Ｄｄとして算出する。

Ｄｕ＝ＡＢＳ（Ｙｃ−Ｙｕ）
Ｄｄ＝ＡＢＳ（Ｙｃ−Ｙｄ） ・・・式（１）

なお、本実施形態では、距離Ｄｕは着目画素のラインと垂直方向上側のラインとの間のライン間距離として求められているが、着目画素と、その着目画素のラインに対して垂直方向上側のライン上の画素との間の画素間距離として求められてもよい。同様に、距離Ｄｄは着目画素のラインと垂直方向下側のラインとの間のライン間距離として求められているが、着目画素と、その着目画素のラインに対して垂直方向下側のライン上の画素との間の画素間距離として求められてもよい。以下の説明では、距離Ｄｕと距離Ｄｄがライン間距離である場合を例に挙げている。

そして、参照画素判定部６０９は、距離Ｄｕ及び距離Ｄｄが、それぞれ所定の閾値未満（ＴＨ１未満）である場合には、ベース参照範囲７０２をそのまま参照範囲として使用する。すなわちこの場合、着目画素７０１に対する参照画素は、ベース参照範囲７０２内の各画素７１０〜７１７となる。一方、参照画素判定部６０９は、例えば距離Ｄｕが所定の閾値以上（ＴＨ１以上）である場合には、下記式（２）のように、距離Ｄｕに対応した垂直方向上側のライン（図７の例ではＲ４行）を除外するように、ベース参照範囲７０２を調整する。すなわちこの場合、着目画素７０１に対する参照画素は、調整後の参照範囲内の各画素７１３，７１４，７１５，７１６，７１７となり、Ｒ４行の画素７１０，７１１，７１２は参照画素として使用されないことになる。また、参照画素判定部６０９は、例えば距離Ｄｄが所定の閾値以上（ＴＨ１以上）である場合、下記式（２）のように、距離Ｄｄに対応した垂直方向下側のライン（図７の例ではＲ２２行）を除外するように、ベース参照範囲７０２を調整する。すなわちこの場合、着目画素７０１に対する参照画素は、調整後の参照範囲内の各画素７１０，７１１，７１２，７１３，７１４となり、Ｒ２２行の画素７１５，７１６，７１７は参照画素として使用されないことになる。

Ｄｕ≧ＴＨ１：垂直方向上側のラインの画素を参照しない
Ｄｄ≧ＴＨ１：垂直方向下側のラインの画素を参照しない ・・・式（２）

より具体的な例を挙げて説明すると、図７の例の場合、着目画素７０１のラインはＲ６行であり、ベース参照範囲７０２内でＲ６行に対して垂直方向上側のラインはＲ４行である。このため、それらＲ６行とＲ４行との間の距離Ｄｕは"２"、つまり画素アレイ２００上では垂直方向で２ライン間隔分に相当する距離である。また、ベース参照範囲７０２内でＲ６行に対して垂直方向下側のラインはＲ２２行であるため、それらＲ６行とＲ２２行との間の距離Ｄｄは"１６"、つまり画素アレイ２００上では垂直方向で１６ライン間隔分に相当する距離である。ここで、ベース参照範囲７０２の調整判定処理で用いる閾値ＴＨ１が例えば"１０"である場合、つまり画素アレイ２００上で垂直方向の１０ライン間隔分に相当する値である場合、距離Ｄｄ（"１６"）の方が閾値ＴＨ１以上となる。したがってこの場合、垂直方向下側のライン（Ｒ２２行）の画素７１５，７１６，７１７が参照画素から除外されて、着目画素７０１に対する参照画素は、各画素７１０，７１１，７１２，７１３，７１４となる。

そして、参照画素判定部６０９は、前述したようにして参照範囲７０１を設定すると、その参照範囲７０２内において着目画素７０１に対する参照画素を、第２のキズ検出補正部６０７２に指示する。第２のキズ検出補正部６０７２に対する指示の仕方としては、着目画素７０１に対する参照範囲７０２内の画素毎に、使用可否を示す参照画素情報を設定して、それら画素毎の参照画素情報を第２のキズ検出補正部６０７２に通知することにより行われる。具体的には、参照画素判定部６０９は、画素毎の使用可否を"０"又は"１"で表す参照画素情報を、第２のキズ検出補正部６０７２に送る。本実施形態では、参照画素情報が例えば"０"である場合、その画素の使用可否は"使用否"であるとする。

図８は、第２の実施形態における第２のキズ検出補正部６０７２の概略構成を示すブロック図である。なお、図８はハードウェア構成の例を挙げているが、この図８に示す各部の処理は例えばＣＰＵが本実施形態に係るプログラムを実行することにより実現されてもよい。

図８の第２のキズ検出補正部６０７２において、前述の図４に示した第２のキズ検出補正部１０７２と基本的に同じ構成要素には、図４と同一の参照符号を付して、それらの詳細な説明は省略する。第２の実施形態と第１の実施形態とでは、概ね、第２のキズ検出補正部６０７２が参照調整部８０４を有し、キズ画素検出処理とキズ補正処理の際の参照範囲が異なる点が相違する。以下、第１の実施形態とは異なる部分を中心に、第２の実施形態における第２のキズ検出補正部６０７２について説明する。

図８のＡＢ分離部４００により測距演算信号から分離されたＡ像信号はＡキズ検出部８０１１とＡキズ補正部８０２１とに送られ、Ｂ像信号はＢキズ検出部８０１２とＢキズ補正部８０２２とに送られる。なお、図８の例においても、前述の図４の場合と同様に、Ａキズ検出部８０１１とＡキズ補正部８０２１は共にＡ像信号を一つの画素信号として扱い、同様に、Ｂキズ検出部８０１２とＢキズ補正部８０２２は共にＢ像信号を一つの画素信号として扱うとする。また、図８の参照調整部８０４には、図６の参照画素判定部６０９から参照範囲の画素毎の使用可否を表す参照画素情報が供給される。

Ａキズ検出部８０１１は、画素毎にＡ像信号に対するキズ画素検出処理を行う。同様に、Ｂキズ検出部８０１２は、画素毎にＢ像信号に対するキズ画素検出処理を行う。Ａキズ検出部８０１１とＢキズ検出部８０１２におけるキズ画素検出処理は、基本的に同じ処理であるため、以下、Ａキズ検出部８０１１のみを例に挙げて説明する。

Ａキズ検出部８０１１は、図７で説明した３×３画素のベース参照範囲７０２又は後述のベース参照範囲７０２が調整された参照範囲内の各画素を、参照画素として用いて、着目画素７０１がキズ画素かどうかを判定するようなキズ画素検出処理を行う。本実施形態では、例えばハイパスフィルタやバンドパスフィルタなどの線形フィルタを用いたキズ画素検出処理と、例えばメディアンフィルタのような非線形フィルタを用いたキズ画素検出処理とを例に挙げて説明する。

線形フィルタによるキズ画素検出処理としては、一例として、下記式（３）の行列式に示すようなフィルタ係数を用いたフィルタ演算処理が挙げられる。式（３）のフィルタ係数は、図７で説明した３×３画素のベース参照範囲７０２に対応し、中央のフィルタ係数が図７の着目画素７０１に対する係数、残りの八つのフィルタ係数が図７の参照画素である各画素７１０〜７１７に対する係数である。本実施形態では、Ａキズ検出部８０１１は、式（３）に示すフィルタ係数を用いた演算を行って得られた値と所定の閾値との比較により画素を検出する。

ここで、前述したように、ベース参照範囲７０２は同色の測距演算信号の３×３画素の９画素を含む範囲となされているが、本実施形態の場合、参照画素情報が使用否を表す"０"になっている画素は参照画素としては使用されない。この場合、参照画素判定部６０９による参照画素情報が"０"の画素に対応したフィルタ係数を"０"に調整すればよい。例えば前述した調整判定処理で用いる閾値ＴＨ１が"１０"で、ライン（Ｒ２２行）の三つの画素７１５〜７１７に対する参照画素情報が"０"になされた例の場合、式（３）のフィルタ係数を下記式（４）のようなフィルタ係数に調整すればよい。すなわち、式（４）のフィルタ係数は、式（３）のフィルタ係数のうち、ライン（Ｒ２２行）の三つの画素７１５，７１６，７１７にそれぞれ対応した各フィルタ係数が"０"に調整されたものとなる。

ただし、単にフィルタ係数を"０"にするだけだと、画素毎でフィルタ出力が揃わなくなる。このため、参照調整部８０４は、下記式（５）のように、参照画素情報の"０"に対応したフィルタ係数を"０"に調整すると共に、着目画素７０１に対応した中央のフィルタ係数を調整するような調整情報を生成する。具体的には、参照調整部８０４は、着目画素７０１に対応した中央のフィルタ係数については、参照画素情報が"０"になされていない画素数（つまり参照画素として使用される画素の数）に応じた係数値に調整するような情報を生成する。すなわち、式（５）の例の場合、参照画素情報が"０"になされていない画素数は"５"になるため、参照調整部８０４は、中央のフィルタ係数を"−５"に調整するような情報を生成する。このように、式（５）のフィルタ係数は、Ａキズ検出部８０１１におけるフィルタ処理の出力が画素毎に揃うようにする正規化処理が行われたフィルタ係数となされる。したがって、Ａキズ検出部８０１１では、前述した式（３）のフィルタ係数が、参照調整部８０４からの調整情報に応じて調整された式（５）のフィルタ係数を用いた演算により得られた値と所定の閾値との比較によるキズ画素検出処理が行われることになる。

メディアンフィルタのような非線形フィルタを用いた演算では、前述した３×３画素のベース参照範囲７０２の中央値を算出するが、例えば前述した参照画素情報が"０"の画素については、メディアンフィルタ処理の対象とならないように調整する。

具体的には、参照調整部８０４は、参照画素情報が"０"の画素については、その画素信号を"０"値や最大値になるように調整する調整情報を生成して、Ａキズ検出部８０１１に送る。これにより、Ａキズ検出部８０１１では、参照調整部８０４から供給される調整情報に基づき、参照画素情報が"０"の画素信号は、"０"値や最大値になされて中央値とはならない。したがって、Ａキズ検出部８０１１では、参照画素情報が"０"の画素を参照画素として用いない非線形フィルタ演算が行われ、その演算により得られた値と所定の閾値との比較によるキズ画素検出処理が行われることになる。

なお、第２の実施形態においても前述した第１の実施形態と同様に、キズ画素判定の結果は、差分値や中央値と閾値との大小比較による、キズ画素であるか又はキズ画素でないかの２値で表される判定結果となされる。また、キズ画素判定の結果は、差分値や中央値と閾値とのレベル差に応じた多値で表される結果であってもよい。また、図８の例では、参照調整部８０４は、キズ検出部８０１１で使用されるフィルタ係数を調整するための調整情報を生成したが、参照調整部８０４が調整後のフィルタ係数を生成してキズ検出部８０１１に送るようにしてもよい。

Ａキズ検出部８０１１は、前述したようなキズ画素検出処理によるキズ判定結果と検出されたキズ画素の位置の情報を、Ａキズ補正部８０２１に送る。同様に、Ｂキズ検出部８０１２は、Ｂ像信号に対するキズ画素検出処理によるキズ判定結果と検出したキズ画素の位置情報を、Ｂキズ補正部８０２２に送る。

Ａキズ補正部８０２１は、Ａキズ検出部８０１１で検出されたキズ画素の位置情報を基に、Ａ像信号のなかでキズ画素に相当する信号を特定し、キズ画素の位置に基づく参照範囲内で正常な画素のＡ像信号を用いて、そのキズ画素の信号を補正する。同様に、Ｂキズ補正部８０２２は、Ｂキズ検出部８０１２で検出されたキズ画素の位置情報を基に、Ｂ像信号のなかでキズ画素に相当する信号を特定し、キズ画素の位置に基づく参照範囲内で正常な画素のＢ像信号を用いて、そのキズ画素の信号を補正する。Ａキズ補正部８０２１とＢキズ補正部８０２２におけるキズ補正処理は、基本的に同じ処理であるため、以下、Ａキズ補正部８０２１のみを例に挙げて説明する。

Ａキズ補正部８０２１は、図７で説明した３×３画素のベース参照範囲７０２又は後述のベース参照範囲７０２が調整された参照範囲内の各画素を、参照画素として用いて、着目画素７０１に対するキズ補正処理を行う。本実施形態では、例えばハイパスフィルタやバンドパスフィルタなどの線形フィルタを用いたキズ補正処理と、例えばメディアンフィルタのような非線形フィルタを用いたキズ補正処理とを例に挙げて説明する。

線形フィルタによるキズ補正処理としては、一例として、下記式（６）の行列式に示すようなフィルタ係数を用いたフィルタ演算処理により補間画素を生成する処理が挙げられる。式（６）のフィルタ係数は、図７で説明した３×３画素のベース参照範囲７０２に対応している。式（６）の中央のフィルタ係数が図７の着目画素７０１（つまりキズ画素）に対する係数、残りの八つのフィルタ係数が図７の参照画素である各画素７１０〜７１７に対する係数である。本実施形態では、Ａキズ補正部８０２１は、式（６）に示すフィルタ係数を用いた演算を行うことで、キズ画素である着目画素７０１に対する補間画素を生成する。

ここで、前述したように、本実施形態では、キズ補正処理の際にも、参照画素情報が使用否を表す"０"になっている画素は参照画素としては使用されない。すなわち、参照画素判定部６０９による参照画素情報が"０"の画素に対応したフィルタ係数を"０"に調整する。例えば調整判定処理の閾値ＴＨ１が"１０"で、ライン（Ｒ２２行）の三つの画素７１５〜７１７に対する参照画素情報が"０"になされた例の場合、式（６）のフィルタ係数を下記式（７）のようなフィルタ係数に調整すればよい。すなわち、式（７）のフィルタ係数は、式（６）のフィルタ係数のうち、ライン（Ｒ２２行）の画素７１５，７１６，７１７にそれぞれ対応した各フィルタ係数が"０"に調整されたものとなる。

ただし、単にフィルタ係数を"０"にするだけだと、画素毎でフィルタ出力が揃わなくなる。このため、参照調整部８０４は、下記式（８）のように、参照画素情報の"０"に対応したフィルタ係数を"０"に調整すると共に、フィルタ処理の除数を調整するような調整情報を生成する。具体的には、参照調整部８０４は、フィルタ処理の除数を、参照画素情報が"０"になされていない画素数（つまり参照画素として使用される画素の数）に応じた値に調整するような情報を生成する。式（８）の例では、参照画素情報が"０"になされていない画素数は"５"になるため、参照調整部８０４は、フィルタ係数の除数を"５"に調整するような情報を生成する。このように、式（８）のフィルタ係数は、Ａキズ補正部８０２１におけるフィルタ処理の出力が画素毎に揃うようにする正規化処理が行われたフィルタ係数となされる。したがって、Ａキズ補正部８０２１では、前述した式（７）のフィルタ処理の除数が、参照調整部８０４からの調整情報に応じて調整された式（８）を用いて補間画素が生成されてキズ補正処理が行われることになる。

メディアンフィルタのような非線形フィルタを用いた演算では、前述した３×３画素のベース参照範囲７０２の中央値を算出するが、例えば前述した参照画素情報が"０"の画素については、メディアンフィルタ処理の対象とならないように調整する。

具体的には、参照調整部８０４は、参照画素情報が"０"の画素については、その画素信号を"０"値や最大値になるように調整する調整情報を生成して、Ａキズ補正部８０２１に送る。これにより、Ａキズ補正部８０２１では、参照調整部８０４から供給される調整情報に基づき、参照画素情報が"０"の画素信号は"０"値や最大値になされて中央値とはならない。したがって、Ａキズ補正部８０２１では、参照画素情報が"０"の画素を参照画素として用いない非線形フィルタ演算が行われ、その演算により得られた値に基づくキズ補正処理が行われることになる。

なお、Ａキズ検出部８０１１によるキズ画素判定の結果が２値で表されている場合、Ａキズ補正部８０２１は、そのキズ判定結果に応じて、キズ画素を補間画素により置換する。また例えば、キズ画素判定の結果が多値で表されている場合、Ａキズ補正部８０２１は、キズ判定結果の多値に応じて、キズ画素又は補間画素の何れか若しくは両方に重みを付けて、それら重み付けされた値を合成するようなキズ補正処理を行ってもよい。例えば、Ａキズ補正部８０２１は、キズ判定結果を表す多値の値が大きいほど、小さくなるような重み付けを行って、その重み付け後の値を合成するキズ補正処理を行う。また、図８の例では、参照調整部８０４は、キズ補正部８０２１で使用されるフィルタ係数等を調整するための調整情報を生成したが、参照調整部８０４が調整後のフィルタ係数等を生成してキズ補正部８０２１に送るようにしてもよい。

Ａキズ補正部８０２１によりキズ補正処理がなされた後のＡ像信号と、Ｂキズ補正部８０２２によりキズ補正処理がなされた後のＢ像信号とは、結合部４０３に送られる。結合部４０３では、前述したようにＡ像信号とＢ像信号を結合する。そして、結合部４０３から出力された測距演算信号は、図示しない後段の測距演算部に送られて、第１の実施形態と同様に、光学系１００で焦点調整を行う際のフォーカスレンズの駆動量などが求められる。

以上説明したように、第２の実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、着目画素からの距離に基づいて参照範囲を調整することにより、最適な参照画素を用いたキズ画素検出処理及びキズ補正処理が可能となる。したがって、第２の実施形態によれば、キズ画素の誤検出・誤判定やキズ画素の誤補正等が生ずる可能性が非常に少ない。このため、第２の実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、例えばキズ補正処理後の測距演算信号を用いた正確な焦点調整等が可能となる。

なお、前述の例では、Ａキズ検出部８０１１とＡキズ補正部８０２１に対して参照範囲は共通に設定されているが、Ａキズ検出部８０１１とＡキズ補正部８０２１とでそれぞれ参照範囲が調整されてもよい。Ａキズ検出部８０１１とＡキズ補正部８０２１は別の構成となされているが、それらを一つの構成としてもよい。また、キズ画素検出処理とキズ補正処理は単純なフィルタにより行われる場合だけでなく、複数のフィルタが組み合わされた構成により行われてもよい。また、参照範囲は、例えば着目画素やキズ画素が含まれる色成分のラインに対応した他の色成分のライン上の同位置の各画素を含む範囲となされてもよい。これらのことはＢキズ検出部８０１２とＢキズ補正部８０２２についても同様である。

前述の例では、着目画素のライン（Ｒ６行）に対し、距離Ｄｄが閾値ＴＨ１以上で、距離Ｄｕが閾値ＴＨ１未満の例を挙げているため、垂直方向上側のライン（Ｒ４行）が参照範囲に残り、垂直方向下側のライン（Ｒ２２行）は参照範囲から除外されている。これに対し、例えば、距離Ｄｄが閾値ＴＨ１未満で、距離Ｄｕが閾値ＴＨ１以上の場合には、着目画素のラインに対して、垂直方向下側のラインの画素が参照画素となされ、垂直方向上側のラインの画素は参照画素から除外されることになる。また例えば、距離Ｄｄと距離Ｄｕの両方が閾値ＴＨ１以上になる場合には、着目画素のラインに対して、垂直方向上側のラインと垂直方向下側のラインの両方の画素が参照画素から除外されることになる。このように、着目画素のラインに対して、垂直方向上側のラインと垂直方向下側のラインの両方の画素が参照画素から除外された場合には、前述した第１の実施形態と同様に、着目画素のライン上で着目画素の左右の隣接画素のみが参照画素となる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。第３の実施形態の撮像装置の構成は、図６に示した第２の実施形態の構成と基本的に同じであるため、その図示と説明は省略する。第３の実施形態の撮像装置と第２の実施形態の撮像装置とでは、概ね、第２のキズ検出補正部６０７２と参照画素判定部６０９における処理が異なる。以下、図６を参照しながら、第２の実施形態とは異なる部分を中心に、第３の実施形態の撮像装置について説明する。

第３の実施形態において、参照画素判定部６０９は、前述した距離Ｄｕと距離Ｄｄを式（１）により算出することまでは第２の実施形態の場合と同様である。第３の実施形態の場合、参照画素判定部６０９は、前述した閾値ＴＨ１を用いた判定処理を行わず、距離Ｄｕ及び距離Ｄｄの情報を、第２のキズ検出補正部６０７２に送る。なお、距離Ｄｕと距離Ｄｄの情報をそのまま出力するのではなく、例えば正規化処理やゲイン調整処理を行ってから出力してもよい。以下の説明では、距離Ｄｕと距離Ｄｄの情報がそのまま第２のキズ検出補正部６０７２に出力される例を挙げる。すなわち、第３の実施形態の場合、参照画素判定部６０９から第２のキズ検出補正部６０７２に送られる参照画素情報は、前述した参照画素の使用可否を表す情報ではなく、距離Ｄｕと距離Ｄｄの情報となされている。また、前述した図７を例に挙げた場合、距離Ｄｕの値は"２"であり、距離Ｄｄの値は"１６"であるため、以下、距離Ｄｕが"２"、距離Ｄｄが"１６"である例を用いて説明する。

第３の実施形態において、第２のキズ検出補正部６０７２の構成は、図８に示した第２の実施形態の構成と基本的に同じであるため、その図示と説明は省略する。なお、第３の実施形態における図８の各部の処理は、例えばＣＰＵが本実施形態に係るプログラムを実行することにより実現されてもよい。以下、第３の実施形態における第２のキズ検出補正部６０７２について、図８を参照しながら説明する。

なお、第３の実施形態においても、Ａキズ検出部８０１１とＢキズ検出部８０１２におけるキズ画素検出処理は基本的に同じ処理であるため、以下、Ａキズ検出部８０１１のみを例に挙げて説明する。同様に、Ａキズ補正部８０２１とＢキズ補正部８０２２におけるキズ補正処理についても基本的に同じ処理であるため、以下、Ａキズ補正部８０２１のみを例に挙げて説明する。

Ａキズ検出部８０１１は、図７の３×３画素のベース参照範囲７０２の各参照画素を用いて、着目画素７０１がキズ画素かどうかを判定するキズ画素検出処理を行う。第３の実施形態においては、以下に説明するようなフィルタ処理によるキズ画素検出処理を行う。

第３の実施形態のＡキズ検出部８０１１によるキズ画素検出処理は、例えば前述の式（３）に示したようなフィルタ係数によるフィルタ演算処理が挙げられる。また、第３の実施形態の場合は、参照画素判定部６０９から供給される距離Ｄｕと距離Ｄｄの参照画素情報に基づいて、式（３）のフィルタ係数が調整される。すなわち、第３の実施形態において、図８の参照調整部８０４は、参照画素情報である距離Ｄｕと距離Ｄｄの情報を基に、式（３）のフィルタ係数を調整するための調整情報を生成する。具体的には、参照画素判定部６０９は、距離Ｄｕや距離Ｄｄが大きくなる（着目画素から参照画素が遠くなる）ほど、式（３）のフィルタ係数を小さくするような調整情報が生成される。

ここで、式（３）のフィルタ係数を調整する際の調整情報として、例えば距離Ｄｕ及び距離Ｄｄの値の逆数を用い、それら逆数の値を式（３）のフィルタ係数に乗算するような調整処理を行った場合、式（９）のフィルタ係数が生成されることになる。なお、前述した図７の例の場合、距離Ｄｕは"２"で、距離Ｄｄは"１６"であるため、距離Ｄｕの逆数は"１／２"、距離Ｄｄの逆数は"１／１６"である。したがって、式（９）のフィルタ係数は、図７のライン（Ｒ４行）の各画素７１０〜７１２に対応した各フィルタ係数が"１／２"、図７のライン（Ｒ２２行）の各画素７１５〜７１７に対応した各フィルタ係数が"１／１６"となされる。なお、着目画素７０１のライン（Ｒ６行）内の参照画素（画素７１３，７１４）に対応したフィルタ係数は"１"のまま調整されない。

ただし、Ａキズ検出部８０１１において、例えば式（９）の各フィルタ係数に応じたゲインを各参照画素の画素値に重畳するような処理を行ったとすると、画素毎でフィルタ出力が揃わなくなる。このため、第３の実施形態の参照調整部８０４は、下記式（１０）のように、距離Ｄｕ及び距離Ｄｄの値の逆数によるフィルタ係数の調整と共に、着目画素７０１に対応した中央のフィルタ係数をも調整するような調整情報を生成する。具体的には、第３の実施形態の参照調整部８０４は、着目画素７０１に対応した中央のフィルタ係数を、各参照画素における距離Ｄｕ及び距離Ｄｄの値の逆数の加算値に基づく係数値である"−５９／１６"に調整するような調整情報を生成する。このように、式（１０）のフィルタ係数は、Ａキズ補正部８０２１におけるフィルタ処理の出力が画素毎に揃うようにする正規化処理が行われたフィルタ係数となされる。したがって、Ａキズ検出部８０１１では、前述した式（３）のフィルタ係数が、参照調整部８０４からの調整情報に応じて調整された式（１０）のフィルタ係数を用いたキズ画素検出処理が行われることになる。

第３の実施形態において、Ａキズ検出部８０１１は、前述したようなキズ画素検出処理によるキズ判定結果と検出されたキズ画素の位置の情報を、Ａキズ補正部８０２１に送る。第３の実施形態のＡキズ補正部８０２１は、Ａキズ検出部８０１１で検出されたキズ画素の位置情報を基にキズ画素に相当する信号を特定し、キズ画素の位置に基づく参照範囲内で正常な画素のＡ像信号を用いて、そのキズ画素の信号を補正する。例えば、Ａキズ補正部８０２１は、例えば図７に示した３×３画素のベース参照範囲７０２の各画素を参照画素として用い、前述の式（６）に示したフィルタ係数を用いた処理により補間画素を生成してキズ画素を補正するようなキズ補正処理を行う。

また、第３の実施形態において、Ａキズ補正部８０２１で用いられる式（６）のフィルタ係数は、参照画素判定部６０９から供給される距離Ｄｕ及び距離Ｄｄの参照画素情報に基づいて調整される。具体的には、参照画素判定部６０９は、距離Ｄｕや距離Ｄｄが大きくなる（着目画素から参照画素が遠くなる）ほど、式（６）のフィルタ係数を小さくするような調整情報が生成される。

ここで、式（６）のフィルタ係数を調整する際の調整情報として、例えば距離Ｄｕ及び距離Ｄｄの値の逆数を用い、それら逆数の値を式（６）のフィルタ係数に乗算するような調整処理を行った場合、下記式（１１）のフィルタ係数が生成されることになる。なお、前述した図７の例の場合、距離Ｄｕが"２"で、距離Ｄｄが"１６"であるため、距離Ｄｕの逆数は"１／２"、距離Ｄｄの逆数は"１／１６"である。したがって、式（１１）のフィルタ係数は、図７のライン（Ｒ４行）の各画素７１０〜７１２に対応した各フィルタ係数が"１／２"、図７のライン（Ｒ２２行）の各画素７１５〜７１７に対応した各フィルタ係数が"１／１６"となされる。なお、着目画素７０１のライン（Ｒ６行）内の参照画素（画素７１３，７１４）に対応したフィルタ係数は"１"のまま調整されない。

ただし、Ａキズ補正部８０２１において、例えば式（１１）の各フィルタ係数に応じたゲインを各参照画素の画素値に重畳する処理を行ったとすると、画素毎でフィルタ出力が揃わなくなる。このため、第３の実施形態の参照調整部８０４は、下記式（１２）のように、距離Ｄｕ及び距離Ｄｄの値の逆数によるフィルタ係数の調整と共に、着目画素７０１に対応した中央のフィルタ係数をも調整する調整情報を生成する。具体的には、第３の実施形態の参照調整部８０４は、フィルタ係数の除数を、各参照画素における距離Ｄｕ及び距離Ｄｄの値の逆数の加算値に基づく係数値である"５９／１６"に調整するような調整情報を生成する。これにより、式（１２）のフィルタ係数は、Ａキズ補正部８０２１におけるフィルタ処理の出力が画素毎に揃うようにする正規化処理が行われたフィルタ係数となされる。したがって、Ａキズ検出部８０２１では、前述した式（６）のフィルタ係数が、参照調整部８０４からの調整情報に応じて調整された式（１２）のフィルタ係数を用いたキズ画素検出処理が行われることになる。

なお、第３の実施形態においても第２の実施形態の場合と同様、Ａキズ検出部８０１１によるキズ画素判定の結果が２値で表されている場合、Ａキズ補正部８０２１は、そのキズ判定結果に応じて、キズ画素を補間画素により置換する。また例えば、キズ画素判定の結果が多値で表されている場合、Ａキズ補正部８０２１は、キズ判定結果の多値に応じて、キズ画素又は補間画素の何れか又は両方に重みを付けて、それら重み付けされた値を合成するようなキズ補正処理を行ってもよい。例えば、Ａキズ補正部８０２１は、キズ画素判定の結果を表す多値の値が大きいほど、小さくなるような重み付けを行って、その重み付け後の値を合成する処理を行う。また、第３の実施形態において、参照調整部８０４は、キズ補正部８０２１で使用されるフィルタ係数等を調整するための調整情報を生成したが、参照調整部８０４が調整後のフィルタ係数等を生成してキズ補正部８０２１に送るようにしてもよい。

Ａキズ補正部８０２１によりキズ補正処理がなされた後のＡ像信号と、Ｂキズ補正部８０２２によりキズ補正処理がなされた後のＢ像信号とは、結合部４０３に送られ、結合部４０３は、前述同様にＡ像信号とＢ像信号を結合する。結合部４０３から出力された測距演算信号は、図示しない後段の測距演算部に送られて、第１の実施形態と同様に、光学系１００で焦点調整を行う際のフォーカスレンズの駆動量などが求められる。

以上説明したように、第３の実施形態によれば、測距演算信号が離散的なライン間隔で読み出される場合において、着目画素からの距離に基づいてベース参照範囲に対応した各フィルタ係数を調整する。これにより第３の実施形態においても前述の各実施形態と同様に、最適な参照画素を用いたキズ画素検出処理及びキズ補正処理が可能となり、したがって、キズ画素の誤検出・誤判定やキズ画素の誤補正等が生ずる可能性は非常に少ない。このため、第３の実施形態においても前述の各実施形態と同様に、測距演算信号が離散的なライン間隔で読み出される場合において、例えばキズ補正処理後の測距演算信号を用いた正確な焦点調整等が可能となる。

なお、第３の実施形態においても前述した各実施形態と同様に、Ａキズ検出部８０１１とＡキズ補正部８０２１とで、それぞれ参照範囲が調整されてもよい。また、Ａキズ検出部８０１１とＡキズ補正部８０２１とは一つの構成であってもよい。また、キズ画素検出処理とキズ補正処理は、複数のフィルタが組み合わされた構成により行われてもよい。また、参照範囲は、着目画素が含まれる色成分のラインに対応した他の色成分のライン上の同位置の各画素を含む範囲となされてもよい。これらのことはＢキズ検出部８０１２とＢキズ補正部８０２２についても同様である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０２ 撮像素子、１０４ 信号分離部、１０５ 信号加算部、１０８ ＣＰＵ、１０６１ 第１のセンサ補正部、１０６２ 第２のセンサ補正部、１０７１ 第１のキズ検出補正部、１０７２ 第２のキズ検出補正部

Claims (13)

1. 撮像素子の画素配列上で離散的に離れた領域毎に所定の読み出し動作が行われる各画素の中で、着目画素と、前記着目画素に対する参照画素とを設定する設定手段と、
   前記参照画素の画素信号を用いて、前記着目画素の画素信号に対して所定の信号処理を行う処理手段と、を有し、
   前記設定手段は、前記離散的に離れた各領域のうち前記着目画素を含んだ領域の中で前記着目画素の周辺画素を、前記所定の信号処理に用いる前記参照画素として設定することを特徴とする画像処理装置。
2. 前記設定手段は、前記着目画素を含んだ領域と、前記離散的な各領域のうち前記着目画素を含む領域とは異なる領域との間の距離に基づいて、前記異なる領域の中の画素をさらに参照画素として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記着目画素と、前記離散的な各領域のうち前記着目画素を含む領域とは異なる領域の画素との間の距離に基づいて、前記異なる領域の中の画素をさらに参照画素として設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、前記距離が所定の閾値未満である場合に、前記異なる領域の中の画素を前記参照画素に含めることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記設定手段は、前記異なる領域の画素を前記参照画素として含ませる参照範囲を、前記距離に基づいて調整することを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
6. 前記設定手段は、前記距離が所定の閾値以上である場合、前記異なる領域の中の画素を含まないように前記参照範囲を調整することを特徴とする請求項５に記載の画像処理装置。
7. 前記処理手段は、前記距離に基づいて、前記参照画素の画素信号を調整することを特徴とする請求項２又は３に記載の画像処理装置。
8. 前記処理手段は、前記距離が離れるほど値が小さくなるように前記参照画素の画素信号を調整することを特徴とする請求項７に記載の画像処理装置。
9. 前記所定の読み出し動作が行われる前記領域は前記撮像素子の画素配列のうち水平方向のラインであり、前記離散的な領域は前記撮像素子の画素配列の全てのラインの中で少なくとも１ラインおきのラインであることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記撮像素子の画素は、撮像光学系の射出瞳を二つ以上に分割する二つ以上の光電変換素子からなり、
    前記撮像素子は、前記射出瞳を分割する前記二つ以上の光電変換素子から信号をそれぞれ読み出して位相差を検出するための画素信号を取得する前記所定の読み出し動作と、前記二つ以上の光電変換素子の信号を加算した画素信号を読み出す加算読み出し動作とが、撮像素子の画素配列上の領域毎に制御され、
    前記処理手段は、前記所定の読み出し動作による画素信号に対する前記所定の信号処理と、前記加算した画素信号に対する前記所定の信号処理とを含む、ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記所定の信号処理は、前記画素信号に対する不良画素の検出処理と前記不良画素の補正処理との少なくとも何れかの処理を含むことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 撮像素子の画素配列上で離散的に離れた領域毎に所定の読み出し動作が行われる各画素の中で、着目画素と、前記着目画素に対する参照画素とを設定する設定工程と、
    前記参照画素の画素信号を用いて、前記着目画素の画素信号に対して所定の信号処理を行う処理工程と、を有し、
    前記設定工程では、前記離散的に離れた各領域のうち前記着目画素を含んだ領域の中で前記着目画素の周辺画素を、前記所定の信号処理に用いる前記参照画素として設定することを特徴とする画像処理装置の画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images