JP2019075718A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 異なる読み出し方法により読み出された画像信号を含むフレームデータを処理する場合に、画像上の縞の発生を抑制すること。【解決手段】 光電変換部で蓄積された電荷をＦＤ部を介して読み出した信号を出力する、複数の画素の配列からなる画素アレイと、該画素アレイを異なる複数の駆動方法により駆動する駆動手段と、を持つ撮像素子と、遮光された画素から出力された信号から黒レベルを推定する複数の推定手段と、いずれかの推定手段により推定された黒レベルを用いて信号を補正する補正手段と、を有し、複数の推定手段は、ＦＤリーク状態の異なる複数の駆動方法に応じて設けられ、第１の推定手段は、第１の駆動方法によるＦＤリーク状態を有する信号のうち、第１の閾値より大きい信号を除いた信号に基づいて黒レベルを推定し、第２の推定手段は、第２の駆動方法によるＦＤリーク状態を有する信号のうち、第２の閾値より大きい信号を除いた信号に基づいて黒レベルを推定する。【選択図】 図９

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、撮像面で焦点検出を行うことが可能な撮像装置及びその制御方法に関する。

各画素にマイクロレンズが形成されたイメージセンサを用いて、瞳分割方式の焦点検出を行う撮像装置が知られている。

特許文献１には、撮像装置において、瞳分割方式の位相差検出が可能な技術が開示されている。特許文献１では、撮像素子の１つの画素は２つのフォトダイオード（以下、「分割画素」と呼ぶ。）を有しており、各フォトダイオードは１つのマイクロレンズによって、撮影レンズの異なる瞳を通過した光を受光するように構成されている。このような分割画素を持つ撮像素子では、分割画素の信号を画素毎に加算して読み出す加算読み出しを行うことにより、通常の画像信号を得ることができる。また、分割画素の信号をそれぞれ読み出す分割読み出しを行って得られた出力信号（分割画素信号）の波形を比較することで、撮像面位相差ＡＦが可能となるとともに、分割画素信号を画素毎に加算することで、通常の画像信号を得ることもできる。

このように、２つの分割画素から、分割画素信号と通常の画像信号とを共に得ることのできる分割読み出し方法は、例えば、動画撮影やミラーレスカメラによる静止画撮影時の合焦動作に有効である。

また、特許文献２には、撮影された画像信号の黒レベルを調整する目的で、撮像素子から出力された画像信号から黒レベルを検出し、補正する技術が開示されている。

特開２００１−８３４０７号公報 特開平８−３２１９７０号公報

しかしながら、特許文献１に記載された分割読み出しでは、各画素における分割画素信号の読み出しタイミングの相違や、分割画素信号の合成等に伴う、加算読み出し時とは異なる信号の取扱いが必要となる。

例えば、分割画素信号をＡ／Ｄ変換後にデジタル値で合成する場合、得られた画像信号は、暗電流系の影響である、フローティングデフュージョン部（ＦＤ）での電荷のリーク（ＦＤリーク）の影響を、加算読み出しで得られる画像信号の２倍、受けることになる。

また、特許文献１に記載された構成を有する撮像素子から、次のようにして信号を読み出すこともできる。すなわち、各画素の一方の分割画素から分割画素信号を読み出し、その後、ＦＤにその電荷が残っている状態で、他方の分割画素の信号を転送してＦＤ上で電荷を加算してから、信号を読み出す。そして、加算して読み出された信号から、分割画素信号を差し引くことで、一対の分割画素信号を取得することができる。また、加算して読み出された信号は、画像信号として用いることができる。しかしながら、分割画素信号の読み出し後に加算して読み出された信号は、分割画素信号の読み出しをすることなく加算読み出しにより得られた画像信号よりも、ＦＤで保持される時間が長いため、ＦＤリークの影響をより受けることになる。

また、例えば、動画撮影や静止画撮影の高速な連写時に、撮像素子からの画像データの転送帯域を抑えつつ撮像面位相差ＡＦを実施するために、１フレームを構成するラインのうちの一部のラインから分割画素信号を読み出すことが行われている。その場合、分割画素信号の読み出しをせずに加算読み出しを行うラインの画像信号と、分割画素信号の読み出しを行うラインの画像信号とでは、前述したように、ＦＤリークによる影響に相違が出る。分割画素信号を読み出すラインの画像信号は、ＦＤリークによる影響が大きく、特に、その程度の大きい画素では、ＦＤリーク傷として、後の信号処理に影響を及ぼす。

ＦＤリーク傷は、イメージセンサ上に配置した遮光部画素領域（ＯＢ領域）を使ってクランプ用の黒レベル推定をする際に、本来の黒レベルよりも高い値を検出値としてしまう。その場合、例えば水平方向のＯＢ領域の画素値に基づいて推定された推定黒レベルで、分割画素信号を得たラインのオフセット補正を実施した際に過補正となり、横縞となって画質低下を招いてしまう。

一方、特許文献２に記載された技術では、撮像素子からの画像信号の読み出し方法がライン毎に異なることによって、ライン単位で黒レベルが変化してしまい、ラインの境界で正しい黒レベルを検出することができない場合がある。また、撮像素子の回路構成に起因してライン単位や画素単位で黒レベルが変化してしまい、正しい黒レベルを検出することができないという課題がある。このような課題に対し、信号処理部内に複数の検出処理を備え、撮像素子の駆動に合わせて検出処理を切り替えることで独立に検出できるような構成を採る撮像装置も知られている。しかしながら、撮像素子からの画像信号の読み出し方法が複雑になるほど、また、撮像素子の回路構成が複雑になるほど、検出処理の切り替え制御は煩雑になってしまうという課題がある。

本発明は上記問題点を鑑みてなされたものであり、加算読み出しのみを行うラインから得られた画像信号と、分割読み出しを行うラインから得られた画像信号とを含むフレームデータを処理する場合に、画像上の縞の発生を抑制することを第１の目的とする。

また、撮像素子の読み出しラインごとに黒レベルが変動している場合でも、複雑な制御をすることなく、精度よく黒レベルを推定し、補正することを第２の目的とする。

上記目的を達成するために、本発明の撮像装置は、光電変換部で蓄積された電荷をフローティングディフュージョン（以下、ＦＤ）を介して信号を出力する、遮光された画素を含む複数の画素の配列からなる画素アレイと、前記画素アレイを異なる複数の駆動方法により駆動する駆動手段と、を有する撮像素子と、前記遮光された画素から出力された信号から、黒レベルを推定する複数の推定手段と、前記複数の推定手段のいずれかにより推定された黒レベルを用いて、前記撮像素子から出力された信号を補正する補正手段と、を有し、前記駆動手段は、前記複数の駆動方法を切り替えてフレームの走査を行うことが可能であり、前記複数の駆動方法のうちの第１の駆動方法と第２の駆動方法とにおける前記ＦＤの暗電流成分について、第１の駆動方法における第１のＦＤでのリークの影響（以下、第１のＦＤリーク）の状態と、第２の駆動方法における第２のＦＤでのリークの影響（以下、第２のＦＤリーク）の状態と、を、定義したときに、前記複数の推定手段のうち、第１の推定手段は、前記第１のＦＤリークの状態を有する信号のうち、第１の閾値より大きい信号を除いた信号に基づいて黒レベルを推定し、前記複数の推定手段のうち、第２の推定手段は、前記第２のＦＤリークの状態を有する信号のうち、第２の閾値より大きい信号を除いた信号に基づいて黒レベルを推定する。

本発明によれば、加算読み出しのみを行うラインから得られた画像信号と、分割読み出しを行うラインから得られた画像信号とを含むフレームデータを処理する場合に、画像上の縞の発生を抑制することができる。

また、撮像素子の読み出しラインごとに黒レベルが変動している場合でも、複雑な制御をすることなく、精度よく黒レベルを推定し、補正することができる。

本発明の第１及び第２の実施形態における撮像装置の概略構成を示すブロック図。 第１及び第２の実施形態における撮像素子の構成を説明するためのブロック図。 第１及び第２の実施形態における画素の構成を示す平面図及び断面図。 第１及び第２の実施形態における撮像素子からの１フレーム分の信号の読み出しの概念を示すタイミングチャート。 第１及び第２の実施形態における第１の駆動方法による撮像素子からの読み出し動作を示すタイミングチャート。 第１及び第２の実施形態における第２の駆動方法による撮像素子からの読み出し動作を示すタイミングチャート。 第１及び第２の実施形態における撮像素子から読み出された１フレーム分の信号を示す概念図。 第１の実施形態におけるＯＢ領域の傷状態の一例を示す図。 第１の実施形態におけるクランプ処理回路の等価回路図。 第１の実施形態の変形例における第３の駆動方法による撮像素子からの読み出し動作を示すタイミングチャート。 第１の実施形態の変形例における撮像素子から読み出された１フレーム分の信号を示す概念図。 第１の実施形態の変形例における撮像装置の概略構成を示すブロック図。 図１１に示す１フレーム分の信号のうち、焦点検出用信号を加算した状態を示す概念図。 第２の実施形態における第２視差ラインのＯＢ領域の傷状態の一例を示す図。 第２の実施形態におけるクランプ処理回路の等価回路図。 第２の実施形態におけるクランプ処理回路のレベル割込み処理のフローチャート。 第２の実施形態におけるクランプ処理回路の要部信号のタイミングチャート。 第３の実施形態における撮像装置の概略構成を示すブロック図。 第３の実施形態における撮像素子の一部の画素の構成を模式的に示す図。 第３の実施形態における撮像素子の一部の画素の構成を示す等価回路図。 第３の実施形態における撮像素子に配置された画素の配列を模式的に示す図。 第３の実施形態における処理を示すフローチャート。 第３の実施形態における撮像素子から出力される画像信号と付帯信号を示す図。 第３の実施形態における信号処理のタイミングチャート。 第４の実施形態における撮像装置の概略構成を示すブロック図。 第４の実施形態における撮像素子の構成を示すブロック図。 第４の実施形態における処理を示すフローチャート。 第４の実施形態における撮像素子から出力される画像信号と付帯信号を示す図。 第４の実施形態における信号処理のタイミングチャート。

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
本発明の信号処理回路を用いた撮像装置の実施形態について、図１〜図１３を参照して以下に説明する。

図１は、第１の実施形態における撮像装置１の概略構成を示すブロック図である。図１において、撮像素子１０３は、撮影光学系１０２を介して入射した光を光電変換し、更にアナログ・デジタル（ＡＤ）変換して、得られたデジタル信号を出力する。なお、詳細については後述するが、撮像素子１０３は複数の画素を有し、各画素がそれぞれ複数の光電変換素子を有する、撮像面位相差ＡＦに対応した構成を有する。そして、複数の光電変換素子から、視差を有する一対の焦点検出用信号を取得可能に読み出すことができる。また、複数の光電変換素子の信号を画素毎に加算して読み出すことで、通常の画像信号を得ることができる。

信号処理回路１０４は、主に、撮像素子１０３から読み出された画像信号の補正と、焦点検出用信号に基づく合焦制御用の評価値の取得とを行う。信号処理回路１０４に入力された信号を用いて、まず、クランプ処理回路１０４１により、入力フレームデータの黒レベルが再現される。そして、像データ分離部１０４０により、一対の焦点検出用の信号は撮像面位相差ＡＦ用の信号処理パスに、また、画像信号は記録系の信号処理パスに送出される。

ＡＦ用の信号処理パスは、一対の焦点検出用信号それぞれに対してシェーディング補正を行うシェーディング補正部１０４５と、焦点検出領域に含まれる一対の焦点検出用信号を用いて、位相差ＡＦのための相関値を演算する相関演算部１０４６を含む。なお、相関演算は、公知の手法を用いて行えば良く、また、相関演算部１０４６は、１画素以下の分解能に対するサブピクセル推定のような処理も行うことができる。相関演算部１０４６により得られた相関値は、デフォーカス量計算部１１３でレンズ駆動量に変換され、撮影光学系１０２へとフィードバックされる。なお、相関値からレンズ駆動量への変換係数は、事前に取得した値を保持しておく。

一方、記録系の信号処理パスは、画像信号に対してシェーディング補正を行うシェーディング補正部１０４２と、撮像素子１０３の画素欠陥を補正する傷補正部１０４３を含む。傷補正部１０４３から出力された画像信号は、画像処理回路１０５に入力される。画像処理回路１０５は、ノイズ抑圧のためのノイズリダクション（ＮＲ）部１０５０と、回折による画質低下を回復する光学回復処理部１０５１と、色データの処理（同時化、偽色処理、ガンマ補正等）を行う現像処理部１０５２を含む。

符号化処理部１０７は、画像処理回路１０５による画像処理後の画像データを記録用に圧縮し、記録処理部１０８は、記録メディア１０９に対して記録処理を行う。記録メディア１０９としては、例えば、ＳＤカードやコンパクトフラッシュ（登録商標）等のメモリカードや、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等を用いても構わない。

表示処理部１１０は、画像処理回路１０５による画像処理後の画像データを、例えば、ＬＣＤ等の表示デバイス１１１における表示に適したビデオ信号に変換して、表示デバイス１１１に転送する。

ＣＰＵ１００は、ＲＯＭ１０６に格納されたプログラムコードを実施して、撮像装置１全体を制御する。同期信号発生部（ＳＳＧ：Synchronous Signal Generator）１０１は、撮像素子１０３の駆動タイミングを制御するタイミングジェネレータ（ＴＧ）１１２にフレーム同期信号を送信して、撮像タイミングを制御する。また、信号処理回路１０４に対して、フレーム信号処理タイミングをとるための同期信号を出力する。

撮像素子１０３と信号処理回路１０４の間の関係は一例であり、撮像素子１０３と信号処理回路１０４との間をプロトコルに従ったデジタルＩＦで接続するならば、信号処理回路１０４の撮像データ受信は該デジタルＩＦ中の定義のみで成立する。従って、撮像素子１０３にはＳＳＧ１０１からフレーム開始のトリガ信号を送出する程度の制御でも良い。

図２は、撮像素子１０３の構成を説明するためのブロック図である。なお、図２では、撮像素子１０３を構成する多数の画素１０のうち、分かり易く示すために２行２列の画素１０のみを示しているが、画素１０の数は特に限定されるものではない。また、複数の画素１０のうち、後述する図７の領域８０３に相当する列が、遮光されたオプティカルブラック（ＯＢ）領域となっており、このＯＢ領域から出力された信号を用いて、後述する黒レベルの推定及び補正を行うことができる。

画素１０は、行方向及び列方向に沿って２次元マトリクス状（行列状）に配列され、画素アレイを構成する。本第１の実施形態では、各画素１０は、複数の光電変換素子を有する瞳分割型の画素として構成される。各画素１０は、一対の光電変換素子２４Ａ，２４Ｂ、一対の光電変換素子２４Ａ，２４Ｂそれぞれに対応する転送ＭＯＳトランジスタ２６Ａ，２６Ｂ、リセットＭＯＳトランジスタ２８、増幅ＭＯＳトランジスタ３０、選択ＭＯＳトランジスタ３２を有する。なお、図２では１つの画素１０についてのみ具体的な回路構成の一例を示しているが、他の画素も同様の構成を有する。

光電変換素子２４Ａ，２４Ｂは、例えば、フォトダイオードから構成される。光電変換素子２４Ａのアノードは接地電圧線に接続され、カソードは転送ＭＯＳトランジスタ２６Ａのソースに接続されている。同様に、光電変換素子２４Ｂのアノードは接地電圧線に接続され、カソードは転送ＭＯＳトランジスタ２６Ｂのソースに接続されている。転送ＭＯＳトランジスタ２６Ａ，２６Ｂのドレインは、リセットＭＯＳトランジスタ２８のソース及び増幅ＭＯＳトランジスタ３０のゲートに接続されている。

転送ＭＯＳトランジスタ２６Ａ，２６Ｂのドレイン、リセットＭＯＳトランジスタ２８のソース及び増幅ＭＯＳトランジスタ３０のゲートの接続ノードは、フローティングディフュージョン（ＦＤ）領域３４を構成する。リセットＭＯＳトランジスタ２８及び増幅ＭＯＳトランジスタ３０のドレインは、電源電圧線に接続されている。増幅ＭＯＳトランジスタ３０のソースは、選択ＭＯＳトランジスタ３２のドレインに接続されている。転送ＭＯＳトランジスタ２６Ａ，２６Ｂ、リセットＭＯＳトランジスタ２８、増幅ＭＯＳトランジスタ３０、選択ＭＯＳトランジスタ３２は、光電変換素子２４Ａ，２４Ｂで生成された電荷に基づく画素信号を読み出すための画素内読み出し回路を構成する。なお、トランジスタのソースとドレインの呼称は、トランジスタの導電型や着目する機能等に応じて異なることがあり、上述のソースとドレインとは逆の名称で呼ばれることもある。

複数の画素１０で構成される画素アレイは、図２中、垂直走査回路１２や水平走査回路１４等の駆動手段の動作によって画素読み出しを実施する。

図３は、画素１０の構成を示す平面図及び断面図であり、図３（ａ）は画素アレイの上面模式図、また、図３（ｂ）は図３（ａ）のＡ−Ａ′線断面図である。図２に示す回路構成を有する画素アレイは、特に限定されるものではないが、例えば図３（ａ）に示す平面レイアウトによって実現することができる。図３（ａ）において点線で囲まれた領域が、単位画素（画素１０）である。各画素１０上には、１個のマイクロレンズ３８がそれぞれ配置されている。また、光電変換素子２４Ａ，２４Ｂとマイクロレンズ３８との間には、図３（ｂ）に示すように、カラーフィルタ３６が配置されている。各マイクロレンズ３８によって集光された入射光は、そのマイクロレンズ３８に対応する画素１０の光電変換素子２４Ａ，２４Ｂに入射する。

図２に戻り、画素アレイの各行には、列方向に延在して、信号線ＴＸＡ、ＴＸＢ、ＲＥＳ、ＳＥＬが、それぞれ配線されている。信号線ＴＸＡは、行方向に並ぶ複数の画素１０の転送ＭＯＳトランジスタ２６Ａのゲートにそれぞれ接続され、信号線ＴＸＢは、同じく、行方向に並ぶ複数の画素１０の転送ＭＯＳトランジスタ２６Ｂのゲートにそれぞれ接続されている。また、信号線ＲＥＳは、行方向に並ぶ複数の画素１０のリセットＭＯＳトランジスタ２８のゲートにそれぞれ接続され、信号線ＳＥＬは、行方向に並ぶ複数の画素１０の選択ＭＯＳトランジスタ３２のゲートにそれぞれ接続されている。なお、図２では、分かり易く示すために、１つの画素１０に接続される信号線ＴＸＡ、ＴＸＢ、ＲＥＳ、ＳＥＬのみを示している。

垂直走査回路１２は、ＴＧ１１２からの所定のタイミング信号に基づき、画素１０を行毎に選択して、選択した行の画素１０から画素信号を出力させるように駆動する。信号線ＴＸＡ、ＴＸＢ、ＲＥＳ、ＳＥＬは、垂直走査回路１２に接続されている。信号線ＴＸＡには、垂直走査回路１２から、転送ＭＯＳトランジスタ２６Ａを駆動するための転送パルス信号ＰＴＸＡが出力される。信号線ＴＸＢには、垂直走査回路１２から、転送ＭＯＳトランジスタ２６Ｂを駆動するための転送パルス信号ＰＴＸＢが出力される。信号線ＲＥＳには、垂直走査回路１２から、リセットＭＯＳトランジスタ２８を駆動するためのリセットパルス信号PＲＥＳが出力される。信号線ＳＥＬには、垂直走査回路１２から、選択ＭＯＳトランジスタ３２を駆動するための選択パルス信号PＳＥＬが出力される。本実施形態では、これらの信号線ＴＸＡ、ＴＸＢ、ＲＥＳ、ＳＥＬにハイレベルの信号が印加されると、対応するトランジスタが導通状態（オン状態）になるものとする。また、ローレベルの信号が印加されると、対応するトランジスタが非導通状態（オフ状態）になるものとする。

画素アレイの各列には、行方向に延在して、垂直信号線４０がそれぞれ配置されている。垂直信号線４０は、列方向に並ぶ複数の画素１０それぞれの選択ＭＯＳトランジスタ３２のソースに接続されている。各列の垂直信号線４０には、列読み出し回路１６と電流源４２とが、それぞれ接続されている。列読み出し回路１６は、増幅部４４とＡＤ変換部５２とを有し、画素１０から読み出された信号を処理する。

増幅部４４は、演算増幅器（差動増幅器）４６と、スイッチ４８と、入力容量Ｃ０と、負荷容量Ｃｆとを有している。演算増幅器４６の反転入力端子は、入力容量Ｃ０を介して垂直信号線４０に接続されている。演算増幅器４６の非反転入力端子には、基準電圧が与えられている。演算増幅器４６の反転入力端子と出力端子との間には、負荷容量Ｃｆとスイッチ４８とが並列に接続されている。スイッチ４８は、制御ノードに印加される信号ＰＣ０Ｒにより駆動される。ここでは、信号ＰＣ０Ｒがハイレベルのときにスイッチ４８は導通状態（オン状態）となり、信号ＰＣ０Ｒがローレベルのときにスイッチ４８は非導通状態（オフ状態）となるものとする。

ＡＤ変換部５２は、バッファ回路を構成する演算増幅器５４と、コンパレータを構成する演算増幅器５６とを有している。演算増幅器５４の非反転入力端子は、演算増幅器４６の出力端子に接続されている。演算増幅器５４の反転入力端子は、演算増幅器５４の出力端子に接続されている。演算増幅器５４の出力端子は、演算増幅器５６の非反転入力端子に接続されている。演算増幅器５６の反転入力端子は、ランプ信号発生器２０に接続されている。演算増幅器５６の出力端子には、メモリ１８が接続されている。メモリ１８には、水平走査回路１４と、カウンタ２２とが接続されている。演算増幅器５４から出力された信号と、ランプ信号発生器２０から入力される、一定の傾きを有するランプ信号との大小関係が反転した時に、演算増幅器５６の出力が反転する。メモリ１８は、この反転時に、カウンタ２２から入力されたカウントを保持することで、ＡＤ変換が行われる。水平走査回路１４は、メモリ１８に保持されたデジタル信号を列毎に読み出して、撮像素子１０３の外部に出力する。

図４は、本実施形態における撮像素子１０３からの１フレーム分の信号の読み出しの概念を示すタイミングチャートである。本実施形態による撮像素子１０３の駆動方法では、図４に示すように、垂直同期信号ＶＤを基準として、シャッタ走査と読み出し走査とを、撮像素子１０３の行毎（Ｈ１〜Ｈｎ）に順次行う。まず、シャッタ走査により、行毎に順次、該当する行に属する複数の画素１０の光電変換素子２４Ａ，２４Ｂの保持電荷のリセットを行う。そして、読み出し走査により、行毎に順次、該当する行に属する複数の画素１０から光電変換素子２４Ａ，２４Ｂの蓄積電荷に基づく信号を読み出す。シャッタ走査から読み出し走査までの時間が、各行における光電変換素子２４Ａ，２４Ｂにおける電荷の蓄積期間となる。

図４は、１フレームを俯瞰する様表現しているため、図５の様に１水平期間を厳密に表現していない。本実施形態における焦点検出用信号取得には、光電変換素子２４Ａの蓄積電荷の転送と、光電変換素子２４Ｂの蓄積電荷分を含む転送と、が必要なため、図５の様に２水平期間を要する。

図５は、撮像素子１０３からの焦点検出用信号の読み出し駆動方法を示すタイミングチャートである。以下、図５を参照して、各行の読み出し動作について具体的に説明する。図５において、図４に示すシャッタ走査の動作は、概ね時刻ｔ１〜時刻ｔ３の期間に該当する。また、図４に示す読み出し走査の動作は、光電変換素子２４Ａからの転送電荷量の読み出しにおいては概ね時刻ｔ８〜ｔ９に、光電変換素子２４Ａ、２４Ｂを合わせた電荷量の読み出しにおいては時刻ｔ１４〜ｔ１５の期間に該当する。

まず、水平同期信号ＨＤに同期して、時刻ｔ１において、信号ＰＲＥＳ、信号ＰＴＸＡ、信号ＰＴＸＢがそれぞれハイレベルとなり、リセットＭＯＳトランジスタ２８及び転送ＭＯＳトランジスタ２６Ａ，２６Ｂがオン状態となる。これにより、光電変換素子２４Ａ，２４Ｂの蓄積電荷が、転送ＭＯＳトランジスタ２６Ａ，２６Ｂ及びリセットＭＯＳトランジスタ２８を介して排出される。すなわち、光電変換素子２４Ａ，２４Ｂのリセット動作が行われる。このように、本実施形態の駆動方法では、電子シャッタパルス（信号ＰＲＥＳ、信号ＰＴＸＡ及び信号ＰＴＸＢ）により、光電変換素子２４Ａ，２４Ｂを同時にリセットする。電子シャッタ駆動を行う場合、上述のように、読み出し走査に先行して画素１０のリセットを行う。

次に、時刻ｔ２において、信号ＰＴＸＡ及び信号ＰＴＸＢがローレベルとなり、転送ＭＯＳトランジスタ２６Ａ，２６Ｂがオフ状態となる。このタイミングで、光電変換素子２４Ａ，２４Ｂのリセット動作が終了し、光電変換素子２４Ａ，２４Ｂの電荷蓄積期間が開始する。転送ＭＯＳトランジスタ２６Ａ，２６Ｂがオフ状態となった後、時刻ｔ３において、信号ＰＲＥＳがローレベルとなり、リセットＭＯＳトランジスタ２８がオフ状態となる。これにより、一連のシャッタ走査の動作が完了する。

この状態で、光電変換素子２４Ａ，２４Ｂへの所定期間の電荷蓄積を行った後、行単位で、画素１０から光電変換素子２４Ａ，２４Ｂの蓄積電荷に基づく信号の読み出し、すなわち読み出し走査を行う。

水平同期信号ＨＤに同期して、時刻ｔ４において、信号ＰＲＥＳがハイレベルとされ、リセットＭＯＳトランジスタ２８がオン状態となる。これにより、増幅ＭＯＳトランジスタ３０の入力ノードでもあるＦＤ領域３４がリセットＭＯＳトランジスタ２８を介して電源電圧線に電気的に接続され、増幅ＭＯＳトランジスタ３０の入力ノードがリセットレベルの電位にリセットされる。また、同じく時刻ｔ４において、信号ＰＣ０Ｒがハイレベルとされ、スイッチ４８が導通状態となる。これにより、演算増幅器４６の出力端子と反転入力端子とを短絡して演算増幅器４６をバッファ状態とする。

時刻ｔ５において、信号ＰＳＥＬがハイレベルとされ、選択ＭＯＳトランジスタ３２がオン状態となる。これにより、増幅ＭＯＳトランジスタ３０は、ソースには垂直信号線４０を介して電流源４２からバイアス電流が供給された状態となり、ソースフォロワ回路を構成する。そしてこれによって、列読み出し回路１６には、増幅ＭＯＳトランジスタ３０の入力ノードがリセットレベルの電位であるときの信号（リセット信号）が、選択ＭＯＳトランジスタ３２及び垂直信号線４０を介して出力される。列読み出し回路１６に入力されたリセット信号は、入力容量Ｃ０を介して、基準電圧の出力をバッファする状態となっている演算増幅器４６の反転入力端子に入力される。

時刻ｔ６において、信号ＰＲＥＳがローレベルとなり、リセットＭＯＳトランジスタ２８がオフ状態となる。これにより、増幅ＭＯＳトランジスタ３０の入力ノードのリセット動作を解除する。

時刻ｔ７において、信号ＰＣ０Ｒがローレベルとなり、スイッチ４８が非導通状態となる。これにより、演算増幅器４６の帰還経路には負荷容量Ｃｆが接続された状態となり、入力容量Ｃ０と負荷容量Ｃｆとの比（Ｃ０／Ｃｆ）によって決定されるゲインに応じて増幅されたリセット信号が、演算増幅器４６の出力端子から出力される。

次いで、時刻ｔ８において、信号ＰＴＸＡをハイレベルとし、転送ＭＯＳトランジスタ２６Ａをオン状態とする。これにより、電荷蓄積期間に光電変換素子２４Ａにおいて光電変換によって生成された信号電荷がＦＤ領域３４に転送される。そして、垂直信号線４０には、光電変換素子２４Ａから転送された信号電荷の量に応じた増幅ＭＯＳトランジスタ３０の入力ノードの電位に基づく画素信号が、選択ＭＯＳトランジスタ３２を介して出力される。

画素１０から垂直信号線４０を介して画素信号を列読み出し回路１６に出力した後、時刻ｔ９において、信号ＰＴＸＡをローレベルとする。演算増幅器４６は、画素１０から入力容量Ｃ０を介して入力された画素信号を、入力容量Ｃ０と負荷容量Ｃｆとの比（Ｃ０／Ｃｆ）によって決定されるゲインに応じて増幅し、出力端子から出力する。この画素信号（焦点検出用信号）を、以下、「Ａ信号」と呼ぶ。

次いで、時刻ｔ１４において、信号ＰＴＸＡ，ＰＴＸＢを共にハイレベルとし、転送ＭＯＳトランジスタ２６Ａ，２６Ｂをオン状態とする。これにより、光電変換素子２４Ａ，２４Ｂにおいて光電変換によって生成された信号電荷がＦＤ領域３４に転送される。その結果、垂直信号線４０には、光電変換素子２４Ａ，２４Ｂの信号電荷の総量に応じた増幅ＭＯＳトランジスタ３０の入力ノードの電位に基づく画素信号が、選択ＭＯＳトランジスタ３２を介して出力される。

画素１０から垂直信号線４０を介して画素信号を列読み出し回路１６に出力した後、時刻ｔ１５において、信号ＰＴＸＡ，ＰＴＸＢをローレベルとする。演算増幅器４６は、画素１０から入力容量Ｃ０を介して入力された画素信号を、入力容量Ｃ０と負荷容量Ｃｆとの比（Ｃ０／Ｃｆ）によって決定されるゲインに応じて増幅し、出力端子から出力する。この画素信号を、以下、「Ａ＋Ｂ信号」と記す。このようにして読み出されたＡ＋Ｂ信号は、画像形成用信号としても用いる。その後、次の水平同期信号ＨＤの立ち下がりに同期して、信号ＰＳＥＬをローレベルとし、選択ＭＯＳトランジスタ３２をオフ状態として、当該行の読み出しを終了する。

増幅部４４から出力されたリセット信号、Ａ信号及びＡ＋Ｂ信号は、ＡＤ変換部５２によりデジタル信号に変換された後、メモリ１８に蓄積される。メモリ１８に蓄積された各列のこれらのデジタル信号は、水平走査回路１４からの制御信号に従って順次読み出される。列読み出し回路１６がＡＤ変換部５２を有していない場合は、出力アンプ若しくはバッファを通して、各列の信号が順次読み出される。

焦点検出用信号には、このようにして読み出された光電変換素子２４Ａの信号電荷に基づくＡ信号と、光電変換素子２４Ｂの信号電荷に基づく画素信号（以下、「Ｂ信号」と呼ぶ。）とが用いられる。ここでは、Ｂ信号は、Ａ＋Ｂ信号からＡ信号を差し引くことにより算出される。

ここで、図５に示すように、Ａ信号を取得する時刻（時刻ｔ８〜時刻ｔ９）と、Ａ＋Ｂ信号を取得する時刻（時刻ｔ１４〜時刻ｔ１５）とは、異なっている。また、光電変換素子２４Ａの信号電荷をＦＤ領域３４に転送してから、光電変換素子２４Ａ，２４Ｂの信号電荷をＦＤ領域３４に転送するまでの間に、増幅ＭＯＳトランジスタ３０の入力ノードのリセットは行われない。従って、時刻ｔ１４〜時刻ｔ１５において読み出すＡ＋Ｂ信号には、時間差ｄｔの間に増加したＦＤ領域３４の暗電流成分が重畳されることになる。なお、以下の説明において、上述した図５に示す駆動方法を、第１の駆動方法と呼ぶ。

次に、本実施形態における撮像装置１からの画像形成用信号の読み出し駆動方法について、図６のタイミングチャートを参照して説明する。この場合、図５に示す焦点検出用信号の読み出しと比較して、時刻ｔ８において、信号ＰＴＸＡ，ＰＴＸＢを共にハイレベルとして、転送ＭＯＳトランジスタ２６Ａ，２６Ｂをオン状態にするところが異なる。これにより、光電変換素子２４Ａ，２４Ｂの信号電荷がＦＤ領域３４に転送される。その結果、垂直信号線４０には、光電変換素子２４Ａ，２４Ｂの信号電荷の総量に応じた増幅ＭＯＳトランジスタ３０の入力ノードの電位に基づく画素信号が、選択ＭＯＳトランジスタ３２を介して出力される。このようにして出力された画素信号は、第１の駆動方法におけるＡ＋Ｂ信号の読み出しと同様に、演算増幅器４６により増幅されて、出力端子から出力される。この画素信号もＡ＋Ｂ信号と呼ぶ。なお、以下の説明において、上述した図６に示す駆動方法を、第２の駆動方法と呼ぶ。

ここで、記録用フレームデータを撮像中に、第１の駆動方法により焦点検出用信号（Ａ信号）を取得して、記録動作と合焦制御とを並行して行う場合を考える。このとき、撮像素子１０３と信号処理回路１０４との転送帯域を抑えるために、焦点検出用信号（Ａ信号）を全画素から読み出さずに、任意のラインでのみ読み出す制御を考える。図７は、そのような読み出し制御により撮像素子１０３から読み出された１フレーム分の信号を示す概念図である。図７において、水平方向は撮像素子１０３の列方向に対応し、垂直方向は撮像素子１０３の行方向に対応する。なお、図５に示すように、第１の駆動方法では、撮像素子１０３の１行分の信号を２水平期間で取得するため、図７では、２行に亘って示している。本実施形態では、焦点検出用信号（Ａ信号）の取得、すなわち第１の駆動方法による読み出しを、視差ライン取得周期８０５で周期的に行うものとする。

図７において、ライン８００は、第２の駆動方法で取得されたＡ＋Ｂ信号の読み出しライン（以下、「通常ライン」と呼ぶ。）を示す。通常ライン８００のデータは、信号処理回路１０４中、像データ分離部１０４０により分離されて、記録系の信号処理パス（シェーディング補正部１０４２、傷補正部１０４３）に送られ、ＡＦ用の信号処理パス（シェーディング補正部１０４５、相関演算部１０４６）には送られない。ライン８０１は、第１の駆動方法で得られるＡ信号の読み出しライン（以下、「第１視差ライン」と呼ぶ。）を示し、ＡＦ用の信号処理パスに送られ、記録系の画素処理パスには送られない。ライン８０２は、第１の駆動方法で得られるＡ＋Ｂ信号の読み出しライン（以下、「第２視差ライン」と呼ぶ。）であり、焦点検出用信号及び画像形成用信号として用いられる。第２視差ライン８０２のＡ＋Ｂ信号は、記録系の画素処理パスに送られると共に、第２視差ライン８０２のＡ＋Ｂ信号から得られたＢ信号は、ＡＦ用の信号処理パスに送られる。

また、図７に示すように、画素データは、列方向にＯＢ領域８０３と、開口領域８０４とを有し、記録画素領域は開口領域８０４の任意の領域を切り出したものとなる。また、ＯＢ領域８０３と記録画素領域との間に、ＯＢ領域８０３の遮光不良を鑑みた不使用領域を設定してもよい。以降、理想的にＯＢ領域８０３の全域を、クランプ用の黒レベルの推定に用いることができるものとする。

因みに、ベイヤー配列のセンサーアレイにおいて、図７中、一対の第１視差ライン８０１と第２視差ライン８０２は、Ｒ（赤）／Ｇｒ（緑）ライン、またはＧｂ（緑）／Ｂ（青）ラインである。そのため、２対の第１視差ライン８０１と第２視差ライン８０２が得られるように２行連続して第１の駆動方法により走査することで、得られた焦点検出用信号をベイヤー加算（隣接する４色単位の加算）可能とすることができる。そして、ベイヤー加算により得られた輝度値をＡＦ処理に用いることができる。

図８は、ＯＢ領域８０３における傷状態の一例を示す図であり、図８（ａ）は、通常ライン８００及び第１視差ライン８０１のＯＢ領域８０３におけるＦＤリーク傷の状態の一例を示す図である。図８において、点線９００は、クランプ処理回路１０４１において、通常ライン８００及び第１視差ライン８０１の信号を処理する際に用いる第１の傷判定閾値である。図８（ｂ）は、第２視差ライン８０２のＯＢ領域８０３におけるＦＤリーク傷の状態の一例を示す図である。図８から分かるように、第１の駆動方法でのＦＤリーク傷の状態の悪化は、Ａ信号とＡ＋Ｂ信号の読み出しの時間差ｄｔに因る。そこで、本実施形態では、増加したＦＤリーク傷の影響を除去するために、第１の傷判定閾値９００よりも低めの第２の傷判定閾値９０１を設定する。これは、第２視差ライン８０２に対しても第１の傷判定閾値９００によりＦＤリーク傷を判定した場合、成長したＦＤリーク傷の値がクランプのための黒レベル推定値を押し上げ、補正後の画像に横縞となって画質低下の影響を及ぼすことがあるためである。

図９は、本実施形態におけるクランプ処理回路１０４１の等価回路図である。図９に示す回路は、基準クロックによって同相転送が成立する同期設計によるが、各記憶素子（レジスタ）に対する基準クロックやリセット信号については図が煩雑になるので図示を省略する。

図９中、信号sig_1001は、撮像素子１０３から転送される画像データであり、図７のフレームデータに示す順に、Ａ信号及びＡ＋Ｂ信号が転送される。同期信号生成部（Synchronous Signal Generator：ＳＳＧ）１００１は、信号sig_1001受信時の有効ステータス（信号sig_1006）を計数して、フレームデータとしての処理状態を把握する。信号sig_1006は、例えば受信信号sig_1001が有効データの場合１値を、無効データの場合０値をとる場合に、基準クロックに同期して１値の状態を計数することでフレームデータの受信状態（処理画素数）を表す。

図５及び図６における時刻ｔ８、ｔ９の設定が等しければ、図７に示す通常ライン８００と第１視差ライン８０１それぞれにおけるＦＤリークの影響は等しい。そこで、本実施形態では、通常ライン８００と第１視差ライン８０１のクランプ処理を一つとし、第２の視差ライン８０２のクランプ処理を分ける。そのため、ＳＳＧ１００１は、第２の視差ライン８０２の受信状態を認識する仕組みを具備する。図９に示すレジスタ１００６には、第２の視差ライン８０２の出現要件を設定する。

ＳＳＧ１００１の基本はフレームカウンタであり、列方向の画素数カウンタと、行方向のラインカウンタと、夫々のカウンタ値とレジスタ値とを比較する比較器を具備する。また、レジスタ１００６は、複数の数値を記憶するフリップフロップ（ＦＦ）構成を有し、図７に示すＯＢ領域と、視差ライン取得周期８０５（ライン数）を定義する数値を記憶している。そして、ＳＳＧ１００１の比較器（不図示）の比較結果から、ＳＳＧ１００１は、ＯＢ領域の状態を示すステータス信号sig_1010と、信号sig_1010の完了直後に発生するイベントパルスsig_1009と、第２視差ライン８０２かどうかを示すステータス信号sig_1008とを生成する。なお、信号sig_1008は、第２視差ライン８０２からの信号受信時に１値が、それ以外のラインからの信号受信時に０値が出力される。また、信号sig_1010は、ＯＢ領域８０３の期間中は１値が、それ以外は０値が出力される。

本実施形態におけるレジスタ構成では、ＣＰＵ１００から設定時に転送されるアドレス（不図示）のデコード部と、設定値を記憶する記憶素子（ＦＦ構成として例示。）とを含む。なお、回路中のスタティック情報を保持するレジスタ構成へのデータ更新については、フレーム処理前の任意のタイミングでＣＰＵ１００によって実施する。

本実施形態では視差ラインの取得位置を図７の様に周期的としたが、フレーム中心に密になる様な読み出し関係としても良いし、被写体を解析して（顔認識や動体追尾機能（不図示）を活用する様）合焦対象と推測される領域に密になる様な関係としても良い。

それには、撮像素子１０３側の制御手段の対応や、クランプ処理回路１０４１側の対応が必要である。夫々、垂直（ライン）カウンタ（不図示）のデコード（コンパレータ、不図示）により切り替えれば良いが、切り替えのためのレジスタ値と周辺（ロジック）回路の実装が必要になる。これら回路自体は、特徴的なロジック回路とはならないので図示は省略する

また、本実施形態のクランプ処理回路１０４１は、２つの黒レベル推定回路を含む。第１の黒レベル推定回路は、加算器（減算器）１００９，１０１１と乗算器１０１０及び推定結果を保持する記憶素子（ＦＦ）１０１２を含み、ＩＩＲフィルタを構成する。第２の黒レベル推定回路は、加算器（減算器）１０１５，１０１７と乗算器１０１６及び推定結果を保持するＦＦ１０１８を含み、ＩＩＲフィルタを構成する。以下、加算器の減算表記としては、非演算子の減算側にマイナス記号を付する。

第１の黒レベル推定回路は、加算器１００９に入力するＦＦ１０１２の出力をＹとし、他方の加算器１００９の入力をＸとし、乗算器１０１０のゲインをＫとすると、ＦＦ１０１２への入力は、｛（Ｘ−Ｙ）・Ｋ＋Ｙ｝となる。これは｛Ｋ・Ｘ＋（１−Ｋ）・Ｙ｝に展開できるので、ＩＩＲローパスフィルタ構成となる。このときの時定数Ｋは、図９中、レジスタ１００２に設定する。第２の黒レベル推定回路も第１の黒レベル推定回路と同様の構成を有しており、乗算器１０１６のゲインＫは、レジスタ１００５に設定する。Ｋは１より小さい値を設定するので、設定値を１／２、１／４、１／８、…、と２のｎ乗の形で設定するように制約を設けるのであれば、回路構成としては信号を右方向へのbit shiftする構成のみで実現できる。ＦＦ１０１２の出力である信号sig_1003は、第１の黒レベル推定回路の黒推定レベル信号であり、ＦＦ１０１８の出力である信号sig_1004は、第２の黒レベル推定回路の黒推定レベル信号である。

ＩＩＲローパスフィルタ構成による入力信号sig_1001の黒レベル推定では、レジスタ１０２５に黒レベル目標値を設定しておく。そして、加算器（減算器）１０２６で演算した入力信号sig_1001とレジスタ１０２５の値との差を、第１及び第２の黒レベル推定回路の入力値とする。

ＦＦ１０１２が保持する黒推定レベルは、乗算器１０１０のゲイン値Ｋを時定数としたローパスフィルタ出力として推移する。そのため、時定数が大きい場合にはＦＦ１０１２の検出値が目標黒レベルに到達するまでに時間がかかる。そこで、本実施形態では、回路の応答性の改善を図るためにレジスタ１０２３を設け、そのレジスタ値をＦＦ１０１２の初期値として設定できるようにしている。本実施形態では、レジスタ１０２３の値を設定後に、レジスタ１０２２の設定値を１値から０値の順に設定することで、ＦＦ１０１２にレジスタ１０２３の値を設定することができる。

ＦＦ１０１８に対する初期値は、レジスタ１０２４の値が該当し、レジスタ１０２２設定値を１値から０値の順に設定することで、ＦＦ１０１８にレジスタ１０２４の値を設定することができる。ここでは、ＦＦ１０１２，１０１８の書き込み状態を作るべくレジスタ１０２２を用いているが、ＣＰＵ１００からのレジスタ書き込みアドレス・データ等をデコードしてパルス信号を生成しても構わない。

第１の黒レベル推定回路は、図７に示す通常ライン８００及び第１視差ライン８０１の黒レベル推定結果が保持されるように、また第２の黒レベル推定回路は、第２視差ライン８０２の黒レベル推定結果が保持されるように構成する。

レジスタ１００３は、図８の第１の傷判定閾値９００を保持するために用いられ、レジスタ１００４は、図８の第２の傷判定閾値９０１を保持するために用いられる。レジスタ１００３の値は、比較器１００７における信号sig_1001との大小比較に用いられ、比較器１００７は、比較の結果、信号sig_1001の方が大きければ１値を出力し、それ以外の状態で０値を出力する。ＡＮＤ素子１００８は、信号sig_1006と信号sig_1010との論理積（ＡＮＤ素子１０３０の結果）が１値の場合に、信号sig_1001がＯＢ領域８０３の有効画素信号状態であるものとして、比較器１００７の出力を後段に通す。ＡＮＤ素子１００８の出力は、ＡＮＤ素子１０３０の出力の反転状態とＯＲ演算され、その結果が１値となる場合には、信号sig_1001上の注目画素値を黒レベル推定から除くように、ＦＦ１０１２の入力としてはマスクする。また、信号sig_1008の状態が１値の場合には、信号sig_1001は第２視差ライン８０２の信号であるため、ＯＲ素子１０２８によってマスクする。これらのマスク処理により、該位相のＦＦ１０１２値は現状保持となる。

同様に、レジスタ１００４の値は比較器１０１３における信号sig_1001との大小比較に用いられ、比較器１０１３もまた、比較の結果、信号sig_1001の方が大きければ１値を出力し、それ以外の状態で０値を出力する。ＡＮＤ素子１０１４は、信号sig_1006と信号sig_1010との論理積（ＡＮＤ素子１０３０の結果）が１値の場合に、信号sig_1001がＯＢ領域８０３の有効画素信号状態であるものとして、比較器１０１３の出力を後段に通す。ＡＮＤ素子１０１４の出力は、ＡＮＤ素子１０３０の出力の反転状態とＯＲ演算され、その結果が１値となる場合には、信号sig_1001上の注目画素値を黒レベル推定から除くように、ＦＦ１０１８の入力としてはマスクする。また、信号sig_1008の状態が０値の場合には、信号sig_1001は通常ライン８００または第１視差ライン８０１の信号であるため、ＯＲ素子１０２９によってマスクする。

ＦＦ１０１９は、補正値としての黒レベル推定値を保持する。ＦＦ１０１９には、通常ライン８００及び第１視差ライン８０１の黒レベル推定結果値を示す信号sig_1003と、第２視差ライン８０２の黒レベル推定結果値を示す信号sig_1004とが、信号sig_1008により選択的に入力する。ここでは、信号sig_1008が０値の場合に信号sig_1003を選択し、１値の場合に信号sig_1004を選択する。そして、ＦＦ１０１９の出力信号sig_1005を、注目ラインの補正値として取り扱う。

図７のＯＢ領域８０３及び開口領域８０４の両方を、クランプ値を用いた補正対象とする場合には、ＯＢ領域８０３の入力を黒レベル推定期間分遅延する必要がある。図９中、ＦＩＦＯ１０２０は、入力画像信号sig_1001をＯＢ領域８０３の処理期間分、出力タイミングを遅延させる。また、遅延回路１０２７は、付随する有効ステータス信号sig_1006を同様のタイミング遅延させる。遅延回路１０２７は、シフトレジスタ構成で良い。補正値信号sig_1005の更新は、ＯＢ領域８０３の検出走査完了時期であり、SSG 1001によってタイミング信号sig_1009を生成して、ＦＦ１０１９に適用する。補正処理（クランプ処理）は、ＦＩＦＯ１０２０の出力に対してＦＦ１０１９出力信号sig_1005を加算器（減算器）１０２１で演算することで実施する。加算器（減算器）１０２１の演算結果、得られる出力信号sig_1002と、該出力信号sig_1002の画素有効ステータスである遅延回路１０２７の出力信号sig_1007とが、クランプ処理回路１０４１の出力となる。

なお、図９中の論理素子に接続される信号表記において、ベクタ信号（複数ｂｉｔ幅を持つ信号）とスカラ信号（１ｂｉｔ信号）との論理演算が記載されている。この場合、ベクタ信号分の各ｂｉｔにおいて、それぞれスカラ信号に対する論理演算が実施される（出力としてはベクタ信号が得られる）ものとする。比較器出力等、ステータス信号として定義されている信号はスカラ信号（１ｂｉｔの信号）である。

上記の通り本第１の実施形態によれば、ＦＤリーク状態が異なるライン毎に、それぞれ黒レベル推定を行う。そして、黒レベル推定を行う際に傷の検出行うための閾値をそれぞれ独立に設定して、ＦＤリーク状態の異なるライン毎にＦＤリーク傷の影響を回避するクランプ処理制御を行う。このような構成とすることにより、画像における縞の発生を抑圧することができ、画質を向上することができる。

＜変形例＞
次に、本発明の第１の実施形態の変形例について説明する。上述した第１の実施形態では、図５に示す第１の駆動方法により、Ａ信号とＡ＋Ｂ信号とを読み出す場合について説明した。これに対し、焦点検出用信号の読み出しに、Ａ信号とＢ信号とを別々に読み出して焦点検出に用いるとともに、読み出したＡ信号とＢ信号を加算することで、画像形成用信号（Ａ＋Ｂ信号）を生成することもできる。

図１０は、一対の焦点検出用信号（Ａ信号及びＢ信号）を２水平期間かけてそれぞれ独立に読み出す場合のタイミングチャートを示す。図１０に示すように、時刻ｔ９まで図５に示す駆動と同じ駆動を行って、Ａ信号を読み出す。その後、時刻ｔ１０〜ｔ１５において、時刻ｔ４〜ｔ９と同様の処理を、信号ＰＴＸＡの代わりに信号ＰＴＸＢをハイレベルとして行う。このように、夫々の光電変換素子２４Ａ，２４Ｂからの電荷読み出しに先立ち、時刻ｔ４〜ｔ６及び時刻ｔ１０〜ｔ１２において、ＦＤ領域３４のリセット信号を読み出す。このようにすることで、ＦＤ領域３４のリセット実施から、Ａ信号を読み出すまでの時間と、Ｂ信号を読み出すまでの時間とを等しくすることができるため、焦点検出に用いるＡ信号、Ｂ信号夫々の暗電流の影響を同様にできる。なお、以下の説明において、上述した図１０に示す駆動方法を、第３の駆動方法と呼ぶ。ここで、第３の駆動方法によりＡ信号及びＢ信号を夫々読み出して、撮影時の画像形成用信号（Ａ＋Ｂ信号）を取得するには、信号処理中にＡ信号とＢ信号の合成が必要となり、そのため暗電流成分は２倍に悪化する。この暗電流成分の悪影響もまた、オフセット成分のクランプ処理における横縞の発生原因となり、記録画像の画質を低下させる。

ここで、記録用フレームデータを撮像中に、第３の駆動方法により焦点検出用信号（Ａ信号及びＢ信号）を取得して、記録動作と合焦制御とを並行して行う場合を考える。このとき、撮像素子１０３と信号処理回路１０４との転送帯域を抑えるために、焦点検出用信号（Ａ信号及びＢ信号）を全画素から読み出さずに、任意のラインでのみ読み出す制御を考える。図１１は、そのような読み出し制御により撮像素子１０３から読み出された１フレーム分の信号を示す概念図である。通常ライン８００と、ＯＢ領域８０３と、開口領域８０４、視差ライン取得周期８０５を図７と同様とし、第１視差ライン８０１及び第２視差ライン８０２に代えて、Ａ信号ライン８０６とＢ信号ライン８０７とを定義する。

本変形例では、第１の黒レベル推定回路と第２の黒レベル推定回路の対象画素のＦＤリーク傷のレベルを独立に設定しつつ、ＦＤリーク状態の相違を鑑みた目標黒レベルそのものの乖離（オフセット段差）の補正を目的とした回路構成を例示した。

Ａ信号ライン８０６と、Ｂ信号ライン８０７と、通常ライン８００の黒レベルは理想的には同一であり、ＯＢ領域８０３の入力に対する黒レベル推定は１つの検出系（例えば、信号sig_1003を得る系）で実施可能である。しかしながら、止むを得ない状況で図１２に示すような回路構成になった場合、クランプ処理回路１０４８は、図１３に示すような１フレーム分の信号を受信する状態となる。ここで、止むを得ない状況とは、例えば、従来の記録系の画素処理パス（図１２中、クランプ処理回路１０４８、シェーディング補正部１０４２、傷補正部１０４３）のみを有する撮像装置に、新規にＡＦ用の信号処理パスを追加する場合等を指す。なお、図１２は、本変形例における撮像装置２の概略構成を示すブロック図であり、図１と同様の構成には同じ参照番号を付し、説明を省略する。レベル整合部１０４７は、焦点検出用信号としてＡ信号とＢ信号それぞれの黒レベルを整合するための回路部であり、Ａ信号、Ｂ信号それぞれが共通の黒レベルに揃うようにＡ信号、Ｂ信号それぞれのクランプ処理を実施する。なお、ＯＢクランプ回路としては一般的なもので良いので、ここでは詳細説明を省略する。

図１３中、ライン８０８は、Ａ信号ライン８０６とＢ信号ライン８０７の加算結果としてのＡ＋Ｂ信号を示す加算ラインであり、上述した通り、暗電流成分は通常ライン８００のＡ＋Ｂ信号に比べて２倍悪化している。なお、センサーアレイのカラーフィルタをベイヤーフィルタと想定して、Ｒ（赤）／Ｇｒ（緑）のラインとＧｂ（緑）／Ｂ（青）のラインとをベイヤー加算して、Ａ信号及びＢ信号から輝度値を生成できるように、加算ライン８０８は２ライン連続している。

図１２に示すクランプ処理回路１０４８による、図１３に示す信号に対する黒レベル推定は、上述した図７に示す通常ライン８００及び第１視差ライン８０１と、第２視差ライン８０２とで、それぞれ独立して検出したのと同様に行うことができる。すなわち、第３の駆動方法においては、図１３中、通常ライン８００と、加算ライン８０８とで、それぞれ独立して検出すればよく、クランプ処理回路１０４８として、図９に示すクランプ処理回路１０４１の回路構成を用いることができる。そして、暗電流成分の悪化に伴い増加した成分をキャンセルするように、通常ライン８００と加算ライン８０８とで、異なる閾値をそれぞれ設定すればよい。例えば、第１の黒レベル推定回路で用いる通常ライン８００用の閾値として第１の傷判定閾値９００を、第２の黒レベル推定回路で用いる加算ライン８０８用の閾値として第１の傷判定閾値９０１を利用することができる。そして、クランプ処理回路１０４８は、第１の黒レベル推定回路は通常ライン８００の画素データを、また第２の黒レベル推定回路は、加算ライン８０８の画素データを検出対象とすることになる。

上記の通り第１の実施形態の変形例によれば、撮像素子から、一対の焦点検出用信号をそれぞれ独立に読み出した場合にも、第１の実施形態と同様の効果を得ることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、ＦＤリーク状態が異なるライン毎に、それぞれ傷の検出を行うための閾値をそれぞれ独立に設定して傷のある信号を除外して黒レベル推定を行い、ＦＤリーク傷の影響を回避するクランプ処理制御を行った。これに対し、本第２の実施形態では、フレーム全体の黒レベル推定値を安定させるために、第１の黒レベル推定回路の出力（信号sig_1003）と、第２の黒レベル推定回路の出力（信号sig_1004）の行方向の平均値を算出して、補正値とする場合について説明する。また、第２の実施形態では、図１２中、クランプ処理回路１０４８による横縞の発生を抑圧するように、黒レベル推定値の垂直方向の平均値と、第２の黒レベル推定回路の出力値とを比較する。そして、これらの値に乖離がある場合には、第２の黒レベル推定回路の出力値の傷検出閾値（レジスタ１００４の出力値）を更新する。

なお、本第２の実施形態における撮像装置１及び撮像素子１０３からの信号読み出し方法は、図１〜図７を参照して説明した第１の実施形態と同様であるため、説明を省略する。本第２の実施形態は、第１の実施形態と比較して、クランプ処理回路の構成が異なる。従って、以下、図１５にクランプ処理回路１０４８の構成例を例示し、その動作について、詳しく説明する。

図１４は、図８（ｂ）と同様に、第２視差ライン８０２のＯＢ領域８０３の信号のＦＤリーク傷の状態を示す図である。なお、図１４において、第１の傷判定閾値９００及び第２の傷判定閾値９０１は図８に示すものと同様であり、成長したＦＤリーク傷の値がクランプのための黒レベル推定値を押し上げ、補正後の画像に横縞となって画質低下の影響を及ぼす仕組みも同様である。振幅９０２は、フレーム本来の目標黒レベル推定値と、ＦＤリーク傷によって押し上げられた第２の黒レベル推定回路の結果値との乖離を許容する第３の閾値である。

図１５は、第２の実施形態におけるクランプ処理回路１０４８の等価回路図である。なお、図の煩雑化を避けるため、図９と同様に、図１５においても各記憶素子に対する基準クロックやリセット信号の図示を省略する。図１５に示す第２の実施形態のクランプ処理回路１０４８は、図９に示す第１の実施形態のクランプ処理回路１０４１に比べて、レジスタ１４０１、１４０２、１４１８と、ＦＦ１０１８の一段前の論理回路構成が追加されている。また、ＦＦ１０１２と１０１８の一段後の論理回路構成と、ＦＦ１０１９の一段前の論理構成との間に、セレクタ１４１７を含む垂直方向のライン平均を取得する回路構成が追加されている（後述の説明参照）。第１の黒レベル推定回路は、図９と同様であるため説明を省略する。一方、第２の黒レベル推定回路には、ＦＦ１０１８の初期化制御に係るレジスタ１４１８が構成要素として追加され、これにより、レジスタ１４１８の設定値を１値から０値の順に設定することで、ＦＦ１０１８は、ＦＦ１０１９の保持値で初期化される。また、レジスタ１００４には、図１４に示す第２の傷判定閾値９０１が設定される。

更に、上述した第１の実施形態では、クランプ処理回路１０４１の補正値として、ＩＩＲローパスフィルタの出力を各ラインの水平検出期間完了毎に直接更新した値を適用した。これに対し、本第２の実施形態では、ライン毎に適用するものではなく、第１の黒レベル推定回路及び第２の黒レベル推定回路の出力値の垂直８ライン分の履歴（移動平均）を適用する。これにより、更に補正値の安定（Ｓ／Ｎ比向上）を図る。これは、ＩＩＲフィルタ構成の直前の入力にノイズがあると出力結果がそれに引っ張られた値となり、補正時に横縞を発生させ画質低下を招くための対策である。

図１５において、第１の黒レベル推定結果は信号sig_1003（ＦＦ１０１２出力）であり、第２の黒レベル推定結果は信号sig_1004（ＦＦ１０１８出力）である。ＳＳＧ１００１から出力される第２の視差ライン８０２かどうかを示すステータス信号sig_1008の状態により、信号sig_1401には、信号sig_1003またはsig_1004の何れかが現れる。なお、信号sig_1008は、第２の視差ライン８０２のときに１値、それ以外で０値となる。

信号sig_1401は、論理素子１４２２の出力であるイベント信号sig_1408によってＦＦ１４０４に保持される。ＦＦ１４０４〜１４１１はシフトレジスタ構成を採り、過去８ライン分の黒レベル推定結果の移動平均をとる構成としている。論理素子１４２２には、シフトレジスタ構成の更新タイミング（信号sig_1009）が与えられ、処理ラインが第２の視差ライン８０２（信号sig_1008が１値）であり、後述する比較器１４１５の出力（信号sig_1406）が１値の場合に、更新をマスクする。

ＦＦ１４０４〜１４１１はそれぞれ信号sig_1408によるシフト転送後、信号sig_1404の１値出力期間中にそれぞれの値を積算する。加算器１４１２及びＦＦ１４１３はそのための素子である。信号sig_1404は（ＣＬＫ同期した）８サイクル分の幅の期間で１値を出力する。それに同期して、信号sig_1403は０〜７の３ｂｉｔ値を順に切り替える。セレクタ１４１７は、ＦＦ１４０４〜１４１１それぞれの出力から１つを選択するように構成している。添字０〜７は、信号sig_1403による選択状態を示し、合致したＦＦ出力を加算器１４１２へと出力する。信号sig_1402は、ＦＦ１４０４〜１４１１のリセット信号であり、状態を初期化する。なお、図１５では該シフトレジスタ構成のＦＦは全て０値で初期化されるが、実際には、ＦＦ１４１３から出力される８ライン分の積算値を３ｂｉｔ右シフト（８で除したのと等価）した値（信号sig_1409）が、そのラインの黒レベル推定結果値となる。従って、ＦＦ１４０４〜１４１１に任意の初期値を設定可能となる構成（不図示）として、入力フレームデータ上端のライン平均値が得られない領域の対策としても良い。

論理素子１４２２は、信号sig_1009とsig_1406の論理積の結果を出力する。信号sig_1406については後述するが、この条件が揃わない検出ラインにおいては、推定黒レベルの８ライン移動平均値は更新されない。

加算器（演算器）１４１４は、通常ライン８００、第１視差ライン８０１、第２視差ライン８０２の全てのラインについて、ライン毎の黒レベル推定結果値の垂直走査方向の移動平均値（第２の実施形態では８ライン平均値。信号sig_1409）と、第２の黒レベル推定回路の推定結果（信号sig_1004）との差を求める。加算器１４１４の出力は符号付き（signed）とする。負値対応は、ＩＩＲフィルタの過渡状態（センサー側アナログゲイン切替時等、ＩＩＲフィルタを初期化した際のフィルタ出力が安定しない状態）等の収束用である。１４２１は絶対値（２の補数）回路であり、汎用の構成で良い。比較器１４１５は、絶対値回路１４２１から出力される、加算器（減算器）１４１４の出力の絶対値と、レジスタ１４０２の設定値との大小比較をする。レジスタ１４０２へは、第２の傷判定閾値９０１を設定する。図１４で前述したように、フレーム本来の目標黒レベルと、第２の黒レベル推定回路の結果値との乖離判定結果、乖離が認められた場合に比較器１４１５の出力値である信号sig_1406が１値となるよう定義する。推定黒レベルの８ライン移動平均値が更新されないラインは、直前の移動平均値と、第２の黒レベル推定回路の結果値とに乖離があったと判断された結果による。

ＦＦ１０１９は、信号sig_1405のイベントタイミングで注目ラインにおける黒レベル推定結果状態を保持する。該信号sig_1405は、移動平均値（本実施形態では８ライン平均値）計算直後にパルスイベントとして生成される。信号sig_1005は、クランプ処理回路１０４８における符号付き補正パラメータであり、ＦＩＦＯ１０２０の出力に対して、加算器（減算器）１０２１を用いたオフセット減算（加算）を行う。これにより、ＯＢ領域８０３を含めた全領域の信号に対して、黒レベル再現を行う。勿論、補正領域を設定して補正の範囲を絞ってもよい。

加算器（減算器）１０２１の出力信号sig_1002と、該出力信号sig_1002の画素有効ステータスである遅延回路１０２７の出力信号sig_1007と、が、クランプ処理回路１０４８の出力となる。出力信号（sig_1002, sig_1007）は実装時のクリティカルパスの生成回避のために、クランプ処理回路１０４８からの出力直前に、同相転送用のＦＦを挿入しても良い。

このように、本第２の実施形態では、ライン毎の補正値として、第１および第２の黒レベル推定回路の結果値の８ライン平均値が充てられる。しかしながら、第２の視差ライン８０２の信号読み出し時の第２の黒レベル推定回路の推定結果の状態（比較器１４１５の出力値が１値）によっては、画像への横縞低減の対策として第２の黒レベル推定回路の出力値がそのまま補正値に充てられる。

ＦＦ１４１６は、乖離判定結果信号sig_1406の状態を保持するレジスタである。乖離判定結果信号sig_1406の更新はＡＮＤ素子１４１９の成立イベントで行う。ＡＮＤ素子１４１９にはＦＦ１４１６の出力の反転論理が条件に入っているので、ＦＦ１４１６クリア状態から一旦セットされると、セット状態を保持する回路構成となっている。保持状態をクリアするには、レジスタ１４０１に１値をセットする。レジスタ１４０１には、１ｂｉｔの値を保持できるよう定義する。ＦＦ１４１６のクリア後は、レジスタ１４０１はリセット（０値を設定）する。ＡＮＤ素子１４１９の成立条件は、信号sig_1008，sig_1405が１値時であり、ＦＦ１４１６が０値出力時である。信号sig_1405は補正値更新のイベントパルスなので、ＡＮＤ素子１４１９出力もクロック（不図示）１サイクル分のイベントパルスとなる。また、ＦＦ１４２０は第２の黒レベル推定回路出力値sig_1004と、黒レベルの８ライン移動平均値との差値を保持するものであり、更新タイミングはＦＦ１４１６と同様である。

第２の実施形態では、ＦＦ１４１６の出力を割込み信号sig_1407としてＣＰＵ１００へ送信する。このときの割込み要因は、第１及び第２の黒レベル推定回路それぞれの結果値の乖離が第３の閾値９０２を超えたことと定義している。ＣＰＵ１００は、割込みハンドラとして、図１６に示すレベル割り込み処理を実行する。

ＣＰＵ１００は、割込み信号sig_1407を受けて、レジスタ１００４に設定された第２の傷判定閾値９０１のレベル書替を実行する（Ｓ１６０１）。前述したように、本第２の実施形態では第２の視差ライン８０２の黒レベル推定値が、黒レベルの８ライン移動平均値よりも大きくなる方向に乖離をすることを想定した回路構成を示している。従って、フィルタの定常状態においては、レジスタ１００４の設定値を現在値よりも大きく設定するよう指示することで、本来の黒レベル推定が行われるようにする。すなわち、通常ライン８００、第１の視差ライン８０１と、第２の視差ライン８０２の推定黒レベルが、第３の閾値９０２内に収まるようにする。

また、第２の黒レベル推定回路の目標黒レベル設定変更に伴い、ＩＩＲフィルタの初期値も、ＦＦ１０１９の出力値（現在の補正値）に更新するように、レジスタ１４１８の更新動作（１値設定→０値設定）を実施する（Ｓ１６０２）。ＩＩＲフィルタの動作切替に伴い、時定数に対してサンプル画素を十分稼げていない場合、比較器１４１５による乖離判定に引っかかってしまう可能性がある。そのため、ＣＰＵ１００はタイマ（不図示）の設定によってフィルタの安定期間を稼ぐ（Ｓ１６０４、Ｓ１６０５）。フィルタの安定を十分図ったところで、ＣＰＵ１００はレジスタ１４０１の更新動作（１値設定→０値設定）によって、割込み要因（レジスタ１４１６）のクリアを実行する（Ｓ１６０６）。なお、図１６の処理中、不図示であるが、ＦＦ１４２０の出力もＣＰＵ１００に入力するので、閾値のレベルの決定に該値を参照しても良い。

なお、ＩＩＲフィルタ結果が安定するまでの間、信号sig_1407によるＣＰＵ１００への割込みをマスクするものとしてＳ１６０４、Ｓ１６０５で説明した。しかしながら、本発明はこれに限るものではなく、ＦＦ１４１６を更新するイベントにおいて事前に決定した試行回数に基き、比較器１４１５の出力信号sig_1406が１値の状態が連続することで、ＦＦ１４１６の更新をするような回路構成としても良い。

図１７は、図１５に示す等価回路の代表信号のタイミングチャートである。図１７において、信号sig_1701はフレーム先頭のタイミングを示す垂直同期信号、信号sig_1702はライン先頭のタイミングを示す水平同期信号である。これらの信号については図１５では不図示であるが、図１のＳＳＧ１０１から送信されるタイミング信号として、図１５のＳＳＧ１００１が受信してフレームカウントを実施する。その他の各信号については、図１５に示す信号と同じである。

図１７中、sig_1402は図１５中各ＦＦ１４０４〜１４１１のリセット信号であり、各ＦＦの状態を初期化する。信号sig_1001は、クランプ処理回路１０４８への入力画素データであり、信号sig_1006は、入力画素データの有効（１値）、無効（０値）を示すステータス信号である。信号sig_1010は、黒レベル推定回路の検出領域（ＯＢ領域８０３）を示すステータス信号であり、該信号が１値で、信号sig_1006が１値のときに、所望のＩＩＲフィルタが更新される。注目ラインにおいて第１および第２の黒レベル推定回路のどちらが所望かは、信号sig_1008の状態（０値で第１の黒レベル推定回路、１値で第２の黒レベル推定回路を選択）による。

信号sig_1003は、第１の黒レベル推定回路の更新結果（ＦＦ１０１２出力）、信号sig_1004は第２の黒レベル推定回路の更新結果（ＦＦ１０１８出力）である。注目ラインの属性によって（信号sig_1008で）選択された信号がsig_1401となって出力される。信号sig_1401は次段のＦＦ１４０４に保持される。

信号sig_1009は、ＯＢ領域８０３の完了時に生成されるイベントパルスであり、ＦＦ１４０４〜１４１１で構成されるシフトレジスタ構成を更新するタイミングを与える。ただし、前述のように更新をマスクする機能（図１５中、ゲート回路１４２２）を介するので、実際の更新イベントは、信号sig1408である。

信号sig_1403は、ＳＳＧ１００１から出力されるセレクタ１４１７の選択信号であり、０〜７の値を取り、シフトレジスタ（ＦＦ１４０４〜１４１１）の出力から１つを選択して加算器１４１２に送出する制御を行う。信号sig_1404は、信号sig_1403が０〜７まで１サイクル毎に更新する間、１値を取るステータス信号である。信号sig_1404が１値の間の８サイクルで、ＦＦ１４０４〜１４１１の値はＦＦ１４１３に積算される。信号sig_1405は、補正値ＦＦ１０１９の更新タイミングのイベントパルスであり、ＦＦ１４１３の積算直後に生成する。該イベントタイミングで、条件が揃えば、ＦＦ１４１６、ＦＦ１４２０の値の更新も行われる。

信号sig_1406は、比較器１４１５の判定結果ステータスであり、信号sig_1405でレジスタ更新をするタイミングで有効となる。なお、その他の時刻では、don’t care扱いで良い。前述のように信号sig_1406が判定結果１値の場合にはＦＦ１０１９にはＦＦ１０１８値が更新・保持され、０値ではＦＦ１４１３を８で除した値（図１５の信号sig_1409）が保持される。信号sig_1407は、ＦＦ１４１６の出力値であり、本第２の実施形態では割込み信号としてＣＰＵ１００に送信している。図１７では、２回目の第２の視差ライン処理時に信号値を１値として例示している。その結果、図１６の処理ルーチンが行われる。

前述しているが、信号sig_1002は信号sig_1005によって補正された（補正結果）出力画素値であり、補正対象画素は、信号sig_1001を補正値検出期間の遅延に合せてＦＩＦＯ１０２０で遅延させた画素信号である。また、信号sig_1007は該出力画素信号の有効（１値）、無効（０値）を示すステータス信号であり、信号sig_1006を遅延回路１０２７の遅延時間、遅延させた結果出力である。

信号sig_1003中、添字Ｎ，Ｎ＋１，N＋２，…，は、任意の時期の第１の黒レベル推定回路の出力結果（ＦＦ１０１２出力）を示し、信号sig_1004中、添字Ｍ，Ｍ＋１，Ｍ＋２，…，は第２の黒レベル推定回路の出力結果（ＦＦ１０１８出力）である。信号sig_1401の添字は、信号sig_1003及び信号sig_1004が信号sig_1008で選択された結果である。信号sig_1409の添字Ｒ，Ｒ＋１，Ｒ＋２，…，は、黒推定レベルの垂直8ライン平均値の更新結果を示す。信号sig_1406の１値の出力によって垂直８ライン平均値が更新されない状態（信号sig_1409にＲ＋３状態が2回続く）を例示している。また、そのときに信号sig_1405のイベントタイミングで、信号sig_1407が１値となる例示をしている。信号sig_1005には、信号sig_1406の状態によって、信号sig_1409か信号sig_1004が出力される。図１７では、信号sig_1005に、信号sig_1409の状態｛Ｒ＋３｝の出力後に信号sig_1004の状態｛Ｍ＋２｝が現れる様子を示している。

第１の傷判定閾値９００及び第２の傷判定閾値９０１は、事前にセンサー駆動制御（蓄積時間や読み出し時間等）や温度特性に応じた幾つかの代表値が不図示のテーブルで保持される。レジスタ１００４の更新値は、例えばＦＦ１４２０の結果値からファームウエアで適宜テーブルから値を選択する。また、第３の閾値９０２はセンサーのプロセスの素性によるので、これも事前にＦＤリーク傷状態を測定して決定する。

本第２の実施形態では、第１及び第２の黒レベル推定回路との黒レベル推定結果に大きな乖離がない場合を想定して、両方の推定回路の結果値を一つにしてライン毎の垂直方向の平均（本第２の実施形態では８ライン平均）をとる。これにより、ＦＤリーク傷の影響によって第２の傷判定閾値９０１を超える乖離が出た場合に、第２の傷判定閾値９０１を更新することで黒レベル推定結果を安定化させ、補正後の画像に該ＦＤリーク傷による横縞が発生しないようにすることができる。

なお、第２の実施形態の様に、センサー素性により、第１及び第２の黒レベル推定回路の結果値にオフセット段差が十分生じ、それをキャンセルする様な回路構成にするのであれば、例えば、次のような回路構成とすれば良い。すなわち、図１５に示す回路構成の第１及び第２の黒レベル推定回路の抽出結果値それぞれの差を求め、その差値をＣＰＵ１００にフィードバックする回路構成（第１及び第２の黒レベル推定回路を一緒に垂直方向に平均する機構を持たない構成）とすれば良い。

上記第１及び第２の実施形態では、図９にクランプ処理回路１０４１、図１５にクランプ処理回路１０４８の回路構成を提示し、夫々の動作説明をした。しかしながら、具体的な回路構成はこれに限るものではなく、同様の目的の信号処理の実行のためにはどのような回路構成で実現しても構わない。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１８は、第３の実施形態における撮像装置３の概略構成を示すブロック図である。撮像素子３００は、被写体像を光電変換により電気信号に変換して、画像信号として出力する。撮像素子駆動部３１０は、撮像素子３００を駆動するための駆動情報を出力する。入力選択部３２０は、撮像素子３００から出力される画像信号を、後述する第１の推定部３３０と第２の推定部３４０に振り分ける。第１の推定部３３０は撮像素子３００から出力される画像信号から黒レベルを推定する。第２の推定部３４０も同様に黒レベルを推定する。出力選択部３５０は、第１の推定部３３０と第２の推定部３４０で得られた推定結果を、後述する補正値生成部３６０に出力する。

補正値生成部３６０は、第１の推定部３３０または第２の推定部３４０から出力された推定結果を元に補正値を生成する。補正部３７０は、撮像素子３００から得られた画像信号に対して補正値生成部３６０から出力された補正値を用いて補正する。判別信号生成部３８０は、撮像素子３００から画像信号と共に送られてくる付帯信号を元に、入力選択部３２０及び出力選択部３５０を切り替えるための判別信号を生成する。制御部３９０は、撮像装置３全体の制御を司る。

ここで、図１９及び図２０を用いて、撮像素子３００の構成及び撮像素子３００からの画像信号の読み出し方法について説明する。

図１９は、撮像素子３００を構成する複数の画素のうち、２つの画素の構成を模式的に示したものであり、入射光を電荷に変換するフォト・ダイオードに代表される複数の光電変換部から成っている。画素３０３は、２つの光電変換部３０１，３０２に共通で１つのマイクロレンズ３０４を備える構造を有し、画素３０７は、同様に、２つの光電変換部３０５，３０６に共通で１つのマイクロレンズ３０８を備える構造を有している。この構造によって、ペアとなっている各々の光電変換部から個別に信号を取り出すことで射出瞳の異なる画像信号を取得することができる。また、ペアとなっている各々の光電変換部から同時に信号を取り出すことで、撮像装置３で表示したり記録するための画像信号を取得することが可能となる。なお、撮像素子３００を構成する他の画素も、図３に示す構成を有し、撮像素子３００の水平方向及び垂直方向に繰り返し配置されている。

図２０は、画素３０３及び画素３０７を含む撮像素子３００の回路構成の一部を示している。なお、図３と同じ構成には同じ参照番号を付している。フローティングディフュージョン部（ＦＤ）４０５は、光電変換部３０１，３０２，３０５，３０６で発生した電荷を一時的に蓄積しておく蓄積領域である。第１の転送スイッチ４０１は、転送パルスｐＴＸ１によって制御され、光電変換部３０１で発生した電荷をＦＤ４０５に転送する。第２の転送スイッチ４０２は、転送パルスｐＴＸ２によって制御され、光電変換部３０２で発生した電荷をＦＤ４０５に転送する。第３の転送スイッチ４０３は、転送パルスｐＴＸ３によって制御され、光電変換部３０５で発生した電荷をＦＤ４０５に転送する。第４の転送スイッチ４０４は、転送パルスｐＴＸ４によって制御され、光電変換部３０６で発生した電荷をＦＤ４０５に転送する。

リセットスイッチ４０６は、リセットパルスｐＲＥＳによって制御され、ＦＤ４０５に蓄積された電荷を除去する。また、リセットスイッチ４０６と第１〜第４の転送スイッチ４０１〜４０４とを同時にオンすることで、光電変換部３０１，３０２，３０５，３０６の電荷を除去することができる。増幅ＭＯＳアンプ４０７は、ソースフォロアアンプとして機能する。第１〜第４の転送スイッチ４０１〜４０４、リセットスイッチ４０６、選択スイッチ４１０のゲート電極は、行単位でそれぞれｐＴＸ１、ｐＴＸ２、ｐＴＸ３、ｐＴＸ４、ｐＲＥＳ、ｐＳＥＬを供給する信号線にそれぞれに接続される。そして、撮像素子３００に備えられた不図示の垂直走査回路によって選択走査される。また、リセットスイッチ４０６と増幅ＭＯＳアンプ４０７は、電源ライン４０８に接続されている。

撮像素子３００からの画像信号の読み出しは、撮像素子３００において水平方向に並んでいる複数の画素３０３及び画素３０７から、順にライン単位で行い、読み出された電気信号は垂直出力線４０９を経て撮像素子３００から順次出力される。なお、撮像素子３００について、得られた電気信号をアナログデジタル変換してデジタル信号として出力するような構成としても良い。その場合、垂直出力線４０９ごとにアナログデジタル変換部を設け、画像信号をデジタル信号として出力することができる。

また、撮像素子３００は、画素３０３を複数の光電変換部３０１，３０２で構成していることにより、第１の転送スイッチ４０１のみをオンすることで光電変換部３０１の信号のみを出力することができる。また、第２の転送スイッチ４０２のみをオンすることで光電変換部３０２の信号のみを出力することができる。また、同様に、画素３０７を複数の光電変換部３０５，３０６で構成していることにより、第３の転送スイッチ４０３のみをオンすることで光電変換部３０５の信号のみを出力することができる。また、第４の転送スイッチ４０４のみをオンすることで光電変換部３０６の信号のみを出力することができる。さらに、第１の転送スイッチ４０１と第２の転送スイッチ４０２を同時にオンすることで、光電変換部３０１と光電変換部３０２の信号をＦＤ４０５上で加算して出力することができる。また、第３の転送スイッチ４０３と第４の転送スイッチ４０４を同時にオンすることで、光電変換部３０５と光電変換部３０６の信号をＦＤ４０５上で加算して出力することができる。

さらに、第１の転送スイッチ４０１と第３の転送スイッチ４０３を同時にオンすることで、光電変換部３０１と光電変換部３０５の信号をＦＤ４０５上で加算して出力することができる。同様に、第２の転送スイッチ４０２と第４の転送スイッチ４０４を同時にオンすることで、光電変換部３０２と光電変換部３０６の信号をＦＤ４０５上で加算して出力することができる。また、第１の転送スイッチ４０１から第４の転送スイッチ４０４の４つの転送スイッチを同時にオンすることで、光電変換部３０１，３０２，３０５，３０６の２画素分（画素３０３と画素３０７）の信号をＦＤ４０５上で加算して出力することができる。

次に、第３の実施形態における処理について説明する。ここでは、上記構成を有する画素３０３から、ペアとなっている各々の光電変換部から同時に信号を取り出す行と、ペアとなっている各々の光電変換部から個別に信号を取り出す行とが混在している場合について説明する。図２１は、撮像素子３００に配置された複数の画素を模式的に表したものであり、説明を簡単にするため、水平方向に８列、垂直方向に６行の画素を示している。第３の実施形態では、点線５０１で示す行（Ｌｉｎｅ２およびＬｉｎｅ３）から、ペアとなっている各々の光電変換部から個別に信号を取り出すものとする。そして、それ以外の行（Ｌｉｎｅ０，Ｌｉｎｅ１，Ｌｉｎｅ４，Ｌｉｎｅ５）から、ペアとなっている各々の光電変換部から同時に信号を取り出すものとする。

図２１に示す読み出しでは、図２０に示す構成を有する撮像素子３００では、電荷蓄積時間の経過後にＦＤ４０５をリセットして信号を読み出す場合と、当該信号読み出し後にＦＤ４０５をリセットして、別の光電変換部から信号を読み出す場合とがある。前者では、前回ＦＤ４０５をリセットしてからの時間が長いために、後者の場合と比較して、同じＦＤ４０５のリセット後であっても、リセットレベルが異なる。そこで、第３の実施形態では、このようにリセットレベルが異なる場合に、第１の推定部３３０と第２の推定部３４０を使い分けて、黒レベルをそれぞれ推定する。

図２２は、第３の実施形態における処理を示すフローチャートである。まず、Ｓ３０１において、撮像素子３００を駆動する。制御部３９０は、撮像素子３００から画像信号を出力するため、撮像素子駆動部３１０に制御情報を出力する。撮像素子駆動部３１０は、撮像素子３００に対して、光電変換部に結像された像を電気信号として読み出すよう駆動情報を送信する。

Ｓ３０２において、撮像素子３００は、付帯信号と画像信号を出力する。撮像素子駆動部３１０は、行単位で撮像素子３００の駆動方法を決定し、撮像素子３００を駆動させ、行単位で画像信号を出力させている。そこで、撮像素子３００は、ラインアドレスと、どのような駆動で読み出されているかを示す駆動情報を、付帯信号として画像信号とともに出力する。

図２３は、撮像素子３００から出力された付帯信号と画像信号の一例を示す模式図である。６０１はラインアドレス（ＬＡ）、６０２は当該ラインにおける駆動情報（ＭＤ）、６０３は１ライン分（ｊ行目）の画像信号を１画素ずつ（Ｐ０ｊ~Ｐ７ｊ）それぞれ示しており、それぞれ所定のｂｉｔ幅で撮像素子３００から出力される。所定のｂｉｔ幅は一般的には画像信号の用途に応じて一意に決定されるため、ラインアドレス６０１や駆動情報６０２についても、同じｂｉｔ幅の情報量で表現可能な範囲で使用する。このように、Ｓ３０２では、画像信号以外に付帯情報として、各ラインの先頭画素の画素信号より前に、ラインアドレス６０１や駆動情報６０２を、画像信号のフォーマットに合わせて出力することで、撮像素子３００は付帯信号と画像信号を出力する。

Ｓ３０３では、判別信号生成部３８０において、付帯信号に基づいて判別信号を生成する。図２４は、図２３で示した画像信号と付帯信号が撮像素子３００から出力される様子を示している。７０１は、図２３で示したラインアドレス６０１の値であり、各ラインの先頭においてラインアドレスの値が格納されている。７０２は、駆動情報６０２の値であり、画素３０３または３０７のペアとなる光電変換部から信号を同時に読み出す駆動のときに０が格納される。また、画素３０３または３０７のペアとなる光電変換部から信号を個別に読み出す駆動において、光電変換部３０１または３０５から信号を読み出す駆動のときに１が格納される。さらに、画素３０３または３０７のペアとなる光電変換部から信号を個別に読み出す駆動において、光電変換部３０２または３０６から読み出す駆動の時に２が格納される。これらの駆動情報値７０２は、それぞれ各ラインのラインアドレス値７０１の次に格納されている。７０３は各ラインの画像信号を示しており、所定画素数で出力される。

判別信号生成部３８０は、付帯信号であるラインアドレス値７０１と駆動情報値７０２を元に、ラインアドレス値７０１が偶数かつ駆動情報値７０２が０か１の時に０、それ以外の時に１となるように、判別信号を生成する。このようにすることで、電荷蓄積時間の後に初めて２行の画素３０３，３０７で共有されるＦＤ４０５をリセットする場合には０、信号読み出し後に再び信号読み出しのためにＦＤ４０５をリセットする場合には１が生成されることになる。なお、ここでは、２行の画素３０３，３０７により１つのＦＤ４０５を共有する例を示すが、３行以上の複数行の画素により１つのＦＤ４０５を共有するようにしても良い。その場合、例えば、共有する行数によりラインアドレス値７０１を除した余り値と、駆動情報値７０２とに応じて判別信号を生成すれば良い。

Ｓ３０４では、入力選択部３２０は、判別信号生成部３８０で生成された判別信号に基づいて第１の推定部３３０と第２の推定部３４０の入力を切り替える。図２４に示す例の場合、判別信号が０の時は第１の推定部３３０を選択し、判別信号が１の時は第２の推定部３４０を選択する。なお、判別信号と、第１の推定部３３０及び第２の推定部３４０の組み合わせは、逆であっても良い。

Ｓ３０５において、Ｓ３０４で選択された第１の推定部３３０または第２の推定部３４０により、入力選択部３２０を介して入力した画像信号を用いて、黒レベルを推定する。画像信号の黒レベルは、光電変換部３０１及び３０２からの電荷の読み出しの前に行われるＦＤ４０５のリセット動作によって決まるが、ＦＤ４０５のリセット動作に差が生じると、ＦＤリーク状態が変動し、画像信号の黒レベルも変動することが知られている。上述したように、読み出し行の選択がされてから最初に読み出された信号と、続けて同一のＦＤ４０５を使用して読み出された信号とではＦＤ４０５のＦＤリーク状態が変化してしまい、読み出した駆動やラインごとに黒レベルが変動してしまう。従って、異なるＦＤリーク状態毎に、第１の推定部３３０及び第２の推定部３４０で、式（１）に示すフィルタ演算により、それぞれ黒レベルを推定する。
det = (input(x, y) - OFST) × K + buf × (1 - K) …（１）

なお、式（１）において、input(x,y)は入力される画像信号、ＯＦＳＴは目標としている黒レベル、Ｋはフィルタ係数、bufは１画素前の推定結果であり、フィルタ係数Ｋで決定される時定数で目標黒レベルＯＦＳＴとの差分detを画素単位で順次算出していく。一般的に、各ラインの黒レベルの調整は各ラインの左端または右端に設けられたオプティカルブラック（ＯＢ）領域（撮像素子３００に構成された光電変換部の上部に金属などの遮光層を設けた領域）から出力される画像信号の信号レベルを元に調整する。また、式（１）に示したフィルタ演算以外にも、所定数の画素値の積算から平均値を算出して目標とする黒レベルからの差分を算出する方法も一般的に知られている。
Ｓ３０６において、出力選択部３５０は、判別信号生成部３８０で生成された判別信号に応じて、第１の推定部３３０及び第２の推定部３４０のうち、入力選択部３２０により選択された推定部を選択して出力する。

次に、Ｓ３０７において、補正値生成部３６０は、出力選択部３５０で選択された推定結果を元に補正値を生成する。本第３の実施形態の場合、第１の推定部３３０または第２の推定部３４０で生成された推定結果は目標としている黒レベルとの差分値なので、そのまま補正値として適用できる。第１の推定部３３０及び第２の推定部３４０の演算処理により得られた推定結果をそのままを補正値にすることができない場合は、補正部３７０で補正する前に補正値生成部３６０で推定結果を基に補正値を生成する。

Ｓ３０８において、補正部３７０は、補正値生成部３６０から出力される補正値を用いて、撮像素子３００から出力される画像信号に対して黒レベルを調整するように補正する。Ｓ３０９では、１ライン分の画像信号の処理が終了したらＳ３１０へ、終了していなければＳ３０５に戻って次の画素の処理を続ける。

Ｓ３１０において、次のラインが存在する場合はＳ３０２に戻って次のラインの画像信号の処理を続け、全ライン分の画像信号の処理が終了していれば、上記処理を終了する。

撮像素子３００の回路構成や用途に応じた画像信号の読み出し駆動が複雑になると、ラインごとに黒レベルが変動してしまう要因が増加してしまう問題があり、精度よく推定処理や補正処理を行うための制御が煩雑になってしまう。これに対し、本第３の実施形態によれば、撮像素子３００の回路構成に関する情報や、撮像素子３００から画像信号を読み出す駆動に関する情報を、撮像素子３００から画像信号とともに付帯信号として出力する。そして、付帯信号に基づいて、黒レベルを推定する処理を切り替えることで、信号処理側の制御を簡潔にするとともに、精度よく、推定処理や補正処理を行うことが可能となる。

＜第４の実施形態＞
以下、本発明の第４の実施形態について説明する。図２５は、第４の実施形態における撮像装置４の構成を示すブロック図である。なお、図１８と同様の構成には同じ参照番号を付して、説明を省略する。タイミング生成部４２０は、制御部３９０から送られてくる制御信号と撮像素子３００から送られてくる付帯信号とに基づいて、カウンタ値等のタイミング信号を生成する。また、第３の推定部４３０及び第４の推定部４４０と、第１の推定部３３０〜第４の推定部４４０のいずれかを選択する入力選択部４５０と出力選択部４６０とを有する。

次に、第４の実施形態における撮像素子３００の構成及び撮像素子３００からの画像信号の読み出し方法について説明する。図２６は、撮像素子３００の概略構成を示すブロック図である。垂直走査部２６０１は、撮像素子駆動部３１０からの駆動情報に基づいて、行単位で読み出す画素を決定し、後述する画素アレイ２６０２に対して画像信号を読み出すための制御信号を出力する。画素アレイ２６０２は、垂直走査部２６０１からの制御信号に基づいて、後述する画像信号を読み出す。なお、画素アレイ２６０２は、図１９及び図２０に示す構成を有する複数の画素を含み、必要に応じて多数の画素が配置されている。

また、列ＡＤ変換部２６０３及び２６０４は、画素アレイ２６０２から列方向に読み出された信号をデジタル信号に変換する。水平走査部２６０７及び２６０８は、列ＡＤ変換部２６０３及び２６０４から出力されたデジタル化された画像信号を一時的に記憶するためのラインメモリ２６０５及び２６０６に記憶された画像信号を順次読み出す。画素アレイ２６０２から行単位で読みだされた画像信号は、出力部２６０９及び２６１０で所定のフォーマットに変換された後、撮像素子３００から出力される。また、列ＡＤ変換部２６０３及び２６０４や、ラインメモリ２６０５及び２６０６の回路を撮像素子３００内に効率的に配置するため、画素アレイ２６０２の回路の垂直出力線を交互に撮像素子３００の上下方向に接続している。

次に、図２７を参照して、上記構成を有する撮像装置４の第４の実施形態における処理について説明する。まず、Ｓ４０１において、制御部３９０は、撮像素子３００から画像信号を出力するため、撮像素子駆動部３１０に制御情報を出力する。撮像素子駆動部３１０は、撮像素子３００に対して撮像素子３００上の光電変換部に結像された像を電気信号として読み出すよう駆動情報を送信する。

Ｓ４０２において、撮像素子３００は、付帯信号と画像信号を出力する。図２１を参照して説明したように、撮像素子駆動部３１０はライン単位で撮像素子３００の駆動方法を決定し、撮像素子３００を駆動させ、ライン単位に画像信号を出力する。撮像素子３００は、各ライン単位で画素がそれぞれどのような駆動で読み出されているかを表す情報を、付帯信号として画像信号とともに出力する。

図２８は、第４の実施形態における撮像素子３００から出力された付帯信号と画像信号の一例を示す模式図である。２８０１は当該ラインにおける駆動情報（ＭＤ）、２８０２は１ライン分（ｊ行目）の画像信号を１画素ずつ（Ｐ０ｊ〜Ｐ７ｊ）それぞれ示しており、それぞれ所定のｂｉｔ幅で撮像素子３００から出力される。所定のｂｉｔ幅は一般的には画像信号の用途に応じて一意に決定されるため、駆動情報２８０１についても、同じｂｉｔ幅の情報量で表現可能な範囲で使用する。このように、画像信号以外に付帯情報として各ラインの先頭画素の画素信号より前に、駆動情報２８０１を画像信号のフォーマットに合わせて出力することで、撮像素子３００は付帯信号と画像信号を出力する。

Ｓ４０３では、タイミング生成部４２０において、制御部３９０からの制御情報に基づいてカウンタ値を生成する。本第４の実施形態における撮像素子３００は、水平方向に隣接する画素の信号が交互に異なる方向（上下方向）に読み出される構成になっている。そのため、例えば、図２６で示したように撮像素子３００上の離れた位置にある列ＡＤ変換部２６０３や列ＡＤ変換部２６０４で信号処理される。これら離れた位置にある列ＡＤ変換部２６０３，２６０４の互いの電気的な特性の差によって、オフセット成分に差異が生じることが知られている。すなわち、本第４実施形態における撮像素子３００から得られた画像信号は、水平方向に１画素ごとに、オフセットに差異が生じる可能性があり、撮像装置として表示や記録に不都合が生じてしまう。そのため、タイミング生成部４２０では、水平方向に１画素ごとに推定処理が切り替えられるようにするために、偶数列の画素では０、奇数列の画素では１、となるようにカウンタ値を判別信号生成部４８０に出力する。

Ｓ４０４において、判別信号生成部４８０において、付帯信号とタイミング生成部４２０で生成されたカウンタ値を元に、判別信号を生成する。図２９は、図２１で示した画像信号のうち、Ｌｉｎｅ２について、付帯信号と画像信号が撮像素子３００から出力される様子を示している。２９０１は、図２８で示した駆動情報２８０１の値であり、画素３０３または３０７からペアとなる光電変換部を個別に読み出す駆動において、光電変換部３０１または３０５から読み出す駆動のときに１が格納される。また、画素３０３または３０７からペアとなる光電変換部を個別に読み出す駆動において、光電変換部３０２または３０６から読み出す駆動のときに２が格納される。これらの駆動情報値２９０１は、それぞれ各ラインの先頭に格納される。２９０２は各ラインの画像信号を示しており、所定画素数で出力される。

なお、不図示ではあるが、画素３０３または３０７のペアとなる光電変換部から信号を同時に読み出す駆動のときには０が格納される。

タイミング生成部４２０は、Ｓ４０３で説明したように、偶数列の画素では０、奇数列の画素では１、となるように生成されたカウンタ値を出力する。また、判別信号生成部４８０は、駆動情報２８０１が１で偶数列のときに０、奇数列のときに１、駆動情報２８０１が２で偶数列のときに２、奇数列のときに３、となるように判別信号を生成する。さらに、不図示ではあるが、判別信号生成部４８０は、駆動情報２８０１が０で偶数列のときに０、奇数列のときに１を出力する。なお、駆動情報２８０１と偶数列、奇数列の組み合わせに対する判別信号はこれに限られるものではなく、異なる組み合わせの時に、第１の推定部３３０〜第４の推定部４４０のうち、互いに異なる推定部が用いられるようであればよい。

Ｓ４０５において、入力選択部４５０は、判別信号生成部４８０で生成された判別信号に基づいて、第１の推定部３３０、第２の推定部３４０、第３の推定部４３０、第４の推定部４４０の入力を切り替える。第１の推定部３３０〜第４の推定部４４０は、判別信号に応じて入力選択部４５０が切り替わることにより、異なる推定部で画像信号を処理する。

Ｓ４０６において、Ｓ４０５で選択された第１の推定部３３０、第２の推定部３４０、第３の推定部４３０、第４の推定部４４０のうちいずれかにより、入力選択部４５０を介して入力した画像信号を用いて、黒レベルを推定する。なお、推定処理は図２２のＳ３０５における処理と同じ処理なので、説明を省略する。

Ｓ４０７において、出力選択部４６０は、判別信号生成部４８０で生成された判別信号に応じて、第１の推定部３３０〜第４の推定部４４０のいずれかのうち、入力選択部４５０により選択された推定部を選択して出力する。

次に、Ｓ４０８において、補正値生成部３６０は、出力選択部４６０で選択された推定結果を元に補正値を生成する。生成処理は図２２のＳ３０７で説明した処理と同じなので、ここでは説明を省略する。

Ｓ４０９において、補正部３７０は、補正値生成部３６０から出力される補正値を用いて、撮像素子３００から出力される画像信号に対して黒レベルを調整するように補正する。Ｓ４１０では、１ライン分の画像信号の処理が終了したらＳ４１１へ、終了していなければＳ４０３に戻って次の画素の処理を続ける。

Ｓ４１１において、次のラインが存在する場合はＳ４０２に戻って次のラインの画像信号の処理を続け、全ライン分の画像信号の処理が終了していれば、上記処理を終了する。

上述したように、撮像素子３００の回路構成や用途に応じた画像信号の読み出し駆動が複雑になると、ラインごとに黒レベルが変動してしまう要因が増加してしまう問題があり、精度よく推定処理や補正処理を行うための制御が煩雑になってしまう。一方で、画素ごとに判別する必要がある場合は、１画素ごとに判別するための付帯信号を伝送してしまうとその情報量だけで所定の伝送帯域を消費してしまう問題がある。これに対し、本第４の実施形態によれば、撮像素子３００の回路構成に関する情報や、撮像素子３００から画像信号を読み出す駆動に関する情報のうち、ライン単位で不変の情報の場合は撮像素子３００から画像信号とともに付帯信号として出力する。そして、ライン内で変化する情報の場合は、信号処理側に備えられたタイミング生成部からのカウント値と、付帯信号に基づいて信号処理を切り替えることで、信号処理側の制御を簡潔にするとともに、精度よく、推定処理や補正処理を行うことが可能となる。

２４Ａ，２４Ｂ：光電変換部、３４：フローティングディフュージョン領域、１０１：同期信号発生部、１０３，３００：撮像素子、１０４：信号処理回路、１０５：画像処理回路、１１２：タイミングジェネレータ、１０４１：クランプ処理回路、２６０３，２６０４、１０４２，１０４５：シェーディング補正部、３０１，３０２，３０５，３０６：光電変換部、３１０：撮像素子駆動部、３２０，４５０：入力選択部、３３０：第１の推定部、３４０：第２の推定部、３５０，４６０：出力選択部、３６０：補正値生成部、３７０：補正部、３８０，４８０：判別信号生成部、３９０：制御部、４０５：フローティングデフュージョン部、４３０：第３の推定部、４４０：第４の推定部、２６０３，２６０４：列ＡＤ変換部、２６０５，２６０６：ラインメモリ、２６０７，２６０８：水平走査部、２６０９，２６１０：出力部

Claims (21)

1. 光電変換部で蓄積された電荷をフローティングディフュージョン（以下、ＦＤ）を介して信号を出力する、遮光された画素を含む複数の画素の配列からなる画素アレイと、前記画素アレイを異なる複数の駆動方法により駆動する駆動手段と、を有する撮像素子と、
   前記遮光された画素から出力された信号から、黒レベルを推定する複数の推定手段と、
   前記複数の推定手段のいずれかにより推定された黒レベルを用いて、前記撮像素子から出力された信号を補正する補正手段と、を有し、
   前記駆動手段は、前記複数の駆動方法を切り替えてフレームの走査を行うことが可能であり、前記複数の駆動方法のうちの第１の駆動方法と第２の駆動方法とにおける前記ＦＤの暗電流成分について、第１の駆動方法における第１のＦＤでのリークの影響（以下、第１のＦＤリーク）の状態と、第２の駆動方法における第２のＦＤでのリークの影響（以下、第２のＦＤリーク）の状態と、を、定義したときに、
   前記複数の推定手段のうち、第１の推定手段は、前記第１のＦＤリークの状態を有する信号のうち、第１の閾値より大きい信号を除いた信号に基づいて黒レベルを推定し、
   前記複数の推定手段のうち、第２の推定手段は、前記第２のＦＤリークの状態を有する信号のうち、第２の閾値より大きい信号を除いた信号に基づいて黒レベルを推定する
   ことを特徴とする撮像装置。
2. 前記駆動手段は、行単位で前記複数の駆動方法を切り替え、前記複数の推定手段は、行単位で黒レベルを推定し、
   前記補正手段は、前記撮像素子から出力された信号を、同じ行の信号から推定された黒レベルを用いて補正することを特徴とする請求項１に記載の撮像装置。
3. 光電変換部で蓄積された電荷をフローティングディフュージョン（以下、ＦＤ）を介して信号を出力する、遮光された画素を含む複数の画素からなる画素アレイと、前記画素アレイを異なる複数の駆動方法により駆動する駆動手段と、を有する撮像素子と、
   前記遮光された画素から出力された信号から、黒レベルを推定する複数の推定手段と、
   前記複数の推定手段により推定された黒レベルを加算する加算手段と、
   前記加算手段の加算結果による第１の黒レベルと、前記複数の推定手段のうち、第２の推定手段により推定された第２の黒レベルとのいずれかを用いて、前記撮像素子から出力された信号を補正する補正手段と、を有し、
   前記複数の推定手段は、前記駆動手段の駆動方法の違いにより相違するＦＤでのリークの影響（以下、ＦＤリーク）の状態に対応して夫々設けられ、
   前記複数の推定手段のうち、第１の推定手段は、第１のＦＤリークの状態を有する信号のうち、第１の閾値より大きい信号を除いた信号に基づいて第１の黒レベルを推定し、
   第２の推定手段は、第２のＦＤリークの状態を有する信号のうち、第２の閾値より大きい信号を除いた信号に基づいて第２の黒レベルを推定する
   ことを特徴とする撮像装置。
4. 前記駆動手段は、行単位で前記複数の駆動方法を切り替え、前記複数の推定手段は、行単位で黒レベルを推定し、
   前記補正手段は、前記第１の黒レベルと前記第２の黒レベルとの差が、予め決められた閾値より大きい場合に、当該第２の黒レベルの推定に用いた信号と同じ行の前記撮像素子から出力された信号を、前記第２の黒レベルを用いて補正し、それ以外の場合に前記第１の黒レベルを用いて補正することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の黒レベルと前記第２の黒レベルとの差が、予め決められた閾値より大きい場合に、前記加算手段は、前記第２の黒レベルを加算しないことを特徴とする請求項４に記載の撮像装置。
6. 前記第１の黒レベルと前記第２の黒レベルとの差が、予め決められた閾値より大きい状態が予め決められた期間、続いている場合に、前記第２の閾値を変更することを特徴とする請求項４または５に記載の撮像装置。
7. 前記第１の黒レベルと前記第２の黒レベルとの差が、予め決められた閾値より大きい状態が予め決められた回数、連続した場合に、前記第２の閾値を変更することを特徴とする請求項４または５に記載の撮像装置。
8. 前記画素アレイを構成する画素それぞれは、マイクロレンズと複数の光電変換部とを有し、
   前記複数の駆動方法は、
   各マイクロレンズに対応する前記複数の光電変換部のうちの一部の光電変換部の電荷を前記ＦＤに読み出して焦点検出用信号を出力した後、各マイクロレンズに対応する前記複数の光電変換部の電荷を前記ＦＤに読み出して加算した画像信号を出力する第１の駆動方法と、
   前記焦点検出用信号の読み出しを行わずに、各マイクロレンズに対応する前記複数の光電変換部の電荷を前記ＦＤに読み出して加算した画像信号を出力する第２の駆動方法と、を含み、
   前記第１の推定手段は、前記第１の駆動方法により前記遮光された画素から読み出した前記焦点検出用信号と、前記第２の駆動方法により前記遮光された画素から読み出した画像信号から、黒レベルを推定し、
   前記第２の推定手段は、前記第１の駆動方法により前記遮光された画素から読み出した画像信号から、黒レベルを推定する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記画素アレイを構成する画素それぞれは、マイクロレンズと複数の光電変換部とを有し、
   前記複数の駆動方法は、
   各マイクロレンズに対応する前記複数の光電変換部の電荷を、視差を有する一対の焦点検出用信号としてそれぞれ順に読み出す第１の駆動方法と、
   各マイクロレンズに対応する前記複数の光電変換部の電荷を、前記ＦＤに読み出して加算した画像信号を出力する第２の駆動方法と、を含み、
   前記第１の推定手段は、前記第２の駆動方法により前記遮光された画素から読み出した画像信号から黒レベルを推定し、
   前記第２の推定手段は、前記第１の駆動方法により前記遮光された画素から読み出した前記一対の焦点検出用信号を加算した信号から黒レベルを推定する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記複数の推定手段は、それぞれＩＩＲフィルタを用いて構成されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 遮光された画素を含む複数の画素を有し、前記複数の画素は、それぞれマイクロレンズと複数の光電変換部とを有し、予め決められた数の複数の画素により共有されるフローティングディフュージョン（以下、ＦＤ）を介して読み出した信号と、予め決められた付帯情報とを出力する撮像素子と、
    前記遮光された画素から出力された信号から、黒レベルを推定する複数の推定手段と、
    前記付帯情報に基づいて前記複数の推定手段のいずれかを選択し、前記遮光された画素から出力された信号を前記選択した推定手段に入力する選択手段と、
    前記選択手段により選択された前記推定手段により推定された黒レベルを用いて、前記撮像素子から出力された信号を補正する補正手段と、を有し、
    前記付帯情報は、各行の前記信号に対して付され、前記ＦＤにおける黒レベルの状態を示す情報であって、前記選択手段は、前記付帯情報が第１の黒レベルの状態を示す場合に、前記複数の推定手段のうち、第１の推定手段を選択し、第２の黒レベルの状態を示す場合に、前記第１の推定手段と異なる第２の選択手段を選択することを特徴とする撮像装置。
12. 前記撮像素子は、複数の異なる駆動方法により駆動することが可能であって、
    前記黒レベルの状態を示す情報は、前記駆動方法に関する情報と、前記撮像素子の回路構成に関する情報とを含むことを特徴とする請求項１１に記載の撮像装置。
13. 前記ＦＤは、各列ごとに複数行の画素により共有され、
    前記回路構成に関する情報は、前記複数行のいずれの行かを表す情報であることを特徴とする請求項１２に記載の撮像装置。
14. 前記撮像素子は、複数の信号読み出し部を有し、前記ＦＤを介して読み出された信号は、前記複数の信号読み出し部のいずれかを介して出力され、
    前記回路構成に関する情報は、前記複数の信号読み出し部のいずれかを介して読み出されたかを示す情報であることを特徴とする請求項１２に記載の撮像装置。
15. 前記撮像素子から出力される信号の列をカウントするカウンタをさらに有し、
    前記撮像素子の複数の画素は、列ごとに、前記複数の信号読み出し部のいずれかを介して出力され、
    前記複数の信号読み出し部のいずれかを介して読み出されたかを示す情報は、前記カウンタのカウント値であることを特徴とする請求項１４に記載の撮像装置。
16. 前記複数の推定手段は、前記信号を積算して平均することを特徴とする請求項１１乃至１５のいずれか１項に記載の撮像装置。
17. 前記複数の推定手段は、前記信号をフィルタ演算することを特徴とする請求項１１乃至１５のいずれか１項に記載の撮像装置。
18. 遮光された画素を含む複数の画素の配列からなる画素アレイと、前記画素アレイを異なる複数の駆動方法により駆動する駆動手段と、を備える撮像素子を持つ撮像装置の制御方法であり、
    前記駆動手段が光電変換部で蓄積された電荷をフローティングディフュージョン（以下、ＦＤ）を介して読み出した信号を、異なる複数の駆動方法により走査、転送する駆動工程と、
    複数の推定手段により、前記遮光された画素から出力された信号から、黒レベルを推定する推定工程と、
    補正手段が、前記複数の推定手段のいずれかにより推定された黒レベルを用いて、前記撮像素子から出力された信号を補正する補正工程と、を有し、
    駆動方法ごとに異なる前記ＦＤにおける電荷のリーク（以下、ＦＤリーク）の状態に夫々対応する様、前記複数の推定手段は前記複数の駆動方法に応じて夫々設けられ、
    前記推定工程では、前記複数の推定手段のうち、第１の推定手段は、第１の駆動方法におけるＦＤリークの状態を有する信号のうち、第１の閾値より大きい信号を除いた信号に基づいて黒レベルを推定し、第２の推定手段は、第２の駆動方法におけるＦＤリークの状態を有する信号のうち、第２の閾値より大きい信号を除いた信号に基づいて黒レベルを推定する
    ことを特徴とする撮像装置の制御方法。
19. 遮光された画素を含む複数の画素の配列からなる画素アレイと、前記画素アレイの信号を転送する様に駆動する駆動手段と、を備える撮像素子を持つ撮像装置の制御方法であり、
    前記駆動手段が、遮光された画素を含む画素アレイに対して、光電変換部で蓄積された電荷をフローティングディフュージョン（以下、ＦＤ）を介して読み出した信号を、異なる複数の駆動方法により走査、転送する様に駆動する駆動工程と、
    複数の推定手段により、前記遮光された画素から出力された信号から、黒レベルを推定する推定工程と、
    加算手段が、前記複数の推定手段により推定された黒レベルを加算する加算工程と、
    補正手段が、前記加算工程の加算結果による第１の黒レベルと、前記複数の推定手段のうち、第２の推定手段により推定された第２の黒レベルとのいずれかを用いて、前記撮像素子から出力された信号を補正する補正工程と、を有し、
    駆動方法ごとに異なる前記ＦＤにおける電荷のリーク（以下、ＦＤリーク）の状態に夫々対応する様、前記複数の推定手段は前記複数の駆動方法に応じて夫々設けられ、
    前記推定工程では、前記複数の推定手段のうち、第１の推定手段は、第１の駆動方法におけるＦＤリークの状態を有する信号のうち、第１の閾値より大きい信号を除いた信号に基づいて第１の黒レベルを推定し、第２の推定手段は、第２の駆動方法におけるＦＤリークの状態を有する信号のうち、第２の閾値より大きい信号を除いた信号に基づいて第２の黒レベルを推定する
    ことを特徴とする撮像装置の制御方法。
20. 遮光された画素を含む複数の画素を有し、前記複数の画素は、それぞれマイクロレンズと複数の光電変換部とを有し、予め決められた数の複数の画素により共有されるフローティングディフュージョン（以下、ＦＤ）を介して読み出した信号と、予め決められた付帯情報とを出力する撮像素子から出力された前記付帯情報に基づいて、複数の推定手段のいずれかを選択し、前記遮光された画素から出力された信号を前記選択した推定手段に入力する選択工程と、
    前記選択工程で選択された推定手段が、前記遮光された画素から出力された信号から、黒レベルを推定する推定工程と、
    補正手段が、前記選択工程で選択された推定手段により推定された黒レベルを用いて、前記撮像素子から出力された信号を補正する補正工程と、を有し、
    前記付帯情報は、各行の前記信号に対して付され、前記ＦＤにおける黒レベルの状態を示す情報であって、前記選択工程では、前記付帯情報が第１の黒レベルの状態を示す場合に、前記複数の推定手段のうち、第１の推定手段を選択し、第２の黒レベルの状態を示す場合に、前記第１の推定手段と異なる第２の選択手段を選択することを特徴とする撮像装置の制御方法。
21. 前記撮像素子は、複数の信号読み出し部を有し、前記ＦＤを介して読み出された信号は、前記複数の信号読み出し部のいずれかを介して出力され、複数の異なる駆動方法により駆動することが可能であって、
    前記黒レベルの状態を示す情報は、前記駆動方法に関する情報と、前記撮像素子の回路構成に関する情報とを含み、
    前記回路構成に関する情報は、前記複数の信号読み出し部のいずれかを介して読み出されたかを示す情報であることを特徴とする請求項２０に記載の撮像装置の制御方法。