JP2013211770A - 撮像装置および信号処理方法 - Google Patents

Abstract

【課題】撮像画素および焦点検出画素を有する撮像素子からの画素出力に対して適正なシェーディング補正を行うことにより、画質の劣化を低減する撮像装置を提供する。
【解決手段】撮像装置１００は、撮像光学系からの光束により形成された像を光電変換する複数の撮像画素、および、撮像光学系からの光束のうち分割された光束により形成された像を光電変換する複数の焦点検出画素を有する撮像素子１０１と、撮像素子１０１からの画素信号に対してシェーディング補正を行うＤＳＰ１０３とを有し、撮像素子１０１は、複数の撮像画素からの信号を加算して第１の画素信号を生成し、複数の焦点検出画素からの信号を加算することなく第２の画素信号を生成し、ＤＳＰ１０３は、第１の画素信号と第２の画素信号に対して互いに異なる補正データを用いてシェーディング補正を行う。
【選択図】図１０

Description

本発明は、撮像画素および焦点検出画素を有する撮像素子を備えた撮像装置に関する。

従来から、ＣＭＯＳセンサ等の撮像素子を用いた撮像装置において、撮影時に発生するダーク時のシェーディング（オフセット量）については、所定の補正処理を行って低減している。特許文献１には、ダーク撮影時の画像を射影演算して得られた１次元補正データを用いて、現像処理時に水平ダークシェーディング補正を行うことが開示されている。

また、撮像装置の性能を向上させるため、撮像素子に位相差検出機能を付与することで専用のＡＦセンサを不要とし、高速の位相差ＡＦを実現する構成が知られている。特許文献２には、通常画素（撮像画素）および焦点検出画素を有する撮像素子を備えた撮像装置が開示されている。この撮像装置は、電子ビューファインダモードや動画撮影モードなど、複数の撮像画素の出力を加算して読み出す加算読み出しモードを有する。また特許文献２には、撮像画素に対しては加算処理を行い、焦点検出画素が含まれる場合には加算処理を行わずに（非加算で）焦点検出画素のみを読み出すモードを有する撮像装置が開示されている。

特開２００３−３３３４３４号公報 特開２０１０−２００５５号公報

しかしながら、撮像画素（加算画素）と焦点検出画素（非加算画素）のように、１フレーム中に異なる駆動パターンを用いて読み出される画素が混在する場合、回路構成などの影響によって特性に違いが生じる。例えば、撮像素子の内部に加算処理を行うための電気回路が存在する場合、加算対象画素の間にトランジスタなどのスイッチ素子が介在する。一方、焦点検出画素の出力に対しては加算処理が行われない（非加算）ため、焦点検出画素にはスイッチ素子が介在しない。このため、スイッチ個々の閾値ばらつきなどの影響により、加算時と非加算時のシェーディング（オフセット量）が異なる。また焦点検出画素は、瞳分割を行うため、配線層による開口が通常画素と異なる。このため、配線容量に差が生じ、通常画素と焦点検出画素でオフセット量が異なる。したがって、通常画素（撮像画素）の出力に対してシェーディング補正（オフセット補正）を行っても、焦点検出画素の出力に対しては適正な補正とならず、画質が劣化する場合がある。

そこで本発明は、撮像画素および焦点検出画素を有する撮像素子からの画素出力に対して適正なシェーディング補正を行うことにより、画質の劣化を低減する撮像装置および信号処理方法を提供する。

本発明の一側面としての撮像装置は、撮像光学系からの光束により形成された像を光電変換する複数の撮像画素、及び、該撮像光学系からの光束のうち分割された光束により形成された像を光電変換する複数の焦点検出画素を有する撮像素子と、前記撮像素子からの画素信号に対してシェーディング補正を行う信号処理手段とを有し、前記撮像素子は、前記複数の撮像画素からの信号を加算して第１の画素信号を生成し、前記複数の焦点検出画素からの信号を加算することなく第２の画素信号を生成し、前記信号処理手段は、前記第１の画素信号と前記第２の画素信号に対して互いに異なる補正データを用いて前記シェーディング補正を行う。

本発明の他の側面としての信号処理方法は、撮像光学系からの光束により形成された像を光電変換する複数の撮像画素、及び、該撮像光学系からの光束のうち分割された光束により形成された像を光電変換する複数の焦点検出画素を有する撮像素子からの画素信号を処理する信号処理方法であって、前記複数の撮像画素からの信号を加算して第１の画素信号を生成し、前記複数の焦点検出画素からの信号を加算することなく第２の画素信号を生成するステップと、前記第１の画素信号と前記第２の画素信号に対して互いに異なる補正データを用いてシェーディング補正を行うステップとを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮像画素および焦点検出画素を有する撮像素子からの画素出力に対して適正なシェーディング補正を行うことにより、画質の劣化を低減する撮像装置および信号処理方法を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における撮像素子のブロック図である。 実施例１における撮像素子の画素配置図である。 実施例１における撮像素子の開口領域における画素配置図である。 実施例１における撮像素子の加算読み出しの説明図である。 実施例１における撮像装置の動画表示駆動を示すフローチャートである。 実施例１における撮像装置の動画駆動を示すフローチャートである。 実施例１におけるＤＳＰのシェーディング補正部の回路構成図である。 実施例１におけるシェーディング補正を示すフローチャートである。 実施例１における撮像素子の画像出力（補正前後の画像出力）である。 実施例２における撮像素子の画素配置図である。 実施例２における撮像素子の画像出力（補正前後の画像出力）である。 実施例２におけるシェーディング補正を示すフローチャートである。 実施例２におけるダーク時の焦点検出画像の出力（補正前後の画像出力）である。 実施例１におけるＤＳＰの動作を示すブロック図である。 実施例２におけるＤＳＰの動作を示すブロック図である。 実施例３におけるＤＳＰの動作を示すブロック図である。 実施例３におけるダーク時の焦点検出画像の出力（補正前後の画像出力）である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における撮像装置（カメラ）の構成および動作について説明する。図１は、本実施例における撮像装置のブロック図である。１０１は、ＣＭＯＳセンサ等の撮像素子である。撮像素子１０１は、撮像光学系（レンズ装置）からの光束により形成された像を光電変換する複数の撮像画素、および、撮像光学系からの光束のうち分割された光束により形成された像を光電変換する複数の焦点検出画素を有する撮像素子を有する。また撮像素子１０１は、後述のように、複数の撮像画素からの信号を加算して第１の画素信号を生成し、焦点検出画素からの信号を加算することなく第２の画素信号を生成する。１０２は、撮像素子１０１から出力された信号（アナログ信号）をデジタル信号に変更するＡ／Ｄ変換器である。

１０３は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であり、Ａ／Ｄ変換器１０２から出力されたデータに対して各種の補正処理および現像処理を行う信号処理手段である。またＤＳＰ１０３は、ＲＯＭ１０６およびＲＡＭ１０７等の各種メモリの制御や、記録媒体１０８への画像データの書き込み処理を行う。特に本実施例において、ＤＳＰ１０３は、撮像素子１０１からの画素信号に対して後述のシェーディング補正を行う。このときＤＳＰ１０３は、第１の画素信号と第２の画素信号に対して互いに異なる補正データを用いてシェーディング補正を行う。

１０４は、撮像素子１０１、Ａ／Ｄ変換器１０２、ＤＳＰ１０３に制御信号を供給するタイミング発生回路であり、ＣＰＵ１０５により制御される。１０５は、ＤＳＰ１０３、タイミング発生回路１０４の制御、および、不図示の各部によるカメラ機能の制御を行うＣＰＵである。ＣＰＵ１０５には、電源スイッチ１０９（電源ＳＷ）、シャッタースイッチ１１０（ＳＷ１）、シャッタースイッチ１１１（ＳＷ２）、および、モードダイアル１１２等が接続され、ＣＰＵ１０５は、それぞれの状態に応じた処理を実行する。１０６は、撮像装置１００の制御プログラムや各種補正データを記憶するＲＯＭ（メモリ）である。１０７は、ＤＳＰ１０３で処理される画像データや補正データを一時的に記憶するＲＡＭ（メモリ）である。本実施例の工程で取得される各種補正データはＲＯＭ１０６に予め記憶されており、撮影時にＲＡＭ１０７に展開されて画像データの補正に用いられる。１０８は、撮影画像を保存する記録媒体であり、不図示のコネクタを介して撮像装置１００と接続される。

１０９は、撮像装置１００を起動させるための電源スイッチ（電源ＳＷ）である。１１０は、撮像動作開始を指示するシャッタースイッチ（ＳＷ１）である。１１１は、撮像素子１０１から読み出された信号をＡ／Ｄ変換器１０２およびＤＳＰ１０３を介して記録媒体１０８に書き込む一連の撮像動作の開始を指示するシャッタースイッチ（ＳＷ２）である。１１２は、撮像装置１００の動作モードを選択するモードダイアルである。

次に、図２を参照して、撮像素子１０１の構成および動作について説明する。図２は、撮像素子１０１のブロック図であり、後述の読み出し動作を説明するために必要な最低限の構成を示し、画素リセット信号等を省略している。

図２において、２０１は、光電変換部（以下、「ＰＤ_ｍｎ」という場合がある。ここで、ｍはＸ方向アドレスであり、ｍ＝０、１、…、ｍ−１、ｎはＹ方向アドレスであり、ｎ＝０、１、…、ｎ−１である。）である。光電変換部２０１は、フォトダイオード、画素アンプ、および、リセット用のスイッチ等を備えている。撮像素子１０１は、ｍ×ｎの光電変換部２０１を二次元的に配置して構成される。図２において、光電変換部２０１を示す符号は、煩雑さを避けるため、左上の光電変換部ＰＤ_００〜ＰＤ_０３のみに付されている。また、光電変換部２０１に付されたＲ、Ｇ、Ｂはカラーフィルタを示しており、本実施例のカラーフィルタは、いわゆるベイヤー配列で配置されている。

２０２は、光電変換部２０１の出力を選択するスイッチであり、垂直走査回路２１０により、一行ごとに選択される。２０３は、光電変換部２０１の画素アンプ（不図示）の負荷となる定電流源であり、各垂直出力線に配置される。２０４は、光電変換部２０１の出力を一時的に記憶するラインメモリであり、垂直走査回路２１０により選択された一行分の光電変換部２０１の出力を記憶する。ラインメモリ２０４としては、通常、コンデンサが用いられる。

２０５は、水平方向に複数の画素の信号電荷を加算する加算部である。加算部２０５は、ＡＤＤ端子およびＡＦ端子に入力される二つの制御信号により制御され、後述の加算読み出し時に水平方向の画素の信号電荷を加算する。加算部２０５のＡＤＤ端子は、加算／非加算を切り替える信号の入力端子である。ＡＤＤ端子にＬレベルの制御信号が入力された場合には非加算が選択される。一方、ＡＤＤ端子にＨレベルの制御信号が入力された場合には加算が選択される。加算部２０５のＡＦ端子は、撮像素子１０１に含まれる焦点検出画素（焦点検出画素群）を非加算で選択的に読み出す場合に用いられる入力端子である。加算部２０５は、水平走査回路２０８と同様に、出力される画素の信号電荷を選択する選択部として機能する。

２０６は、ラインメモリ２０４に記憶された光電変換部２０１の出力を水平出力線ＨＯＬに順次出力するスイッチ（Ｈ_０〜Ｈ_ｍ−１）である。水平走査回路２０８がＨ_０〜Ｈ_ｍ−１のスイッチ２０６を順次走査することにより、一行分の光電変換の出力が読み出される。２０７は、水平出力線ＨＯＬに接続されて、水平出力線ＨＯＬを電位ＶＨＲＳＴにリセットするスイッチであり、信号ＨＲＳＴにより制御される。２０８は、水平走査回路であり、ラインメモリ２０４に記憶された光電変換部２０１の出力を順次走査して水平出力線ＨＯＬに出力する。水平走査回路２０８は、ＣＰＵ１２１の制御によって必要な画素を選択する選択部としても機能する。

水平走査回路２０８において、ＰＨＳＴ端子は、水平走査回路２０８のデータ入力端子である。ＰＨ１端子およびＰＨ２端子は、シフトクロック入力端子である。ＰＨＳＴ端子に入力されるデータは、ＰＨ１端子がＨレベルになることによりセットされる。そして、ＰＨＳＴ端子に入力されるデータは、ＰＨ２端子がＨレベルになることによりラッチされる。ＰＨ１端子およびＰＨ２端子にシフトクロックを入力することにより、ＰＨＳＴ端子の入力信号を順次シフトさせて水平走査回路２０８を駆動し、Ｈ_０〜Ｈ_ｍ−１のスイッチ２０６を順次オンさせることができる。

水平走査回路２０８のＳＫＩＰ端子は、後述の間引き読み出しおよび加算読み出し時に水平走査回路２０８の設定を行うための制御入力端子である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２０８を所定間隔で（例えば、Ｈ２、Ｈ５、Ｈ８、…のように）水平走査回路２０８の走査をスキップさせ、水平方向に画素出力を間引いて読み出すことができる。また、ＡＦ端子をＳＫＩＰ端子と併用して設定することにより、スキップの周期を異ならせて画素出力の読み出しを行うことができる。なお、読み出し動作の詳細については後述する。２０９は、水平出力線ＨＯＬから順次出力される画素信号のバッファアンプである。

２１０は、垂直走査回路である。垂直走査回路２１０は、順次走査して信号Ｖ_０〜Ｖ_ｎ−１を出力することにより、光電変換部２０１のスイッチ２０２を選択する。垂直走査回路２１０は、水平走査回路２０８と同様に、データ入力端子ＰＶＳＴ（不図示）、シフトクロック入力端子ＰＶ１、ＰＶ２（不図示）、および、間引き読み出し設定用のＳＫＩＰ端子（不図示）により制御される。なお、垂直走査回路２１０の動作については水平走査回路２０８と同様であるため、その詳細な説明は省略する。また説明の簡略化のため、垂直方向の加算機能の説明は省略する。

次に、図３および図４を参照して、撮像素子１０１の画素配置について説明する。図３は、撮像素子１０１の画素配置図である。図３において、灰色で示される領域は遮光領域であり、基準領域として用いられるオプティカルブラック領域である。他の領域は、開口領域（補正領域）である。オプティカルブラック領域において、画面上部を垂直基準領域であるＶＯＢ部（垂直オプティカルブラック領域）、画面左側をＨＯＢ部（水平オプティカルブラック領域）とそれぞれ呼ぶ。

ＶＯＢ部（垂直オプティカルブラック領域）の垂直方向の一部は、水平シェーディングデータを算出するための演算領域を構成する。本実施例では、この演算領域の出力を参照して撮像素子１０１の出力が読み出されるとともに、水平シェーディング補正量が算出される。なお、この演算領域は、後述の加算動作に対応できるように、通常画素（撮像画素）のみの行に対応する第１の駆動パターン、および、焦点検出画素を含む行に対応する第２、第３の駆動パターンで駆動される領域に分かれている。その後、開口領域から開始する補正領域を読み出す際には、水平シェーディング補正演算が行われ、その結果が出力される。この間、撮像素子１０１の読み出し動作は、演算領域または補正領域に関わらず、連続的に行われる。開口領域には、全ての画素が通常画素（撮像画素）で構成された開口領域（ａ）、および、焦点検出画素がその一部に配置された開口領域（ｂ）が存在する。

図４は、撮像素子１０１の開口領域における画素配置図である。本実施例の画素配置は、２×２のベイヤー配列を基本としている。また本実施例の画素配置において、１２×６の画素パターンが基本単位であり、その画素パターンに一対の焦点検出用画素Ｓ_ＨＡ、Ｓ_ＨＢが配置されている。ただし、本実施例はこれに限定されるものではなく、他の基本単位を有する画素パターンにも適用可能である。図４（ａ）は、図３の開口領域（ａ）を示し、通常画素（撮像画素）のみで構成された領域である。一方、図４（ｂ）は、図３の開口領域（ｂ）を示している。開口領域（ｂ）において、アドレス（０，１０）に位相差検出方式による焦点検出用の基準画素であるＳ_ＨＡ画素（焦点検出画素）、アドレス（９，３）に位相差検出方式による焦点検出用の参照画素であるＳ_ＨＢ画素（焦点検出画素）がそれぞれ配置されている。

位相差検出方式による焦点検出は、基準画素と参照画素の二つの焦点検出画素を必要とする。本実施例の撮像素子１０１は、１２×６の画素パターン（基本単位）が繰り返し配置されて全体でｍ×ｎの画素を有するように構成されている。また本実施例の撮像素子１０１では、１２×６の画素パターンに対して一対の基準画素（Ｓ_ＨＡ画素）および参照画素（Ｓ_ＨＢ画素）が互いに離れるように配置されている。このように、本実施例の撮像素子１０１には、１２×６の画素パターン（基本単位）に対して最小限の数の焦点検出画素が配置されている。このため、撮像画素の分布密度が高くなり、画質の劣化を防止することができる。

次に、図５を参照して、本実施例における加算読み出しについて説明する。図５は、加算読み出しの説明図であり、図４に示される画素配置において最初に読み出されるＶ０、Ｖ３行の２行分の読み出しを模式的に示している。それぞれ上段の配置が画素部、下段が読み出し画素出力対応している。

まず、加算読み出しを行うため、画素信号の読み出し前に、水平走査回路２０８のＳＫＩＰ端子および加算部２０５のＡＤＤ端子をＨレベルに、ＡＦ端子をＨレベルにそれぞれ設定する。次に、垂直走査回路２１０がＶ０行を選択し、Ｖ０行の画素出力である画素信号Ｈ_０〜Ｈ_ｍ−１をラインメモリ２０４に転送する。そして加算部２０５は、ＡＤＤ端子およびＡＦ端子の設定に従って画素信号を加算する。このときの加算は、基本的に３画素単位で同色の画素信号が加算される。

図５（ａ）は、図４（ａ）の領域ＡのＶ０、Ｖ３行を示している。領域Ａは、全て通常画素（撮像画素）からなる領域であり、全ての画素に対して同色の３画素を加算して得られた信号を撮像素子１０１の外部に出力する。本実施例において、この場合の駆動パターンを第１の駆動パターンという。一方、図５（ｂ）は、図４（ｂ）の領域Ｂ中のＶ０行を示している。領域Ｂは、通常画素だけでなく焦点検出画素Ｓ_ＨＡを含み、加算対象が全て通常画素である場合には３画素を加算して信号を取得し、３画素に焦点検出画素Ｓ_ＨＡが含まれる場合には、これらの画素を加算せずに信号を出力する。図５（ｂ）では、Ｈ６、Ｈ８、Ｈ１０列のうちＨ６およびＨ８列が通常画素、Ｈ１０が焦点検出画素Ｓ_ＨＡである。このため、これらの画素から得られる信号は加算されない。

その後、水平走査回路２０８のＰＨＳＴ端子に入力されたデータをＰＨ１端子およびＰＨ２端子の転送パルスで順次走査し、水平走査回路２０８を駆動する。このとき水平走査回路２０８は、ＳＫＩＰ端子およびＡＦ端子の設定により、スイッチ２０６をＨ３、Ｈ４、Ｈ９、Ｈ１０、…の順に走査する。そして加算対象画素が全て通常画素である場合には、バッファアンプ２０９を介して、加算された通常画素の信号を出力する。一方、加算対象画素に焦点検出画素が含まれる場合には、バッファアンプ２０９を介して、これらの画素からの信号を加算することなく焦点検出画素の信号のみを出力する。このときの駆動パターンを第２の駆動パターンという。

Ｖ０行の読み出しを終了すると、垂直走査回路２１０は飛び越し走査を行ってＶ３行を選択し、Ｖ３行の画素出力であるＨ_０〜Ｈ_ｍ−１の画素信号をラインメモリ２０４に転送する。このとき、加算部２０５のＡＤＤ端子およびＡＦ端子の設定により、加算部２０５は所定の画素信号を加算する。

同様に、図５（ｃ）は、図４（ｂ）の領域Ｃ中のＶ３行を示している。領域Ｃは、通常画素だけでなく焦点検出画素Ｓ_ＨＢを含み、加算対象が全て通常画素である場合には３画素を加算して信号を取得し、３画素に焦点検出画素Ｓ_ＨＢが含まれる場合には、これらの画素を加算せずに信号を出力する。図５（ｃ）では、Ｈ７、Ｈ９、Ｈ１１列のうちＨ７およびＨ１１列が通常画素、Ｈ９が焦点検出画素Ｓ_ＨＢである。このため、Ｈ７、Ｈ９、Ｈ１１列の画素から得られる信号は加算されない。

その後、水平走査回路２０８のＰＨＳＴ端子に入力されたデータをＰＨ１端子およびＰＨ２端子の転送パルスで順次走査して、水平走査回路２０８を駆動する。このとき水平走査回路２０８は、ＳＫＩＰ端子およびＡＦ端子の設定により、スイッチ２０６をＨ３、Ｈ４、Ｈ９、Ｈ１０の順に走査する。そして加算対象画素が全て通常画素（撮像画素）である場合には、バッファアンプ２０９を介して、加算された通常画素の信号を出力する。一方、加算対象画素に焦点検出画素が含まれる場合には、バッファアンプ２０９を介して、これらの画素からの信号を加算することなく焦点検出画素の信号のみを出力する。このときの駆動パターンを第３の駆動パターンという。

以下、同様に、垂直走査回路２１０、水平走査回路２０８で飛び越し走査を行いながら、撮像素子１０１の加算読み出しが行われる。また本実施例において、焦点検出画素は欠陥画素として補正することにより、画像を生成する際の画質劣化を低減することができる。すなわちＣＰＵ１２１は、加算読み出しモードにおいて、焦点検出画素に対応する通常画素（撮像画素）を補完する。このように本実施例では、図４（ｂ）に示される開口領域（ｂ）において、Ｖ０行についてはＨ１０列の焦点検出画素を、Ｖ３行についてはＨ９列の焦点検出画素をそれぞれ読み出す。この結果、本実施例の構成によれば、加算読み出し時に位相差ＡＦを行うことができる。なお、図３に示されるＶＯＢ部の演算領域（ａ）は図５（ａ）と同様の第１の駆動パターンにて駆動し、演算領域（ｂ）は図５（ｂ）と同様の第２の駆動パターンにて駆動し、演算領域（ｃ）は図５（ｃ）と同様の第３の駆動パターンにて駆動する。

次に、図６を参照して、撮像装置１００による電子ビューファインダ駆動について説明する。図６は、電子ビューファインダ駆動（動画表示駆動）を示すフローチャートである。本実施例の動画表示駆動は、撮像と焦点検出を同時に行い、図３乃至図５を参照して説明した加算モードで行われる駆動である。なお、図６に示される各工程は、撮像装置１００のＣＰＵ１０５の指令に基づいて行われる。

まず図６のステップＳ２０１において、ＣＰＵ１０５は、撮像装置１００を起動する電源スイッチ１０９（電源ＳＷ）がＯＮになっているか否かを判定する。電源スイッチ１０９がＯＦＦである場合には、電源スイッチ１０９がＯＮになるまで待機する。一方、電源スイッチ１０９がＯＮである場合には、ステップＳ２０２へ移行する。ステップＳ２０２において、ＣＰＵ１０５は、モードダイアル１１２が動画表示モードに設定されているか否かを判定する。モードダイアル１１２が動画表示モードに設定されている場合には、ステップＳ２０４へ移行する。一方、モードダイアル１１２がその他のモードに設定されている場合には、ステップＳ２０３に進む。ステップＳ２０３において、ＣＰＵ１０５は、選択されているモードに応じた処理（選択された処理）を行い、ステップＳ２０１へ戻る。

ステップＳ２０２で動画表示モードが選択された場合、ステップＳ２０４において、ＣＰＵ１０５は動画駆動を実行する。なお、この動画駆動の詳細については後述する。続いてステップＳ２０５において、ＣＰＵ１０５は、動画駆動で取得した画像を不図示のＴＦＴなどの表示装置に表示する。続いてステップＳ２０６において、ＣＰＵ１０５はフォーカス動作を行う。すなわちＣＰＵ１０５は、動画駆動中に取得した焦点検出画素からの画素出力に基づいて演算した測距情報を用いて、不図示のレンズ（撮影レンズ）を駆動する。レンズの駆動が完了した後、ステップＳ２０１へ戻る。

次に、図７を参照して、図６のステップＳ２０４における動画駆動の詳細動作について説明する。なお、実際のシーケンスは各動作を並行して行われる場合があるが、説明の便宜上、時系列での動作としている。図７の各工程は、ＣＰＵ１０５の指令に基づいて行われる。

まずステップＳ３０１において、撮像素子１０１に蓄積された電荷を除去する（電荷クリア動作）。続いてステップＳ３０２において、撮像素子１０１の電荷蓄積を開始する。電荷蓄積を開始した後、ステップＳ３０３に進み、ＣＰＵ１０５は露光（露出）が終了したか否かを判定する。露光が終了していない場合には、露光が終了するまで待機する。一方、露光が終了した場合には、ステップＳ３０４に進む。ステップＳ３０４においては、ＣＰＵ１０５は撮像素子１０１の像信号読み出しを開始する。像信号を読み出す際には、図３乃至図５を参照して説明した駆動モードにより、通常画素の加算画素出力および焦点検出画素の非加算（間引き）画素出力がなされるように駆動する。またＣＰＵ１０５は、信号読み出しの開始と同時に、ステップＳ３０５においてシェーディング補正（ダークシェーディング補正）を実行する。ダークシェーディング補正の詳細については後述する。

続いてステップＳ３０６において、ＣＰＵ１０５（ＤＳＰ１０３）は、ダークシェーディング補正がなされた焦点検出画素Ｓ_ＨＡ、Ｓ_ＨＢの出力に基づいて、位相差焦点検出（焦点検出演算）を行う。このときＣＰＵ１０５（ＤＳＰ１０３）は、全体の画像処理と並行して、焦点検出画素Ｓ_ＨＡ、Ｓ_ＨＢの出力のみを選択した焦点検出画像（Ａ像、Ｂ像）を生成し、周知の位相差焦点検出を行う。続いてステップＳ３０７において、ＣＰＵ１０５は、撮像素子１０１からの像信号の読み出しが完了したか否かを判定する。像信号の読み出しが完了していない場合には、像信号の読み出しが完了するまで待機する。一方、撮像素子１０１からの像信号の読み出しが完了した場合には、図７の一連の処理を終了してメインの処理（図６）へ復帰する。

本実施例では、撮像素子１０１が持つ水平方向の一次元のダークシェーディング補正が行われる。すなわち、本撮影時の画像自身で補正データの算出および補正を行うため、撮像素子１０１のＶＯＢ部（垂直オプティカルブラック部）の出力に基づいて水平方向の一次元のダークシェーディング補正値を算出する。そして、この算出結果を補正データとして用いる。

次に、図１５を参照して、本実施例におけるＤＳＰ１０３の動作について説明する。図１５は、ＤＳＰ１０３の動作を示すブロック図である。図１５において、１３０１は、撮像素子１０１から読み出された像信号に対してシェーディング補正を行うシェーディング補正部である。１０３２は、シェーディング補正を行った後に焦点検出画素からの出力のみを集めて、周知の位相差方式による焦点検出演算を行う焦点検出演算部である。焦点検出演算部１０３２で演算された結果は、ＣＰＵ１０５に出力される。

１０３３は、シェーディング補正後の画素出力（撮像画素および焦点検出画素の出力）に対して欠陥補正などの各種補正を行う撮像補正部である。１０３４は、撮像補正部１０３３で各種補正が行われた後の像信号の現像処理を行う現像処理部である。現像処理部１０３４の出力は、画像データとして、記録媒体１０８に書き込まれる。なお、撮像補正部１０３３にて焦点検出画素の欠陥補正が行われるため、焦点検出画素による画質の劣化を低減することができる。

次に、図８を参照して、ＤＳＰ１０３のシェーディング補正部１０３１を実現するための回路構成について説明する。図８は、シェーディング補正部１０３１の回路構成図である。５０１は、シェーディング補正部１０３１の入力端子であり、Ａ／Ｄ変換器１０２にて変換されたデジタル信号（画素出力）が入力される。５０２は、各列に対応した補正値を記憶するＳＲＡＭであり、撮像素子１０１の画素の列数以上の記憶容量を備えている。なお本実施例では、複数の駆動モードが存在するため、モード毎に撮像素子１０１の画素の列数以上の記憶容量を備えている。

５０３はメモリコントローラであり、演算対象および補正対象となる画素出力のタイミングに応じてＳＲＡＭ５０２に記憶されたアドレスを選択し、データの読み出しおよび書き込み（Ｒ／Ｗ制御）を行う。メモリコントローラ５０３の動作は、撮像素子１０１を制御する水平同期信号および垂直同期信号を基準タイミングとして、撮像素子１０１の読み出しタイミング中の演算領域および補正領域の設定に従って行われる。

５０４は加算器であり、現在読み出されている画素の出力に対応したＳＲＡＭ５０２内のアドレスに記憶されたデータに、現在の撮像素子１０１の出力値を加算し、演算領域の列ごとの積分演算を行う。５０５は１／Ｎ乗算器であり、演算領域の列ごとの垂直方向の全画素の積分結果を、設定された平均画素数（＝ＳＲＡＭ５０２の特定アドレスに記憶された積分画素数）で除算し、列ごとの平均値を算出する。回路を簡略化するため、列ごとの積分行数を２のべき乗に限定することで、ビットシフトにより代用することも可能である。

５０６は、撮像素子１０１の開口領域の出力に対して、画素ごとに減算処理を行う減算回路である。減算回路５０６は、撮像素子１０１から出力されるデータに対し、水平同期信号に同期し、１／Ｎ乗算器５０５より出力される各列に対応した水平シェーディング補正データを正しく減算する。これにより、シェーディング補正部１０３１の出力データは、ダーク部分の出力が略０、かつ、水平方向にフラットな出力となり、出力端子５０７から補正出力として出力される。この補正出力は、ＤＳＰ１０３の他のブロックに転送される。

次に、図９を参照して、シェーディング補正部１０３１の動作について説明する。図９は、図７のステップＳ３０５におけるシェーディング補正を示すフローチャートである。本フローは、実際には図７のステップＳ３０４における像信号の読み出し開始と同時に開始する。

図７のステップＳ３０４が開始すると、図９のステップＳ４０１において、像信号の読み出し前にＳＲＡＭ５０２に記憶された全ての内容をリセットする。そして、各部で設定すべき演算領域および補正領域の座標等のデータをＲＯＭ１０６、ＲＡＭ１０７等から読み出して各レジスタに設定する（領域設定）。領域設定が完了した後、撮像素子１０１の上部左側から像信号の読み出しを開始する。

続いてステップＳ４０２において、シェーディング補正部１０３１は、読み出された画素データ（像信号）が図３の演算領域（ａ）の画素データであるか否かを判定する。この画素データが演算領域（ａ）の画素データである場合、ステップＳ４０３において、シェーディング補正部１０３１は列ごとの積分処理を行う。なお、積分処理においては、読み出された画素データの水平方向の位置に対応してＳＲＡＭ５０２に記憶されたアドレスの内容を読み出した後に加算処理を行い、この加算結果をＳＲＡＭ５０２内の同一アドレスに記憶データ１として記憶する。このときのアドレスは、第１の駆動パターンデータに対応するデータ（記憶データ１）を記憶するために予め定められたアドレスである。まず、演算領域の先頭行では、ＳＲＡＭ５０２の内容をリセットした状態であるため、加算される値は「０」であり、読み出された画素データがそのままＳＲＡＭ５０２に記憶される。このように、演算領域の先頭行の画素データの読み出しが完了すると、ＳＲＡＭ５０２にはこの先頭行のデータがそのまま記憶されていることになる。

続いてステップＳ４０４において、シェーディング補正部１０３１は、読み出された画素データが図３の演算領域（ｂ）の画素データであるか否かを判定する。この画素データが演算領域（ｂ）の画素データでない場合、ステップＳ４０３に戻り、演算領域（ａ）における次行の画素データの読み出しを行う。先行と同様に、読み出された水平方向の位置に対応してアドレスのＳＲＡＭ５０２に記憶された値を読み出し、読み出された画素データを加算し、加算結果をＳＲＡＭ５０２に再度記憶する。同様に繰り返すことにより、ステップＳ４０４で演算領域（ｂ）に移行する段階で、演算領域（ａ）の読み出しを終了する。このとき、ＳＲＡＭ５０２に記憶されたアドレスには、演算領域（ａ）の各列の全行の画素出力の加算結果が記憶されている。

一方、ステップＳ４０４で読み出された画素データが図３における演算領域（ｂ）の画素データである場合、ステップＳ４０５に移行し、ステップＳ４０３と同様に、列ごとの積分処理を行い、その結果を記憶データ２として記憶する。このとき、ＳＲＡＭ５０２内のアドレスは、第２の駆動パターンデータに対応するデータ（記憶データ２）を記憶するために予め定められたアドレスである。

続いてステップＳ４０６において、シェーディング補正部１０３１は、読み出された画素データが図３の演算領域（ｃ）の画素データであるか否かを判定する。この画素データが演算領域（ｃ）の画素データでない場合、ステップＳ４０５に戻り、演算領域（ｂ）における次行の画素データの読み出しを行う。先行と同様に、読み出された水平方向の位置に対応してアドレスのＳＲＡＭ５０２に記憶された値を読み出し、読み出された画素データを加算し、加算結果をＳＲＡＭ５０２に再度記憶する。同様に繰り返すことにより、ステップＳ４０６で演算領域（ｃ）に移行する段階で、演算領域（ｂ）の読み出しを終了する。このとき、ＳＲＡＭ５０２に記憶されたアドレスには、演算領域（ｂ）の各列の全行の画素出力の加算結果が記憶されている。

一方、ステップＳ４０６で読み出された画素データが図３における演算領域（ｃ）の画素データであると判定された場合、ステップＳ４０７に移行する。ステップＳ４０７では、ステップＳ４０３またはステップＳ４０５と同様に、列ごとの積分処理が行われ、その結果が記憶データ３として記憶される。この際に、ＳＲＡＭ５０２内のアドレスは、第３の駆動パターンデータに対応するデータ（記憶データ３）を記憶するために予め定められたアドレスである。

続いてステップＳ４０８において、シェーディング補正部１０３１は、演算領域の画素データの読み出しを終了したか否かを判定する。演算領域の画素データの読み出しが終了していない場合、ステップＳ４０７に戻り、演算領域（ｃ）における次行の画素データの読み出しを行う。先行の画素データと同様に、読み出された水平方向の位置に対応するアドレスのＳＲＡＭ５０２に記憶された値を読み出し、読み出された画素データを加算し、加算結果をＳＲＡＭ５０２に再度記憶する。同様に繰り返すことにより、ステップＳ４０８において演算領域を終了する段階で、演算領域（ｃ）の読み出しを終え、ＳＲＡＭ５０２に記憶されたアドレスには、演算領域（ｃ）の各列の全行の画素出力の加算結果が記憶されている。

一方、ステップＳ４０８において、演算領域の画素データの読み出しが終了した場合、ステップＳ４０９に移行し、シェーディング補正部１０３１は、開口領域（ａ）の領域Ａにおける画素データの読み出しであるか否かを判定する。領域Ａにおける画素データの読み出しである場合には、ステップＳ４１０に移行する。ステップＳ４１０において、シェーディング補正部１０３１は、ステップＳ４０３で読み出された各画素データの水平方向の位置に対応するアドレスのＳＲＡＭ５０２に記憶されたデータ（記憶データ１）を読み出す。そして、１／Ｎ乗算器５０５にて列ごとの平均値に変換し、減算回路５０６にて減算処理を行う。シェーディング補正部１０３１は、その結果を補正出力として出力する。このように、シェーディング補正部１０３１は、記憶データ１を用いて領域Ａの画素データを補正する。

一方、ステップＳ４０９において領域Ａの画素データの読み出しでない場合には、ステップＳ４１１において、開口領域（ｂ）の領域Ｂにおける画素データの読み出しであるか否かを判定する。領域Ｂの画素データの読み出しである場合には、ステップＳ４１２に移行し、ステップＳ４０５で読み出された各画素データの水平方向の位置に対応するアドレスのＳＲＡＭ５０２に記憶されたデータ（記憶データ２）を読み出す。そして、１／Ｎ乗算器５０５にて列ごとの平均値に変換し、減算回路５０６にて減算処理を行う。シェーディング補正部１０３１は、その結果を補正出力として出力する。このように、シェーディング補正部１０３１は、記憶データ２を用いて領域Ｂの画素データを補正する。

一方、ステップＳ４１１において領域Ｂの画素データの読み出しでない場合には、ステップＳ４１３において、開口領域（ｂ）の領域Ｃにおける画素データの読み出しであるか否かを判定する。領域Ｃの画素データの読み出しである場合には、ステップＳ４１４に移行し、ステップＳ４０７で読み出された各画素データの水平方向の位置に対応するアドレスのＳＲＡＭ５０２に記憶されたデータ（記憶データ３）を読み出す。そして、１／Ｎ乗算器５０５にて列ごとの平均値に変換し、減算回路５０６にて減算処理を行う。シェーディング補正部１０３１は、その結果を補正出力として出力する。このように、シェーディング補正部１０３１は、記憶データ３を用いて領域Ｃの画素データを補正する。

一方、ステップＳ４１３において領域Ｃの画素データの読み出しでない場合には、ステップＳ４１５において、画素データの読み出しが終了したか否かを判定する。この判定の結果、画素データの読み出しが終了していない場合には、ステップＳ４０９に戻る。すなわち、演算領域の読み出しは終了しているため、読み出された画素データが補正領域である限り、記憶データ１乃至記憶データ３のいずれかの補正を繰り返し実行する。そして、ステップＳ４１５の判定の結果、画素データの読み出しが終了している場合には、図９のシェーディング補正処理を終了する。本実施例のシェーディング補正処理（信号処理方法）によれば、ＶＯＢ部内の演算領域における駆動モードの違いに応じて生じる列ごとの平均値のばらつきを効果的に補正することができる。

このように、本実施例の撮像素子１０１は、遮光された基準領域（演算領域）と開口領域とを有する。そして、基準領域には複数の撮像画素および複数の焦点検出画素のそれぞれの一部が含まれている。また、ＤＳＰ１０３は、基準領域において、撮像画素からの信号（第１の画素信号）に対する第１の補正データ（記憶データ１）および焦点検出画素からの信号（第２の画素信号）に対する第２の補正データ（記憶データ２、３）を算出する。そして、第１の補正データを用いて開口領域からの第１の画素信号に対してシェーディング補正を行い、第２の補正データを用いて開口領域からの第２の画素信号に対してシェーディング補正を行う。ＤＳＰ１０３の焦点検出演算部１０３２は、第２の画素信号にシェーディング補正を行って得られた信号を用いて焦点検出を行う。

次に、図１０を参照して、本実施例におけるシェーディング補正処理の効果について説明する。図１０は、シェーディング補正処理の効果の説明図であり、図１０（ａ）はダーク時のシェーディング補正前の画像出力、図１０（ｂ）は領域Ａ、Ｂ、Ｃのシェーディングイメージ、図１０（ｃ）はダーク時のシェーディング補正後の画像出力をそれぞれ示す。

図１０（ａ）に示される画像出力は、図１１の画素配置に対応しており、演算領域（ａ）〜（ｃ）、および、開口領域（ａ）、（ｂ）が設けられている。また、図１０（ａ）に示される画像出力は、水平方向にシェーディングを有する。そして、ＶＯＢ部内の演算領域（ａ）〜（ｃ）において水平方向の補正データ（シェーディング補正値）を算出する。図１０（ｂ）は、演算領域（ａ）〜（ｃ）で算出されたデータであり、それぞれ、領域Ａ、領域Ｂ、領域Ｃのシェーディング補正データとして用いられる。

図１０（ａ）に示される画像出力に対して、図１０（ｂ）のシェーディング補正データを用いてシェーディング補正処理を行うと、図１０（ｃ）に示される画像データを得ることができる。すなわち、演算領域（ａ）〜（ｃ）で得られた補正データを用いて、補正領域である開口領域（ａ）、（ｂ）にて減算処理を行うことにより、補正領域内において水平方向のシェーディングが補正されたフラットな画像出力を得ることができる。

本実施例の撮像装置は、１フレーム内に複数パターンの駆動モードで動作し、撮像素子の垂直基準領域（ＶＯＢ部）に第１の駆動パターンで駆動する領域（演算領域（ａ））と、第２、第３の駆動パターンで駆動する領域（演算領域（ｂ）、（ｃ））を備える。そして、各々の駆動パターンで駆動する際に、シェーディング補正用のデータを取得して補正領域（開口領域）のデータを補正する。これにより、補正領域（開口領域）を互いに異なる駆動モードで動作させた場合でも、適正なシェーディング補正を行い、画質の劣化を防止することができる。

次に、本発明の実施例２における撮像装置について説明する。実施例１の撮像装置は、垂直基準領域（ＶＯＢ部）に複数の駆動モードで駆動する領域を備えている。そして、複数の駆動モードのそれぞれに対応する補正データを取得している。ただし、実施例１のような構成を採用する場合、ＳＲＡＭ５０２において、各駆動モードでのデータを各列分以上保持する領域を確保する必要がある。このため、メモリ領域が増加してしまう。そこで本実施例は、少ないメモリ領域で画質の劣化を低減する撮像装置を提供する。

本実施例の撮像装置は、第１の駆動パターンにより得られた補正データを備え（または、実施例１のように取得し）、第２、第３の駆動パターンで駆動する領域については、第１の駆動パターンにより取得されるデータとの差分データを予め備えておく。なお、本実施例の撮像装置の基本構成は、実施例１の撮像装置と同様である。

まず、図１１を参照して、本実施例の撮像素子１０１の画素配置について説明する。図１１は、撮像素子１０１の画素配置図である。図１１に示される画素配置では、ＶＯＢ部（垂直オプティカルブラック領域）には、通常画素（撮像画素）のみが存在する行に用いられる第１の駆動パターンで駆動される領域（演算領域（ａ））のみが設けられている。その他の構成は、図３を参照して説明した実施例１の画素配置と同様であり、それらの詳細の説明は省略する。本実施例の構成によれば、ＶＯＢ部に第１の駆動パターンで駆動される演算領域（ａ）のみを設けることで、実施例１の撮像素子よりもチップ面積を削減することもできる。

次に、図１６を参照して、本実施例におけるＤＳＰ１０３ａの動作について説明する。図１６は、ＤＳＰ１０３ａの動作を示すブロック図である。図１６において、２０３１は、撮像素子１０１から読み出された像信号に対してシェーディング補正を行うシェーディング補正部（第１のシェーディング補正部）である。シェーディング補正部２０３１の基本動作は、図１５におけるシェーディング補正部１０３１と同様である。ただし本実施例において、補正データの取得に用いられる領域は、図１１に示されるように演算領域（ａ）のみである。シェーディング補正部２０３１は、シェーディング補正後、焦点検出画素と通常画素（撮像画素）の信号を並行して出力する。

２０３２は、焦点検出画素差分オフセット部（第２のシェーディング補正部）である。焦点検出画素差分オフセット部２０３２は、シェーディング補正部２０３１によるシェーディング補正後に焦点検出画素からの出力のみを集める。そして、シェーディング補正部２０３１による補正で生じた通常画素と焦点検出画素との差分データをオフセット量として補正画像を得る。本実施例において、この差分データは、ＲＯＭ１０６に予め記憶されている。２０３３は、焦点検出画素差分オフセット部２０３２を経てシェーディング（オフセット）が補正された焦点検出画素の出力を用いて、位相差方式による焦点検出演算を行う焦点検出演算部である。焦点検出演算部２０３３で演算された結果は、ＣＰＵ１０５に出力される。

２０３４は、シェーディング補正後の画素出力（撮像画素および焦点検出画素の出力）に対して欠陥補正などの各種補正を行う撮像補正部である。２０３５は、撮像補正部２０３４で各種補正が行われた後の像信号の現像処理を行う現像処理部である。現像処理部２０３５の出力は、画像データとして、記録媒体１０８に書き込まれる。なお、撮像補正部２０３４にて焦点検出画素の欠陥補正が行われるため、焦点検出画素による画質の劣化を低減することができる。

次に、図１２を参照して、本実施例におけるシェーディング補正処理の効果について説明する。図１２は、シェーディング補正処理の効果の説明図である。図１２（ａ）はダーク時のシェーディング補正前の画像出力、図１２（ｂ）は領域Ａ、Ｂ、Ｃのシェーディングイメージ、図１２（ｃ）はダーク時のシェーディング補正後の画像出力をそれぞれ示す。また、図１２（ｄ）は、領域Ｂと領域Ａとのシェーディングの差分（領域Ｂ−Ａ）、および、領域Ｃと領域Ａとのシェーディングの差分（領域Ｃ−Ａ）を示す。図１２（ｅ）は、差分データとして取得されたＡ像データおよびＢ像データを示す。

図１２（ａ）に示されるように、水平方向にシェーディングを有する画像出力に対し、ＶＯＢ部内の演算領域（ａ）にて水平方向の補正値を算出する。図１２（ｂ）において、領域Ａのシェーディングは、演算領域（ａ）における算出結果と等価である。領域Ａのデータは、開口領域（領域Ａ、領域Ｂ、領域Ｃ）の画像用シェーディング補正データとして用いられる。

図１２（ｃ）は、領域Ａのシェーディングデータ（演算領域（ａ）の算出結果）による開口部の減算処理を行い、補正処理を行って得られたイメージである。図１２（ｃ）に示されるように、開口領域（補正領域）内を全て領域Ａの水平方向のシェーディングが補正されることによって、第１の駆動パターンと同じ動作（加算動作）を行う領域に関してはフラットなダーク画像としての出力が可能である。ただし、領域Ｂ、Ｃにおける焦点検出画素の出力に関しては、シェーディングの補正残りが発生している。なお、シェーディングの補正残りに関しては、図５を参照して説明したとおり、後段にて、焦点検出画素を欠陥画素として補正を行うため、画質劣化への影響はない。

図１２（ｄ）は、領域Ａのシェーディングデータ（演算領域（ａ）の算出結果）によるシェーディング補正を行った場合における、領域Ｂ、Ｃで発生する補正残りを示している。また図１２（ｅ）は、図１２（ｄ）中の領域Ｂ−Ａ、領域Ｃ−Ａにおける非加算画素（焦点検出画素）に相当する位置の差分データをまとめて得られたイメージ（Ａ像データ、Ｂ像データ）を示している。なお後述のように、図１２（ｅ）のＡ像データは領域Ｂの焦点検出画素のみの補正値、図１２（ｅ）のＢ像データは領域Ｂの焦点検出画素のみの補正値として用いられる。

本実施例では、図１２（ｅ）のＡ像データは、焦点検出画素Ｓ_ＨＡをまとめた焦点検出画像Ａ（Ａ像）用補正データ（記憶データ２１）として、予めＲＯＭ１０６に記憶される。また、図１２（ｅ）のＢ像データは、焦点検出画素Ｓ_ＨＢをまとめた焦点検出画像Ｂ（Ｂ像）用補正データ（記憶データ２２）として、予めＲＯＭ１０６に記憶される。本実施例では、領域Ｂ、領域Ｃにおいても、領域Ａと同様の駆動で動作する領域のデータを除外することで、データ量を低減することができる。

本実施例の動作は、図６および図７を参照して説明したシーケンスと比べて、図７のステップＳ３０５を除いて同様である。このため、図７のステップＳ３０５に対応するステップＳ３０５ａとして、図１３を参照して、本実施例におけるシェーディング補正について説明する。図１３は、本実施例におけるシェーディング補正のフローチャートである。なお、図１３の動作シーケンスは、実際には図７のステップＳ３０４の撮像信号の読み出しと同時に開始する。

まず図７のステップＳ３０４において、撮像素子１０１の読み出しが開始する。同時に、図１３のステップＳ５０１において、撮像素子１０１の読み出し前に、ＳＲＡＭ５０２に記憶された全ての内容をリセットする。また、各部で設定すべき演算領域、補正領域の座標等のデータをＲＯＭ１０６、ＲＡＭ１０７等から読み出して各レジスタに設定する。そして、撮像素子１０１の上部左側から読み出しを開始する。

続いてステップＳ５０２において、シェーディング補正部２０３１は、読み出された画素データが図１１における演算領域（ａ）のデータである否かを判定する。読み出されたデータが演算領域（ａ）のデータである場合、ステップＳ５０３において列ごとの積分処理を行う。なお積分処理においては、読み出された画素データの水平方向の位置に対応するＳＲＡＭ５０２に記憶されたアドレスの内容を読み出した後に加算処理を行い、この加算結果を同じＳＲＡＭ５０２内のアドレスに再度記憶する。この際のアドレスは、第１の駆動パターンデータに対応するデータ（記憶データ１）として予め定められたアドレスである。

まず、演算領域の先頭行では、ＳＲＡＭ５０２内の内容はリセットされた状態であるため加算される値は「０」であり、読み出された画素データがそのままＳＲＡＭ５０２に記憶される。このように、演算領域の先頭行の画素データの読み出しが完了すると、ＳＲＡＭ５０２にはこの先頭行のデータがそのまま記憶される。

続いてステップＳ５０４において、シェーディング補正部２０３１は、演算領域の画素データの読み出しを終了したか否かを判定する。演算領域の画素データの読み出しが終了していない場合、ステップＳ５０２に戻り、演算領域（ａ）における次行の画素データの読み出しを行う。先行の画素データと同様に、読み出された水平方向の位置に対応するアドレスのＳＲＡＭ５０２に記憶された値を読み出し、この値に読み出された画素データを加算し、その加算結果をＳＲＡＭ５０２に記憶する。同様に繰り返すことにより、ステップＳ５０４で演算領域を終了する段階で、演算領域（ａ）の読み出しを終了する。このとき、ＳＲＡＭ５０２に記憶されたアドレスには、演算領域（ａ）の各列の全行の画素出力の加算結果が記憶されている。

一方、ステップＳ５０４において、演算領域の画素データの読み出しが終了していない場合、ステップＳ５０５に移行し、シェーディング補正部２０３１は、開口領域（補正領域）の画素データの読み出しであるか否かを判定する。開口領域の読み出しの場合、ステップＳ５０６に移行し、シェーディング補正部２０３１は、ステップＳ５０３で読み出された各画素データの水平方向の位置に対応するアドレスのＳＲＡＭ５０２に記憶されたデータ（記憶データ１）を読み出す。そして、１／Ｎ乗算器５０５にて列ごとの平均値に変換し、減算回路５０６にて減算処理が行われる。このようにして得られた信号は、出力端子５０７から補正出力として出力される。

一方、ステップＳ５０５において、開口領域の画素データの読み出しでない場合、ステップＳ５０７に進み、シェーディング補正部２０３１は、画素データの読み出しが終了したか否かを判定する。画素データの読み出しが終了していない場合には、ステップＳ５０５に戻る。すなわち、演算領域の読み出しは終了しているため、読み出された画素データが開口領域（補正領域）である限り、記憶データ１による補正が繰り返し実行される。一方、ステップＳ５０７において画素データの読み出しが終了している場合には、シェーディング補正処理を終了する。

本実施例において、開口領域は領域Ａ〜Ｃの全てが第１の駆動パターンによる補正データ（記憶データ１）によって補正されている。このため、図１３を参照して説明したシェーディング補正が終了した段階では、図１２（ｃ）に示されるように、領域Ｂ、Ｃにおいて駆動パターンが異なる箇所（具体的には、非加算画素である焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢの出力）が補正しきれていない。しかし画像生成に関しては、図５を参照して説明したとおり、焦点検出画素に対しては欠陥画素として周知の補正が行われるため、画質劣化への影響はない。

一方、図７のステップＳ３０６に移行した際に、図１３のシェーディング補正が行われた画像に基づいて、焦点検出画素の出力を集めた焦点検出画像（Ａ像、Ｂ像）が生成される。そして図７のステップＳ３０６では、生成された焦点検出画像（Ａ像、Ｂ像）に対して、図１２を参照して説明したように予め記憶されたシェーディング差分データ（記憶データ２１、２２）をそれぞれ用いて差分処理を行う。その後、位相差焦点検出演算が行われる。

次に、図１４を参照して、本実施例におけるダーク時の焦点検出画像の出力について説明する。図１４は、ダーク時の焦点検出画像の出力を示す。図１４（ａ）は、焦点検出画素Ｓ_ＨＡをまとめた焦点検出画像Ａ（Ａ像）であり、左側に、領域Ａでのシェーディング補正後に、シェーディング差分データ（記憶データ２１）による補正（減算処理）を行う前の画像出力が示されている。また図１４（ａ）の右側に、シェーディング差分データ（記憶データ２１）による補正（減算処理）を行った後の画像出力が示されている。同様に、図１４（ｂ）は、焦点検出画素Ｓ_ＨＢをまとめた焦点検出画像Ｂ（Ｂ像）であり、左側に、領域Ａでのシェーディング補正後に、シェーディング差分データ（記憶データ２２）による補正（減算処理）を行う前の画像出力が示されている。また図１４（ｂ）の右側に、シェーディング差分データ（記憶データ２２）による補正（減算処理）を行った後の画像出力が示されている。これにより、焦点検出画像（Ａ像、Ｂ像）のシェーディングもフラットな状態にすることが可能となる。

このように、本実施例の撮像素子１０１は、遮光された基準領域（演算領域）と開口領域とを有し、基準領域には複数の撮像画素の一部のみが含まれている。ＤＳＰ１０３ａ（信号処理手段）は、基準領域において撮像画素からの信号（第１の画素信号）に対する第１の補正データ（記憶データ１）を算出する。そして、ＤＳＰ１０３ａのシェーディング補正部２０３１（第１のシェーディング補正部）は、第１の補正データを用いて開口領域からの第１の画素信号および第２の画素信号に対してシェーディング補正を行う。また、ＤＳＰ１０３ａの焦点検出画素差分オフセット部２０３２（第２のシェーディング補正部）は、予め記憶された差分データ（記憶データ２１、２２）を用いて焦点検出画素からの信号（第２の画素信号）に対するシェーディング補正残りを補正する。以上の補正処理を行うことにより、ＶＯＢ部内の演算領域に存在する駆動モードの相違に応じて生じる列ごとの平均値のばらつきを補正することができる。

本実施例によれば、基準領域（ＶＯＢ部）の構成を簡素化し、さらに、ＳＲＡＭなどのメモリ領域を低減しつつ、通常画素（撮像画素）および焦点検出画素から得られた画素データを適正に補正することができる。なお本実施例では、焦点検出画素の配置が行により異なる場合について説明しているため、第１〜第３の駆動パターンの３種類の駆動パターンを用いているが、本実施例はこれに限定されるものではない。例えば、焦点検出画素Ｓ_ＨＡ，Ｓ_ＨＢが同行に配置されているなどの構成を有する場合、駆動パターンは、通常画素用の第１の駆動パターンと、焦点検出画素が含まれる場合に用いられる第２の駆動パターンの２種類の駆動パターンが用いられる。この場合でも、本実施例によれば適正な補正を行うことが可能である。また、本実施例において、通常画素に対する駆動パターンと駆動パターンが用いられる場合として、焦点検出画素を例として説明しているが、本実施例はこれに限定されるものではない。例えば、温度検出用などの特殊画素などにより、複数の駆動パターンが１フレーム内に存在する場合にも本実施例は効果的である。

次に、本発明の実施例３における撮像装置について説明する。実施例１、２では、通常画素のシェーディングと同様に、焦点検出画素も水平方向に一次元化して補正が行われる。これにより、シェーディング（オフセット）が全画面内で略一定となるが、１画素単位で細かく見ると、画素ごとの特性ずれにより、僅かにオフセットずれが残る。焦点検出を行う観点では、１画素単位の僅かなずれ（オフセットずれ）も小さくするように、精度を向上させることが望まれる。そこで本実施例では、通常画素と焦点検出画素のシェーディング補正（オフセット補正）をそれぞれ別に行うことで、特に、焦点検出画素の１画素ごとの補正性能を向上させる。本実施例における撮像装置の構成や動作は、基本的に、実施例２の構成と同様であるため、それらの説明については省略する。

図１７を参照して、本実施例におけるＤＳＰ１０３ｂの動作について説明する。図１７は、ＤＳＰ１０３ｂの動作を示すブロック図である。ＤＳＰ１０３ｂは、ＤＳＰ１０３ｂ内に画像が入力された段階で、全画像（通常画素および焦点検出画素）と焦点検出画素のみの画像出力に分離する。そしてＤＳＰ１０３ｂは、これらの画像出力に対して並行処理を行う。具体的には、全画素（通常画素および焦点検出画素）の画素出力に対しては、通常画素シェーディング補正部３０３１（第１のシェーディング補正部）、撮像補正部３０３２、および、現像処理部３０３３により画像生成処理が行われる。一方、焦点検出画素のみの画像出力に対しては、焦点検出画素オフセット補正部３０３４（第２のシェーディング補正部）および焦点検出演算部３０３５により焦点検出処理が行われる。

３０３１は、撮像素子１０１から読み出された信号に対して、シェーディング補正を行う通常画素シェーディング補正部である。基本動作は、図１６のシェーディング補正部２０３１と同様である。３０３２は、シェーディング補正後の画像出力（通常画素および焦点検出画素の出力）に対して、欠陥補正などの各種補正を行う撮像補正部である。撮像補正部３０３２は、焦点検出画素の欠陥補正を行うことで、焦点検出画素による画質の劣化を防ぐ。３０３３は、撮像補正部３０３２による補正が行われた後に現像処理を行う現像処理部である。現像処理部３０３３の出力は、画像データとして記録媒体１０８へ書き込まれる。

３０３４は、予め定められた座標に存在する焦点検出画素のみを選択入力し、ＲＯＭ１０６に予め記憶された焦点検出画素の画素単位のオフセットデータを読み出し、オフセットデータによる補正処理を行う焦点検出画素オフセット補正部である。これにより、各画素のオフセット（シェーディング）を補正することができ、実施例１、２のように列ごとの補正と比較して、焦点検出画素の出力を高精度に取得することが可能となる。３０３５は、焦点検出画素オフセット補正部３０３４でオフセット補正された焦点検出画素の出力を用いて、周知の位相差焦点検出演算を行う焦点検出演算部である。焦点検出演算部３０３５で得られた結果は、ＣＰＵ１０５に出力される。

次に、図１８を参照して、本実施例におけるダーク時の焦点検出画像の出力について説明する。図１８は、ダーク時の焦点検出画像の出力を示す。図１８の左側は、焦点検出画素Ｓ_ＨＡをまとめた焦点検出画像（Ａ像）であり、補正（減算処理）を行う前の画像出力である。この画像出力は、ＲＯＭ１０６に、予め画素単位のオフセットデータ（記憶データ３１）として記憶されている。また図１８の右側は、オフセットデータ（記憶データ３１）により補正（減算処理）を行った後の画像出力である。これにより、焦点検出画像（Ａ像、Ｂ像）のシェーディングもフラットな状態にすることが可能となる。なお、焦点検出画素Ｓ_ＨＢをまとめた焦点検出画像（Ｂ像）に対しての処理は、Ａ像の場合と同様であるため、その説明は省略する。なお、焦点検出画像（Ｂ像）のオフセットデータ（記憶データ３２）も専用に記憶されており、Ｂ像の補正時には記憶データ３２が用いられる。

このように本実施例の撮像素子１０１は、遮光された基準領域（演算領域）と開口領域とを有し、基準領域には複数の撮像画素の一部のみが含まれている。ＤＳＰ１０３ｂ（信号処理手段）は、基準領域において撮像画素からの信号（第１の画素信号）に対する第１の補正データ（記憶データ１）を算出する。そして、ＤＳＰ１０３ｂの通常画素シェーディング補正部３０３１（第１のシェーディング補正部）は、第１の補正データを用いて開口領域からの第１の画素信号に対してシェーディング補正を行う。また、ＤＳＰ１０３ｂの焦点検出画素オフセット補正部３０３４（第２のシェーディング補正部）は、複数の焦点検出画素の各々に対して予め記憶された補正データ（記憶データ３１、３２）を用いて第２の画素信号に対するシェーディング補正を行う。

本実施例によれば、通常画素（撮像画素）と特殊画素（焦点検出画素）の出力に対して、各々、別のオフセットデータを用いた補正を行うことにより、焦点検出画素の信号成分の抽出の精度を向上させることができる。なお本実施例では、焦点検出画素の基準ずれを画素単位で低減することができるため、複数の駆動パターンを用いる必要はない。また本実施例では、説明の便宜上、ダーク時のシェーディング（オフセット）について説明されているが、本実施例はこれに限定されるものではない。例えば、光により発生するシェーディングなどの補正についても適用可能である。

上記各実施例によれば、撮像画素および焦点検出画素を有する撮像素子からの画素出力に対して適正なシェーディング補正を行うことにより、画質の劣化を低減する撮像装置および信号処理方法を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記各実施例において、特殊画素としての焦点検出画素について説明したが、各実施例は、通常画素である撮像画素と異なる用途（温度検出、光源検出など）に用いられる他の特殊画素についても適用可能である。

１００：撮像装置
１０１：撮像素子
１０３：ＤＳＰ

Claims (6)

1. 撮像光学系からの光束により形成された像を光電変換する複数の撮像画素、および、該撮像光学系からの光束のうち分割された光束により形成された像を光電変換する複数の焦点検出画素を有する撮像素子と、
   前記撮像素子からの画素信号に対してシェーディング補正を行う信号処理手段と、を有し、
   前記撮像素子は、前記複数の撮像画素からの信号を加算して第１の画素信号を生成し、前記焦点検出画素からの信号を加算することなく第２の画素信号を生成し、
   前記信号処理手段は、前記第１の画素信号と前記第２の画素信号に対して互いに異なる補正データを用いて前記シェーディング補正を行うことを特徴とする撮像装置。
2. 前記撮像素子は、遮光された基準領域と開口領域とを有し、該基準領域には前記複数の撮像画素および前記複数の焦点検出画素のそれぞれの一部が含まれており、
   前記信号処理手段は、
   前記基準領域において、前記第１の画素信号に対する第１の補正データおよび前記第２の画素信号に対する第２の補正データを算出し、
   前記第１の補正データを用いて前記開口領域からの前記第１の画素信号に対して前記シェーディング補正を行い、前記第２の補正データを用いて該開口領域からの前記第２の画素信号に対して該シェーディング補正を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、遮光された基準領域と開口領域とを有し、該基準領域には前記複数の撮像画素の一部のみが含まれており、
   前記信号処理手段は、
   前記基準領域において前記第１の画素信号に対する第１の補正データを算出し、該第１の補正データを用いて前記開口領域からの前記第１の画素信号および前記第２の画素信号に対して前記シェーディング補正を行う第１のシェーディング補正部と、
   予め記憶された差分データを用いて前記第２の画素信号に対するシェーディング補正残りを補正する第２のシェーディング補正部と、
   を有することを特徴とする請求項１に記載の撮像装置。
4. 前記撮像素子は、遮光された基準領域と開口領域とを有し、該基準領域には前記複数の撮像画素の一部のみが含まれており、
   前記信号処理手段は、
   前記基準領域において前記第１の画素信号に対する第１の補正データを算出し、該第１の補正データを用いて前記開口領域からの前記第１の画素信号に対して前記シェーディング補正を行う第１のシェーディング補正部と、
   前記複数の焦点検出画素の各々に対して予め記憶された補正データを用いて前記第２の画素信号に対する前記シェーディング補正を行う第２のシェーディング補正部と、
   を有することを特徴とする請求項１に記載の撮像装置。
5. 前記信号処理手段は、前記第２の画素信号に前記シェーディング補正を行って得られた信号を用いて焦点検出を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 撮像光学系からの光束により形成された像を光電変換する複数の撮像画素、及び、該撮像光学系からの光束のうち分割された光束により形成された像を光電変換する複数の焦点検出画素を有する撮像素子からの画素信号を処理する信号処理方法であって、
   前記複数の撮像画素からの信号を加算して第１の画素信号を生成し、前記焦点検出画素からの信号を加算することなく第２の画素信号を生成するステップと、
   前記第１の画素信号と前記第２の画素信号に対して互いに異なる補正データを用いてシェーディング補正を行うステップと、を有することを特徴とする信号処理方法。