JP2015087543A - 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】焦点検出画素の感度を向上させた撮像装置を提供する。【解決手段】撮像装置は、光学像を光電変換して画像信号を得る撮像素子と、撮像素子からの画像信号を処理して焦点検出信号および撮像信号を生成する信号処理手段とを有し、撮像素子は、第１の開口部が形成された複数の第１の画素、第１の開口部よりも小さく第１の方向に偏心した第２の開口部が形成された複数の第２の画素、および、第１の開口部よりも小さく第２の方向に偏心した第３の開口部が形成された複数の第３の画素を含み、信号処理手段は、第１の方向および第２の方向とは異なる第３の方向に沿って配置された複数の第２の画素および複数の第３の画素のそれぞれから得られた画素信号を加算して焦点検出信号を生成する。【選択図】図２

Description

本発明は、撮像素子を用いて位相差方式の焦点検出を行う撮像装置に関する。

従来から、焦点検出画素を含む撮像素子を用いて焦点検出を行う撮像装置が知られている。このような撮像装置において、精度の向上させるために焦点検出画素の割合を増加させると、撮像画素としての欠陥画素が増加する。この場合、補間処理により欠陥画素を補間することができるが、補間処理により生じる補正痕が画質を劣化させる。一方、焦点検出画素の割合を低減させると、焦点検出精度や予測合焦精度が低下する。特許文献１には、撮像素子の全ての画素を焦点検出画素および撮像画素の兼用画素にする構成が開示されている。

特開２００７−１５８５９７号公報

しかしながら、特許文献１の方法では、焦点検出時において画素の感度が原理的に約半分になり、高精度な焦点検出を行うことが難しい。

そこで本発明は、焦点検出画素の感度を向上させた撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、光学像を光電変換して画像信号を得る撮像素子と、前記撮像素子からの前記画像信号を処理して焦点検出信号および撮像信号を生成する信号処理手段とを有し、前記撮像素子は、第１の開口部が形成された複数の第１の画素、該第１の開口部よりも小さく第１の方向に偏心した第２の開口部が形成された複数の第２の画素、および、該第１の開口部よりも小さく第２の方向に偏心した第３の開口部が形成された複数の第３の画素を含み、前記信号処理手段は、前記第１の方向および前記第２の方向とは異なる第３の方向に沿って配置された前記複数の第２の画素および前記複数の第３の画素のそれぞれから得られた画素信号を加算して前記焦点検出信号を生成する。

本発明の他の側面としての撮像システムは、撮影光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、第１の開口部が形成された複数の第１の画素、該第１の開口部よりも小さく第１の方向に偏心した第２の開口部が形成された複数の第２の画素、および、該第１の開口部よりも小さく第２の方向に偏心した第３の開口部が形成された複数の第３の画素を含む撮像素子を有する撮像装置の制御方法であって、前記撮像素子を用いて光学像を光電変換して画像信号を得るステップと、前記撮像素子からの前記画像信号を処理して焦点検出信号および撮像信号を生成するステップとを有し、前記焦点検出信号は、前記第１の方向および前記第２の方向とは異なる第３の方向に沿って配置された前記複数の第２の画素および前記複数の第３の画素のそれぞれから得られた画素信号を加算して生成される。

本発明の他の側面としてのプログラムは、コンピュータに、前記撮像装置の制御方法を実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、焦点検出画素の感度を向上させた撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置の概略構成図である。 実施例１〜４における撮像素子の画素配列図である。 各実施例における撮像装置の動作を示すフローチャートである。 実施例５における撮像素子の画素配列図である。 実施例６、７における撮像素子の画素配列図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置（撮像システム）の構成について説明する。図１は、本実施例における撮像装置１００（デジタルスチルカメラ）の概略構成図である。

図１の撮像装置１００において、１は撮像装置本体（カメラ本体）である。１０は撮像素子である。撮像素子１０は、撮影レンズ５（撮影光学系）の予定結像面に配置されており、被写体像（光学像）を光電変換して画像信号を得る。なお、撮像素子１０の画素構造および画素配列については後述する。２１は、撮像素子１０を駆動制御する撮像素子制御回路である。２２は、撮像素子１０により撮像された画像信号（画像データ）を記録するメモリ回路である。２４は画像信号処理回路（信号処理手段）である。画像信号処理回路２４は、撮像素子１０からの画像信号を処理して焦点検出信号（測距信号）および撮像信号を生成する。すなわち画像信号処理回路２４は、撮像素子１０からの画像信号に対して測距用処理（焦点検出用処理）を行うことにより、焦点検出信号を生成する。また画像信号処理回路２４は、撮像素子１０からの画像信号に対して画像用処理を行うことにより、撮像信号を生成する。また画像信号処理回路２４は、現像処理、高輝度領域および低輝度領域における色抑圧、γ等の色調補正、ホワイトバランスの各処理を行う。

２３は、画像信号処理回路２４により処理された画像（画像データ）を撮像装置本体１の外部（外部装置）に出力するインターフェース回路である。９は、撮像された画像を表示する表示素子である。２５は、表示素子９を駆動する表示素子駆動回路２５である。３は、表示素子９に表示された被写体像を観察するための接眼レンズである。ＳＷ１、ＳＷ２は、撮影者が撮影および画像を記録するための操作スイッチである。２０は、撮像装置本体１（および、撮影レンズ５）の全体を制御するＣＰＵ（制御手段）である。

撮影レンズ５は、撮影光学系を備え、撮像装置本体１に着脱可能に取り付けられる交換レンズ（レンズ装置）である。ただし本実施例はこれに限定されるものではなく、撮像装置本体１と撮影レンズ５とが一体的に構成された撮像装置にも適用可能である。図１では、説明を簡単にするため、撮影レンズ５は２枚のレンズ５ａ、５ｂで構成されるように示されている。ただし本実施例はこれに限定されるものではなく、撮影レンズ５は、３枚以上のレンズを用いて構成されてもよい。撮影レンズ５は、ＣＰＵ２０から送られる駆動量（レンズ駆動量）に基づいて、撮影レンズ駆動機構２８によって合焦状態となるように調節される。本実施例において、ＣＰＵ２０および撮像素子１０は、焦点検出装置として機能する。

３０は絞り装置である。絞り装置３０は、絞り駆動機構２７により所定の絞り値に絞り込まれるように構成されている。３１は、撮影レンズメモリ回路（レンズメモリ）である。撮影レンズメモリ回路３１は、撮影レンズ５に固有な情報を記録している。撮影レンズ駆動機構２８、絞り駆動機構２７、および、撮影レンズメモリ回路３１は、撮像装置本体１の取り付け部（マウント）に設けられた通信端子を介して、撮像装置本体１のＣＰＵ２０と通信可能に構成されている。

続いて、図２を参照して、本実施例における撮像素子１０の画素配列（色および開口の配列）について説明する。図２は、撮像素子１０の画素配列図である。図２に示されるように、撮像素子１０の基本色配列として、緑画素（Ｇ画素）、赤画素（Ｒ画素）、および、青画素（Ｂ画素）のベイヤー配列が用いられている。各画素は、撮像素子１０の光電変換部で受光する光束が通過する開口部を有する。

図２において、第１の開口部が形成された緑画素（Ｇ画素）を（Ｇ１ｍ，ｎ）、（Ｇ２ｍ，ｎ）、第２の開口部が形成された赤画素（Ｒ画素）を（Ｒｍ，ｎ）、第３の開口部が形成された青画素（Ｂ画素）を（Ｂｍ，ｎ）とそれぞれ表している。半開口の画素Ｒ、Ｂには、それぞれ、「’」を付している。半開口のＲ画素およびＢ画素については、その開口が偏心しているため、画素（Ｒｍ，ｎ）、（Ｂｍ，ｎ）からの画素信号を、そのまま撮像信号として用いることができない。このような開口部の構造を区別するために「’」を付している。後述する画像処理方法で補間補正されて撮像信号が形成されたときに、「’」を除いて（Ｒｍ，ｎ）、（Ｂｍ，ｎ）と表される。他の実施例においても、「’」の意味は同じである。

緑画素（Ｇ画素）の開口部には、緑色光束を通過させる色フィルタ配置されている。赤画素（Ｒ画素）の開口部には、赤色光束を通過させる色フィルタが配置されている。青画素（Ｂ画素）の開口部には、青色光束を通過させる色フィルタが配置されている。各開口部の下には光電変換部が配置されている。各開口部の上面には、後述するマイクロレンズが配置されている。１つの光電変換部、その上に配置される色フィルタ、および、さらにその上に配置されるマイクロレンズにより、１つの画素が構成される。本実施例において、青画素および赤画素は、色フィルタの上または下に入射光束を偏心させる遮光層を備えている。このような構成により、測距用（焦点検出用）の瞳分割信号が得られる。

次に、図３を参照して、本実施例における撮像装置１００の動作（撮像装置の制御方法）について説明する。図３は、撮像装置１００の動作を示すフローチャートである。図３の各ステップは、主に、撮像装置１００のＣＰＵ２０の指令に基づいて実行される。

まずステップＳ１において、不図示の電源スイッチにより電源が投入される。そしてステップＳ２において、ＣＰＵ２０は、撮像装置１００の全体の初期化（システム初期化）を行う。またＣＰＵ２０は、撮像装置１００の動作モードを設定する。ここで動作モードとは、例えば、絞り優先モードやシャッタ優先モード、シングルＡＦやコンティニュアスＡＦなどの撮影モードである。またＣＰＵ２０は、露光量（絞りおよび蓄積時間）を調整し、撮像素子１０から画像信号を取り込み、ファインダ用の表示素子９に表示するための処理を行う（モニター画像表示）。これにより、ファインダに適正露光量の画像が表示される。なお、この処理の詳細については後述する。

続いてステップＳ３において、ＣＰＵ２０は、操作スイッチＳＷ１（レリーズボタンの第一ストロークによりＯＮになるスイッチＳＷ）の入力を待つ。そしてステップＳ１０１にて操作スイッチＳＷ１がＯＮになると、ステップＳ１０２において、ＣＰＵ２０は、撮像の準備動作、すなわち動作モードに応じた適正露光量の測定、演算、測距（焦点検出）を行う。ここでは、測距に関するシーケンスについて説明し、適正露光量を求めるシーケンスについては省略する。続いてステップＳ１０３において、ＣＰＵ２０は、撮像面（撮像素子１０）の照度を測定して測距に最適な光量（蓄積時間）を設定し、その蓄積時間で露光した測距用の赤画素および青画素（測距画素）からの画素信号を撮像素子１０から読み込む。

画像信号処理回路２４は、撮像素子１０から読み込んだ２つの赤画素（Ｒ画素）からの画素信号を加算する。例えば、ＣＰＵ２０は、開口部の偏心方向（図２中の左右方向）と垂直な方向に沿って配置された２つの赤画素からの画素信号を加算して、焦点検出信号（第１の焦点検出信号、第２の焦点検出信号）を生成する。

第１の焦点検出信号は、図２の左側（第１の方向）にオフセット（偏心）した画素からの画素信号（Ａ像信号）の集合（Ａ像信号群）である。Ａ像信号群は、（Ｒ’ｍ，ｎ−１）＋（Ｒ’ｍ＋２，ｎ−１）、（Ｒ’ｍ−１，ｎ）＋（Ｒ’ｍ＋１，ｎ）、（Ｒ’ｍ，ｎ＋１）＋（Ｒ’ｍ＋２，ｎ＋１）、（Ｒ’ｍ−１，ｎ＋２）＋（Ｒ’ｍ＋１，ｎ＋２）、…と表される。第２の焦点検出信号は、図２の右側（第２の方向）にオフセット（偏心）した画素からの画素信号（Ｂ像信号）の集合（Ｂ像信号群）である。Ｂ像信号群は、（Ｒ’ｍ−１，ｎ−１）＋（Ｒ’ｍ＋１，ｎ−１）、（Ｒ’ｍ，ｎ）＋（Ｒ’ｍ＋２，ｎ）、（Ｒ’ｍ−１，ｎ＋１）＋（Ｒ’ｍ＋１，ｎ＋１）、（Ｒ’ｍ，ｎ＋２）＋（Ｒ’ｍ＋２，ｎ＋２）、…と表される。

また、画像信号処理回路２４は、撮像素子１０から読み込んだ２つの青画素（Ｂ画素）からの画素信号を、Ｒ画素と同様に加算する。Ａ像信号群は、（Ｂ’ｍ，ｎ−１）＋（Ｂ’ｍ＋２，ｎ−１）、（Ｂ’ｍ＋１，ｎ）＋（Ｂ’ｍ＋３，ｎ）、（Ｂ’ｍ，ｎ＋１）＋（Ｂ’ｍ＋２，ｎ＋１）、（Ｂ’ｍ＋１，ｎ＋２）＋（Ｂ’ｍ＋３，ｎ＋２）、…と表される。Ｂ像画素群は、（Ｂ’ｍ＋１，ｎ−１）＋（Ｂ’ｍ＋３，ｎ−１）、（Ｂ’ｍ，ｎ）＋（Ｂ’ｍ＋２，ｎ）、（Ｂ’ｍ＋１，ｎ＋１）＋（Ｂ’ｍ＋３，ｎ＋１）、（Ｂ’ｍ，ｎ＋２）＋（Ｂ’ｍ＋２，ｎ＋２）、…と表される。

ＣＰＵ２０は、これらの画素信号を加算して得られた赤色のＡ像信号とＢ像信号との相関と、青色のＡ像信号とＢ像信号とのの相関を求める。このように測距用画素（焦点検出画素）を加算することにより、暗いところでも測距（焦点検出）が可能となる。

ステップＳ１０４において、ＣＰＵ２０は、これらの信号の相関を求めるため、加算されたＡ像信号と加算されたＢ像信号との相対的な関係をずらす（シフト演算）。そしてステップＳ１０５において、ＣＰＵ２０は、加算されたＡ像信号と加算されたＢ像信号と相対的な関係をずらしながら、加算されたＡ像信号と加算されたＢ像信号との差（誤差量）を演算して、メモリ（記憶手段）に保存する（誤差量演算・保存）。

続いてステップＳ１０６において、ＣＰＵ２０は、誤差量が最小となったか否かを判定する。この誤差量が最小であるところが予測合焦位置となる。誤差量が最小である場合、ステップＳ１０７に進む。そしてステップＳ１０７において、ＣＰＵ２０は、このときのシフト量（すなわち誤差量が最小となるシフト量）と、撮影レンズメモリ回路３１から得られたレンズ情報とに基づいて撮影レンズ５の移動量を演算し、予測合焦位置に撮影レンズ５を駆動する。

レンズ駆動の指示が終了した場合、ステップＳ１０８において、ＣＰＵ２０は、操作スイッチＳＷ２の入力を待つ。なお、シフト演算のシフト量は、画素単位に限定されるものではない。画素よりも細かい単位でシフトさせて誤差量を演算することにより、より高精度の測距データを得ることができる。また、画素よりも細かい単位でのシフトによる誤差量の演算は、画素単位での誤差の極小値が得られた近傍のみで行うことにより、処理時間の短縮化が可能となる。

本実施例では、２行の画素（２つの画素）を加算しているが、加算する行を増やすことにより、さらに測距（焦点検出）の感度を向上させることができる。ただし、加算の行数を増やすことは、垂直（偏心方向と垂直な方向）に低域通過フィルタを適用することになる。このため、被写体のパターンによっては測距が困難になる可能性が増え、バランスを考える必要がある。例えば、垂直の縞である場合、垂直にＬＰＦ（ローパスフィルタ）を適用してもパターンは変化しない。このため、測距は可能であるが、縞に傾きがある場合、垂直ＬＰＦを適用すると縞がグレーになり測距が不能になる。この程度は、縞の傾きと加算する行数に依存する。

続いてステップＳ２０１において、操作スイッチＳＷ２が入力されると（レリーズボタンの第二ストロークが押されると）、ステップＳ２０２において、ＣＰＵ２０は、撮像装置本体１の動作モードに応じた露光量（ＩＳＯ感度、絞り、蓄積時間）を設定する。またＣＰＵ２０は、ステップＳ１０７にて実行されるレンズ駆動の完了（合焦完了）を待つ。なお、撮影者の操作による操作スイッチＳＷ１のオンから操作スイッチＳＷ２のオンまでの時間が長い場合、既にレンズ駆動が完了していることもある。続いてステップＳ２０３において、ＣＰＵ２０（撮像素子制御回路２１）は、撮像素子１０に対して露光を行う。なお、露光を行う際には、絞りの制御が完了して画素の不要電荷を除去してから、蓄積時間として設定された読み出し開始までの時間だけ待った後、撮像素子１０から全ての画素信号を読み出す。

露光が完了すると、ステップＳ２０４において、ＣＰＵ２０（撮像素子制御回路２１）は、撮像素子１０から全画素から画素信号を読み出す。続いてステップＳ２０５において、ＣＰＵ２０（画像信号処理回路２４）は、後述する画素補間を行い、半開口の赤画素および青画素を緑画素と同様の全開口相当の画素に補正する。続いてステップＳ２０６において、ＣＰＵ２０（画像信号処理回路２４）は現像する。続いてステップＳ２０７において、ＣＰＵ２０は、画像（画像データ）をメモリ２２に記録する。画像の記録が終了すると、システム（ＣＰＵ２０）は、操作スイッチＳＷ１の入力待ちの状態（ステップＳ２０７、すなわちステップＳ３）に戻る。なお、ステップＳ２０５、Ｓ２０６は、ＣＰＵ２０が各処理の指令を画像信号処理回路２４に出力することに応じて、画像信号処理回路２４により実行される。

次に、図３のステップＳ２０５（撮像信号生成処理）について詳述する。上または下に隣接するＲ画素が半開口である、半開口のＲ画素（図２中のｍ行とｍ＋１行）に関する処理について説明する。なお、説明はｍ行のＲ’ｍ，ｎ画素についてのみ行う。

まず、ＣＰＵ２０は、以下の式（１）を用いて、Ｒ’ｍ，ｎ画素に隣接する４つのＧ画素のばらつきを判定する。

ｍａｘ｛（Ｇ１ｍ，ｎ）、（Ｇ１ｍ＋１，ｎ）、（Ｇ２ｍ，ｎ）、（Ｇ２ｍ，ｎ＋１）｝−ｍｉｎ｛（Ｇ１ｍ，ｎ）、（Ｇ１ｍ＋１，ｎ）、（Ｇ２ｍ，ｎ）、（Ｇ２ｍ，ｎ＋１）｝＞Ｋ１ … （１）
具体的には、隣接４画素（Ｇ）の画素信号の最大値と最小値との差が所定の値（Ｋ１）より大きい場合、ＣＰＵ２０は、注目画素の付近は空間周波数が高い領域である判定する。このときＣＰＵ２０は、隣接画素の画素信号を用いた補間を行うことなく、以下の式（２）で表されるようにＲ’ｍ，ｎ画素の画素信号を２倍してＲｍ，ｎ画素の画素信号とする。

（Ｒｍ，ｎ）＝２（Ｒ’ｍ，ｎ） … （２）
ここでは、開口部をマイクロレンズへの入射光束の中心に対して偏心させた結果、実効感度が偏心させない緑の画素に比べて半分になったとして、２倍にしている。この係数は、射出瞳位置や像高などによる実効感度に応じて適応的に変化させることが望ましいが、簡略的には開口部の大きさによって固定値を用いてもよい。以降の空間周波数の高い領域における画像処理についても同様であるが、個々での注釈は省略する。

式（１）の条件を満たさない場合（隣接４画素（Ｇ）の最大値と最小値との差が所定の値Ｋ１以下である場合、すなわち注目画素の周辺の空間周波数が高くない場合）、同色（Ｒ）で上下の画素の差分と、同色（Ｒ）の左右の画素の差分を比較する。そして、差分が小さいほうの隣接同色画素の平均値を注目画素の残りの半分であると推定し、注目画素と加算してＲｍ，ｎ画素とする。すなわち、以下の式（３）を満たす場合、以下の式（４）となる。

｜（Ｒ’ｍ−１，ｎ）−（Ｒ’ｍ＋１，ｎ）｜≦｜（Ｒ’ｍ，ｎ−１）−（Ｒ’ｍ，ｎ＋１）｜ … （３）
（Ｒｍ，ｎ）＝（Ｒ’ｍ，ｎ）＋１／２｛（Ｒ’ｍ−１，ｎ）＋（Ｒ’ｍ＋１，ｎ）｝ … （４）
一方、式（３）を満たさない場合、以下の式（５）となる。

（Ｒｍ，ｎ）＝（Ｒ’ｍ，ｎ）＋１／２｛（Ｒ’ｍ，ｎ−１）＋（Ｒ’ｍ，ｎ＋１）｝ … （５）
次に、半開口のＲ画素であって、上または下に隣接するＲ画素の一方のみが半開口になっているＲ画素（図２中のｍ＋２行のＲ’ｍ＋２，ｎ画素）に関する処理について説明する。なお、図２中のｍ−１行も上に隣接するＲ画素の一方のみが半開口になっているが、この列については以下のｍ＋２行の説明から容易に推論できるため、説明は省略する。

まずＣＰＵ２０は、以下の式（６）で表されるように、Ｒ’ｍ＋２，ｎ画素に隣接する４つのＧ画素のばらつきを判定する。

ｍａｘ｛（Ｇ１ｍ＋２，ｎ）、（Ｇ１ｍ＋３，ｎ）、（Ｇ２ｍ＋２，ｎ）、（Ｇ２ｍ＋２，ｎ＋１）｝−ｍｉｎ｛（Ｇ１ｍ＋２，ｎ）、（Ｇ１ｍ＋３，ｎ）、（Ｇ２ｍ＋２，ｎ）、（Ｇ２ｍ＋２，ｎ＋１）｝＞Ｋ１ … （６）
具体的には、隣接４画素（Ｇ）の最大値と最小値との差が所定の値（Ｋ１）より大きい場合、ＣＰＵ２０は、注目画素の付近は空間周波数が高い領域であると判定する。このときＣＰＵ２０は、隣接画素を用いた補間を行うことなく、以下の式（７）で表されるように、（Ｒ’ｍ，ｎ）画素の画素信号を２倍して（Ｒｍ，ｎ）画素の画素信号とする。

（Ｒｍ＋２，ｎ）＝２（Ｒ’ｍ＋２，ｎ） … （７）
一方、式（６）を満たさない場合（隣接４画素（Ｇ）の最大値と最小値の差が所定の値より小さい場合、すなわち注目画素の周辺の空間周波数が高くない場合）、同色（Ｒ）で上の画素値と下の画素値の１／２との差分と同色（Ｒ）の左右の画素値の差分を比較する。そして、差分が小さいほうの隣接同色画素の平均値を注目画素の残りの半分であると推定し、注目画素と加算して（Ｒｍ＋２，ｎ）画素の画素信号とする。すなわち、以下の式（８）を満たす場合、以下の式（９）となる。

｜（Ｒ’ｍ＋１，ｎ）−１／２（Ｒｍ＋３，ｎ）｜≦｜（Ｒ’ｍ＋２，ｎ−１）−（Ｒ’ｍ＋２，ｎ＋１）｜） … （８）
（Ｒｍ＋２，ｎ）＝（Ｒ’ｍ＋２，ｎ）＋１／２｛（Ｒ’ｍ＋１，ｎ）＋１／２（Ｒｍ＋３，ｎ）｝ … （９）
一方、式（８）を満たさない場合、以下の式（１０）となる。

（Ｒｍ＋２，ｎ）＝（Ｒ’ｍ＋２，ｎ）＋１／２｛（Ｒ’ｍ＋２，ｎ−１）＋（Ｒ’ｍ＋２，ｎ＋１）｝ … （１０）
以上、Ｒ画素（Ｒ’ｍ，ｎ）、（Ｒ’ｍ＋２，ｎ）について説明したが、Ｂ画素（Ｂ’ｍ＋１，ｎ）、（Ｂ’ｍ＋２，ｎ）についても同様である。すなわち、Ｂ画素（Ｂ’ｍ＋１，ｎ）に関して、ＣＰＵ２０は以下の式（１１）を用いて判定を行う。

ｍａｘ｛（Ｇ１ｍ＋１，ｎ−１）、（Ｇ１ｍ＋１，ｎ）、（Ｇ２ｍ，ｎ）、（Ｇ２ｍ＋１，ｎ）｝−ｍｉｎ｛（Ｇ１ｍ＋１，ｎ−１）、（Ｇ１ｍ＋１，ｎ）、（Ｇ２ｍ，ｎ）、（Ｇ２ｍ＋１，ｎ）｝＞Ｋ１ … （１１）
式（１１）を満たす場合、以下の式（１２）となる。

（Ｂｍ＋１，ｎ）＝２（Ｂ’ｍ＋１，ｎ） … （１２）
一方、式（１１）を満たさない場合、ＣＰＵ２０は、以下の式（１３）を用いた判定を行う。

｜（Ｂ’ｍ，ｎ）−（Ｂ’ｍ＋２，ｎ）｜≦｜（Ｂ’ｍ＋１，ｎ−１）−（Ｂ’ｍ＋１，ｎ＋１）｜ … （１３）
式（１３）を満たす場合、以下の式（１４）となる。

（Ｂｍ＋１，ｎ）＝（Ｂ’ｍ＋１，ｎ）＋１／２｛（Ｂ’ｍ，ｎ）＋（Ｂ’ｍ＋２，ｎ）｝ … （１４）
一方、式（１３）を満たさない場合、以下の式（１５）となる。

（Ｂｍ＋１，ｎ）＝（Ｂ’ｍ＋１，ｎ）＋１／２｛（Ｂ’ｍ＋１，ｎ−１）＋（Ｂ’ｍ＋１，ｎ＋１）｝ … （１５）
なお、Ｂ画素（Ｂ’ｍ＋２，ｎ）についての説明は省略する。また、Ｂ画素（Ｂ’ｍ＋３，ｎ）は、下方に配置されている同色のＢｍ＋４，ｎ画素が半開口でない。このため、この画素に関する処理については後述する。

以上の処理により、注目画素が空間周波数の高い領域にある場合（隣接緑画素の差分が所定の値より大きい場合）、測距用の半開口を２倍することで、ぼけの発生を低減する（赤画素や青画素は緑画素を挟むため、隣接同色画素を用いて補間すると、ぼけてしまう）。さらに、ピントが合っている領域においては、Ａ像とＢ像は略同一になるため、Ｂ像でＡ像を（またはその逆にＡ像でＢ像を）補間することには問題がない。また、ピントが合っていない領域においては、自然に空間周波数が高くならない。このため、同色の周辺画素による補間であっても、色にじみなどの影響は目立たない。また、隣接同色画素のうち、差分の小さいほうの上下または左右の組み合わせから補間することにより、エッジ部の色にじみを低減することができる。

次に、半開口になっているＢ画素であって、上または下に隣接するＢ画素の一方のみが半開口になっているＢ画素（図２中のｍ行の画素（Ｂ’ｍ，ｎ））に関する処理について説明する。なお、図２中のｍ＋３行については、以下のｍ行の説明から容易に推論できるため、その説明を省略する。

まず、ＣＰＵ２０は、以下の式（１６）を用いて、Ｂ’ｍ，ｎ画素に隣接する４つのＧ画素のばらつきを判定する。

ｍａｘ｛（Ｇ１ｍ，ｎ−１）、（Ｇ１ｍ，ｎ）、（Ｇ２ｍ−１，ｎ）、（Ｇ２ｍ，ｎ）｝−ｍｉｎ｛（Ｇ１ｍ，ｎ−１）、（Ｇ１ｍ，ｎ）、（Ｇ２ｍ−１，ｎ）、（Ｇ２ｍ，ｎ）｝＞Ｋ１ … （１６）
具体的には、隣接４画素（Ｇ）の最大値と最小値との差が所定の値（Ｋ１）より大きい場合、ＣＰＵ２０は、注目画素の付近は空間周波数が高い領域である判定する。このときＣＰＵ２０は、隣接画素を用いた補間を行うことなく、以下の式（１７）で表されるように（Ｂ’ｍ，ｎ）画素の画素信号を２倍して（Ｂｍ，ｎ）画素の画素信号とする。

（Ｂｍ，ｎ）＝２（Ｂ’ｍ，ｎ） … （１７）
一方、式（１６）の条件を満たさない場合（隣接４画素（Ｇ）の最大値と最小値との差が所定の値以下である場合、すなわち注目画素の周辺の空間周波数がそれほど高くない場合）、同色（Ｂ）で上下の画素の差分と、同色（Ｂ）の左右の画素の差分を比較する。そして、差分が小さいほうの隣接同色画素の平均値を注目画素の残りの半分と推定し、注目画素と加算して（Ｂｍ，ｎ）画素とする。すなわち、式（１８）を満たす場合、式（１９）となる。

｜（Ｂ’ｍ，ｎ−１）−（Ｂ’ｍ，ｎ＋１）｜≦｜１／２（Ｂｍ−１，ｎ）−（Ｂ’ｍ＋１，ｎ）｜） … （１８）
（Ｂｍ，ｎ）＝（Ｂ’ｍ，ｎ）＋１／２｛（Ｂ’ｍ，ｎ−１）＋（Ｂ’ｍ，ｎ＋１）｝ … （１９）
一方、式（１８）を満たさない場合、以下の式（２０）となる。

（Ｂｍ，ｎ）＝（Ｂ’ｍ，ｎ）＋１／２｛１／２（Ｂｍ−１，ｎ）＋（Ｂ’ｍ＋１，ｎ）｝ … （２０）
また、電源投入後のファインダ用の表示素子９へ表示するための演算処理を簡略化するため、半開口の画素に関しては、常に以下の式（２１）、（２２）のようにしてファインダ用画像を生成してもよい。

（Ｒｍ，ｎ）＝２（Ｒ’ｍ，ｎ） … （２１）
（Ｂｍ，ｎ）＝２（Ｂ’ｍ，ｎ） … （２２）
ただしこの場合、ピントの合っていない領域においては、二重像のように見えてしまうことがあるため、ＬＰＦを適用するなど、別処理が必要となる。ただし、撮像（記録）時と同様の処理をしてファインダ用画像を生成するほうが、より良好な画質が得られる。

このように本実施例において、撮像素子１０は、第１の開口部が形成された複数の第１の画素（本実施例ではＧ画素）を含む。また撮像素子１０は、第１の開口部よりも小さく、かつ、第１の方向（本実施例では、図２の左方向）に偏心した第２の開口部が形成された複数の第２の画素（本実施例ではＲ画素）を含む。また撮像素子１０は、第１の開口部よりも小さく、かつ、第２の方向（本実施例では、図２の右方向）に偏心した第３の開口部が形成された複数の第３の画素（本実施例ではＢ画素）を含む。画像信号処理回路２４は、第１の方向および第２の方向とは異なる第３の方向（本実施例では、図２の上下方向）に沿って配置された複数の第２の画素および複数の第３の画素のそれぞれから得られた画素信号を加算して焦点検出信号を生成する。

好ましくは、第２の方向（図２の右方向）は第１の方向（図２の左方向）と反対の方向であり、第３の方向（図３の上下方向）は第１の方向および第２の方向と垂直な方向である。また好ましくは、第２の開口部および第３の開口部は、それぞれ、第１の開口部の大きさの半分（半開口）である。

好ましくは、撮像装置１００は、画像信号処理回路２４を制御するＣＰＵ２０を更に有する。画像信号処理回路２４は、第３の方向に沿って配置された複数の第２の画素から得られた画素信号を加算して第１の焦点検出信号を生成する。また画像信号処理回路２４は、第３の方向に沿って配置された複数の第３の画素から得られた画素信号を加算して第２の焦点検出信号を生成する。そしてＣＰＵ２０は、第１の焦点検出信号と第２の焦点検出信号との差が小さくなるようにフォーカス制御を行う。

好ましくは、複数の第２の画素および複数の第３の画素は、撮影光学系（撮影レンズ５）の互いに異なる瞳領域を通過した光束が入射するように構成されている。撮像素子１０は、赤色、緑色、青色のカラーフィルタを有する複数の画素を備えている。そして複数の第２の画素および複数の第３の画素は、赤色のカラーフィルタまたは青色のカラーフィルタを有する。

好ましくは、複数の第１の画素は、複数の第２の画素および複数の第３の画素のそれぞれに隣接して配置されている。画像信号処理回路２４は、複数の第１の画素からの画素信号を用いて、複数の第２の画素および第３の画素からの撮像信号を生成する。

好ましくは、ＣＰＵ２０（または画像信号処理回路２４）は、複数の第２の画素および複数の第３の画素のそれぞれに隣接する複数の第１の画素からの画素信号のばらつきに応じて、複数の第２の画素および複数の第３の画素からの撮像信号の生成方法を変更する。また好ましくは、ＣＰＵ２０（または画像信号処理回路２４）は、複数の第２の画素および複数の第３の画素の近傍の空間周波数に応じて、複数の第２の画素および複数の第３の画素からの撮像信号の算出方法を変更する。

次に、本発明の実施例２について説明する。本実施例は、図３のステップＳ２０５（撮像信号生成処理）が実施例１とは異なる。撮像装置１００の構成や、撮像素子１０のカラーフィルタおよび開口の配置などの他の構成については、実施例１と同様である。

本実施例において、注目画素の近傍の色の空間周波数が高いか否かの判定方法が実施例１とは異なる。Ｒ’ｍ，ｎ画素を例にとると、ＣＰＵ２０は、以下の式（２３）を用いて、注目画素の周辺の同色画素の平均と注目画素とを比較する。

｜（Ｒ’ｍ，ｎ）−１／４｛（Ｒ’ｍ−１，ｎ）＋（Ｒ’ｍ，ｎ−１）＋（Ｒ’ｍ，ｎ＋１）＋（Ｒ’ｍ＋１，ｎ）｝｜＞Ｋ２ … （２３）
この差が、所定の値Ｋ２よりも大きい場合、ＣＰＵ２０は、注目画素の近傍の色の空間周波数が高いと推定し、隣接同色画素による補間を行わずに、以下の式（２４）を用いてＲｍ，ｎ画素の画素信号を得る。

（Ｒｍ，ｎ）＝２（Ｒ’ｍ，ｎ） … （２４）
一方、式（２３）を満たさない場合（注目画素近傍の色の空間周波数が低い場合）、ＣＰＵ２０は、以下の式（２５）で表される条件に応じて、処理を変更する。すなわち、注目画素の上下同色隣接画素の差分と、左右同色隣接画素の差分とを比較して、差分の少ないほうの隣接２画素の平均値を補間値として用いる。以下の式（２５）を満たす場合、以下の式（２６）となる。

｜（Ｒ’ｍ−１，ｎ）−（Ｒ’ｍ＋１，ｎ）｜≦｜（Ｒ’ｍ，ｎ−１）−（Ｒ’ｍ，ｎ＋１）｜ … （２５）
（Ｒｍ，ｎ）＝（Ｒ’ｍ，ｎ）＋１／２｛（Ｒ’ｍ−１，ｎ）＋（Ｒ’ｍ＋１，ｎ）｝ … （２６）
一方、式（２５）を満たさない場合、以下の式（２７）となる。

（Ｒｍ，ｎ）＝（Ｒ’ｍ，ｎ）＋１／２｛（Ｒ’ｍ，ｎ−１）＋（Ｒ’ｍ，ｎ＋１）｝ … （２７）
なお、注目画素の近傍の空間周波数の判定基準以外については実施例１と同様であるため、それらの説明は省略する。

本実施例において、実施例１と同様に、画像信号処理回路２４は、垂直方向（第３の方向）に沿って配置された２つの赤画素の画素信号を加算して、Ａ像信号群（図２中の左側（第１の方向）にオフセット（偏心）した画素から得られた画素信号）を生成する。Ａ像信号群（第１の焦点検出信号）は、（Ｒ’ｍ，ｎ−１）＋（Ｒ’ｍ＋２，ｎ−１）、（Ｒ’ｍ−１，ｎ）＋（Ｒ’ｍ＋１，ｎ）、（Ｒ’ｍ，ｎ＋１）＋（Ｒ’ｍ＋２，ｎ＋１）、（Ｒ’ｍ−１，ｎ＋２）＋（Ｒ’ｍ＋１，ｎ＋２）、…と表される。また画像信号処理回路２４は、垂直方向に沿って配置された２つの赤画素の画素信号を垂直方向に加算して、Ｂ像信号群（図２中の右側（第２の方向）にオフセット（偏心）した画素から得られた画素信号）を生成する。Ｂ像信号群（第２の焦点検出信号）は、（Ｒ’ｍ−１，ｎ−１）＋（Ｒ’ｍ＋１，ｎ−１）、（Ｒ’ｍ，ｎ）＋（Ｒ’ｍ＋２，ｎ）、（Ｒ’ｍ−１，ｎ＋１）＋（Ｒ’ｍ＋１，ｎ＋１）、（Ｒ’ｍ，ｎ＋２）＋（Ｒ’ｍ＋２，ｎ＋２）、…と表される。

画像信号処理回路２４は、赤画素の画素信号と同様に、垂直方向（第３の方向）に沿って配置された２つの青画素の画素信号を加算して、Ａ像信号群（図２中の左側（第１の方向）にオフセット（偏心）した画素から得られた画素信号）を生成する。Ａ像信号群（第１の焦点検出信号）は、（Ｂ’ｍ，ｎ−１）＋（Ｂ’ｍ＋２，ｎ−１）、（Ｂ’ｍ＋１，ｎ）＋（Ｂ’ｍ＋３，ｎ）、（Ｂ’ｍ，ｎ＋１）＋（Ｂ’ｍ＋２，ｎ＋１）、（Ｂ’ｍ＋１，ｎ＋２）＋（Ｂ’ｍ＋３，ｎ＋２）、…と表される。また画像信号処理回路２４は、垂直方向に配置された２つの青画素の画素信号を加算して、Ｂ像信号群（図２中の右側（第２の方向）にオフセット（偏心）した画素から得られた画素信号）を生成する。Ｂ像信号群（第２の焦点検出信号）は、（Ｂ’ｍ＋１，ｎ−１）＋（Ｂ’ｍ＋３，ｎ−１）、（Ｂ’ｍ，ｎ）＋（Ｂ’ｍ＋２，ｎ）、（Ｂ’ｍ＋１，ｎ＋１）＋（Ｂ’ｍ＋３，ｎ＋１）、（Ｂ’ｍ，ｎ＋２）＋（Ｂ’ｍ＋２，ｎ＋２）、…と表される。

このように本実施例において、ＣＰＵ２０（画像信号処理回路２４）は、複数の第２の画素および複数の第３の画素のそれぞれに隣接する複数の同色画素からの画素信号に応じて、複数の第２の画素および複数の第３の画素からの撮像信号の生成方法を変更する。

次に、本発明の実施例３について説明する。本実施例では、図３のステップＳ１０３（焦点検出信号生成処理）、すなわち焦点検出用データ（測距用データ）の加算方法が実施例１、２とは異なる。撮像装置１００の構成や撮像素子１０のカラーフィルタおよび開口の配置などの他の構成は、実施例１、２と同様である。また、撮像信号生成処理も、実施例１、２と同様である。

本実施例において、画像信号処理回路２４は、赤画素の画素信号の垂直方向における位置に応じて、１：３または３：１の重み付けを行って（係数を掛けて）、２つの画素信号を加算する。すなわち画像信号処理回路２４は、垂直方向（第３の方向）に沿って配置された２つの赤画素の画素信号の重み付けを行って加算して、Ａ像信号群（図２中の左側（第１の方向）にオフセット（偏心）した画素から得られた画素信号）を生成する。Ａ像信号群（第１の焦点検出信号）は、３（Ｒ’ｍ，ｎ−１）＋（Ｒ’ｍ＋２，ｎ−１）、（Ｒ’ｍ−１，ｎ）＋３（Ｒ’ｍ＋１，ｎ）、３（Ｒ’ｍ，ｎ＋１）＋（Ｒ’ｍ＋２，ｎ＋１）、（Ｒ’ｍ−１，ｎ＋２）＋３（Ｒ’ｍ＋１，ｎ＋２）、…と表される。また画像信号処理回路２４は、垂直方向（第３の方向）に沿って配置された２つの赤画素の画素信号の重み付けを行って加算して、Ｂ像信号群（図２中の右側（第２の方向）にオフセット（偏心）した画素から得られた画素信号）を生成する。Ｂ像信号群（第２の焦点検出信号）は、（Ｒ’ｍ−１，ｎ−１）＋３（Ｒ’ｍ＋１，ｎ−１）、３（Ｒ’ｍ，ｎ）＋（Ｒ’ｍ＋２，ｎ）、（Ｒ’ｍ−１，ｎ＋１）＋３（Ｒ’ｍ＋１，ｎ＋１）、３（Ｒ’ｍ，ｎ＋２）＋（Ｒ’ｍ＋２，ｎ＋２）、…と表される。

また、青画素の画素信号に関しても、赤画素の画素信号と同様に、Ａ像信号群およびＢ像信号群を生成する。Ａ像信号群（第１の焦点検出信号）は、（Ｂ’ｍ，ｎ−１）＋３（Ｂ’ｍ＋２，ｎ−１）、３（Ｂ’ｍ＋１，ｎ）＋（Ｂ’ｍ＋３，ｎ）、（Ｂ’ｍ，ｎ＋１）＋３（Ｂ’ｍ＋２，ｎ＋１）、３（Ｂ’ｍ＋１，ｎ＋２）＋（Ｂ’ｍ＋３，ｎ＋２）、…と表される。Ｂ像信号群（第２の焦点検出信号）は、３（Ｂ’ｍ＋１，ｎ−１）＋（Ｂ’ｍ＋３，ｎ−１）、（Ｂ’ｍ，ｎ）＋３（Ｂ’ｍ＋２，ｎ）、３（Ｂ’ｍ＋１，ｎ＋１）＋（Ｂ’ｍ＋３，ｎ＋１）、（Ｂ’ｍ，ｎ＋２）＋３（Ｂ’ｍ＋２，ｎ＋２）、…と表される。

本実施例において、ＣＰＵ２０（または画像信号処理回路２４）は、第３の方向に沿って配置された複数の第２の画素および複数の第３の画素のそれぞれから得られた画素信号の重み付けを行って加算する。好ましくは、ＣＰＵ２０（または画像信号処理回路２４）は、加算信号の重心位置を所定の画素ライン上に揃えるように重み付けを行う。このように重み付けを行って（係数を掛けて）加算することにより、加算後の画素の垂直方向の重心位置が直線状に揃うようになる。赤画素の加算後のＡ像画素およびＢ像画素は、Ｇ１ｍ＋１行上に直線状に整列する。また、青画素の加算後のＡ像画素およびＢ像画素は、Ｇ２ｍ＋１行上に直線状に整列する。これにより、加算後のＡ像信号とＢ像信号とを直接比較することができる。また、加算による測距感度の向上に関する効果は、実施例１、２と同様に得られる。

次に、本発明の実施例４について説明する。注目画素の近傍の空間周波数が高いか否かを判定する際に、実施例１では、赤または青に感度を持つ画素に隣接する緑の画素の最大値と最小値の差を利用している。また実施例２では、注目画素と同色隣接画素の平均値との差を利用している。

注目画素の近傍の空間周波数が高いか否かは、これ以外の方法を利用して判定することもできる。本実施例では、赤画素または青画素に感度を持つ画素に隣接する緑画素（Ｇ１ｍ，ｎ−１）、（Ｇ１ｍ，ｎ）、（Ｇ２ｍ−１，ｎ）、（Ｇ２ｍ，ｎ）の分散または標準偏差を演算する。そして、この値（分散または標準偏差）を所定値と比較することにより、近傍の空間周波数の判定基準とすることも可能である。

次に、本発明の実施例５について説明する。本実施例では、図３のステップＳ１０３（焦点検出信号生成処理）、すなわち焦点検出用データ（測距用データ）の加算方法が実施例１、２とは異なる。また本実施例において、撮像装置１００の全体構成は、図１を参照して説明した実施例１の構成と同様である。ただし、撮像素子１０のカラーフィルタや開口の配置（画素配列）、すなわち、より正確には測距用の画素間演算は、実施例１とは異なる。

図４は、本実施例における撮像素子１０の画素配列図である。図４に示されるように、基本色配列は、緑画素、赤画素、青画素のベイヤー配列である。各画素は、撮像素子１０の光電変換部で受光する光束が通過する開口部を有する。図４において、第１の開口部が形成された緑画素をＧ１ｍ、ｎ、Ｇ２ｍ，ｎ、第２の開口部が形成された赤画素をＲｍ，ｎ、第３の開口部が形成された青画素をＢｍ，ｎ、と表している。半開口のＲ画素およびＢ画素には「’」を付している。

本実施例は、実施例１〜４とは異なり、垂直方向の加算列数がＲ画素とＢ画素とで互いに異なる。実施例１〜４においては、Ｒ画素およびＢ画素のいずれも２行の画素（２つの画素）で加算を行っている。一方、本実施例は、Ｒ画素に関しては２行の加算を行い、Ｂ画素に関しては画素配置に応じて３行または２行の加算を行う点で、実施例１〜４とは異なる。また、本実施例において、焦点検出用に加算しない画素については、図面上半開口にしていない。これは、本実施例の理解を容易にするため、加算対象である焦点検出画素を見やすくしたものである。加算対象となる焦点検出画素のブロック同士が隣接すれば、全開口の赤画素や青画素は不要である。このような構成にすれば、補間処理の違いによる補正痕も目立ちにくくなる。

画像信号処理回路２４は、読み込んだ赤画素の画素信号に関して、垂直方向の位置に応じて１：３または３：１の重み付けを行って加算する。Ａ像信号群（第１の焦点検出信号）は、図４中の左側（第１の方向）にオフセット（偏心）した画素からの画素信号の集合であり、加算した画素の重心位置は、Ｇ１ｍ＋２行に重なる。Ａ像信号群は、（Ｒ’ｍ，ｎ−１）＋３（Ｒ’ｍ＋２，ｎ−１）、３（Ｒ’ｍ＋１，ｎ）＋（Ｒ’ｍ＋３，ｎ）、（Ｒ’ｍ，ｎ＋１）＋３（Ｒ’ｍ＋２，ｎ＋１）、３（Ｒ’ｍ＋１，ｎ＋２）＋（Ｒ’ｍ＋３，ｎ＋２）、…と表される。Ｂ像信号群（第２の焦点検出信号）は、図４中の右側（第２の方向）にオフセット（偏心）した画素からの画素信号の集合であり、加算した画素の重心位置は、Ｇ１ｍ＋２行に重なる。Ｂ像信号群は、３（Ｒ’ｍ＋１，ｎ−１）＋（Ｒ’ｍ＋３，ｎ−１）、（Ｒ’ｍ，ｎ）＋３（Ｒ’ｍ＋２，ｎ）、３（Ｒ’ｍ＋１，ｎ＋１）＋（Ｒ’ｍ＋３，ｎ＋１）、（Ｒ’ｍ，ｎ＋２）＋３（Ｒ’ｍ＋２，ｎ＋２）、…と表される。

画像信号処理回路２４は、青画素からの画素信号に関して、垂直方向（第３の方向）における位置に応じて、以下のように２行加算（２：２の重み付け）、または、３行加算（１：２：１の重み付け）を行う。Ａ像信号群（第１の焦点検出信号）は、図４中の左側（第１の方向）にオフセット（偏心）した画素からの画素信号の集合であり、これらの画素の加算後の重心位置はＧ１ｍ＋２行に重なる。Ａ像信号群は、（Ｂ’ｍ，ｎ−１）＋２（Ｂ’ｍ＋２，ｎ−１）＋（Ｂ’ｍ＋４，ｎ−１）、２（Ｂ’ｍ＋１，ｎ）＋２（Ｂ’ｍ＋３，ｎ）、（Ｂ’ｍ，ｎ＋１）＋２（Ｂ’ｍ＋２，ｎ＋１）＋（Ｂ’ｍ＋４，ｎ＋１）、…と表される。またＢ像信号群（第２の焦点検出信号）は、図４中の右側（第２の方向）にオフセット（偏心）した画素からの画素信号の集合であり、これらの画素の加算後の重心位置はＧ１ｍ＋２行に重なる。Ｂ像信号群は、２（Ｂ’ｍ＋１，ｎ−１）＋２（ｍ＋３，ｎ−１）、（Ｂ’ｍ，ｎ）＋２（Ｂ’ｍ＋２，ｎ）＋（Ｂ’ｍ＋４，ｎ）、２（Ｂ’ｍ＋１，ｎ＋１）＋２（Ｂ’ｍ＋３，ｎ＋１）、…と表される。

このように本実施例では、赤画素から生成されたＡ像信号とＢ像信号、および、青画素から生成されたＡ像信号とＢ像信号のそれぞれにおいて、画素加算後の垂直方向（第３の方向）における全ての重心位置がＧ１ｍ＋２列に重なる。実施例１においては、加算後のＡ像信号およびＢ像信号が垂直方向に一行分ずれているため、シフト演算を行っても正確に加算後のＡ像信号とＢ像信号との差の最小値が得られないことがある。一方、本実施例においては、垂直方向の重心位置がＡ像信号とＢ像信号との間のみならず、加算後の赤画素と青画素のそれぞれの重心位置も同じ位置になる。このため、垂直方向に連続した被写体像に関して、シフト演算の後の差分を求める際の精度を向上させることができる。なお、撮像信号の生成に関しては実施例1または実施例２の処理と同様であるため、その説明を省略する。

次に、本発明の実施例６について説明する。本実施例は、撮像素子１０の画素に設けられたカラーフィルタが実施例１〜５とは異なる。すなわち本実施例は、実施例１〜５における赤画素を黄画素に、青画素をシアン画素に置き換えている。図５は、本実施例における撮像素子１０の画素配列図であり、画素配置と開口部の偏心を示している。赤画素を黄画素に、青画素をシアン画素にそれぞれ置き換えたことにより、撮像信号処理に関しては、そのまま通常のベイヤー処理を行うことはできない。しかし、焦点検出の際の色依存性を低減させることができるという利点を有する。

実施例１〜５においては、焦点検出画素を撮像画素としても用いるため、赤色または青色のカラーフィルタを備えている。この場合、輝線スペクトルの緑の被写体に対しては、赤色も、青色も感度を持たないため、焦点検出（測距）を行うことができない。これを回避するため、本実施例では、赤色と緑色に感度を持つ黄色のフィルタと、青色と緑色に感度を持つシアン色のフィルタを焦点検出に用いる。これにより、緑色の輝線スペクトルを持つ被写体においても焦点検出が可能になるという効果を有する。

撮像装置１００の動作シーケンスは、実施例１、２と同様である。第１の焦点検出信号は、図５の左側（第１の方向）にオフセット（偏心）した画素からの画素信号（Ａ像信号）の集合（Ａ像信号群）である。黄画素（Ｙ画素）に関して、Ａ像信号群は、（Ｙ’ｍ，ｎ−１）、（Ｙ’ｍ，ｎ＋１）、（Ｙ’ｍ，ｎ＋３）、（Ｙ’ｍ，ｎ＋５）、…と表される。第２の焦点検出信号は、図５の右側（第２の方向）にオフセット（偏心）した画素からの画素信号（Ｂ像信号）の集合（Ｂ像信号群）である。黄画素（Ｙ画素）に関して、Ｂ像信号群は、（Ｙ’ｍ，ｎ−２）、（Ｙ’ｍ，ｎ）、（Ｙ’ｍ，ｎ＋２）、（Ｙ’ｍ，ｎ＋４）、…と表される。

シアン画素（Ｃ画素）に関して、Ａ像信号群は、（Ｃ’ｍ，ｎ−１）、（Ｃ’ｍ，ｎ＋１）、（Ｃ’ｍ，ｎ＋３）、（Ｃ’ｍ，ｎ＋５）、…と表される。シアン画素（Ｃ画素）に関して、Ｂ像信号群は、（Ｃ’ｍ，ｎ−２）、（Ｃ’ｍ，ｎ）、（Ｃ’ｍ，ｎ＋２）、（Ｃ’ｍ，ｎ＋４）、…と表される。ＣＰＵ２０は、Ａ像信号群（Ａ像）とＢ像信号群（Ｂ像）とをシフトしながらＡ像とＢ像の相関を求める。

続いて、本実施例における撮像信号生成処理（図３のステップＳ２０５）について説明する。まず、画像信号処理回路２４は、以下の式（２８）を用いて、黄画素（Ｙ画素）に隣接する４つのＧ画素のばらつきを判定する。

ｍａｘ｛（Ｇ１ｍ，ｎ），（Ｇ１ｍ＋１，ｎ），（Ｇ２ｍ，ｎ），（Ｇ２ｍ，ｎ＋１）｝−ｍｉｎ｛（Ｇ１ｍ，ｎ），（Ｇ１ｍ＋１，ｎ），（Ｇ２ｍ，ｎ），（Ｇ２ｍ，ｎ＋１）｝＞Ｋ３ … （２８）
具体的には、隣接４画素（Ｇ）の最大値と最小値との差が所定の値（Ｋ３）より大きい場合、ＣＰＵ２０は、注目画素の付近は空間周波数が高い領域であると判定する。そして画像信号処理回路２４は、隣接画素を用いた補間を行うことなく、Ｙ’ｍ，ｎ画素の画素信号を２倍してＹｍ，ｎ画素の画素信号とする。

（Ｙｍ，ｎ）＝２（Ｙ’ｍ，ｎ） … （２９）
本実施例では、ベイヤー配列に変換するため、画像信号処理回路２４は、画素情報（Ｙｍ，ｎ）に基づいて、以下の方法を用いて赤画素の画素信号を生成する。すなわち、以下の式（３０）を満たす場合、以下の式（３１）を用いてＲ画素の画素信号を得る。

｜（Ｇ１ｍ，ｎ）−（Ｇ１ｍ＋１，ｎ）｜≦｜（Ｇ２ｍ，ｎ）−（Ｇ２ｍ，ｎ＋１）｜ … （３０）
（Ｒｍ，ｎ）＝（Ｙｍ，ｎ）−１／２｛（ Ｇ１ｍ，ｎ）＋（Ｇ１ｍ＋１，ｎ）｝ … （３１）
一方、式（３０）を満たさない場合、以下の式（３２）を用いてＲ画素の画素信号を得る。

（Ｒｍ，ｎ）＝（Ｙｍ，ｎ）−１／２｛（Ｇ２ｍ，ｎ）＋（Ｇ２ｍ，ｎ＋１）｝ … （３２）
また、式（２８）を満たさない場合（隣接４画素（Ｇ）の最大値と最小値との差が所定値（Ｋ３）より小さい場合、すなわち注目画素の周辺の空間周波数が高くない場合）、同色（Ｙ）で上下の画素の差分と、同色（Ｙ）の左右の画素の差分を比較する。そして、差分が小さいほうの隣接同色画素の平均値を注目画素の残りの半分であると推定し、注目画素と加算してＹｍ，ｎ画素の画素信号とする。すなわち、以下の式（３３）を満たす場合、以下の式（３４）を用いてＹｍ，ｎ画素の画素信号を得る。

｜（Ｙ’ｍ−１，ｎ），（Ｙ’ｍ＋１，ｎ）｜≦｜（Ｙ’ｍ，ｎ−１），（Ｙ’ｍ，ｎ＋１）｜） … （３３）
（Ｙｍ，ｎ）＝（Ｙ’ｍ，ｎ）＋１／２｛（Ｙ’ｍ−１，ｎ）＋（Ｙ’ｍ＋１，ｎ）｝ … （３４）
一方、式（３３）を満たさない場合、以下の式（３５）を用いてＹｍ，ｎ画素の画素信号を得る。

（Ｙｍ，ｎ）＝（Ｙ’ｍ，ｎ）＋１／２｛（Ｙ’ｍ，ｎ−１）＋（Ｙ’ｍ，ｎ＋１）｝ … （３５）
式（３４）または式（３５）を用いて得られたＹ画素に基づいて、Ｒ画素は以下の式（３６）を用いて生成される。

（Ｒｍ，ｎ）＝（Ｙｍ，ｎ）−１／４｛（Ｇ１ｍ，ｎ）＋（Ｇ１ｍ＋１，ｎ）＋（Ｇ２ｍ，ｎ）＋（Ｇ２ｍ，ｎ＋１）｝ … （３６）
なお本実施例は、Ｙ画素（Ｙｍ，ｎ）について説明したが、Ｃ（シアン）画素（Ｃｍ，ｎ）についても同様である。すなわち、以下の式（３７）を満たす場合、以下の式（３８）を用いてシアン画素（Ｃｍ，ｎ）を得る。

ｍａｘ｛（Ｇ１ｍ，ｎ−１），（Ｇ１ｍ，ｎ），（Ｇ２ｍ−１，ｎ），（Ｇ２ｍ，ｎ）｝−ｍｉｎ｛（Ｇ１ｍ，ｎ−１），（Ｇ１ｍ，ｎ），（Ｇ２ｍ−１，ｎ），（Ｇ２ｍ，ｎ）｝＞Ｋ３ … （３７）
（Ｃｍ，ｎ）＝２（Ｃ’ｍ，ｎ） … （３８）
ベイヤー配列に変換するには、この画素情報（Ｃｍ，ｎ）に基づいて、以下の方法により青画素の画素情報を得る。すなわち、以下の式（３９）を満たす場合、以下の式（４０）を用いて青画素の画素信号（Ｂｍ，ｎ）を得る。

｜（Ｇ１ｍ，ｎ−１）−（Ｇ１ｍ，ｎ）｜≦｜（Ｇ２ｍ−１，ｎ）−（Ｇ２ｍ，ｎ）｜ … （３９）
（Ｂｍ，ｎ）＝（Ｃｍ，ｎ）−１／２｛（ Ｇ１ｍ，ｎ−１）＋（Ｇ１ｍ，ｎ）｝ … （４０）
一方、式（３９）を満たさない場合、以下の式（４１）を用いてＢ画素からの画素信号を得る。

（Ｂｍ，ｎ）＝（Ｃｍ，ｎ）−１／２｛（Ｇ２ｍ−１，ｎ）＋（Ｇ２ｍ，ｎ）｝ … （４１）
とすることによって、Ｂ画素の画素信号を得る。

また、式（３７）を満たさない場合、画像信号処理回路２４は、以下の処理を行う。すなわち、以下の式（４２）を満たす場合、以下の式（４３）を用いてＣ画素の画素信号（Ｃｍ，ｎ）を得る。

｜（Ｃ’ｍ−１，ｎ），（Ｃ’ｍ＋１，ｎ）｜≦｜（Ｃ’ｍ，ｎ−１），（Ｃ’ｍ，ｎ＋１）｜ … （４２）
（Ｃｍ，ｎ）＝（Ｃ’ｍ，ｎ）＋１／２｛（Ｃ’ｍ−１，ｎ）＋（Ｃ’ｍ＋１，ｎ）｝ … （４３）
一方、式（４２）を満たさない場合、以下の式（４４）を用いてＣ画素の画素信号（Ｃｍ，ｎ）を得る。

（Ｃｍ，ｎ）＝（Ｃ’ｍ，ｎ）＋１／２｛（Ｃ’ｍ，ｎ−１）＋（Ｃ’ｍ，ｎ＋１）｝ … （４４）
式（４３）または式（４４）で得られたＣ画素の画素信号（Ｃｍ，ｎ）に基づいて、Ｂ画素の画素信号（Ｂｍ，ｎ）は、以下の式（４５）を用いて生成される。

（Ｂｍ，ｎ）＝（Ｃｍ，ｎ）−１／４｛（Ｇ１ｍ，ｎ−１）＋（Ｇ１ｍ，ｎ）＋（Ｇ２ｍ−１，ｎ）＋（Ｇ２ｍ，ｎ）｝ … （４５）
このように本実施例において、撮像素子１０は、黄色、緑色、シアン色のカラーフィルタを有する複数の画素を備えている。複数の第２の画素および複数の第３の画素は、黄色のカラーフィルタまたはシアン色のカラーフィルタを有する。

次に、本発明の実施例７について説明する。本実施例は、実施例６の構成を、実施例５のように垂直方向の重心位置を揃えて演算を行うことにより焦点検出信号を得る方法に関する。本実施例において、撮像素子１０の画素配列は、図５を参照して説明した実施例６と同様である。また、撮像装置１００の動作シーケンスは、実施例１、２と同様である。

第１の焦点検出信号は、図５の左側（第１の方向）にオフセット（偏心）した画素からの画素信号（Ａ像信号）の集合（Ａ像信号群）である。黄画素（Ｙ画素）に関して、Ａ像信号群は、２（Ｙ’ｍ，ｎ−１）＋２（Ｙ’ｍ＋２，ｎ−１）、（Ｙ’ｍ−１，ｎ）＋２（Ｙ’ｍ＋１，ｎ）＋（Ｙ’ｍ＋３，ｎ）、２（Ｙ’ｍ，ｎ＋１）＋２（ Ｙ’ｍ＋２，ｎ＋１）、…と表される。第２の焦点検出信号は、図５の右側（第２の方向）にオフセット（偏心）した画素からの画素信号（Ｂ像信号）の集合（Ｂ像信号群）である。Ｙ画素に関して、Ｂ像信号群は、（Ｙ’ｍ−１，ｎ−１）＋２（Ｙ’ｍ＋１，ｎ−１）＋（Ｙ’ｍ＋３，ｎ−１）、２（Ｙ’ｍ，ｎ）＋２（Ｙ’ｍ＋２，ｎ）、（Ｙ’ｍ−１，ｎ＋１）＋２（Ｙ’ｍ＋１，ｎ＋１）＋（Ｙ’ｍ＋３，ｎ＋１）、…と表される。

シアン画素（Ｃ画素）に関し、Ａ像信号群は（Ｃ’ｍ，ｎ−１）＋２（Ｃ’ｍ＋２，ｎ−１）＋（Ｃ’ｍ＋４，ｎ−１）、２（Ｃ’ｍ＋１，ｎ）＋２（Ｃ’ｍ＋３，ｎ）、（Ｃ’ｍ，ｎ＋１）＋２（ Ｃ’ｍ＋２，ｎ＋１）＋（Ｃ’ｍ＋４，ｎ＋１）、…と表される。Ｃ画素に関し、Ｂ像信号群は、２（Ｃ’ｍ＋１，ｎ−１）＋２（Ｃ’ｍ＋３，ｎ−１）、（Ｃ’ｍ，ｎ）＋２（Ｃ’ｍ＋２，ｎ）＋（Ｃ’ｍ＋４，ｎ）、２（Ｃ’ｍ＋１，ｎ＋１）＋２（Ｃ’ｍ＋３，ｎ＋１）、…と表される。ＣＰＵ２０は、Ａ像信号群（Ａ像）とＢ像信号群（Ｂ像）とをシフトしながらＡ像とＢ像の相関を求める。

続いて、本実施例における撮像信号生成処理（図３のステップＳ２０５）について説明する。まず、画像信号処理回路２４は、以下の式（４６）を用いて、黄画素（Ｙ画素）に隣接する４つのＧ画素のばらつきを判定する。

ｍａｘ｛（Ｇ１ｍ，ｎ），（Ｇ１ｍ＋１，ｎ），（Ｇ２ｍ，ｎ），（Ｇ２ｍ，ｎ＋１）｝−ｍｉｎ｛（Ｇ１ｍ，ｎ），（Ｇ１ｍ＋１，ｎ），（Ｇ２ｍ，ｎ），（Ｇ２ｍ，ｎ＋１）｝＞Ｋ３ … （４６）
具体的には、隣接４画素（Ｇ）の最大値と最小値との差が所定の値（Ｋ３）より大きい場合、ＣＰＵ２０は、注目画素の付近は空間周波数が高い領域であると判定する。そして画像信号処理回路２４は、隣接画素を用いた補間を行うことなく、以下の式（４７）で表されるように画素信号Ｙ’ｍ，ｎを２倍して画素信号Ｙｍ，ｎとする。

（Ｙｍ，ｎ）＝２（Ｙ’ｍ，ｎ） … （４７）
また、ベイヤー配列に変換するため、画素信号（Ｙｍ，ｎ）に基づいて、以下の方法を用いて赤画素の画素信号を生成する。すなわち、以下の式（４８）を満たす場合、以下の式（４９）を用いてＲ信号（Ｒｍ，ｎ）を得る。

｜（Ｇ１ｍ，ｎ）−（Ｇ１ｍ＋１，ｎ）｜≦｜（Ｇ２ｍ，ｎ）−（Ｇ２ｍ，ｎ＋１）｜ … （４８）
（Ｒｍ，ｎ）＝（Ｙｍ，ｎ）−１／２｛（Ｇ１ｍ，ｎ）＋（Ｇ１ｍ＋１，ｎ）｝ … （４９）
一方、式（４８）を満たさない場合、以下の式（５０）を用いてＲ信号（Ｒｍ，ｎ）を得る。

（Ｒｍ，ｎ）＝（Ｙｍ，ｎ）−１／２｛（Ｇ２ｍ，ｎ）＋（Ｇ２ｍ，ｎ＋１）｝ … （５０）
式（４６）を満たさない場合（隣接４画素（Ｇ）の最大値と最小値との差が所定値（Ｋ３）より小さい場合、すなわち注目画素の周辺の空間周波数が高くない場合）、同色（Ｙ）で上下の画素の差分と、同色（Ｙ）の左右の画素の差分を比較する。そして、差分が小さいほうの隣接同色画素の平均値を注目画素の残りの半分であると推定し、注目画素と加算して画素信号（Ｙｍ，ｎ）とする。すなわち、以下の式（５１）を満たす場合、以下の式（５２）を用いてＹ信号（Ｙｍ，ｎ）を得る。

｜（Ｙ’ｍ−１，ｎ），（Ｙ’ｍ＋１，ｎ）｜≦｜（Ｙ’ｍ，ｎ−１），（Ｙ’ｍ，ｎ＋１）｜） … （５１）
（Ｙｍ，ｎ）＝（Ｙ’ｍ，ｎ）＋１／２｛（Ｙ’ｍ−１，ｎ）＋（Ｙ’ｍ＋１，ｎ）｝ … （５２）
一方、式（５１）を満たさない場合、以下の式（５３）を用いてＹ信号（Ｙｍ，ｎ）を得る。

（Ｙｍ，ｎ）＝（Ｙ’ｍ，ｎ）＋１／２｛（Ｙ’ｍ，ｎ−１）＋（Ｙ’ｍ，ｎ＋１）｝ … （５３）
Ｒ信号は、式（５２）または式（５３）の演算により得られたＹ信号を用いて、以下の式（５４）により生成される。

Ｒ（ｍ，ｎ）＝Ｙ（ｍ，ｎ）−１／４｛（Ｇ１ｍ，ｎ）＋（Ｇ１ｍ＋１，ｎ）＋（Ｇ２ｍ，ｎ）＋（Ｇ２ｍ，ｎ＋１）｝ … （５４）
なお本実施例は、Ｙ信号（Ｙｍ，ｎ）について説明しているが、Ｃ信号（Ｃｍ，ｎ）についても同様である。すなわち、以下の式（５５）を満たす場合、以下の式（５６）を用いてＣ信号（Ｃｍ，ｎ）を得る。

ｍａｘ｛（Ｇ１ｍ，ｎ−１），（Ｇ１ｍ，ｎ），（Ｇ２ｍ−１，ｎ），（Ｇ２ｍ，ｎ）｝−ｍｉｎ｛（Ｇ１ｍ，ｎ−１），（Ｇ１ｍ，ｎ），（Ｇ２ｍ−１，ｎ），（Ｇ２ｍ，ｎ）｝＞Ｋ３ … （５５）
（Ｃｍ，ｎ）＝２（Ｃ’ｍ，ｎ） … （５６）
ベイヤー配列に変換するため、Ｃ画素から以下の方法によりＢ信号を生成する。すなわち、以下の式（５７）を満たす場合、以下の式（５８）を用いてＢ信号（Ｂｍ，ｎ）を得る。

｜（Ｇ１ｍ，ｎ）−（Ｇ１ｍ，ｎ−１）｜≦｜（Ｇ２ｍ−１，ｎ）−（Ｇ２ｍ，ｎ）｜ … （５７）
（Ｂｍ，ｎ）＝（Ｃｍ，ｎ）−１／２｛（Ｇ１ｍ，ｎ）＋（Ｇ１ｍ，ｎ−１）｝ … （５８）
一方、式（５７）を満たさない場合、以下の式（５９）を用いてＢ信号（Ｂｍ，ｎ）を得る。

（Ｂｍ，ｎ）＝（Ｃｍ，ｎ）−１／２｛（Ｇ２ｍ−１，ｎ）＋（Ｇ２ｍ，ｎ）｝ … （５９）
式（５５）を満たさない場合、画像信号処理回路２４は、以下の処理を行う。すなわち、以下の式（６０）を満たす場合、以下の式（６１）を用いてＣ信号（Ｃｍ，ｎ）を得る。

｜（Ｃ’ｍ−１，ｎ），（Ｃ’ｍ＋１，ｎ）｜≦｜（Ｃ’ｍ，ｎ−１），（Ｃ’ｍ，ｎ＋１）｜ … （６０）
（Ｃｍ，ｎ）＝（Ｃ’ｍ，ｎ）＋１／２｛（Ｃ’ｍ−１，ｎ）＋（Ｃ’ｍ＋１，ｎ）｝ … （６１）
一方、式（６０）を満たさない場合、以下の式（６２）を用いてＣ信号（Ｃｍ，ｎ）を得る。

（Ｃｍ，ｎ）＝（Ｃ’ｍ，ｎ）＋１／２｛（Ｃ’ｍ，ｎ−１）＋（Ｃ’ｍ，ｎ＋１）｝ … （６２）
Ｂ信号は、式（６１）または式（６２）で得られたＣ信号を用いて、以下の式（６３）により生成される。

（Ｂｍ，ｎ）＝（Ｃｍ，ｎ）−１／４｛（Ｇ１ｍ，ｎ−１）＋（Ｇ１ｍ，ｎ）＋（Ｇ２ｍ−１，ｎ）＋（Ｇ２ｍ，ｎ）｝ … （６３）
［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施例によれば、焦点検出画素の感度を向上させた撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 撮像素子
２４ 画像信号処理回路
１００ 撮像装置

Claims (17)

1. 光学像を光電変換して画像信号を得る撮像素子と、
   前記撮像素子からの前記画像信号を処理して焦点検出信号および撮像信号を生成する信号処理手段と、を有し、
   前記撮像素子は、第１の開口部が形成された複数の第１の画素、該第１の開口部よりも小さく第１の方向に偏心した第２の開口部が形成された複数の第２の画素、および、該第１の開口部よりも小さく第２の方向に偏心した第３の開口部が形成された複数の第３の画素を含み、
   前記信号処理手段は、前記第１の方向および前記第２の方向とは異なる第３の方向に沿って配置された前記複数の第２の画素および前記複数の第３の画素のそれぞれから得られた画素信号を加算して前記焦点検出信号を生成する、ことを特徴とする撮像装置。
2. 前記第２の方向は、前記第１の方向と反対の方向であり、
   前記第３の方向は、前記第１の方向および前記第２の方向と垂直な方向であることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の開口部および前記第３の開口部は、それぞれ、前記第１の開口部の大きさの半分であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記信号処理手段を制御する制御手段を更に有し、
   信号処理手段は、
   前記第３の方向に沿って配置された前記複数の第２の画素から得られた画素信号を加算して第１の焦点検出信号を生成し、
   該第３の方向に沿って配置された前記複数の第３の画素から得られた画素信号を加算して第２の焦点検出信号を生成し、
   前記制御手段は、前記第１の焦点検出信号と前記第２の焦点検出信号との差が小さくなるようにフォーカス制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の第２の画素および前記複数の第３の画素は、撮影光学系の互いに異なる瞳領域を通過した光束が入射するように構成されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子は、赤色、緑色、青色のカラーフィルタを有する複数の画素を備え、
   前記複数の第２の画素および前記複数の第３の画素は、前記赤色のカラーフィルタまたは前記青色のカラーフィルタを有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像素子は、黄色、緑色、シアン色のカラーフィルタを有する複数の画素を備え、
   前記複数の第２の画素および前記複数の第３の画素は、前記黄色のカラーフィルタまたは前記シアン色のカラーフィルタを有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記複数の第１の画素は、前記複数の第２の画素および前記複数の第３の画素のそれぞれに隣接して配置されており、
   前記信号処理手段は、前記複数の第１の画素からの画素信号を用いて、前記複数の第２の画素および前記第３の画素からの前記撮像信号を生成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記信号処理手段は、前記複数の第２の画素および前記複数の第３の画素のそれぞれに隣接する前記複数の第１の画素からの画素信号のばらつきに応じて、該複数の第２の画素および該複数の第３の画素からの前記撮像信号の生成方法を変更することを特徴とする請求項８に記載の撮像装置。
10. 前記信号処理手段は、前記複数の第２の画素および前記複数の第３の画素のそれぞれに隣接する複数の同色画素からの画素信号に応じて、該複数の第２の画素および該複数の第３の画素からの前記撮像信号の生成方法を変更することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
11. 前記信号処理手段は、前記複数の第２の画素および前記複数の第３の画素の近傍の空間周波数に応じて、該複数の第２の画素および該複数の第３の画素からの前記撮像信号の算出方法を変更することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像装置。
12. 前記信号処理手段は、前記第３の方向に沿って配置された前記複数の第２の画素および前記複数の第３の画素のそれぞれから得られた画素信号の重み付けを行って加算することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記信号処理手段は、加算信号の重心位置を所定の画素ライン上に揃えるように前記重み付けを行うことを特徴とする請求項１２に記載の撮像装置。
14. 撮影光学系を備えたレンズ装置と、
    請求項１乃至１３のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
15. 第１の開口部が形成された複数の第１の画素、該第１の開口部よりも小さく第１の方向に偏心した第２の開口部が形成された複数の第２の画素、および、該第１の開口部よりも小さく第２の方向に偏心した第３の開口部が形成された複数の第３の画素を含む撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子を用いて光学像を光電変換して画像信号を得るステップと、
    前記撮像素子からの前記画像信号を処理して焦点検出信号および撮像信号を生成するステップと、を有し、
    前記焦点検出信号は、前記第１の方向および前記第２の方向とは異なる第３の方向に沿って配置された前記複数の第２の画素および前記複数の第３の画素のそれぞれから得られた画素信号を加算して生成される、ことを特徴とする撮像装置の制御方法。
16. コンピュータに、請求項１５に記載の撮像装置の制御方法を実行させるように構成されていることを特徴とするプログラム。
17. 請求項１６に記載のプログラムを記憶していることを特徴とする記憶媒体。