JP2010028397A - 撮像装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】動画撮像を行う際に、位相差検出による自動焦点調整を可能とする。
【解決手段】撮像装置は、動画像データを取得する際に、複数の光電変換素子の中から、位相差検出用素子を含む任意の数の光電変換素子の信号を加算して読み出す第１のモード、および一部の光電変換素子の信号を間引いて少なくとも位相差検出用素子の信号を読み出す第２のモードでの読み出しを行う。また、撮像装置は、第２のモードで読み出された位相差検出用素子の信号に基づいて撮像光学系の焦点調整を制御する。
【選択図】図１３

Description

本発明は、撮像装置、その制御方法及びプログラムに関する。

従来、撮像レンズにより被写体像が結像される撮像面に複数の光電変換素子が配列された撮像素子（固体撮像装置）を用いて、その被写体像を取得するデジタルスチルカメラ（以下、デジタルカメラ）などの撮像装置がある。この撮像装置では、位相差検出方式を用いて自動焦点調整を行うために、撮像素子の一部の光電変換素子に位相差検出用の素子としての機能を持たせているものがある（特許文献１、２）。

特許文献１には、撮像素子の一部の光電変換素子において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を有する位相差検出用の素子とする。そして、特許文献１には、これら位相差検出用の素子を撮像用の素子群の間に所定の間隔で配置することで、撮像素子において位相差式焦点検出を行うことが記載されている。また、特許文献２には、撮像素子の一部の光電変換素子において、受光部を２分割することで瞳分割機能を有する位相差検出用の素子とする。そして、特許文献２には、特許文献１と同様に、位相差検出用の素子を撮像用の素子群の間に所定の間隔で配置することが記載されている。

また、撮像装置には、所定のフレームレートで撮像素子を駆動して動画撮像を行う際に、フレームレート向上のために撮像素子に配列された複数の光電変換素子の中から間引き読み出しや加算読み出しを行うものがある（特許文献３）。
特開２０００−１５６８２３号公報 特開２０００−２９２６８６号公報 特開２００３−１８９１８３号公報

しかしながら、上記従来技術では、撮像素子に配列された複数の光電変換素子の中から間引き読み出しを行った場合、撮像素子に含まれる位相差検出用の素子の出力が読み出されない虞があった。このため、撮像装置において撮像素子から間引き読み出しを行う場合には、撮像素子の一部の光電変換素子に位相差検出用の素子としての機能を持たせていたとしても、位相差検出による自動焦点調整を行うことができないことがあった。また、所定のフレームレートで撮像素子を駆動して動画撮像を行う際に、加算読み出しが常に行われた場合には、位相差検出による自動焦点調整を行うことができなかった。

本発明は、このような従来技術の課題の少なくとも１つを解決することを目的としてなされたものである。本発明は、動画撮像を行う際に、位相差検出による自動焦点調整を可能とする撮像装置、その制御方法及びプログラムの提供を目的の一つとする。

上記目的は、被写体像を結像させるための撮像光学系と、前記撮像光学系により結像された被写体像を撮像する複数の光電変換素子を有し、当該複数の光電変換素子の中に位相差検出用素子が分散配置された撮像手段と、前記複数の光電変換素子の中から、前記位相差検出用素子を含む任意の数の前記光電変換素子の信号を加算して読み出す第１のモード、および一部の光電変換素子の信号を間引いて少なくとも前記位相差検出用素子の信号を読み出す第２のモードでの読み出しを行う読出手段と、動画像を取得する際、前記第１のモードでの読み出しと前記第２のモードでの読み出しを行い、前記第２のモードで読み出された前記位相差検出用素子の信号に基づいて前記撮像光学系の焦点調整を制御する制御手段と、を備えることを特徴とする本発明による撮像装置によって達成される。

また、上記目的は、被写体像を結像させるための撮像光学系と、前記撮像光学系により結像された被写体像を撮像する複数の光電変換素子を有し、当該複数の光電変換素子の中に位相差検出用素子が分散配置された撮像手段と、前記複数の光電変換素子の中から、前記位相差検出用素子を含む任意の数の前記光電変換素子の信号を加算して読み出す第１のモード、および一部の光電変換素子の信号を間引いて少なくとも前記位相差検出用素子の信号を読み出す第２のモードでの読み出しを行う読出手段と、を備える撮像装置の制御方法であって、動画像を取得する際、前記第１のモードでの読み出しと前記第２のモードでの読み出しを行い、前記第２のモードで読み出された前記位相差検出用素子の信号に基づいて前記撮像光学系の焦点調整を制御する制御工程を含むことを特徴とする本発明による撮像装置の制御方法によっても達成される。

本発明によれば、動画撮像を行う際に、位相差検出による自動焦点調整を可能とすることができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

図１は、本発明に係る撮像装置１の構成図で、固体撮像装置（撮像手段）である撮像素子を有したカメラ本体と撮影レンズが一体となったデジタルカメラを示している。同図において、第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置されたレンズ群であり、光軸方向に進退可能に保持される。シャッタ１０２は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。第２レンズ群１０３は第１レンズ群１０１に次ぐレンズ群である。シャッタ１０２及び第２レンズ群１０３は、一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

第３レンズ群１０５は、第２レンズ群１０３に次ぐレンズ群であり、光軸方向の進退により焦点調節を行う。ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、結像光学系により結像された被写体像を取得するための複数の光電変換素子（画素）が配列されたＣ−ＭＯＳイメージセンサとその周辺回路で構成された撮像素子である。撮像素子１０７としては、横方向ｍ画素、縦方向ｎ画素の受光ピクセル（光電変換素子）上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。なお、撮像素子１０７の詳細については後述する。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、ズームアクチュエータ１１１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

電子フラッシュ１１５は、撮影時の被写体照明用であり、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。ＡＦ補助光部１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１（Central Processing Unit）は、カメラ本体の種々の制御を司る。具体的には、ＣＰＵ１２１は、演算部、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路に制御信号を出力して各部を駆動可能とし、ＡＦ（オートフォーカス）、撮影、画像処理と記録等の一連の動作を実行する。

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光回路１２３は、焦点検出動作に同期してＡＦ補助光部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像データに対してγ変換、カラー補間、ローパスフィルタ処理（詳細は後述する）、ＪＰＥＧ圧縮等の画像処理を行う。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御してシャッタ１０２の開口を制御する。ズーム駆動回路１２９は、ユーザの操作スイッチ１３２などを介したズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、デジタルズームの操作スイッチ、撮影モード選択スイッチ等のスイッチ群で構成される。操作スイッチ１３２におけるレリーズスイッチは、焦点調整の開始指示をユーザから受け付ける操作手段である。また、操作スイッチ１３２におけるデジタルズームの操作スイッチは、動画像の撮像時などにユーザから拡大又は縮小指示を受け付ける指示手段である。フラッシュメモリ１３３は、特に図示しないインターフェイスを介して本体に着脱可能であり、撮影済みの画像データなどを記録する。

図２は、本発明に係る撮像素子１０７のブロック図である。なお、図２のブロック図では、後述の読み出し動作を説明するのに必要な構成を示しており、画素リセット信号などについては省略している。光電変換部２０１は、撮像素子１０７において被写体像が結像する撮像面に２次元的に配列されており、被写体像を光電変換するためのフォトダイオード（光電変換素子）を含む構成である。以下、フォトダイオードはＰＤと略す。なお、ＰＤ_ｍｎにおける添え字のｍは、Ｘ方向アドレスを示し、ｍ＝０、１・・・ｍ−１、添え字のｎは、Ｙ方向アドレスを示し、ｎ＝０、１・・・ｎ−１である。また、光電変換部２０１は、上述したＰＤ_ｍｎの他、画素アンプ、リセット用のスイッチなどで構成されている。

同図に示すように、撮像素子１０７は、ｍ×ｎの光電変換部（光電変換素子（画素））が２次元上に配置されている。なお、符号は、煩雑になるので、左上の光電変換部のＰＤ_００のみに付記した。また、光電変換部に付記されたＲ（赤色）、Ｇ（緑色）、Ｂ（青色）は、カラーフィルタを示している。このカラーフィルタは、いわゆるベイヤー配列になるように配置されている。

スイッチ２０２は、光電変換部のＰＤ_ｍｎの出力を選択する。スイッチ２０２は、後述の垂直走査回路２１３により、一行ごとに選択される。定電流源２０３は、光電変換部の画素アンプ（不図示）の負荷となる電流源であり、各垂直出力線に配置される。

ラインメモリ２０４は、光電変換部のＰＤ_ｍｎ出力信号を一時的に記憶する。具体的には、ラインメモリ２０４は、垂直走査回路２１３により選択された、一行分の光電変換部の出力信号を記憶するものである。通常は、ラインメモリ２０４にはコンデンサが使用される。

スイッチ２０５、２０６は、垂直出力線をショートするスイッチである。スイッチ２０５、２０６は、後述の加算読み出し時に、水平方向の画素の加算を行うために使用される。撮像素子１０７では、２０５、２０６を使って、Ｒ画素、奇数行のＧ画素をそれぞれ加算することができる。また、図より明らかなように、スイッチ２０５、２０６は３画素の加算を行う。

スイッチ２０７、２０８は、スイッチ２０５、２０６と同様に垂直出力線をショートするスイッチであり、水平方向の画素の加算に使用される。スイッチ２０７、２０８は、加算読み出し時に使用され、Ｂ画素、偶数行のＧ画素の３画素を加算出力する。また、画素加算では、図より明らかなように、ラインメモリ２０４に使用されるコンデンサを並列に接続するため、スイッチをショートすることにより３画素の加算平均出力を取得している。スイッチ２０５〜２０８の各スイッチは、信号端子ＡＤＤにＨレベルを出力することにより導通する。なお、６行目以降のスイッチの接続については、スイッチ２０５〜２０８と同様であるため省略するが、３画素ごとに同色加算が行えるようにスイッチが配置されている。

スイッチ２０９は、ラインメモリ２０４に記憶された光電変換部におけるＰＤ_ｍｎの出力信号を水平出力線に順次出力するためのスイッチである。撮像素子１０７では、後述する水平走査回路２１１によりＨ_０からＨ_ｍ−１のスイッチ２０９を順次走査することで一行分の光電変換の出力信号が読み出される。スイッチ２１０は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。

水平走査回路２１１は、ラインメモリ２０４に記憶された光電変換部の出力信号を順次操作して、水平出力線に出力させる。水平走査回路２１１において、信号ＰＨＳＴはデータ入力、ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっている。水平走査回路２１１では、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、Ｈ_０からＨ_ｍ−１のスイッチを順次オンさせることができる。水平走査回路２１１において、ＳＫＩＰは、後述の間引き読み出し時に設定を行わせる制御端子入力である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２１１では、撮像素子１０７の水平読み出しを所定間隔でスキップさせることが可能になる。なお、撮像素子１０７の読み出し動作に関する詳細は後述する。

増幅部２１２は、水平出力線から順次出力される画素信号のバッファーアンプである。
垂直走査回路２１３は、順次走査してＶ_０からＶ_ｎ−１を出力することにより、光電変換部におけるＰＤ_ｍｎのスイッチ２０２を選択することができる。増幅部２１２の制御は、水平走査回路と同様に、データ入力のＰＶＳＴ、シフトクロック入力のＰＶ１、ＰＶ２、間引き読み設定入力のＳＫＩＰにより行われる（特に図示しない）。垂直走査回路２１３の動作に関しては、水平走査回路２１１と同様であるので詳細説明は省略する。

図３は、撮像素子１０７の全画素からの読み出しを説明する図である。図３（ａ）は、ｍ×ｎの光電変換部の配置を例示した概念図である。同図に付記されたＲ、Ｇ、Ｂの記号は、光電変換部に塗布されたカラーフィルタをあらわしている。撮像素子１０７は、２行×２列の４つの光電変換部（画素）のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列である。図中の上および左側に付記された番号は、前述したＸおよびＹの番号である。また、斜線部分は読み出し対象の画素を示す（全画素読み出しなのですべての画素に斜線がひかれている）。撮像素子１０７では、通常、黒レベルを検出する遮光されたＯＢ（オプティカルブラック）画素なども配置され、ＯＢ画素も読み出されるが、本実施例では説明が煩雑になるため省略する。

図３（ｂ）は、撮像素子１０７の全画素読み出しを示すタイミングチャートである。撮像素子１０７における画素の読み出しは、ＣＰＵ１２１が撮像素子駆動回路１２４を制御することで撮像素子１０７に同図に示すパルス信号を送信して行われる。以下では、図３（ｂ）を参照して全画素読み出し時の撮像素子１０７の動作を説明する。

まず、垂直走査回路２１３を駆動して、Ｖ_０をアクティブにする。このとき、０行目の画素の信号が、垂直出力線にそれぞれ出力される。この状態で、ラインメモリ２０４におけるＭＥＭ信号をアクティブにして、各画素のデータをラインメモリ２０４でサンプルホールドする。次に、ＰＨＳＴ信号をアクティブして、ＰＨ１、ＰＨ２のシフトクロックを入力し、順次Ｈ_０からＨ_ｍ−１をアクティブにすることで、水平出力線に画素信号を出力させる。出力された画素信号は、増幅部２１２を介して、ＶＯＵＴとして出力される。出力されたＶＯＵＴは、図示しないＡＤ変換器でデジタルデータに変換され、画像処理回路１２５で所定の画像処理が施される。

次に、垂直走査回路２１３は、Ｖ_１をアクティブにする。このとき、１行目の画素信号が、垂直出力線にそれぞれ出力される。以降は０行目と同様であり、ＭＥＭ信号をアクティブにして、ラインメモリ２０４に画素信号が一旦メモリされる。次に、ＰＨＳＴ信号をアクティブして、ＰＨ１、ＰＨ２のシフトクロックを入力することで、順次Ｈ_０からＨ_ｍ−１をアクティブにして、水平出力線に画素信号を出力する。

以上のようにして、ｎ−１行目までの読み出しを順次行う。０行目からｎ−１行目までの読み出し時にはＡＤＤ信号およびＳＫＩＰ信号がＬレベルとなっている。従って、撮像素子１０７では、０行目からｎ−１行目までの読み出しにより全画素が読み出されることとなる。

なお、上述した０〜ｎ−１までの行指定や０〜ｍ−１までの列指定を適宜行う場合は、指定された一矩形領域に含まれる全画素を読み出すことが可能となる。例えば、０〜ｎ−１までの範囲でｉ〜ｉ＋ｋの行と、０〜ｍ−１までの範囲でｊ〜ｊ＋ｋの列が指定された場合は、（ｉ，ｊ）から開始されて一辺の長さがｋの正方形状の矩形領域に含まれる全画素を読み出すことが可能となる。

次に、撮像素子１０７における間引き読み出し（第２のモード）について説明する。図４は、ｍ×ｎの光電変換部の配置を例示した概念図であり、撮像素子１０７の間引き読み出しの一例を説明する図である。図４において、斜線部は読み出し対象の画素を示す。同図に示すように、本実施形態では、Ｘ、Ｙともに１／３（Ｘ＝２、５…、Ｙ＝０、３…）の間引き読み出しとしている。

図５（ａ）は、撮像素子１０７の間引き読み出しを示すタイミングチャートである。図５（ｂ）は、撮像素子１０７の加算読み出しを示すタイミングチャートである。間引き読み出しの設定は、水平走査回路２１１や垂直走査回路２１３のシフトレジスタの制御端子、ＳＫＩＰ端子を、アクティブにすることで行う。ＳＫＩＰ端子をアクティブにすることで、水平走査回路２１１、垂直走査回路２１３は、１画素ごとの順次走査から３画素ごとの順次走査に動作が変更される。３画素ごとに順次走査を行う具体的方法に関しては、既に公知の技術なので詳細は省略する。このとき信号ＡＤＤをＬレベルに設定すれば、撮像素子１０７では、加算なしの単純間引き出力が得られる。また、ＡＤＤ信号をＨレベルにして水平走査回路２１１を駆動すれば、撮像素子１０７では画素加算した画素信号が得られることとなる。

図５（ａ）を参照して間引き読み出し時の撮像素子１０７の動作を説明する。間引き時の動作は、まず、垂直走査回路２１３を駆動して、Ｖ_０をアクティブにする。このとき、０行目の画素の信号が、垂直出力線にそれぞれ出力される。この状態で、ラインメモリ２０４におけるＭＥＭ信号をアクティブにして、各画素のデータをラインメモリ２０４でサンプルホールドする。次に、ＰＨＳＴ信号をアクティブして、ＰＨ１、ＰＨ２のシフトクロックを入力する。このとき、ＳＫＩＰ端子をアクティブ設定にすることで、シフトレジスタの経路が変更され、水平走査回路２１１は順次Ｈ_２、Ｈ_５、Ｈ_８・・・がアクティブになるように制御される。また、ＡＤＤ端子には、Ｌレベルを出力し、画素加算が行われない設定にしておく。このように設定することで、ＰＤ_２０、ＰＤ_５０、ＰＤ_８０・・・・のように、３画素ごとに水平出力線に画素信号が出力される。出力された画素信号は、増幅部２１２を介してＶＯＵＴとして出力される。出力されたＶＯＵＴは、図示しないＡＤ変換器でデジタルデータに変換され、画像処理回路１２５で所定の画像処理が施される。

次に、垂直走査回路２１３は、水平走査回路２１１と同様に、Ｖ_１、Ｖ_２をスキップさせて、Ｖ_３をアクティブにして、３行目の画素信号を垂直出力線に出力させる。その後、ＭＥＭ信号がアクティブにされることで、ラインメモリ２０４に画素信号が一旦メモリされる。次に、ＰＨＳＴ信号をアクティブして、ＰＨ１、ＰＨ２のシフトクロックを入力し、順次Ｈ_２、Ｈ_５、Ｈ_８・・・をアクティブにして、水平出力線に画素信号を出力する動作は、前述したとおりである。

以上のようにして、撮像素子１０７では、間引き読み出し時において、Ｖ_６、Ｖ_９・・・・のように３行ごとに垂直走査を順次行いながら読み出しを行う。従って、撮像素子１０７では、水平、垂直ともに１／３の間引き読み出しが行われることとなる。以上のように、上述した水平走査回路２１１及び垂直走査回路２１３は、第２のモードでの読み出しを行う読出手段であり、撮像素子１０７の撮像面に２次元的に配列された光電変換部２０１から一部の素子の信号を選択して読み出す。

次に、図５（ｂ）を参照して加算読み出し時（第１のモード）の撮像素子１０７の動作を説明する。加算読み出し時の動作は、まず、垂直走査回路２１３を駆動して、Ｖ_０をアクティブにする。このとき、０行目の画素の信号が、垂直出力線にそれぞれ出力される。この状態で、ラインメモリ２０４におけるＭＥＭ信号をアクティブにして、各画素のデータをラインメモリ２０４でサンプルホールドする。次に、ＰＨＳＴ信号をアクティブして、ＰＨ１、ＰＨ２のシフトクロックを入力する。このとき、ＳＫＩＰ端子をアクティブ設定にすることで、シフトレジスタの経路が変更され、順次Ｈ_２、Ｈ_５、Ｈ_８・・・がアクティブになるように制御される。また、ＡＤＤ端子には、Ｈレベルを出力し、画素加算を行う設定にしておく。このように設定することで、スイッチ２０５〜２０８のスイッチが導通し、画素加算が行われる。即ち、Ｈ_２がアクティブになることにより、ＰＤ_００、ＰＤ_２０、ＰＤ_４０の加算平均出力が、水平出力線に出力される。同様に、Ｈ_５アクティブのときには、ＰＤ_３０、ＰＤ_５０、ＰＤ_７０の加算平均出力が、水平出力線に出力される。以下、同様に、３画素ごとに加算平均されて水平出力線に画素出力が出力される。

出力された画素信号は、増幅部２１２を介してＶＯＵＴとして出力される。出力されたＶＯＵＴは、図示しないＡＤ変換器でデジタルデータに変換され、画像処理回路１２５で所定の画像処理が行われる。

次に、垂直走査回路２１３は、水平走査回路２１１と同様に、Ｖ_１、Ｖ_２をスキップさせて、Ｖ_３をアクティブにして、３行目の画素信号を垂直出力線に出力させる。その後、ＭＥＭ信号がアクティブにされることで、ラインメモリ２０４に画素信号が一旦メモリさせる。次に、ＰＨＳＴ信号をアクティブにして、ＰＨ１、ＰＨ２のシフトクロックを入力し、順次Ｈ_２、Ｈ_５、Ｈ_８・・・をアクティブにして、水平出力線に画素信号を出力する動作は、前述したとおりである。

以上のようにして、撮像素子１０７では、加算読み出し時において、Ｖ_６、Ｖ_９・・・・のように３行ごとに垂直走査を順次行いながら読み出しを行う。従って、水平走査回路２１１及び垂直走査回路２１３は第１のモードでの読み出しを行う読出手段であり、撮像素子１０７では、水平、垂直ともに１／３の加算間引き読み出しが行われることとなる。

図６（ａ）は、ＧＲ行の加算間引き読み出しを例示する概念図であり、図６（ｂ）は、ＧＢ行の加算間引き読み出しを例示する概念図である。例えば、図６（ａ）に示すように、Ｖ_０がアクティブであり、ＧＲ行である０行目が読み出された場合は、Ｒ、Ｇの加算平均が出力されることとなる。具体的には、Ｈ_２がアクティブとなった際には、ＰＤ_００、ＰＤ_２０、ＰＤ_４０のＲに関する加算平均が出力される。同様に、Ｈ_５がアクティブとなった際には、ＰＤ_３０、ＰＤ_５０、ＰＤ_７０のＧに関する加算平均が出力される。

また、図６（ｂ）に示すように、Ｖ_３がアクティブであり、ＧＢ行である３行目が読み出された場合は、Ｇ、Ｂの加算平均が出力されることとなる。具体的には、具体的には、Ｈ_２がアクティブとなった際には、ＰＤ_０３、ＰＤ_２３、ＰＤ_４３のＧに関する加算平均が出力される。同様に、Ｈ_５がアクティブとなった際には、ＰＤ_３３、ＰＤ_５３、ＰＤ_７３のＢに関する加算平均が出力される。

次に、撮像素子１０７における撮像用画素と位相差検出に用いられる焦点検出用画素（位相差検出用素子）の構造について説明する。図７は撮像用画素の構造を説明するための図であり、図７（ａ）は、２×２の４画素の配置を例示する平面外観図であり、図７（ｂ）は、Ａ−Ａ方向における断面図である。図８は焦点検出用画素の構造を説明するための図であり、図８（ａ）は、焦点検出用画素を含む２×２の４画素の配置を例示する平面外観図であり、図８（ｂ）は、Ａ’−Ａ’方向における断面図である。

図７（ａ）に示すように、本実施形態では、２×２の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分校感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間において、図８（ａ）に例示する焦点検出用画素が所定の規則にて分散配置されている（詳細は後述する）。

先ず、撮像用画素の構成について説明する。図７（ａ）に示すように、撮像用画素は、ベイヤー配列に従って、対角方向にＧ画素が、他の２画素にＲとＢの画素が配列される。そして、撮像素子１０７において被写体像が結像される撮像面では、上述した２行×２列の構造が繰り返し配置されている。

図７（ｂ）に示すように、各ＰＤの最前面には、オンチップマイクロレンズＭＬが配置されており、その後段にはカラーフィルタＣＦが配置されている。なお、カラーフィルタＣＦに付された添え字（Ｒ、Ｇ）は、カラーフィルタの色（Ｒ：赤色、Ｇ：緑色）を示す。配線層ＣＬは、Ｃ−ＭＯＳイメージセンサ内の各種信号を伝達する信号線が形成された層である。撮影光学系ＴＬは、前述したレンズ群を１枚のレンズとして模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬとＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰとＰＤは、オンチップマイクロレンズＭＬにより共役関係にあり、且つ、ＰＤの有効面積は大面積に設計される。また、図７（ｂ）では、Ｒ画素の入射光束について例示しているが、Ｇ画素及びＢ画素も同一の構成となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号におけるＳ／Ｎ比を向上させている。

次に、焦点検出用画素の構成について説明する。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして、人間の画像認識特性は輝度情報に敏感である。従って、Ｇ画素が欠損すると画質劣化が認められやすくなる。一方で、Ｒ画素もしくはＢ画素は赤色又は青色情報を取得する画素であるが、人間は色情報には鈍感である。従って、Ｒ画素もしくはＢ画素などの色情報を取得する画素は、多少の欠損が生じたとしても画質劣化が認められにくい。そこで、本実施形態では、図８（ａ）に示すように、ベイヤー配列における２行×２列の４画素のうち、Ｇ画素は撮像用画素として残し、Ｒ、Ｂ画素を焦点検出用画素ＳＡ、ＳＢとしている。

図８（ｂ）に示すように、焦点検出用画素ＳＡ、ＳＢにおけるオンチップマイクロレンズＭＬ、ＰＤは図７（ｂ）に例示した撮像用画素と同一構成である。焦点検出用画素ＳＡ、ＳＢにおいては、その出力信号は画像創生には用いないため、前述したカラーフィルタＣＦの代わりに透明膜ＣＦｗ（White）が配置される。また、撮像素子１０７で瞳分割を行うため、配線層ＣＬの開口部ＯＰＨＡ、ＯＰＨＢはオンチップマイクロレンズＭＬの中心線に対して一方に偏倚している。具体的には、焦点検出用画素ＳＡにおいて、開口部ＯＰＨＡは右側に偏倚している。従って、焦点検出用画素ＳＡでは、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光することとなる。また、焦点検出用画素ＳＢにおいて、開口部ＯＰＨＢは左側に偏倚している。従って、焦点検出用画素ＳＢでは、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光することとなる。

よって、撮像素子１０７においては、焦点検出用画素ＳＡを水平方向（Ｘ方向）に規則的に配列し、これらの画素群で取得した被写体像を甲像とする。また、焦点検出用画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像を乙像とすると、甲像と乙像の相対位置を検出することで、被写体像のピントずれ（デフォーカス量）が検出できる。なお、焦点検出用画素ＳＡ、ＳＢは、少なくとも一組あれば被写体像のピントずれを検出することができるが、撮像面において複数組配置されていることが好ましい。また、垂直方向（Ｙ方向）のピントずれを検出したい場合には、焦点検出用画素ＳＡの開口部ＯＰＨＡを上側に、焦点検出用画素ＳＢの開口部ＯＰＨＢを下側に偏倚させ、各焦点検出用画素を垂直方向に規則的に配列させればよい。また、図示しないが、垂直方向のピントずれ量を検出したい場合には、焦点検出用画素ＳＡ、ＳＢを９０度回転させて偏倚させればよい。

次に、撮像素子１０７における撮像用画素と焦点検出用画素の配置について説明する。図９（ａ）は、間引き読み出しにより読み出される画素を示す概念図であり、Ｘ（水平）方向及びＹ（垂直）方向ともに１／３になるように間引きされている。同図において、焦点検出用画素ＳＡ、ＳＢの他、Ｇは緑フィルターを塗布された画素、Ｒは赤フィルターを塗布された画素、Ｂは青フィルターを塗布された画素である。また、図中において符号が付された画素は間引き読み出し時において読み出される画素であり、符号が付されていない白抜き画素は間引き読み出し時に読み出されない画素（間引かれた画素）である。

また、図９（ａ）における焦点検出用画素ＳＡは、画素部の開口を水平（Ｘ）方向に偏倚させて形成されたＸ方向の焦点検出用の画素である。焦点検出用画素ＳＡによる画素群は、後述の焦点検出用画素ＳＢによる画素群との水平方向の像ずれ量を検出するための基準画素群である。また、図８（ａ）における焦点検出用画素ＳＢは、画素の開口を焦点検出用画素ＳＡとは逆方向に偏倚させて形成された焦点検出用の画素である。焦点検出用画素ＳＢによる画素群は、水平方向の像ずれ量を検出するための前述した基準画素群に対する参照画素群である。なお、図中の焦点検出用画素ＳＡ、ＳＢにおける斜線部は、偏倚した開口部を示している。

図９（ａ）に示したように、撮像素子１０７において、水平方向の焦点検出用画素ＳＡ、ＳＢは、水平走査回路２１１、垂直走査回路２１３によって間引き読み出しされる複数の画素に含まれている。また、撮像素子１０７の撮像面における焦点検出用画素ＳＡ、ＳＢの配置については、焦点検出用画素群が撮像用に使用できないことを考慮して、Ｘ、Ｙ方向にある程度の間隔をおいた離散的なものである。なお、間引した撮像画像の画質向上の観点からすると、焦点検出用画素ＳＡ、ＳＢは、撮像素子１０７の撮像面において可能な限り均一に分散配置されることが望ましい。なお、前述したとおり、画像の劣化が目立たないようにＧ画素部分には配置されないことが望ましい。

本実施形態では、図９（ａ）の太い黒枠で示された４×４画素（間引き前の画素配置では１２×１２画素）のブロック内に焦点検出用画素ＳＡ、ＳＢの１組を配置するようにしている。なお、ＢＬＯＣ＿Ｈ（ｉ，ｊ）は、上述した４×４画素のブロック名をあらわしている。また、ブロックは、４×４（ＢＬＯＣＫ＿Ｈ（０，０）〜ＢＬＯＣＫ＿Ｈ（３，３））で完結するように構成されている。

また、本実施形態における焦点検出用画素の配置規則に関して、Ｘ方向が同一ブロックで、Ｙ方向が一つ異なるブロックでは、焦点検出用画素ＳＡ、ＳＢの画素配置をＸ方向に１画素（間引き前の画素では３画素）シフトさせている。具体的には、図９（ａ）のＢＬＯＣＫ＿Ｈ（０，０）〜ＢＬＯＣＫ＿Ｈ（０，３）において矢印で示したとおりである。これは、離散的に配置された焦点検出用画素ＳＡ、ＳＢによる画素群の焦点検出方向に係るサンプリング特性を改善させるためである。すなわち、焦点検出用画素ＳＡ、ＳＢはＸ（水平）方向に瞳分割された画素群であるため、間引き後のＹ方向１ブロックあたりのＸ方向のシフト量が１画素単位となり、Ｘ方向におけるサンプリングが密となるような配置規則となっている。

図９（ｂ）は、ブロック間における焦点検出用画素の配置規則を示す図である。図中の太枠で示された部分が、ＢＬＯＣＫ＿Ｈ（０，０）〜ＢＬＯＣＫ＿Ｈ（３，３）の各ブロックを示している。また、焦点検出用画素ＳＡ、ＳＢの配置が同じブロックのＸ方向へのシフト規則は矢印で示している。図９（ｂ）に例示したように、Ｘ方向が異なるブロックでは、Ｙ方向にブロック単位で焦点検出用画素ＳＡ、ＳＢの配置が同じブロックがシフトしている。従って、４×４ブロックで一巡する構成となっており、撮像素子１０７の撮像面への拡張は、４×４ブロック単位で、任意の位置に適宜配置すればよい。

垂直（Ｙ）方向の焦点検出用画素を配置する場合については、図１０に示したように図９を９０度回転させた配置と同様である。具体的には、図９（ａ）と同様、図１０（ａ）は、間引き読み出しにより読み出される画素を示す概念図であり、Ｘ（水平）方向及びＹ（垂直）方向ともに１／３になるように間引きされている。また、図１０（ａ）において、符号が付された画素は間引き読み出し時において読み出される画素であり、符号が付されていない白抜き画素は間引き読み出し時に読み出されない画素（間引かれた画素）である。

図１０（ａ）における焦点検出用画素ＳＡは、画素部の開口を垂直（Ｙ）方向に偏倚させて形成されたＹ方向の焦点検出用の画素である。焦点検出用画素ＳＡによる画素群は、後述の焦点検出用画素ＳＢによる画素群との垂直方向の像ずれ量を検出するための基準画素群である。また、図１０（ａ）における焦点検出用画素ＳＢは、画素の開口を焦点検出用画素ＳＡとは逆方向に偏倚させて形成された焦点検出用の画素である。焦点検出用画素ＳＢによる画素群は、垂直方向の像ずれ量を検出するための前述した基準画素群に対する参照画素群である。なお、図中の焦点検出用画素ＳＡ、ＳＢにおける斜線部は、偏倚した開口部を示している。

前述した水平方向の場合と同様、図１０（ａ）に例示したように、撮像素子１０７において、垂直方向の焦点検出用画素ＳＡ、ＳＢは、水平走査回路２１１、垂直走査回路２１３によって間引き読み出しされる複数の画素に含まれている。また、撮像素子１０７の撮像面における焦点検出用画素ＳＡ、ＳＢの配置については、Ｘ、Ｙ方向にある程度の間隔をおいた離散的なものであり、Ｇ画素部分には配置されないことが望ましい。

本実施形態では、図１０（ａ）の太い黒枠で示された４×４画素（間引き前の画素配置では１２×１２画素）のブロック内に焦点検出用画素ＳＡ、ＳＢの１組を配置するようにしている。なお、ＢＬＯＣＫ＿Ｖ（ｉ，ｊ）は、上述した４×４画素のブロック名をあらわしている。また、ブロックは、４×４（ＢＬＯＣＫ＿Ｖ（０，０）〜ＢＬＯＣＫ＿Ｈ（３，３））で完結するように構成されている。

また、本実施形態における焦点検出用画素の配置規則に関して、Ｙ方向が同一ブロックで、Ｘ方向が一つ異なるブロックでは、焦点検出用画素ＳＡ、ＳＢの画素配置をＹ方向に１画素（間引き前の画素では３画素）シフトさせている。具体的には、図１０（ａ）のＢＬＯＣＫ＿Ｖ（０，０）〜ＢＬＯＣＫ＿Ｈ（３，０）において矢印で示したとおりである。これは、離散的に配置された焦点検出用画素ＳＡ、ＳＢによる画素群の焦点検出方向に係るサンプリング特性を改善させるためである。すなわち、焦点検出用画素ＳＡ、ＳＢはＹ（水平）方向に瞳分割された画素群であるため、間引き後のＸ方向１ブロックあたりのＹ方向のシフト量が１画素単位となり、Ｙ方向におけるサンプリングが密となるような配置規則となっている。

なお、ブロック間における垂直方向の検出に係る焦点検出用画素の配置規則は、図１０（ｂ）に示すように、瞳分割の方向（Ｙ方向）にあわせて、図９（ｂ）の配置規則を９０度回転させたものと同様である。

なお、前述した図９、１０におけるＢＬＯＣＫ＿Ｈ（ｉ，ｊ）及びＢＬＯＣＫ＿Ｖ（ｉ，ｊ）を市松状に入れ子配置した場合は、水平又は垂直方向の像ずれ量の検出を同一の撮像面で行うことが可能である。具体的には、図１１（ａ）に示すように、ＢＬＯＣＫ＿Ｃ（ｉ，ｊ）は、ＢＬＯＣＫ＿Ｈ（ｉ，ｊ）及びＢＬＯＣＫ＿Ｖ（ｉ，ｊ）を市松状に入れ子配置したものであってよい。なお、図９、１０の各４×４ブロックを用いて入れ子配置を構成した場合、８×８ブロックで１つのパターンが完結することになるが、図面が煩雑になるので、図１１（ａ）では４×４ブロックのみを記載している。

図１１（ｂ）は、ブロックの配置規則を示す概念図であり、ＢＬＯＣＫ＿Ｃ（０，０）〜ＢＬＯＣＫ＿Ｃ（３，３）に対応するＢＬＯＣＫ＿Ｈ（ｉ，ｊ）とＢＬＯＣＫ＿Ｖ（ｉ，ｊ）を記載している。同図からも明らかなように、ＢＬＯＣＫ＿Ｈ（ｉ，ｊ）とＢＬＯＣＫ＿Ｖ（ｉ，ｊ）とは、市松状に入れ子配置されている。

次に、電子ビューファインダーにおける拡大表示や動画撮影時のデジタルズームなどを実現するため、撮像素子１０７の撮像面の一部を切り出して読み出す（第３のモード）際の切り出し領域における焦点検出用画素の配置について説明する。このデジタルズームなどを実現するための切り出し領域は、例えば、撮像面において被写体像が結像する位置を中心とし、デジタルズームの倍率に応じた面積で読み出される矩形領域である。この切り出し領域では、撮像面において一様に間引いて読み出す前述した間引き読み出しと異なり、全画素が読み出される。従って、切り出し領域には、間引き読み出し時に読み出されない画素にも焦点検出用画素ＳＡ、ＳＢが配置されている。このため、デジタルズーム時における焦点検出精度の向上を図ることが可能となっている。なお、この切り出し読み出しは、読出手段としての水平走査回路２１１及び垂直走査回路２１３が切り出し領域の画素を選択して読み出すことで行われる。

図１２（ａ）は、図９（ａ）と同様に、切り出し領域における撮像用画素及び焦点検出用画素（水平（Ｘ）方向）の配置を示した図である。図１２（ａ）では、図９（ａ）に示した間引き読み出しにより読み出される画素と焦点検出用画素ＳＡ、ＳＢが示されている。すなわち、図１２（ａ）において、間引き読み出しにより読み出される画素は、Ｘ（水平）方向及びＹ（垂直）方向ともに１／３になるように間引きされた画素である。同図において、焦点検出用画素ＳＡ、ＳＢの他、Ｇは緑フィルターを塗布された画素、Ｒは赤フィルターを塗布された画素、Ｂは青フィルターを塗布された画素である。また、図中においてＸ方向及びＹ方向とも１／３の周期で符号が付された画素は間引き読み出し時において読み出される画素であり、符号が付されていない白抜き画素は間引き読み出し時に読み出されない画素（間引かれた画素）である。また、図中のＢＬＯＣＫ＿Ｈ（０，０）〜ＢＬＯＣＫ＿Ｈ（０，３）における白抜き矢印は、間引き読み出しされる画素以外の焦点検出用画素ＳＡ、ＳＢを示している。

図１２（ａ）に示すとおり、切り出し領域においては、間引き読み出しされる複数の画素以外にも焦点検出用画素ＳＡ、ＳＢが含まれている。従って、デジタルズーム時において、切り出し領域の全画素が読み出される際には、図中において符号が付されていない白抜き画素とともに白抜き矢印で示した焦点検出用画素ＳＡ、ＳＢも読み出されることとなる。このため、デジタルズーム時における焦点検出精度の向上を図ることが可能となっている。

焦点検出用画素の配置規則に関しては、図１２（ａ）より明らかなように、Ｘ方向が同一ブロックでＹ方向が一つ異なるブロックでは、焦点検出用画素ＳＡ、ＳＢの画素配置をＸ方向に１画素（間引き前の画素では３画素）シフトさせている。間引き読み出しされる画素以外の焦点検出用画素ＳＡ、ＳＢは、上記シフト間を補完するように配置されている。具体的には、ＢＬＯＣＫ＿Ｈ（０，０）〜ＢＬＯＣＫ＿Ｈ（０，１）において、黒塗りの矢印で示した焦点検出用画素ＳＡ、ＳＢの１シフト間（３画素間）を補完するように２組の焦点検出用画素ＳＡ、ＳＢが配置されている。これにより、全画素読み出し時における焦点検出方向に係るサンプリング特性を改善することができる。すなわち、焦点検出用画素ＳＡ、ＳＢはＸ（水平）方向に瞳分割された画素群であるため、全画素読み出し時のサンプリングピッチを上記のとおり最小とすることで、検出精度を向上させることが可能となる。また、Ｙ方向については、図９（ａ）と同様に、Ｘ方向に比べてより離散的に配置されているため、焦点検出用画素による画像の劣化を防止することができる。

なお、ブロック間における垂直方向の検出に係る焦点検出用画素の配置規則は、図１２（ｂ）に示すように、図８（ｂ）の場合と同一規則である。また、垂直（Ｙ）方向の焦点検出用画素についても、図１２（ａ）と同様に、切り出し領域においては、間引き読み出しされない画素に補完的に配置されることが望ましい。なお、垂直（Ｙ）方向の焦点検出用画素の配置規則に関しては図９、１０、１２を用いた説明から明らかであるので、詳細説明は省略する。さらに、同一の切り出し領域において、水平又は垂直方向の像ずれ量の検出を行う構成に関しても、図１１を用いた説明から明らかであるので、詳細説明は省略する。

次に、上記撮像素子１０７を用いた撮像装置１においてＣＰＵ１２１が行う動作であって、電子ビューファインダー（図中はライブビューと記載）時の動作シーケンスの概要について説明する。図１３（ａ）は、電子ビューファインダー時の撮像装置１の動作シーケンスを示すタイミングチャートである。図１３（ａ）に示すように、ＣＰＵ１２１の制御の下、撮像素子１０７では、露光動作が行われた後、撮像素子１０７の各画素の蓄積電荷が画像信号として読み出される。この読み出し動作は、読出制御手段としてのＣＰＵ１２１の制御に従って出力される垂直同期信号ＶＤ及び水平同期信号（特に図示しない）に同期して行われる。

垂直同期信号ＶＤは、撮像の１フレームを表す信号である。撮像素子１０７では、入力される垂直同期信号ＶＤのフレームレートで逐次駆動することで、そのフレームレートの動画像データが取得可能である。本実施形態では、例えば１／３０秒ごとにＣＰＵ１２１からのコマンドを受けた撮像素子駆動回路１２４より撮像素子１０７へ送られる。なお、以下の説明では、１フレームが１／３０であり、１秒間に３０フレームの動画像の撮影を行うことを前提とする。また、水平同期信号は、撮像素子１０７の水平方向の画素の読み出しを行うための信号であり、１フレームの期間に水平ラインのライン数に応じたパルス数が所定間隔で送出される。なお、垂直同期信号ＶＤや水平同期信号による画素の読み出しに関しては、公知の技術であるので、詳細な説明は省略する。

電子ビューファインダー時のような動画撮影時における逐次駆動した撮像素子１０７からの読み出しは、ＣＰＵ１２１の制御の下、複数の読み出しモードの中のいずれかのモードで行われる。読み出しモードとしては、間引き読み出しを行う第２のモード、加算読み出しを行う第１のモード、デジタルズームによる拡大などの指示に応じて一矩形領域のみを切り出して読み出す第３のモードなどがある。デジタルズームによる拡大などの指示がない、通常の電子ビューファインダー時には、第１のモード又は第２のモードで読み出される。また、通常の電子ビューファインダー時における撮像素子１０７からの読み出しは、読み出し画素数を減らすとともにモアレなどを低減させるため、通常、任意の数の画素を加算して読み出す加算読み出しを行うことが一般的である。従って、電子ビューファインダー時における撮像素子１０７からの読み出しは、ＣＰＵ１２１の制御の下、加算読み出しが主に行われ、間引き読み出しは間欠的に行われる。

具体的には、図１３（ａ）の例では、０〜８番目までのフレームでは加算読み出しが行われ、９番目のフレームで間引き読み出しが行われている。なお、間引き読み出しを行うタイミングは、所定のフレーム数（例えば１０フレーム）が経過したところであってもよいし、所定のフレーム数の中でランダムに行われるものであってもよい。ただし、動画撮影時のモアレを低減させるため、間引き読み出しは連続して行われないことが望ましい。

先ず、ＣＰＵ１２１の制御の下で行われる加算読み出し時（０〜８番目のフレーム）の動作について説明する。垂直同期信号ＶＤや水平同期信号により、蓄積読み出しが実行されると、垂直同期信号ＶＤ信号が撮像素子１０７に送出されて次のフレームの蓄積動作が開始される。また、読み出された画像信号は、画像処理回路１２５へ転送され、欠陥画素補正などの画像処理が行われる。

また、欠陥画素補正された信号は、撮像光学系による焦点状態を検出するために、画像処理回路１２５内のコントラスト検出ブロック（特に図示しない）へ転送される。コントラスト検出ブロックでは、画像の先鋭度（コントラスト値）の検出を行い、コントラストＡＦに関する評価値を演算する。コントラストＡＦは、撮像素子１０７の出力信号からコントラスト値である高周波成分の情報を合焦を評価する評価値として着目し、その評価値が最も大きくなる撮像光学系の焦点状態を合焦位置とする。従って、画像処理回路１２５においてコントラスト値を算出することで、コントラストＡＦを行うことが可能となる。

画像処理回路１２５で演算されたコントラストＡＦに関する評価値に基づいて、制御手段としてのＣＰＵ１２１は、フォーカス駆動回路１２６を制御してフォーカスアクチュエータ１１４を動作させることで焦点調整を行う。また、ＣＰＵ１２１は、画像処理回路１２５で処理された画像データに基づいて、表示器１３１における撮像画像の表示を次のフレーム画像へ更新する。図１３（ａ）における０〜８番目のフレームに関しては、上述したシーケンスが表現されている。

また、撮像素子１０７には、撮像用画素の他に、瞳分割機能が付与されており、位相差ＡＦが可能な焦点検出用画素が含まれている。加算読み出し時において、焦点検出用画素が加算される画素群に含まれる場合は、焦点検出用画素を欠陥画素（欠陥信号）とみなして、補間手段としての画像処理回路１２５で欠陥画素補正が行われる。この欠陥画素補正では、欠陥画素の周囲の画素の値に基づいた欠陥画素の補間、例えば、周囲の画素の値を平均した値での画素の補間などが行われる。撮像装置１では、欠陥画素補正を行うことで、加算読み出し時を行う場合に含まれている焦点検出用画素による欠損を補間することができる。

次に、ＣＰＵ１２１の制御の下で行われる間引き読み出し時（９番目のフレーム）の動作について説明する。ＣＰＵ１２１の制御の下、間引き読み出しにより読み出された画像信号は、画像処理回路１２５へ転送され、欠陥画素補正などの画像処理が行われる。また、間引き読み出し時は、撮像光学系の焦点状態を検出するために、画像データ内に含まれる焦点検出用画素のデータが画像処理回路１２５においてピックアップされる。この焦点検出用画素のデータのピックアップは、予めＲＯＭなどに設定された撮像素子１０７の撮像面における焦点検出用画素の位置情報などに従って行われる。

画像処理回路１２５でピックアップされた焦点検出用画素のデータは、画像処理回路１２５内の位相差検出ブロック（特に図示しない）へ転送される。位相差検出ブロックでは、瞳分割された焦点検出用画素ＳＡの画素群及び焦点検出用画素ＳＢの画素群の相関演算を行うことで、位相差ＡＦに関する評価値を算出する。

画像処理回路１２５で演算された位相差ＡＦに関する評価値に基づいて、制御手段としてのＣＰＵ１２１は、フォーカス駆動回路１２６を制御してフォーカスアクチュエータ１１４を動作させることで焦点調整を行う。また、ＣＰＵ１２１は、画像処理回路１２５で処理された画像データに基づいて、表示器１３１における撮像画像の表示を次のフレーム画像へ更新する。なお、表示器１３１における撮像画像の表示については、焦点検出用画素を欠陥画素とみなした欠陥補正が画像処理回路１２５で行われた後の画像データに基づいて行われる。図１３（ａ）における９番目のフレームに関しては、上述したシーケンスが表現されている。

コントラストＡＦに関する評価値に基づいたＡＦ処理では、撮像光学系の焦点位置を調整しながら複数のフレームの評価値を取得し、その評価値のピークを探索して焦点調整を行わなければならない。しかしながら、位相差ＡＦに関する評価値に基づいたＡＦ処理では、１フレームの画像データで焦点調整が可能である。従って、電子ビューファインダー時において位相差ＡＦを可能とすることで、より高速な焦点調整を実現できる。

また、焦点検出用画素群は、撮像素子１０７において離散的に配置されており、その離散的に配置された焦点検出用画素群によるサンプリング周波数以上の空間周波数の被写体では、折り返しエラーによる検出誤差が生じる虞がある。従って、図１３（ａ）に示すように、コントラストＡＦも併用することが望ましい。このように、コントラストＡＦと位相差ＡＦを併用することで、互いの欠点を相互補完して、高速且つ正確な焦点合わせを実現することが可能となる。

ただし、加算読み出し時と間引き読み出し時とでは、加算読み出し時にコントラストＡＦ、間引き読み出し時に位相差ＡＦのように、焦点検出を切り替える必要がある。これは、加算読み出しでは、焦点検出用画素のみの信号を取り出すことができず、位相差ＡＦを行うことができないためである。また、加算読み出しに適宜挿入された間引き読み出しにおいては、加算によるローパスフィルタ効果が得られない。このため、間引き読み出しの挿入前後の加算読み出し時に算出されたコントラストＡＦに関する評価値と、間引き読み出し時に算出されたコントラストＡＦに関する評価値との連続性は失われる。すなわち、間引き読み出し時においてもコントラストＡＦを行った場合は、コントラストＡＦに関する評価値のピーク探索を正しく行うことができない。従って、間引き読み出し時には位相差ＡＦのみを行うように焦点検出を切り替える必要がある。

また、間引き読み出しされた画像（第２のモード時の動画像）は、モアレなどが発生しやすくなる。このため、加算読み出し時（第１のモード時）と間引き読み出し時（第２のモード時）とでは、画像処理回路１２５で行われる画像処理のローパスフィルタの特性を異ならせることが望ましい。具体的には、間引き読み出し時の画像では、ローパスフィルタの特性を加算読み出し時と比べて低周波数側にシフトさせ、可能な限り画像劣化を目立たなくする。なお、図１３（ａ）では、加算読み出しされた画像データは画像処理Ｇ１が、間引き読み出しされた画像データは画像処理Ｇ２が行われることを明記した。

次に、上述した電子ビューファインダー時において、レリーズスイッチが操作された場合の動作シーケンスの概要について説明する。図１３（ｂ）は、電子ビューファインダー時においてレリーズスイッチが操作された際の撮像装置１の動作シーケンスを示すタイミングチャートである。なお、図１３（ｂ）では、露光調整や焦点調整などの開始指示をユーザから受け付けるスイッチであり、半押しされた場合にＯＮするレリーズスイッチＳＷ１が操作された場合のシーケンスを記載している。

図１３（ｂ）に示すように、レリーズスイッチＳＷ１が操作された場合、ＣＰＵ１２１は、その操作時点から次に撮像素子１０７の露光により蓄積された電荷の読み出しを間引き読み出しで行い、位相差ＡＦに関する評価値の演算を画像処理回路１２５で行う。具体的には、０番目のフレームでレリーズスイッチＳＷ１が操作された場合、次の１番目のフレームで間引き読み出しが行われて位相差ＡＦに関する評価値の演算が行われる。

次いで、ＣＰＵ１２１は、画像処理回路１２５で演算された位相差ＡＦに関する評価値に基づいて、フォーカス駆動回路１２６を制御してフォーカスアクチュエータ１１４を動作させることで位相差ＡＦを行う。従って、ユーザのレリーズスイッチＳＷ１の操作により撮影のトリガがかけられた際には、間引き読み出しによる位相差ＡＦが行われるため、ユーザ指示に応じた焦点検出のレスポンスが向上することとなる。

次に、上述した電子ビューファインダー時において、デジタルズームの操作スイッチによりユーザから拡大指示が行われた場合の動作シーケンスの概要について説明する。図１４は、電子ビューファインダー時においてデジタルズームの操作スイッチにより拡大指定が行われた場合の撮像装置１の動作シーケンスを示すタイミングチャートである。

図１４に示すように、デジタルズームの操作スイッチにより拡大指定が行われた場合、ＣＰＵ１２１は、その操作時点以降に撮像素子１０７の露光により蓄積された電荷の読み出しを、指定された倍率に応じた切り出し領域の全画素読み出しで行う。具体的には、９番目のフレームで拡大指定が行われた場合、１０番目以降のフレームで切り出し領域の全画素読み出しが行われる。

次いで、ＣＰＵ１２１は、読み出した画像データに基づいてコントラストＡＦに関する評価値及び位相差ＡＦに関する評価値の両方を画像処理回路１２５で演算する。次いで、ＣＰＵ１２１は、演算された両方の評価値に基づいて、フォーカス駆動回路１２６を制御してフォーカスアクチュエータ１１４を動作させることでＡＦを行う。すなわち、デジタルズームによる拡大指定が行われた場合は、指定された倍率に応じた切り出し領域の全画素読み出しが行われることで、コントラストＡＦに関する評価値及び位相差ＡＦに関する評価値の両方が算出可能であるため、両方とも実行される。このため、より精度の高い焦点調整を行うことが可能となる。

図１５は、電子ビューファインダー時における撮像装置１の動作を示すフローチャートである。図１５に示すように、ＣＰＵ１２１は、操作スイッチ１３２を介したユーザの指示などにより動画撮像が開始されると、先ず撮像素子１０７での露光を行う（Ｓ１０１）。次いで、ＣＰＵ１２１は、デジタルズームによる拡大指示の有無（Ｓ１０２）、前述した間引きタイミングの到来（Ｓ１０３）、レリーズスイッチの操作の有無（Ｓ１０４）を判定する。

Ｓ１０２において、ＣＰＵ１２１は、拡大指示があると判定した場合、撮像素子１０７から拡大指定された倍率に応じた切り出し領域の全画素読み出しを行う（Ｓ１０５）。次いで、ＣＰＵ１２１は、読み出されたデータに基づいて、位相差ＡＦに関する評価値演算とコントラストＡＦに関する評価値演算を画像処理回路１２５で行う（Ｓ１０６、Ｓ１０７）。

なお、Ｓ１０３において、ＣＰＵ１２１は、間引きタイミングの到来を判定した場合、撮像素子１０７から加算読み出しを行う（Ｓ１０８）。次いで、ＣＰＵ１２１は、読み出されたデータに基づいてコントラストＡＦに関する評価値演算を画像処理回路１２５で行う（Ｓ１０９）。

なお、Ｓ１０４において、ＣＰＵ１２１は、レリーズスイッチの操作があると判定した場合、撮像素子１０７から間引き読み出しを行う（Ｓ１１０）。次いで、ＣＰＵ１２１は、読み出されたデータに基づいて位相差ＡＦに関する評価値演算を画像処理回路１２５で行う（Ｓ１１１）。

Ｓ１０７、Ｓ１０９、Ｓ１１１に次いで、ＣＰＵ１２１は、フォーカス駆動回路１２６を制御してフォーカスアクチュエータ１１４を動作させることで、演算された評価値に基づいた焦点調整を行う（Ｓ１１２）。次いで、ＣＰＵ１２１は、撮像素子１０７から読み出されたデータに基づいた画像を表示器１３１に表示させ（Ｓ１１３）、操作スイッチ１３２を介したユーザの終了指示の有無を判定する（Ｓ１１４）。

Ｓ１１４において終了指示がない場合、ＣＰＵ１２１は、Ｓ１０１へ処理を戻し、撮像素子１０７における次のフレームの露光を行わせる。すなわち、ＣＰＵ１２１は、上述したＳ１０１〜Ｓ１１４の処理を所定のフレームレートで実行することで電子ビューファインダー機能を実現させる。また、Ｓ１１４において終了指示がある場合、ＣＰＵ１２１は処理を終了させる。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明に係る撮像装置の構成図である。 本発明に係る撮像素子のブロック図である。 撮像素子の全画素からの読み出しを説明する図であり、（ａ）は、ｍ×ｎの光電変換部の配置を例示した概念図であり、（ｂ）は、全画素のデータの読み出しを示すタイミングチャートである。 ｍ×ｎの光電変換部の配置を例示した概念図である。 （ａ）は、間引き読み出しを示すタイミングチャートであり、（ｂ）は、加算読み出しを示すタイミングチャートである。 （ａ）は、ＧＲ行の加算間引き読み出しを例示する概念図であり、（ｂ）は、ＧＢ行の加算間引き読み出しを例示する概念図である。 撮像用画素の構造を説明するための図であり、（ａ）は、２×２の４画素の配置を例示する平面外観図であり、（ｂ）は、Ａ−Ａ方向における断面図である。 焦点検出用画素の構造を説明するための図であり、（ａ）は、焦点検出用画素を含む２×２の４画素の配置を例示する平面外観図であり、（ｂ）は、Ａ’−Ａ’方向における断面図である。 （ａ）は、間引き読み出しにより読み出される画素を示す概念図であり、（ｂ）は、ブロック間における焦点検出用画素の配置規則を示す概念図である。 （ａ）は、間引き読み出しにより読み出される画素を示す概念図であり、（ｂ）は、ブロック間における焦点検出用画素の配置規則を示す概念図である。 （ａ）は、間引き読み出しにより読み出される画素を示す概念図であり、（ｂ）は、ブロックの配置規則を示す概念図である。 （ａ）は、間引き読み出しにより読み出される画素及び焦点検出用画素を示す概念図であり、（ｂ）は、ブロックの配置規則を示す概念図である。 （ａ）は、電子ビューファインダー時の撮像装置の動作シーケンスを示すタイミングチャートであり、（ｂ）は、電子ビューファインダー時においてレリーズスイッチが操作された際の撮像装置の動作シーケンスを示すタイミングチャートである。 電子ビューファインダー時においてデジタルズームの操作スイッチにより拡大指定が行われた場合の撮像装置の動作シーケンスを示すタイミングチャートである。 電子ビューファインダー時における撮像装置の動作を示すフローチャートである。

符号の説明

１ 撮像装置
１０１ 第１レンズ群
１０２ シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ ローパスフィルタ
１０７ 撮像素子
１１１ ズームアクチュエータ
１１２ 絞りシャッタアクチュエータ
１１４ フォーカスアクチュエータ
１１５ 電子フラッシュ
１１６ ＡＦ補助光部
１２１ ＣＰＵ
１２２ 電子フラッシュ制御回路
１２３ 補助光回路
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１２６ フォーカス駆動回路
１２８ 絞りシャッタ駆動回路
１２９ ズーム駆動回路
１３１ 表示器
１３２ 操作スイッチ
１３３ フラッシュメモリ
２０１ 光電変換部

Claims (9)

1. 被写体像を結像させるための撮像光学系と、
   前記撮像光学系により結像された被写体像を撮像する複数の光電変換素子を有し、当該複数の光電変換素子の中に位相差検出用素子が分散配置された撮像手段と、
   前記複数の光電変換素子の中から、前記位相差検出用素子を含む任意の数の前記光電変換素子の信号を加算して読み出す第１のモード、および一部の光電変換素子の信号を間引いて少なくとも前記位相差検出用素子の信号を読み出す第２のモードでの読み出しを行う読出手段と、
   動画像を取得する際、前記第１のモードでの読み出しと前記第２のモードでの読み出しを行い、前記第２のモードで読み出された前記位相差検出用素子の信号に基づいて前記撮像光学系の焦点調整を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記第１のモードで読み出された際に、当該読み出された画像データのコントラスト値を算出し、当該算出されたコントラスト値に基づいて前記撮像光学系の焦点調整を制御することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のモードで読み出された際に、当該読み出された画像データに含まれる前記位相差検出用素子の信号を欠陥信号として補間する補間手段を更に備えることを特徴とする請求項１又は２に記載の撮像装置。
4. ユーザから焦点調整の開始指示を受け付ける操作手段を更に備え、
   前記制御手段は、前記操作手段による開始指示に基づいて前記第２のモードでの読み出しを行うことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記取得された動画像データにローパスフィルタ処理を行う画像処理手段を更に備え、
   前記画像処理手段は、前記第２のモード時の前記ローパスフィルタ処理を、前記第１のモード時の前記ローパスフィルタ処理より低周波数側にシフトして行うことを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記動画像を取得する際に、ユーザから拡大指示を受け付ける指示手段を更に備え、
   前記複数の光電変換素子は、前記被写体像が結像する撮像面に配列され、
   前記読出手段は、前記位相差検出用素子が含まれるとともに前記撮像面における一矩形領域に含まれる素子の信号を読み出す第３のモードでの読み出しを行い、
   前記制御手段は、前記指示手段による拡大指示に基づいて前記第３のモードでの読み出しを行い、当該読み出された前記位相差検出用素子の信号に基づいて、前記撮像光学系の焦点調整を制御することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記制御手段は、前記第３のモードで読み出された際に、当該読み出された画像データのコントラスト値を算出し、当該算出されたコントラスト値に基づいた前記撮像光学系の焦点調整も更に行うことを特徴とする請求項６に記載の撮像装置。
8. 被写体像を結像させるための撮像光学系と、前記撮像光学系により結像された被写体像を撮像する複数の光電変換素子を有し、当該複数の光電変換素子の中に位相差検出用素子が分散配置された撮像手段と、前記複数の光電変換素子の中から、前記位相差検出用素子を含む任意の数の前記光電変換素子の信号を加算して読み出す第１のモード、および一部の光電変換素子の信号を間引いて少なくとも前記位相差検出用素子の信号を読み出す第２のモードでの読み出しを行う読出手段と、を備える撮像装置の制御方法であって、
   動画像を取得する際、前記第１のモードでの読み出しと前記第２のモードでの読み出しを行い、前記第２のモードで読み出された前記位相差検出用素子の信号に基づいて前記撮像光学系の焦点調整を制御する制御工程を含むことを特徴とする撮像装置の制御方法。
9. 請求項８に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images