JP2014146019A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】カラーフィルターを有する画素部を備える撮像素子の出力信号を用いた位相差検出方式の焦点検出を行う撮像装置であって、焦点検出用の演算量の増加を抑えつつ精度良く焦点検出を行う撮像装置を提供する。
【解決手段】一つのマイクロレンズに対して複数の光電変換部と、当該マイクロレンズごとに規則的に配置されたカラーフィルターとを有する画素部を備える撮像素子を備える撮像装置を設ける。撮像装置が、撮像素子からの出力に基づいて、位相差方式の焦点検出用の第１の像信号と第２の信号とを生成する。該第１、第２の信号は、複数の単位信号から成り、該第１、第２の信号の単位信号は、それぞれカラーフィルターの同じ組み合わせの画像信号を混合した信号である。
【選択図】図１

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

撮像装置の焦点制御のための焦点検出方法として、撮像素子中の画素が撮像レンズの異なる瞳面の光を受光するような構成を適用することによって、撮像と同時に位相差方式の焦点検出を行う技術がある。

特許文献１は、１つの画素の中にある、１つのマイクロレンズで集光されるフォトダイオード（以下ＰＤ）を分割することによって、各々のＰＤが、撮像レンズの異なる瞳面の光を受光するように構成された撮像装置を開示している。この撮像装置は、２つのＰＤの出力を比較することにより、焦点検出を行う。特許文献１が開示する撮像装置は、撮像するための撮像素子の出力を使って焦点検出しているので、一般的なカラーカメラなどに適用する場合は、撮像素子の画素がカラーフィルターを有する構成をとる。この場合、焦点検出用信号として、カラーフィルターの配置毎に異なる色信号が得られる。

ここで、画素にカラーフィルターが設けられた撮像素子からの出力信号を用いて焦点検出する技術が提案されている。特許文献２は、位相差検出用の画素にカラーフィルターが設けられた画素部を有する撮像素子を備え、この画素部からの出力信号を用いて位相差検出を行う撮像装置を開示している。

特開２００１−０８３４０７号公報 特開２０００−２９２６８６号公報

しかし、特許文献２が開示する撮像装置は、水平方向に隣接する青フィルターと緑フィルターとを、別の焦点検出用データとして単独に焦点検出用信号の演算を行い、演算結果を平均している。この方法では、カラーフィルター毎に演算を行う必要があり、焦点検出用の演算量が多くなってしまう。

また、特許文献２が開示する撮像装置は、焦点検出用信号の出力ラインとして、１行のみしか有さない。したがって、この撮像装置において、焦点検出用信号の出力ラインを複数設定し、垂直方向に同様の焦点検出用信号の演算処理を行うと、さらに演算量が増えてしまう。さらに、この撮像装置では、同色のカラーフィルターが１画素おきに配置されているので、焦点検出用のデータ量が低下し、焦点検出性能が落ちてしまう。

本発明は、カラーフィルターを有する画素部を備える撮像素子の出力信号を用いた位相差検出方式の焦点検出を行う撮像装置であって、焦点検出用の演算量の増加を抑えつつ精度良く焦点検出を行う撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、一つのマイクロレンズに対して複数の光電変換部と、当該マイクロレンズごとに規則的に配置されたカラーフィルターとを有する画素部を備える撮像素子と、前記撮像素子からの出力に基づいて、位相差方式の焦点検出用の第１の信号と第２の信号とを生成する生成手段と、を備え、前記第１、第２の信号は、複数の単位信号から成り、前記第１、第２の信号の単位信号は、それぞれカラーフィルターの同じ組み合わせの画像信号を混合した信号である。

本発明の撮像装置によれば、カラーフィルターを有する画素部を備える撮像素子の出力信号を用いた位相差検出方式の焦点検出を行う際の演算量の増加を抑えつつ、精度良く焦点検出を行うことができる。

本実施形態の撮像装置の構成例を示す図である。 撮像素子の構成例を概略的に示す図である。 画素アレイの例を示す図である。 撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。 撮像装置が実行する焦点検出処理を説明する図である。 撮像素子上での焦点検出演算領域を示す図である。 焦点検出用演算処理の例を説明するフローチャートを示す図である。 相関波形とピントの関係を説明する図である。 焦点検出用信号の生成処理を説明する図である。 焦点検出用信号の生成処理を説明する図である。 焦点検出用信号の生成処理を説明する図である。 焦点検出用信号の生成処理を説明する図である。 焦点検出用信号の生成処理を説明する図である。 撮像素子の１画素の構成を示す回路図である。 本実施形態の撮像素子の駆動パターンを示すタイミングチャートである。 焦点検出に係る撮像素子を含むシステム構成を示すブロック図である。

図１は、本実施形態の撮像装置の構成例を示す図である。図１では、撮像装置としてデジタルカメラを例にとって説明する。図１に示す撮像装置が備える構成要素のうち、レンズ部１３０１は、被写体の光学像を撮像素子１３０５に結像させる。レンズ駆動装置１３０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッター１３０３は、シャッター駆動装置１３０４によって制御される。撮像素子１３０５は、レンズ部１３０１で結像された被写体を画像信号として取り込む。撮像信号処理回路１３０６は、撮像素子１３０５から出力される画像信号に各種の補正を行ったり、データを圧縮したりする。

タイミング発生回路１３０７は、撮像素子１３０５、撮像信号処理回路１３０６に、各種タイミング信号を出力する駆動手段である。全体制御・演算部１３０９は、撮像装置全体を制御する。メモリ１３０８は、画像データを一時的に記憶する記憶手段である。

インターフェース１３１０は、記録媒体に記録または読み出しを行う。記録媒体１３１１は、画像データの記録または読み出しを行う。記録媒体１３１１は、半導体メモリ等の着脱可能な記憶手段である。表示部１３１２は、各種情報や撮影画像を表示する。測光装置１３１３は、測光処理を実行する。

次に、図１に示す撮像装置の撮影時の動作について説明する。メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路１３０６などの撮像系回路の電源がオンされる。

次に、図示しないレリーズボタンが押されると、撮像装置が、撮像素子からのデータを元に、焦点検出用の演算を行って、焦点検出を行う。焦点検出用の演算は、撮像信号処理回路１３０６で行ってもよいし、全体制御・演算部１３０９で行ってもよい。その後、レンズ駆動装置１３０２によりレンズ部を駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズ部を駆動した上で、焦点検出用の演算を行う。

そして、合焦が確認された後に撮影動作が開始する。撮影動作が終了すると、撮像素子１３０５から出力された画像信号は、撮影信号処理回路１３０６で画像処理され、全体制御・演算部１３０９によりメモリに書き込まれる。撮影信号処理回路１３０６では、並べ替え処理、加算処理やその選択処理が行われる。メモリ１３０８に蓄積されたデータは、全体制御・演算部１３０９の制御により記録媒体制御Ｉ／Ｆ部１３１０を介して記録媒体１３１１に記録される。

また、動画モードとして撮影動作を連続的に行う場合も、撮像装置は、撮像素子１３０５から出力された画像信号に基づいて、随時、焦点検出用の演算を行い、レンズ部を合焦するまで動かしつつ、撮影信号処理回路１３０６で画像処理を連続的に行う。また、撮像装置が、外部Ｉ／Ｆ部１３１２を介して、直接コンピュータ等に入力して画像の加工を行ってもよい。

図２は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。図２（Ａ）は、撮像素子の全体構成を示す。撮像素子１３０５は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素部のうち垂直選択回路１０２によって選択される画素部の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Digital）変換器などを列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを、全体制御・演算部１３０９やタイミング発生回路１３０７等からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。垂直選択回路１０２と水平選択回路１０４の動作を適宜変更することにより、特定領域の読み出しを実現できる。なお、撮像素子１３０５は、図２に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明については省略する。

図２（Ｂ）は、撮像素子１３０５の画素部の構成例を示す。図２（Ｂ）に示す画素部２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）２０３、２０４を有する。ＰＤは、光束を受光し、当該光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図２（Ｂ）に示す例では、１つの画素部が備えるＰＤの数は２個であるが、ＰＤの数は、２個以上の任意の数であればよい。なお、画素部は、図示された構成要素以外にも、例えば、ＰＤの信号を読み出し回路１０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。

ＰＤ２０３は、受光した光束を光電変換して左画像信号を出力する。ＰＤ２０４は、受光した光束を光電変換して右画像信号を出力する。すなわち、１つの画素部が備える複数のＰＤのうち、右側のＰＤが出力する画像信号が右画像信号であり、左側のＰＤが出力する画像信号が左画像信号である。

左画像信号に対応する画像データは、ユーザが左目で鑑賞する左目用画像データとして機能する。また、右画像信号に対応する画像データは、ユーザが右目で鑑賞する右目用画像データとして機能する。撮像装置が、左目用画像データをユーザに左目で鑑賞させ、右目用画像データをユーザに左目で鑑賞させるようにすれば、ユーザに立体画像を鑑賞させることができる。

図３は、画素アレイの例を示す図である。画素アレイ１０１は、２次元画像を提供するため、図３に示すように、水平方向にＮ個、垂直方向にＭ個の画素部を複数２次元アレイ状に配列して構成される。

図３（Ａ）において、３０１、３０２、３０３、３０４は画素部である。３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが、図２（Ｂ）のＰＤ２０３に対応する。３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが、図２（Ｂ）のＰＤ２０４に対応する。これらの画素部は、図３（Ｂ）に示すような、カラーフィルターを有する。この例では、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルターの繰り返し、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルターの繰り返しである。すなわち、画素アレイ１０１が備える画素部は、予め決められた画素配列（この例ではベイヤー配列）に従って、規則的に配置されている。また、画素部毎にカラーフィルターが設けられているので、同一画素部内の２つのＰＤのカラーフィルターは同一である。

図３（Ｂ）に示す例では、画素アレイ１０１は、Ｒ、Ｇ、Ｂの２行２列の規則配置のカラーフィルター配置を有するが、本発明はこれに限定するものではない。例えば、画素アレイ１０１が、シアン、マゼンタ、イエローなどの補色系のカラーフィルター配置を有していてもよいし、３行２列や３行３列や千鳥配置などの規則配置を有していてもよい。

次に、図３に示す画素構成を有する撮像素子の受光について説明する。図４は、撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。符号５０１は、３つの画素アレイの断面を示す。各々の画素アレイは、マイクロレンズ５０２、カラーフィルター５０３、ＰＤ５０４、５０５を有する。マイクロレンズ５０２は、図２（Ｂ）中のマイクロレンズ２０２に対応する。

符号５０６は、撮影レンズの射出瞳である。この例では、マイクロレンズ５０２を有する画素部に対して、射出瞳５０６から出た光束の中心を光軸５０９とする。射出瞳５０６から出た光は、光軸５０９を中心として撮像素子１３０５に入射される。符号５０７、５０８は、撮影レンズの射出瞳の一部領域を表す。一部領域５０７、５０８は、撮像光学系の射出瞳の分割された異なる領域である。

光線５１０、５１１は、一部領域５０７を通過する光の最外周の光線である。光線５１２、５１３は、一部領域５０８を通過する光の最外周の光線である。射出瞳から出る光束のうち、光軸５０９を境にして、上側の光束はＰＤ５０５に入射され、下側の光束はＰＤ５０４に入射される。つまり、ＰＤ５０４とＰＤ５０５は、各々、撮影レンズの射出瞳に対する別の領域の光を受光するという特性を有する。

この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから左画像信号を第１ラインとして取得し、複数の右側のＰＤから右画像信号を第２ラインとして取得する。そして、撮像装置は、この２つの画像信号の位相差の検知を行なって位相差ＡＦ（オートフォーカス）を実現する。

上述した説明から、撮像素子１３０５は、一つのマイクロレンズに対して、各々が、撮像光学系の射出瞳の異なる領域を通過した光束を光電変換して画像信号を生成する複数のＰＤを有する画素部を、水平方向および垂直方向に並べて配置した撮像素子である。

なお、図２（Ｂ）、図４に示す例では、一つのマイクロレンズに対し、ＰＤが２つある構成を示しているが、本構成に限らず、ある画素部は片側のＰＤ、隣の画素部は反対側のＰＤのみという構成でも、位相差検出は可能である。他にも、遮光層などで、マイクロレンズの片側から入る光を遮る構成でも位相差検出は可能である。すなわち、本発明が適用する画素部は、撮像素子で撮影レンズの射出瞳から出る光束の情報を別々に取得可能な構成で２次元に配置された画素部であれば、説明した構成に限らない。

図５は、本実施形態の撮像装置が実行する焦点検出処理を説明する図である。図５（Ａ）は、撮像素子の、焦点検出演算領域の１行に配置された画素配置を示す。焦点検出演算領域は、焦点検出用演算に用いる画像信号が読み出される領域である。焦点検出用演算は、撮像素子から得られた像データから、フォーカスレンズ移動量、つまりピントのずれ量を求める演算である。

図５（Ｂ）乃至（Ｄ）は、各ピント位置での像を示す。図５（Ｂ）は合焦状態、図５（Ｃ）は前ピン状態、図５（Ｄ）は後ピン状態を示す。

撮像素子は、撮像レンズの異なる射出瞳からの光を受光するＡライン画素とＢライン画素とが２次元状に配置されている。図３（Ａ）に示す例では、行３０５のうち、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの画素でＡラインを形成し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの画素でＢライン画素を形成する。図５に示すように、合焦状態、前ピン状態および後ピン状態の何れであるかにより、Ａラインの出力に対応する像と、Ｂラインの出力に対応する像の間隔が異なる。

撮像装置は、像間隔が合焦状態の間隔になるように、撮像レンズのフォーカス用レンズを移動させて、ピントを合わせる。つまりフォーカス用レンズの移動量は、２像のずれ量から計算して求めることができる。

図６、図７を参照して、２像の間隔を計算することによる焦点検出演算について説明する。図６は、撮像素子上での焦点検出演算領域を示す図である。図６（Ａ）中に示す焦点検出演算領域６０２は、６０１で示す位置を中心にして、Ｘ方向がｐからｑ列、Ｙ方向がｒからｓ行の範囲である。焦点検出演算領域のシフト量は、−ｉｍａｘから＋ｉｍａｘまでである。実質的な焦点検出演算領域は、シフト量も含んだ焦点検出演算領域６０３となる。

図６（Ｂ）は、図６（Ａ）中に示す焦点検出演算領域と異なる焦点検出演算領域を示す。撮像装置が、図６（Ｂ）のように焦点検出演算領域をずらすことで、画面上の任意の場所で焦点検出用の演算を行うことが可能である。

図７は、焦点検出用演算処理の例を説明するフローチャートを示す図である。なお、この焦点検出用演算処理は、撮像装置が備える全体制御・演算部１３０９によって実行される。まず、ステップＳ７０１で、撮像装置が、最初の行Ｙ＝ｒを選択する。次に、ステップＳ７０２で、撮像装置が、Ｉｙ＝−Ｉｍａｘにする。この例では、Ｙ＝ｒ行なので、ｒ行での像ずれ量を求める。次に、ステップＳ７０３で、撮像装置が、Ｂ像の画素のデータをＩｙ画素シフトする。次に、ステップＳ７０４で、撮像装置が、Ａ像と、Ｂ像のＩｙ画素シフト時の相関値を求める。具体的には、相関値は、以下の式で算出されるように、ＡラインとＢラインの各画素での像の差の絶対値を求めることで算出される。

Ａｘ、Ｂｘは、指定した行での、各々Ａライン、Ｂラインのｘ座標の出力を示す。つまり、Ｃ（Ｉｙ）は、ＢラインをＩｙ画素シフトさせたときのＡラインとＢラインの差の絶対値の総和を求めている。また、相関値は、例えば以下のような式でも求められる。

この式では、Ｂラインのデータだけをシフトするのではなく、Ａラインのデータも同時に逆方向にシフトして、差の絶対値の総和を求めている。その際には、ステップＳ７０３で、撮像装置は、Ａラインの像データをＩｙ画素シフトし、Ｂラインの像データを−Ｉｙ画素シフトする。

また、相関値は、ＡラインとＢラインの差の絶対値以外にも、以下のように各画素の大きい画素値を算出する式でも求めることが可能である。

ｍａｘ（Ａ、Ｂ）は、ＡとＢの大きい方を選択することを表す。ＡとＢの小さい方を選択する演算でも相関値を求めることが可能である。上述したように、本発明では、ステップＳ７０４における相関値を求める方法を特に限定するわけではない。

次に、ステップＳ７０５で、撮像装置が、Ｉｙ＋１をＩｙに代入する（１画素ずらす）。ステップＳ７０６で、Ｉｙ＞Ｉｍａｘである場合は、ステップＳ７０７に進み、ＩｙがＩｍａｘ以下である場合は、ステップＳ７０３、Ｓ７０４、Ｓ７０５を繰り返す。

ステップＳ７０７に進むときには、Ｉｙが−Ｉｍａｘから＋Ｉｍａｘまでの１行分の相関値の集合である相関波形Ｃ（Ｉｙ）が求まっている。

次に、ステップＳ７０７では、撮像装置が、Ｃ（Ｉｙ）＋Ｃ（Ｉ）をＣ（Ｉ）に代入する。ステップＳ７０８で、撮像装置がＹ＋１をＹに代入する。ステップＳ７０９で、Ｙ＞ｓである場合は、ステップＳ７１０に進む。Ｙ＞ｓでない場合は、ステップＳ７０２に戻る。つまり、ステップＳ７０７では、撮像装置は、各行のＣ（Ｉｙ）を加算して、Ｃ（Ｉ）を生成する処理を、ｒからｓまでの各行分繰り返すことで、各行の相関波形Ｃ（Ｉｙ）から全行加算された相関波形Ｃ（Ｉ）を求める。

ステップＳ７１０では、撮像装置は、全行の相関波形Ｃ（Ｉｙ）が加算された相関波形Ｃ（Ｉ）のうち、最も相関があるＩを求める。

図８は、相関波形とピントの関係を説明する図である。図８に示すように、相関波形Ｃ（Ｉ）はシフト量ＩずらしたときのＡラインとＢラインの相関値を示す。相関値を求めるために差の絶対値の総和をとる場合には、相関波形Ｃ（Ｉ）の出力が最も低い場所のＩが、最も相関があるＩである。

図８（Ａ）で示すように、合焦時には、相関波形Ｃ（Ｉ）のうち、最も相関があるＩ、すなわち相関波形Ｃ（Ｉ）の出力が最も低い場所のＩは、Ｉ＝０である。また、図８（Ｂ）、図８（Ｃ）に示すように、ピントがずれているときには、ずれている量に基づいた像ずれがＩとなる。つまり、シフト量は像ずれ量と等価であり、シフト量Ｉ＝像ずれ量Ｉと考えられる。

ステップＳ７１０では、撮像装置が、最も相関があるＩを相関波形Ｃ（Ｉ）のうちから求めることで、ｒからｓ行におけるＡライン、Ｂライン上での像のずれ量を算出する。ステップＳ７１１では、像のずれ量Ｉを換算することで、最終的にピントのずれ量Ｌを求め、処理を終了する。図示しないが、ピントのずれ量Ｌに基づいて、レンズをＬ分だけ移動することで、合焦する。

図７を参照して説明した焦点検出用の演算で、焦点検出のための像ずれ量算出は可能であるが、カラーフィルターを有する撮像素子は、カラーフィルターの影響を考慮する必要がある。２行２列のカラーフィルター配列を有する撮像素子で、色別に焦点検出用の演算をすると、図７の演算のフローを色別に４回行う必要があるため、演算処理量が多くなってしまう。本発明では演算処理量を減らし、最適な焦点検出用の演算を行うために、異なるカラーフィルターの画素の信号を混合する。以下、図面を用いて説明する。

図９乃至図１３は、本実施形態の撮像装置が実行する、焦点検出用信号の生成処理を説明する図である。以下では、説明の便宜上、生成される焦点検出用信号をＹ信号と記述する。図９乃至図１３では、上部に、撮像素子が備える８列２行の画素配置を表し、下部にＹ信号を出力する（仮想の）画素を模式的に示している。

（実施例１）
実施例１の撮像装置は、図９に示すように、２行２列の画素信号を加算もしくは平均し、１つのＹ信号とする。具体的には、撮像装置は、Ｒ１１、Ｇ１２、Ｇ２１、Ｂ２２の画素からの出力信号を加算もしくは平均し、Ｙ信号Ｙ１とする。撮像装置は、Ｙ２、Ｙ３、Ｙ４についても同様の演算により求める。撮像装置は、Ｙ信号をＡライン、Ｂライン毎に求め、求めたＡラインについてのＹ信号と、ＢラインについてのＹ信号とに基づいて、図７を参照して説明した焦点検出用の演算を行う。

すなわち、撮像装置の全体制御・演算部（以下、制御部）１３０９は、以下の処理を行って位相差方式の焦点検出用の信号を生成する生成手段として機能する。制御部１３０９は、射出瞳の分割された第１の領域の光束による撮像素子からの第１の画像信号と、射出瞳の分割された第２の領域の光束による撮像素子からの第２の画像信号のそれぞれについて、異なるカラーフィルターを有する画素部からの画像信号を混合する。

より具体的には、制御部１３０９は、撮像素子からｍ行ｎ列の２次元の第１および第２の画像信号を読み出す。制御部１３０９は、読み出した第１の画像信号について、異なるカラーフィルターを有する画素部からの画像信号を混合して、ｍ行未満の第３の画像信号を生成する。また、制御部１３０９は、読み出した第２の画像信号について、異なるカラーフィルターを有する画素部からの画像信号を混合してｍ行未満の第４の画像信号を生成する。図９に示す例では、制御部１３０９は、第１、第２の画像信号のそれぞれについて、行方向および列方向に並ぶ複数の画素部からの画像信号を平均または加算することで、ｍ／２行、ｎ／２列の第３、第４の画像信号を生成する。

そして、制御部１３０９は、第３の画像信号と第４の画像信号のそれぞれに含まれる画像信号を比較することで、第３の画像信号と第４の画像信号の位相差を演算し、演算により得られた位相差に応じて焦点調節動作を行う。

実施例１の撮像装置は、２行２列分の画素の出力信号から１画素に対応するＹ信号を生成し、Ｙ信号を用いた焦点検出用の演算を行うので、演算量を低減することが可能となる。

（実施例２）
実施例２の撮像装置は、図１０に示すように、Ｒ１１、Ｇ１２、Ｇ２１、Ｂ２２の画素信号を加算もしくは平均し、Ｙ信号Ｙ１とする。また、撮像装置は、Ｇ１２、Ｒ１３、Ｂ２２、Ｇ２３の画素信号を加算もしくは平均し、Ｙ信号Ｙ２とする。このように、実施例２の撮像装置は、同一の画素信号（図１０ではＧ１２とＢ２２の画素信号）を複数のＹ信号の生成元の信号として重複して使用する。

すなわち、実施例２では、制御部１３０９は、Ｙ信号（第３、第４の画像信号）のそれぞれに含まれる、列方向に隣り合う画像信号（例えばＹ１とＹ２）の生成元の画像信号を出力する画素部が重複するように、画像信号の混合を行う。図１０に示す例では、Ｙ１の生成元の画像信号とＹ２の生成元の画像信号とで、Ｇ１２の画素信号およびＢ２２の画素信号が重複している。これにより、水平方向の解像度を高く保ちつつ、Ｙ信号を生成することが可能となる。また、実施例２の撮像装置は、行方向に隣接する画素の出力信号から１画素に対応するＹ信号を生成するので、焦点検出用の演算量を低減することが可能となる。

（実施例３）
実施例３の撮像装置は、図１１に示すように、Ｒ１１、Ｇ２１の画素信号を加算もしくは平均し、Ｙ信号Ｙ１とする。また、撮像装置は、Ｇ１２、Ｂ２２の画素信号を加算もしくは平均し、Ｙ信号Ｙ２とする。このように、実施例３の撮像装置は、第１、第２の画像信号のそれぞれについて、行方向に並ぶ複数の画素部からの画像信号を平均または加算することで、ｍ／２行の第３、第４の画像信号を生成する。これにより、焦点検出用の演算量を低減することが可能となる。実施例３の撮像装置は、焦点検出用の演算時の相関値を求める際には、ＡラインのＹ１とＢラインのＹ２を比較しないように、以下の式を用いて相関値を算出する。

つまり、制御部１３０９は、第３の画像信号と第４の画像信号とを、互いに逆方向に１列ずつシフトさせる。これにより、第３の画像信号と第４の画像信号とで、比較される画像信号同士が同じ色となる。

（実施例４）
実施例４の撮像装置は、図１２に示すように、Ｒ１１、Ｇ１２、Ｂ２２、Ｒ１３の画素信号を加算もしくは平均し、Ｙ信号Ｙ２とする。画素信号を単純に加算すると、Ｒフィルターの信号の影響が大きくなってしまうので、より好適には、撮像装置は、以下のような加算処理をして、Ｙ２，Ｙ３を求める。
（Ｒ１１＋Ｒ１３）／２＋Ｇ１２＋Ｂ２２＝Ｙ２
（Ｂ２２＋Ｂ２４）／２＋Ｒ１３＋Ｇ２３＝Ｙ３

すなわち、制御部１３０９は、Ｙ信号（第３、第４の画像信号）のそれぞれに含まれる、列方向に隣り合う画像信号（例えばＹ２とＹ３）の生成元の画像信号を出力する画素部が重複するように、画像信号の混合を行う。図１２に示す例では、Ｙ２の生成元の画像信号とＹ３の生成元の画像信号とで、Ｒ１３の画素信号およびＢ２２の画素信号が重複している。

以上述べたように、本実施形態の撮像装置は、焦点検出用の演算に先だって、画素部から出力された画素信号からＹ信号を生成した後に、図７で説明した焦点検出用の演算を行う。これにより、被写体の色による誤検出の少ない焦点検出をすることが可能となる。なお、撮像装置が、例えば２行２列での規則的配置のカラーフィルターを有する場合は、２列毎にＹ信号を生成し、生成したＹ信号から順次焦点検出用の演算をしてもよい。

図９乃至図１２を参照して説明した実施例では、撮像装置は、隣接する異なるカラーフィルターの画素の信号を用いて加算および平均をとり、Ｙ信号を生成するが、Ｙ信号の生成方法は、これらに限定されない。例えば、撮像装置が、Ｒフィルター、Ｇフィルター、Ｂフィルターの各々に重み付けをしてもよい。具体的には、撮像装置は、図９で示したＹ１を生成する際に、Ｒ１１＊α１＋Ｇ１２＊α２＋Ｇ２１＊α３＋Ｂ２２＊α４＝Ｙ１とし、重み係数α１、α２、α３、α４を変更してもよい。

また、撮像装置が、重み係数α１、α２、α３、α４を、被写体の状況などに応じて変更してもよい。例えば、撮像装置が、撮像素子からの画像信号に基づいてホワイトバランス係数を求め、求めたホワイトバランス係数に基づいて、α１、α２、α３、α４を変更する。これにより、ホワイトバランスのとれたＹ信号とすることが可能となる。また、合焦させたい被写体がＲの色が濃い被写体であるときに、α１をα２、α３、α４などに比べて大きくすることで、Ｒのフィルターに含まれる輝度信号が、焦点検出用の演算結果に大きく関与するようにすることも可能となる。

さらに、撮像装置が、Ｙ信号を求める際に、Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂなどの、一般的な輝度信号に置き換えるような重みをつけてもよい。また、撮像装置が、周辺画素の信号をフィルターしながら、高周波成分がより強くなるような重みを付けてもよい。例えば、撮像装置が、図１３に示すように、Ｙ４を生成する際に、隣接する画素だけでなく、さらに隣の画素データを特定の重みを付けながら使用することで、より高周波成分が強くなるような重みを付けることも可能である。

撮像装置が、ピントがあっていて被写体が高周波な場合にのみ高周波成分を強調するようにし、被写体が低周波な場合、もしくは前フレームのピントが合焦から遠い場合には、高周波を強調しないように、単純加算してもよい。また、撮像装置が高周波成分を強調する際には、色フィルター毎にＹ信号を求めた後に加算し、高周波成分を強調しない際には、色フィルターをもつ画素信号を加算した後にＹ信号を求めるようにしてもよい。

ここで、撮像素子１３０５の駆動および、図９乃至図１３のＹ信号生成処理と画像信号の関係について、更に詳細に説明する。図１４は、撮像素子１３０５の１画素（画素部２０１）の構成を模式的に示す回路図である。

転送スイッチ１４０１、１４０２は、それぞれ転送パルスφＴＸ１、φＴＸ２によって駆動され、ＰＤ２０３、２０４で発生した電荷を後述するフローティングディフュージョン部１４０３に転送する。

フローティングディフュージョン部（以下、ＦＤと記す）１４０３は、電荷を一時的に蓄積するメモリとしての役割を有する。増幅ＭＯＳアンプ１４０４は、ソースフォロアとして機能し、選択スイッチ１４０５は、垂直選択パルスφＳＥＬによって画素を選択する。フローティングディフュージョンアンプは、ＦＤ１４０３、増幅ＭＯＳアンプ１４０４、および後述する定電流源１４０６により、垂直線１４０７を介して構成される。そして、選択スイッチ１４０５で選択された画素の信号電荷が電圧に変換され、読み出し回路１０３に出力される。リセットスイッチ１４０８は、リセットパルスφＲＥＳを受けて電源電圧ＶＤＤによりＦＤ１４０３をリセットする。定電流源１４０６は、列回路と同様に各列に配置される。

次に、上記構成を有する撮像素子１３０５の駆動方法について説明する。図１５は、駆動パターンを示すタイミングチャートであり、１行分の信号を読み出し回路１０３に読み出す駆動について示す。まず、時刻ｔ１５０１の間に、リセットパルスφＲＥＳと転送パルスφＴＸ１、φＴＸ２を同時に高電位（以下、「Ｈ」）にする。これにより、リセットスイッチ１４０８と転送スイッチ１４０１、１４０２がオンとなり、ＰＤ２０３、ＰＤ２０４、ＦＤ１４０３の電位が初期電位の電源電圧ＶＤＤにリセットされる。その後、転送パルスφＴＸ１、φＴＸ２が低電位（以下、「Ｌ」）になると、ＰＤ２０３、ＰＤ２０４において電荷蓄積が始まる。

次に、電荷蓄積時間に基づいて決められる所定時間経過後、時刻ｔ１５０３において選択パルスφＳＥＬをＨにして選択スイッチ１４０５をオンすることで読み出し行を選択し、１行分の信号の読み出し動作が行われる。また、同時に、リセットパルスφＲＥＳをＬにして、ＦＤ１４０３のリセットを解除する。

時刻ｔ１５０４の間にφＴＮをＨにして、読み出し回路１０３に、ＦＤ１４０３のリセット信号であるＮ信号を読み出して記録する。なお、不図示だが、読み出し回路１０３では、φＴＮ、φＳ１、φＳ２の制御に基づいて、ＦＤ１４０３の電位を、垂直線１４０７を介して読み出し、各々信号を記録しておく。次に、時刻ｔ１５０５の間に転送パルスφＴＸ１とφＳ１を同時にＨにして転送スイッチ１４０１をオンすることで、ＰＤ２０３の光信号とノイズ信号の加算信号である第１ＰＤ信号を読み出し回路１０３に記録する。

次に、リセットスイッチ１４０８をオンしない状態で、時刻ｔ１５０６の間に転送パルスφＴＸ１、φＴＸ２とφＳ２を同時にＨにして転送スイッチ１４０１、１４０２をオンする。これにより、ＰＤ２０３の光信号とＰＤ２０４の光信号とノイズ信号の加算信号である第２ＰＤ信号を読み出し回路１０３に記録する。なお、時刻ｔ１５０５で、一度転送パルスφＴＸ１をオンしてＰＤ２０３の信号をＦＤ１４０３に読み出しているので、時刻ｔ１５０６では、転送パルスφＴＸ１は、オフ状態であってもよい。また、厳密には、時刻ｔ１５０１の終了から時刻ｔ１５０６の終了までが蓄積時間である時刻ｔ１５０２となる。なお、転送パルスφＴＸ２をＨにしてＰＤ２０４をリセットするタイミングを、時刻ｔ１５０５と時刻ｔ１５０６の時間差分、遅らせてもよい。

以上のように動作することで、読み出し回路１０３に読み出されたＮ信号、第１ＰＤ信号、第２ＰＤ信号に基づいて、第１ＰＤ信号からＮ信号を差分したＡ像信号と、第２ＰＤ信号からＮ信号を差分した鑑賞用画像信号が撮像素子１３０５の外部に出力される。この鑑賞用画像信号は、ＰＤ２０３とＰＤ２０４の信号を合成した信号であり、鑑賞用画像信号からＡ像信号を減算することでＢ像信号を生成することができる。

次に、図１６を参照して、鑑賞用画像信号と、位相差検出用の画像信号の処理について説明する。図１６は、焦点検出用の演算に用いられる撮像素子１３０５を含むシステム構成図である。撮像素子１３０５からは、前述の通り、鑑賞用画像信号とＡ像信号が出力される。なお、撮像素子１３０５からの鑑賞用画像信号とＡ像信号は、同時に出力してもよいし、時系列に出力してもよい。それらの信号は、焦点検出演算回路１６０１に入力される。Ｂ像生成部１６０２は、撮像素子１３０５から出力された鑑賞用画像信号からＡ像信号を減算することによって、Ｂ像信号を生成する。

次に、Ｙ信号処理部１６０３、１６０４では、Ａ像信号、Ｂ像信号各々に図９乃至図１３のＹ信号（第１の信号および第２の信号）の生成処理を行う。なお、Ａ像信号、Ｂ像信号各々のＹ信号は、複数の単位信号から成り、各単位信号は、それぞれカラーフィルターの同じ組み合わせの画像信号を混合した信号である。

そして、焦点検出演算部１６０５では、図７で説明した焦点検出用の演算を行う。Ａ像信号、Ｂ像信号のＹ信号処理は、同一であってよいが、鑑賞用画像信号のＹ信号の生成については、鑑賞用に適したＹ信号処理を行うことがより望ましい。そこで、鑑賞用画像信号は、別に設けたＹ信号処理部１６０６にてＹ信号処理を行うことで、焦点検出演算用の、Ａ像信号、Ｂ像信号とは異なるＹ信号の生成を行うことができる。

なお、本実施形態では、鑑賞用画像信号からＡ像信号を減算することによりＢ像信号を生成したが、反対に、鑑賞用画像信号からＢ像信号を減算することによってＡ像信号を生成して、それぞれＹ信号処理を行い、焦点検出用の演算を行ってもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、および該プログラムを記憶した記憶媒体は本発明を構成することになる。

１３０５ 撮像素子
１３０６ 撮像信号処理回路
１３０９ 全体制御・演算部

Claims (10)

1. 一つのマイクロレンズに対して複数の光電変換部と、当該マイクロレンズごとに規則的に配置されたカラーフィルターとを有する画素部を備える撮像素子と、
   前記撮像素子からの出力に基づいて、位相差方式の焦点検出用の第１の信号と第２の信号とを生成する生成手段と、
   を備え、
   前記第１、第２の信号は、複数の単位信号から成り、
   前記第１、第２の信号の単位信号は、それぞれカラーフィルターの同じ組み合わせの画像信号を混合した信号である
   ことを特徴とする撮像装置。
2. 前記撮像素子は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１、第２の信号は、撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して得られた信号に対応する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記第１の信号は、前記撮像素子から出力された後の第３の信号と前記撮像素子から出力された前記第２の信号から生成される
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記生成手段は、前記撮像素子からｍ行ｎ列の２次元の第１および第２の画像信号を読み出し、前記読み出した第１の画像信号について、異なるカラーフィルターを有する画素部からの画像信号を混合して、ｍ行未満の第３の信号を生成し、前記読み出した第２の画像信号について、異なるカラーフィルターを有する画素部からの画像信号を混合してｍ行未満の第４の信号を生成し、
   前記生成された第３の信号と第４の信号は前記第１、第２の信号に対応する
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記生成手段は、前記第１、第２の画像信号のそれぞれについて、行方向に並ぶ複数の画素部からの画像信号を平均または加算することで、ｍ／２行の前記第３、第４の信号を生成する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記生成手段は、前記第１、第２の画像信号のそれぞれについて、列方向に並ぶ複数の画素部からの画像信号を平均または加算することで、ｎ／２列の前記第３、第４の信号を生成する
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記生成手段は、前記第３、第４の信号のそれぞれに含まれる、列方向に隣り合う画像信号の生成元の画像信号を出力する画素部が重複するように、前記第１、第２の画像信号のそれぞれについて前記画像信号の混合を行う
   ことを特徴する請求項５に記載の撮像装置。
9. 前記第１、第２の信号を使って位相差方式の焦点検出を行う制御手段さらに備え、
   前記制御手段は、前記第１の信号と前記第２の信号とを、互いに逆方向に１列ずつシフトさせる
   ことを特徴とする請求項１に記載の撮像装置。
10. 一つのマイクロレンズに対して複数の光電変換部と、当該マイクロレンズごとに規則的に配置されたカラーフィルターとを有する画素部を備える撮像装置の制御方法であって、
    撮像素子からの出力に基づいて、位相差方式の焦点検出用の第１の信号と第２の信号とを生成する工程を有し、
    前記第１、第２の信号は、複数の単位信号から成り、
    前記第１、第２の信号の単位信号は、それぞれカラーフィルターの同じ組み合わせの画像信号を混合した信号である
    ことを特徴とする制御方法。

Images