JP2021060546A - 信号処理装置、撮像装置、信号処理方法、および、プログラム - Google Patents

Abstract

【課題】画質の劣化を低減しつつ、高速かつ高精度な焦点検出が可能な信号処理装置を提供する。【解決手段】信号処理装置（１００）は、撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減部（１０９）と、被写体のコントラスト値を算出するコントラスト値算出部（１０７）と、第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算部（１１１）と、第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算部（１１７）と、焦点検出モードまたはコントラスト値に基づいて、帯域削減部、第一の相関演算部、または、第二の相関演算部の少なくとも一つの処理を変更する制御部（１１２、１１８）とを有する。【選択図】図１

Description

本発明は、複数の信号処理部で自動焦点検出が可能な撮像装置に関する。

従来、複数の信号処理部を備えた撮像装置が知られている。特許文献１には、高い伝送レートの画像データを受信可能な第一の信号処理部を、高い伝送レートを受信できない第二の信号処理部の前に配置して緩衝の役割を持たせることで、スケーラビリティを実現する撮像装置が開示されている。

また従来、撮像装置のＡＦ（オートフォーカス）方式として１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、瞳分割像を取得し、得られた２つの瞳分割像の位相差を求めて焦点検出を行う技術が知られている。特許文献２には、瞳分割像により位相差を求めて焦点検出を行うと同時に、同一マイクロレンズ内の画素を全て加算して１つの画素として取り扱うことで観賞用の画像を生成する技術が開示されている。特許文献３には、撮像素子の信号読出し方法として、瞳分割された２画素のうち第一の焦点検出信号（Ａ像）を読出し、リセットせずに第二の焦点検出信号（Ｂ像）を加算して読出し、Ｂ像は加算信号（Ａ＋Ｂ像）からＡ像を減算して求める技術が開示されている。特許文献４には、Ａ像とＢ像に対して圧縮処理（横方向に画素加算）を行うことで低周波成分を有する信号を生成するとともに、圧縮により相関演算のシフトデータ数を低減する技術が開示されている。

特開２０１７−１５３１５６号公報 特開２００８−１３４３８９号公報 特開２０１３−１０６１９４号公報 特開２０１７−３２７８７号公報

しかしながら、特許文献１に開示された撮像装置では、第一の信号処理部において、撮像素子から送られてきた記録用の画像データに対して一度圧縮符号化して伝送レートを落としているため、画質の劣化が懸念される。特許文献４に開示された技術では、焦点検出を行う枠数が増えるほど相関演算の演算量が増えるため、１フレーム中に処理を完了させることができない。また、低照度環境下で撮像した場合、撮像素子から信号から位相差を求めるＡＦ方式では、信号レベルが低いために焦点検出精度が低下する。

そこで本発明は、画質の劣化を低減しつつ、高速かつ高精度な焦点検出が可能な信号処理装置、撮像装置、信号処理方法、および、プログラムを提供することを目的とする。

本発明の一側面としての信号処理装置は、撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減部と、被写体のコントラスト値を算出するコントラスト値算出部と、前記第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算部と、前記第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算部と、焦点検出モードまたはコントラスト値に基づいて、前記帯域削減部、前記第一の相関演算部、または、前記第二の相関演算部の少なくとも一つの処理を変更する制御部とを有する。

本発明の他の側面としての信号処理装置は、撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減部と、焦点検出のために前記撮像素子を駆動する撮像素子駆動部と、前記第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算部と、前記第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算部と、焦点検出方向に基づいて、前記第一のデフォーカス量または前記第二のデフォーカス量の一方を選択する制御部とを有する。

本発明の他の側面としての撮像装置は、撮像素子と前記信号処理装置とを有する。

本発明の他の側面としての信号処理方法は、撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減ステップと、被写体のコントラスト値を算出するコントラスト値算出ステップと、前記第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算ステップと、前記第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算ステップと、焦点検出モードまたはコントラスト値に基づいて、前記帯域削減ステップ、前記第一の相関演算ステップ、または、前記第二の相関演算ステップの少なくとも一つの処理を変更する制御ステップとを有する。

本発明の他の側面としての信号処理方法は、撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減ステップと、焦点検出のために前記撮像素子を駆動する撮像素子駆動ステップと、前記第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算ステップと、前記第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算ステップと、焦点検出方向に基づいて、前記第一のデフォーカス量または前記第二のデフォーカス量の一方を選択する制御ステップとを有する。

本発明の他の側面としてのプログラムは、前記信号処理方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、画質の劣化を低減しつつ、高速かつ高精度な焦点検出が可能な信号処理装置、撮像装置、信号処理方法、および、プログラムを提供することができる。

第一の実施形態における撮像装置のブロック図である。 第一の実施形態における撮像素子の画素構造の上面図である。 第一の実施形態における光学系の射出瞳から出た光束が単位画素に入射する概念図である。 第一の実施形態における焦点検出処理を示すフローチャートである。 第二の実施形態における撮像装置のブロック図である。 第二の実施形態における焦点検出処理を示すフローチャートである。 第三の実施形態における撮像装置のブロック図である。 第三の実施形態における撮像素子の画素部の模式図である。 第三の実施形態における撮像素子の回路ブロック図である。 第三の実施形態における撮像素子の画素部の回路図である。 第三の実施形態における撮像素子の駆動タイミングチャートである。 第三の実施形態における撮像素子の水平ブランキング期間における駆動タイミングチャートである。 第三の実施形態における撮像素子の出力信号の生成方法を示す図である。 第三の実施形態における撮像素子の垂直同期期間における相関演算のタイミングチャートである。 第三の実施形態における撮像素子の画素部の断面図である。 第三の実施形態における位相差測距処理を説明するグラフである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第一の実施形態）
まず、図１を参照して、本発明の第一の実施形態における撮像装置の構成について説明する。図１は、本実施形態における撮像装置１００の構成図である。

１０１はズームレンズ、絞り、および、フォーカスレンズのうち少なくとも１つを有する光学系（撮像光学系）である。光学系１０１は、撮像装置１００の本体（カメラ本体）と一体的に構成されていてもよく、または、カメラ本体に対して着脱可能に構成されていてもよい。１０２は、１つのマイクロレンズに対して複数の光電変換部を有するＣＭＯＳセンサなどの撮像素子である。撮像素子１０２は、同一のマイクロレンズ内の全ての信号を加算した画像信号（Ａ＋Ｂ像）と瞳分割された２画素のうち第一の焦点検出信号（Ａ像）の２つの信号とを出力する。

１０３は、撮像素子１０２から出力された第一の焦点検出信号（Ａ像）と画像信号（Ａ＋Ｂ像）とを受け取って信号処理を行う第一の信号処理部である。１０４は、撮像素子１０２から出力された第一の焦点検出信号（Ａ像）と画像信号（Ａ＋Ｂ像）のそれぞれに対して補正処理を行うセンサ／光学補正部である。すなわちセンサ／光学補正部１０４は、Ａ像とＡ＋Ｂ像のそれぞれに対して、欠陥画素補正、固定パターンノイズの除去、および、スミア補正等の既知のセンサ起因での補正処理、シェーディング補正等の既知の光学起因での補正処理を行う。

１０５は、後述する第一のシステム制御部１１２の光学系駆動情報に応じて光学系１０１を制御する光学系駆動部である。１０６は、Ａ像とＡ＋Ｂ像のそれぞれに対して、縦方向に２列の画素信号、横方向に２列の画素信号を加算して輝度信号を生成し、更に得たい周波数成分に合わせて横方向に画素加算を行う第一の加算部である。１０７は、画像信号（Ａ＋Ｂ像）に対して被写体のピーク値やライン単位で算出したピーク値を垂直方向に加算したライン垂直積分値などのコントラスト値を算出するコントラスト値算出部である。１０８は、Ａ像とＡ＋Ｂ像のそれぞれを入力信号とし、Ａ＋Ｂ像からＡ像の信号を減算し、他方の瞳分離像の信号（Ｂ像）を生成し、２つの瞳分割像（Ａ像とＢ像）を第一の相関演算部１１１に出力する第一の加算信号分離部である。

１０９は、Ａ像とＡ＋Ｂ像のそれぞれに対してデータの削減または圧縮処理を施す帯域削減部である。すなわち帯域削減部１０９は、撮像素子１０２から得られる第一の像信号の帯域を削減して（第一の像信号を圧縮して）第二の像信号を生成する。帯域削減部１０９は、以下の３つの役割を持つ。第一の役割は、Ａ像の削減による帯域削減である。第二の役割は、Ａ像に対して圧縮処理で縦方向に２列、横方向に２列を加算し輝度信号を生成した後、得たい周波数に合わせて横方向に画素加算を行う。第三の役割は、Ａ像およびＡ＋Ｂ像のそれぞれに対するフレーム加算での圧縮処理である。フレーム加算の圧縮処理は、まず、Ａ像とＡ＋Ｂ像のそれぞれに対して縦方向に２列、横方向に２列を加算し輝度信号を生成した後、得たい周波数に合わせて横方向に画素加算を行い、その信号を記憶部１１０に出力する。次のフレームで、記憶部１１０に記憶された前フレームの圧縮されたＡ像およびＡ＋Ｂ像を読出し、現フレームの圧縮したＡ像とＡ＋Ｂ像とを加算することでフレーム加算を実現する。フレーム加算の際には、帯域削減部１０９から、非圧縮のＡ＋Ｂ像と圧縮したＡ像およびＡ＋Ｂ像とが出力される。

１１０は記憶部（メモリ）であり、以下の２つの役割を持つ。第一の役割は、フレーム加算の際に、帯域削減部１０９から出力される圧縮されたＡ像とＡ＋Ｂ像を記憶する役割である。第二の役割は、後述する第一の相関演算部１１１で複数種類の周波成分に対して相関演算する際に、記憶部１０９から圧縮率の低い信号を読出し第一の画素加算部１０６で更に圧縮して圧縮率の高い信号を生成し相関演算を行う役割である。

１１１は、第一の加算信号分離部１０８から得られた２つの瞳分割像（Ａ像とＢ像）から位相差測距を行うために相関演算を行い、像ずれ量を算出する第一の相関演算部である。１１２は、撮像装置１００の全体を制御する第一のシステム制御部（制御部）である。第一のシステム制御部１１２は、撮影シーンや撮影モードなどから得られる撮影情報に基づいて、光学系駆動部１０５へズームや絞りなどの光学系駆動情報を渡す。また第一のシステム制御部１１２は、第一の相関演算部１１１で算出された像ずれ量と後述する第二の相関演算部１１７で算出された像ずれ量を受信する。

１１３は、第一の信号処理部１０３（帯域削減部１０９）から出力されるＡ像とＡ＋Ｂ像を受け取って信号処理を行う第二の信号処理部である。１１４は、画像信号（Ａ＋Ｂ像）に対して、例えば色変換、ホワイトバランス等の既知の画像処理を行うカメラ信号処理部である。１１５は、Ａ像とＡ＋Ｂ像のそれぞれに対して縦方向に２列、横方向に２列を加算して輝度信号を生成し、更に得たい周波数成分に合わせて横方向に画素加算を行う第二の加算部である。１１６は、Ａ像とＡ＋Ｂ像のそれぞれを入力信号とし、Ａ＋Ｂ像からＡ像の信号を減算して他方の瞳分離像の信号（Ｂ像）を生成し、２つの瞳分割像（Ａ像とＢ像）を第二の相関演算部１１７に出力する第二の加算信号分離部である。１１７は、第二の加算信号分離部１１６から得られた２つの瞳分割像（Ａ像とＢ像）から位相差測距を行うために相関演算を行い、像ずれ量を算出する第二の相関演算部である。１１８は、第一のシステム制御部１１２を制御する第二のシステム制御部（制御部）である。第二のシステム制御部１１８は、第一のシステム制御部１１２に対して、第二の相関演算部１１７で得られた像ずれ量を出力する。

次に、図２を参照して、本実施形態における撮像素子１０２について説明する。図２は、撮像素子１０２の画素構造の上面図である。本実施形態では、マイクロレンズアレイを形成する個々のマイクロレンズ２０１を１つの画素と定義し、これを単位画素２０２とする。また、１つのマイクロレンズ２０１に対して複数の分割画素が対応するように配置されている。なお、本実施形態では単位画素２０２には分割画素が対応するように配置されている。なお、本実施形態では単位画素２０２には分割画素がＸ軸方向に２個あり、それぞれ分割画素２０１Ａ、２０１Ｂと定義する。

次に、図３を参照して、光学系１０１の射出瞳と撮像素子１０２との関係について説明する。図３は、光学系１０１の射出瞳から出た光束が単位画素に入射する概念図であり、光学系１０１から射出された光が１つのマイクロレンズ２０１を通過して撮像素子１０２で受光される様子を光軸Ｚに対して垂直方向（Ｙ軸方向）から観察した図を示す。３５１、３５２は、光学系（撮影レンズ）１０１の瞳領域（射出瞳）である。瞳領域３５１、３５２を通過した光は、光軸Ｚを中心として単位画素２０２に入射する。図３に示されるように、瞳領域３５１を通過する光束はマイクロレンズ２０１を通して分割画素２０１Ａで受光され、瞳領域３５２を通過する光束はマイクロレンズ２０１を通して分割画素２０１Ｂで受光される。したがって、分割画素２０１Ａ、２０１Ｂはそれぞれ、光学系１０１の射出瞳の異なる領域（瞳領域３５１、３５２）の光を受光している。

このように、瞳分割された分割画素２０１Ａの信号をＸ軸方向に並ぶ複数の単位画素２０２から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に、瞳分割された分割画素２０１Ｂの信号をＸ軸方向に並ぶ複数の単位画素２０２から取得し、これらの出力信号群で構成した被写体像をＢ像とする。

Ａ像とＢ像から相関演算を実施し、像ずれ量（瞳分割位相差）を検出する。さらに像ずれ量に対して焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報に基づいて、図３では不図示のフォーカスレンズを制御することで、撮像面位相差ＡＦが可能となる。また、Ａ像信号とＢ像信号との加算信号をＡ＋Ｂ像信号とすることで、Ａ＋Ｂ像信号を画像信号に用いることができる。

次に、図４を参照して、本実施形態における焦点検出処理について説明する。図４は、本実施形態における焦点検出処理を示すフローチャートである。図４の各ステップは、第一の焦点検出部１０３または第二の焦点検出部１１３により実行される。

まず、ステップＳ４０１において、第一の画素加算部１０６は、センサ補正および光学補正されたＡ像とＡ＋Ｂ像のそれぞれに対して、画素加算を実施する。すなわち第一の画素加算部１０６は、Ａ像とＡ＋Ｂ像のそれぞれに対して縦方向に２列、横方向に２列の画素信号を加算することにより、輝度信号を生成する。輝度信号の生成後、ここでは１／２に圧縮することを想定し、横方向に２画素加算を行う。輝度信号の生成で１／４に圧縮、更に１／２に圧縮したことで、計１／８に圧縮したＡ像とＡ＋Ｂ像が生成される。

続いてステップＳ４０２において、第一のシステム制御部１１２は、焦点検出モード（ＡＦモード）が多点モードであるか否かを判定する。ここで多点モードとは、ＡＦ（オートフォーカス）方式におけるＡＦ枠の数が多いモードである。焦点検出モードが多点モードの場合、ステップＳ４０３に進む。ステップＳ４０３において、帯域削減部１０９は、Ａ像に対して縦方向に２列、横方向に２列の画素信号を加算することにより、輝度信号を生成する。また帯域削減部１０９は、輝度信号の生成後、ここでは１／６に圧縮することを想定し、横方向に６画素加算を行う。そして帯域削減部１０９は、非圧縮のＡ＋Ｂ像と１／２４に圧縮されたＡ像とを出力する。続いてステップＳ４０４において、第二の画素加算部１１５は、Ａ＋Ｂ像の画素加算を行う。ここでは、Ａ像の圧縮率に合わせてＡ＋Ｂ像を１／２４に圧縮する。

続いてステップＳ４０５において、まず、第一の加算信号分離部１０８は、第一の画素加算部１０６で１／８に圧縮されたＡ像とＡ＋Ｂ像のそれぞれに対してＡ＋Ｂ像からＡ像を減算し、Ｂ像を生成する。次に第一の相関演算部１１１は、Ａ像とＢ像から相関演算を行い、像ずれ量を算出する。続いてステップＳ４０６において、まず、第二の加算信号分離部１１６は、第二の画素加算部１１５で１／２４に圧縮されたＡ像とＡ＋Ｂ像のそれぞれに対してＡ＋Ｂ像からＡ像を減算し、Ｂ像を生成する。次に第二の相関演算部１１７は、Ａ像とＢ像から相関演算を行い、像ずれ量を算出する。すなわち、第一の相関演算部１１１での相関演算は、第二の相関演算と比較して圧縮率の低い信号であるため、比較的高周波成分を有する信号から像ずれ量を算出している。

続いてステップＳ４０７において、第一のシステム制御部１１２は、得られた２つの像ずれ量のそれぞれの信頼性に基づいて、より信頼性の高い方の像ずれ量（相関演算結果）を選択する。続いてステップＳ４０８において、第一のシステム制御部１１２は、ステップＳ４０７にて選択された像ずれ量に所定の敏感度を掛けることで、デフォーカス量（第一のデフォーカス量または第二のデフォーカス量）を算出する。

一方、ステップＳ４０２にて焦点検出モードが多点モードでない場合、ステップＳ４０９に進む。ステップＳ４０９において、コントラスト値算出部１０７は、コントラスト値を算出し、算出されたコントラスト値が低いか否か（コントラスト値が所定の値よりも低いか否か）を判定する。コントラスト値が低い場合、ステップＳ４１０に進む。ステップＳ４１０において、帯域削減部１０９は、フレーム加算を行う。フレーム加算の圧縮処理の際に、まず、帯域削減部１０９は、Ａ像とＡ＋Ｂ像のそれぞれに対して縦方向に２列、横方向に２列の画素信号を加算して輝度信号を生成した後、１／２に圧縮することを想定して横方向に２画素加算を行い、記憶部１１０に出力する。そして帯域削減部１０９は、次のフレームで記憶部１１０に記憶された前フレームの圧縮されたＡ像とＡ＋Ｂ像を読出し、現フレームの圧縮したＡ像とＡ＋Ｂ像を加算することでフレーム加算を実現する。このとき帯域削減部１０９は、非圧縮のＡ＋Ｂ像と１／８に圧縮したＡ像とＡ＋Ｂ像を出力する。続いてステップＳ４１１において、第二の画素加算部１１５は、Ａ＋Ｂ像およびＡ像を得たい周波数に合わせて横方向に画素加算を行う。比較的高周波成分を有する信号から像ずれ量を検出したい場合、第二の画素加算部１１５では加算を行わずそのまま出力する。

本実施形態ではコントラスト値が低い場合、第二の相関演算部１１７の像ずれ量のみを使用する。このためステップＳ４１２において、第一の相関演算部１１１は、相関演算（像ずれ量の算出）を停止する。続いてステップＳ４１３において、まず第二の加算信号分離部１１６は、第二の画素加算部１１５で１／８に圧縮されたＡ像とＡ＋Ｂ像に対してＡ＋Ｂ像からＡ像を減算し、Ｂ像を生成する。次に第二の相関演算部１１７は、Ａ像とＢ像から相関演算を行い、像ずれ量を算出する。そしてステップＳ４１４において、第一のシステム制御部１１２は、第二の相関演算結果（第二の相関演算部１１７により算出された像ずれ量）を用いる。続いてステップＳ４０８において、第一のシステム制御部１１２は、第二の相関演算部１１７により算出された像ずれ量に所定の敏感度を掛けることで、デフォーカス量（第二のデフォーカス量）を算出する。

一方、ステップＳ４０９にてコントラスト値が低くない場合、ステップＳ４１５に進む。このとき第二の信号処理部１１３の像ずれ量は使用しないため、ステップＳ４１５において、帯域削減部１０９は、Ａ像を削減する。このとき帯域削減部１０９からは、非圧縮のＡ＋Ｂ像のみが出力される。

続いてステップＳ４１６において、まず、第一の画素加算部１０６がステップＳ４０１にて１／８に圧縮されたＡ像とＡ＋Ｂ像を記憶部１１０に出力するとともに、第一の加算信号分離部１０８はＢ像を生成する。次に第一の相関演算部１１１は、Ａ像とＢ像から相関演算を行い、像ずれ量を算出する。第一の相関演算部１１１は、比較的高周波成分を有する信号から像ずれ量を算出する。次に、記憶部１１０から１／８に圧縮されたＡ＋Ｂ像およびＡ像を読み込み、第一の画素加算部１０６で更に横方向に３画素加算を行う。このように圧縮されたＡ像とＡ＋Ｂ像の圧縮率は１／２４であり、比較的低周波成分を有する信号となる。第一の加算信号分離部１０８は、Ｂ像を生成し、第一の相関演算部１１１は、Ａ像とＢ像から相関演算を行い像ずれ量を算出する。すなわち第一の相関演算部１１１は、高周波成分を有する像ずれ量と低周波成分を有する像ずれ量を順次算出する。

このとき第一の相関演算部１１１の像ずれ量のみを使用する。このためステップＳ４１７において、第二の相関演算部１１７は、相関演算（像ずれ量の算出）を停止する。続いてステップＳ４１８において、第一のシステム制御部１１２は、第一の相関演算結果（第一の相関演算部１１１により算出された像ずれ量）を用いる。続いてステップＳ４０８において、第一のシステム制御部１１２は、第一の相関演算部１１１により算出された像ずれ量に所定の敏感度を掛けることで、デフォーカス量（第一のデフォーカス量）を算出する。ここでは、多点モード時のように同時に２つの周波数成分の像ずれ量を算出するのに対して約２倍の時間はかかるが、多点モードではないため、デフォーカス量算出処理は１フレーム内に収めることができる。

このように本実施形態では、焦点検出モードとコントラスト値とに基づいて、帯域削減部１０９による処理を変更する。同様に、焦点検出モードとコントラスト値とに基づいて、第一の相関演算部１１１および第二の相関演算部１１７で処理する信号の周波数成分、相関演算するシフト量、および、データ量を変更する。このように処理を変更することで、記録用の画像データ（Ａ＋Ｂ像）に対して画質を劣化させることなく、所定の時間でＡＦの検出処理を終え、さらにコントラスト値が低い場合は瞳分割像の信号レベルを上げる。このため、高速かつ高精度な焦点検出が可能となる。

なお本実施形態では、焦点検出モードとコントラスト値とに基づいて帯域削減部１０９、第一の相関演算部１１１、および、第二の相関演算部１１７での処理を変更するが、これに限定されるものではない。焦点検出モードまたはコントラスト値のいずれか一方の条件のみに応じて、帯域削減部１０９、第一の相関演算部１１１、または、第二の相関演算部１１７での処理を変更してもよい。また本実施形態では、第一の信号処理部１０３が第二の信号処理部１１３よりも処理レートが高いことを想定し、Ａ像の圧縮率を高くして第二の信号処理部１１３に出力するが、その逆でも良い。すなわち、第二の信号処理部１１３が第一の信号処理部１０３よりも処理レートが高い場合、第一の画素加算部１０６では圧縮率を高くし、帯域削減部１０９では圧縮率を低くするようにしてもよい。

このように本実施形態において、信号処理装置（撮像装置１００）は、帯域削減部１０９、第一の相関演算部１１１、第二の相関演算部１１７、および、制御部（第一のシステム制御部１１２、第二のシステム制御部１１８）を有する。帯域削減部１０９は、撮像素子１０２から得られる第一の像信号の帯域を削減して第二の像信号を生成する。第一の相関演算部は、第一の像信号に基づいて第一の相関演算を行う。第二の相関演算部は、第二の像信号に基づいて第二の相関演算を行う。制御部は、焦点検出モードまたはコントラスト値に基づいて、帯域削減部１０９、第一の相関演算部１１１、または、第二の相関演算部１１７の少なくとも一つの処理を変更する。

好ましくは、帯域削減部の処理の変更は、第一の像信号の水平方向または垂直方向の加算処理、フレーム単位での加算処理、または、第一の像信号の削減処理の変更を含む。また好ましくは、第一の相関演算部または第二の相関演算部の処理の変更は、相関演算のシフト演算数、相関演算のための像信号の範囲、または、像信号の評価帯域の変更を含む。また好ましくは、コントラスト値算出部は、第一の像信号を混合した画像信号に対して二次元のエリアを設定するエリア設定部を備える。コントラスト値は、エリア設定部で設定されたエリアの中の全画素の最大値、全画素の最大値から全画素の最小値を引いた値、全画素に対して所定のレベルよりも大きい値をカウントしたカウント値、または、各水平方向の最大値を垂直方向に加算した加算値である。また好ましくは、制御部は、焦点検出モードが多点モードであるか否かに基づいて、帯域削減部、第一の相関演算部、または、第二の相関演算部の少なくとも一つの処理を変更する。また好ましくは、制御部は、コントラスト値が所定の値よりも低いか否かに基づいて、帯域削減部、第一の相関演算部、または、第二の相関演算部の少なくとも一つの処理を変更する。また好ましくは、制御部は、第一のデフォーカス量または第二のデフォーカス量に基づいて、フォーカス制御を行う。

本実施形態の信号処理装置によれば、画質を劣化させることなく、高速かつ高精度な焦点検出を行うことができる。

（第二の実施形態）
次に、図５を参照して、本発明の第二の実施形態における撮像装置の構成について説明する。図５は、本実施形態における撮像装置１００ａのブロック図である。撮像装置１００ａは、ぶれ検出部５０１を有する点で、第一の実施形態における撮像装置１００と異なる。なお、撮像装置１００ａの他の構成は、撮像装置１００と同様であるため、その説明を省略する。

ぶれ検出部５０１は、撮像装置１００ａに実装された角速度センサ等であり、撮像装置１００ａに加えられる振れの大きさ（ぶれ）を検出する。ぶれ検出部５０１は、２つの回転軸（第一の軸、第二の軸）を有し、ピッチ方向の振れ検出は第一の軸回り方向であるピッチ方向の振れを検出し、ヨー方向の振れ検出は第二の軸回り方向であるヨー方向の振れを検出する。ぶれ検出部５０１で取得（検出）された角速度信号は、不図示のＡ／Ｄコンバータを介して、アナログ信号からデジタル信号に変換される。第一のシステム制御部１１２は、得られたデジタル信号に対してデジタルフィルタ処理を施してぶれ量を算出する。

次に、図６を参照して、本実施形態における焦点検出処理について説明する。図６は、本実施形態における焦点検出処理を示すフローチャートである。図６の各ステップは、第一の焦点検出部１０３または第二の焦点検出部１１３により実行される。なお図６のステップＳ６０１〜Ｓ６０９、Ｓ６１６〜Ｓ６２４は、図４のステップＳ４０１〜Ｓ４１８とそれぞれ同様であるため、それらの説明を省略する。

ステップＳ６０９にてコントラスト値が低いと判定された場合、ステップＳ６１０に進む。ステップＳ６１０において、第一のシステム制御部１１２は、ぶれ検出部５０１からの角速度信号に基づいて、ぶれ量を算出する。続いてステップＳ６１１において、第一のシステム制御部１１２は、ぶれ量が所定の閾値よりも大きいか否かを判定する。ぶれ量が所定の閾値よりも小さい場合、ステップＳ６１６に進む。

一方、ぶれ量が所定の閾値よりも大きい場合、ステップＳ６１２に進む。このとき、第二の信号処理部１１３での像ずれ量は使用しない。このためステップＳ６１２において、帯域削減部１０９は、Ａ像を削減する。このとき、帯域削減部１０９からは非圧縮のＡ＋Ｂ像のみ出力される。

続いてステップＳ６１３において、まず、第一の画素加算部１０６がステップＳ６０１にて１／８に圧縮されたＡ像とＡ＋Ｂ像を記憶部１１０に出力するとともに、第一の加算信号分離部１０８はＢ像を生成する。次に第一の相関演算部１１１は、Ａ像とＢ像から相関演算を行い、像ずれ量を算出する。第一の相関演算部１１１は、比較的高周波成分を有する信号から像ずれ量を算出する。次に、記憶部１１０から１／８に圧縮されたＡ＋Ｂ像およびＡ像を読み込み、第一の画素加算部１０６で更に横方向に３画素加算を行う。このように圧縮されたＡ像とＡ＋Ｂ像の圧縮率は１／２４であり、比較的低周波成分を有する信号となる。第一の加算信号分離部１０８は、Ｂ像を生成し、第一の相関演算部１１１は、Ａ像とＢ像から相関演算を行い像ずれ量を算出する。すなわち第一の相関演算部１１１は、高周波成分を有する像ずれ量と低周波成分を有する像ずれ量を順次算出する。

このとき第一の相関演算部１１１の像ずれ量のみを使用する。このためステップＳ６１４において、第二の相関演算部１１７は、相関演算（像ずれ量の算出）を停止する。続いてステップＳ６１５において、第一のシステム制御部１１２は、第一の相関演算結果（第一の相関演算部１１１により算出された像ずれ量）を用いる。続いてステップＳ６０８において、第一のシステム制御部１１２は、第一の相関演算部１１１により算出された像ずれ量に所定の敏感度を掛けることで、デフォーカス量を算出する。ここでは、多点モード時のように同時に２つの周波数成分の像ずれ量を算出するのに対して約２倍の時間はかかるが、多点モードではないため、デフォーカス量算出処理は１フレーム内に収めることができる。

このように本実施形態において、信号処理装置（撮像装置１００ａ）は、ぶれを検出するぶれ検出部５０１を有する。制御部は、ぶれ検出部で検出されたぶれに基づいて、第一の相関演算により得られた第一のデフォーカス量または第二の相関演算により得られた第二のデフォーカス量のいずれか一方を選択する。

本実施形態の信号処理装置によれば、画質を劣化させることなく、高速かつ高精度な焦点検出を行うことができる。

（第三の実施形態）
次に、図７を参照して、本発明の第三の実施形態における撮像装置の構成について説明する。図７は、本実施形態における撮像装置１００ｂのブロック図である。撮像装置１００ｂは、第一の信号処理部１０３ｂおよび第二の信号処理部１１３ｂを有する。第一の信号処理部１０３ｂは、撮像素子駆動部１２０および第一の記憶部１２１を有する点で、コントラスト値算出部１０７および記憶部１１０を有する第一の実施形態の第一の信号処理部１０３と異なる。第二の信号処理部１１３ｂは、第二の記憶部１２２を有する点で、第一の実施形態の第二の信号処理部１１３と異なる。なお、撮像装置１００ｂの他の構成は、第一の実施形態の撮像装置１００と同様であるため、その説明を省略する。

撮像素子駆動部１２０は、第一のシステム制御部１１２からの指示（撮像素子駆動指示情報）に応じて、撮像素子１０２の駆動を制御する。撮像素子１０２は、電子シャッタ機能を有していてもよい。その場合、撮像素子１０２は、撮像素子駆動部１２０から出力される制御信号に応じて所望の露光時間となるように電子シャッタ機能を実行しても良い。

第一の記憶部１０８は、以下の２つの役割を持つ。第一の役割は、帯域削減部１０９で輝度信号を生成する際に、垂直方向に加算するためにラインメモリとして複数の瞳分割信号を記憶する役割である。第二の役割は、後述する第一の相関演算部（第一の位相差測距部）１１１で垂直方向に相関演算を行う際に、撮像素子１０２からラスタスキャン順序で入力されてくる信号を９０°回転させて読み出しまたは書き込みをする役割である。第二の記憶部１２２も、第一の記憶部１０８と同じ役割を有する。

次に、図８を参照して、本実施形態における撮像素子１０２の画素部８０６について説明する。図８は、撮像素子１０２の画素部８０６の模式図である。撮像素子１０２は、行列状に配置された複数の画素部８０６を有する。画素部８０６は、入射光に応じた電荷を生成するフォトダイオード（ＰＤ）等の光電変換部を複数個含む。本実施形態では、光電変換部を４個有する画素部８０６を示すが、これに限定されるものではない。

画素部８０６は、光電変換部８０１（第一の光電変換部）、光電変換部８０２（第二の光電変換部）、光電変換部８０３（第三の光電変換部）、および、光電変換部８０４（第四の光電変換部）を有する。画素部８０６は、光電変換部８０１、８０２、８０３、８０４に共有されるマイクロレンズ８０５をさらに有する。すなわち、光電変換部８０１、８０２、８０３、８０４には、同一のマイクロレンズ８０５により導かれた光が入射される。撮像素子１０２内に配列されている他の画素部も、同様の光電変換部を有する。

光電変換部８０１から得られる信号をＡ像、光電変換部８０２から得られる信号をＢ像、光電変換部８０３から得られる信号をＣ像、光電変換部８０４から得られる信号をＤ像と呼ぶ。光電変換部８０１、８０２、８０３、８０４（第一の群）から出力される信号を加算することで、瞳分割されていない画像信号が得られる。これをＡ＋Ｂ＋Ｃ＋Ｄ像（第一の加算信号）と呼ぶ。

また、光電変換部８０１、８０２、８０３、８０４（第一の群）の一部である光電変換部８０１と８０２（第二の群）から得られる信号を加算することで、上側に配された光電変換部からの信号（上信号）が得られる。これをＡ＋Ｂ像（第二の加算信号）と呼ぶ。光電変換部８０３と８０４（第三の群）から得られる信号を加算することで、下側に配された光電変換部からの信号（下信号）が得られる。これをＣ＋Ｄ像（第三の加算信号）と呼ぶ。このようにして、上下（第一の瞳分割方向）に瞳分割された信号が得られる。

一方、光電変換部８０１、８０２、８０３、８０４（第一の群）の一部であって、上記と異なる組み合わせである光電変換部８０１と８０３（第二の群）から得られる信号を加算することで、左側に配された光電変換部からの信号（左信号）が得られる。これをＡ＋Ｃ像（第二の加算信号）と呼ぶ。光電変換部８０２と８０４（第三の群）から得られる信号を加算することで、右側に配された光電変換部からの信号（右信号）が得られる。これをＢ＋Ｄ像（第三の加算信号）と呼ぶ。このようにして、左右（第二の瞳分割方向）に瞳分割された信号が得られる。

以上のように、加算対象となる各光電変換部からの信号を変えることで左右に瞳分割された信号または上下に瞳分割された信号を得ることが可能であり、瞳分割方向を変更可能である。また、瞳分割されてない画像信号を得ることも可能である。

次に、図９を参照して、撮像素子１０２の回路構成について説明する。図９は、撮像素子１０２の回路ブロック図である。なお図９では、説明の簡略化のため、４つの画素部の構造のみが示されているが、行数および列数は図示されている個数と異なっていてもよく、任意の行数および列数とすることができる。

撮像素子１０２は、撮像素子駆動部１２０からの入力部として、瞳分割指示入力端子１２０−１、水平同期信号入力端子１２０−２、垂直同期信号入力端子１２０−３、及び指示情報更新信号入力端子１２０−４を有する。また撮像素子１０２は、ＤＦＥ（デジタルフロントエンド）３１３への入力部として、第一の出力端子３１２−１、第二の出力端子３１２−２、第三の出力端子３１２−３、第四の出力端子３１２−４を有する。

瞳分割指示入力端子１２０−１には、撮像素子駆動部１２０から瞳分割指示情報が入力される。水平同期信号入力端子１２０−２には、撮像素子駆動部１２０から水平同期信号ＨＤが入力される。垂直同期信号入力端子１２０−３には、撮像素子駆動部１２０から垂直同期信号ＶＤが入力される。指示情報更新信号入力端子１２０−４には、撮像素子駆動部１２０から指示情報更新信号が入力される。

撮像素子１０２は、上述の画素部８０６に加え、タイミング信号発生回路３０１、第一のバッファ３０２、第二のバッファ３０３、転送信号修正回路３０５、及び水平読出し回路３１１を有する。また水平読み出し回路３１１には不図示の列ＡＤコンバータも実装されており、アナログ信号からデジタル信号へ変換される。また、撮像素子１０２は、転送信号共有バス３０４、転送信号線３０６、行読み出し制御信号線３０７、リセット信号線３０８、列読出し信号線３０９、及び水平駆動制御信号線３１０を有する。第一のバッファ３０２、第二のバッファ３０３、及び転送信号修正回路３０５は、撮像素子１０２の画素列ごとに設けられている。

第一のバッファ３０２は、入力された瞳分割指示情報を保持し、第二のバッファ３０３に出力する。第二のバッファ３０３は、指示情報更新信号に基づくタイミングで、保持している情報を入力された瞳分割指示情報に更新し、転送信号修正回路３０５に出力する。水平同期信号ＨＤおよび垂直同期信号ＶＤは、タイミング信号発生回路３０１に入力される。タイミング信号発生回路３０１は、水平同期信号ＨＤ及び垂直同期信号ＶＤに基づくタイミングで、転送信号共有バス３０４、行読出し制御信号線３０７、リセット信号線３０８、水平駆動制御信号線３１０に制御信号を出力する。

転送信号修正回路３０５は、瞳分割指示情報に基づいて、転送信号共有バス３０４から入力される転送信号の論理値を修正して、各列の転送信号線３０６に出力する。転送信号線３０６は、光電変換部８０１、８０２、８０３、８０４に対応する４本の転送信号線３０６−１、３０６−２、３０６−３、３０６−４で構成される。これらの転送信号線３０６−１、３０６−２、３０６−３、３０６−４は画素部８０６に接続される。タイミング信号発生回路３０１は、行読出し制御信号線３０７を介して各画素部８０６に行読出し制御信号ＳＥＬを供給する。また、タイミング信号発生回路３０１は、リセット信号線３０８を介して各画素部８０６にリセット信号ＲＥＳを供給する。

画素部８０６は、これらの制御信号に基づいて、光電変換部８０１、８０２、８０３、８０４からの信号を列読出し信号線３０９に出力する。各列の列読出し信号線３０９からの出力信号は、水平読出し回路３１１に入力される。水平読出し回路３１１は、タイミング信号発生回路３０１から水平駆動制御信号線３１０を介して入力される制御信号に基づき第一の出力端子３１２−１、第二の出力端子３１２−２、第三の出力端子３１２−３、第四の出力端子３１３−４から信号を順次出力する。これは、列読出し信号線３０９からの信号を列ごとにアナログ信号からデジタル変換へ変換するＡＤ変換と同時に行われる。

次に、図１０を参照して、撮像素子１０２の画素部８０６の回路構成について説明する。図１０は、本発明の撮像素子１０２の画素部の回路図である。撮像素子１０２は、光電変換部８０１、８０２、８０３、８０４にそれぞれ接続された転送トランジスタ４０１、４０２、４０３、４０４を有する。光電変換部８０１、８０２、８０３、８０４の各々で生成された電荷は、転送トランジスタ４０１、４０２、４０３、４０４の各々を介してフローティングディフュージョン４０７に転送される。転送トランジスタ４０１、４０２、４０３、４０４は、転送信号線３０６−１、３０６−２、３０６−３、３０６−４により入力される転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４によりそれぞれ導通または非導通に制御される。

撮像素子１０２は、さらにリセットトランジスタ４０６、行読出しトランジスタ４０８、ソースフォロワトランジスタ４０９を有する。リセットトランジスタ４０６は、電源線４０５とフローティングディフュージョン４０７との間に接続される。行読出しトランジスタ４０８は、フローティングディフュージョン４０７とソースフォロワトランジスタ４０９のゲートノードとの間に接続される。ソースフォロワトランジスタ４０９のドレインは電源線４０５に接続される。ソースフォロワトランジスタ４０９のソースは列読出し信号線３０９に接続される。リセットトランジスタ４０６は、リセット信号線３０８から入力されるリセット信号ＲＥＳにより導通または非導通に制御される。行読出しトランジスタ４０８は、行読出し制御信号線３０７から入力される行読出し制御信号ＳＥＬにより導通または非導通に制御される。

次に、図１１を参照して、撮像素子１０２の駆動タイミングについて説明する。図１１は、撮像素子１０２の駆動タイミングチャートである。図１１には、水平同期信号ＨＤ、垂直同期信号ＶＤ、及び指示情報更新信号の動作タイミングが示されている。１垂直同期期間内には複数の水平同期期間が含まれる。各水平同期期間は、水平ブランキング期間（Ｈ−ＢＬＫ）と水平駆動期間（Ｈ駆動）からなる。ある水平同期期間の水平ブランキング期間と水平駆動期間をそれぞれ期間ｔ５０１、期間ｔ５０２とし、その次の水平同期期間の水平ブランキング期間と水平駆動期間をそれぞれ期間ｔ５０３、期間ｔ５０４とする。期間ｔ５０２において、ある画素行に対応する瞳分割指示情報が瞳分割指示入力端子１２０−１に入力される。瞳分割指示情報は各画素列に対応する第一のバッファ３０２に保持される。第一のバッファ３０２に保持された瞳分割指示情報は第二のバッファ３０３に出力される。なお、瞳分割指示情報は、０または１の論理値を有するデジタル信号である。０は上下方向、左右方向の２種類の瞳分割を指示するための信号であり、１は左右方向のみの瞳分割を指定するための信号である。

期間ｔ５０３の初期において、指示情報更新信号入力端子１２０−４から第二のバッファ３０３に入力される指示情報更新信号に応じて、第二のバッファ３０３に保持される値が、第一のバッファ３０２から出力される値に更新される。これにより、瞳分割指示情報は、第二のバッファ３０３から転送信号修正回路３０５に入力される。

転送信号共有バス３０４からの転送信号は、転送信号修正回路３０５に入力される。転送信号修正回路３０５は、瞳分割指示情報に基づいて、転送信号を瞳分割の指示に対応した動作となるように修正する。なお、瞳分割指示情報が転送信号共有バス３０４からの転送信号をそのまま通過させるように動作させてもよく、この動作も「修正」に含まれる。

次に、図１２を参照して、水平ブランキング期間ｔ５０３における画素部８０６の駆動タイミングについて説明する。図１２は、水平ブランキング期間ｔ５０３における画素部８０６の駆動タイミングチャートである。図１２（ａ）は、瞳分割指示情報の値が０の場合の駆動タイミングチャートであり、図１２（ｂ）は、瞳分割指示情報の値が１の場合の駆動タイミングチャートである。図１２（ａ）、（ｂ）には、転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４、行読出し制御信号ＳＥＬ，リセット信号ＲＥＳ、フローティングディフュージョン（ＦＤ）４０７に蓄積される信号および列読出し信号線（ＯＵＴ）３０９から出力される信号が示されている。

図１２（ａ）を参照して、瞳分割指示情報の値が０の場合の駆動タイミングを説明する。期間ｔ５０３−１において、転送信号ＴＸ２をＨｉｇｈとする。これにより、転送トランジスタ４０２が導通し、光電変換部８０２に蓄積されたＢ像に対応する電荷がフローティングディフュージョン４０７に転送される。

期間ｔ５０３−２において、行読出し制御信号ＳＥＬをＨｉｇｈとする。これにより、行読出しトランジスタ４０８が導通し、ソースフォロワトランジスタ４０９のゲートノードにフローティングディフュージョン４０７の電圧が入力される。列読出し信号線３０９にはＢ像に対応する電圧信号が出力される。

期間ｔ５０３−３において、転送信号ＴＸ１をＨｉｇｈとする。これにより、転送トランジスタ４０１が導通し、光電変換部８０１に蓄積されたＡ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７に、電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ像に対応する。

期間ｔ５０３−４において、行読出し制御信号ＳＥＬをＨｉｇｈとする。これにより、行読出しトランジスタ４０８が導通し、ソースフォロワトランジスタ４０９のゲートノードにフローティングディフュージョン４０７の電圧が入力される。列読出し信号線３０９にはＡ＋Ｂ像に対応する電圧信号が出力される。

期間ｔ５０３−６において、転送信号ＴＸ３をＨｉｇｈとする。これにより、転送トランジスタ４０３が導通し、光電変換部８０３に蓄積されたＣ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ像に対応する。

期間ｔ５０３−７において、行読出し制御信号ＳＥＬをＨｉｇｈとする。これにより、行読出しトランジスタ４０８が導通し、ソースフォロワトランジスタ４０９のゲートノードにフローティングディフュージョン４０７の電圧が入力される。列読出し信号線３０９にはＡ＋Ｂ＋Ｃ像に対応する電圧信号が出力される。

期間ｔ５０３−８において、転送信号ＴＸ４をＨｉｇｈとする。これにより、転送トランジスタ４０４が導通し、光電変換部８０４に蓄積されたＤ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ＋Ｄ像に対応する。

期間ｔ５０３−９において、期間ｔ５０３−７と同様に、行読出し制御信号線ＳＥＬをＨｉｇｈとすることで、列読出し信号線３０９にはＡ＋Ｂ＋Ｃ＋Ｄ像に対応する電圧信号が出力される。

期間ｔ５０３−１０において、リセット信号ＲＥＳ及び、全ての転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４をＨｉｇｈとする。これにより、全ての光電変換部８０１、８０２、８０３、８０４及びフローティングディフュージョン４０７の蓄積電荷は初期状態にリセットされる。その後、光電変換部８０１、８０２、８０３、８０４では次の読み出し駆動のための光電荷の蓄積が行われる。

このように、瞳分割指示情報の値が０の場合は、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）とＡ＋Ｂ＋Ｃ像、上信号（Ａ＋Ｂ像）、Ｂ像の４つの信号が撮像素子１０２から読み出され、水平読み出し回路３１１に入力される。水平駆動期間ｔ５０４において、水平読み出し回路３１１は、第一の出力端子３１２−１からＢ像を出力し、第二の出力端子３１２−２から上信号（Ａ＋Ｂ像）を出力する。また水平駆動期間ｔ５０４において、水平読み出し回路３１１は、第三の出力端子３１２−３からＡ＋Ｂ＋Ｃ像を出力し、第四の出力端子３１３−４から瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）を出力する。

次に、図１２（ｂ）を参照して、瞳分割指示情報の値が１の場合の駆動タイミングを説明する。期間ｔ５０３−１において、転送信号ＴＸ３をＨｉｇｈとする。これにより、転送トランジスタ４０３が導通し、光電変換部８０３に蓄積されたＣ像に対応する電荷がフローティングディフュージョン４０７に転送される。

期間ｔ５０３−２において、転送信号ＴＸ１をＨｉｇｈとする。これにより、転送トランジスタ４０１が導通し、光電変換部８０１に蓄積されたＡ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７に、電荷の加算が行われ、蓄積される電荷はＡ＋Ｃ像に対応する。

期間ｔ５０３−３において、行読出し制御信号ＳＥＬをＨｉｇｈとする。これにより、行読出しトランジスタ４０８が導通し、ソースフォロワトランジスタ４０９のゲートノードにフローティングディフュージョン４０７の電圧が入力される。列読出し信号線３０９にはＡ＋Ｃ像に対応する電圧信号が出力される。

期間ｔ５０３−５において、転送信号ＴＸ２をＨｉｇｈとする。これにより、転送トランジスタ４０２が導通し、光電変換部８０２に蓄積されたＢ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ像に対応する。

期間ｔ５０３−６において、転送信号ＴＸ４をＨｉｇｈとする。これにより、転送トランジスタ４０４が導通し、光電変換部８０４に蓄積されたＤ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ＋Ｄ像に対応する。

期間ｔ５０３−７において、期間ｔ５０３−３と同様に、行読出し制御信号線ＳＥＬをＨｉｇｈとすることで、列読出し信号線３０９にはＡ＋Ｂ＋Ｃ＋Ｄ像に対応する電圧信号が出力される。

期間ｔ５０３−８において、リセット信号ＲＥＳ及び、全ての転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４をＨｉｇｈとする。これにより、全ての光電変換部８０１、８０２、８０３、８０４及びフローティングディフュージョン４０７の蓄積電荷は初期状態にリセットされる。その後、光電変換部８０１、８０２、８０３、８０４では次の読み出し駆動のための光電荷の蓄積が行われる。

このように、瞳分割指示情報の値が１の場合は、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と左信号（Ａ＋Ｃ像）の２つの信号が撮像素子１０２から読み出され、水平読み出し回路３１１に入力される。

水平駆動期間ｔ５０４において、水平読み出し回路３１１は、第三の出力端子３１２−３から左信号（Ａ＋Ｃ像）を出力し、第四の出力端子３１３−４から瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）を出力する。このとき、第一の出力端子３１２−１、第三の出力端子３１２−３からは何も信号は出力されない。

次に、図１３を参照して、撮像素子１０２の出力信号の生成方法について説明する。図１３は、撮像素子１０２の出力信号の生成方法を示す図であり、ＤＦＥ（デジタルフロントエンド）３１３のブロック図を示す。図１３（ａ）は瞳分割指示情報の値が０の場合の処理を示し、図１３（ｂ）は瞳分割指示情報の値が１の場合の処理を示す。図１３（ａ）において、ＤＦＥ（デジタルフロントエンド）３１３の入力信号は上述のように画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）３１２−４とＡ＋Ｂ＋Ｃ像３１２−３、上信号（Ａ＋Ｂ像）３１２−２、Ｂ像３１２−１である。ここで、上信号（Ａ＋Ｂ像）３１２−２と画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）３１２−４はそのまま撮像素子１０２の出力として出力される。Ａ＋Ｂ＋Ｃ像３１２−３とＢ像３１２−１はＡ＋Ｂ＋Ｃ像からＢ像を減算し、左信号（Ａ＋Ｃ像）を生成する。

生成された左信号（Ａ＋Ｃ像）が撮像素子１０２の出力として出力される。すなわち、撮像素子１０２からは上信号（Ａ＋Ｂ像）１０２−１と左信号（Ａ＋Ｃ像）１０２−２と画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）１０２−３の３つの信号が出力される。出力された３つの信号はセンサ／光学補正部１０４で補正された後、帯域削減部１０９に入力される。帯域削減部１０９は、第一の画素加算部１０６に出力する信号と第二の信号処理部１１３に出力する信号を選択する。

本実施形態では、第一の相関演算部（第一の位相差測距部）１１１は水平方向の相関演算を実施し、第二の相関演算部（第二の位相差測距部）１１７では垂直方向の相関演算を実施することを想定している。このため、帯域削減部１０９から第一の画素加算部１０６に出力される信号は、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と左信号（Ａ＋Ｃ像）である。また、帯域削減部１０９から第二の信号処理部１１３に出力される信号は、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と上信号（Ａ＋Ｂ像）である。このように帯域削減部１０９でデータ量を削減することで、撮像素子１０２から第一の信号処理部１０３の入力信号は３つであるが、第一の信号処理部１０３から第二の信号処理部１１３に対する出力信号は２つになっており、データ量が２／３に削減される。

第一の画素加算部１０６は画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と左信号（Ａ＋Ｃ像）とを輝度加算し、第一の加算信号分離部１０８は画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）から左信号（Ａ＋Ｃ像）を減算する。これにより、右信号（Ｂ＋Ｄ像）が生成される。第一の相関演算部１１１は、左信号（Ａ＋Ｃ像）と右信号（Ｂ＋Ｄ像）と入力し、後述する像ずれ量を算出する。

第二の信号処理部１１３ｂは、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と上信号（Ａ＋Ｂ像）を受け取る。カメラ信号処理部１１４は、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）に対して、例えば色変換、ホワイトバランス等の既知の画像処理を行う。第二の記憶部１２２は、第二の画素加算部１１５で輝度信号を生成するとともに、生成した輝度信号を９０°回転させて第二の加算信号分離部１１６に出力するため、垂直方向の加算用のラインメモリとして瞳分割信号を記憶する。また第二の画素加算部１１５は、第二の相関演算部１１７で垂直方向に相関演算を行う際に、ラスタスキャン順序で入力されてきた画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と上信号（Ａ＋Ｂ像）信号を９０°回転させて読み出しを行う。

第二の加算信号分離部１１６は、９０°回転した画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と上信号（Ａ＋Ｂ像）信号を受け取り、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）から上信号（Ａ＋Ｂ像）を減算することで、下信号（Ｃ＋Ｄ像）を生成する。第二の相関演算部１１７は、上信号（Ａ＋Ｂ像）と下信号（Ｃ＋Ｄ像）を入力し、後述する像ずれ量を算出する。第一のシステム制御部１１２は、第一の相関演算部１１１で得られた像ずれ量と第二の相関演算部１１７で得られた像ずれ量の信頼性に基づいて、より信頼性の高い方の像ずれ量を選択し、像ずれ量に対して所定の敏感度を掛けることでデフォーカス量を算出する。

次に、図１４を参照して、撮像素子１０２の垂直同期期間における相関演算のタイミングについて説明する。図１４は、撮像素子１０２の垂直同期期間における相関演算のタイミングチャートであり、垂直同期信号ＶＤに対して、撮像素子出力期間と水平方向相関演算期間と垂直方向相関演算期間を示している。垂直同期信号ＶＤは、撮像素子駆動部１２０から入力され、１垂直同期期間内に撮像素子出力期間、水平方向相関演算期間、垂直方向相関演算期間が入っていれば、１フレーム内に水平、垂直の像ずれ量が算出できることになる。

まず、撮像素子１０２から上信号（Ａ＋Ｂ像）と左信号（Ａ＋Ｃ像）と画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）の３つの信号が出力される。水平方向の相関演算は第一の相関演算部１１１で行い、垂直方向の相関演算は第二の相関演算部１１７で行われる。撮像素子１０２からはラスタスキャン順序で信号が入力されるため、水平方向の相関演算はその順序に従って処理をする。一方、垂直方向の相関演算はラスタスキャン順序で入力される信号に対して垂直方向に相関演算を行う必要があるため、複数ライン分の信号が入力されて初めて処理することができる。また垂直方向の相関演算を行う際には、第二の記憶部１２２に信号を保持しておき、９０°回転させてから第二の相関演算部１１７に入力させる。上記理由から、垂直方向相関演算期間は水平方向相関演算期間よりも処理の開始期間が遅れ、その分処理の終了期間も遅れたタイミングチャートとなる。

しかしながら、第一の信号処理部１０３ｂと第二の信号処理部１１３ｂの２つの信号処理部で並行して処理を行うため、１垂直同期期間内に処理を終えることができる。

図１３（ｂ）において、ＤＦＥ３１３の入力信号は、上述のように画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）３１２−４と左信号（Ａ＋Ｃ像）３１２−２である。ここで、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）３１２−４と左信号（Ａ＋Ｃ像）３１２−２はそのまま撮像素子１０２の出力として出力される。すなわち、撮像素子１０２からは左信号（Ａ＋Ｃ像）１０２−１と画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）１０２−３の２つの信号が出力される。出力された２つの信号はセンサ／光学補正部１０４で補正された後、帯域削減部１０９に入力される。帯域削減部１０９は、第一の画素加算部１０６に出力する信号と第二の信号処理部１１３に出力する信号を選択する。

本実施形態において、第一の相関演算部１１１は水平方向の相関演算を実施し、第二の相関演算部１１７は垂直方向の相関演算を実施することを想定している。このため、帯域削減部１０９から第一の画素加算部１０６に出力される信号は、画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と左信号（Ａ＋Ｃ像）である。また、帯域削減部１０９から第二の信号処理部１１３に出力される信号は画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）のみであり、第二の相関演算部１１７では処理しないことを意図している。このように帯域削減部１０９でデータ量を削減したことで、撮像素子１０２から第一の信号処理部１０３の入力信号は２つであるが、第一の信号処理部１０３から第二の信号処理部１１３の入力信号は１つになっており、データ量は１／２に削減されている。

第一の画素加算部１０６は画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と左信号（Ａ＋Ｃ像）を輝度加算し、第一の加算信号分離部１０８は画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）から左信号（Ａ＋Ｃ像）を減算する。これにより、右信号（Ｂ＋Ｄ像）が生成される。第一の相関演算部１１１は、左信号（Ａ＋Ｃ像）と右信号（Ｂ＋Ｄ像）を入力し、後述する像ずれ量を算出する。

第二の信号処理部１１３ｂは画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）を受け取り、カメラ信号処理部１１４は画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）に対して、例えば色変換、ホワイトバランス等の既知の画像処理を行う。第二の相関演算部１１７は、動作させることは想定していない。このため、第二の記憶部１２２、第二の画素加算部１１５、第二の加算信号分離部１１６、および、第二の相関演算部１１７は、省電目的でｃｌｋ信号を停止してもよい。第一のシステム制御部１１２は、第一の相関演算部１１１で得られた像ずれ量に対して所定の敏感度を掛けることで、デフォーカス量を算出する。

このように、撮像装置１００ｂのモードや、特定したい被写体等に応じて、撮像素子１０２からの信号の読み出し方式や信号の読み出し方式に応じて各処理部の停止動作を制御することで最適な焦点検出処理や省電動作を行うことができる。

次に、図１５および図１６を参照して、第一の相関演算部１１１および第二の相関演算部１１７において行われる瞳分割信号を用いた像ずれ量の算出方法について説明する。図１５は、図８に示される画素部８０６のＳ−Ｓ‘断面の模式図である。図１５には、画素部８０６と射出瞳の位置関係が示されている。画素部８０６の左側には光電変換部８０１、８０２が配置され、画素部８０６の右側には光電変換部８０３、８０４が配置されている。光電変換部８０１、８０２、８０３、８０４の上方にはこれらの光電変換部に共有されるマイクロレンズ８０５が配されている。マイクロレンズ８０５の頂部が合焦時の撮像レンズ（光学系１０１）の結像面９０６となる。

さらに図１５には、射出瞳９０１、９０４、９０５が示されている。射出瞳９０１は、画素部８０６側から見た撮像レンズの射出瞳である。射出瞳９０４は、マイクロレンズ８０５によって射出瞳位置に投影された光電変換部８０３、８０４の射出瞳である。射出瞳９０５は、射出瞳位置に投影された光電変換部８０１、８０２の射出瞳である。合焦時の撮影レンズの結像面９０６から射出瞳９０１までの距離を射出瞳位置と呼ぶ。射出位置は、光学系１０１の絞り（不図示）よりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などにより変化する。また、射出瞳の大きさは、絞りの径によって変化する。射出瞳９０５を通る光束９０３は光電変換部８０１、８０２へ入射し、射出瞳９０４を通る光束９０２は光電変換部８０３、８０４に入射出ように設計される。

このように、左側に位置する光電変換部８０１、８０２には、光学系１０１の射出瞳９０１のうち右側の射出瞳９０５の領域で見た像が得られる。同様に、光電変換部８０３、８０４には、光学系１０１の射出瞳９０１のうち左側の射出瞳９０４の領域で見た像が得られる。なお、撮像素子１０２を構成する他の画素部についても、同様の光学設計がなされている。光束９０２によって撮像素子１０２上で得られる像をＣ＋Ｄ像、光束９０３によって撮像素子１０２上で得られる像をＡ＋Ｂ像とすると、Ａ＋Ｂ像とＣ＋Ｄ像の差は光束９０２と光束９０３と視差に対応する。

図１６は、位相差測距（位相差検出方式の焦点検出）を説明するグラフである。図１６には、前ピン状態（被写体よりも焦点が手前にある状態）における画像信号１００１（Ａ＋Ｂ像）と画像信号１００２（Ｃ＋Ｄ像）が示されている。図１６において、縦軸は信号強度、横軸は画素のＳ−Ｓ’線方向の位置（画素位置）である。位相差検出方式による被写体までの距離情報は、画像信号１００１と画像信号１００２による像間の距離１００３、及び位置における結像面から射出瞳までの距離から算出される。第一の相関演算部１１１は、算出された被写体までの距離情報を像ずれ量として、第一のシステム制御部１１２へ出力する。第一のシステム制御部１１２は、像ずれ量に基づいて、目標フォーカス位置を決定し、現在のフォーカス位置からの移動方向及び移動量をフォーカス情報として、光学系駆動部１０５に出力する。光学系駆動部１０５は、フォーカス情報に基づいて光学系１０１を駆動し、焦点位置調整を行う。

なお本実施形態では、上下方向に瞳分割して読み出された画像信号（上信号と下信号）による位相差測距を説明したが、左右方向に瞳分割して読み出された画像信号（左信号と右信号）による位相差測距も同様にして実現可能である。すなわち、焦点検出方向に基づいて、位相差測距を変更する。

このように本実施形態において、信号処理装置（撮像装置１００ｂ）は、帯域削減部１０９、撮像素子駆動部１２０、第一の相関演算部１１１、第二の相関演算部１１７、および、制御部（第一のシステム制御部１１２）を有する。帯域削減部１０９は、撮像素子１０２から得られる第一の像信号の帯域を削減して第二の像信号を生成する。撮像素子駆動は、焦点検出のために撮像素子を駆動する。第一の相関演算部は、第一の像信号に基づいて第一の相関演算を行う。第二の相関演算部は、第二の像信号に基づいて第二の相関演算を行う。制御部は、焦点検出方向に基づいて、第一の相関演算により得られた第一のデフォーカス量または第二の相関演算により得られた第二のデフォーカス量の一方を選択する。

好ましくは、撮像素子１０２は、１つのマイクロレンズに対して複数の光電変換部を有し、第一の加算信号、第二の加算信号、および、第三の加算信号の少なくとも２つの信号を出力する。第一の加算信号は、複数の光電変換部のうちの第一の群から出力される信号を加算して得られる信号である。第二の加算信号は、複数の光電変換部のうちの第一の群の一部である第二の群から出力される信号を加算して得られる信号である。第三の加算信号は、複数の光電変換部のうちの第一の群の一部である第三の群から出力される信号を加算して得られる信号である。第一の相関演算部は、第一の加算信号および第二の加算信号に基づいて第一の相関演算を行う。帯域削減部は、第一の加算信号および第三の加算信号のそれぞれの帯域を削減する。第二の相関演算部は、第一の加算信号および第三の加算信号に基づいて第二の相関演算を行う。より好ましくは、第一の群に含まれる複数の光電変換部は、同一のマイクロレンズにより導かれた光に基づく信号を出力する。また好ましくは、第一の相関演算部は、第二の加算信号と、第一の加算信号から第二の加算信号を減算して生成された第四の加算信号（Ｃ＋Ｄ像）とに基づいて、第一の相関演算を行う。また好ましくは、第二の相関演算部は、第三の加算信号と、第一の加算信号から第三の加算信号を減算して生成された第五の加算信号（Ａ＋Ｃ像）とに基づいて、第二の相関演算を行う。

本実施形態によれば、撮像素子１０２から画像信号と複数の瞳分割信号を受信し、第一の信号処理部１０３ｂと第二の信号処理部１１３ｂでそれぞれ水平方向、垂直方向の位相差測距を行う。また、帯域削減部１０９でデータ量を減らし、第二の信号処理部１１３ｂが受信可能な伝送レートに落とす。これにより、記録用の画像データに対して画質を劣化させることなく、高速に位相差測距による焦点検出を実現することができる。また本実施形態では、第一の信号処理部１０３ｂで水平方向の位相差測距を行い、第二の信号処理部１１３ｂで垂直方向の位相差測距を行ったが、その逆でもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、画質の劣化を低減しつつ、高速かつ高精度な焦点検出が可能な信号処理装置、撮像装置、信号処理方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置（信号処理装置）
１０７ コントラスト値算出部
１０９ 帯域削減部
１１１ 第一の相関演算部
１１２ 第一のシステム制御部
１１７ 第二の相関演算部
１１８ 第二のシステム制御部

Claims (20)

1. 撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減部と、
   コントラスト値を算出するコントラスト値算出部と、
   前記第一の像信号に基づいて第一の相関演算を行う第一の相関演算部と、
   前記第二の像信号に基づいて第二の相関演算を行う第二の相関演算部と、
   焦点検出モードまたはコントラスト値に基づいて、前記帯域削減部、前記第一の相関演算部、または、前記第二の相関演算部の少なくとも一つの処理を変更する制御部と、を有することを特徴とする信号処理装置。
2. 前記帯域削減部、前記コントラスト値算出部、および、前記第一の相関演算部は、第一の信号処理部を構成し、
   前記第二の相関演算部は、前記第一の信号処理部に接続された第二の信号処理部を構成することを特徴とする請求項１に記載の信号処理装置。
3. 前記帯域削減部の処理の変更は、前記第一の像信号の水平方向または垂直方向の加算処理、フレーム単位での加算処理、または、前記第一の像信号の削減処理の変更を含むことを特徴とする請求項１または２に記載の信号処理装置。
4. 前記第一の相関演算部または前記第二の相関演算部の処理の変更は、相関演算のシフト演算数、前記相関演算のための像信号の範囲、または、前記像信号の評価帯域の変更を含むことを特徴とする請求項１乃至３のいずれか一項に記載の信号処理装置。
5. 前記コントラスト値算出部は、前記第一の像信号を混合した画像信号に対して二次元のエリアを設定するエリア設定部を備え、
   前記コントラスト値は、前記エリア設定部で設定されたエリアの中の全画素の最大値、前記全画素の最大値から前記全画素の最小値を引いた値、前記全画素に対して所定のレベルよりも大きい値をカウントしたカウント値、または、各水平方向の最大値を垂直方向に加算した加算値であることを特徴とする請求項１乃至４のいずれか一項に記載の信号処理装置。
6. ぶれを検出するぶれ検出部を更に備え、
   前記制御部は、前記ぶれ検出部で検出された前記ぶれに基づいて、前記第一の相関演算により得られた第一のデフォーカス量または前記第二の相関演算により得られた第二のデフォーカス量のいずれか一方を選択することを特徴とする請求項１乃至５のいずれか一項に記載の信号処理装置。
7. 前記制御部は、前記焦点検出モードが多点モードであるか否かに基づいて、前記帯域削減部、前記第一の相関演算部、または、前記第二の相関演算部の少なくとも一つの処理を変更することを特徴とする請求項１乃至６のいずれか一項に記載の信号処理装置。
8. 前記制御部は、前記コントラスト値が所定の値よりも低いか否かに基づいて、前記帯域削減部、前記第一の相関演算部、または、前記第二の相関演算部の少なくとも一つの処理を変更することを特徴とする請求項１乃至７のいずれか一項に記載の信号処理装置。
9. 撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減部と、
   焦点検出のために前記撮像素子を駆動する撮像素子駆動部と、
   前記第一の像信号に基づいて第一の相関演算を行う第一の相関演算部と、
   前記第二の像信号に基づいて第二の相関演算を行う第二の相関演算部と、
   焦点検出方向に基づいて、前記第一の相関演算により得られた第一のデフォーカス量または前記第二の相関演算により得られた第二のデフォーカス量の一方を選択する制御部と、を有することを特徴とする信号処理装置。
10. 前記帯域削減部、前記撮像素子駆動部、および、前記第一の相関演算部は、第一の信号処理部を構成し、
    前記第二の相関演算部は、前記第一の信号処理部に接続された第二の信号処理部を構成することを特徴とする請求項９に記載の信号処理装置。
11. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有し、前記複数の光電変換部のうちの第一の群から出力される信号を加算して得られた第一の加算信号、前記複数の光電変換部のうちの前記第一の群の一部である第二の群から出力される信号を加算して得られた第二の加算信号、および、前記複数の光電変換部のうちの前記第一の群の一部である第三の群から出力される信号を加算して得られた第三の加算信号の少なくとも２つの信号を出力し、
    前記第一の相関演算部は、前記第一の加算信号および前記第二の加算信号に基づいて前記第一の相関演算を行い、
    前記帯域削減部は、前記第一の加算信号および前記第三の加算信号のそれぞれの帯域を削減し、
    前記第二の相関演算部は、前記第一の加算信号および前記第三の加算信号に基づいて前記第二の相関演算を行うことを特徴とする請求項９または１０に記載の信号処理装置。
12. 前記第一の群に含まれる前記複数の光電変換部は、同一のマイクロレンズにより導かれた光に基づく信号を出力することを特徴とする請求項１１に記載の信号処理装置。
13. 前記第一の相関演算部は、前記第二の加算信号と、前記第一の加算信号から前記第二の加算信号を減算して生成された第四の加算信号とに基づいて、前記第一の相関演算を行うことを特徴とする請求項１１または１２に記載の信号処理装置。
14. 前記第二の相関演算部は、前記第三の加算信号と、前記第一の加算信号から前記第三の加算信号を減算して生成された第五の加算信号とに基づいて、前記第二の相関演算を行うことを特徴とする請求項１１乃至１３のいずれか一項に記載の信号処理装置。
15. 前記制御部は、前記第一のデフォーカス量または前記第二のデフォーカス量に基づいて、フォーカス制御を行うことを特徴とする請求項１乃至１４のいずれか一項に記載の信号処理装置。
16. 撮像素子と、
    請求項１乃至１５のいずれか一項に記載の信号処理装置と、を有することを特徴とする撮像装置。
17. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有することを特徴とする請求項１０に記載の撮像装置。
18. 撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減ステップと、
    コントラスト値を算出するコントラスト値算出ステップと、
    前記第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算ステップと、
    前記第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算ステップと、
    焦点検出モードまたはコントラスト値に基づいて、前記帯域削減ステップ、前記第一の相関演算ステップ、または、前記第二の相関演算ステップの少なくとも一つの処理を変更する制御ステップと、を有することを特徴とする信号処理方法。
19. 撮像素子から得られる第一の像信号の帯域を削減して第二の像信号を生成する帯域削減ステップと、
    焦点検出のために前記撮像素子を駆動する撮像素子駆動ステップと、
    前記第一の像信号に基づいて第一のデフォーカス量を求める第一の相関演算ステップと、
    前記第二の像信号に基づいて第二のデフォーカス量を求める第二の相関演算ステップと、
    焦点検出方向に基づいて、前記第一のデフォーカス量または前記第二のデフォーカス量の一方を選択する制御ステップと、を有することを特徴とする信号処理方法。
20. 請求項１８または１９に記載の信号処理方法をコンピュータに実行させることを特徴とするプログラム。

Images