JP2011257444A - 撮像装置 - Google Patents

Abstract

【課題】広い焦点検出領域を用いることが可能であって、かつ相関演算のための回路規模が大きくなることのない撮像装置を提供する。
【解決手段】撮像装置１は、結像光学系１９と、撮像素子１１と、結像光学系１９の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出用画素から得られる複数の焦点検出用信号の位相差に基づいて、デフォーカス量を算出するデフォーカス量算出回路１５と、算出されたデフォーカス量に応じて合焦状態となるように結像光学系１９を駆動するフォーカス部１８と、被写体像の信号成分の解析結果に基づいて、デフォーカス量を算出するために用いられない複数の焦点検出用信号を間引く間引き回路２４とを有する。
【選択図】図２

Description

本発明は、撮像装置に関し、特に、焦点検出機能を有する撮像装置に関する。

従来より、カメラ等の撮像装置における焦点検出方法の一つとして、位相差検出法がある。位相差検出のためのセンサを用いることによって、デジタルカメラ等の撮像装置におけるオートフォーカス（以下、AFという）機能が実現されている。
近年の撮像装置のデジタル化に伴い、被写体を撮影する撮像素子内の複数の画素を利用して位相差を検出する装置も提案されている（例えば、特許文献１参照）。すなわち、撮像素子内に、通常の撮影用の画素に加え、焦点検出用の画素を配置させることで、撮像と焦点検出が同時に行われる。

その提案に係る撮像装置は、被写体を撮像する撮像素子の一部の画素を、位相差を検出するための複数の画素対として利用することにより、焦点検出のためのセンサを不要とするものである。その複数の画素対は、撮像素子上において交互に離散的に配置され、結像光学系における所定の２つの瞳領域を通過した光束だけを受光できるように配置される。さらに、撮像素子上には、複数の画素対の各画素に対応して、マイクロレンズあるいは遮光マスクが偏心して配置される。
このような撮像素子を用いることにより、撮影用の撮像素子とは別に、焦点位置検出用のセンサ及びそのセンサ用の光学系が不要となる。

特開２００９−２１７２５２号公報

デフォーカス量が大きい場合、上記提案に係る装置では、遠近競合等による誤検出をさけるために狭い焦点検出領域が用いられているが、広い焦点検出領域を用いるのが好ましい。
しかし、デフォーカス量が大きい場合に位相差を検出するために、撮像素子上に広い焦点検出領域を設けた場合、その領域内の焦点検出用の画素数が増え、結果として、相関演算のための回路規模が大きくなるという問題が生じる。
そこで、本発明は、広い焦点検出領域を用いることが可能であって、かつ相関演算のための回路規模が大きくなることのない撮像装置を提供することを目的とする。

本発明の一態様によれば、被写体像を形成する結像光学系と、前記被写体像を光電変換する複数の画素を含む撮像素子と、前記結像光学系の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出用画素から得られる複数の焦点検出用信号の位相差に基づいて、デフォーカス量を算出するデフォーカス量算出部と、前記デフォーカス量算出部において算出された前記デフォーカス量に応じて合焦状態となるように前記結像光学系を駆動するフォーカス部と、前記被写体像の信号成分の解析結果に基づいて、前記デフォーカス量を算出するために用いられない前記複数の焦点検出用信号を間引く間引き部とを有する撮像装置を提供することができる。
本発明の一態様において、前記複数の焦点検出用画素は、前記撮像素子に含まれることが好ましい。
本発明の一態様において、前記解析結果は、前記焦点用検出画素から得られる前記複数の焦点検出用信号に含まれる高周波成分量であることが好ましい。
本発明の一態様において、前記解析結果は、前記撮像素子からの前記被写体像の画像信号に含まれる高周波成分量であることが好ましい。
本発明の一態様において、前記解析結果は、前記撮像素子からの前記被写体像の画像信号の平均輝度であることが好ましい。
本発明の一態様において、前記間引き部は、前記解析結果と１又は２以上の閾値とを比較して、前記複数の焦点検出用信号の間引き量を決定することが好ましい。
本発明の一態様において、前記間引き部は、前記解析結果に応じた間引き量を予め記憶する間引き量記憶テーブルに基づいて、前記複数の焦点検出用信号の間引き量を決定することが好ましい。
本発明の一態様において、前記焦点検出画素は、前記撮像素子とは別に設けられたセンサに含まれる画素であることが好ましい。

本発明の撮像装置によれば、広い焦点検出領域を用いることが可能であって、かつ相関演算のための回路規模が大きくなることがない。

本発明の実施の形態に係わる撮像装置の構成を示す構成図である。 本発明の実施の形態に係わる相関演算部１４の構成を示すブロック図である。 本発明の実施の形態に係わる撮像素子１１の画素配列を説明するための模式図である。 本発明の実施の形態に係わる、焦点検出用の画素が撮像面１１ａの複数行に設けられている場合の、撮像素子１１の画素配列を説明するための模式図である。 本発明の実施の形態に係わる、相関演算回路２６の構成を示す回路図である。 図５の回路の動作を示すタイミングチャートである。 本発明の実施の形態に係わる、デフォーカス量が小さいときの、２つの画像信号VSの様子を示す図である。 本発明の実施の形態に係わる、デフォーカス量が大きい場合の、瞳領域AとBにおいて得られた２つの画像信号VSの位相差を説明するための図である。 本発明の実施の形態の変形例に係る撮像装置１Aの構成を説明するための図である。 本発明の実施の形態の変形例に係るセンサ４４の撮像面における、焦点検出用の複数の画素対の画素配列を説明するための模式図である。

以下、図面を参照して本発明の実施の形態を説明する。
まず、図１に基づき、本実施の形態に係わる撮像装置の構成を説明する。図１は、本実施の形態に係わる撮像装置の構成を示す構成図である。
撮像装置１は、撮像素子１１、撮像素子駆動回路１２、焦点検出画素分離部１３、相関演算部１４、デフォーカス量算出回路１５、補間回路１６，画像処理部１７、フォーカス部１８、及び被写体像を形成する結像光学系１９を含んで構成されている。例えば、撮像装置１は、AF機能を有するデジタルカメラ等であり、対物光学系である結像光学系１９を介して受光した被写体像が撮像素子１１上で結像し、撮像素子１１からの撮像信号が画像処理部１７で画像処理される。そして、画像処理により生成した画像データが図示しない記録媒体等に記録される。

後述するように、撮像素子１１は、被写体像を光電変換する複数の画素を含む。より具体的には、撮像素子１１は、撮影用の画素と、焦点検出用の画素を含み、撮像素子駆動回路１２によって駆動され、動画の映像信号である画像信号VSを出力する。
撮像素子駆動回路１２は、撮像素子１１に水平同期信号HDと垂直同期信号VDを出力して、撮像素子１１における２次元のマトリックス状に配置された複数の画素を所定の順序で駆動する。さらに、撮像素子駆動回路１２は、水平同期信号HDと垂直同期信号VDに基づいて、撮像素子１２の読み出し画素の位置情報である読み出し位置情報PIを焦点検出画素分離部１３に出力すると共に、相関タイミング信号TCを相関演算部１４に出力する。
ここで、例えば、読み出し位置情報PIは、マトリックス状の複数の画素の位置に対応した、所定のタイミングを有するパルス信号である。例えば、撮像素子駆動回路１２が出す制御信号（VD,HD,PI,TC）のそれぞれは、レリーズボタンの操作に同期して出力される。

焦点検出画素分離部１３は、撮像素子駆動回路１２からの読み出し位置情報PIに基づいて、撮像素子１１からの画像信号VSの種類を示す画素種別信号PSを生成して、相関演算部１４に出力する回路である。
画素種別信号PSは、焦点検出画素指示信号IFと瞳指示信号ABとを含む。焦点検出画素指示信号IFは、その画像信号VSが、焦点検出用の画素の信号であることを示す信号である。瞳指示信号ABは、結像光学系１９の異なる瞳領域、ここでは所定の瞳領域A,B、のいずれの瞳領域に対応する画素の信号かを示す信号である。よって、相関演算部１４は、瞳指示信号ABにより、入力された画像信号VSが焦点検出用の画素の信号であるときに、瞳領域A,B、のいずれの瞳領域に対応する信号であるかを識別することができる。

被写体の同一の点からの光は、２つの瞳領域A,Bからの光束として、撮像素子上の焦点検出用の複数の画素対により受光される。焦点検出用の複数の画素は、複数の画素対からなり、各画素対の一方は、瞳領域Aからの光束を受光し、他方は、瞳領域Bからの光束を受光するように、各画素に対応するマイクロレンズあるいは遮光マスクが、撮像素子１１に設けられている。瞳指示信号ABは、その２つの瞳領域A,Bのいずれの瞳領域の画像の信号であるかを示す。

焦点検出画素分離部１３は、例えば、読み出し位置情報PIのパルス信号をカウントするカウンタと、焦点検出用の画素の位置に対応する値を保持する記憶部を内蔵し、カウント値が所定値（すなわち焦点検出用の画素の位置に対応する値）になったときに、焦点検出画素指示信号IFと、瞳領域A,Bのいずれかを示す瞳指示信号ABを出力するように構成されている。

相関演算部１４には、撮像素子１１からの画像信号VSと、焦点検出画素分離部１３からの焦点検出画素指示信号IF及び瞳指示信号ABと、撮像素子駆動回路１２からの相関タイミング信号TCとが入力される。
相関演算部１４は、相関タイミング信号TCに基づいて、焦点検出用の複数の画素からの画像信号VSについての所定の相関演算を行い、演算結果CSをデフォーカス量算出回路１５に出力する。

デフォーカス量算出部としてのデフォーカス量算出回路１５は、相関演算部１４の演算結果CSを用いて、デフォーカス量DFを算出して、フォーカス部１８に出力する。すなわち、結像光学系１９の２つの瞳領域A,Bを通過した光束をそれぞれ受光する複数の焦点検出用画素から複数の焦点検出用信号が得られるので、この焦点検出用信号の相関演算により得られた計算結果（相関値）から位相差が算出される。そして、この算出された位相差に基づいて、デフォーカス量算出回路１５はデフォーカス量を算出する。

フォーカス部１８がデフォーカス量算出回路１５において算出されたデフォーカス量DFに応じて合焦状態となるように結像光学系１９を駆動することによって、撮像装置１のAF機能が実現される。

補間回路１６は、撮像素子からの画像信号に対して補間処理を行い、その補間処理された画像信号を画像処理部１７に出力する。具体的には、焦点検出用の画素は、撮影用の画素としては使用できないので、補間回路１６は、焦点検出用の画素の位置の画素の画像信号を、周囲の撮像画素の信号を用いて補間して生成する。

撮像装置１は、図示しない操作部（例えば、デジタルカメラのレリーズボタン）からの操作信号に応じて、撮影処理の実行が指示され、その撮影処理の実行時に、焦点検出が行われてAF機能が実行される。

図２は、相関演算部１４の構成を示すブロック図である。相関演算部１４は、A瞳／B瞳分離回路２１、高周波成分量検出回路２２、間引き量決定回路２３、間引き回路２４，相関演算制御回路２５、及び相関演算回路２６を含んで構成されている。

A瞳／B瞳分離回路２１には、画像信号VS、焦点検出画素指示信号IF及び瞳指示信号ABが入力される。A瞳／B瞳分離回路２１は、焦点検出画素指示信号IFに基づいて、入力された画像信号VSが焦点検出用の画素の画像信号であることを判別する。さらに、A瞳／B瞳分離回路２１は、瞳指示信号ABに基づいて、その焦点検出用の画素の画像信号VSが２つの瞳領域A,Bのいずれの瞳領域に対応する画素の画像信号であるかを判別する。よって、A瞳／B瞳分離回路２１は、焦点検出画素指示信号IF及び瞳指示信号ABに基づいて、焦点検出用の画素の画像信号VSだけを、瞳領域A,B別に、高周波成分量検出回路２２と間引き回路２４に出力する。

高周波成分量検出回路２２は、連続して入力された焦点検出用の画素の複数の画像信号VSについての高周波成分量を検出する。高周波成分量は、被写体像の信号成分の解析結果の一つである。
具体的には、A瞳領域あるいはB瞳領域の複数の画像信号VSが、高周波成分量検出回路２２に連続的に入力される。高周波成分量検出回路２２は、その連続的に入力された複数の画像信号VSから、高周波成分量を検出する。例えば、撮像素子１１の１ライン上に焦点検出用の複数の画素が配置されている場合、そのライン上のA瞳領域の複数の画像信号VSが高周波成分量検出回路２２に連続的に入力される。そして、高周波成分量検出回路２２は、その連続に入力された２つの画像信号VS間の差をとり、かつその差の和をとることによって、被写体像の信号成分の解析結果としての高周波成分量を検出することができる。
瞳領域Aあるいは瞳領域Bの複数の画像信号VSは、フォーカスが比較的合っているときは、振幅値の変化が大きく、デフォーカス量が大きいときは、振幅値の変化が小さい。よって、高周波成分量は、デフォーカス量に対応する。

高周波成分量検出回路２２は、検出した高周波成分の量に応じた検出信号HSを、間引き量決定回路２３に出力する。すなわち、焦点検出用の複数の画素から得られる複数の焦点検出用信号に含まれる高周波成分量が、高周波成分量検出回路２２から出力される。

なお、高周波成分量検出回路２２は、撮像素子１１からの撮影用の画素の画像信号VSに含まれる高周波成分量を検出するようにしてもよい。例えば、高周波成分量検出回路２２Aを、図１において点線で示すように、撮像素子１１の出力側に設け、その撮影用の画素の画像信号VSに含まれる高周波成分量を、間引き量決定回路２３への検出信号HSとして利用してもよい。

間引き量決定部としての間引き量決定回路２３は、検出信号HSに応じた間引き量を決定して、間引き量信号TSを、間引き回路２４と相関演算制御回路２５に出力する。
間引き部としての間引き回路２４は、間引き量信号TSに応じて、A瞳／B瞳分離回路２１から出力された焦点検出用の画素の画像信号VSから、所定の画素の画像信号を間引く。言い換えれば、間引き回路２４は、焦点検出用に用いる複数の画素対を選択する。

図３は、撮像素子１１の画素配列を説明するための模式図である。図３に示すように、複数の画素が、撮像素子１１の撮像面１１ａにマトリックス状に配列されている。
図３は、例として、M×N（M,Nは整数）のマトリックス状に配置された複数の画素を含む撮像素子１１の画素配列の一部を示している。図３は、水平方向に４６画素を有する撮像素子の例を示す。撮像素子は、行fdに、A瞳領域の光束を光電変換する焦点検出用の画素daを１０個、B瞳領域の光束を光電変換する焦点検出用の画素dbを１０個を有する。焦点検出用の複数の画素対da,dbは、行fd中に、複数の撮像画素の中に離散的に配置されている。なお、焦点検出用の画素da,dbは、撮影用の画素としては使用できないので、上述したように、焦点検出用の画素da,dbの位置の画素については、周囲の撮影用の画素から補間画素を生成する前処理を行って、撮影用の画像信号は生成される。

なお、図３では、焦点検出用の複数の画素対は、撮像面１１ａの１行にのみ設けられているが、図４に示すように、複数行に設けられていてもよい。図４は、焦点検出用の画素が撮像面１１ａの複数行に設けられている場合の、撮像素子１１の画素配列を説明するための模式図である。

行fdにおいて、縦縞の画素daは、瞳領域Aからの光束を受光し、横縞の画素dbは、瞳領域Bからの光束を受光する。すなわち、行fd中の１０個の画素daが、瞳領域Aからの光束を受光し、行fd中の１０個の画素dbが、瞳領域Bからの光束を受光する。

撮影用の画素（da,db以外の画素）は、結像光学系１９の状態（合焦、非合焦）に係らず、信号の位相が変化しない。しかし、焦点検出用の画素da,dbには、上述した偏心して配置されたマイクロレンズあるいは遮光マスクにより、結像光学系１９の状態（合焦、非合焦）に応じて、互いに左右方向にずれた位置の光が入射する。よって、瞳領域A用の画素の画像は、撮像画素の画像よりわずかに右（あるいは左）に、瞳領域B用の画素の画像は、撮影画素の画像よりわずかに左（あるいは右）にシフトする。デフォーカス状態に応じてシフト量が大きくなり、シフト量とデフォーカス量には比例関係がある。この現象及び比例関係を利用して、検出されたデフォーカス量に応じて合焦状態となるように、結像光学系１９を駆動することによって、AF機能が実現される。

ここで、焦点検出用の複数の画素対da,dbの信号中に、高周波成分量が大きいときは、一般にピントはフォーカス状態あるいはフォーカス状態に近い状態であり、高周波成分量が小さいときは、一般にピントはデフォーカス状態である。

図２に戻り、間引き量決定回路２３は、検出信号HSが所定の閾値th以下であるか否かを判定し、検出信号HSが所定の閾値th以下であれば、所定の間引き量を指示する間引き量信号TSを生成して出力する。

間引き回路２４は、間引き量信号TSに応じて、焦点検出用の複数の画素対から所定の数の画素を間引いて、間引かれずに残った複数の画素対の画像信号VSを、相関演算回路２６に出力する。すなわち、間引き回路２４は、被写体像の信号成分の解析結果の一つとしての高周波成分量に基づいて、デフォーカス量を算出するために用いられない複数の焦点検出用の画素対の画像信号VSを間引く間引き部を構成する。

例えば、瞳領域A,Bのそれぞれについてのｋ個の焦点検出用の画素がある場合、間引き量がｍのときは、（ｋ×ｍ）個の焦点検出用の画素が使用される。図３の場合、間引き量が１／２とすれば、１０個の焦点検出用の画素対の中から半分（すなわち５個の画素対）が間引かれて使用されず、残りの５個の画素対が相関演算回路２６における相関演算に使用される。
なお、閾値を２以上設けて、各閾値に対応した間引き量が決定されるようにしてもよい。

また、ここでは、間引き量決定回路２３は、高周波成分量に応じた検出信号HSと、所定の閾値thを比較して、検出信号HSが所定の閾値th以下であれば（すなわちピントが所定のデフォーカス状態以上のボケた状態にあるとき）、間引き回路２４が、所定の間引き量の間引きを行っている。しかし、例えば、高周波成分量に応じた間引き量を複数予め記憶するテーブルを設け、間引き量決定回路２３は、検出信号HSに基づいて、そのテーブルを参照して、間引き量を決定するようにしてもよい。

例えば、高周波成分量を５段階に分け、各段階に対応する間引き量をテーブルに予め記憶しておく。間引き量決定回路２３は、入力された検出信号HSがどの段階に属するかを判定して、その判定された段階の間引き量信号TSを間引き回路２４に出力するようにしてもよい。

なお、閾値thは、結像光学系１９の光学特性すなわち結像光学特性値に応じて予め決められる。結像光学系１９の光学特性は、画角、ズームレンズの特性等である。

相関演算制御回路２５は、間引き量決定回路２３からの間引き量信号TSと、撮像素子駆動回路１２からの相関タイミング信号TCとに基づいて、相関演算回路２６へ、後述するシフト信号SHA、SHB及び選択信号SELを出力する回路である。

図５は、相関演算回路２６の構成を示す回路図である。相関演算回路２６は、２つのシフトレジスタ３１，３２と、複数の差分回路３３（３３ａ、３３ｂ、３３ｃ、３３ｄ、３３ｅ）と、セレクタ３４と、Σ（シグマ）演算回路３５とを含んで構成されている。
シフトレジスタ３１，３２は、それぞれ直列に接続された複数の、ここでは５つのフリップフロップ（以下、FFという）を含む。シフトレジスタ３１には、間引き回路２４から焦点検出用の５つの画素daの画像信号VSが所定の順番で入力され、シフトレジスタ３２には、間引き回路２４から焦点検出用の５つの画素dbの画像信号VSが所定の順番で入力される。

シフトレジスタ３１と３２には、それぞれシフト信号SHAとSHBが入力される。シフトレジスタ３１と３２は、それぞれシフト信号SHAとSHBに基づいて直列に接続された５つのFF間で画像信号VSを順番にシフトする。

各差分回路３３は、シフトレジスタ３１と３２内の対応する２つFFの画像信号VSの差分をとり、その絶対値の信号をΣ演算回路３５に出力する。例えば、第１の差分回路３３ａは、シフトレジスタ３１の第１のFFの出力信号（A1）とシフトレジスタ３２の第１のFFの出力信号（B1）の差分の絶対値を出力する。第２の差分回路３３ｂは、シフトレジスタ３１の第１のFFの次にあたる第２のFFの出力信号（A2）と、シフトレジスタ３２の第１のFFの次にあたる第２のFFの出力信号（B2）の、差分の絶対値を出力する。同様に、第３から第５の差分回路３３ａは、それぞれシフトレジスタ３１の第３，第４，第５のFFとシフトレジスタ３２の第３，第４，第５のFFの信号の差分の絶対値を出力する。

セレクタ３４は、シフトレジスタ３２に入力する信号を選択する回路である。セレクタ３４は、シフトレジスタ３２に所定の（ここでは５つの）画像信号VSが入力された後に、シフトレジスタ３２内の画像信号VSを順番にずらしながら相関演算をするために、第５のFFの出力を第１のFFの入力に戻すように、シフトレジスタ３２の入力を切り換える回路である。

選択信号SELに基づいて、セレクタ３４は、シフトレジスタ３２への入力を、焦点検出用の画素dbから、第５のFFに切り換える。

瞳領域Aから得られる離散的な画像信号VSをAn、瞳領域Bから得られる離散な画像信号VSをBnとしたとき、相関値はΣ｜An−Bn｜（ｎは、相関演算に用いられる画素数で、図５の場合は、１〜５）の演算を行うことにより得ることができる。相関値は、演算結果CSとして出力される。

図５の相関演算回路２６は、Σ｜An−Bn｜の演算を高速にできるような構成になっている。すなわち、An用とBn用のそれぞれの複数のFFは、シリアルに接続されてシフトレジスタとして機能する。そして、Bn用のシフトレジスタ３２は、選択信号SELによって、シフトレジスタ３２内を、画像信号が巡回する。

図６は、図５の回路の動作を示すタイミングチャートである。瞳領域Aの画像信号VS(A)は、シフト信号SHAに基づいて、シフトレジスタ３１内の第１のFFから第５のFFまで順番にシフトされる。５つの画像信号VSが入力された後、シフト信号SHAは入力されず、各FFの出力は、そのまま保持される。

一方、瞳領域Bの画像信号VS（B）も、シフト信号SHBに基づいて、シフトレジスタ３１内の第１のFFから第５のFFまで順番にシフトされるが、５つの画像信号VSが入力された後は、選択信号SELによって、セレクタ３４が切り替わり、第１のFFには、第５のFFの出力が入力される。５つの画像信号VSが入力された後も、シフト信号SHBに基づいて、シフトレジスタ３２内の第１のFFから第５のFFまで順番にシフトされる。

その結果、シフトレジスタ３１と３２のそれぞれに５つの画像信号VSが入力された後、シフトレジスタ３１の各FFの出力は変化しないが、シフトレジスタ３２の各FFの出力は順番に変化していく。

よって、Σ演算回路３５は、５つの画像信号VSの入力があった後に、瞳領域Bの画像信号VSを巡回させて一つずつシフトさせながら入力された瞳領域Aの５つの画像信号VSと、瞳領域Bの５つの画像信号との差分値の絶対値の和を演算して求め、５つの演算結果CSとして出力する。図６において、５つの演算結果は、C1,C2,C3,C4,C5として示されている。５つの演算結果は、シフト量に応じた相関値を示す。デフォーカス量算出回路１５は、入力された５つの演算結果から最小の相関値を有するシフト量に対応するズレ量すなわちデフォーカス量を算出する。

図７と図８は、瞳領域A,Bにおいて得られた２つの画像信号VSの位相差を説明するための図である。図７は、デフォーカス量が小さいときの、２つの画像信号VSの様子を示す図である。図７と図８において、瞳領域Aの画像信号はVS(A)で、瞳領域Bの画像信号はVS(B)で示されている。複数の画素対の一方の画素daの画像信号の信号パターンと、他方の画素dbの画像信号の信号パターンの位相差dsが、ここでは検出される。
図７では、デフォーカス量が小さいので、２つの画像信号VSは、高周波成分を多く含む。そのため、焦点検出用の複数の画素を含む行fdにおいては、少ない範囲の複数の画素対の画像信号だけでも位相差dsを検出することができる。図７に示すように、焦点検出用の複数の画素を含む行fdにおいて、相関演算に用いられる複数の画素対は、範囲CRsは、比較的狭い範囲でも、位相差dsの検出は可能である。

図８は、デフォーカス量が大きい場合の、瞳領域AとBにおいて得られた２つの画像信号VSの位相差を説明するための図である。デフォーカス量が大きいので、２つの画像信号VSは、高周波成分を多く含まない。そのため、焦点検出用の複数の画素を含む行fdにおいては、より広い範囲にわたる複数の画素対の画像信号を用いなければ、位相差dsの検出をすることができない。図８に示すように、焦点検出用の複数の画素を含む行fdにおいて、相関演算に用いられる複数の画素対の範囲CRwは、図７の範囲CRsよりも広い。

すなわち、相関演算に用いる焦点検出用の画素の幅、すなわち焦点検出用に用いる画素の範囲CRは、フォーカスが合っているときに比べ、デフォーカスしているときの方が広い。これは、デフォーカスによって画像自体がボケているため、特徴のない信号波形になっているからである。

このとき、デフォーカス時にも正確な相関演算ができるように、広い範囲にわたる焦点検出用の複数の画素対をそのまま使用すると、その数に応じた相関演算用の回路が必要になってしまう。

そこで、本実施の形態では、デフォーカス時には、広い範囲にわたる焦点検出用の複数の画素対を使用するが、デフォーカス量が小さいときに使用した数と同じ数の複数の画素対を選択して、使用するようにした。

具体的には、相関演算部１４は、高周波成分量に基づいて、デフォーカス量が大きい場合には焦点検出用の複数の画素の間引きを行い、相関演算部１４において相関演算に用いる複数の画素の数は、デフォーカス量が小さい場合と同じ数になるように、構成されている。

例えば、デフォーカス量が小さいときは、撮像面１１ａの中心部分における瞳領域AとBのそれぞれの５つの画素の画像信号VSが、相関演算に用いられるが、デフォーカス量が大きいときは、撮像面１１ａの広い範囲にわたり存在する瞳領域AとBのそれぞれの５つの画素の画像信号VSが、例えば、瞳領域AとB用のそれぞれ１０個の画素の中から、一つ置きに選択された５つの画素の画像信号VSが、相関演算に用いられる。この場合、間引き量は、１／２である。

なお、間引かれる画素と相関演算に用いられる画素は、行fd内において、均等に分布するように選択される。例えば、間引き量が１／２の場合は、焦点検出用の複数の画素対が、行fd内において、１つ置きに間引かれるように選択される。

さらになお、位相差dsは、間引き量の逆数を掛けることによって、正規化することができる。例えば、間引き量が１／２の場合は、撮像素子１１上で、画素対が１つ置きに間引かれているので、間引かれないときの位相差ds1に対して、１／２の逆数である２を掛けることによって、位相差dsすなわちズレ量を正規化することができる。よって、相関演算部１４は、正規化したズレ量を出力するように構成される。

そして、デフォーカス量算出部としてのデフォーカス量算出回路１５は、結像光学系１９の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出画素から得られる複数の焦点検出用信号の位相差に基づいて、デフォーカス量DFを算出して、出力する。

以上のように、本実施の形態の撮像装置１の相関演算部１４は、デフォーカス時には広い範囲に亘って焦点検出用の複数の画素対の画像信号を利用するが、相関演算に用いる画像信号の数は、デフォーカス量が小さいときに使用する複数の画素対の数と同じであるので、相関演算部１４の回路規模は大きくならない。

相関演算部１４では、シフトレジスタにおけるシフト量に応じた複数の相関値が得られるが、大きなデフォーカス時には使用される焦点検出用の複数の画素対の数と、小さいデフォーカス時に使用される複数の画素対の数は、同じであるので、演算時間も同じである。

以上のように、上述した本実施の形態の撮像装置によれば、デフォーカスが大きい場合に広い焦点検出領域を用いることが可能であって、かつ相関演算のための回路規模を大きくならない。さらに、上述した本実施の形態の撮像装置によれば、デフォーカスが大きい場合であっても、相関演算のための時間も長くならない。
また、本実施の形態では、撮像素子１１に焦点検出用の複数の画素対が含まれるので、従来のように、焦点検出用のセンサを、撮像素子とは別に設ける必要がない。
なお、上述した実施の形態では、撮像装置としてデジタルカメラを挙げたが、監視カメラや内視鏡等でもよい。

次に変形例について説明する。
（変形例１）
上述した実施の形態の撮像装置では、焦点検出用の複数の画素対の画像信号VSに含まれる高周波成分量に基づいて、あるいは撮像素子１１の撮影用の複数の画素の画像信号VSに含まれる高周波成分量に基づいて、間引き量が決定されている。

しかし、被写体像の信号成分の解析結果としての高周波成分量に代えて、撮像素子１１の撮影用の複数の画素の平均輝度値を用いてもよい。

撮影用の複数の画素の値（すなわち振幅値）の積算値（すなわち振幅積算値）を、画素数で除算することによって、平均輝度値を求めることができる。デフォーカス量が大きい場合は、平均輝度値が小さくなり、デフォーカス量が小さい場合は、平均輝度値が大きくなる。

よって、相関演算部は、被写体像の信号成分の解析結果としての撮像素子の複数の画素についての平均輝度値を用いて、間引き量を決定するようにしてもよい。
（変形例２）
上述した実施の形態の撮像装置では、図３に示すように、１つの行fd上の焦点検出用の複数の画素対の画像信号に含まれる高周波成分量を検出し、その検出結果に基づいて、その行fd上の複数の画素対の中から、位相差を算出するために用いる複数の焦点検出用信号を選択している。言い換えれば、高周波成分量の検出結果に基づいて、その行fd上の複数の画素対の中から、位相差を算出するために用いられない複数の焦点検出用信号を間引いている。

しかし、図４のように、焦点検出用の複数の画素対が、複数行にわたり撮像素子１１上に設けられている場合、所定の１行における焦点検出用の複数の画素対を高周波成分を検出するために用い、他の行における焦点検出用の複数の画素対を、位相差の算出のために用いるようにしてもよい。その場合、位相差を算出するために用いられる複数の焦点検出用信号の中から間引きが行われる。

上述した実施の形態及び本変形例では、フレーム内で、高周波成分量等の検出と間引きの決定がされるので、被写体が変化しているような場合にも適切に焦点検出を行うことができる。
（変形例３）
上述した実施の形態の撮像装置では、１つのフレーム内の画像信号VSに用いて、デフォーカス量を検出し、そのフレームについての位相差を検出する演算が行われている。しかし、ある１つのフレームの画像信号に基づいてデフォーカス量を検出し、その後のフレーム、例えば次のフレームにおける焦点検出用の複数の画素対の画像信号から相関演算に用いない複数の画素対の画像信号を間引いて（あるいは相関演算に用いる画素対の画像信号を選択して）、残った（あるいは選択された）複数の画素対の複数の画像信号を用いて相関演算を行うようにしてもよい。

すなわち、異なる２つのフレームの先行する一方のフレームにおいて、高周波成分量あるいは平均輝度値を検出し、他方のフレームにおいて、相関演算に用いる複数の画素対の画像信号を選択するように、間引き処理を行うようにしてもよい。この場合、複数フレームの画像信号VSを記憶するためのバッファ回路が別途設けられる。

さらに、その場合、図４に示すような複数の行に焦点検出用の複数の画素対が設けられている場合は、高周波成分等を検出するための複数の画素対と、相関演算に用いる複数の画素対を使い分けてもよい。
（変形例４）
上述した実施の形態及び各変形例の撮像装置では、高周波成分量あるいは平均輝度値は、１フレーム内の複数の画像信号VSから得ているが、画像信号VSが所定の閾値よりも小さい場合には、所定のフレーム数分の画像信号を加算し、その加算された画像信号を用いて、高周波成分量あるいは振幅積算値の検出を行うようにしてもよい。すなわち、高周波成分量あるいは平均輝度値は、フレーム間で加算した画像信号から求めるようにしてもよい。
（変形例５）
上述した実施の形態及び各変形例では、焦点検出用の複数の画素対は、被写体を撮影すする撮像素子上に設けられているが、そのような撮像素子とは別に設けるようにしてもよい。

図９は、本変形例に撮像装置１Aの構成を説明するための図である。図９において図１と同じ構成要素については、同じ符号を付して説明は省略する。図９に示すように、デジタルカメラである撮像装置１Aは結像光学系１９からの光は、ハーフミラーを有するミラー４１に設けられたサブミラー４２に当たり反射する。サブミラー４２からの反射光は、さらにサブミラー４３において反射され、焦点検出用の複数の画素対及び相関演算部を含むセンサ４４に入射する。センサ４４は、検出した位相差に応じてデフォーカス量DFを出力する。

被写体の撮影時は、ミラー４１がアップして、シャッタ４５が駆動されて、撮像素子１１Aに被写体からの光が入射する。撮像素子１１Aは、焦点検出用の複数の画素対を含まない。撮像素子１１Aからの画像信号VSは、画像処理部４６に入力され、図示しない記録媒体に記録され、さらに、例えば電子ビューファインダー（EVF）４７に出力されて、撮影された被写体像が表示される。

図１０は、センサ４４の撮像面における、焦点検出用の複数の画素対の画素配列を説明するための模式図である。図１０に示すように、複数の画素対が撮像面４４ａに複数行に（ここでは３行に）配置されて、マトリックス状に配列されている。
このような構成の撮像装置１Aによっても、上述した第１の実施の形態と同様に、相関演算部の回路規模が大きくなく、演算時間も長くならずに相関演算を行うことができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１、１A 撮像装置、１１、１１A 撮像素子、１１ａ、４４ａ 撮像面、１２ 撮像素子駆動回路、１３ 焦点検出画素分離部、１４ 相関演算部、１５ デフォーカス量算出部、１６ 補間回路、１７ 画像処理部、１８ フォーカス部、２１ A瞳／B瞳分離回路、２２、２２A 高周波成分量検出回路、２３ 間引き量決定回路、２４ 間引き回路、２５ 相関演算制御部、２６ 相関演算回路、３１，３２ シフトレジスタ、３３ａ〜３３ｅ 差分回路、３４ セレクタ、３５ Σ演算回路、４１ ミラー、４２，４３ サブミラー、４５ シャッタ、４６ 画像処理回路、４７ ＥＶＦ

Claims (8)

1. 被写体像を形成する結像光学系と、
   前記被写体像を光電変換する複数の画素を含む撮像素子と、
   前記結像光学系の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出用画素から得られる複数の焦点検出用信号の位相差に基づいて、デフォーカス量を算出するデフォーカス量算出部と、
   前記デフォーカス量算出部において算出された前記デフォーカス量に応じて合焦状態となるように前記結像光学系を駆動するフォーカス部と、
   前記被写体像の信号成分の解析結果に基づいて、前記デフォーカス量を算出するために用いられない前記複数の焦点検出用信号を間引く間引き部と、
   を有する撮像装置。
2. 前記複数の焦点検出用画素は、前記撮像素子に含まれることを特徴とする請求項１に記載の撮像装置。
3. 前記解析結果は、前記焦点用検出画素から得られる前記複数の焦点検出用信号に含まれる高周波成分量であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記解析結果は、前記撮像素子からの前記被写体像の画像信号に含まれる高周波成分量であることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記解析結果は、前記撮像素子からの前記被写体像の画像信号の平均輝度であることを特徴とする請求項１又は２に記載の撮像装置。
6. 前記間引き部は、前記解析結果と１又は２以上の閾値とを比較して、前記複数の焦点検出用信号の間引き量を決定することを特徴とする請求項１又は２に記載の撮像装置。
7. 前記間引き部は、前記解析結果に応じた間引き量を予め記憶する間引き量記憶テーブルに基づいて、前記複数の焦点検出用信号の間引き量を決定することを特徴とする請求項１又は２に記載の撮像装置。
8. 前記焦点検出画素は、前記撮像素子とは別に設けられたセンサに含まれる画素であることを特徴とする請求項１に記載の撮像装置。

Images