JP2012008212A - 撮像装置 - Google Patents

Abstract

【課題】相関演算の演算結果における誤差の発生を抑制可能な撮像装置を提供する。
【解決手段】本発明の撮像装置は、被写体像を形成する結像光学系と、被写体像を光電変換する複数の画素を含む撮像素子と、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出用画素から得られる複数の焦点検出用信号の位相差に基づいてデフォーカス量を算出するデフォーカス量算出部と、デフォーカス量算出部において算出されたデフォーカス量に応じて合焦状態となるように結像光学系を駆動するフォーカス部と、被写体像の信号成分の解析結果に基づき、デフォーカス量を算出する前に、複数の焦点検出用信号に対するフレーム間加算の実施の可否を判定する加算可否決定部と、加算可否決定部の判定結果に基づいてフレーム間加算を行うフレーム間加算処理部と、を有する。
【選択図】図２

Description

本発明は、撮像装置に関し、特に、焦点検出機能を有する撮像装置に関する。

デジタルカメラ等の撮像装置においては、撮像素子から出力される画素信号に応じて焦点検出を行う技術が提案されている。具体的には、結像光学系を通過した光束を受光して画素信号を出力する撮影用の画素群と、該結像光学系の異なる瞳領域を通過した光束のみを受光して画素信号を出力する焦点検出用の複数の画素群と、をそれぞれ撮像素子に設けた構成において、該焦点検出用の複数の画素群から出力される画素信号の位相差に応じて焦点検出を行う、位相差検出方式と呼称される焦点検出手法が提案されている。

しかしながら、位相差検出方式を用いた焦点検出においては、例えば、被写体が低照度の場合、及び、大デフォーカスが生じている場合等に、焦点検出画素から得られる信号レベルが低下してしまう。そして、このような信号レベルの低下に伴ってＳ／Ｎが低下するため、単純にゲインアップ処理をして相関演算を行った場合に、演算結果において誤差が生じることにより好適な焦点検出を行うことができない、という問題点がある。

一方、前述の問題点を回避する目的において、例えば特許文献１には、前述の位相差検出方式を用いて焦点検出を行う撮像装置であって、焦点検出用の画素群からの出力信号に対して、焦点検出用の画素群周辺に存在する焦点検出画素からの出力信号を加算合成した合成信号を用い、デフォーカス量（焦点ずれ量）を決定するための相関演算を行う構成が開示されている。

しかし、特許文献１に開示された構成によれば、前述の合成信号を生成する目的において周辺画素の画素加算を実施する際にＬＰＦ効果が生じるため、個々の焦点検出画素から出力される出力信号に比べて信号の高調波成分が減少してしまう。そのため、特許文献１に開示された構成によれば、前述の相関演算の演算結果における分解能が低下してしまう、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、焦点検出用画素から得られる信号レベルが小さい場合であっても、相関演算の演算結果における誤差の発生を抑制可能な撮像装置を提供することを目的としている。

本発明の一態様によれば、被写体像を形成する結像光学系と、前記被写体像を光電変換する複数の画素を含む撮像素子と、前記結像光学系の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出用画素から得られる複数の焦点検出用信号の位相差に基づいて、デフォーカス量を算出するデフォーカス量算出部と、前記デフォーカス量算出部において算出された前記デフォーカス量に応じて合焦状態となるように前記結像光学系を駆動するフォーカス部と、前記被写体像の信号成分の解析結果に基づき、前記デフォーカス量を算出する前に、前記複数の焦点検出用信号に対するフレーム間加算の実施の可否を判定する加算可否決定部と、前記加算可否決定部の判定結果に基づいてフレーム間加算を行うフレーム間加算処理部と、を有する撮像装置を提供することができる。

本発明の一態様において、前記加算可否決定部は、前記解析結果と、１又は複数の閾値と、を比較した比較結果に基づき、前記複数の焦点検出用信号に対するフレーム間加算の実施の可否、及び、前記複数の焦点検出用信号に対してフレーム間加算を実施する際の加算フレーム数をそれぞれ決定することが好ましい。

本発明の一態様において、前記解析結果は、前記焦点用検出画素から得られる前記複数の焦点検出用信号に含まれる高周波成分量であることが好ましい。

本発明の一態様において、前記解析結果は、前記撮像素子からの前記被写体像の画像信号に含まれる高周波成分量であることが好ましい。

本発明の一態様において、前記複数の焦点検出用画素は、前記撮像素子に含まれることが好ましい。

本発明の一態様において、前記焦点検出画素は、前記撮像素子とは別に設けられたセンサに含まれる画素であることが好ましい。

本発明の一態様において、前記複数の焦点検出用信号は、動画の映像信号であることが好ましい。

本発明における撮像装置によれば、焦点検出用画素から得られる信号レベルが小さい場合であっても、相関演算の演算結果における誤差の発生を抑制可能である。

本発明の実施例に係る撮像装置の要部を示す構成図。 本発明の実施例に係る相関演算部の具体的な構成の一例を示すブロック図。 本発明の実施例に係る撮像素子の撮像面において、焦点検出用の画素が撮像面の１行にのみ設けられている場合の画素配列を説明するための模式図。 本発明の実施例に係る撮像素子の撮像面において、焦点検出用の画素が撮像面の複数行に設けられている場合の画素配列を説明するための模式図。 本発明の実施例に係るフレーム間加算回路の具体的な構成の一例を示す図。 本発明の実施例に係るフレーム間加算回路の具体的な構成の、図５とは異なる例を示す図。 本発明の実施例の変形例に係る撮像装置の構成を説明するための図。 本発明の実施例の変形例に係るセンサの撮像面における、焦点検出用の複数の画素対の画素配列を説明するための模式図。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

まず、図１に基づき、本実施例に係わる撮像装置の構成を説明する。図１は、本実施例に係わる撮像装置の構成を示す構成図である。

撮像装置１は、撮像素子１１、撮像素子駆動回路１２、焦点検出画素分離部１３、相関演算部１４、デフォーカス量算出回路１５、補間回路１６、画像処理部１７、フォーカス部１８、及び被写体像を形成する結像光学系１９を含んで構成されている。例えば、撮像装置１は、オートフォーカス（以下、ＡＦという）機能を有するデジタルカメラ等であり、対物光学系である結像光学系１９を介して受光した被写体像が撮像素子１１上で結像し、撮像素子１１からの撮像信号が画像処理部１７で画像処理され、画像データが図示しない記録媒体等に記録される。

後述するように、撮像素子１１は、被写体像を光電変換する複数の画素を含む。より具体的には、撮像素子１１は、撮影用の画素と、焦点検出用の画素を含み、撮像素子駆動回路１２によって駆動され、動画の映像信号である画像信号ＶＳを出力する。
撮像素子駆動回路１２は、撮像素子１１に水平同期信号ＨＤと垂直同期信号ＶＤを出力して、撮像素子１１における２次元のマトリックス状に配置された複数の画素を所定の順序で駆動する。さらに、撮像素子駆動回路１２は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて、撮像素子１１の読み出し画素の位置情報である読み出し位置情報ＰＩを焦点検出画素分離部１３に出力すると共に、相関タイミング信号ＴＣを相関演算部１４に出力する。

ここで、例えば、読み出し位置情報ＰＩは、マトリックス状の複数の画素の位置に対応した、所定のタイミングを有するパルス信号である。例えば、撮像素子駆動回路１２から出力される制御信号（ＶＤ，ＨＤ，ＰＩ，ＴＣ）各々は、レリーズボタンの操作に同期して出力される。

焦点検出画素分離部１３は、撮像素子駆動回路１２からの読み出し位置情報ＰＩに基づいて、撮像素子１１からの画像信号ＶＳの種類を示す画素種別信号ＰＳを生成して、相関演算部１４に出力する回路である。
画素種別信号ＰＳは、焦点検出画素指示信号ＩＦと瞳指示信号ＡＢとを含む。焦点検出画素指示信号ＩＦは、その画像信号ＶＳが、焦点検出用の画素の信号であることを示す信号である。瞳指示信号ＡＢは、結像光学系１９の異なる瞳領域、ここでは所定の瞳領域Ａ，Ｂのいずれの瞳領域に対応する画素の信号かを示す信号である。よって、相関演算部１４は、瞳指示信号ＡＢにより、入力された画像信号ＶＳが焦点検出用の画素の信号であるときに、瞳領域Ａ，Ｂのいずれの瞳領域に対応する信号であるかを識別することができる。

被写体の同一の点からの光は、２つの瞳領域Ａ，Ｂからの光束として、撮像素子上の焦点検出用の複数の画素対により受光される。焦点検出用の複数の画素は、複数の画素対からなり、各画素対の一方は、瞳領域Ａからの光束を受光し、他方は、瞳領域Ｂからの光束を受光するように、各画素に対応するマイクロレンズあるいは遮光マスクが、撮像素子１１に設けられている。瞳指示信号ＡＢは、その２つの瞳領域Ａ，Ｂのいずれの瞳領域の画像の信号であるかを示す。

焦点検出画素分離部１３は、例えば、読み出し位置情報ＰＩのパルス信号をカウントするカウンタと、焦点検出用の画素の位置に対応する値を保持する記憶部を内蔵し、カウント値が所定値（すなわち焦点検出用の画素の位置に対応する値）になったときに、焦点検出画素指示信号ＩＦと、瞳領域Ａ，Ｂのいずれかを示す瞳指示信号ＡＢを出力するように構成されている。

相関演算部１４には、撮像素子１１からの画像信号ＶＳと、焦点検出画素分離部１３からの焦点検出画素指示信号ＩＦ及び瞳指示信号ＡＢと、撮像素子駆動回路１２からの相関タイミング信号ＴＣとが入力される。
相関演算部１４は、相関タイミング信号ＴＣに基づいて、焦点検出用の複数の画素からの画像信号ＶＳについての所定の相関演算を行い、演算結果ＣＳをデフォーカス量算出回路１５に出力する。

デフォーカス量算出部としてのデフォーカス量算出回路１５は、相関演算部１４の演算結果ＣＳを用いて、デフォーカス量ＤＦを算出して、フォーカス部１８に出力する。すなわち、結像光学系１９の２つの瞳領域Ａ，Ｂを通過した光束をそれぞれ受光する複数の焦点検出用画素から複数の焦点検出用信号が取得され、この複数の焦点検出用信号を用いた相関演算により得られた演算結果（相関値）から位相差が算出される。そして、デフォーカス量算出回路１５は、前記位相差に基づいてデフォーカス量を算出する。

フォーカス部１８がデフォーカス量算出回路１５において算出されたデフォーカス量ＤＦに応じて合焦状態となるように結像光学系１９を駆動することによって、撮像装置１のＡＦ機能が実現される。

補間回路１６は、撮像素子からの画像信号に対して補間処理を行い、その補間処理された画像信号を画像処理部１７に出力する。具体的には、焦点検出用の画素は、撮影用の画素としては使用できないので、補間回路１６は、焦点検出用の画素の位置の画素の画像信号を、周囲の撮像画素の信号を用いて補間して生成する。

撮像装置１は、図示しない操作部（例えば、デジタルカメラのレリーズボタン）からの操作信号に応じて、撮影処理の実行が指示され、その撮影処理の実行時に、焦点検出が行われてＡＦ機能が実行される。

図２は、相関演算部１４の構成を示すブロック図である。相関演算部１４は、Ａ瞳／Ｂ瞳分離回路２１、高周波成分量検出回路２２、加算可否決定回路２３、フレーム間加算回路２４、相関演算制御回路２５、及び相関演算回路２６を含んで構成されている。

Ａ瞳／Ｂ瞳分離回路２１には、画像信号ＶＳ、焦点検出画素指示信号ＩＦ及び瞳指示信号ＡＢが入力される。Ａ瞳／Ｂ瞳分離回路２１は、焦点検出画素指示信号ＩＦに基づいて、入力された画像信号ＶＳが焦点検出用の画素の画像信号であることを判別する。さらに、Ａ瞳／Ｂ瞳分離回路２１は、瞳指示信号ＡＢに基づいて、その焦点検出用の画素の画像信号ＶＳが２つの瞳領域Ａ，Ｂのいずれの瞳領域に対応する画素の画像信号であるかを判別する。よって、Ａ瞳／Ｂ瞳分離回路２１は、焦点検出画素指示信号ＩＦ及び瞳指示信号ＡＢに基づいて、焦点検出用の画素の画像信号ＶＳだけを、瞳領域Ａ，Ｂ別に、高周波成分量検出回路２２とフレーム間加算回路２４に出力する。

高周波成分量検出回路２２は、連続して入力された焦点検出用の画素の複数の画像信号ＶＳについての高周波成分量を検出する。高周波成分量は、被写体像の信号成分の解析結果の一つである。
具体的には、Ａ瞳領域あるいはＢ瞳領域の複数の画像信号ＶＳが、高周波成分量検出回路２２に連続的に入力される。高周波成分量検出回路２２は、その連続的に入力された複数の画像信号ＶＳから、高周波成分量を検出する。例えば、撮像素子１１の１ライン上に焦点検出用の複数の画素が配置されている場合、そのライン上のＡ瞳領域の複数の画像信号ＶＳが高周波成分量検出回路２２に連続的に入力される。そして、高周波成分量検出回路２２は、その連続に入力された２つの画像信号ＶＳ間の差をとり、かつその差の和をとることによって、被写体像の信号成分の解析結果としての高周波成分量を検出することができる。

瞳領域Ａあるいは瞳領域Ｂの複数の画像信号ＶＳは、フォーカスが比較的合っているときは、振幅値の変化が大きく、デフォーカス量が大きいときは、振幅値の変化が小さい。よって、高周波成分量は、デフォーカス量に対応する。

高周波成分量検出回路２２は、検出した高周波成分の量に応じた検出信号ＨＳを、加算可否決定回路２３に出力する。すなわち、焦点検出用の複数の画素から得られる複数の焦点検出用信号に含まれる高周波成分量が、高周波成分量検出回路２２から出力される。

なお、高周波成分量検出回路２２は、撮像素子１１からの撮影用の画素の画像信号ＶＳに含まれる高周波成分量を検出するようにしてもよい。例えば、高周波成分量検出回路２２Ａを、図１において点線で示すように、撮像素子１１の出力側に設け、その撮影用の画素の画像信号ＶＳに含まれる高周波成分量を、加算可否決定回路２３への検出信号ＨＳとして利用してもよい。

加算可否決定部としての加算可否決定回路２３は、検出信号ＨＳに応じてフレーム間加算の可否を判定し、この判定に基づく加算可否信号ＴＳをフレーム間加算回路２４へ出力する。また、加算可否決定回路２３は、フレーム間加算回路２４の制御に用いるシフト信号ＳＨＣを生成して出力する。

フレーム間加算処理部としてのフレーム間加算回路２４は、加算可否信号ＴＳに応じて、Ａ瞳／Ｂ瞳分離回路２１から出力された焦点検出用の画素の画像信号ＶＳに対するフレーム間加算処理を実施する。

図３は、撮像素子１１の画素配列を説明するための模式図である。図３に示すように、複数の画素が、撮像素子１１の撮像面１１ａにマトリックス状に配列されている。

図３は、例として、Ｍ×Ｎ（Ｍ，Ｎは整数）のマトリックス状に配置された複数の画素を含む撮像素子１１の画素配列の一部を示している。図３は、水平方向に２８画素を有する撮像素子の例を示す。撮像素子は、行ｆｄに、瞳領域Ａの光束を光電変換する焦点検出用の画素ｄａを５個有しているとともに、瞳領域Ｂの光束を光電変換する焦点検出用の画素ｄｂを５個有している。焦点検出用の複数の画素対ｄａ，ｄｂは、行ｆｄ中に、複数の撮像画素の中に離散的に配置されている。なお、焦点検出用の画素ｄａ，ｄｂは、撮影用の画素としては使用できないので、上述したように、焦点検出用の画素ｄａ，ｄｂの位置の画素については、周囲の撮影用の画素から補間画素を生成する前処理を行って、撮影用の画像信号は生成される。

なお、図３では、焦点検出用の複数の画素対は、撮像面１１ａの１行にのみ設けられているが、図４に示すように、複数行に設けられていてもよい。図４は、焦点検出用の画素が撮像面１１ａの複数行に設けられている場合の、撮像素子１１の画素配列を説明するための模式図である。

行ｆｄにおいて、縦縞の画素ｄａは、瞳領域Ａからの光束を受光し、横縞の画素ｄｂは、瞳領域Ｂからの光束を受光する。すなわち、行ｆｄ中の５個の画素ｄａが、瞳領域Ａからの光束を受光し、行ｆｄ中の５個の画素ｄｂが、瞳領域Ｂからの光束を受光する。

撮影用の画素（ｄａ，ｄｂ以外の画素）は、結像光学系１９の状態（合焦、非合焦）に係らず、信号の位相が変化しない。しかし、焦点検出用の画素ｄａ，ｄｂには、上述した偏心して配置されたマイクロレンズあるいは遮光マスクにより、結像光学系１９の状態（合焦、非合焦）に応じて、互いに左右方向にずれた位置の光が入射する。よって、瞳領域Ａ用の画素の画像は、撮像画素の画像よりわずかに右（あるいは左）に、瞳領域Ｂ用の画素の画像は、撮影画素の画像よりわずかに左（あるいは右）にシフトする。デフォーカス状態に応じてシフト量が大きくなり、シフト量とデフォーカス量には比例関係がある。この現象及び比例関係を利用して、検出されたデフォーカス量に応じて合焦状態となるように、結像光学系１９を駆動することによって、ＡＦ機能が実現される。

ここで、焦点検出用の複数の画素対ｄａ，ｄｂの信号中に、高周波成分量が大きいときは、一般にピントはフォーカス状態あるいはフォーカス状態に近い状態であり、高周波成分量が小さいときは、一般にピントはデフォーカス状態である。

図２に戻り、加算可否決定回路２３は、１フレーム分の検出信号ＨＳの値と、システムノイズ量及び演算ビット数等の値に基づいて予め決定された閾値ｔｈと、の比較を行う。

そして、加算可否決定回路２３は、検出信号ＨＳの値が閾値ｔｈより大きいという比較結果を得た場合に、デフォーカス量が小さいと判定し、フレーム間加算処理を実施させないようにするための加算可否信号ＴＳをフレーム間加算回路２４へ出力する。また、加算可否決定回路２３は、検出信号ＨＳの値が閾値ｔｈ以下であるという比較結果を得た場合に、デフォーカス量が大きいと判定し、フレーム間加算処理を実施させるようにするための加算可否信号ＴＳをフレーム間加算回路２４へ出力する。

なお、本実施例によれば、図４に示したような、焦点検出用の画素が撮像面１１ａの複数行に設けられている場合において、加算可否決定回路２３は、全ての行ｆｄの焦点検出用の画素に対応する検出信号ＨＳの値が蓄積されてから閾値ｔｈとの比較を行うものに限らず、最上段の行ｆｄの焦点検出用の画素に対応する検出信号ＨＳの値が入力された直後に閾値ｔｈとの比較を行うものであってもよい。そして、このような構成によれば、フレーム毎に変化する被写体を撮影するような場合であっても、該被写体の変化に追随可能な速度で加算可否信号ＴＳを出力することができるため、好適にＡＦ機能を動作させることができる。

また、本実施例によれば、加算可否決定回路２３は、１フレーム分の検出信号ＨＳの値と、複数の閾値ｔｈ１、ｔｈ２、・・・と、を比較した比較結果に応じ、後述のフレーム間加算回路２４Ａのフレーム間加算処理に用いられるフレーム数に関する情報を具備する、２つの加算可否信号ＴＳＡ及びＴＳＢを出力するように構成されるものであってもよい。

図５は、フレーム間加算回路２４の構成を示す回路図である。フレーム間加算回路２４は、２つのシフトレジスタ２４１及び２４４と、２つのマスク回路２４２及び２４５と、２つの加算回路２４３及び２４６と、を含んで構成されている。

図５のシフトレジスタ２４１及び２４４は、１０個のフリップフロップ（以下、ＦＦという）が直列に接続されているとともに、加算可否決定回路２３からのシフト信号ＳＨＣに応じて入力信号を順番にシフトさせることができるようにそれぞれ構成されている。

シフトレジスタ２４１には、１ライン（前述の行ｆｄに相当）分の焦点検出用の５つの画素ｄａの画像信号ＶＳが１フレーム分ずつ順次入力される。そして、図５に示したシフトレジスタ２４１によれば、直列に接続された１０個のＦＦを有して構成されているため、所定の１ライン分の画素ｄａの画像信号ＶＳを最大２フレーム分保持することができる。

また、図５に示したシフトレジスタ２４１によれば、画素ｄａの画像信号ＶＳの入力側から数えて５個目のＦＦが加算回路２４３に接続されているとともに、画素ｄａの画像信号ＶＳの入力側から数えて１０個目のＦＦがマスク回路２４２を介して加算回路２４３に接続されている。すなわち、図５に示したシフトレジスタ２４１によれば、（ｐ−１）フレーム目及びｐフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが既に１〜１０個目のＦＦに入力されている状態において、次の（ｐ＋１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが１〜５個目のＦＦに入力されると、ｐフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが６〜１０個目のＦＦに出力されるとともに加算回路２４３に出力され、（ｐ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳがマスク回路２４２に出力されるように構成されている。

マスク回路２４２は、フレーム間加算処理を実施しない旨の加算可否信号ＴＳが入力された場合には、シフトレジスタ２４１の６〜１０個目のＦＦから出力された、（ｐ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算回路２４３に入力させないように動作する。このようなマスク回路２４２の動作に応じ、加算回路２４３は、ｐフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算結果信号ＧＡとして出力する。すなわち、加算回路２４３は、デフォーカス量が小さい場合には、フレーム間加算処理を実施せずに、１ライン分の画像信号ＶＳをそのまま加算結果信号ＧＡとして出力する。

また、マスク回路２４２は、フレーム間加算処理を実施する旨の加算可否信号ＴＳが入力された場合には、シフトレジスタ２４１の６〜１０個目のＦＦから出力された、（ｐ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算回路２４３に入力させるように動作する。このようなマスク回路２４２の動作に応じ、加算回路２４３は、（ｐ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳと、ｐフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳと、を加算処理した加算結果を加算結果信号ＧＡとして出力する。すなわち、加算回路２４３は、デフォーカス量が大きい場合には、フレーム間加算処理を実施することにより、１ライン分の画像信号ＶＳを前後２フレーム間において加算した加算結果を加算結果信号ＧＡとして出力する。

一方、シフトレジスタ２４４には、１ライン（前述の行ｆｄに相当）分の焦点検出用の５つの画素ｄｂの画像信号ＶＳが１フレーム分ずつ順次入力される。そして、図５に示したシフトレジスタ２４１によれば、直列に接続された１０個のＦＦを有して構成されているため、所定の１ライン分の画素ｄｂの画像信号ＶＳを最大２フレーム分保持することができる。

また、図５に示したシフトレジスタ２４４によれば、画素ｄｂの画像信号ＶＳの入力側から数えて５個目のＦＦが加算回路２４６に接続されているとともに、画素ｄｂの画像信号ＶＳの入力側から数えて１０個目のＦＦがマスク回路２４５を介して加算回路２４６に接続されている。すなわち、図５に示したシフトレジスタ２４４によれば、（ｐ−１）フレーム目及びｐフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが既に１〜１０個目のＦＦに入力されている状態において、次の（ｐ＋１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが１〜５個目のＦＦに入力されると、ｐフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが６〜１０個目のＦＦに出力されるとともに加算回路２４６に出力され、（ｐ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳがマスク回路２４５に出力されるように構成されている。

マスク回路２４５は、フレーム間加算処理を実施しない旨の加算可否信号ＴＳが入力された場合には、シフトレジスタ２４４の６〜１０個目のＦＦから出力された、（ｐ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算回路２４６に入力させないように動作する。このようなマスク回路２４５の動作に応じ、加算回路２４６は、ｐフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算結果信号ＧＢとして出力する。すなわち、加算回路２４６は、デフォーカス量が小さい場合には、フレーム間加算処理を実施せずに、１ライン分の画像信号ＶＳをそのまま加算結果信号ＧＢとして出力する。

また、マスク回路２４５は、フレーム間加算処理を実施する旨の加算可否信号ＴＳが入力された場合には、シフトレジスタ２４４の６〜１０個目のＦＦから出力された、（ｐ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算回路２４６に入力させるように動作する。このようなマスク回路２４５の動作に応じ、加算回路２４６は、（ｐ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳと、ｐフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳと、を加算処理した加算結果を加算結果信号ＧＢとして出力する。すなわち、加算回路２４６は、デフォーカス量が大きい場合には、フレーム間加算処理を実施することにより、１ライン分の画像信号ＶＳを前後２フレーム間において加算した加算結果を加算結果信号ＧＢとして出力する。

なお、本実施例によれば、焦点検出用の画素から出力される画素信号に対してフレーム間加算処理を施す際に、常に前後２フレームを加算するような構成を有するものに限らず、加算対象のフレーム数を選択的に変更可能な構成を有するものであってもよい。

例えば図６に示すようなフレーム間加算回路２４Ａによれば、フレーム間加算処理に用いられるフレーム数を１〜４のいずれかとして選択できるように構成されている。

フレーム間加算回路２４Ａのシフトレジスタ２４１Ａ及び２４４Ａは、２０個のＦＦが直列に接続されているとともに、加算可否決定回路２３からのシフト信号ＳＨＣに応じて入力信号を順番にシフトさせることができるようにそれぞれ構成されている。

すなわち、図６に示したシフトレジスタ２４１Ａによれば、所定の１ライン分の画素ｄａの画像信号ＶＳを最大４フレーム分保持することができる。また、図６に示したシフトレジスタ２４４Ａによれば、所定の１ライン分の画素ｄｂの画像信号ＶＳを最大４フレーム分保持することができる。

図６に示したシフトレジスタ２４１Ａによれば、画素ｄａの画像信号ＶＳの入力側から数えて５個目のＦＦが加算回路２４３に接続されており、画素ｄａの画像信号ＶＳの入力側から数えて１０個目のＦＦがマスク回路２４２Ａを介して加算回路２４３に接続されているとともに、画素ｄａの画像信号ＶＳの入力側から数えて１５個目及び２０個目のＦＦがマスク回路２４２Ｂを介して加算回路２４３に接続されている。すなわち、図６に示したシフトレジスタ２４１Ａによれば、（ｑ−３）フレーム目〜ｑフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが既に１〜２０個目のＦＦに入力されている状態において、次の（ｑ＋１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが１〜５個目のＦＦに入力されると、（ｑ−３）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳがマスク回路２４２Ｂに出力され、（ｑ−２）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが１６〜２０個目のＦＦ及びマスク回路２４２Ｂに出力され、（ｑ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが１１〜１５個目のＦＦ及びマスク回路２４２Ａに出力され、ｑフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳが６〜１０個目のＦＦ及び加算回路２４３に出力されるように構成されている。

マスク回路２４２Ａは、加算回路２４３におけるフレーム間加算処理に用いられるフレーム数が１（フレーム間加算処理を実施しないことと同義）または３である旨の加算可否信号ＴＳＡを検出した場合には、シフトレジスタ２４１Ａの６〜１０個目のＦＦから出力された、（ｑ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算回路２４３に入力させないように動作する。また、マスク回路２４２Ａは、加算回路２４３におけるフレーム間加算処理に用いられるフレーム数が２または４である旨の加算可否信号ＴＳＡを検出した場合には、シフトレジスタ２４１Ａの６〜１０個目のＦＦから出力された、（ｑ−１）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算回路２４３に入力させるように動作する。

マスク回路２４２Ｂは、加算回路２４３におけるフレーム間加算処理に用いられるフレーム数が１（フレーム間加算処理を実施しないことと同義）または２である旨の加算可否信号ＴＳＢを検出した場合には、シフトレジスタ２４１Ａの１１〜２０個目のＦＦから出力された、（ｑ−３）フレーム目及び（ｑ−２）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算回路２４３に入力させないように動作する。また、マスク回路２４２Ｂは、加算回路２４３におけるフレーム間加算処理に用いられるフレーム数が３または４である旨の加算可否信号ＴＳＢを検出した場合には、シフトレジスタ２４１Ａの１１〜２０個目のＦＦから出力された、（ｑ−３）フレーム目及び（ｑ−２）フレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳを加算回路２４３に入力させるように動作する。

すなわち、フレーム間加算回路２４Ａの加算回路２４３は、デフォーカス量が比較的小さい場合には、フレーム間加算処理を実施せずに、ｑフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳをそのまま加算結果信号ＧＡとして出力する。また、フレーム間加算回路２４Ａの加算回路２４３は、デフォーカス量が比較的大きい場合には、（ｑ−３）フレーム目〜ｑフレーム目における所定の１ライン分の画素ｄａの画像信号ＶＳに対し、デフォーカス量の大きさに応じたフレーム数のフレーム間加算処理を実施して得られた加算結果を加算結果信号ＧＡとして出力する。

一方、図６に示したシフトレジスタ２４４Ａによれば、画素ｄｂの画像信号ＶＳの入力側から数えて５個目のＦＦが加算回路２４６に接続されており、画素ｄｂの画像信号ＶＳの入力側から数えて１０個目のＦＦがマスク回路２４５Ａを介して加算回路２４６に接続されているとともに、画素ｄｂの画像信号ＶＳの入力側から数えて１５個目及び２０個目のＦＦがマスク回路２４５Ｂを介して加算回路２４６に接続されている。すなわち、図６に示したシフトレジスタ２４４Ａによれば、（ｑ−３）フレーム目〜ｑフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが既に１〜２０個目のＦＦに入力されている状態において、次の（ｑ＋１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが１〜５個目のＦＦに入力されると、（ｑ−３）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳがマスク回路２４５Ｂに出力され、（ｑ−２）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが１６〜２０個目のＦＦ及びマスク回路２４５Ｂに出力され、（ｑ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが１１〜１５個目のＦＦ及びマスク回路２４５Ａに出力され、ｑフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳが６〜１０個目のＦＦ及び加算回路２４６に出力されるように構成されている。

マスク回路２４５Ａは、加算回路２４６におけるフレーム間加算処理に用いられるフレーム数が１（フレーム間加算処理を実施しないことと同義）または３である旨の加算可否信号ＴＳＡを検出した場合には、シフトレジスタ２４４Ａの６〜１０個目のＦＦから出力された、（ｑ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算回路２４６に入力させないように動作する。また、マスク回路２４５Ａは、加算回路２４６におけるフレーム間加算処理に用いられるフレーム数が２または４である旨の加算可否信号ＴＳＡを検出した場合には、シフトレジスタ２４４Ａの６〜１０個目のＦＦから出力された、（ｑ−１）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算回路２４６に入力させるように動作する。

マスク回路２４５Ｂは、加算回路２４６におけるフレーム間加算処理に用いられるフレーム数が１（フレーム間加算処理を実施しないことと同義）または２である旨の加算可否信号ＴＳＢを検出した場合には、シフトレジスタ２４４Ａの１１〜２０個目のＦＦから出力された、（ｑ−３）フレーム目及び（ｑ−２）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算回路２４６に入力させないように動作する。また、マスク回路２４５Ｂは、加算回路２４６におけるフレーム間加算処理に用いられるフレーム数が３または４である旨の加算可否信号ＴＳＢを検出した場合には、シフトレジスタ２４４Ａの１１〜２０個目のＦＦから出力された、（ｑ−３）フレーム目及び（ｑ−２）フレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳを加算回路２４６に入力させるように動作する。

すなわち、フレーム間加算回路２４Ａの加算回路２４６は、デフォーカス量が比較的小さい場合には、フレーム間加算処理を実施せずに、ｑフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳをそのまま加算結果信号ＧＢとして出力する。また、フレーム間加算回路２４Ａの加算回路２４６は、デフォーカス量が比較的大きい場合には、（ｑ−３）フレーム目〜ｑフレーム目における所定の１ライン分の画素ｄｂの画像信号ＶＳに対し、デフォーカス量の大きさに応じたフレーム数のフレーム間加算処理を実施して得られた加算結果を加算結果信号ＧＢとして出力する。

なお、本実施例のフレーム間加算回路２４及び２４Ａによれば、各シフトレジスタをフレームメモリに置きかえて構成することも可能である。

図２に戻り、相関演算制御回路２５は、撮像素子駆動回路１２からの相関タイミング信号ＴＣに基づき、相関演算回路２６における相関演算のタイミング等を制御するための制御信号ＳＳを生成して出力する。

相関演算回路２６は、フレーム間加算回路２４（またはフレーム間加算回路２４Ａ）から出力される加算結果信号ＧＡ及びＧＢによる相関演算を制御信号ＳＳによる制御に基づいて行う。そして、相関演算回路２６は、前記相関演算により得られた演算結果を相関演算結果信号ＣＳとして出力する。

なお、本実施例においては、公知の相関演算回路の構成を適宜組み替えたものを相関演算回路２６として用いることができる。そのため、相関演算回路２６の具体的な構成については、説明を省くものとする。

ところで、被写体の照度が低い場合、または、大デフォーカスが生じている場合等においては、焦点検出用の画素対から出力される画素信号の振幅値（波高値）が低くなるとともに、該画素信号のＳ／Ｎが低くなる傾向がある。そして、例えば、Ｓ／Ｎの低い画素信号をそのまま用いて相関演算を行った場合、該相関演算において誤差が発生し易くなることにより、適切な焦点検出を行うことができず、結果的に、ＡＦ機能の動作が不安定になってしまうという問題が生じる。

例えば、焦点検出用の画素対から出力される画素信号の振幅値が低い場合に、該画素信号のゲインを単に上げただけでは、該画素信号に含まれるノイズの振幅値も含めて増幅されてしまうため、増幅前の画素信号と比べてもＳ／Ｎがほとんど改善せず、相関演算による焦点検出に適した画像信号を得ることができない。

一方、例えば、焦点検出用の画素対から出力される画素信号の振幅値が低い場合に、該画素対から１フレーム中に出力される複数の周辺画素信号を加算すると、加算後の画素信号における振幅値が加算前に比べて増加する反面、加算後の信号に含まれる高周波成分量が減ってしまうため、デフォーカス量に応じた正確な焦点検出を行うことができない。

これに対し、本実施例によれば、焦点検出用の画素対から出力される画素信号の振幅値が低い場合、すなわち、焦点検出用の画素対から出力される画素信号のＳ／Ｎが低い場合であっても、複数のフレーム間において得られた画素信号を高周波成分量の多寡に応じて加算することにより、加算前に比べてＳ／Ｎが改善された画素信号を用いて相関演算を行うことができる。そのため、本実施例によれば、焦点検出の際の相関演算の演算結果における誤差の発生を抑制することができる。

また、本実施例によれば、図３に例示したような、撮像素子１１の撮像面１１ａの１行にのみ焦点検出用の画素対が設けられている構成であっても、焦点検出の際の相関演算の演算結果における誤差の発生を抑制することが十分可能である。そのため、本実施例によれば、撮像素子に配置可能な撮影用の画素数を増やすことができ、結果的に、被写体を撮影する際の画質を向上させることができる。

なお、以上に述べた本実施例は、デジタルカメラに対して適用されるものに限らず、例えば、監視カメラ及び内視鏡等の他の撮像装置に対して適用されるものであってもよい。

ところで、以上に述べた本実施例の撮像装置では、焦点検出用の複数の画素対の画像信号ＶＳに含まれる高周波成分量に基づいて、あるいは撮像素子１１の撮影用の複数の画素の画像信号ＶＳに含まれる高周波成分量に基づいて、フレーム間加算処理の可否（またはフレーム間加算処理に用いられるフレーム数）が決定されている。

ここで、被写体像の信号成分の解析結果として高周波成分量を用いるとともに、該解析結果の確認を行う目的において、撮像素子１１の撮影用の複数の画素の平均輝度値を併せて用いるものであってもよい。

また、以上に述べた本実施例によれば、焦点検出用の複数の画素対が、被写体を撮影する撮像素子上に設けられるものに限らず、そのような撮像素子とは別に設けられるものであってもよい。

図７は、本実施例の変形例に係る撮像装置１Ａの構成を説明するための図である。なお、図７における図１と同じ構成要素については、同じ符号を付して説明は省略する。図７に示すように、デジタルカメラである撮像装置１Ａの結像光学系１９から入射された光は、ハーフミラーを有するミラー４１に設けられたサブミラー４２に当たり反射する。サブミラー４２からの反射光は、さらにサブミラー４３において反射され、焦点検出用の複数の画素対及び相関演算部を含むセンサ４４に入射する。センサ４４は、検出した位相差に応じてデフォーカス量ＤＦを出力する。

被写体の撮影時においては、ミラー４１がアップし、シャッタ４５が駆動されて、撮像素子１１Ａに被写体からの光が入射する。撮像素子１１Ａは、焦点検出用の複数の画素対を含まない。撮像素子１１Ａからの画像信号ＶＳは、画像処理部４６に入力され、図示しない記録媒体に記録され、さらに、例えば電子ビューファインダー（ＥＶＦ）４７に出力されて、撮影された被写体像が表示される。

図８は、センサ４４の撮像面における、焦点検出用の複数の画素対の画素配列を説明するための模式図である。図８に示すように、センサ４４の撮像面４４ａには、焦点検出用の複数の画素対が複数行に（ここでは３行に）わたってマトリックス状に配列されている。

そして、このような構成の撮像装置１Ａを用いた場合であっても、焦点検出の際の相関演算の演算結果における誤差の発生を抑制することができるとともに、被写体を撮影する際の画質を向上させることができる。

なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１，１Ａ 撮像装置
１１，１１Ａ 撮像素子
１２ 撮像素子駆動回路
１３ 焦点検出画素分離部
１４ 相関演算部
１５ デフォーカス量算出回路
１６ 補間回路
１７ 画像処理部
１８ フォーカス部
１９ 結像光学系
２１ 瞳分離回路
２２，２２Ａ 高周波成分量検出回路
２３ 加算可否決定回路
２４，２４Ａ フレーム間加算回路
２５ 相関演算制御回路
２６ 相関演算回路
４１ ミラー
４２，４３ サブミラー
４４ センサ
４５ シャッタ
４６ 画像処理部
２４１，２４１Ａ シフトレジスタ
２４２，２４２Ａ，２４２Ｂ マスク回路
２４３，２４６ 加算回路
２４４，２４４Ａ シフトレジスタ
２４５，２４５Ａ，２４５Ｂ マスク回路

特開２００９−３１２２号公報

Claims (7)

1. 被写体像を形成する結像光学系と、
   前記被写体像を光電変換する複数の画素を含む撮像素子と、
   前記結像光学系の異なる瞳領域を通過した光束をそれぞれ受光する複数の焦点検出用画素から得られる複数の焦点検出用信号の位相差に基づいて、デフォーカス量を算出するデフォーカス量算出部と、
   前記デフォーカス量算出部において算出された前記デフォーカス量に応じて合焦状態となるように前記結像光学系を駆動するフォーカス部と、
   前記被写体像の信号成分の解析結果に基づき、前記デフォーカス量を算出する前に、前記複数の焦点検出用信号に対するフレーム間加算の実施の可否を判定する加算可否決定部と、
   前記加算可否決定部の判定結果に基づいてフレーム間加算を行うフレーム間加算処理部と、
   を有することを特徴とする撮像装置。
2. 前記加算可否決定部は、前記解析結果と、１又は複数の閾値と、を比較した比較結果に基づき、前記複数の焦点検出用信号に対するフレーム間加算の実施の可否、及び、前記複数の焦点検出用信号に対してフレーム間加算を実施する際の加算フレーム数をそれぞれ決定することを特徴とする請求項１に記載の撮像装置。
3. 前記解析結果は、前記焦点用検出画素から得られる前記複数の焦点検出用信号に含まれる高周波成分量であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記解析結果は、前記撮像素子からの前記被写体像の画像信号に含まれる高周波成分量であることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記複数の焦点検出用画素は、前記撮像素子に含まれることを特徴とする請求項１に記載の撮像装置。
6. 前記焦点検出画素は、前記撮像素子とは別に設けられたセンサに含まれる画素であることを特徴とする請求項１に記載の撮像装置。
7. 前記複数の焦点検出用信号は、動画の映像信号であることを特徴とする請求項１又は２に記載の撮像装置。

Images