JP2007139892A - 合焦検出装置 - Google Patents

Abstract

【課題】処理を高速に行うことが可能な合焦検出装置を提供すること。
【解決手段】被写体からの光を所定の位置に結像する光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報の差分と２次微分とを計算し、上記差分値と上記２次微分の平均値との除算によって、上記被写体の距離に対応するぼけパラメータを算出し、上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段を参照して、上記算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、上記ぼけの異なる複数の輝度情報のうち少なくとも１つに対する２次微分の値に基づいて、上記輝度情報に含まれる領域のうち合焦検出を行なう領域を領域抽出する領域抽出部３０Ａを有する。
【選択図】 図２

Description

本発明は、ぼけの異なる複数の画像から合焦検出を行うＤＦＤ法を利用した合焦検出装置に関する。

特許文献１に開示された合焦検出方式では、ぼけの異なる複数の画像を演算処理することにより、ぼけパラメータを算出し、合焦判定するために、光路長の異なる２箇所で輝度情報を取得する方法が記載されている。この手法は、Depth From Defocus（ＤＦＤ）と呼ばれる。ここで、ぼけパラメータとは、輝度情報のぼけ状態を示す代表値であり、光学系のポイントスプレッドファンクション（ＰＳＦ）の分散値と相関のある値を示す。また、ＰＳＦとは、理想的な点像が光学系を通過した場合にどのように広がるかを表した関数である。

上記特許文献１に記載されているＤＦＤ合焦検出方法の概略ステップを説明すると、図１４に示すようになる。これら概略ステップで行われる演算処理の詳細は、上記特許文献１に記載されているので、ここでは説明を省略する。

ＤＦＤ合焦検出方法では、同一被写体、同一部位、同一視線方向からの最低２つの合焦判定用輝度情報を、撮像画像のぼけ状態に影響を与える撮影パラメータを最低１つ変更することによって取得する。撮影パラメータとしては、フォーカスレンズ位置、絞り量、焦点距離などがあるが、本説明では、図１５（Ａ）及び（Ｂ）に示すように、フォーカスレンズ１の位置のみを変更する場合に限定して説明を行う。

本ＤＦＤ合焦検出方法によるとまず、例えば図１５（Ａ）及び（Ｂ）の輝度情報取得手段である撮像部（図示せず）の像面２上に結像される像のぼけの状態を変えるために、フォーカスレンズ１を所定の第１の場所Ｌ１（図１５（Ａ））及び第２の場所Ｌ２（図１５（Ｂ））に移動し（ステップＳ１Ａ、ステップＳ１Ｂ）、それぞれ第１及び第２の輝度情報を取得する（ステップＳ２Ａ、ステップＳ２Ｂ）。それぞれ取得された輝度情報は、電気的なノイズを除去するためのローパスフィルタ、第１及び第２の画像間で異なる倍率を補正する像倍率補正処理、輝度分布などの正規化処理が行われ（ステップＳ３Ａ、ステップＳ３Ｂ）、必要であれば取得した輝度情報中の合焦判定をすべき領域を選択する（ステップＳ４Ａ、ステップＳ４Ｂ）。選択はどちらか一方の輝度情報に対して行い、もう一方の輝度情報に対しては対応領域が選定される。そして、それら合焦判定をすべき領域における２つの正規化処理結果から、第１の輝度情報と第２の輝度情報との差分とを演算する（ステップＳ５）。また、第１の輝度情報及び第２の輝度情報それぞれの２次微分を計算して（ステップＳ６Ａ，ステップＳ６Ｂ）、それらの平均値を計算する（ステップＳ７）。そして、上記ステップＳ５で求めた第１の輝度情報と第２の輝度情報との差分から上記ステップＳ７で求めた輝度情報の２次微分の平均値を除算することで、ＰＳＦの分散と相関のあるぼけパラメータσが算出される（ステップＳ８）。

この算出されたＰＳＦのぼけパラメータσと被写体距離は、被写体距離の逆数に線形な関係が得られる。また、ある被写体距離と、被写体距離に合焦するフォーカスレンズ位置即ち合焦レンズ位置は１対１対応なので、図１５（Ｃ）に示すように、ぼけパラメータσと合焦レンズ位置の関係も１対１対応で得られる。この関係は、ルックアップテーブル（ＬＵＴ）として処理部内に記憶されている。従って、任意の被写体に対して算出したぼけパラメータσに対応する合焦レンズ位置は、このＬＵＴを参照して求められる（ステップＳ９）。なお、ＬＵＴの要素として、算出したぼけパラメータσがない場合には、補間演算によって合焦レンズ位置を求めている。

上記ぼけパラメータの算出法として、フォーカスレンズ１の位置を変えるだけでなく、絞り径を変えて行なう手法についても上記特許文献１に記載されている。図１６（Ａ）及び（Ｂ）に示すように、絞り径を変化させる（ＦＡ，ＦＳ）と、像面２上でのぼけの大きさが変化する。絞り径を大きくする程ぼけの大きさは大きくなり、絞る程ぼけが小さくなる。２つの絞り径で取得した輝度情報から、前述と同様にぼけパラメータσを求める。求めた結果とＬＵＴを使って合焦スレンズ位置を求める。
米国特許第４，９６５，８４０号明細書

ＤＦＤ法では、画像の差分と２次微分の結果を除算することによって、合焦評価値であるぼけパラメータσを求めるが、像面上の全領域に渡ってこの演算を行なうと演算量が大きくなり、処理を高速に行なうことができない問題があった。

本発明は、上記の点に鑑みてなされたもので、処理を高速に行うことが可能な合焦検出装置を提供することを目的とする。

本発明の合焦検出装置の一態様は、
被写体からの光を所定の位置に結像する光学系と、
上記光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報を取得する輝度情報取得手段と、
上記輝度情報取得手段により取得したぼけの異なる輝度情報の２次微分を計算し、上記２次微分を用いて上記被写体の距離に対応するぼけパラメータを算出するぼけパラメータ算出手段と、
上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段と、
を有し、上記記憶手段の情報を参照して、上記ぼけパラメータ算出手段で算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、
上記ぼけの異なる複数の輝度情報のうち少なくとも１つに対する２次微分の値に基づいて、上記輝度情報に含まれる領域のうち合焦検出を行なう領域を領域抽出する領域抽出手段を更に具備することを特徴とする。

また、本発明の合焦検出装置の別の態様は、
被写体からの光を所定の位置に結像する光学系と、
上記光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報を取得する輝度情報取得手段と、
上記輝度情報取得手段により取得したぼけの異なる輝度情報の２次微分を計算し、上記２次微分を用いて上記被写体の距離に対応するぼけパラメータを算出するぼけパラメータ算出手段と、
上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段と、
を有し、上記記憶手段の情報を参照して、上記ぼけパラメータ算出手段で算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、
上記ぼけの異なる複数の輝度情報の２次微分の平均値に対して閾値処理を行い、上記輝度情報に含まれる領域のうち合焦検出を行う領域を抽出する領域抽出手段を更に具備することを特徴とする。

本発明によれば、ぼけパラメータを算出する領域を限定することにより、演算を減らし、処理を高速に行うことが可能な合焦検出装置を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
本実施形態に係る合焦検出装置は、図１（Ａ）に示すようなコンパクトカメラ１０に適用したものであり、図１（Ｂ）に示すように、光学系１２、輝度情報取得手段である撮像素子１４及び輝度信号制御部１６、合焦検出部１８、光学系制御部２０、及びコントローラ２２によって構成される。

ここで、光学系１２は複数のレンズ群で構成され、画像を撮影することを目的としたレンズ群（テーキングレンズ）であり、そのうちの一部のレンズ群はフォーカスを調整するために光軸方向に駆動できる構成になっている。これをフォーカスレンズと呼ぶ。テーキングレンズによって結像した被写体の像は、撮像素子１４の光電変換素子によって電気信号に変換される。変換された電気信号は、輝度信号制御部１６でデジタル信号に変換される。この変換されたデジタル信号を輝度情報と呼ぶ。合焦検出部１８は、この輝度情報を用いて合焦レンズ位置を算出する。また、光学系制御部２０は、アクチュエータと該アクチュエータを駆動するための駆動回路とによって構成されている。コントローラ２２は、コンパクトカメラ１０の各部を制御するものである。そして、本実施形態においては、例えば、上記合焦検出部１８で検出した合焦レンズ位置が入力されると、そのレンズ位置に配置するための信号を生成し、光学系制御部２０にその信号を入力して光学系１２のフォーカスレンズを所望の位置に配置する。

図２は、上記合焦検出部１８の構成を示す図である。この合焦検出部１８は、４個の切替部２４Ａ〜２４Ｄ、７個のバッファ２６Ａ〜２６Ｇ、３個の２次微分演算部２８Ａ〜２８Ｃ、６個の領域抽出部３０Ａ〜３０Ｆ、領域記憶部３２、平均演算部３４、差分演算部３６、ぼけパラメータ演算部３８、ＬＵＴ記憶部４０、及び制御パラメータ計算部４２から構成されている。なお、同図において、太線及び破線は画像情報線を示し、細線は制御信号線を、一点鎖線はその他の情報線を示している。

ここで、切替部２４Ａは、コントローラ２２の制御により、輝度信号制御部１６からの輝度情報を、バッファ２６Ａ及び２次微分演算部２８Ａと切替部２４Ｂとに選択的に切り替え供給するものである。切替部２４Ｂは、コントローラ２２の制御により、切替部２４Ａからの輝度情報を、バッファ２６Ｆ及び２次微分演算部２８Ｃと領域抽出部３０Ｂとに選択的に切り替え供給するものである。切替部２４Ｃは、コントローラ２２の制御により、バッファ２６Ｄに記憶された２次微分と領域抽出部３０Ｅからの２次微分とを、平均演算部３４に選択的に切り替え供給するものである。切替部２４Ｄは、コントローラ２２の制御により、バッファ２６Ｃの記憶された輝度情報と領域抽出部３０Ｆからの輝度情報とを、差分演算部３６に選択的に切り替え供給するものである。

バッファ２６Ａは、切替部２４Ａからの輝度情報を記憶するものである。バッファ２６Ｂは、２次微分演算部２８Ａで算出された２次微分を記憶するものである。バッファ２６Ｃは、領域抽出部３０Ｂで抽出された輝度情報を記憶するものである。バッファ２６Ｄは、２次微分演算部２８Ｂで算出された２次微分を記憶するものである。バッファ２６Ｅは、平均演算部３４で求められた２次微分の平均を記憶するものである。バッファ２６Ｆは、切替部２４Ｂからの輝度情報を記憶するものである。バッファ２６Ｇは、２次微分演算部２８Ｃで算出された２次微分を記憶するものである。

２次微分演算部２８Ａは、切替部２４Ａから供給された輝度情報の２次微分を算出するものである。２次微分演算部２８Ｂは、領域抽出部３０Ｂで抽出された輝度情報の２次微分を算出するものである。２次微分演算部２８Ｃは、切替部２４Ｂから供給された輝度情報の２次微分を算出するものである。

領域抽出部３０Ａは、バッファ２６Ｂ又は２６Ｇに記憶された輝度情報の２次微分の絶対値に閾値処理を行い、閾値を超える２次微分を持つブロックを抽出領域とする領域計算を行うものである。領域抽出部３０Ｂは、切替部２４Ｂから供給される輝度情報から、領域記憶部３２に記憶された抽出領域のみの輝度情報を抽出するものである。領域抽出部３０Ｃは、バッファ２６Ｂに記憶されている輝度情報の２次微分から、領域記憶部３２に記憶された抽出領域のみの２次微分を抽出するものである。領域抽出部３０Ｄは、バッファ２６Ａに記憶されている輝度情報から、領域記憶部３２に記憶された抽出領域のみの輝度情報を抽出するものである。領域抽出部３０Ｅは、バッファ２６Ｇに記憶されている輝度情報の２次微分から、領域記憶部３２に記憶された抽出領域のみの２次微分を抽出するものである。領域抽出部３０Ｆは、バッファ２６Ｆに記憶されている輝度情報から、領域記憶部３２に記憶された抽出領域のみの輝度情報を抽出するものである。

領域記憶部３２は、領域抽出部３０Ａで求めた抽出領域の位置を記憶するものである。

平均演算部３４は、領域抽出部３０Ｃで抽出した抽出領域のみの２次微分と、切替部２４Ｃから供給される抽出領域のみの２次微分との平均を求めるものである。

差分演算部３６は、領域抽出部３０Ｄで抽出した抽出領域のみの輝度情報と、切替部２４Ｄから供給される抽出領域のみの輝度情報との差分を計算するものである。

ぼけパラメータ演算部３８は、バッファ２６Ｅに記憶された２次微分の平均と差分演算部３６から渡された差分の除算を計算して、各抽出領域におけるぼけパラメータを得るものである。

ＬＵＴ記憶部４０は、ぼけパラメータと被写体からの光の合焦位置との関係として、ぼけパラメータと合焦レンズ位置との関係をＬＵＴの形で記憶したものである。合焦レンズ位置に応じて、光学系１２の配置が定まる。

制御パラメータ計算部４２は、上記ＬＵＴ記憶部４０のＬＵＴを参照することにより、上記ぼけパラメータ演算部３８で算出したぼけパラメータに対応した合焦レンズ位置を求めるものである。

本実施形態に係る合焦検出装置の処理を、図３のフローチャートを参照して詳細に説明する。

即ち、まず、コントローラ２２が光学系制御部２０により、予め決められた第１のレンズ位置Ｌ１に光学系１２のフォーカスレンズを駆動し（ステップＳ１０）、撮像素子１４及び輝度信号制御部１６によって被写体の第１の輝度情報ｇ１を取得する（ステップＳ１２）。この取得された第１の輝度情報ｇ１は、合焦検出部１８に供給される。このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、バッファ２６Ａ及び２次微分演算部２８Ａ側に切り替えている。従って、上記取得された第１の輝度情報ｇ１は、切替部２４Ａを介して、バッファ２６Ａに供給されて、そこに記憶されると共に（ステップＳ１４）、２次微分演算部２８Ａに供給されて、輝度情報の２次微分∇ｇ１が算出される（ステップＳ１６）。そして、その算出された輝度情報の２次微分∇ｇ１は、バッファ２６Ｂに供給されて、そこに記憶される（ステップＳ１８）。

また、領域抽出部３０Ａでは、予め像面上に区切られた合焦検出領域の複数の領域（ブロック）からエッジの強度の高いブロック（例えば、図４の例では、ブロックＡ５，Ａ１１）を選択する処理を行う。これは、上記バッファ２６Ｂに記憶された輝度情報の２次微分∇ｇ１の絶対値に閾値処理を行い、閾値を超える２次微分を持つブロックを抽出領域とするものである。この抽出領域は複数あっても良い。而して、抽出領域が存在したならば（ステップＳ２０）、それら抽出領域の位置を領域記憶部３２に記憶する（ステップＳ２２）。

次に、コントローラ２２は、光学系制御部２０により第２のレンズ位置Ｌ２に光学系１２のフォーカスレンズを駆動し（ステップＳ２４）、撮像素子１４及び輝度信号制御部１６によって第２の輝度情報ｇ２を取得する。この取得された第２の輝度情報ｇ２は、合焦検出部１８に供給されるが、このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、切替部２４Ｂ側に切り替えている。また、その切替部２４Ｂを、領域抽出部３０Ｂ側に切り替えている。従って、上記取得された第２の輝度情報ｇ２は、切替部２４Ａ及び２４Ｂを介して、領域抽出部３０Ｂに供給される。そして、この領域抽出部３０Ｂにより、第２の輝度情報ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの輝度情報ｇ２ｂが抽出される（ステップＳ２６）。この抽出された輝度情報ｇ２ｂは、バッファ２６Ｃに供給されて、そこに記憶されると共に（ステップＳ２８）、２次微分演算部２８Ｂに供給されて、抽出輝度情報ｇ２ｂの２次微分∇ｇ２ｂが算出される（ステップＳ３０）。そして、その算出された２次微分∇ｇ２ｂは、バッファ２６Ｄに供給されて、そこに記憶される（ステップＳ３２）。

次に、領域抽出部３０Ｃにより、上記バッファ２６Ｂに記憶されている１枚目の輝度情報の２次微分∇ｇ１のうち、上記バッファ２６Ｄに記憶した２次微分∇ｇ２ｂに対応する２次微分、つまり上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ１ｂが読み出されて、平均演算部３４に供給される。また、上記バッファ２６Ｄに記憶された２次微分∇ｇ２ｂが切替部２４Ｃを介して、上記平均演算部３４に供給される。即ち、この場合、切替部２４Ｃは、コントローラ２２によりバッファ２６Ｄ側に切り替えられている。こうして、対応するブロックの２次微分∇ｇ１ｂ，∇ｇ２ｂが読み出されて平均演算部３４に供給される（ステップＳ３４）。そして、それら２次微分∇ｇ１ｂと∇ｇ２ｂの結果の平均ｍ∇ｇが平均演算部３４で求められ（ステップＳ３６）、バッファ２６Ｅに記憶される（ステップＳ３８）。

また、領域抽出部３０Ｄにより、上記バッファ２６Ａに記憶されている１枚目の輝度情報ｇ１のうち、２枚目の輝度情報ｇ２から領域抽出された上記バッファ２６Ｃに記憶した抽出輝度情報ｇ２ｂに対応する抽出輝度情報、つまり上記領域記憶部３２に記憶された抽出領域（ブロック）のみの抽出輝度情報ｇ１ｂが読み出されて、差分演算部３６に供給される。また、上記バッファ２６Ｃに記憶された抽出輝度情報ｇ２ｂが切替部２４Ｄを介して、上記差分演算部３６に供給される。即ち、この場合、切替部２４Ｄは、コントローラ２２によりバッファ２６Ｃ側に切り替えられている。こうして、対応するブロックの抽出した領域の輝度情報が１枚目（ｇ１ｂ）、２枚目（ｇ２ｂ）共に読み出されて差分演算部３６に供給される（ステップＳ４０）。そして、それら抽出輝度情報ｇ１ｂとｇ２ｂとの差分ｇ１ｂ−ｇ２ｂが差分演算部３６で計算され、その結果の差分ｓｕｂｇが、ぼけパラメータ演算部３８に渡される（ステップＳ４２）。

ぼけパラメータ演算部３８は、上記バッファ２６Ｅに記憶された２次微分の平均ｍ∇ｇを読み出し、それと上記差分演算部３６から渡された差分ｓｕｂｇの除算（ｓｕｂｇ／ｍ∇ｇ）を計算して、各抽出領域におけるぼけパラメータσを得る（ステップＳ４４）。このぼけパラメータσは、各画素ごとに求められるので、これらの値の平均値や、最も出現頻度の高い値をその領域の代表値とする。

ぼけパラメータσは、被写体距離と相関のある値であり、合焦レンズ位置に対して１対１の関係がある。この関係は、ＬＵＴ記憶部４０にＬＵＴの形で記憶されている。従って、制御パラメータ計算部４２で、ＬＵＴ記憶部４０のＬＵＴを参照することにより、ぼけパラメータに対応した合焦レンズ位置を求めることができる。求められたぼけパラメータがＬＵＴの要素にない場合には、ぼけパラメータの近傍２点の要素を使って線形補間により合焦レンズ位置を求める。なお、抽出領域が複数存在し、各領域ごとに異なるぼけパラメータが得られた場合、最近距離の結果が得られる領域を検出領域として、合焦レンズ位置を求める。

こうして求められた合焦レンズ位置は、コントローラ２２に供給され、コントローラ２２は、光学系制御部２０により光学系１２のフォーカスレンズの位置の制御を行う。フォーカスレンズ位置が所望の位置に配置されると、合焦検出が完了する。

一方、被写体の距離によっては、上記第１のレンズ位置Ｌ１において撮影した輝度情報が大きくぼけていて、上記ステップＳ２０の閾値処理で領域を抽出できない場合がある。そのような場合には、第２のレンズ位置Ｌ２において取得した輝度情報を使って領域抽出を行う。

この場合を、図５を参照しつつ、図３のフローチャートに沿って説明する。なお、図２と図５は同一の合焦検出部１８の構成を示しており、アクティブな流れを太線で、非アクティブな流れを破線でそれぞれ表すことで、画像情報の経路を明確にするように互いに書き換えているものである。

即ち、領域抽出部３０Ａからの制御信号により、上記ステップＳ２０の閾値処理で領域を抽出できないと判別した場合には、コントローラ２２は、光学系制御部２０により第２のレンズ位置Ｌ２に光学系１２のフォーカスレンズを駆動した後（ステップＳ４６）、撮像素子１４及び輝度信号制御部１６によって第２の輝度情報ｇ２を取得する（ステップＳ４８）。この取得された第２の輝度情報ｇ２は、合焦検出部１８に供給されるが、このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、切替部２４Ｂ側に切り替えている。また、その切替部２４Ｂを、バッファ２６Ｆ及び２次微分演算部２８Ｃ側に切り替えている。従って、上記取得された第２の輝度情報ｇ２は、切替部２４Ａ及び２４Ｂを介して、バッファ２６Ｆに供給されて、そこに格納されると共に（ステップＳ５０）、２次微分演算部２８Ｃに供給されて、第２の輝度情報の２次微分∇ｇ２が算出される（ステップＳ５２）。そして、その算出された２次微分∇ｇ２は、バッファ２６Ｇに供給されて、そこに記憶される（ステップＳ５４）。

ここで、領域抽出部３０Ａは、上記バッファ２６Ｇに記憶された第２の輝度情報の２次微分∇ｇ２の絶対値に閾値処理を行い、閾値を超える２次微分∇ｇ２を持つブロックを抽出領域とする。この抽出領域は複数あっても良い。而して、抽出領域が存在したならば（ステップＳ５６）、それら抽出領域の位置を領域記憶部３２に記憶する（ステップＳ５８）。また、この閾値処理でも閾値を超える２次微分の結果が得られない場合には（ステップＳ５６）、全領域を抽出領域とし、その位置情報を領域記憶部３２に格納する（ステップＳ６０）。

こうして、第２の輝度情報ｇ２による領域の抽出が完了すると、上記領域抽出部３０Ｃにより、上記バッファ２６Ｂに記憶されている１枚目の輝度情報の２次微分∇ｇ１のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ１ｂが読み出されて、平均演算部３４に供給される。また、領域抽出部３０Ｅにより、上記バッファ２６Ｇに記憶されている第２の輝度情報の２次微分∇ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ２ｂが読み出されて、切替部２４Ｃを介して、上記平均演算部３４に供給される。即ち、この場合、切替部２４Ｃは、コントローラ２２により領域抽出部３０Ｅ側に切り替えられている。こうして、対応するブロックの２次微分∇ｇ１ｂ，∇ｇ２ｂが読み出されて平均演算部３４に供給される（ステップＳ３４）。そして、それら２次微分∇ｇ１ｂと∇ｇ２ｂの結果の平均ｍ∇ｇが平均演算部３４で求められ（ステップＳ３６）、バッファ２６Ｅに記憶される（ステップＳ３８）。

また、上記領域抽出部３０Ｄにより、上記バッファ２６Ａに記憶されている１枚目の輝度情報ｇ１のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの抽出輝度情報ｇ１ｂが読み出されて、差分演算部３６に供給される。また、領域抽出部３０Ｆにより、上記バッファ２６Ｆに記憶されている第２の輝度情報ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの抽出輝度情報ｇ２ｂが読み出されて、切替部２４Ｄを介して、上記差分演算部３６に供給される。即ち、この場合、切替部２４Ｄは、コントローラ２２により領域抽出部３０Ｆ側に切り替えられている。こうして、対応するブロックの抽出した領域の輝度情報が１枚目（ｇ１ｂ）、２枚目（ｇ２ｂ）共に読み出されて差分演算部３６に供給される（ステップＳ４０）。そして、それら抽出輝度情報ｇ１ｂとｇ２ｂとの差分ｇ１ｂ−ｇ２ｂが差分演算部３６で計算され、その結果の差分ｓｕｂｇが、ぼけパラメータ演算部３８に渡される（ステップＳ４２）。

その後は、上述したように、ぼけパラメータ演算部３８でぼけパラメータσを計算し（ステップＳ４４）、制御パラメータ計算部４２で、ＬＵＴ記憶部４０を参照することで、ぼけパラメータに対応した合焦レンズ位置を求め、コントローラ２２によって、光学系制御部２０を介して光学系１２のフォーカスレンズの位置の制御を行うこととなる。

以上のような第１実施形態によれば、ぼけパラメータの計算を行なう際に必要な除算演算を極力少なくすることができ、その結果、演算コストを削減する効果が得られる。

また、２次微分の結果が閾値を超えない領域ではＳＮ比が悪く、ノイズに影響を受けやすい領域に対して演算が行なわれることになり、結果として精度の低いぼけパラメータを算出することとなる。よって、このような領域を省くことで、精度の高い合焦検出が行なえる。

［第１実施形態の変形例］
上記第１実施形態は、コンパクトカメラに適用した場合であるが、本実施形態に係る合焦検出装置は、図６（Ａ）及び（Ｂ）に示すように、一眼レフレックスカメラ４４にも同様に適用可能である。

即ち、この一眼レフレックスカメラ４４の場合、光学系１２は、テーキングレンズ１２Ａ、レフミラー１２Ｂ、合焦検出用のＡＦ撮像素子１４Ａ，１４Ｂに光線を導くためのＡＦ光学系１２Ｃ，１２Ｄによって構成される。また、テーキングレンズ１２Ａにはフォーカスを調整するためのフォーカスレンズがある。撮像素子は、撮影を目的とした撮影用撮像素子１４Ｃと２つのＡＦ撮像素子（１４Ａ，１４Ｂ）があり、ＡＦ撮像素子のうち一つは撮影用撮像素子１４Ｃと光学的に同等の位置に配置されている。本実施の形態ではＡＦ撮像素子１４Ａがその配置であるとする。また、上記２つのＡＦ撮像素子１４Ａ，１４Ｂに対応させて、上記第１実施形態における輝度信号制御部１６と同等の機能を持った２つの輝度信号制御部１６Ａ，１６Ｂを備えている。光学系制御部２０は、上記テーキングレンズ１２Ａのフォーカスレンズを駆動するためのアクチュエータや駆動回路によって構成されている。

図７は、上記合焦検出部１８の構成を示す図である。本変形例に於いては、切替部２４Ａを無くし、バッファ２６Ｈを追加したことを除いて、上記第１実施形態における図２と同一である。即ち、本変形例では、ＡＦ撮像素子１４Ａと輝度信号制御部１６Ｂとで取得した輝度情報は、バッファ２６Ａ及び２次微分演算部２８Ａに供給され、ＡＦ撮像素子１４Ｂと輝度信号制御部１６Ｂとで取得した輝度情報は、バッファ２６Ｈに記憶された後に、切替部２４Ｂに供給されるようになっている。

次に、本変形例に係る合焦検出装置の処理を、図８のフローチャートを参照して詳細に説明する。

即ち、まず、コントローラ２２が光学系制御部２０により、予め決められたレンズ位置Ｌにテーキングレンズ１２Ａのフォーカスレンズを駆動する（ステップＳ６２）。そして、ＡＦ撮像素子１４Ａ及び輝度信号制御部１６Ａによって被写体の第１の輝度情報ｇ１を取得すると同時に（ステップＳ６４Ａ）、ＡＦ撮像素子１４Ｂ及び輝度信号制御部１６Ｂによって被写体の第２の輝度情報ｇ２を取得する（ステップＳ６４Ｂ）。この取得された輝度情報ｇ１，ｇ２は合焦検出部１８に供給される。そして、撮影用撮像素子１４Ｃと同等の位置で取得した輝度情報である第１の輝度情報ｇ１は、バッファ２６Ａに供給されて、そこに記憶され（ステップＳ６６Ａ）、第２の輝度情報ｇ２は、バッファ２６Ｈに供給されて、そこに記憶される（ステップＳ６６Ｂ）。また、上記第１の輝度情報ｇ１は、２次微分演算部２８Ａに供給されて、輝度情報の２次微分∇ｇ１が算出される（ステップＳ６８）、その算出された２次微分∇ｇ１は、バッファ２６Ｂに供給されて、そこに記憶される（ステップＳ７０）。

その後、領域抽出部３０Ａにより、上記バッファ２６Ｂに記憶された輝度情報の２次微分∇ｇ１の絶対値に閾値処理を行い、閾値を超える２次微分を持つブロックを抽出領域とする。この抽出領域は複数あっても良い。而して、抽出領域が存在したならば（ステップＳ７２）、それら抽出領域の位置を領域記憶部３２に記憶する（ステップＳ７４）。初期状態で合焦検出を行なう場合を除くと、フォーカスレンズは合焦位置から微小にずれていることによって画像がぼけていることが多い。よって、撮影用撮像素子１４Ｃと同等の位置で取得した第１の輝度情報ｇ１は大きくフォーカスから外れていることが少なく、２次微分の結果によって領域の抽出を行なうことができる。

次に、コントローラ２２は、切替部２４Ｂを領域抽出部３０Ｂ側に切り替え、上記バッファ２６Ｈに記憶している第２の輝度情報ｇ２を領域抽出部３０Ｂに供給する。そして、この領域抽出部３０Ｂにより、第２の輝度情報ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの輝度情報ｇ２ｂが抽出される（ステップＳ７６）。この抽出された輝度情報ｇ２ｂは、バッファ２６Ｃに供給されて、そこに記憶されると共に、２次微分演算部２８Ｂに供給されて、抽出輝度情報ｇ２ｂの２次微分∇ｇ２ｂが算出される（ステップＳ７８）。そして、その算出された２次微分∇ｇ２ｂは、バッファ２６Ｄに供給されて、そこに記憶される（ステップＳ８０）。

次に、領域抽出部３０Ｃにより、上記バッファ２６Ｂに記憶されている第１の輝度情報ｇ１の２次微分∇ｇ１のうち、上記バッファ２６Ｄに記憶した２次微分∇ｇ２ｂに対応する２次微分、つまり上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ１ｂが読み出されて、平均演算部３４に供給される。また、上記バッファ２６Ｄに記憶された２次微分∇ｇ２ｂが切替部２４Ｃを介して、上記平均演算部３４に供給される。即ち、この場合、切替部２４Ｃは、コントローラ２２によりバッファ２６Ｄ側に切り替えられている。こうして、対応するブロックの２次微分∇ｇ１ｂ，∇ｇ２ｂが読み出されて平均演算部３４に供給される（ステップＳ８２）。

以降の処理は、上記第１実施形態と同様であるので、その説明は省略する。

一方、上記ステップＳ７２の閾値処理で閾値を超える領域を抽出できなかった場合には、次のような処理となる。この場合を、図９を参照しつつ、図８のフローチャートに沿って説明する。なお、図７と図９は同一の合焦検出部１８の構成を示しており、アクティブな流れを太線で、非アクティブな流れを破線でそれぞれ表すことで、画像情報の経路を明確にするように互いに書き換えているものである。

即ち、領域抽出部３０Ａからの制御信号により、上記ステップＳ２０の閾値処理で領域を抽出できないと判別した場合には、コントローラ２２は、切替部２４Ｂを、バッファ２６Ｆ及び２次微分演算部２８Ｃ側に切り替え、上記バッファ２６Ｈに記憶した第２の輝度情報ｇ２を、バッファ２６Ｆに供給してそこに格納すると共に、２次微分演算部２８Ｃに供給する（ステップＳ８４）。そして、２次微分演算部２８Ｃにより、第２の輝度情報ｇ２の２次微分∇ｇ２を算出し（ステップＳ８６）、その算出された２次微分∇ｇ２を、バッファ２６Ｇに供給して、そこに記憶する（ステップＳ８８）。

ここで、領域抽出部３０Ａは、上記バッファ２６Ｇに記憶された第２の輝度情報の２次微分∇ｇ２の絶対値に閾値処理を行い、閾値を超える２次微分∇ｇ２を持つブロックを抽出領域とする。この抽出領域は複数あっても良い。而して、抽出領域が存在したならば（ステップＳ９０）、それら抽出領域の位置を領域記憶部３２に記憶する（ステップＳ９２）。また、この閾値処理でも閾値を超える２次微分の結果が得られない場合には（ステップＳ９０）、全領域を抽出領域とし、その位置情報を領域記憶部３２に格納する（ステップＳ９４）。

こうして、第２の輝度情報ｇ２による領域の抽出が完了すると、上記領域抽出部３０Ｃにより、上記バッファ２６Ｂに記憶されている第１の輝度情報ｇ１の２次微分∇ｇ１のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ１ｂが読み出されて、平均演算部３４に供給される。また、領域抽出部３０Ｅにより、上記バッファ２６Ｇに記憶されている第２の輝度情報ｇ２の２次微分∇ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ２ｂが読み出されて、切替部２４Ｃを介して、上記平均演算部３４に供給される。即ち、この場合、切替部２４Ｃは、コントローラ２２により領域抽出部３０Ｅ側に切り替えられている。こうして、対応するブロックの２次微分∇ｇ１ｂ，∇ｇ２ｂが読み出されて平均演算部３４に供給される（ステップＳ８２）。

以降の処理は、上記第１実施形態と同様であるので、その説明は省略する。

以上のような第１実施形態の変形例によれば、上記第１実施形態で説明したような効果を、一眼レフレックスカメラに於いても得られる。

［第２実施形態］
本第２実施形態に係る合焦検出装置は、図１（Ａ）に示すようなコンパクトカメラ１０に適用したものであり、図１０に示すように、光学系１２、輝度情報取得手段である撮像素子１４と輝度信号制御部１６、合焦検出部１８、光学系制御部２０、及びコントローラ２２によって構成される。

ここで、光学系１２は複数のレンズ群で構成され、画像を撮影することを目的としたレンズ群（テーキングレンズ）であり、そのうちの一部のレンズ群はフォーカスレンズとなっている。テーキングレンズによって結像した被写体の像は、撮像素子１４の光電変換素子によって電気信号に変換され、更に輝度信号制御部１６でデジタル信号に変換されて、輝度情報となる。この輝度情報を用いて合焦検出部１８により光学系１２が合焦する合焦レンズ位置が算出される。また、光学系制御部２０は、アクチュエータと該アクチュエータを駆動するための駆動回路によって構成されている。コントローラ２２は、コンパクトカメラ１０の各部を制御するものである。そして、本実施形態においては、例えば、上記合焦検出部１８で検出した合焦レンズ位置が入力されると、そのレンズ位置に配置するための信号を生成し、光学系制御部２０にその信号を入力して光学系１２のフォーカスレンズを所望の位置に配置する。

また合焦検出部１８は、切替部２４Ａ、５個のバッファ２６Ａ，２６Ｂ，２６Ｅ，２６Ｆ，２６Ｉ、２個の２次微分演算部２８Ａ，２８Ｃ、３個の領域抽出部３０Ａ，３０Ｇ，３０Ｈ、領域記憶部３２、平均演算部３４、差分演算部３６、ぼけパラメータ演算部３８、ＬＵＴ記憶部４０、及び制御パラメータ計算部４２から構成されている。なお、同図において、太線は画像情報線を示し、細線は制御信号線を、一点鎖線はその他の情報線を示している。

ここで、切替部２４Ａは、コントローラ２２の制御により、輝度信号制御部１６からの輝度情報を、バッファ２６Ａ及び２次微分演算部２８Ａと、バッファ２６Ｆ及び２次微分演算部２８Ｃとに、選択的に切り替え供給するものである。

バッファ２６Ａは、切替部２４Ａからの（第１の）輝度情報を記憶するものである。バッファ２６Ｂは、２次微分演算部２８Ａで算出された２次微分を記憶するものである。バッファ２６Ｅは、平均演算部３４で求められた２次微分の平均を記憶するものである。バッファ２６Ｆは、切替部２４Ａからの（第２の）輝度情報を記憶するものである。バッファ２６Ｉは、領域抽出部３０Ｇで抽出された２次微分の平均を記憶するものである。

２次微分演算部２８Ａは、切替部２４Ａから供給された（第１の）輝度情報の２次微分を算出するものである。２次微分演算部２８Ｃは、切替部２４Ａから供給された（第２の）輝度情報の２次微分を算出するものである。

領域抽出部３０Ａは、バッファ２６Ｅに記憶された２次微分の平均に閾値処理を行い、閾値を超える２次微分を持つブロックを抽出領域とする領域計算を行うものである。領域抽出部３０Ｇは、バッファ２６Ｅに記憶された２次微分の平均から、領域記憶部３２に記憶された抽出領域のみの２次微分の平均を抽出するものである。領域抽出部３０Ｈは、バッファ２６Ａ及び２６Ｆに記憶された輝度情報から、領域記憶部３２に記憶された抽出領域のみの輝度情報を抽出するものである。

領域記憶部３２は、領域抽出部３０Ａで求めた抽出領域の位置を記憶するものである。

平均演算部３４は、バッファ２６Ｂに記憶した（第１の）輝度情報の２次微分と２次微分演算部２８Ｃで算出した（第２の）輝度情報の２次微分との平均を求めるものである。

差分演算部３６は、領域抽出部３０Ｈで抽出した抽出領域のみの２つの輝度情報の差分を計算するものである。

ぼけパラメータ演算部３８は、バッファ２６Ｉに記憶された抽出領域のみの２次微分の平均と、差分演算部３６から渡された抽出領域のみの差分との除算を計算して、各抽出領域におけるぼけパラメータを得るものである。

ＬＵＴ記憶部４０は、ぼけパラメータと被写体からの光の合焦位置との関係として、ぼけパラメータと合焦レンズ位置との関係をＬＵＴの形で記憶したものである。合焦レンズ位置に応じて、光学系１２の配置が定まる。

制御パラメータ計算部４２は、上記ＬＵＴ記憶部４０のＬＵＴを参照することにより、上記ぼけパラメータ演算部３８で算出したぼけパラメータに対応した合焦レンズ位置を求めるものである。

本実施形態に係る合焦検出装置の処理を、図１１のフローチャートを参照して詳細に説明する。

即ち、まず、コントローラ２２が光学系制御部２０により、予め決められた第１のレンズ位置Ｌ１に光学系１２のフォーカスレンズを駆動し（ステップＳ１０）、撮像素子１４及び輝度信号制御部１６によって被写体の第１の輝度情報ｇ１を取得する（ステップＳ１２）。この取得された第１の輝度情報ｇ１は、合焦検出部１８に供給される。このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、バッファ２６Ａ及び２次微分演算部２８Ａ側に切り替えている。従って、上記取得された第１の輝度情報ｇ１は、切替部２４Ａを介して、バッファ２６Ａに供給されて、そこに記憶されると共に（ステップＳ１４）、２次微分演算部２８Ａに供給されて、輝度情報の２次微分∇ｇ１が算出される（ステップＳ１６）。そして、その算出された輝度情報の２次微分∇ｇ１は、バッファ２６Ｂに供給されて、そこに記憶される（ステップＳ１８）。

次に、コントローラ２２は、光学系制御部２０により第２のレンズ位置Ｌ２に光学系１２のフォーカスレンズを駆動した後（ステップＳ４６）、撮像素子１４及び輝度信号制御部１６によって第２の輝度情報ｇ２を取得する（ステップＳ４８）。この取得された第２の輝度情報ｇ２は、合焦検出部１８に供給される。このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、バッファ２６Ｆ及び２次微分演算部２８Ｃ側に切り替えている。従って、上記取得された第２の輝度情報ｇ２は、切替部２４Ａを介して、バッファ２６Ｆに供給されて、そこに格納されると共に（ステップＳ５０）、２次微分演算部２８Ｃに供給されて、第２の輝度情報の２次微分∇ｇ２が算出される（ステップＳ５２）。

この算出された第２の輝度情報の２次微分∇ｇ２は、平均演算部３４に供給される。平均演算部３４は、上記バッファ２６Ｂに記憶してある第１の輝度情報の２次微分∇ｇ１を読み出し（ステップＳ９６）、それら２つの２次微分の結果∇ｇ２と２次微分∇ｇ１との平均ｍ∇ｇを計算し（ステップＳ３６）、それをバッファ２６Ｅに記憶する（ステップＳ３８）。

そして、領域抽出部３０Ａで、そのバッファ２６Ｅに記憶された平均ｍ∇ｇに閾値処理を行い、閾値を超える領域の抽出を行なう。而して、抽出領域が存在したならば（ステップＳ９８）、予め像面上に区切られたブロック内において最もエッジの強度の高いブロックに主要被写体が存在していると判断し、そのブロックの位置情報を領域記憶部３２に記憶する（ステップＳ１００）。そして、領域抽出部３０Ｇにより、上記バッファ２６Ｅに記憶された平均ｍ∇ｇのうち、領域記憶部３２に記憶された抽出領域（ブロック）位置における平均値ｍ∇ｇのみを抽出して（ステップＳ１０２）、バッファ２６Ｉに記憶する（ステップＳ１０４）。このような構成によって主要被写体を検出することにより、レンズ位置Ｌ１で取得した輝度情報で２次微分を計算したとき、ぼけが大きすぎて被写体のエッジ部を検出できない場合であっても、レンズ位置Ｌ２で取得した輝度情報の２次微分との平均値を使うことによってエッジ部の検出を取りこぼしなく行うことができる。

一方、閾値処理によって閾値を超える領域がない場合は（ステップＳ９８）、全領域を抽出領域とし、その位置を領域記憶部に記憶することになる（ステップＳ１０６）。

次に、領域抽出部３０Ｈにより、バッファ２６Ａ，２６Ｆに記憶された輝度情報ｇ１，ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）の位置のみの輝度情報ｇ１ｂ，ｇ２ｂを読み出し、差分演算部３６に渡す（ステップＳ１０８）。

そして、それら抽出輝度情報ｇ１ｂとｇ２ｂとの差分ｇ１ｂ−ｇ２ｂが差分演算部３６で計算され、その結果の差分ｓｕｂｇが、ぼけパラメータ演算部３８に渡される（ステップＳ４２）。

ぼけパラメータ演算部３８は、上記バッファ２６Ｉに記憶された抽出領域（ブロック）位置のみの２次微分の平均ｍ∇ｇを読み出し、それと上記差分演算部３６から渡された差分ｓｕｂｇの除算（ｓｕｂｇ／ｍ∇ｇ）を計算して、各抽出領域におけるぼけパラメータσを得る（ステップＳ４４）。このぼけパラメータσは、各画素ごとに求められるので、これらの値の平均値や、最も出現頻度の高い値をその領域の代表値とする。

ぼけパラメータσは、被写体距離と相関のある値であり、合焦レンズ位置に対して１対１の関係がある。この関係は、ＬＵＴ記憶部４０にＬＵＴの形で記憶されている。従って、制御パラメータ計算部４２で、ＬＵＴ記憶部４０のＬＵＴを参照することにより、ぼけパラメータに対応した合焦レンズ位置を求めることができる。求められたぼけパラメータがＬＵＴの要素にない場合には、ぼけパラメータの近傍２点の要素を使って線形補間により合焦レンズ位置を求める。なお、抽出領域が複数存在し、各領域ごとに異なるぼけパラメータが得られた場合、最近距離の結果が得られる領域を検出領域として、合焦レンズ位置を求める。

こうして求められた合焦レンズ位置は、コントローラ２２に供給され、コントローラ２２は、光学系制御部２０により光学系１２のフォーカスレンズの位置の制御を行う。フォーカスレンズ位置が所望の位置に配置されると、合焦検出が完了する。

以上のような第２実施形態によれば、ぼけパラメータの計算を行なう際に必要な除算演算を極力少なくすることができ、その結果、演算コストを削減する効果が得られる。

また、２次微分の結果が閾値を超えない領域ではＳＮ比が悪く、ノイズに影響を受けやすい領域に対して演算が行なわれることになり、結果として精度の低いぼけパラメータを算出することとなる。よって、このような領域を省くことで精度の高い合焦検出が行なえる。

なお、本第２実施形態も、上記第１実施形態の場合と同様に、一眼レフレックスカメラに適用可能なことは勿論である。

［第３実施形態］
本第３実施形態に係る合焦検出装置は、図１（Ａ）に示すようなコンパクトカメラ１０に適用したものであり、図１２に示すように、光学系１２、輝度情報取得手段である撮像素子１４と輝度信号制御部１６、合焦検出部１８、光学系制御部２０、及びコントローラ２２によって構成される。

ここで、光学系１２は複数のレンズ群で構成され、画像を撮影することを目的としたレンズ群（テーキングレンズ）であり、そのうちの一部のレンズ群はフォーカスレンズとなっている。また、複数のレンズ群の間には、光量や視野を制限する絞りがあり、この絞りの直径を変化させることによって光量や被写界深度を調整することができる機能を有している。テーキングレンズによって結像した被写体の像は、撮像素子１４の光電変換素子によって電気信号に変換され、更に輝度信号制御部１６でデジタル信号に変換されて、輝度情報となる。この輝度情報を用いて合焦検出部１８により光学系１２が合焦する合焦レンズ位置が算出される。また、光学系制御部２０は、アクチュエータと該アクチュエータを駆動するための駆動回路によって構成されている。コントローラ２２は、コンパクトカメラ１０の各部を制御するものである。そして、本実施形態においては、例えば、上記合焦検出部１８で検出した合焦レンズ位置が入力されると、そのレンズ位置に配置するための信号を生成し、光学系制御部２０にその信号を入力して光学系１２のフォーカスレンズを所望の位置に配置する。

また合焦検出部１８は、切替部２４Ａ、５個のバッファ２６Ａ，２６Ｂ，２６Ｃ，２６Ｄ，２６Ｅ、２個の２次微分演算部２８Ａ，２８Ｂ、４個の領域抽出部３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ、領域記憶部３２、平均演算部３４、差分演算部３６、ぼけパラメータ演算部３８、ＬＵＴ記憶部４０、及び制御パラメータ計算部４２から構成されている。なお、同図において、太線は画像情報線を示し、細線は制御信号線を、一点鎖線はその他の情報線を示している。

ここで、切替部２４Ａは、コントローラ２２の制御により、輝度信号制御部１６からの輝度情報を、バッファ２６Ａ及び２次微分演算部２８Ａと領域抽出部３０Ｂとに選択的に切り替え供給するものである。

バッファ２６Ａは、切替部２４Ａからの輝度情報を記憶するものである。バッファ２６Ｂは、２次微分演算部２８Ａで算出された２次微分を記憶するものである。バッファ２６Ｃは、領域抽出部３０Ｂで抽出された輝度情報を記憶するものである。バッファ２６Ｄは、２次微分演算部２８Ｂで算出された２次微分を記憶するものである。バッファ２６Ｅは、平均演算部３４で求められた２次微分の平均を記憶するものである。

２次微分演算部２８Ａは、切替部２４Ａから供給された輝度情報の２次微分を算出するものである。２次微分演算部２８Ｂは、領域抽出部３０Ｂで抽出された輝度情報の２次微分を算出するものである。

領域抽出部３０Ａは、バッファ２６Ｂに記憶された輝度情報の２次微分の絶対値に閾値処理を行い、閾値を超える２次微分を持つブロックを抽出領域とする領域計算を行うものである。領域抽出部３０Ｂは、切替部２４Ａから供給される輝度情報から、領域記憶部３２に記憶された抽出領域のみの輝度情報を抽出するものである。領域抽出部３０Ｃは、バッファ２６Ｂに記憶されている輝度情報の２次微分から、領域記憶部３２に記憶された抽出領域のみの２次微分を抽出するものである。領域抽出部３０Ｄは、バッファ２６Ａに記憶されている輝度情報から、領域記憶部３２に記憶された抽出領域のみの輝度情報を抽出するものである。

領域記憶部３２は、領域抽出部３０Ａで求めた抽出領域の位置を記憶するものである。

平均演算部３４は、領域抽出部３０Ｃで抽出した抽出領域のみの２次微分と、バッファ２６Ｄに記憶された抽出領域のみの２次微分との平均を求めるものである。

差分演算部３６は、領域抽出部３０Ｄで抽出した抽出領域のみの輝度情報と、バッファ２６Ｃに記憶された抽出領域のみの輝度情報との差分を計算するものである。

ぼけパラメータ演算部３８は、バッファ２６Ｅに記憶された２次微分の平均と差分演算部３６から渡された差分の除算を計算して、各抽出領域におけるぼけパラメータを得るものである。

ＬＵＴ記憶部４０は、ぼけパラメータと被写体からの光の合焦位置との関係として、ぼけパラメータと合焦レンズ位置との関係をＬＵＴの形で記憶したものである。合焦レンズ位置に応じて、光学系１２の配置が定まる。

制御パラメータ計算部４２は、上記ＬＵＴ記憶部４０のＬＵＴを参照することにより、上記ぼけパラメータ演算部３８で算出したぼけパラメータに対応した合焦レンズ位置を求めるものである。

本実施形態に係る合焦検出装置の処理を、図１３のフローチャートを参照して詳細に説明する。本実施形態は、絞り径を変更して複数のぼけ画像を取得してＤＦＤ法の処理を行うものである。

即ち、まず、コントローラ２２が光学系制御部２０により、予め決められたレンズ位置Ｌに光学系１２のフォーカスレンズを駆動すると共に（ステップＳ１１０）、光学系１２の絞りをＦＳに絞る（ステップＳ１１２）。そして、この状態で、撮像素子１４及び輝度信号制御部１６によって被写体の第１の輝度情報ｇ１を取得する（ステップＳ１２）。この取得された第１の輝度情報ｇ１は、合焦検出部１８に供給される。このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、バッファ２６Ａ及び２次微分演算部２８Ａ側に切り替えている。従って、上記取得された第１の輝度情報ｇ１は、切替部２４Ａを介して、バッファ２６Ａに供給されて、そこに記憶されると共に（ステップＳ１４）、２次微分演算部２８Ａに供給されて、輝度情報の２次微分∇ｇ１が算出される（ステップＳ１６）。そして、その算出された輝度情報の２次微分∇ｇ１は、バッファ２６Ｂに供給されて、そこに記憶される（ステップＳ１８）。

また、領域抽出部３０Ａでは、上記バッファ２６Ｂに記憶された輝度情報の２次微分∇ｇ１を用いて、主要被写体の認識を行なう。２次微分を使った主要被写体の認識では、２次微分の構造を用いて行なう。例えば、人物の認識では、２次微分の構造が円形になっている像面上の位置を探索することによって人物の顔領域を検出する。そして、このような方法で主要被写体が認識できたならば（ステップＳ１１４）、その主要被写体の存在する像面上の位置、例えば顔領域が検出された位置を囲むようなブロックを抽出領域として、領域記憶部３２に記憶する（ステップＳ１１６）。一方、主要被写体が認識でない、例えば円形状がないような場合には（ステップＳ１１４）、主要被写体は風景であるとして、全領域を抽出領域として、領域記憶部３２に記憶する（ステップＳ１１８）。このような方法で主要被写体を認識した結果、主要被写体の存在する像面上の位置情報を領域記憶部３２に記憶する。なお、ここでは円形状を探索することによって人物の顔を検出する場合について述べたが、２次微分の結果を用いて人物の顔検出であれば、どのような手法であってもかまわない。

次に、コントローラ２２は、光学系制御部２０により、レンズ位置はそのままで、光学系１２に含まれる絞りの絞り径を開放ＦＡにする（ステップＳ１２０）。そして、撮像素子１４及び輝度信号制御部１６によって第２の輝度情報ｇ２を取得する。この取得された第２の輝度情報ｇ２は、合焦検出部１８に供給されるが、このとき、コントローラ２２は、該合焦検出部１８内の切替部２４Ａを、領域抽出部３０Ｂ側に切り替えている。従って、上記取得された第２の輝度情報ｇ２は、切替部２４Ａを介して、領域抽出部３０Ｂに供給される。そして、この領域抽出部３０Ｂにより、第２の輝度情報ｇ２のうち、上記領域記憶部３２に記憶された抽出領域（ブロック）のみの輝度情報ｇ２ｂが抽出される（ステップＳ２６）。この抽出された輝度情報ｇ２ｂは、バッファ２６Ｃに供給されて、そこに記憶されると共に（ステップＳ２８）、２次微分演算部２８Ｂに供給されて、抽出輝度情報ｇ２ｂの２次微分∇ｇ２ｂが算出される（ステップＳ３０）。そして、その算出された２次微分∇ｇ２ｂは、バッファ２６Ｄに供給されて、そこに記憶される（ステップＳ３２）。

次に、領域抽出部３０Ｃにより、上記バッファ２６Ｂに記憶されている第１の輝度情報の２次微分∇ｇ１のうち、上記バッファ２６Ｄに記憶した２次微分∇ｇ２ｂに対応する２次微分、つまり上記領域記憶部３２に記憶された抽出領域（ブロック）のみの２次微分∇ｇ１ｂが読み出されて、平均演算部３４に供給される（ステップＳ１２２）。また、上記バッファ２６Ｄに記憶された２次微分∇ｇ２ｂが上記平均演算部３４に供給される。平均演算部３４は、それら２次微分∇ｇ１ｂと∇ｇ２ｂの結果の平均ｍ∇ｇを計算し（ステップＳ３６）、それをバッファ２６Ｅに記憶する（ステップＳ３８）。

また、領域抽出部３０Ｄにより、上記バッファ２６Ａに記憶されている第１の輝度情報ｇ１のうち、第２の輝度情報ｇ２から領域抽出された上記バッファ２６Ｃに記憶した抽出輝度情報ｇ２ｂに対応する抽出輝度情報、つまり上記領域記憶部３２に記憶された抽出領域（ブロック）のみの抽出輝度情報ｇ１ｂが読み出されて、差分演算部３６に供給される。また、上記バッファ２６Ｃに記憶された抽出輝度情報ｇ２ｂが上記差分演算部３６に供給される。こうして、対応するブロックの抽出した領域の輝度情報ｇ１ｂ，ｇ２ｂが差分演算部３６に供給される（ステップＳ４０）。そして、それら抽出輝度情報ｇ１ｂとｇ２ｂとの差分ｇ１ｂ−ｇ２ｂが差分演算部３６で計算され、その結果の差分ｓｕｂｇが、ぼけパラメータ演算部３８に渡される（ステップＳ４２）。

ぼけパラメータ演算部３８は、上記バッファ２６Ｅに記憶された２次微分の平均ｍ∇ｇを読み出し、それと上記差分演算部３６から渡された差分ｓｕｂｇの除算（ｓｕｂｇ／ｍ∇ｇ）を計算して、各抽出領域におけるぼけパラメータσを得る（ステップＳ４４）。

このように、絞りを絞っている状態で取得した輝度情報を領域抽出に用いることにより、取得した輝度情報の被写界深度が深く、ぼけが小さいので、算出される２次微分の結果が閾値を超えない場合を極力減らすことができる。

ぼけパラメータσは、各画素ごとに求められるので、これらの値の平均値や、最も出現頻度の高い値をその領域の代表値とする。このぼけパラメータσは、被写体距離と相関のある値であり、合焦レンズ位置に対して１対１の関係がある。この関係は、ＬＵＴ記憶部４０にＬＵＴの形で記憶されている。従って、制御パラメータ計算部４２で、ＬＵＴ記憶部４０のＬＵＴを参照することにより、ぼけパラメータに対応した合焦レンズ位置を求めることができる。求められたぼけパラメータがＬＵＴの要素にない場合には、ぼけパラメータの近傍２点の要素を使って線形補間により合焦レンズ位置を求める。なお、抽出領域が複数存在し、各領域ごとに異なるぼけパラメータが得られた場合、最近距離の結果が得られる領域を検出領域として、合焦レンズ位置を求める。

こうして求められた合焦レンズ位置は、コントローラ２２に供給され、コントローラ２２は、光学系制御部２０により光学系１２のフォーカスレンズの位置の制御を行う。フォーカスレンズ位置が所望の位置に配置されると、合焦検出が完了する。

以上のような第３実施形態によれば、ぼけパラメータの計算を行なう際に必要な除算演算を極力少なくすることができ、その結果、演算コストを削減する効果が得られる。

また、２次微分の結果が閾値を超えない領域ではＳＮ比が悪く、ノイズに影響を受けやすい領域に対して演算が行なわれることになり、結果として精度の低いぼけパラメータを算出することとなる。よって、このような領域を省くことで精度の高い合焦検出が行なえる。

なお、本第３実施形態も、上記第１実施形態の場合と同様に、一眼レフレックスカメラに適用可能なことは勿論である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態では、フォーカスレンズの位置や絞りを駆動することで光学系１２の配置を変化させて２つのぼけの異なる輝度情報を取得し、フォーカスレンズの配置を調整して合焦画像を得る構成で説明したが、撮像素子に制御部が取り付けられている構成で、光軸方向に撮像素子１４，１４Ｃを駆動することで輝度情報取得手段の配置を変更して、ぼけの異なる輝度情報を取得する構成であっても、上記実施形態と同様の効果が得られる。この場合、ＬＵＴ記憶部には、ぼけパラメータと被写体からの光の合焦位置との関係として、ぼけパラメータと撮像素子１４，１４Ｃの位置との関係を記憶しておけば良い。

また、複数のバッファを用いているが、一つのメモリを分割して使用するようにしても良い。更に、各演算部をＤＳＰやＣＰＵによって構成しても構わない。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 被写体からの光を所定の位置に結像する光学系と、
上記光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報を取得する輝度情報取得手段と、
上記輝度情報取得手段により取得したぼけの異なる輝度情報の２次微分を計算し、上記２次微分を用いて上記被写体の距離に対応するぼけパラメータを算出するぼけパラメータ算出手段と、
上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段と、
を有し、上記記憶手段の情報を参照して、上記ぼけパラメータ算出手段で算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、
上記ぼけの異なる複数の輝度情報のうち少なくとも１つに対する２次微分の値に基づいて、上記輝度情報に含まれる領域のうち合焦検出を行なう領域を領域抽出する領域抽出手段を更に具備することを特徴とする合焦検出装置。

（対応する実施形態）
この（１）に記載の合焦検出装置に関する実施形態は、第１及び第３実施形態が対応する。

（作用効果）
この（１）に記載の合焦検出装置によれば、ぼけパラメータを算出する領域を限定することにより、演算を減らし、処理を高速に行うことが可能となる。

（２） 上記領域抽出手段は、上記２次微分の値に対して閾値処理を行い、閾値を超える領域を抽出領域とすることを特徴とする（１）に記載の合焦検出装置。

（対応する実施形態）
この（２）に記載の合焦検出装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（２）に記載の合焦検出装置によれば、２次微分の結果に対して閾値処理を行なって、ぼけパラメータを算出する領域を限定することにより、ぼけパラメータを算出する過程に用いられる除算の演算を極力減らすことができ、演算コストを削減する効果が得られる。

また、２次微分の結果が閾値を超えない領域ではＳＮ比が悪く、ノイズに影響を受けやすい領域に対して演算が行なわれることになり、結果として精度の低いぼけパラメータを算出することとなる。よって、このような領域を省くことで精度の高い合焦検出が行なえる。

（３） 上記領域抽出手段は、上記２次微分の構造を判別して、主要被写体の認識を行い、その領域を抽出領域とすることを特徴とする（１）に記載の合焦検出装置。

（対応する実施形態）
この（３）に記載の合焦検出装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（３）に記載の合焦検出装置によれば、容易に抽出領域を決定できる。

（４） 上記ぼけの異なる複数の輝度情報のうち１つに対する２次微分の値に基づいて、上記領域抽出手段で他の１つの輝度情報に対する２次微分の値を用いて領域抽出を行うことを判断する領域抽出判断手段を更に具備することを特徴とする（１）に記載の合焦検出装置。

（対応する実施形態）
この（４）に記載の合焦検出装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（４）に記載の合焦検出装置によれば、領域抽出を行なう判断手段を備えることで、１つ目の輝度情報の２次微分の値を用いて領域抽出を行うことができない場合でも、領域抽出を行なうことができる。

（５） 被写体からの光を所定の位置に結像する光学系と、
上記光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報を取得する輝度情報取得手段と、
上記輝度情報取得手段により取得したぼけの異なる輝度情報の２次微分を計算し、上記２次微分を用いて上記被写体の距離に対応するぼけパラメータを算出するぼけパラメータ算出手段と、
上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段と、
を有し、上記記憶手段の情報を参照して、上記ぼけパラメータ算出手段で算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、
上記ぼけの異なる複数の輝度情報の２次微分の平均値に対して閾値処理を行い、上記輝度情報に含まれる領域のうち合焦検出を行う領域を抽出する領域抽出手段を更に具備することを特徴とする合焦検出装置。

（対応する実施形態）
この（５）に記載の合焦検出装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（５）に記載の合焦検出装置によれば、２次微分の平均を使って領域抽出を行なうことにより、１つ目の輝度情報の２次微分で領域抽出が行えない場合であっても、２つ目の輝度情報の２次微分との平均を使うことによって、領域抽出が行なえない場合を極力減らす効果が得られる。

（６）上記ぼけの異なる複数の輝度情報の２次微分の平均値に対して閾値処理を行った結果に基づいて、閾値に満たない場合に、全領域を抽出領域と判断する領域抽出判断手段を更に具備することを特徴とする（５）に記載の合焦検出装置。

（対応する実施形態）
この（６）に記載の合焦検出装置に関する実施形態は、第２実施形態が対応する。

（作用効果）
この（６）に記載の合焦検出装置によれば、２次微分の閾値処理に満たない場合であっても、ぼけパラメータの算出を行なうための領域を抽出することができる。

（７） ぼけの異なる輝度情報を得る光学系配置を、絞り径を変更して行う構成を有し、
上記領域抽出手段が上記領域抽出に用いる輝度情報は、複数の異なるぼけ輝度情報のうち、最も絞り径の小さい輝度情報を用いることを特徴とする（１）乃至（６）の何れかに記載の合焦検出装置。

（対応する実施形態）
この（７）に記載の合焦検出装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（７）に記載の合焦検出装置によれば、絞り径を変化させてＤＦＤを行なう場合、絞り径の小さい状態で取得した輝度情報の方が、ぼけが小さいので、２次微分の閾値処理によって閾値に満たない場合を極力減らすことができる。

（８） 上記領域抽出手段によって抽出した領域が複数存在する場合、その領域で最も近距離の被写体が存在する領域を抽出領域とし、その領域の被写体に対して合焦する光学系配置を検出することを特徴とする（１）乃至（７）の何れかに記載の合焦検出装置。

（対応する実施形態）
この（８）に記載の合焦検出装置に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（８）に記載の合焦検出装置によれば、領域が複数抽出された場合にも対処できる。

図１（Ａ）は、本発明の第１実施形態に係る合焦検出装置が適用されたコンパクトカメラの構成を示す図であり、図１（Ｂ）は、第１実施形態に係る合焦検出装置のブロック構成図である。 図２は、第１実施形態における合焦検出部のブロック構成図である。 図３は、第１実施形態に係る合焦検出装置の処理を説明するためのフローチャートを示す図である。 図４は、領域抽出の手法を説明するための図である。 図５は、第１実施形態における合焦検出部のブロック構成図である。 図６（Ａ）は、本発明の第１実施形態の変形例に係る合焦検出装置が適用された一眼レフレックスカメラの構成を示す図であり、図６（Ｂ）は、第１実施形態の変形例に係る合焦検出装置のブロック構成図である。 図７は、第１実施形態の変形例における合焦検出部のブロック構成図である。 図８は、第１実施形態の変形例に係る合焦検出装置の処理を説明するためのフローチャートを示す図である。 図９は、第１実施形態の変形例における合焦検出部のブロック構成図である。 図１０は、本発明の第２実施形態に係る合焦検出装置のブロック構成図である。 図１１は、第２実施形態に係る合焦検出装置の処理を説明するためのフローチャートを示す図である。 図１２は、本発明の第３実施形態に係る合焦検出装置のブロック構成図である。 図１３は、第３実施形態に係る合焦検出装置の処理を説明するためのフローチャートを示す図である。 図１４は、特許文献１に記載されているＤＦＤ合焦検出方法の概略ステップを示す図である。 図１５（Ａ）は、フォーカスレンズが第１の場所にある場合のぼけの状態を示す図、図１５（Ｂ）は、フォーカスレンズが第２の場所にある場合のぼけの状態を示す図であり、図１５（Ｃ）は、ぼけパラメータと合焦レンズ位置との関係を示す図である。 図１６（Ａ）は、絞り径がＦＡの場合のぼけの状態を示す図であり、図１６（Ｂ）は絞り径がＦＳの場合のぼけの状態を示す図である。

符号の説明

１０…コンパクトカメラ、 １２…光学系、 １２Ａ…テーキングレンズ、 １２Ｂ…レフミラー、 １２Ｃ，１２Ｄ…ＡＦ光学系、 １４…撮像素子、 １４Ａ，１４Ｂ…ＡＦ撮像素子、 １４Ｃ…撮影用撮像素子、 １６，１６Ａ，１６Ｂ…輝度信号制御部、 １８…合焦検出部、 ２０…光学系制御部、 ２２…コントローラ、 ２４Ａ〜２４Ｄ…切替部、 ２６Ａ〜２６Ｉ…バッファ、 ２８Ａ〜２８Ｃ…２次微分演算部、 ３０Ａ〜３０Ｈ…領域抽出部、 ３２…領域記憶部、 ３４…平均演算部、 ３６…差分演算部、 ３８…パラメータ演算部、 ４０…ＬＵＴ記憶部、 ４２…制御パラメータ計算部、 ４４…一眼レフレックスカメラ。

Claims (8)

1. 被写体からの光を所定の位置に結像する光学系と、
   上記光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報を取得する輝度情報取得手段と、
   上記輝度情報取得手段により取得したぼけの異なる輝度情報の２次微分を計算し、上記２次微分を用いて上記被写体の距離に対応するぼけパラメータを算出するぼけパラメータ算出手段と、
   上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段と、
   を有し、上記記憶手段の情報を参照して、上記ぼけパラメータ算出手段で算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、
   上記ぼけの異なる複数の輝度情報のうち少なくとも１つに対する２次微分の値に基づいて、上記輝度情報に含まれる領域のうち合焦検出を行なう領域を領域抽出する領域抽出手段を更に具備することを特徴とする合焦検出装置。
2. 上記領域抽出手段は、上記２次微分の値に対して閾値処理を行い、閾値を超える領域を抽出領域とすることを特徴とする請求項１に記載の合焦検出装置。
3. 上記領域抽出手段は、上記２次微分の構造を判別して、主要被写体の認識を行い、その領域を抽出領域とすることを特徴とする請求項１に記載の合焦検出装置。
4. 上記ぼけの異なる複数の輝度情報のうち１つに対する２次微分の値に基づいて、上記領域抽出手段で他の１つの輝度情報に対する２次微分の値を用いて領域抽出を行うことを判断する領域抽出判断手段を更に具備することを特徴とする請求項１に記載の合焦検出装置。
5. 被写体からの光を所定の位置に結像する光学系と、
   上記光学系の少なくとも一部を通過した上記光が形成する輝度情報であり、少なくとも２つ以上のぼけの異なる複数の輝度情報を取得する輝度情報取得手段と、
   上記輝度情報取得手段により取得したぼけの異なる輝度情報の２次微分を計算し、上記２次微分を用いて上記被写体の距離に対応するぼけパラメータを算出するぼけパラメータ算出手段と、
   上記被写体からの光の合焦位置とぼけパラメータとの関係が記憶されている記憶手段と、
   を有し、上記記憶手段の情報を参照して、上記ぼけパラメータ算出手段で算出したぼけパラメータに対応する上記合焦位置を得る合焦検出装置において、
   上記ぼけの異なる複数の輝度情報の２次微分の平均値に対して閾値処理を行い、上記輝度情報に含まれる領域のうち合焦検出を行う領域を抽出する領域抽出手段を更に具備することを特徴とする合焦検出装置。
6. 上記ぼけの異なる複数の輝度情報の２次微分の平均値に対して閾値処理を行った結果に基づいて、閾値に満たない場合に、全領域を抽出領域と判断する領域抽出判断手段を更に具備することを特徴とする請求項５に記載の合焦検出装置。
7. ぼけの異なる輝度情報を得る光学系配置を、絞り径を変更して行う構成を有し、
   上記領域抽出手段が上記領域抽出に用いる輝度情報は、複数の異なるぼけ輝度情報のうち、最も絞り径の小さい輝度情報を用いることを特徴とする請求項１乃至６の何れかに記載の合焦検出装置。
8. 上記領域抽出手段によって抽出した領域が複数存在する場合、その領域で最も近距離の被写体が存在する領域を抽出領域とし、その領域の被写体に対して合焦する光学系配置を検出することを特徴とする請求項１乃至７の何れかに記載の合焦検出装置。

Images