JP2023034487A - 撮像装置及びオートフォーカス制御方法 - Google Patents

Abstract

【課題】応答性及び合焦精度のよいオートフォーカスを実現することができる撮像装置を提供する。
【解決手段】ローパスフィルタ３１６及び３１７は、第１及び第２の画像データの低域成分を抽出する。視差算出部３１３は、ローパスフィルタ３１６及び３１７によって抽出された第１及び第２の画像データの低域成分に基づいて両者の視差を算出する。フォーカスレンズ位置変換部３１４は、視差算出部３１３が算出した視差を、視差が示す被写体までの距離にフォーカスを合わせるためのフォーカスレンズの位置を示す位置情報に変換する。駆動制御部３３は、フォーカスレンズの位置を位置情報が示す位置に移動させるよう駆動部を制御する。
【選択図】図７

Description

本発明は、撮像装置及びオートフォーカス制御方法に関する。

撮像装置が被写体を撮影するときに被写体に自動的にフォーカスを合わせるオートフォーカス（ＡＦ）の方法の代表例として、水平方向に並べた２眼の撮像系を用いて被写体までの距離を測距する位相差ＡＦと、山登り法を用いる山登りＡＦとがある（特許文献１参照）。位相差ＡＦでは、２眼の撮像系で得た画像の水平方向の視差（位相差）に基づいて被写体までの大まかな距離が測距されて、測距された距離に対応してフォーカスレンズが移動される。山登りＡＦでは、被写体を撮影した画像のコントラストが最大となるようにフォーカスレンズが移動される。

特開２００６－９３８６０号公報

位相差ＡＦは応答性がよいが、合焦精度がさほどよくない。一方、山登りＡＦは合焦精度はよいが、合焦するまでに比較的長い時間がかかるので応答性が悪い。応答性及び合焦精度のよいＡＦ制御が求められている。

本発明は、応答性及び合焦精度のよいオートフォーカスを実現することができる撮像装置及びオートフォーカス制御方法を提供することを目的とする。

本発明は、フォーカスレンズを含む第１のレンズ群及び第１の撮像素子を有する第１の撮像系と、第２のレンズ群及び第２の撮像素子を有し、前記第２のレンズ群は前記第１のレンズ群と水平方向または垂直方向に所定の距離離れた状態で並べられている第２の撮像系と、前記第１及び第２の撮像系によってそれぞれ生成された第１及び第２の画像データの視差に基づく距離にフォーカスを合わせるための位相差オートフォーカス処理部と、前記位相差オートフォーカス処理部による処理に基づいて、前記フォーカスレンズを駆動する駆動部を制御する駆動制御部とを備える撮像装置を提供する。

上記の構成において、記位相差オートフォーカス処理部は、前記第１の画像データの低域成分を抽出する第１のローパスフィルタと、前記第２の画像データの低域成分を抽出する第２のローパスフィルタと、前記第１及び第２のローパスフィルタによってそれぞれ抽出された前記第１及び第２の画像データの低域成分に基づいて両者の視差を算出する第１の視差算出部と、前記第１の視差算出部が算出した視差を、前記視差が示す被写体までの距離にフォーカスを合わせるための前記フォーカスレンズの位置を示す位置情報に変換するフォーカスレンズ位置変換部とを有する。

上記の構成において、記駆動制御部は、前記フォーカスレンズの位置を前記位置情報が示す位置に移動させるよう前記駆動部を制御する。

本発明は、フォーカスレンズを含む第１のレンズ群及び第１の撮像素子を有する第１の撮像系によって被写体を撮像して、第１の画像データを生成し、第２のレンズ群及び第２の撮像素子を有し、前記第２のレンズ群は前記第１のレンズ群と水平方向または垂直方向に所定の距離離れた状態で並べられている第２の撮像系によって前記被写体を撮像して、第２の画像データを生成し、第１のローパスフィルタによって、前記第１の画像データの低域成分を抽出し、第２のローパスフィルタによって、前記第２の画像データの低域成分を抽出し、前記第１及び第２の画像データの低域成分に基づいて両者の視差を算出し、前記視差が示す被写体までの距離にフォーカスを合わせるための前記フォーカスレンズの位置を示す位置情報に変換し、前記フォーカスレンズの位置を前記位置情報が示す位置に移動させるオートフォーカス制御方法を提供する。

本発明の撮像装置及びオートフォーカス制御方法によれば、応答性及び合焦精度のよいオートフォーカスを実現することができる。

各実施形態の撮像装置を示すブロック図である。 各実施形態の撮像装置の概略的な外観を示す斜視図である。 レンズの歪曲収差による樽型歪を示す図である。 レンズの歪曲収差による糸巻型歪を示す図である。 樽型歪による歪曲収差ベクトルを示す図である。 糸巻型歪による歪曲収差ベクトルを示す図である。 第１実施形態の撮像装置における制御部が備える具体的な構成例を示すブロック図である。 第１実施形態のオートフォーカス制御方法を示すフローチャートである。 第２実施形態の撮像装置における制御部が備える具体的な構成例を示すブロック図である。 繰り返しパターンを含む画像の一例を示す図である。 図８Ａに示す画像をローパスフィルタによって高域成分を減衰させて低域成分を抽出した状態を示す概念図である。 第２実施形態のオートフォーカス制御方法を示すフローチャートである。 第３実施形態の撮像装置における制御部が備える具体的な構成例を示すブロック図である。 第３実施形態のオートフォーカス制御方法を示すフローチャートである。 第４実施形態の撮像装置における制御部が備える具体的な構成例を示すブロック図である。 第４実施形態のオートフォーカス制御方法を示すフローチャートである。 第５実施形態の撮像装置における制御部が備える具体的な構成例を示すブロック図である。 フレーム内に設定している領域の一例を示す図である。 ユーザがフォーカスを合わせる領域を変更するためにタッチパネル付きディスプレイを指で触れた状態を示す図である。 フレーム内の各領域における視差のヒストグラムの一例を示す図である。 第５実施形態のオートフォーカス制御方法を示すフローチャートである。

以下、各実施形態の撮像装置及びオートフォーカス制御方法について、添付図面を参照して説明する。

図１及び図２を用いて、各実施形態で共通の撮像装置１００の構成及び概略的な動作を説明する。図１に示すように、撮像装置１００は、レンズ群１１（第１のレンズ群）及び撮像素子１２（第１の撮像素子）を有する第１の撮像系と、レンズ群２１（第２のレンズ群）及び撮像素子２２（第２の撮像素子）を有する第２の撮像系とを備える、いわゆる２眼カメラである。図２に示すように、レンズ群１１とレンズ群２１とは、筐体１０１の前面１０１Ｆに水平方向に所定の距離離れた状態で並べられている。レンズ群１１とレンズ群２１とは、前面１０１Ｆに垂直方向に所定の距離離れた状態で並べられていてもよい。

第１の撮像系は、被写体を撮影して記録するための画像データを生成するための主たる撮像系である。第２の撮像系は位相差ＡＦによって被写体にフォーカスを合わせるための従たる撮像系である。レンズ群１１及び２１はフォーカスレンズを含む。レンズ群１１が備えるフォーカスレンズを第１のフォーカスレンズとすると、レンズ群２１が備えるフォーカスレンズは第２のフォーカスレンズである。レンズ群１１は、フォーカスレンズに加えてズームレンズを含んでもよい。

撮像素子１２は、レンズ群１１を介して入射される光に基づき、被写体を撮像したアナログの撮像画像信号を生成する。Ａ／Ｄ変換器１３は、撮像素子１２より出力された撮像画像信号をＡ／Ｄ変換して、デジタルの画像データＤ１３（第１の画像データ）を制御部３０に供給する。撮像素子１２及びＡ／Ｄ変換器１３が一体化されていてもよい。画像データＤ１３は動画像データである。

撮像素子２２は、レンズ群２１を介して入射される光に基づき、被写体を撮像したアナログの撮像画像信号を生成する。Ａ／Ｄ変換器２３は、撮像素子２２より出力された撮像画像信号をＡ／Ｄ変換して、デジタルの画像データＤ２３（第２の画像データ）を制御部３０に供給する。撮像素子２２及びＡ／Ｄ変換器２３が一体化されていてもよい。画像データＤ２３は動画像データである。

撮像素子１２及び２２は、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。図１では図示を省略しているが、撮像素子１２及び２２がベイヤ配列のイメージセンサであれば、デモザイク処理及びＲＧＢデータへの変換処理等の各種の映像信号処理が施される。画像データＤ１３及びＤ２３はＲＧＢデータであることがある。撮像素子１２及び２２が３板式のイメージセンサで構成されていてもよい。

制御部３０は、画像データＤ１３及びＤ２３に基づいて被写体に自動的にフォーカスを合わせるよう駆動部１４及び２４を制御する。駆動部１４は第１の駆動部であり、駆動部２４は第２の駆動部である。駆動部１４及び２４は、レンズ群１１及び２１のフォーカスレンズを移動させるモータで構成することができる。制御部３０は、マイクロコンピュータの中央処理装置（ＣＰＵ）で構成することができる。

制御部３０には、ＲＯＭ（Read Only Memory）４１及びＲＡＭ（Random Access Memory）４２が接続されている。ＲＯＭ４１は非一時的な記憶媒体の一例である。ＲＯＭ４１には、オートフォーカスに必要なデータが記憶されていてもよい。ＲＯＭ４１には、オートフォーカス制御プログラムが記憶されていてもよい。ＲＡＭ４２は、制御部３０が各種の処理を実行する際の作業用メモリとして使用される。

制御部３０には、さらに、タッチパネル付きディスプレイ５０（以下、ディスプレイ５０と略記する）、エンコーダ６１、操作部７０が接続されている。ディスプレイ５０は、画像データＤ１３に基づく画像を表示する。撮像装置１００は、ディスプレイ５０の代わりに、タッチパネルを有さないディスプレイを備えてもよい。エンコーダ６１は画像データＤ１３を圧縮符号化し、記憶部６２は圧縮符号化された画像データを記憶する。操作部７０は、筐体１０１に設けられている操作ボタンである。ここで、ディスプレイ５０のタッチパネルは操作部７０に含まれる。

以上のように構成される撮像装置１００において、応答性及び合焦精度のよいオートフォーカスを実現するための複数の実施形態を順に説明する。後述する各実施形態は、位相差ＡＦと山登りＡＦとの双方を用いることによって、応答性及び合焦精度のよいオートフォーカスを実現する。さらに、各実施形態は、各実施形態特有の構成によって、位相差ＡＦを用いるときの合焦精度を向上させている。

＜第１実施形態＞
画像データＤ１３及びＤ２３の各フレームは、レンズ群１１及び２１におけるレンズの歪曲収差によって、図３Ａに示すような樽型歪または図３Ｂに示すような糸巻型歪を呈することがある。画像データＤ１３の各フレームと画像データＤ２３の各フレームとで樽型歪または糸巻型歪の程度が異なることがあり、画像データＤ１３の各フレームと画像データＤ２３の各フレームとで呈する歪が樽型歪と糸巻型歪とで異なることもある。

図４Ａはフレーム内の各画素が樽型歪によってどのように変位するかを示し、図４Ｂフレーム内の各画素が糸巻型歪によってどのように変位するかを示している。図４Ａ及び図４Ｂにおいて、各黒丸は樽型歪または糸巻型歪による影響を受けず、本来の画素位置にある画素を示している。各ベクトルは、ベクトルの始点に位置する画素が樽型歪または糸巻型歪による影響を受けてベクトルの終点の位置へと変位することを示している。図４Ａ及び図４Ｂにおいて、黒丸は樽型歪または糸巻型歪による影響を受けない画素のうちの一部の画素であり、ベクトルは樽型歪または糸巻型歪による影響を受ける画素のうちの一部の画素である。

画像データＤ１３の各フレームと画像データＤ２３の各フレームとで、樽型歪または糸巻型歪による影響を受けて変位する画素の位置、変位する方向及び量は同一ではない。従って、画像データＤ１３及びＤ２３をそのまま用いて画像データＤ１３と画像データＤ２３との水平方向の視差を求めると、樽型歪または糸巻型歪によるレンズの歪曲収差の影響を受けて、本来の正しい視差を求めることはできない。

第１実施形態は、レンズ群１１及び２１におけるレンズの歪曲収差に起因するベクトル（以下、歪曲収差ベクトル）を補正した上で、画像データＤ１３と画像データＤ２３との水平方向の視差を求めて、位相差ＡＦを用いるときの合焦精度を向上させている。

図５は、第１実施形態における制御部３０が備える具体的な構成例を示している。ＲＯＭ４１には、撮像装置１００によって無限遠の被写体を撮影することによって計測した、レンズ群１１及び２１の歪曲収差ベクトルを示す画素ごとの歪曲収差ベクトル情報が予め記憶されている。撮像装置１００が無限遠の被写体を撮影するとき、視差はほぼ０であるから、レンズ群１１及び２１の歪曲収差ベクトルを計測することができる。

フレームの右方向を水平方向のプラス、下方向を垂直方向のプラスとし、例えば、ある画素における歪曲収差ベクトルが水平方向＋１０画素、垂直方向－５画素のベクトルであるとすれば、その歪曲収差ベクトル情報は、水平方向＋１０、垂直方向－５のように表現されていればよい。

図５に示すように、制御部３０は、位相差オートフォーカス処理部（以下、位相差ＡＦ処理部）３１Ａ、山登りオートフォーカス処理部（以下、山登りＡＦ処理部）３２、駆動制御部３３及び３４を備える。駆動制御部３３を第１の駆動制御部とすると、駆動制御部３４は第２の駆動制御部である。位相差ＡＦ処理部３１Ａは、歪曲収差ベクトル補正部３１１及び３１２、視差算出部３１３、フォーカスレンズ位置変換部３１４、変換テーブル保持部３１５を有する。歪曲収差ベクトル補正部３１１を第１の歪曲収差ベクトル補正部とすると、歪曲収差ベクトル補正部３１２は第２の歪曲収差ベクトル補正部である。

歪曲収差ベクトル補正部３１１には、画像データＤ１３と、レンズ群１１の歪曲収差ベクトル情報とが入力される。歪曲収差ベクトル補正部３１１は、画像データＤ１３の各フレーム内の各画素を、歪曲収差ベクトル情報に基づいて補正して視差算出部３１３に供給する。ある画素における歪曲収差ベクトル情報が水平方向＋１０、垂直方向－５であれば、歪曲収差ベクトル補正部３１１は、その画素を水平方向に－１０画素変位させ、垂直方向に＋５画素変位させればよい。

歪曲収差ベクトル補正部３１２には、画像データＤ２３と、レンズ群２１の歪曲収差ベクトル情報とが入力される。歪曲収差ベクトル補正部３１２は、歪曲収差ベクトル補正部３１１と同様に、画像データＤ２３の各フレーム内の各画素を、歪曲収差ベクトル情報に基づいて補正して視差算出部３１３に供給する。

ＲＯＭ４１に記憶させる歪曲収差ベクトル情報を、歪曲収差ベクトル補正部３１１及び３１２が画素を変位させる値そのものとしてもよい。即ち、歪曲収差ベクトルが水平方向＋１０画素、垂直方向－５画素のベクトルであるとき、ＲＯＭ４１に記憶させる歪曲収差ベクトル情報を、歪曲収差ベクトルの正負を反転させて、水平方向－１０、垂直方向＋５としてもよい。この場合、例えば、歪曲収差ベクトル補正部３１１は、ある画素における歪曲収差ベクトル情報が水平方向－１０、垂直方向＋５であれば、その画素を水平方向に－１０画素変位させ、垂直方向に＋５画素変位させればよい。

視差算出部３１３は、歪曲収差ベクトル補正部３１１及び３１２によって歪曲収差ベクトルが補正された画像データＤ１３及びＤ２３に基づいて両者の視差を算出する。視差算出部３１３は、フレーム内の一部の領域で視差を算出すればよい。典型的には、フレームの中央部でフォーカスを合わせるため、視差算出部３１３はフレームの中央に位置する所定の面積の領域で視差を算出する。視差算出部３１３は、フレームを水平方向に均等に３分割、垂直方向に均等に３分割した、計９個の領域の中央に位置する領域で視差を算出してもよい。

視差算出部３１３は、視差を算出する領域内で、画像データＤ１３の画素と同じ垂直位置で画像データＤ２３における最も差分が小さい画素（相関が最も高い画素）を探索することによって、画像データＤ１３と画像データＤ２３との水平方向の視差を算出する。視差算出部３１３は、視差を算出する領域内で画素ごとに得られる視差の例えば平均値（または最大値）を画像データＤ１３と画像データＤ２３との最終的な視差とすればよい。

フォーカスを合わせる位置が撮像装置１００から離れて無限遠に近付くほど、画像データＤ１３と画像データＤ２３との視差は小さくなる。視差算出部３１３で算出された視差は、概ね、フォーカスを合わせる距離に応じた値となる。

変換テーブル保持部３１５には、視差算出部３１３で算出された視差と、その視差に応じた距離でフォーカスを合わせることができるフォーカスレンズの位置を示す位置情報とを対応付けた変換テーブルが保持されている。変換テーブルは、ＲＯＭ４１に記憶されていてもよい。

フォーカスレンズ位置変換部３１４は、変換テーブルを参照して、視差算出部３１３より供給された視差をフォーカスレンズの位置情報に変換して、駆動制御部３３及び３４に供給する。駆動制御部３３及び３４は、それぞれ、レンズ群１１及び２１のフォーカスレンズをフォーカスレンズ位置変換部３１４で求められた位置に移動させるよう駆動部１４及び２４を制御する。

レンズ群１１及び２１のフォーカスレンズを移動させるよう駆動部１４及び２４を制御した後、駆動制御部３３及び３４は、山登りＡＦ処理部３２による指示に従って駆動部１４及び２４を制御する。山登りＡＦ処理部３２は、画像データＤ１３のコントラストを求める。駆動制御部３３及び３４は、山登りＡＦ処理部３２において最大のコントラストが得られるまで、レンズ群１１及び２１のフォーカスレンズを移動させるよう駆動部１４及び２４を制御する。

フォーカスレンズ位置変換部３１４は、変換テーブルを参照して、視差算出部３１３より供給された視差をフォーカスレンズの位置情報に変換して、駆動制御部３３に供給する一方、駆動制御部３４にはフォーカスレンズの位置情報を供給しないようにしてもよい。駆動制御部３３は、レンズ群１１のフォーカスレンズをフォーカスレンズ位置変換部３１４で求められた位置に移動させるよう駆動部１４を制御する。一方、駆動制御部３４は、レンズ群２１のフォーカスレンズをフォーカスレンズ位置変換部３１４で求められた位置に移動させるよう駆動部２４を制御しなくてもよい。これらのことは、後述する第２～第５実施形態においても同様である。

図６に示すフローチャートを用いて、第１実施形態で実行されるオートフォーカス制御方法を説明する。図６において、撮像装置１００による撮影が開始されると、制御部３０は、ステップＳ１０１にて、画像データＤ１３及びＤ２３の各フレーム内の画素をそれぞれレンズ群１１及び２１の歪曲収差ベクトル情報に基づいて補正する。

制御部３０は、ステップＳ１０２にて、画像データＤ１３及びＤ２３の視差を算出する。制御部３０は、ステップＳ１０３にて、変換テーブルを参照して視差をフォーカスレンズの位置に変換し、ステップＳ１０４にて、フォーカスレンズを移動するよう駆動部１４及び２４を制御する。

その後、制御部３０は、ステップＳ１０５にて、山登りＡＦを実行する。制御部３０は、ステップＳ１０６にて、撮影終了の操作がされたか否かを判定する。撮影終了の操作がされなければ（NO）、制御部３０はステップＳ１０５及びＳ１０６の処理を繰り返す。撮影終了の操作がされれば（YES）、制御部３０は処理を終了させる。

第１実施形態によれば、まず位相差ＡＦを実行してフォーカスレンズをおおよその合焦位置まで移動させた後に山登りＡＦを実行するので、応答性及び合焦精度のよいオートフォーカスを実現することができる。これに加えて、第１実施形態によれば、レンズ群１１及び２１の歪曲収差ベクトルを補正した上で視差を求めているので、位相差ＡＦを用いるときの合焦精度を向上させることができる。

＜第２実施形態＞
第２実施形態は、撮像装置１００が初期状態（合焦する前の状態）で、偶然にもフォーカスが合っていて、精度の悪い視差を算出しないように構成することによって、位相差ＡＦを用いるときの合焦精度を向上させている。

図７は、第２実施形態における制御部３０が備える具体的な構成例を示している。図７において、図５と同一部分には同一符号を付し、その説明を省略することがある。図７に示すように、制御部３０は、位相差ＡＦ処理部３１Ｂ、山登りＡＦ処理部３２、駆動制御部３３及び３４を備える。位相差ＡＦ処理部３１Ｂは、ローパスフィルタ（以下、ＬＰＦ）３１６及び３１７、視差算出部３１３、フォーカスレンズ位置変換部３１４、変換テーブル保持部３１５を有する。ＬＰＦ３１６を第１のローパスフィルタとすると、ＬＰＦ３１７は第２のローパスフィルタである。

ＬＰＦ３１６及び３１７は、それぞれ、画像データＤ１３及びＤ２３の高域成分を減衰させて低域成分を抽出し、抽出した画像データＤ１３及びＤ２３の低域成分を視差算出部３１３に供給する。視差算出部３１３は、ＬＰＦ３１６及び３１７より供給された画像データＤ１３及びＤ２３の低域成分に基づいて視差を算出する。

ＬＰＦ３１６及び３１７によるＬＰＦ処理前の画素（ｘ，ｙ）の値をInPic(x,y)、ＬＰＦ処理後の画素（ｘ，ｙ）の値をOutPic(x,y)、加算処理する数をＭとすると、ＬＰＦ３１６及び３１７は、次の式（１）で示す処理を実行する。ＬＰＦ処理の際に加算する画素の位置に応じた重み付け処理がなされてもよい。
OutPic(x,y)=ΣInPic(x,y)/M …（１）

図８Ａに示すように、画像データＤ１３のあるフレームの画像が水平方向に高輝度と低輝度とを繰り返す格子模様のような繰り返しパターン８１を含むとする。フレームの画像が繰り返しパターン８１を含むと、視差算出部３１３は誤った視差を算出しやすい。

図８Ｂに示すように、ＬＰＦ３１６及び３１７が画像データＤ１３及びＤ２３にＬＰＦ処理を施すことにより、繰り返しパターン８１を一定値パターン８２とすることができる。これにより、視差算出部３１３は正しい視差を算出しやすくなる。なお、図８Ｂにおいては、画像を破線で示すことにより、図８Ａに示す画像にＬＰＦ処理を施した状態を概念的に示している。

視差算出部３１３が、ＬＰＦ３１６及び３１７より出力された画像データＤ１３及びＤ２３に基づいて、ある画素において最も差分が小さい画素を探索する際に、最小値が存在しない場合がある。このような場合、視差算出部３１３はその画素において０を出力してもよい。これにより、偶然に最小値が得られて、あたかも正しい視差が算出されるということを回避することができる。

図９に示すフローチャートを用いて、第２実施形態で実行されるオートフォーカス制御方法を説明する。図９において、撮像装置１００による撮影が開始されると、制御部３０は、ステップＳ２０１にて、画像データＤ１３及びＤ２３にＬＰＦ処理を施す。制御部３０は、ステップＳ２０２にて、ＬＰＦ処理された画像データＤ１３及びＤ２３に基づいて視差を算出する。

制御部３０は、ステップＳ２０３にて、変換テーブルを参照して視差をフォーカスレンズの位置に変換し、ステップＳ２０４にて、フォーカスレンズを移動するよう駆動部１４及び２４を制御する。

その後、制御部３０は、ステップＳ２０５にて、山登りＡＦを実行する。制御部３０は、ステップＳ２０６にて、撮影終了の操作がされたか否かを判定する。撮影終了の操作がされなければ（NO）、制御部３０はステップＳ２０５及びＳ２０６の処理を繰り返す。撮影終了の操作がされれば（YES）、制御部３０は処理を終了させる。

第２実施形態によれば、まず位相差ＡＦを実行してフォーカスレンズをおおよその合焦位置まで移動させた後に山登りＡＦを実行するので、応答性及び合焦精度のよいオートフォーカスを実現することができる。これに加えて、第２実施形態によれば、画像データＤ１３及びＤ２３にＬＰＦ処理を施した上で視差を求めているので、位相差ＡＦを用いるときの合焦精度を向上させることができる。

＜第３実施形態＞
第３実施形態は、第２実施形態を改良したより好ましい構成である。図１０は、第３実施形態における制御部３０が備える具体的な構成例を示している。図１０において、図７と同一部分には同一符号を付し、その説明を省略することがある。図１０に示すように、位相差ＡＦ処理部３１Ｃは、位相差ＡＦ処理部３１Ｂが有さない構成として、視差算出部３１８（第２の視差算出部）、差分算出部３１９、視差選択部３１１０を有する。

視差算出部３１３（第１の視差算出部）は、ＬＰＦ３１６及び３１７より供給された画像データＤ１３及びＤ２３の低域成分に基づいて視差を算出する。視差算出部３１８は、ＬＰＦ３１６及び３１７を経ていない、入力された画像データＤ１３及びＤ２３に基づいて視差を算出する。差分算出部３１９は、視差算出部３１３より供給された視差と視差算出部３１８より供給された視差との差分を算出して、視差選択部３１１０に供給する。視差選択部３１１０には、視差算出部３１３が算出した視差と視差算出部３１８が算出した視差とが入力される。

視差選択部３１１０は、差分算出部３１９より供給された視差の差分が所定の閾値以上であるか否かを判定する。視差の差分が閾値以上であれば、視差算出部３１８が算出した視差の精度が悪いと考えられ、視差の差分が閾値未満であれば、視差算出部３１８が算出した視差の精度がよいと考えられる。そこで、視差選択部３１１０は、視差の差分が閾値以上であれば、視差算出部３１３が算出した視差を選択し、視差の差分が閾値未満であれば、視差算出部３１８が算出した視差を選択して、フォーカスレンズ位置変換部３１４に供給する。

図１０に破線の矢印線で示しているように、差分算出部３１９が算出した視差の差分を駆動制御部３３及び３４に供給してもよい。駆動制御部３３及び３４は、入力された視差の差分が閾値以上であるとき、次のように駆動部１４及び２４を制御してもよい。駆動制御部３３及び３４は、レンズ群１１及び２１のフォーカスレンズを位相差ＡＦ処理部３１Ｃで指示された位置に移動させることなく、即座に、山登りＡＦ処理部３２による指示に従ってフォーカスレンズを移動させるよう駆動部１４及び２４を制御する。

図１１に示すフローチャートを用いて、第３実施形態で実行されるオートフォーカス制御方法を説明する。図１１において、撮像装置１００による撮影が開始されると、制御部３０は、ステップＳ３０１にて、画像データＤ１３及びＤ２３にＬＰＦ処理を施す。制御部３０は、ステップＳ３０２にて、ＬＰＦ処理前及びＬＰＦ処理後の画像データＤ１３及びＤ２３に基づいて視差を算出する。

制御部３０は、ステップＳ３０３にて、両者の視差の差分を算出する。制御部３０は、ステップＳ３０４にて、差分が閾値以上であるか否かを判定する。差分が閾値以上であれば（YES）、制御部３０は、ステップＳ３０５にて、ＬＰＦ処理後の画像データＤ１３及びＤ２３に基づいて算出された視差を選択して、処理をステップＳ３０７に移行させる。差分が閾値以上でなければ（NO）、制御部３０は、ステップＳ３０６にて、ＬＰＦ処理前の画像データＤ１３及びＤ２３に基づいて算出された視差を選択して、処理をステップＳ３０７に移行させる。

制御部３０は、ステップＳ３０７にて、変換テーブルを参照して視差をフォーカスレンズの位置に変換し、ステップＳ３０８にて、フォーカスレンズを移動するよう駆動部１４及び２４を制御する。

その後、制御部３０は、ステップＳ３０９にて、山登りＡＦを実行する。制御部３０は、ステップＳ３１０にて、撮影終了の操作がされたか否かを判定する。撮影終了の操作がされなければ（NO）、制御部３０はステップＳ３０９及びＳ３１０の処理を繰り返す。撮影終了の操作がされれば（YES）、制御部３０は処理を終了させる。

図１１に破線の矢印線で示しているように、ステップＳ３０４にて差分が閾値以上であるときに、即座にステップＳ３０９に移行させてもよい。

第３実施形態によれば、精度の悪い視差が算出される画像であるときに、ＬＰＦ処理を施した画像データＤ１３及びＤ２３によって視差を求めることができ、位相差ＡＦを用いるときの合焦精度を向上させることができる。精度のよい視差が算出される画像であるときには、ＬＰＦ処理を施さない方が好ましい。第３実施形態によれば、精度のよい視差が算出される画像であるときに、ＬＰＦ処理を施さない画像データＤ１３及びＤ２３によって視差を求めることができる。

＜第４実施形態＞
第４実施形態は、第２実施形態を改良したより好ましい構成である。図１２は、第４実施形態における制御部３０が備える具体的な構成例を示している。図１２において、図７と同一部分には同一符号を付し、その説明を省略することがある。図１２に示すように、位相差ＡＦ処理部３１Ｄは、位相差ＡＦ処理部３１Ｂが有さない構成として、繰り返しパターン検出部３１１１を有する。

繰り返しパターン検出部３１１１は、画像データＤ１３の各フレームにおいて、画像のエッジを検出することにより、画像内に存在することがある図８Ａに示す繰り返しパターン８１のような繰り返しパターンを検出する。繰り返しパターン検出部３１１１は、繰り返しパターンを検出すると、その旨をＬＰＦ３１６及び３１７に知らせる。例えば、繰り返しパターン検出部３１１１は、繰り返しパターンを検出しないときには値“０”をＬＰＦ３１６及び３１７に供給し、繰り返しパターンを検出したときには値“１”をＬＰＦ３１６及び３１７に供給すればよい。

ＬＰＦ３１６及び３１７は、繰り返しパターン検出部３１１１が繰り返しパターンを検出しなければ、画像データＤ１３及びＤ２３にＬＰＦ処理を施さず、画像データＤ１３及びＤ２３をそのまま視差算出部３１３に供給する。ＬＰＦ３１６及び３１７は、繰り返しパターン検出部３１１１が繰り返しパターンを検出すれば、画像データＤ１３及びＤ２３にＬＰＦ処理を施して視差算出部３１３に供給する。

図１３に示すフローチャートを用いて、第４実施形態で実行されるオートフォーカス制御方法を説明する。図１３において、撮像装置１００による撮影が開始されると、制御部３０は、ステップＳ４０１にて、画像データＤ１３に基づき、フレーム内に繰り返しパターンが存在するか否かを判定する。フレーム内に繰り返しパターンが存在すれば（YES）、制御部３０は、ステップＳ４０２にて、画像データＤ１３及びＤ２３にＬＰＦ処理を施して、処理をステップＳ４０３に移行させる。フレーム内に繰り返しパターンが存在しなければ（NO）、制御部３０は、処理をステップＳ４０３に移行させる。

制御部３０は、ステップＳ４０３にて、ＬＰＦ処理された、またはＬＰＦ処理されていない画像データＤ１３及びＤ２３に基づいて視差を算出する。制御部３０は、ステップＳ４０４にて、変換テーブルを参照して視差をフォーカスレンズの位置に変換し、ステップＳ４０５にて、フォーカスレンズを移動するよう駆動部１４及び２４を制御する。

その後、制御部３０は、ステップＳ４０６にて、山登りＡＦを実行する。制御部３０は、ステップＳ４０７にて、撮影終了の操作がされたか否かを判定する。撮影終了の操作がされなければ（NO）、制御部３０はステップＳ４０６及びＳ４０７の処理を繰り返す。撮影終了の操作がされれば（YES）、制御部３０は処理を終了させる。

第４実施形態によれば、画像データＤ１３及びＤ２３の画像が、精度の悪い視差が算出される可能性の高い繰り返しパターンを含む画像であるときに、ＬＰＦ処理を施した画像データＤ１３及びＤ２３によって視差を求めることができ、位相差ＡＦを用いるときの合焦精度を向上させることができる。第４実施形態によれば、画像データＤ１３及びＤ２３の画像が繰り返しパターンを含む画像でないときに、ＬＰＦ処理を施さない画像データＤ１３及びＤ２３によって視差を求めることができる。

＜第５実施形態＞
第５実施形態は、フォーカスを合わせる領域における算出した視差の信頼性に応じて位相差ＡＦと山登りＡＦとを使い分けるように構成している。

図１４は、第５実施形態における制御部３０が備える具体的な構成例を示している。図１４において、図５と同一部分には同一符号を付し、その説明を省略することがある。図１４に示すように、制御部３０は、位相差ＡＦ処理部３１Ｅ、山登りＡＦ処理部３２、駆動制御部３３及び３４を備える。位相差ＡＦ処理部３１Ｅは、視差算出部３１３、フォーカスレンズ位置変換部３１４、変換テーブル保持部３１５、ヒストグラム生成部３１１２、信頼性判定部３１１３を有する。

第５実施形態において、視差算出部３１３には、各フレーム内の複数の領域のうちのいずれかの領域を指定するための領域指定信号が入力される。図１５に示すように、画像データＤ１３及びＤ２３の各フレームＤ１３Ｆ及びＤ２３Ｆは、水平方向に均等に３分割、垂直方向に均等に３分割した、計９個の領域に分けられている。９個の領域を“左上”、“中上”、“右上”、“左中”、“中中”、“右中”、“左下”、“中下”、“右下”の領域と称することとする。デフォルトの状態では、視差算出部３１３には、“中中”の領域を特定する領域指定信号が入力される。

視差算出部３１３は、画像データＤ１３及びＤ２３の各フレームの全領域のうち、領域指定信号で指定された領域における視差を算出する。視差算出部３１３は、指定された領域の複数の画素で算出された視差の例えば平均値（または最大値）を最終的な視差として、フォーカスレンズ位置変換部３１４に供給する。デフォルトの状態では、視差算出部３１３は、“中中”の領域における視差を算出して、フォーカスレンズ位置変換部３１４に供給する。

図１６に示すように、ユーザがフォーカスを合わせる領域を変更するために、ディスプレイ５０を指で触れたとする。制御部３０は、指で触れた位置の領域を特定する領域指定信号を生成する。図１６に示す例では、ユーザは“右中”の領域に触れており、視差算出部３１３には、“右中”の領域を特定する領域指定信号が入力される。この場合、視差算出部３１３は、“右中”の領域における視差を算出して、フォーカスレンズ位置変換部３１４に供給する。

ヒストグラム生成部３１１２は、視差算出部３１３が算出した領域内の視差のヒストグラムを生成する。ヒストグラム生成部３１１２は、領域内の全ての画素で算出された視差のヒストグラムを生成してもよいし、水平方向及び垂直方向に間引いた一部の画素で算出された視差のヒストグラムを生成してもよい。

図１７は、あるフレームにおいて、仮に、視差算出部３１３がフレーム内の全体で視差を算出し、ヒストグラム生成部３１１２が各領域でヒストグラムを生成したときのヒストグラムの一例を示している。図１７に示すヒストグラムは、簡略化のため、視差０、４、８、…２８、３２における、それらの視差が得られた度数（画素の個数）を示している。ヒストグラム生成部３１１２は、図１７に示すような各領域の視差のヒストグラムのうち、ヒストグラム生成部３１１２が実際に生成した領域のヒストグラムを信頼性判定部３１１３に供給する。

ここでは、視差算出部３１３が領域指定信号で指定された領域における視差を算出し、ヒストグラム生成部３１１２が指定された領域における視差のヒストグラムを生成している。視差算出部３１３が各フレームの全ての領域で視差を算出し、ヒストグラム生成部３１１２が全ての領域で視差のヒストグラムを生成してもよい。

この場合、視差算出部３１３は、領域指定信号で指定された領域における最終的な視差を算出して、フォーカスレンズ位置変換部３１４に供給すればよい。ヒストグラム生成部３１１２にも領域指定信号を供給して、ヒストグラム生成部３１１２は、領域指定信号で指定された領域におけるヒストグラムを信頼性判定部３１１３に供給すればよい。

このように構成すると、視差算出部３１３及びヒストグラム生成部３１１２における計算量が増大する。しかしながら、ユーザがディスプレイ５０に触れてフォーカスを合わせる領域を変更したときに、信頼性判定部３１１３が即座に算出された視差の信頼性を判定することができる。

信頼性判定部３１１３は、ヒストグラムを統計的に解析して算出された視差の信頼性を判定する。信頼性判定部３１１３は、視差の信頼性を判定するために、ヒストグラムの標準偏差または分散を求める。信頼性判定部３１１３は、標準偏差または分散の他に、最大値を求めてもよいし、さらには平均値を求めてもよい。

ヒストグラムの標準偏差または分散が所定の大きさ未満であるということは、領域内で算出された視差のばらつきが小さく、信頼性が高いということである。標準偏差または分散が所定の大きさ以上であるということは、領域内で算出された視差がばらついており、信頼性が低いということである。信頼性の判定のために最大値と平均値とのうちの少なくとも一方がさらに用いられてもよい。

信頼性判定部３１１３は、標準偏差または分散が所定の大きさ未満であるとき、信頼性判定値として、算出された視差の信頼性が高いことを示す例えば値“０”を駆動制御部３３及び３４に供給する。信頼性判定部３１１３は、標準偏差または分散が所定の大きさ以上であるとき、信頼性判定値として、算出された視差の信頼性が低いことを示す例えば値“１”を駆動制御部３３及び３４に供給する。

図１７に示す例において、例えば“左上”の領域では視差１６が個数の最大値で視差は１２～２０に比較的集中している。被写体までの距離は中程度であり、視差の信頼性が高い。“右上”の領域では視差０が個数の最大値で視差は０～１２に比較的集中している。被写体までの距離が遠く、視差の信頼性が高い。“中下”の領域では視差２８が個数の最大値で視差は２０～３２に比較的集中している。被写体までの距離は近く、視差の信頼性が高い。

一方、“右中”の領域では視差の個数の最大値が小さく、視差は、視差０から視差３２まで広範囲に発生している。標準偏差または分散が所定の大きさ以上であり、視差の信頼性が低い。視差の信頼性が高いか低いかを判定するための標準偏差または分散の閾値をどの程度の値にするかは設計的な事項である。

駆動制御部３３及び３４は、信頼性判定部３１１３から信頼性判定値“０”が供給されれば、それぞれ、レンズ群１１及び２１のフォーカスレンズをフォーカスレンズ位置変換部３１４で求められた位置に移動させるよう駆動部１４及び２４を制御する。レンズ群１１及び２１のフォーカスレンズを移動させるよう駆動部１４及び２４を制御した後、駆動制御部３３及び３４は、山登りＡＦ処理部３２による指示に従って駆動部１４及び２４を制御する。

駆動制御部３３及び３４は、信頼性判定部３１１３から信頼性判定値“１”が供給されれば、レンズ群１１及び２１のフォーカスレンズをフォーカスレンズ位置変換部３１４で求められた位置に移動させることなく、即座に、山登りＡＦ処理部３２による指示に従ってフォーカスレンズを移動させるよう駆動部１４及び２４を制御する。

図１７において、デフォルトの状態では、“中中”の領域において視差の信頼性が高いと判定されて、駆動制御部３３及び３４には信頼性判定値“０”が供給される。よって、“中中”の領域においては、位相差ＡＦ処理部３１Ｅによる位相差ＡＦに続けて山登りＡＦが実行される。ユーザが“右中”の領域においてフォーカスを合わせるために“右中”の領域に触れた場合には、“右中”の領域において視差の信頼性が低いと判定されて、駆動制御部３３及び３４には信頼性判定値“１”が供給される。よって、“右中”の領域においては、即座に、山登りＡＦが実行される。

図１８に示すフローチャートを用いて、第５実施形態で実行されるオートフォーカス制御方法を説明する。図１８において、撮像装置１００による撮影が開始されると、制御部３０は、ステップＳ５０１にて、領域指定信号で指定された領域内の各画素で視差を算出する。制御部３０は、ステップＳ５０２にて、領域内の視差のヒストグラムを生成する。

制御部３０は、ステップＳ５０３にて、視差の信頼性が高いか否かを判定する。視差の信頼性が高ければ（YES）、制御部３０は、ステップＳ５０４にて、変換テーブルを参照して視差をフォーカスレンズの位置に変換し、ステップＳ５０５にて、フォーカスレンズを移動するよう駆動部１４及び２４を制御して、処理をステップＳ５０６に移行させる。視差の信頼性が高くなければ（NO）、制御部３０は、処理をステップＳ５０６に移行させる。

制御部３０は、ステップＳ５０６にて、山登りＡＦを実行する。制御部３０は、ステップＳ５０７にて、撮影終了の操作がされたか否かを判定する。撮影終了の操作がされなければ（NO）、制御部３０は、ステップＳ５０８にて、フォーカスを合わせる領域が変更されたか否かを判定する。フォーカスを合わせる領域が変更されなければ（NO）、制御部３０は、ステップＳ５０６～Ｓ５０８の処理を繰り返す。

ステップＳ５０８にてフォーカスを合わせる領域が変更されれば（YES）、制御部３０は、処理をステップＳ５０１に戻し、ステップＳ５０１移行の処理を繰り返す。ステップＳ５０７にて撮影終了の操作がされれば（YES）、制御部３０は処理を終了させる。

以上の説明では、視差の信頼性を“高い”と“低い”の２段階としているが、信頼性の高さを複数段階で判定してもよい。駆動制御部３３及び３４は、信頼性の高さの値に応じて、フォーカスレンズを移動させる速度を変更したり、フォーカスレンズの目標位置を変更したりしてもよい。駆動制御部３３及び３４は、信頼性の高さの値に応じて、位相差ＡＦから山登りＡＦへの移行のタイミングを変更してもよい。

第５実施形態によれば、フォーカスを合わせようとする領域で算出される視差の信頼性の有無または信頼性を程度に応じて、位相差ＡＦと山登りＡＦとを使い分けたり、位相差ＡＦから山登りＡＦへと移行させたりすることができる。これにより、応答性及び合焦精度のよいオートフォーカスを実現することができる。

図１４においては、信頼性判定部３１１３は、ヒストグラム生成部３１１２が生成した視差のヒストグラムに基づいて視差の信頼性を判定している。視差と視差が得られた度数とをグラフ化したヒストグラムを必ずしも作成する必要はなく、位相差ＡＦ処理部３１Ｅの内部で、視差と視差が得られた度数とを集計した集計データを生成するのみでもよい。さらに、信頼性判定部３１１３は、領域指定信号で指定された領域における視差の分散に基づいて視差の信頼性を判定してもよい。この場合、位相差ＡＦ処理部３１Ｅはヒストグラム生成部３１１２に代えて分散算出部を備えればよい。信頼性判定部３１１３による視差の信頼性の判定の仕方は限定されない。但し、上記のような集計データまたは分散は視差の信頼性を判定するのに好適である。

ところで、第１実施形態と、第２～第４実施形態とは組み合わせが可能である。第１実施形態と、第５実施形態とは組み合わせが可能である。第２～第４実施形態と、第５実施形態とは組み合わせが可能である。第１実施形態と、第２～第４実施形態と、第５実施形態とは組み合わせが可能である。

本発明は以上説明した第１～第５実施形態の各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。上記のように、各実施形態は任意に組み合わせが可能であり、各実施形態を任意に組み合わせた構成も本発明に含まれる。

第１～第５実施形態をオートフォーカス制御プログラムで構成してもよい。この場合、オートフォーカス制御プログラムは、コンピュータに、図６、図９、図１１、図１３、図１８に示す処理を実行させる。ハードウェアとソフトウェアとの使い分けは任意である。

１１，２１ レンズ群
１２，２２ 撮像素子
１３，２３ Ａ／Ｄ変換器
１４，２４ 駆動部
３０ 制御部
３１Ａ，３１Ｂ，３１Ｃ，３１Ｄ，３１Ｅ 位相差オートフォーカス処理部
３２ 山登りオートフォーカス処理部
３３，３４ 駆動制御部
４１ ＲＯＭ
４２ ＲＡＭ
５０ タッチパネル付きディスプレイ
６１ エンコーダ
６２ 記憶部
７０ 操作部
３１１，３１２ 歪曲収差ベクトル補正部
３１３，３１８ 視差算出部
３１４ フォーカスレンズ位置変換部
３１５ 変換テーブル保持部
３１６，３１７ ローパスフィルタ
３１９ 差分算出部
３１１０ 視差選択部
３１１１ 繰り返しパターン検出部
３１１２ ヒストグラム生成部
３１１３ 信頼性判定部

Claims (4)

1. フォーカスレンズを含む第１のレンズ群及び第１の撮像素子を有する第１の撮像系と、
   第２のレンズ群及び第２の撮像素子を有し、前記第２のレンズ群は前記第１のレンズ群と水平方向または垂直方向に所定の距離離れた状態で並べられている第２の撮像系と、
   前記第１及び第２の撮像系によってそれぞれ生成された第１及び第２の画像データの視差に基づく距離にフォーカスを合わせるための位相差オートフォーカス処理部と、
   前記位相差オートフォーカス処理部による処理に基づいて、前記フォーカスレンズを駆動する駆動部を制御する駆動制御部と、
   を備え、
   前記位相差オートフォーカス処理部は、
   前記第１の画像データの低域成分を抽出する第１のローパスフィルタと、
   前記第２の画像データの低域成分を抽出する第２のローパスフィルタと、
   前記第１及び第２のローパスフィルタによってそれぞれ抽出された前記第１及び第２の画像データの低域成分に基づいて両者の視差を算出する第１の視差算出部と、
   前記第１の視差算出部が算出した視差を、前記視差が示す被写体までの距離にフォーカスを合わせるための前記フォーカスレンズの位置を示す位置情報に変換するフォーカスレンズ位置変換部と、
   を有し、
   前記駆動制御部は、前記フォーカスレンズの位置を前記位置情報が示す位置に移動させるよう前記駆動部を制御する
   撮像装置。
2. 前記位相差オートフォーカス処理部は、
   前記第１及び第２のローパスフィルタを経ていない、前記第１及び第２の撮像系によってそれぞれ生成された第１及び第２の画像データに基づいて両者の視差を算出する第２の視差算出部と、
   前記第１の視差算出部によって算出された視差と前記第２の視差算出部によって算出された視差との差分を算出する差分算出部と、
   前記差分算出部によって算出された差分が所定の閾値以上であるか否かを判定し、前記差分が閾値以上であれば、前記フォーカスレンズ位置変換部に、前記第１の視差算出部によって算出された視差を供給し、前記差分が前記閾値未満であれば、前記フォーカスレンズ位置変換部に、前記第１の視差算出部によって算出された視差の代わりに前記第２の視差算出部によって算出された視差を供給する視差選択部と、
   をさらに有する請求項１に記載の撮像装置。
3. 前記第１の画像データの画像内の繰り返しパターンを検出する繰り返しパターン検出部をさらに有し、
   前記第１及び第２のローパスフィルタは、
   前記繰り返しパターン検出部が繰り返しパターンを検出しなければ、前記第１及び第２の画像データの低域成分を抽出する処理を実行せず、前記第１及び第２の画像データをそのまま前記第１の視差算出部に供給し、
   前記繰り返しパターン検出部が繰り返しパターンを検出すれば、前記第１及び第２の画像データの低域成分を抽出する処理を実行して、前記第１及び第２の画像データの低域成分を前記第１の視差算出部に供給する
   請求項１に記載の撮像装置。
4. フォーカスレンズを含む第１のレンズ群及び第１の撮像素子を有する第１の撮像系によって被写体を撮像して、第１の画像データを生成し、
   第２のレンズ群及び第２の撮像素子を有し、前記第２のレンズ群は前記第１のレンズ群と水平方向または垂直方向に所定の距離離れた状態で並べられている第２の撮像系によって前記被写体を撮像して、第２の画像データを生成し、
   第１のローパスフィルタによって、前記第１の画像データの低域成分を抽出し、
   第２のローパスフィルタによって、前記第２の画像データの低域成分を抽出し、
   前記第１及び第２の画像データの低域成分に基づいて両者の視差を算出し、
   前記視差が示す被写体までの距離にフォーカスを合わせるための前記フォーカスレンズの位置を示す位置情報に変換し、
   前記フォーカスレンズの位置を前記位置情報が示す位置に移動させる
   オートフォーカス制御方法。

Images