JP2020060602A - 焦点調整装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】ＡＦ用の補助的な発光を必要とすることなく、フォーカスレンズの合焦位置への駆動を効率化すること。【解決手段】フォーカスレンズの位置を異ならせて撮影された複数の画像の取得手段と、推定手段と、複数の画像に基づいて、画像の所定領域が合焦した状態となる合焦位置にフォーカスレンズを移動させるための、フォーカスレンズの移動方向とデフォーカス量とを求める処理手段と、求められた移動方向とデフォーカス量とに基づいてフォーカスレンズの移動を制御する制御手段と、を含む。ここで、処理手段は、フォーカスレンズの位置が第一の位置で撮影された第一の画像と、フォーカスレンズの位置を第一の位置から推定手段によって推定された所定方向へ移動させて撮影された第二の画像とに基づいて、移動方向とデフォーカス量を求め、推定手段は、所定方向が第一の位置から合焦位置へ向かう方向となるように所定方向を推定。【選択図】図８

Description

本発明は、焦点調整装置およびその制御方法ならびにプログラムに関する。

従来、画像情報に基づいて、フォーカスレンズを合焦位置に移動させるためにフォーカスレンズの移動を制御する技術が提案されている。特許文献１では、オートフォーカス（ＡＦ）補助光を被写体に照射してできる画像内のＡＦ補助光拡散領域の大きさを評価してカメラから被写体までの距離を求め、求めた距離に応じてフォーカスレンズを移動させる技術を提案している。

また、特許文献２では、フォーカスレンズ位置に対応した画像情報からＡＦに用いる評価値を求め、求めた評価値と所定の２つの閾値との比較により、フォーカスレンズ可動範囲のいずれの端部から合焦位置の探索を開始するかを決定する技術を提案している。

特開２００５−３７５１９号公報 特開２００７−１０１９０７号公報

しかしながら、特許文献１に係る技術では、ＡＦ補助光を発光する装置が別途必要となり装置が複雑化しコストアップに繋がる。また、被写体が遠距離の場合などＡＦ補助光拡散領域を検出するのに十分な信号が得られたい場合には、ＡＦ補助光拡散領域の大きさから被写体までの距離が得られず、適切にフォーカスレンズを駆動することができない。

特許文献２に係る技術では、被写体が遠端側と近端側のどちらに近い距離にいるかを判定し、常にフォーカスレンズ可動範囲の端位置（遠端または近端）から合焦位置の探索動作を開始する。このため、フォーカスレンズをＡＦ開始時点のフォーカスレンズの位置から合焦位置方向へ駆動することはできず、フォーカスレンズを端位置まで駆動するための余計な時間がかかる課題がある。また、フォーカスレンズの端位置までの移動により、フォーカスレンズの移動中に撮影された映像の品位が低下する課題もある。すなわち、補助的な光が照射されていない画像信号を用いる際に、ＡＦ開始時点のフォーカスレンズの位置から合焦位置への駆動方向や駆動距離を適切に求め、フォーカスレンズの駆動をより効率化（すなわち高速・高品質化）することが可能な技術が期待される。

本発明は、上記課題に鑑みてなされ、その目的は、ＡＦ用の補助的な発光を必要とすることなく、フォーカスレンズの合焦位置への駆動をより効率化することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の焦点調整装置は以下の構成を備える。すなわち、所定の範囲で移動可能なフォーカスレンズの位置を異ならせて撮影された複数の画像を取得する取得手段と、推定手段と、前記フォーカスレンズの位置を異ならせて撮影された複数の画像に基づいて、画像の所定領域が合焦した状態となる合焦位置に前記フォーカスレンズを移動させるための、前記フォーカスレンズの移動方向とデフォーカス量とを求める処理手段と、求められた前記移動方向と前記デフォーカス量とに基づいて前記フォーカスレンズの移動を制御する制御手段と、を含み、前記処理手段は、前記フォーカスレンズの位置が第一の位置で撮影された第一の画像と、前記フォーカスレンズの位置を前記第一の位置から前記推定手段によって推定された所定方向へ移動させて撮影された第二の画像とに基づいて、前記移動方向と前記デフォーカス量を求め、前記推定手段は、前記所定方向が前記第一の位置から前記合焦位置へ向かう方向となるように前記所定方向を推定する、ことを特徴とする。

本発明によれば、ＡＦ用の補助的な発光を必要とすることなく、フォーカスレンズの合焦位置への駆動をより効率化することが可能になる。

実施形態１における焦点調整装置の一例としてのデジタルカメラの機能構成を示すブロック図 実施形態１におけるＤＦＤ処理に係る一連の動作を示すフローチャート 実施形態１における深層ニューラルネットワークの一例としてのＣＮＮの全体構成例を模式的に示す図 実施形態１におけるＣＮＮの部分構成例を模式的に示す図 実施形態１における学習用の画像の一例を示す図 実施形態１における上部に近側の被写体が存在する学習用の画像の一例を示す図 実施形態１における上部と下部に中央より遠側の被写体が存在する学習用の画像の一例を示す図 実施形態１における、初期移動方向を識別する機能を用いた、焦点調整処理に係る一連の動作を示すフローチャート 実施形態２における初期移動方向識別処理とその前処理に係る一連の動作を示すフローチャート 実施形態２における領域分割の一例を示す図 実施形態２におけるボケ量評価指数を算出する一連の動作を示すフローチャート 実施形態２における深層ニューラルネットワークの一例としてのＣＮＮの全体構成例を模式的に示す図 実施形態２におけるスキャンＡＦ処理に係る一連の動作を示すフローチャート 実施形態３における焦点調整装置の一例としてのデジタルカメラの機能構成を示すブロック図 実施形態３における焦点調整処理に係る一連の動作を示すフローチャート 実施形態３におけるＤＦＤ処理のパラメータ設定に係る一連の動作を示すフローチャート 実施形態３におけるＤＦＤ処理のパラメータ設定に係るテーブルの一例を示す図 実施形態４におけるスキャンＡＦ処理に係る一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では焦点調整装置の一例として、焦点調整の可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、焦点調整が可能な他の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラの構成）
図１は、本実施形態の焦点調整装置の一例としてのデジタルカメラ１の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、１つ以上のＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。或いは、１つ以上のＣＰＵ、ＭＰＵ、ＧＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

ズームレンズ群２は、撮影光学系を構成し、レンズの光軸方向に進退可能に構成され、光軸方向に進退することにより、被写体光学像の変倍率を変化させる。フォーカスレンズ群３は、レンズの光軸方向に所定の範囲で移動可能に構成され、所定の位置（合焦位置ともいう）に移動すると撮像センサ５に結像する画像の所定領域が合焦した状態になる。絞り４は、ズームレンズ群２、フォーカスレンズ群３等からなる撮影光学系を透過する光束の量を制御する光量調節手段であり露出手段である。撮影レンズ鏡筒３２は、ズームレンズ群２とフォーカスレンズ群３と絞り４とを含む。

撮像センサ５は、撮影光学系を透過した被写体像が結像し、これを光電変換するＣＭＯＳ等の固体撮像素子を含む。撮像回路６は、この撮像センサ５によって光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する。Ａ／Ｄ変換回路７は、この撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変化させる。ＶＲＡＭ８は、バッファメモリ等のメモリを含み、このＡ／Ｄ変換回路７の出力を取得して、取得した画像信号を一時的に記憶する。

Ｄ／Ａ変換回路９は、このＶＲＡＭ８に記憶された画像信号を読み出してこれをアナログ信号に変換するとともに再生出力に適する形態の画像信号に変換する。ＬＣＤ１０は、この画像信号を表示する液晶表示装置（ＬＣＤ）等の画像表示装置を含む。記憶用メモリ１２は半導体メモリ等を含み、画像信号を記憶する。

圧縮伸長回路１１は、ＶＲＡＭ８に一時記憶された画像信号を読み出して記憶用メモリ１２に対する記憶に適した形態にするために画像信号の圧縮処理や符号化処理を施す圧縮回路を含む。また、圧縮伸長回路１１は、記憶用メモリ１２に記憶された画像信号を再生表示等するのに最適な形態とするための復号化処理や伸長処理等を施す伸長回路も含む。

ＡＥ処理回路１３は、Ａ／Ｄ変換回路７からの出力を受けて自動露出（ＡＥ）処理を行う。スキャンＡＦ処理回路１４は、Ａ／Ｄ変換回路７からの出力を受けてＡＦ評価値生成する自動焦点調整（ＡＦ）処理を行う。

制御部１５は、ＣＰＵやＧＰＵなどの１以上のプロセッサと、演算用のＲＡＭとを含み、ＥＥＰＲＯＭ２５に記録されたプログラムを当該ＲＡＭ等に展開、実行することによりデジタルカメラ１の全体を制御する。ＴＧ１６は、所定のタイミング信号を発生するタイミングジェネレータを含む。撮像センサドライバ１７は、撮像センサ５を駆動するドライバを含む。第一モータ駆動回路１８は絞り駆動モータ２１を駆動制御し、絞り駆動モータ２１は絞り４を駆動する。第二モータ駆動回路１９はフォーカス駆動モータ２２を駆動制御し、フォーカス駆動モータ２２はフォーカスレンズ群３を駆動する。第三モータ駆動回路２０はズーム駆動モータ２３を駆動制御し、ズーム駆動モータ２３は、ズームレンズ群２を駆動する。

操作スイッチ２４はデジタルカメラ１をユーザが操作するための各種のスイッチ群を含む。例えば、操作スイッチ２４は、デジタルカメラ１を起動させ電源供給を行うための主電源スイッチや、撮影動作（記憶動作）等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチを含む。レリーズスイッチは撮影動作に先立ち行われるＡＥ処理、ＡＦ処理を開始させる指示信号を発生する第一ストローク（以下ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第二ストローク（以下ＳＷ２）との二段スイッチにより構成される。また、撮影光学系のズームレンズ群２を移動させズームを行わせるズームスイッチ等を含む。

ＥＥＰＲＯＭ２５は、各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリ（記録媒体）である。電池２６はデジタルカメラ１の各部に電力を提供するためのバッテリを含む。ＬＥＤ２９は警告表示などを行うＬＥＤなどの表示素子を含む。ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）処置回路３０はＡ／Ｄ変換回路７から出力される信号を受信して、合焦位置の方向とデフォーカス量の推定を行う。ここでいうデフォーカス量は非負の値で表現される合焦位置からの像面距離を示すものである。しかし、合焦位置の方向とデフォーカス量を合わせて正負の符号付きで表現してもよい。初期移動方向識別回路３１は、Ａ／Ｄ変換回路７からの出力とフォーカスレンズ群３の位置を用いてフォーカスレンズ群３の初期移動方向を識別する。

画像信号等の記憶媒体である記憶用メモリ１２は、フラッシュメモリ等の固定型の半導体メモリを含む。また、記憶用メモリ１２は、カード形状やスティック形状であって装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリであってもよく、また、ハードディスク等の磁気記憶媒体等、様々な形態のものが適用されてよい。

（デジタルカメラ１の基本的な動作）
次に、上述のように構成されたデジタルカメラ１の動作の概要を説明する。まず、デジタルカメラ１の撮影レンズ鏡筒３２を透過した被写体光束は絞り４によってその光量が調整された後、撮像センサ５の受光面に結像される。この被写体像は、撮像センサ５による光電変換処理により電気的な信号に変換され撮像回路６に出力される。撮像回路６では、入力した信号に対して各種の信号処理が施され、所定の画像信号が生成される。この画像信号はＡ／Ｄ変換回路７に出力されデジタル信号に変換された後、ＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像信号はＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤに画像として表示される。一方、ＶＲＡＭ８に格納された画像信号は圧縮伸長回路１１にも出力される。この圧縮伸長回路１１における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像信号に変換され、記憶用メモリ１２に記憶される。

また、例えば操作スイッチ２４のうち不図示の再生スイッチが操作されオン状態になると、再生動作が開始される。記憶用メモリ１２に圧縮された形で記憶された画像信号は圧縮伸長回路１１に出力され、伸長回路において復号化処理や伸長処理等が施された後、ＶＲＡＭ８に出力され一時的に記憶される。更に、この画像信号はＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。

他方、Ａ／Ｄ変換回路７によってデジタル化された画像信号は、上述のＶＲＡＭ８とは別にＡＥ処理回路１３、スキャンＡＦ処理回路１４、ＤＦＤ処理回路３０、初期移動方向識別回路３１に対しても出力される。

まずＡＥ処理回路１３においては、入力されたデジタル画像信号を受けて、一画面分の画像信号の輝度値に対して累積加算等の演算処理が行われる。これにより、被写体の明るさに応じたＡＥ評価値が算出される。このＡＥ評価値は制御部１５に出力される。

スキャンＡＦ処理回路１４は、入力されたデジタル画像信号を受けて、画像信号の所定の周波数成分をバンドパスフィルター（ＢＰＦ）を介して抽出し、更に累積加算等の演算処理を行って、所定帯域の成分量等に対応するＡＦ評価値信号を算出する。具体的にはスキャンＡＦ処理は、ＡＦ領域として指定された画面の一部分の領域に相当する画像信号の所定周波数成分を複数（例えば４つ）のバンドパスフィルター（ＢＰＦ）を介して抽出し、更に累積加算等の演算処理を行う。これにより、所定帯域の成分量等に対応する複数のＡＦ評価値信号が算出される。また、ＡＦ領域の画像信号の最大値と最小値の差分を計算してコントラスト値を求める演算処理を行う。このようにスキャンＡＦ処理回路１４は、自動焦点調整（ＡＦ制御）を行う過程において、撮像センサ５によって生成された画像信号から所定の周波数成分を検出する所定周波数成分検出手段の役割を担っている。

ＤＦＤ処理回路３０は、処理が指示された時点のフォーカスレンズ群３の位置で得られる第１デジタル画像信号と、予め定められた所定量だけ所定方向にフォーカスレンズ群３の位置で得られる第２デジタル画像信号とを受信する。受信した第１及び第２のデジタル画像信号を用いて、画像再構成とボケ像生成の画像処理を撮影レンズ鏡筒の光学特性を示すＰＳＦを用いて複数回行う。そして、その結果として作成されたデジタル画像信号と、入力されたデジタル画像信号の相関演算を行い、最も高い相関を得た画像処理における設定値から、合焦位置の方向とデフォーカス量の推定を行う。すなわち、ＤＦＤ処理回路はフォーカスレンズ群３の異なる位置で撮影された画像に基づいて、ＡＦ領域等の画像の所定領域が合焦するように前記フォーカスレンズを移動させるための、移動方向とデフォーカス量とを求める。

初期移動方向識別回路３１は、画像とフォーカスレンズ位置の変化とＡＦ領域との関係に基づいて合焦位置方向を推定するための特徴をＣＮＮ（Convolutional Neural Networks）によって抽出（学習）したうえで、レンズ初期移動方向を推定する。本実施形態では、初期移動方向識別回路３１を、深層学習に用いられる複数の隠れ層を有するニューラルネットワークを用いて実現する。本実施形態では、深層学習に用いるニューラルネットワークの一例としてＣＮＮを採用した場合を例に説明する。

ＴＧ１６からは所定のタイミング信号が制御部１５、撮像回路６、撮像センサドライバ１７へ出力されており、制御部１５はこのタイミング信号に同期させて各種の制御を行う。また撮像回路６は、ＴＧ１６からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらに撮像センサドライバ１７は、ＴＧ１６のタイミング信号を受けこれに同期して撮像センサ５を駆動する。

また制御部１５は、第一モータ駆動回路１８、第二モータ駆動回路１９、第三モータ駆動回路２０をそれぞれ制御する。これらを制御することにより、絞り駆動モータ２１、フォーカス駆動モータ２２、ズーム駆動モータ２３を介して、絞り４、フォーカスレンズ群３、ズームレンズ群２を駆動制御する。制御部１５は、ＤＦＤ処理回路３０からのフォーカスレンズ群３の移動方向とデフォーカス量とに基づいて第二モータ駆動回路１９を制御し、フォーカスレンズ群３の移動を制御する。また、制御部１５はＡＥ処理回路１３において算出されたＡＥ評価値等に基づき第一モータ駆動回路１８を制御して絞り駆動モータ２１を駆動し、絞り４の絞り量を適正になるように調整するＡＥ制御を行う。

操作スイッチ２４のうち不図示のズームスイッチが操作された場合は、これを受けて第三モータ駆動回路２０を制御してズーム駆動モータ２３を駆動制御することによりズームレンズ群２を移動させ、撮影光学系の変倍動作（ズーム動作）を行う。

（ＤＦＤ処理）
次に、図２を参照して、ＤＦＤ処理回路３０によって実行されるＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）処理に関する動作について説明する。また、合焦方向とデフォーカス量の推定方法の原理に関しては、特許第５８６９８８３号などでその詳細が説明されている公知の方法を用いることができるため、詳細な説明は割愛する。

Ｓ２０１で、ＤＦＤ処理回路３０は、ＤＦＤ処理開始時のフォーカスレンズ群３の位置における、ＡＦ領域として指定された画面の一部分の領域に相当する第一画像を、フォーカスレンズ群３の位置情報とともに取得する。ＤＦＤ処理回路３０は画像信号と位置情報を内部の所定の記録領域に一時的に記録する。

Ｓ２０２で、制御部１５は第二モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動し、フォーカスレンズ群３の位置を所定方向に所定の量を移動させる。この所定量及び所定方向は、予め焦点距離などを考慮して一律の方向と値に決めておいても良いし、フォーカスレンズ群３の位置などに応じて可変にしても良い。但し、本実施形態では、後述するように、初期移動方向識別回路３１からの初期レンズ移動方向を所定方向として用いる。

Ｓ２０３で、ＤＦＤ処理回路３０は、移動後のフォーカスレンズ群３の位置におけるＡＦ領域として指定された画面の一部分の領域に相当する第二画像を、フォーカスレンズ群３の位置情報とともに取得し、内部の所定の記録領域に一時的に記録する。Ｓ２０４で、ＤＦＤ処理回路３０は、第一画像及び第二画像が記録されたことに応じて、二像の平均画像を求め、内部の所定記録領域に一時的に記録する。

Ｓ２０５で、ＤＦＤ処理回路３０は、ＤＦＤ処理開始時のデフォーカス量を仮定して、仮定したデフォーカス量と撮影レンズ鏡筒の光学特性を示すＰＳＦ（Point Spread Function）を用いて画像の再構成を行い、仮想焦点画像を生成する。この画像は仮定したデフォーカス量が正しければ理想的には焦点が合った画像と同等になる。

Ｓ２０６で、ＤＦＤ処理回路３０は、仮想焦点画像にＰＳＦを畳み込むことで第一画像のフォーカスレンズ群３の位置における第一ボケ画像と、第二画像のフォーカスレンズ群３の位置における第二ボケ画像を生成する。

仮定したデフォーカス量をＸ、フォーカスレンズ群３の移動をＤとした場合、平均画像の仮想デフォーカス量は、合焦位置の方向によって異なるので（Ｘ＋Ｄ／２）または（Ｘ―Ｄ／２）となる。よって画像の再構成の際にはデフォーカス量（Ｘ＋Ｄ／２）のＰＳＦと、デフォーカス量（Ｘ―Ｄ／２）のＰＳＦを用いる。

そしてボケ像を生成する際には、第一ボケ画像をデフォーカス量Ｘを用いて生成する。また、第二ボケ画像を、デフォーカス量（Ｘ＋Ｄ／２）で再構成した際にはデフォーカス量（Ｘ＋Ｄ）を用いて、デフォーカス量（Ｘ―Ｄ／２）で再構成した際にはデフォーカス量（Ｘ−Ｄ）を用いて生成する。

Ｓ２０７で、ＤＦＤ処理回路３０は、記録されている第一画像と第一ボケ画像の相関値と、第二画像と第二ボケ画像の相関値を求める。この相関値は、例えばＰＳＮＲと呼ばれる指標を用いることができる。また第一画像に関する相関値と第二画像に対する相関値が求まるので、例えばその和をその仮定デフォーカス量における相関値とすることができる。仮定されたデフォーカス量はＸ１〜Ｘｎなど複数仮定されていて、それに対応したＰＳＦが用意されている。

Ｓ２０８で、ＤＦＤ処理回路３０は、その全ての仮定されたデフォーカス量について相関値が求められたかを判定し、求められていない場合にはＳ２０５へ戻り、仮定デフォーカス量を更新して処理を繰り返す。全ての仮定デフォーカス量において相関値が求められている場合には、Ｓ２０９へ進む。

Ｓ２０９で、ＤＦＤ処理回路３０は、相関値が最大となった仮定デフォーカス量を選択する。そして、選択した仮定デフォーカス量を推定デフォーカス量とする。このとき、選択した仮定デフォーカス量を直接用いる代わりに、最大値を与えた仮定デフォーカス量と二番目に大きい相関値を与えた仮定デフォーカス量から補間演算を行って推定デフォーカス量を求めても良い。なお、推定する合焦方向は、仮定デフォーカス量（Ｘ＋Ｄ／２）と（Ｘ―Ｄ／２）のどちらで相関値が最大になったのかを調べれば知ることができる。

（初期移動方向識別処理）
次に、図３及び図４を参照して、ＣＮＮで構成された初期移動方向識別回路３１にて行われる初期移動方向識別処理について説明する。図３は、入力された２次元画像信号、フォーカスレンズ群３の位置及びＡＦ領域から、初期移動方向を識別するＣＮＮの基本的な構成を示している。

初期移動方向識別処理に係る一連の動作について具体的に説明する前に、フォーカスレンズ群３の位置の検出処理について説明する。

デジタルカメラの起動時にフォーカスレンズ群３は所定位置へ駆動される。フォーカスレンズ群３をリセット位置に達したことを検出するＰＩセンサが撮影レンズ鏡筒３２に取り付けられており、リセット位置へ到達した際にフォーカスレンズ群３を駆動するためのパルス数をリセットして、値を零とする。次に制御部１５が起動時の所定位置への駆動に必要なパルス数を、第二モータ駆動回路１９を介してフォーカス駆動モータ２２へ出力し、フォーカスレンズ群３は所定位置へ駆動される。

その後、制御部１５は、第二モータ駆動回路１９を介して駆動制御に必要なパルスを与えフォーカス駆動モータ２２を駆動し、フォーカスレンズ群３を移動させる。このとき、制御部１５は、初期移動方向識別回路３１で識別された初期移動方向やスキャンＡＦ処理回路１４において算出されるＡＦ評価値信号・ＤＦＤ処理回路３０で推定される合焦位置の方向・デフォーカス量に従って、駆動制御に必要なパルスを生成する。この駆動制御に必要なパルスは方向性を持っている。このため、制御部１５は、駆動制御を行うたびにフォーカス駆動モータ２２に与えられるパルス数を積算しその値を記録しておくことで、その時点におけるフォーカスレンズ群３の位置を特定することができる。

次に、図３を参照して本実施形態に係るＣＮＮについて説明する。図３に示すＣＮＮの構造では、左端を入力とし、右方向に処理が進んでいく。本実施形態に示すＣＮＮの一例は、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層をひとつのセットとし、各セットが階層的に構成されている。

ＣＮＮでは、まずＳ層において前段階層で検出された特徴をもとに次の特徴を検出する。またＳ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に送る構成になっている。

Ｓ層は特徴検出細胞面からなり、特徴検出細胞面ごとに異なる特徴を検出する。また、Ｃ層は、特徴統合細胞面からなり、前段の特徴検出細胞面での検出結果をプーリングする。以下では、特に区別する必要がない場合、特徴検出細胞面及び特徴統合細胞面を総称して特徴面と呼ぶ。本実施形態では、最終段階層である出力層ではＣ層は用いずＳ層のみで構成している。

図４を参照して、特徴検出細胞面での特徴検出処理と、特徴統合細胞面での特徴統合処理との詳細について説明する。特徴検出細胞面は、複数の特徴検出ニューロンにより構成され、（例えば特徴検出層２の）特徴検出ニューロンは前段階層のＣ層（例えば特徴統合層１）に所定の構造で結合している。また特徴統合細胞面は、複数の特徴統合ニューロンにより構成され、特徴統合ニューロンは同階層のＳ層に所定の構造で結合している。図４中に示した、Ｌ階層目Ｓ層のＭ番目細胞面内における特徴検出ニューロンの出力値と、Ｌ階層目Ｃ層のＭ番目細胞面内における特徴統合ニューロンの出力値は、以下のように表すことができる。

式（２）のｆは活性化関数であり、ロジスティック関数や双曲正接関数などのシグモイド関数であれば他の関数であってもよく、例えばtanh関数で実現することができる。

式（１）及び式（２）中のξ,ζ,ｕ,ｖ,ｎについて説明する。位置（ξ,ζ）は入力画像における位置座標に対応しており、
が高い出力値である場合は、入力画像の画素位置（ξ,ζ）に、Ｌ階層目Ｓ層Ｍ番目細胞面において、合焦方向が近側であることを示す特徴が存在する可能性が高いことを意味する。

逆に出力値が低い場合は、合焦方向が遠側であることを示す特徴が存在する可能性が高いことを意味する。またｎは式（１）において、Ｌ−１階層目Ｃ層ｎ番目細胞面を意味しており、統合先特徴番号と呼ぶ。基本的にＬ−１階層目Ｃ層に存在する全ての細胞面についての積和演算を行う。（ｕ,ｖ）は、結合係数の相対位置座標であり、検出するサイズに応じて有限の範囲（ｕ,ｖ）において積和演算を行う。このような有限な（ｕ,ｖ）の範囲を受容野と呼ぶ。また受容野の大きさを、以下では受容野サイズと呼び、結合している範囲の横画素数×縦画素数で表す。

但しフォーカスレンズ群３の位置は、単一の画像に関しては撮像処理がなされた時点でのフォーカスレンズ群３の位置であるので、同じ値入力レンズ位置ｙ^in_posi_lensとなる。ちなみにニューロンや画素の分布は離散的であり、結合先特徴番号も離散的なので、ξ,ζ,ｕ,ｖ,ｎは連続な変数ではなく、離散的な値をとる。ここでは、ξ,ζは非負整数、ｎは自然数、ｕ,ｖは整数とし、何れも有限な範囲となる。

式（１）中の特徴検出ニューロンの結合係数
所定の特徴を検出するための結合係数分布であり、この結合係数分布を適切な値に調整することによって、所定の特徴を検出することが可能になる。すなわち、この結合係数分布の調整が学習であり、本実施形態では、取得した画像信号とレンズ位置とＡＦ領域との入力から正しい合焦位置動方向を得るための特徴を抽出することを意味する。ＣＮＮの構築においては、さまざまなテストパターン（学習データともいう）を入力して、
適切な出力値になるように、結合係数を繰り返し（徐々に）修正していくことで結合係数の調整を行う。

次に、式（２）中の特徴統合ニューロンの結合係数
２次元のガウシアン関数を用いており、以下の式（３）のように表すことができる。

ここでも、（ｕ,ｖ）は有限の範囲としてあるので、特徴検出ニューロンの説明と同様に、有限の範囲を受容野といい、範囲の大きさを受容野サイズと呼ぶ。この受容野サイズは、ここではＬ階層目Ｓ層のＭ番目特徴のサイズに応じて適当な値に設定すれば良い。式（３）中の、σは特徴サイズ因子であり、受容野サイズに応じて適当な定数に設定しておけば良い。具体的には、受容野の一番外側の値がほぼ０とみなせるような値になるように設定することができる。

本実施形態では、上述のようにＣＮＮを構成し上述の演算を各階層で行うようにすることにより、最終階層のＳ層において初期移動方向の識別結果を出力する。

（学習に関する説明）
次に、以下に示す、特徴検出ニューロンの結合係数の具体的な調整方法について説明する。結合係数
の調整、すなわち学習の方法としては、さまざまな方法が提案されており、大きく教師なしの学習と教師ありの学習に分類される。本実施形態では、例えば教師ありの学習により、結合係数の調整を行う場合を例に説明する。

教師ありの学習では、テストパターンを与えて実際にニューロンの出力値を求め、その出力値と教師信号（そのニューロンが出力すべき望ましい出力値）の関係を用いて結合係数の修正を行う。本実施形態に係る学習においては、最終層の特徴検出層の出力の最適化手法として最小二乗法を用い、中間層の特徴検出層の結合係数の修正には誤差逆伝搬法（バックプロパゲーションともいわれる）を用いる。最小二乗法や誤差逆伝搬法等の結合係数の修正手法の詳細は、「Ｓ．Ｈａｙｋｉｎ，“Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｆｏｕｎｄａｔｉｏｎ ２ｎｄ Ｅｄｉｔｉｏｎ”，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，ｐｐ．１５６−２５５，Ｊｕｌｙ １９９８」に記載される公知の手法を用いることができるため、説明を省略する。

本実施形態では、学習用のテストパターンとして、画像、レンズ位置、ＡＦ領域及び教師信号（フォーカスレンズの初期移動方向）を１セットとする。ここで、レンズ位置はその画像を撮像した際のフォーカスレンズ群３の位置である。

テストパターンに含まれる画像は、例えば図５に示すような、デジタルカメラの姿勢を考慮した際の画像上部に最遠側の被写体が存在し、画面下部になるに従い被写体距離の近い被写体が存在する、遠近の被写体が混在したものである。加えて、図６に示すような上部に被写体距離の近い被写体が存在する長い廊下や上部に屋根など被写体距離の近い被写体が存在する画像を用いることができる。更に、図７に示すような風鈴など中央に浮遊している画像や、木に咲く花など上部と下部に中央より被写体距離の遠い被写体が存在するものを用いることができる。また、画像が大きくボケた際の性能を向上させるため、ＡＦ領域や画像全体が大きくボケた画像を多く用いてもよい。

このようなテストパターンを学習して初期移動方向の推定を行うのは、初期移動方向の推定が、画像内の領域毎のボケ量や画像上の位置関係に応じて初期移動方向を推定可能にするためである。また、画像が大きくボケた画像を用いることにより、初期移動方向の判別が困難な状況においてより推定精度の向上した初期移動方向の推定を実現するためである。

そして、ＡＦ領域は画像上でＡＦを行い合焦させたい主被写体が存在する領域であり、学習させる画像を撮像した際のＡＦ領域とは異なる。領域情報としては、例えばその領域の中心座標を与えるようにすることができる。例えば図５〜図７において破線で囲った領域がＡＦ領域である。

活性化関数にｔａｎｈ関数を用いる場合、識別すべき初期移動方向が近側（すなわち被写体距離の近い側）の特定パターンを提示した場合、最終層の特徴検出細胞面の、特定パターンが存在する領域のニューロンに対し、出力が１となるように教師信号を与える。逆に、識別すべき初期移動方向が遠側（すなわち被写体距離の遠い側）の特定パターンを提示した場合、そのパターンの領域のニューロンに対し、出力が−１となるように教師信号を与えることになる。そして、式（１）に示した特徴検出ニューロンの出力値
の値は−１〜１の範囲となるようにする学習させていく。従って、特徴検出ニューロンの出力値が１に近い出力値である場合は、初期移動方向が近側である可能性が高く、特徴検出ニューロンの出力値が-１に近い出力値である場合は、初期移動方向が遠側である可能性が高いことになる。

以上により、２次元画像とフォーカスレンズ位置とＡＦ領域とからフォーカスレンズの初期移動方向を識別するためのＣＮＮを構築することができる。

デジタルカメラの動作時には、初期移動方向識別回路３１は、学習された[数１０]に示す特徴検出ニューロンの結合係数を用いて新たな入力データに対する演算を行い、最終層の特徴検出細胞面上のニューロン（図３特徴検出層ｎ）の出力値を取得する。そして、取得した出力値を用いてフォーカスレンズ群３の初期移動方向を決定する。

（焦点調整処理に係る一連の動作）
次に、図８を参照して、本実施形態における初期移動方向を識別する機能を用いた、焦点調整処理に係る一連の動作について説明する。なお、焦点調整処理に係る一連の動作は、制御部１５がＥＥＰＲＯＭ２５に格納されたプログラムを不図示のＲＡＭに展開、実行することにより、制御部１５が実行或いはデジタルカメラ１の各部を制御することによって実現される。また、本一連の動作は、デジタルカメラ１の主電源スイッチがオン状態であり、かつデジタルカメラの動作モードが撮影（録画）モードにあるときに、実行され得る。

Ｓ８０１で、制御部１５は、デジタルカメラ１の各部を制御して、画像を取得してＡＥ処理を実行させる。具体的には、撮像センサ５は、撮像センサ５上に結像した被写体像を光電変換処理して電気的な信号に変換した後、撮像回路６に出力する。撮像回路６が入力信号に対して各種の信号処理を施して所定の画像信号を生成した後、Ａ／Ｄ変換回路７が所定の画像信号をデジタル信号に変換してこれをＶＲＡＭ８に一時的に格納する。同時に、ＡＥ処理回路１３にも画像信号が出力されＡＥ評価値が算出される。制御部１５はＡＥ評価値を用いてＡＥ処理が行い、画像信号の露出が適正になる。

Ｓ８０２で、制御部１５は、ＬＣＤ１０へ画像表示を行う。制御部１５は、ＶＲＡＭ８に格納された画像信号を、Ｄ／Ａ変換回路９により表示するのに適した形態の画像信号（アナログ信号）に変換し、ＬＣＤに画像として表示させる。

Ｓ８０３で、制御部１５は、例えばＶＲＡＭ８に記録された画像を初期移動方向識別回路３１の入力画像として取得して、初期移動方向識別回路３１へ入力する。

Ｓ８０４で、制御部１５は、記録されているフォーカス駆動モータ２２を駆動するためのパルスの積算値を読み出してフォーカスレンズ群３の位置を取得し、取得した情報を初期移動方向識別回路３１へ入力する。

Ｓ８０５で、制御部１５は、ＡＦ領域を取得し、その情報を初期移動方向識別回路３１へ入力する。ＡＦ領域については、例えば、撮影者により指定されている場合はその領域をＡＦ領域として取得する。指定されていなければ、顔検出などの公知の主被写体検出技術を用いて求められた主被写体領域をＡＦ領域とすることができる。また、主被写体領域が求められなかった場合は画面中央の所定の大きさの領域をＡＦ領域とする。

Ｓ８０６で、制御部１５は、初期移動方向識別回路３１に初期移動方向識別処理を実行させ、その結果を受け取る。制御部１５は、前述のように構築された初期移動方向を識別するためのＣＮＮに、２次元画像、フォーカスレンズ位置及びＡＦ領域を指定する情報を入力する。初期移動方向識別回路３１は、学習済みの[数１０]に示す特徴検出ニューロンの結合係数を用いてニューラルネットワーク上の演算を行って、最終層の特徴検出細胞面上のニューロンから最終出力を出力する。この最終出力は特徴検出ニューロンの出力値（−１〜１の範囲の値）であり、推定されたフォーカスレンズ群３の初期移動方向に対応する。

最終出力が１に近ければ初期移動方向が近側である可能性が高く、−１に近ければ遠側である可能性が高い。このため、制御部１５は、最終出力値の絶対値が所定値以上であって、かつ最終出力値が正であれば近側を初期移動方向として決定する。一方、最終出力値の絶対値が所定値以上であって、かつ最終出力値が負であれば遠側を初期移動方向として決定する。なお、制御部１５は、最終出力値の絶対値が所定値未満である場合には、初期移動方向を判定不可とする。

Ｓ８０７で、制御部１５は、ＤＦＤ処理回路３０に前述したＤＦＤ処理を実行させ、デフォーカス量と合焦方向の推定を行う。このとき、Ｓ８０６の処理で得た初期移動方向は、フォーカスレンズ群３を移動させる所定方向として用いられる。

なお、このＳ８０３〜Ｓ８０７で行われる初期移動方向識別処理とＤＦＤ処理は演算負荷が重い為、制御部１５は、信頼性の高いデフォーカス量と合焦方向の推定が行われた後にはＳ８０３〜Ｓ８０７の処理を一時的に行わないようにしても良い。また処理回数に制限を設けて所定回数以上行わないようにしても良い。これらの場合には、制御部１５は、ＡＥ評価値に所定以上の変化が生じたり、ズームスイッチが操作されたりして環境が変化したと判定したことに応じて、再び初期移動方向識別処理とＤＦＤ処理を行うようにする。

Ｓ８０８で、制御部１５は、レリーズスイッチの状態を判定する。例えば、制御部１５は、撮影者によって操作スイッチ２４のレリーズスイッチが操作されず、ＳＷ１（レリーズスイッチの第一ストローク）がオフ状態であると判定した場合、Ｓ８０１へ戻ってＳ８０１〜８０７の処理を繰り返す。一方、制御部１５は、操作スイッチ２４のレリーズスイッチがオン状態であると判定した場合、Ｓ８０９に進む。

Ｓ８０９で、制御部１５は、ＡＦ処理を実行する。例えば、制御部１５は、ＤＦＤ処理によって得られた推定デフォーカス量と方向の基づき、第二モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動し、フォーカスレンズ群３を合焦位置に移動させる。なお、推定デフォーカス量が大きい場合には、制御部１５は、フォーカスレンズ群３の駆動中にもＤＦＤ処理を実行して推定デフォーカス量を更新し、目標位置を随時変更していく。また、推定デフォーカス量に応じてフォーカスレンズ群３の駆動の速さを可変にしている。このようにすれば、推定デフォーカス量が大きい場合には速い駆動で合焦までの時間を短縮することができる。また、更新された推定デフォーカス量が小さくなるにつれて遅い駆動に制御することで、オーバーシュートなどの弊害を除去し、停止精度を高めることができ、高精度のＡＦを実現することができる。

また、推定されたデフォーカス量の信頼性が予め定めた閾値より低い場合、制御部１５は、フォーカスレンズ群３を合焦位置へ駆動している間に、スキャンＡＦ処理回路１４において取得されるＡＦ評価値を用いて合焦位置へ制御しても構わない。また、推定されたデフォーカス量の信頼性が低い場合にはフォーカスレンズ群３の駆動の速さを遅くすることができる。すなわち推定デフォーカス量に応じてフォーカスレンズ群３の駆動の速さを可変にしておいて、同時にＡＦ評価値を取得してＡＦ評価値がピークとなる位置（すなわち合焦位置）を検出し、当該ピーク位置へフォーカスレンズ群３を制御する。

Ｓ８１０で、制御部１５は、フォーカスレンズ群の合焦位置が得られていれば、上述のＳ２０５の処理を行ってＡＦＯＫ表示を行う。例えば、制御部１５は、表示素子２９を点灯させると同時にＬＣＤ上に緑の枠を表示するなどによりＡＦＮＧ表示を行う。一方、制御部１５は、Ｓ８０９において合焦位置が得られなかった場合、ＡＦＮＧ表示を行う。制御部１５は、表示素子２９を点滅表示させると同時にＬＣＤ上に黄色の枠を表示するなどによりＡＦＮＧ表示を行う。

Ｓ８１１で、制御部１５は、ＳＷ２（レリーズスイッチの第二ストローク）がオンであるかを判定し、ＳＷ２がオンであると判定した場合にはＳ８１２に進み、そうでない場合にはＳ８１１に戻ってＳＷ２がオンになるのを待つ。但しその間にＳＷ１がオフになった場合にはＳ８０１へ戻ってもよい。Ｓ８１２で、制御部１５は、実際の露光処理を実行して、その後、本一連の動作を終了する。

（ＤＦＤ処理の結果を用いた再学習）
本実施形態では、Ｓ８０７でＤＦＤ処理を行った結果として得られた合焦方向と、Ｓ８０６で初期移動方向識別処理によって得られた初期移動方向が異なる場合は、ＤＦＤ処理結果を用いた結合係数の再調整（再学習）を行う。すなわち、初期移動方向識別処理によって正しい方向（ＤＦＤ処理により得られる合焦方向と一致する方向）が出力されなかった場合、結合係数である特徴検出ニューロンの結合係数を再学習によって変更し、より精度良く初期移動方向を出力できるようにする。以下、再学習の方法について説明する。

学習用のテストパターンは、例えば、ＤＦＤ処理を行った際の２つの画像、画像に対応するフォーカスレンズ群３の位置、及びＤＦＤ処理を行った際のＡＦ領域のデータと、ＤＦＤ処理の結果として得られるべき合焦位置方向（教師信号）とを１セットとする。そして、テストパターンを１セットずつ順次ニューラルネットワーク（ＣＮＮ）に入力しながら、ニューラルネットワークの結合係数を修正してゆく。結合係数の修正は、上述の公知の方法を用いて行うことができる。

同様に、Ｓ８０９で行われるＡＦ処理の結果として得られた合焦位置への方向と、Ｓ８０６で初期移動方向識別処理によって得られた初期移動方向が異なる場合は、ＡＦ処理の結果として得られた合焦位置への方向を用いて結合係数の再調整（再学習）を行う。

このようにすることで、再学習後には、ＤＦＤ処理を行う際に合焦方向にフォーカスレンズ群３が移動する可能性が高まり、ＬＣＤ１０に表示される画像の品位が向上する。更に、ＤＦＤ処理に用いる画像に含まれる信号成分が増えるためＤＦＤ処理の結果得られるデフォーカス量と合焦方向の推定結果の信頼性が向上する。

更に、ＡＦ補助光の拡散領域を検出できない環境においても、被写体に合焦するフォーカスレンズ位置の方向を知ることができるため、処理実行時点から合焦位置方向へフォーカスレンズを駆動してより高速な合焦位置の探索動作を行うことができる。

以上説明したように本実施形態では、ＤＦＤ処理回路３０がフォーカスレンズ群３の異なる位置で撮影された画像に基づいて、画像の所定領域が合焦した状態となる合焦位置にフォーカスレンズを移動させるための、移動方向とデフォーカス量とを求める。そして、制御部１５がＤＦＤ処理回路３０からのフォーカスレンズ群３の移動方向とデフォーカス量とに基づいてフォーカスレンズ群３の移動を制御するようにした。このとき、ＤＦＤ処理回路３０は、フォーカスレンズ群３の現在の位置で撮影された第一画像と、フォーカスレンズ群３の位置を現在の位置から所定方向（初期移動方向）へ移動させて撮影された第二画像とに基づいて、移動方向とデフォーカス量を求める。ここで、初期移動方向識別回路３１は、現在の位置から合焦位置へ向かう方向となるように上記所定方向を推定する。画像とレンズ位置とＡＦ領域とを入力として初期移動方向を出力する深層学習機構を用いることにより、画像信号とレンズ位置の変化との関係に応じて初期移動方向を推定可能になる。すなわち、フォーカスレンズの合焦位置への駆動を効率化することができ、焦点検出処理の高速化とＡＦ画像の品位向上を実現することができる。

また、被写体の遠近関係と合焦方向とを推定することで、推定デフォーカス量と移動方向を求める際の推定結果の信頼性を向上させ、焦点検出処理においてフォーカスレンズ群３を処理実行時点からより信頼性高く合焦位置へ移動させることができるようになる。更に、ＡＦ処理の結果として得られた合焦位置への方向と深層学習機構によって出力される初期移動方向とが異なる場合には深層学習機構の結合係数の再学習を行うようにした。すなわち、新たな学習を行うことによってニューラルネットワークで抽出した特徴を更新させることで、より高精度に初期移動方向を出力できるようにした。結果としてデフォーカス量と合焦方向の推定結果の信頼性を向上させることができる。

（実施形態２）
次に、実施形態２について説明する。上述の実施形態１では、初期移動方向識別処理において、入力画像とレンズ位置とＡＦ領域とを入力とする場合を例に説明した。実施形態２では、初期移動方向識別処理において、ボケ量を評価する指数とレンズ位置とＡＦ領域とを入力として用いる場合を例に説明する。ボケ量を評価する指数は、画像を複数に分割した各領域での像のボケ量を評価する指数である。本実施形態のデジタルカメラ１は、実施形態１と初期移動方向識別回路３１の内部構造が異なるが、その他の構成は実施形態１と実質的に同一である。このため、実質的に同一である構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図９を参照して、実施形態２に係る初期移動方向識別処理とその前処理について説明する。なお、本処理は、実施形態１におけるＳ８０５及びＳ８０６の処理として実行される処理である。制御部１５がＥＥＰＲＯＭ２５に記憶されたプログラムを不図示のＲＡＭの作業用領域に展開、実行すると共に、初期移動方向識別回路３１等の各部を制御することにより実現される。

Ｓ９０１において、制御部１５は、例えば上述のＳ８０３などにおいて取得した画像に対し、顔検出などの公知の主被写体検出技術を用いて主被写体の領域を求める。制御部１５は、主被写体が検出されなかった場合には、例えば画面中央の所定の大きさの領域を主被写体領域として求める。Ｓ９０２において、制御部１５は、主被写体領域を初期移動方向識別処理におけるＡＦ領域として選択する。

Ｓ９０３において、制御部１５は、取得した画像を複数の領域に分割する。制御部１５は、主被写体領域と同じ大きさの領域を主被写体領域に隣接させるようにして、例えば図１０に示すように分割領域を配置していく。分割領域は、画像内で各分割領域が隣接するように配置されており、分割領域が画面からはみ出さない範囲で配置される。図１０（Ａ）は、主被写体が検出され、主被写体領域が求められた場合の例を示している。図１０（Ｂ）は、主被写体領域が求められなかったため、所定の大きさの領域を用いて、画面の中央を主被写体領域とした場合の例を示している。なお、図１０に示す各図において破線で囲った領域は主被写体領域を表す。

なお、Ｓ９０３の処理では、制御部１５は、デジタルカメラ１の姿勢を考慮した垂直方向には、複数個の領域を必ず設定するようにする。その場合に画面からはみ出す領域は垂直方向の範囲については縮小し、分割領域が画面からはみ出さいようにする。図１０（Ｃ）にその一例を示している。主被写体領域よりも上にある行の分割領域では、垂直方向の範囲が縮小されている。

Ｓ９０４において、制御部１５は、分割領域ごとのぼかし処理を実施し、ボケ量を評価する指数（ボケ量評価指数）を算出する。このボケ量評価指数は各領域がどの程度のボケ量かを表すものである。図１１を参照して、ボケ量評価指数を算出する手順について説明する。なお、この処理は、制御部１５がＥＥＰＲＯＭ２５に記憶されたプログラムを不図示のＲＡＭの作業用領域に展開、実行すると共に、スキャンＡＦ処理回路１４等の各部を制御することにより実現される。

Ｓ１１０１において、制御部１５は、画像取得を行ったうえで（ぼかし処理前の）ＡＦ評価値を求める。具体的には、制御部１５は、スキャンＡＦ処理回路１４を制御して、入力されたＡＦ枠内のデジタル画像信号を取得する。そして、制御部１５は、スキャンＡＦ処理回路１４を制御して、複数（例えば４つ）の異なる周波数特性のバンドパスフィルター（ＢＰＦ）を適用し、複数のＡＦ評価値信号TesBef[n]を算出する。その後、算出された評価値TesBef[n]は記憶用メモリ１２等の所定の領域に記録される。

Ｓ１１０２では、制御部１５は、スキャンＡＦ処理回路１４を制御して、画像の解像度を低下させるぼかし処理を行う。これは、入力されたＡＦ枠内のデジタル画像信号をスキャンＡＦ処理回路１４に入力し、スキャンＡＦ処理回路１４内の低周波帯域の周波数を抽出するバンドパスフィルター（ＢＰＦ）を介することで、入力されたデジタル画像信号の解像度を低下させる。

Ｓ１１０３において、制御部１５は、スキャンＡＦ処理回路１４を制御して、ぼかし処理を行った画像から複数のＡＦ評価値信号TesAft[n]を算出する。算出されたぼかし処理後のＡＦ評価値信号は、記憶用メモリ１２等の所定の領域に記録される。

Ｓ１１０４において、制御部１５は、ぼかし処理前のＡＦ評価値信号とぼかし処理後のＡＦ評価値信号とを比較して、評価値の変化量からボケ量を評価する指数（ボケ量評価指数）を算出する。以下、ボケ量評価指数の算出処理について、より具体的に説明する。

まず、複数のＡＦ評価値それぞれの変化率を求める。この例では、ぼかし処理前後でそれぞれ４つのＡＦ評価値、TesBef[0]、TesBef[1]、TesBef[2]、TesBef[3]、TesAft[0]、TesAft[1]、TesAft[2]、TesAft[3]が求められている。それぞれのＡＦ評価値のＢＰＦにおけるＡＦ評価値の変化率TesVari[0]、TesVari[1]、TesVari[2]、TesVari[3]を、以下のように算出する。

(i) TesVari[0] ＝（TesAft[0] ― TesBef[0]）÷ （TesAft[0] ＋ TesBef[0]）
(ii) TesVari[1] ＝（TesAft[1] ― TesBef[1]）÷ （TesAft[1] ＋ TesBef[1]）
(iii) TesVari[2] ＝（TesAft[2] ― TesBef[2]）÷ （TesAft[2] ＋ TesBef[2]）
(iv) TesVari[3] ＝（TesAft[3] ― TesBef[3]）÷ （TesAft[3] ＋ TesBef[3]）

制御部１５は、更に、変化率の絶対値の和（Σabs（TesVari[i]））を取って、求めた変化率の絶対値の和を、領域ごとのボケ量評価指数（ボケ量を評価する指数）とする。なお、上記のようにボケ量評価指数の算出を行うことにより、図１０（Ｃ）に示した（垂直方向の範囲を縮小した）分割領域を用いる場合であっても、差÷和と比を取っているので、領域の縦方向の範囲の差はキャンセルされる。また、各分割領域の水平方向の範囲は同じ大きさであるため、こちらも算出結果に影響を与えない。

Ｓ９０５において、制御部１５は、初期移動方向識別回路３１を制御して、初期移動方向識別処理を行う。より具体的には、初期移動方向識別回路３１は、Ｓ９０４までの前処理で求められた各領域のボケ量評価指数とフォーカスレンズ群３の位置とＡＦ領域とを入力として、初期移動方向を推定する。すなわち、初期移動方向識別回路３１は、画像の特定の領域のボケ量を示す情報とフォーカスレンズの位置の変化との関係に基づいて初期移動方向を推定するための特徴を抽出し、抽出された特徴に基づいてＤＦＤ処理における初期移動方向を推定する。

なお、初期移動方向識別回路３１によって実行される本実施形態に係る初期移動方向識別処理は、ＣＮＮに、実施形態１のように入力画像を入力する代わりに、ボケ量評価指数を入力とする点のみが異なるが、それ以外は実施形態１と同様に行われる。

図１２は、入力されたボケ量評価指数とフォーカスレンズ群３の位置とＡＦ領域から、初期移動方向を識別するＣＮＮの基本的な構成を模式的に示している。実施形態１と同様に、ＣＮＮにおける処理は、左端を入力とし、右方向に進んでいく。実施形態１において上述したように、図３及び図１２に示すＣＮＮは、特徴検出層（Ｓ層）と特徴統合層（Ｃ層）と呼ばれる２つの層をひとつのセットとし、それが階層的に構成されている。すなわち、ＣＮＮでは、まずＳ層において前段階層で検出された特徴をもとに次の特徴を検出する。またＳ層において検出した特徴をＣ層で統合し、その階層における検出結果として次の階層に送る構成になっている。上記ＣＮＮは、最終段階層である出力層ではＣ層は用いずＳ層のみで構成している。なお、このように構成されるＣＮＮに対する学習用のテストパターンは、分割された各領域での像のボケ量と、フォーカスレンズ位置と、ＡＦ領域と、教師信号とを１セットとするデータで構成される。

このようにして、分割された各領域での像のボケ量と、フォーカスレンズ位置と、ＡＦ領域とからフォーカスレンズの初期移動方向を識別するためのＣＮＮが構築することができる。そして、デジタルカメラの動作時には、学習により構築した結合係数を用いて、入力値（分割された各領域での像のボケ量と、フォーカスレンズ位置と、ＡＦ領域）に対する演算を行う。その結果として、最終層における特徴検出細胞面上のニューロン（図１２特徴検出層ｎ）の出力を取得し、その値を用いてフォーカスレンズ群３の初期移動方向を決定する。制御部１５は、初期移動方向を決定すると、その後、本処理を終了する。

そして、本実施形態に係る初期移動方向識別処理を用いたデジタルカメラ１の動作は、実施形態１と同様、図８において上述した一連の動作に従って実行される。

以上説明したように、本実施形態では、初期移動方向識別処理において、ボケ量を評価する指数とレンズ位置とＡＦ領域とを入力として用いるようにした。ここで、ボケ量を評価する指数は、画像を複数に分割した各領域での像のボケ量を評価する指数である。このように初期移動方向識別処理の入力の一部を、入力画像の代わりにボケ量評価指数を用いるようにしても、推定デフォーカス量と移動方向を求める際の推定結果の信頼性を向上させることができる。このようにしても、焦点検出処理においてフォーカスレンズ群３を処理実行時点からより信頼性高く合焦位置へ移動させることができるようになり、焦点検出処理の高速化とＡＦ画像の品位向上を実現することができる。

なお、上述した実施形態１の例では、識別された初期移動方向は、Ｓ８０７におけるＤＦＤ処理において、第二の画像信号を取得するためのフォーカスレンズ群３の移動方向を決定するために使用された。しかし、ＤＦＤ処理を行わずに、スキャンＡＦ処理を行う際のフォーカスレンズ群３の初期移動方向に使用しても構わない。すなわち、制御部１５は、Ｓ８０７のＤＦＤ処理を行わずに、Ｓ８０８に進んでＳＷ１がオン状態になったと判定した場合、フォーカスレンズ群３を識別した初期移動方向へ所定の速さで移動させる。そして、フォーカスレンズ群３の位置を移動させながらスキャンＡＦ処理回路１４からＡＦ評価値信号を受け取る。このＡＦ評価値信号がピークとなるフォーカスレンズ群３の位置を探索し、その位置を合焦位置とする。このスキャンＡＦ処理は、図１３に概要を示すように、スキャンＡＦの技術に初期移動方向を適用した処理であってよい。

（初期移動方向を用いたスキャンＡＦ処理の概要）
Ｓ１３０１において、制御部１５は、スキャンＡＦ処理回路１４を制御して、現在のフォーカスレンズ群３の位置におけるＡＦ評価値を取得し、レンズ位置とともに記録する。Ｓ１３０２において、制御部１５は、フォーカスレンズ群３を、識別された初期移動方向に所定の速さで移動させる。Ｓ１３０３において、制御部１５は、スキャンＡＦ処理回路１４を制御して、所定タイミング（例えばセンサ読み出しの同期信号のタイミング）でＡＦ評価値を取得する。制御部１５は、取得したＡＦ評価値を、そのフォーカスレンズ群３の位置とともに、例えば記憶用メモリ１２等に記録する。

Ｓ１３０４において、制御部１５は、ＡＦ評価値が所定回数にわたって連続して減少してないかを判定する。制御部１５は、ＡＦ評価値が所定回数にわたって連続して減少していなければＳ１３０５に進む。更に、Ｓ１３０５において、ＡＦ評価値のピークが検出されたか、またはレンズ端に到達したかを判定し、そうである場合は、Ｓ１３０６に進んでフォーカスレンズ群３を停止し、それ以外の場合にはＳ１３０８へ進む。なお、Ｓ１３０５において、ＡＦ評価値のピーク位置が検出された場合には、Ｓ１３０６においてレンズ位置を停止する際にそのピーク位置を合焦位置とする。一方、ピーク位置が検出されない場合はＡＦ失敗と判断する。

なお、ＡＦ評価値のピークが検出された否かは、例えば、以下のようにして判定する。ピーク位置となるレンズ位置で取得したＡＦ評価値をＴｅｓ０、所定量遠側と近側のレンズ位置において取得したＡＦ評価値をＴｅＦａｒ、ＴｅｓＮｅａｒとすると、その差分
Ｔｅｓ０−ＴｅＦａｒ
Ｔｅｓ０−ＴｅｓＮｅａｒ
がともに所定値以上である場合にＡＦ評価値のピークが検出されたと判定する。

一方、Ｓ１３０４において、制御部１５は、ＡＦ評価値が所定回数にわたって連続して減少していると判定した場合、Ｓ１３０７においてフォーカスレンズ群３の移動方向を反転させる。更に、Ｓ１３０８において、制御部１５は、レンズ位置の移動を継続して、処理を再びＳ１３０３に戻す。ステップ１３０５において、制御部１５は、ＡＦ評価値のピークが検出されておらず、かつレンズ端に到達していないと判定された場合は、Ｓ１３０８でレンズ移動を継続する。制御部１５は、Ｓ１３０６においてレンズを停止させるとその後本処理を終了する。

なお、上述のスキャンＡＦ処理では、本処理に係る動作の一部を制御部１５が制御する場合を例に説明したが、スキャンＡＦ処理回路１４のみで実行してもよい。

（実施形態３）
上述の実施形態では、デジタルカメラ１に初期移動方向識別回路３１を設け、当該回路によって推定される初期位置方向に基づいてＤＦＤ処理を行う場合を例に説明した。実施形態３に係るデジタルカメラ１４００は、図１４に示すように、初期移動方向識別回路３１を有しない構成となっている。本実施形態のデジタルカメラ１４００は、実施形態１及び２に係るデジタルカメラ１と初期移動方向識別回路３１の有無が異なるが、その他の構成は実施形態１と実質的に同一である。このため、実質的に同一である構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（実施形態３に係る焦点調整処理）
図１５を参照して、本実施形態における焦点調整処理に係る一連の動作について説明する。なお、焦点調整処理に係る一連の動作は、制御部１５がＥＥＰＲＯＭ２５に格納されたプログラムを不図示のＲＡＭに展開、実行することにより、制御部１５が実行或いはデジタルカメラ１４００の各部を制御することによって実現される。また、本一連の動作は、デジタルカメラ１４００の主電源スイッチがオン状態であり、かつデジタルカメラの動作モードが撮影（録画）モードにあるときに、実行され得る。

制御部１５は、上述のＳ８０１とＳ８０２と同様にＳ１５０１とＳ１５０２を実行する。すなわち、Ｓ１５０１で、制御部１５は、デジタルカメラ１４００の各部を制御して、画像を取得してＡＥ処理を実行させる。撮像センサ５で得た被写体像の信号に対して撮像回路６やＡ／Ｄ変換回路７が処理を行って画像信号をＶＲＡＭ８に一時的に格納する。同時に、ＡＥ処理回路１３が画像信号に基づいてＡＥ評価値を算出し、制御部１５は当該ＡＥ評価値を用いてＡＥ処理が行って、画像信号の露出を適正にする。また、Ｓ１５０２で、制御部１５は、ＬＣＤ１０へ画像表示を行う。

Ｓ１５０３で、制御部１５は、ＡＦ領域のボケ量評価指数を算出するための画像を取得する。この画像は適正露光において取得された画像であれば良いので、Ｓ１５０２におけるＬＣＤ表示で使用した画像でも構わない。Ｓ１５０４で、制御部１５は、記録されているフォーカス駆動モータ２２を駆動するためのパルスの積算値を読み出してフォーカスレンズ群３の位置を取得する。

Ｓ１５０５で、制御部１５は、ＡＦ領域を取得する。ＡＦ領域については、例えば、撮影者により指定されている場合はその領域をＡＦ領域として取得する。指定されていなければ、顔検出などの公知の主被写体検出技術を用いて求められた主被写体領域をＡＦ領域とすることができる。また、主被写体領域が求められなかった場合は画面中央の所定の大きさの領域をＡＦ領域とする。

Ｓ１５０６で、制御部１５は、ＡＦ領域においてぼかし処理を実施して、ボケ量評価指数を算出する。ボケ量評価指数の算出は、実施形態２で図１１を参照して説明した方法と同様であるので詳細は省略する。

Ｓ１５０７で、制御部１５は、Ｓ１５０６で求めたＡＦ領域のボケ量評価指数等を用いて、後のＤＦＤ処理を行うための設定（ＤＦＤパラメータ設定）を行う。具体的なＤＦＤパラメータ設定の処理については、後述するが、ＤＦＤ処理における第二画像を得るためのフォーカスレンズ群３の移動方向と、その移動量と、画像再構成とボケ画像生成を行う際のＰＳＦの持ち方との３つが設定される。

Ｓ１５０８では、制御部１５は、ＤＦＤ処理回路３０を制御することにより、Ｓ１５０７で設定されるＤＦＤパラメータを用いてＤＦＤ処理を行い、デフォーカス量と合焦方向を推定する。なお、Ｓ１５０８で行われるＤＦＤ処理は演算負荷が重い為、制御部１５は、信頼性の高いデフォーカス量と合焦方向の推定が行われた後にはＤＦＤ処理を一時的に行わないようにしても良い。また処理回数に制限を設けて所定回数以上行わないようにしても良い。これらの場合には、制御部１５は、ＡＥ評価値に所定以上の変化が生じたり、ズームスイッチが操作されたりして環境が変化したと判定したことに応じて、再びＤＦＤ処理を行うようにする。

その後、制御部１５は、Ｓ１５０９〜１５１３の処理を上述のＳ８０８〜Ｓ８１２と同様に実行する。すなわち、Ｓ１５０９で、制御部１５はレリーズスイッチの状態を判定し、ＳＷ１がオフ状態であると判定した場合、Ｓ１５０１へ戻ってＳ１５０１〜１５０８の処理を繰り返す。一方、制御部１５は、操作スイッチ２４のレリーズスイッチがオン状態であると判定した場合、Ｓ１５１０に進む。Ｓ１５１０で、制御部１５は、ＡＦ処理を実行する。すなわち、制御部１５は、ＤＦＤ処理によって得られた推定デフォーカス量と方向の基づき、第二モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動し、フォーカスレンズ群３を合焦位置に移動させる。このとき、制御部１５は、Ｓ８０９で上述した、例えばフォーカスレンズ群３の駆動中にも推定デフォーカス量を更新する等の処理を行ってよい。Ｓ１５１１では、制御部１５は、フォーカスレンズ群の合焦位置が得られていれば、上述のＳ２０５の処理を行ってＡＦＯＫ表示或いはＡＦＮＧ表示を行う。Ｓ１５１２で、制御部１５は、ＳＷ２がオンであるかを判定し、ＳＷ２がオンであると判定した場合にはＳ１５１３に進んで実際の露光処理を実行する。そうでない場合にはＳ１５１２に戻ってＳＷ２がオンになるのを待つ。制御部１５は、Ｓ１５１３の処理の実行後、本一連の動作を終了する。

（ＤＦＤパラメータ設定）
次に、Ｓ１５０７における、ＤＦＤ処理のパラメータ設定の処理について、図１６及び図１７を参照して説明する。ＤＦＤパラメータ設定の処理では、ＤＦＤ処理において第二画像を取得するためのフォーカスレンズ群３の移動方向を設定する。

Ｓ１６０１では、制御部１５は、デジタルカメラ１４００の撮影モードが動画撮影モードに設定されているかを判定し、動画撮影モードに設定されていると判定した場合Ｓ１６１０へ進み、そうでない場合にはＳ１６０２へ進む。

Ｓ１６０２では、制御部１５は、デジタルカメラ１４００の動画撮影モードが更に高解像度動画フォト撮影モードであるかを判定する。高解像度動画フォト撮影モードは、８ｋフォトや４Ｋフォトなどの所定の高解像度の動画で記録された映像の一部を静止画として活用する撮影モードである。制御部１５は、高解像度動画フォト撮影モードが設定されていればＳ１６１０へ進み、設定されていなければＳ１６０３へ進む。

Ｓ１６０３では、制御部１５は、デジタルカメラ１４００の動画撮影モードがプリキャプチャーモードであるかを判定する。プリキャプチャーモードは、ＡＦ処理や露光処理を指示する操作（ＳＷ１、ＳＷ２操作）がされる前の画像も記録するモードである。制御部１５は、プリキャプチャーモードが設定されていればＳ１６１０へ進み、設定されていなければＳ１６０４へ進む。

Ｓ１６０４では、制御部１５は、デジタルカメラ１４００の撮影モードがマクロ撮影モードに設定されているかを判定する。制御部１５は、撮影モードがマクロ撮影モードに設定されていればＳ１６１０へ進み、設定されていなければＳ１６０５へ進む。

Ｓ１６１０では、フォーカスレンズ群３を現在の位置から無限遠側に移動させた場合と至近側に移動させた場合の像倍率の変化の差を、撮影光学系の変倍動作（ズーム動作）で設定された焦点距離などの光学特性から取得する。そして、Ｓ１６１１では、制御部１５は、取得した像倍率の変化の方向依存度（方向変化）が大きいかを判定する。制御部１５は、例えば、像倍率の変化の差が予め定めた閾値より大きい場合には、方向依存性が大きい（方向変化が大きい）と判定する。制御部１５は、方向依存性が大きい（方向変化が大きい）と判定した場合にはＳ１６１２へ進み、そうでない場合にはＳ１６０５に進む。

Ｓ１６０５では、制御部１５は、Ｓ１５０６で求めたＡＦ領域のボケ量評価指数を取得する。Ｓ１６０６で、制御部１５は、ボケ量評価指数が予め設定された閾値未満であるかを判定する。制御部１５は、ボケ量評価指数が予め設定された閾値未満である（すなわち合焦位置かそのすぐ近くにフォーカスレンズ群３が位置すると判断できる）場合、Ｓ１６１２へ進み、そうでない場合には、Ｓ１６０７に進む。なお、予め設定された閾値は、例えば、開放Ｆ値に応じて設定され、開放Ｆ値が小さいほど（明るいほど）大きくなる値であって、かつ上限下限を設けるようにする。

なお、上記のように、ボケ量評価指数は、ぼかし処理前後でのＡＦ評価値の差を和で割ったものであるので、合焦位置に近ければ、ぼかし処理後の値はぼかし処理前の値に比べて十分小さくなる。すなわち、差と和の値はぼかし処理前の値に近くなるのでの、その比の値は−１に近づく。逆に大きくボケている場合、処理前後でのＡＦ評価値の値はほとんど変化しない。よって分母の差分の値が０に近づくため、差を和で割った指数の値は０に近づく。従って、例えば指数が−０．９未満なら合焦位置かそのすぐ近くにフォーカスレンズ群３が位置すると判断することができる。

上記Ｓ１６１２では、フォーカスレンズ群３の位置を現在の位置から無限遠側に移動させた場合の像倍率の変化と、無限遠側とは逆の方向（至近側）に移動させた場合の像倍率の変化とを比較して、像倍率の変化の少ない方向を初期移動方向として推定した。このようにすることで、動画記録において連続して撮影された画像の像倍率の差によって、画面が振動するような動きが生じる映像品位の低下を抑制することができる。また、像倍率の差によって主被写体の位置が大きく変化すると構図が変化して撮影者の意図に反してしまう恐れのある撮影モード（高解像度動画フォト撮影・プリキャプチャー撮影・マクロ撮影等）において、撮影者の意図に反する恐れを低減することができる。

なお、撮影光学系が交換レンズである場合にも、制御部１５は、焦点距離とフォーカスレンズの位置、その位置での像倍率変化の情報を、交換レンズとの通信により受け取って同様の処理を行うことができる。制御部１５は、Ｓ１６１２の処理の後に、ＤＦＤパラメータ設定の処理を終了する。

Ｓ１６０７では、制御部１５は、フォーカスレンズ群３の位置とＡＦ領域のＡＦ評価値とコントラスト値とを取得する。そして、Ｓ１６０８では、制御部１５は、合焦位置のある方向を予測し、その方向を第二画像を得るためのフォーカスレンズ群３の移動方向に設定する。ここで、合焦位置方向の予測は、図１７に示す表に従って行う。

具体的には、無限遠から至近までのフォーカスレンズ位置を複数の範囲（図１７の例では５つ）に分割しておいて、制御部１５は、現在のフォーカスレンズ位置がどの範囲に入るかを調べる。そして、例えば、図１７に示す値に従ったボケ量評価指数の程度で分類を行う。ボケ量評価指数は、上述のように、合焦位置に近ければその値は−１に近づき、逆に大きくボケていればその値は０に近づくので、例えばボケ量評価指数の分類は図１７に示すようになる。

すなわち、フォーカスレンズ群３の位置が「近」や「至近」の範囲にあって、ボケ量評価指数が大きい場合は、（図１７右下に示すように）合焦位置は無限遠の方向にあると予測できる。逆にボケ量評価指数が小さい場合には、（図１７左下に示すように）近（或いは至近）の範囲に合焦位置があると予測できる。

またフォーカスレンズ群３が「無限遠」や「遠」の範囲置にあって、ボケ量評価指数が大きい場合には、合焦位置は近（或いは至近）の方向にあると予測できる。逆にボケ量評価指数が小さい場合は無限遠（または遠）の方向に合焦位置があると予測できる。

そして、フォーカスレンズ群３の位置が中の範囲にある時は、ボケ量評価指数が大きい場合は合焦位置の方向を予測することができない。そこで一般的には風景や人物など被写体は比較的遠側に存在する確率が高いので、合焦位置は無限遠の方向にあると予測する。またボケ量が小さい場合は中の範囲に合焦位置があると予測できるが、この場合もどちらにフォーカスレンズ群３を移動すべきか判断することができない。そこで移動方向は無限遠の方向とする。このように、制御部１５は、フォーカスレンズ位置とボケ量評価指数とに基づいて合焦位置方向を予測する。

次いで、制御部１５は、ＤＦＤ処理における第二画像を得るためのフォーカスレンズ群３の移動量を設定する。まず、合焦近傍にフォーカスレンズ群３が位置する場合を想定した移動量の最小値をＫｍｉｎとし、大ボケの場合を想定した移動量の最大値をＫｍａｘとする。この２つの移動量と、Ｓ１５０６で求めたＡＦ領域のボケ量評価指数Ｖａｌを用いて、移動量Ｋを以下の式に従って求める。
Ｋ = （Ｋｍｉｎ - Ｋｍａｘ）・Ａｂｓ（Ｖａｌ）+Ｋｍａｘ
但しＡｂｓ（）は（）の絶対値を求めることを表す。

なお、ＫｍａｘとＫｍｉｎの値について、静止画撮影モードである場合の値を、動画撮影モードである場合の値よりも大きくすることができる。例えば、静止画撮影モードの場合には、Ｋｍａｘを開放深度の３０倍程度、Ｋｍｉｎを開放深度の３倍程度とし、動画撮影モードの場合には、Ｋｍａｘを開放深度の１５倍程度、Ｋｍｉｎを開放深度の１倍程度とすることができる。

そして最後に、画像再構成とボケ画像生成を行う際のＰＳＦの持ち方についての設定を行う。例えば、ＰＳＦを持つ個数を固定（Ｎ個）とし、その間隔をボケ量評価指数に基づいて変更する。間隔はＰＳＦを規定する際のデフォーカス量であり、デフォーカス量＝０からデフォーカス量＝ｄｅｆＮの間で設定される。よって間隔ｄｅｆＩとｄｅｆＮの関係はｄｅｆＮ÷（Ｎ−１）となる。

静止画撮影モードの場合、ＰＳＦを持つ間隔ｄｅｆＩを、Ｓ１５０６で求めたＡＦ領域のボケ量評価指数Valを用いて、以下のように求めることができる。

ｄｅｆＩ＝（ｄｅｆＩｍｉｎ−ｄｅｆＩｍａｘ）・Ａｂｓ（Ｖａｌ）＋ｄｅｆＩｍａｘ
但しＡｂｓ（）は（）の絶対値を求めることを表す。

ここで、ｄｅｆＩｍａｘは合焦近傍にフォーカスレンズ群３が位置するときに、合焦位置を十分な精度で求めることができる値であり、例えば、開放深度の２程度の値とすることができる。

更に、ｄｅｆＩｍｉｎは大ボケ時を想定した際に方向判別が可能となる値であり、その焦点距離におけるフォーカスレンズ群３の全移動範囲の半分程度の値とすることができる。但し、移動範囲が広すぎると方向検出が困難になることが予想されるので、その値には上限を設ける。上限値としては、例えば焦点距離が１００ｍｍ、最至近距離が１ｍである場合のフォーカスレンズ群３の全移動範囲の半分程度の値とすることができる。

これにより、フォーカスレンズ群３の位置が合焦位置に近い場合には、ＡＦ処理を開始させる指示（ＳＷ１）前のＤＦＤ処理で正確に合焦位置を推測することができ、ＡＦ処理開始直後に合焦位置へフォーカスレンズ群３を制御することができる。また、フォーカスレンズ群３の位置が合焦位置から離れている場合は、合焦位置の方向を正確に推測することができるため、合焦位置と逆方向へ移動させることなくフォーカスレンズ群３を制御することができる。

このため、ＡＦ処理の高速化と表示画像の品位向上を両立せることが可能となる。また動画撮影モードの場合には、静止画撮影モードの設定に対して、焦点距離によって異なる定数を掛けて、広い範囲で合焦位置の方向とデフォーカス量を探索するようにする。これにより大きくぼけた状態でも合焦位置の方向の推定精度を更に向上させ、記録される映像の品位を向上させることができる。

なお、上記の諸定数をＥＥＰＲＯＭ２５の所定の領域に記録しておく場合、例えば焦点距離に依存する値を用いる際などに該当する焦点距離が記録されていない場合は、記録されている前後の値から補間計算によって記録されていない値を求めてもよい。

また、本実施形態では、Ｓ１５０７のＤＦＤパラメータ設定における第二画像を得るためのフォーカスレンズ群３の移動方向の設定において、深層学習のアルゴリズムを用いてもよい。この場合の学習用のテストパターン（学習データ）は、例えば、｛静止画撮影モードか動画撮影モードか、マクロ撮影モードか、像倍率変化、ボケ量評価指数、ＡＦ評価値、コントラスト値とこれらに対応するフォーカスレンズ群３の位置｝を入力とする。また、各入力に対する教師信号としての移動方向をセットで持たせるようにすることができる。このようなテストパターンを与えて、公知の深層学習の手法を用いてのニューラルネットワークの結合係数を決定しておく。そしてＳ１５０７の処理において、学習の際に与えたパラメータから移動方向を設定していく。

このように本実施形態では、動画撮影モードの場合に、ＤＦＤ処理を行う際のパラメータ設定を、ボケ量評価指数や像倍率変化に基づいて行うようにした。これより、ＤＦＤ処理を行う際やその後のＡＦ処理において、記録画像や表示される画像のフォーカスレンズ位置の変動による影響を抑えることが可能となる。

（実施形態４）
更に、実施形態４について説明する。なお、本実施形態は、ＡＦ処理の指示操作（ＳＷ１操作）がなされる前のＤＦＤ処理の結果、合焦位置の方向とデフォーカス量の推定とのいずれかもしくは両方が失敗した場合に、スキャンＡＦ処理を行う点が実施形態３と異なる。本実施形態のデジタルカメラ１４００は、実施形態３に係るデジタルカメラ１４００と実質的に同一である。このため、実質的に同一である構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

本実施形態に係るスキャンＡＦ処理について、図１８を参照して説明する。なお、図１８に示すスキャンＡＦ処理は、図１５に示したＳ１５０１〜Ｓ１５０８を実行した後に、Ｓ１５０９においてＳＷ１がオン状態になり、Ｓ１５１０が実行される際に開始される。本実施形態のスキャンＡＦ処理は、フォーカスレンズ群３を、Ｓ１５０７で設定された移動方向へＡＦ評価値に応じた所定の速さで移動させる。そして、フォーカスレンズ群３を移動させながら、スキャンＡＦ処理回路１４からＡＦ評価値信号を受け取り、このＡＦ評価値信号がピークとなるフォーカスレンズ群３の位置を探索して、合焦位置を決定する。以下、図１８を参照して、具体的に説明する。なお、図１８に示すＡＦ処理は図１３において説明したＡＦ処理と一部のみが異なるため、重複する説明は省略して相違点について説明する。

Ｓ１８０１では、制御部１５は、Ｓ１３０１と同様に実行して、現在のフォーカスレンズ群３の位置におけるＡＦ評価値を取得し、レンズ位置とともに記録する。

Ｓ１８０２において、制御部１５は、フォーカスレンズ群３を、設定された移動方向へ取得したＡＦ評価値に応じた所定の速さで移動させる。制御部１５は、更に、第一画像の特定の領域のボケ量に基づき所定の速さでフォーカスレンズを移動させて撮影した画像を用いて、移動方向を求めることが可能である。

ＡＦ評価値に応じた所定の速さＶＫは、Ｓ１５０６で求めたボケ量評価指数Ｖａｌを用いて、以下の式により求められる。

ＶＫ = （ＶＫｍｉｎ - ＶＫｍａｘ）・Ａｂｓ（Ｖａｌ）+ＶＫｍａｘ
但しＡｂｓ（）は（）の絶対値を求めることを表す。

またＶＫｍａｘとＶＫｍｉｎの値については、静止画撮影モードの場合の値を、動画撮影モードの場合の値よりも大きくする。例えば、静止画撮影モードの場合には、ＶＫｍａｘを開放深度の１５倍程度、ＶＫｍｉｎを開放深度の３倍程度とする。一方、動画撮影モードの場合には、ＶＫｍａｘを開放深度の８倍程度、ＶＫｍｉｎを開放深度の０．５倍程度とすることができる。

Ｓ１８０３では、制御部１５は、スキャンＡＦ処理回路１４を制御して、所定タイミング（例えばセンサ読み出しの同期信号のタイミング）でＡＦ評価値を取得する。制御部１５は、取得したＡＦ評価値を、そのフォーカスレンズ群３の位置とともに、例えば記憶用メモリ１２等に記録する。

Ｓ１８０４では、制御部１５は、Ｓ１８０３で取得したＡＦ評価値に応じた所定の速さにフォーカスレンズ群３の移動の速さを変更する。その後、Ｓ１８０５〜Ｓ１８０９の処理を、上述したＳ１３０４〜１３０８と同様に実行して、本処理を終了する。

なお、上述した実施形態では、一例としてコンパクトタイプのデジタルカメラにおける焦点調整処理を例に説明したが、デジタルビデオカメラやデジタル一眼レフのライブビュー表示における焦点調整処理にも適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３…フォーカスレンズ群、５…撮像センサ、１４…スキャンＡＦ処理回路、１５…制御部、３０…ＤＦＤ処理回路、３１…初期移動方向識別回路

Claims (13)

1. 所定の範囲で移動可能なフォーカスレンズの位置を異ならせて撮影された複数の画像を取得する取得手段と、
   推定手段と、
   前記フォーカスレンズの位置を異ならせて撮影された複数の画像に基づいて、画像の所定領域が合焦した状態となる合焦位置に前記フォーカスレンズを移動させるための、前記フォーカスレンズの移動方向とデフォーカス量とを求める処理手段と、
   求められた前記移動方向と前記デフォーカス量とに基づいて前記フォーカスレンズの移動を制御する制御手段と、を含み、
   前記処理手段は、前記フォーカスレンズの位置が第一の位置で撮影された第一の画像と、前記フォーカスレンズの位置を前記第一の位置から前記推定手段によって推定された所定方向へ移動させて撮影された第二の画像とに基づいて、前記移動方向と前記デフォーカス量を求め、
   前記推定手段は、前記所定方向が前記第一の位置から前記合焦位置へ向かう方向となるように前記所定方向を推定する、ことを特徴とする焦点調整装置。
2. 前記推定手段は、画像と前記フォーカスレンズの位置の変化との関係に基づいて前記所定方向を推定するための特徴を抽出し、前記抽出された特徴に基づいて前記所定方向を推定する、ことを特徴とする請求項１に記載の焦点調整装置。
3. 前記推定手段は、学習によって前記特徴を抽出するように構成されたニューラルネットワークを含み、前記ニューラルネットワークに、少なくとも画像と前記フォーカスレンズの位置とを入力して演算することにより、前記所定方向を推定する、ことを特徴とする請求項２に記載の焦点調整装置。
4. 前記学習には、画像と、該画像が撮影された際のフォーカスレンズの位置と、合焦した状態にすべき画像の領域とを含む入力と、該入力に対応する、推定した結果として得られるべき所定方向を表す教師信号とを用いる、ことを特徴とする請求項３に記載の焦点調整装置。
5. 画像の特定の領域のボケ量を示す情報と前記フォーカスレンズの位置の変化との関係に基づいて前記所定方向を推定するための特徴を抽出し、前記抽出された特徴に基づいて前記所定方向を推定する、ことを特徴とする請求項１に記載の焦点調整装置。
6. 前記推定手段は、学習によって前記特徴を抽出するように構成されたニューラルネットワークを含み、前記ニューラルネットワークに、少なくとも画像の特定の領域のボケ量を示す情報と前記フォーカスレンズの位置とを入力して演算することにより、前記所定方向を推定する、ことを特徴とする請求項５に記載の焦点調整装置。
7. 前記推定手段は、前記推定手段によって推定された前記所定方向と、前記処理手段によって求められた前記移動方向とが異なる場合に、新たな学習によって前記特徴を更新する、ことを特徴とする請求項３から６のいずれか１項に記載の焦点調整装置。
8. 前記推定手段は、前記フォーカスレンズの位置を前記第一の位置から第一の方向に移動させた場合の像倍率の変化と、前記第一の方向とは逆の方向に移動させた場合の像倍率の変化とを比較して、像倍率の変化の少ない方向を前記所定方向として推定する、ことを特徴とする請求項１に記載の焦点調整装置。
9. 前記推定手段は、前記フォーカスレンズの異なる位置で画像を撮影する際の撮影モードが特定の撮影モードである場合に、前記像倍率の変化の少ない方向を前記所定方向として推定する、ことを特徴とする請求項８に記載の焦点調整装置。
10. 前記特定の撮影モードは、動画撮影モードと、所定の解像度より高い解像度で記録された動画の一部を静止画として用いる撮影モードと、焦点調整又は撮影を指示する操作の前に得られる画像を記録する撮影モードと、マクロ撮影モードとを含む、ことを特徴とする請求項９に記載の焦点調整装置。
11. 前記処理手段は、更に、前記第一の画像の特定の領域のボケ量に基づく所定の速さで前記フォーカスレンズを移動させて撮影した画像を用いて、前記移動方向を求めることが可能である、ことを特徴とする請求項１に記載の焦点調整装置。
12. 取得手段が、所定の範囲で移動可能なフォーカスレンズの位置を異ならせて撮影された複数の画像を取得する取得工程と、
    推定手段が推定を行う推定工程と、
    処理手段が、前記フォーカスレンズの位置を異ならせて撮影された複数の画像に基づいて、画像の所定領域が合焦した状態となる合焦位置に前記フォーカスレンズを移動させるための、前記フォーカスレンズの移動方向とデフォーカス量とを求める処理工程と、
    制御手段が、求められた前記移動方向と前記デフォーカス量とに基づいて前記フォーカスレンズの移動を制御する制御工程と、を含み、
    前記処理工程では、前記フォーカスレンズの位置が第一の位置で撮影された第一の画像と、前記フォーカスレンズの位置を前記第一の位置から前記推定工程において推定された所定方向へ移動させて撮影された第二の画像とに基づいて、前記移動方向と前記デフォーカス量を求め、
    前記推定工程では、前記所定方向が前記第一の位置から前記合焦位置へ向かう方向となるように前記所定方向を推定する、ことを特徴とする焦点調整装置の制御方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の焦点調整装置の各手段として機能させるためのプログラム。