JP2015102855A - レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム - Google Patents

Abstract

【課題】画像を速やかに合焦させることができるレンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラムを提供する。【解決手段】画像処理エンジン１４のＭＰＵ１６は、画像から被写体マスクを抽出する領域抽出部３１と、領域抽出部３１が抽出した被写体マスクのエッジの色成分量に基づいて、被写体マスクのデフォーカス特徴量を算出する特徴量算出部３３と、特徴量算出部３３によって算出された被写体マスクのデフォーカス特徴量に基づいて、焦点調節を行うフォーカスレンズ１１の駆動を制御するレンズ駆動制御部３５として機能する。【選択図】図１

Description

本発明は、レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラムに関する。

従来、フォーカスレンズを光軸方向に移動させつつ各位置における画像のコントラスト値を求め、コントラスト値が最も高くなるレンズ位置をフォーカス位置として検出するオートフォーカス装置が知られている（例えば、特許文献１参照）。

特開平４−２７４４０５号公報

しかしながら、従来のオートフォーカス装置では、フォーカスレンズを広範囲に亘って光軸方向に駆動させるため、フォーカス位置の検出に多大な時間を要するという問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像を速やかに合焦させることができるレンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラムを提供することにある。

上記課題を解決するレンズ駆動制御装置は、画像から特定領域を抽出する領域抽出部と、前記領域抽出部が抽出した前記特定領域のエッジの色成分量に基づいて、前記特定領域の合焦状態を検出する合焦検出部と、前記合焦検出部によって検出された前記特定領域の合焦状態に基づいて、焦点調節を行うレンズの駆動を制御するレンズ駆動制御部とを備えたことを特徴とする。

また、上記レンズ駆動制御装置は、前記領域抽出部が抽出した前記特定領域の前記エッジを色成分毎に検出するエッジ検出部を更に備え、前記合焦検出部は、前記エッジ検出部が色成分毎に検出した前記特定領域の前記エッジの色成分量に基づいて前記特定領域の合焦状態を検出することが好ましい。

また、上記レンズ駆動制御装置において、前記合焦状態は、画像が前記特定領域よりも近点側又は遠点側に合焦していることを示す方向指標を含み、前記レンズ駆動制御部は、前記合焦検出部によって検出された前記方向指標に基づいて前記レンズの駆動方向を設定することが好ましい。

また、上記レンズ駆動制御装置は、前記合焦検出部による前記特定領域の合焦状態の検出結果の信頼度を算出する信頼度算出部を更に備え、前記合焦状態は、前記特定領域のデフォーカス量を更に含み、前記レンズ駆動制御部は、前記信頼度算出部が算出した信頼度が所定の閾値以上である場合、前記合焦検出部によって検出された前記デフォーカス量に基づいて、前記レンズの駆動量を設定することが好ましい。

また、上記レンズ駆動制御装置において、前記信頼度算出部が算出した信頼度は、前記所定の閾値を第１の閾値とした場合、該第１の閾値よりも大きい閾値として第２の閾値が更に設定されており、前記レンズ駆動制御部は、前記信頼度算出部が算出した信頼度が前記第２の閾値以上である場合、前記合焦検出部によって検出された前記デフォーカス量に基づいて、画像を前記特定領域において合焦させるレンズの目標駆動量を算出し、算出した目標駆動量を前記レンズの駆動量として設定することが好ましい。

また、上記レンズ駆動制御装置において、前記レンズ駆動制御部は、前記信頼度算出部が算出した信頼度が前記第１の閾値以上であって且つ前記第２の閾値未満である場合、前記目標駆動量よりも小さい値を前記レンズの駆動量として設定することが好ましい。

また、上記レンズ駆動制御装置において、前記信頼度算出部は、前記特定領域を複数の分割領域に分割するとともに、前記特定領域を含む前記分割領域の数に対する前記特定領域の前記エッジを含む前記分割領域の数の比に基づいて、前記合焦検出部による前記特定領域の合焦状態の検出結果の信頼度を算出することが好ましい。

また、上記レンズ駆動制御装置において、前記領域抽出部は、画像に対してラベリング処理を行うことにより前記特定領域を抽出することが好ましい。
また、上記レンズ駆動制御装置において、前記領域抽出部は、画像に対してパターン認識処理を行うことにより前記特定領域を抽出することが好ましい。

また、上記レンズ駆動制御装置において、前記合焦検出部は、前記領域抽出部が画像から複数の前記特定領域を抽出した場合、複数の前記特定領域のうち画像の奥行方向において至近側に位置する前記特定領域の色成分量に基づいて前記特定領域の合焦状態を検出することが好ましい。

また、上記課題を解決する電子カメラは、被写体を撮像する撮像部と、前記撮像部が撮像した被写体に応じた画像の焦点調節を行うレンズの駆動を制御する上記構成のレンズ駆動制御装置とを備えたことを特徴とする。

また、上記課題を解決するレンズ駆動制御プログラムは、コンピュータに、画像から特定領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出された前記特定領域のエッジの色成分量に基づいて、前記特定領域の合焦状態を検出する合焦検出ステップと、前記合焦検出ステップにおける前記特定領域の合焦状態の検出結果に基づいて、焦点調節を行うレンズの駆動を制御するレンズ駆動制御ステップとを実行させることを特徴とする。

本発明によれば、画像を速やかに合焦させることができる。

一実施形態のデジタルカメラのブロック図。 （ａ）は、画像が被写体の位置よりも近点側で合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図、（ｂ）は画像が被写体の位置よりも遠点側に合焦している状態での撮像素子とフォーカスレンズとの位置関係を示す模式図。 フォーカスレンズに入射された入射光の色成分ごとの焦点の光軸方向における位置関係を示す模式図。 被写体からフォーカスレンズを通じて撮像素子に入射される入射光の色成分ごとの位置関係を示す模式図であって、（ａ）は、画像が被写体に対して前ピン状態にある場合の模式図、（ｂ）は、画像が被写体に対して後ピン状態にある場合の模式図。 画像の一例を示す模式図。 エッジの近傍における色成分ごとの色成分量を示すグラフであって、（ａ）は、画像が被写体に対して前ピン状態にある場合のグラフ、（ｂ）は、画像が被写体に対して後ピン状態にある場合のグラフ。 エッジの近傍における色成分ごとの色成分量を示すグラフであって、（ａ）は、画像が被写体に対して前ピン状態又は後ピン状態にある場合の赤の光と緑の光の色成分量を示すグラフ、（ｂ）は、画像が被写体に対して前ピン状態又は後ピン状態にある場合の青の光と緑の光の色成分量を示すグラフ。 画像処理エンジンが実行するレンズ駆動制御処理ルーチンのフローチャート。 被写体マスクの一例を示す模式図。 被写体マスクのデフォーカス特徴量の信頼度に応じて設定されるコントラストスキャンのスキャン範囲を示す模式図。 被写体マスクのデフォーカス特徴量のデフォーカス量に応じて設定されるコントラストスキャンのスキャン範囲を示す模式図。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、電子カメラの一種であるデジタルカメラ（以下、「カメラ１０」という）は、焦点調節を行うレンズであるフォーカスレンズ１１などの複数のレンズからなるレンズ部１２（図１ではフォーカスレンズ１１のみ図示）と、レンズ部１２を通過した光をレンズ部１２の像空間側において結像させて撮像する撮像部の一例としての撮像素子１３とを備えている。なお、撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、又は、ＣＣＤ（Charge Coupled Device）型のカラーイメージセンサからなる。

撮像素子１３の出力側には、画像処理エンジン１４がＡ／Ｄ変換回路１５を介して接続されている。そして、撮像素子１３からアナログ信号として出力される画素信号は、Ａ／Ｄ変換回路１５においてデジタル信号に変換された後に画像処理エンジン１４に入力される。

画像処理エンジン１４は、カメラ１０の各種の動作を統括的に制御するＭＰＵ１６（Micro Processing Unit）を備えている。そして、ＭＰＵ１６は、撮像素子１３から入力された画素信号に対し、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像を生成する。

画像処理エンジン１４には、フォーカス駆動回路１７が接続されている。そして、画像処理エンジン１４は、フォーカス駆動回路１７を通じてＡＦモータ１８を駆動制御することにより、フォーカスレンズ１１を光軸方向に移動させる、その結果、被写体から射出された光がフォーカスレンズ１１を通過して撮像素子１３に結像される。

また、画像処理エンジン１４には、データバス２０を介して不揮発性メモリ２１、バッファメモリ２２、インターフェース部（以下、「Ｉ／Ｆ部２３」という）及びモニタ２４が接続されている。

不揮発性メモリ２１は、画像処理エンジン１４を動作させるためにＭＰＵ１６が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ２１は、図８にフローチャートで示すレンズ駆動制御プログラムなどを格納している。そして、ＭＰＵ１６は、不揮発性メモリ２１に格納されたレンズ駆動制御プログラムを実行することにより、主制御部２５、画像処理部２６及び合焦制御部２７として機能する。また、ＭＰＵ１６がレンズ駆動制御プログラムを実行することにより、画像処理エンジン１４がフォーカスレンズ１１の駆動を制御するレンズ駆動制御装置として機能する。なお、画像処理部２６は、画像中における人物の顔をパターン認識処理によって認識する顔認識部２９を含んでいる。また、合焦制御部２７は、領域抽出部３１、エッジ検出部３２、特徴量算出部３３、信頼度算出部３４及びレンズ駆動制御部３５を含んでいる。

バッファメモリ２２は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
Ｉ／Ｆ部２３は、メモリカード３８が着脱自在に装着されるカードスロット（図示略）を有している。そして、Ｉ／Ｆ部２３は、画像処理エンジン１４によって生成された画像をＩ／Ｆ部２３に装着されたメモリカード３８に出力したり、メモリカード３８に記憶されている画像を画像処理エンジン１４に出力したりする機能を有している。

モニタ２４には、バッファメモリ２２に一時的に格納されている画像や、Ｉ／Ｆ部２３に装着されたメモリカード３８に格納されている画像が画像処理エンジン１４によって出力されて表示される。

また、画像処理エンジン１４には、レリーズボタン３９及び操作部４０が接続されている。レリーズボタン３９は、半押し操作又は全押し操作がなされた際に操作信号を画像処理エンジン１４に入力する。操作部４０は、メニューボタン、セレクトボタン、決定ボタン及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン１４に入力する。

次に、画像処理エンジン１４が画像から検出された被写体のエッジにおける軸上色収差の色ずれを解析することにより、被写体のエッジの合焦状態を検出する原理の概要を説明する。

図２（ａ）には、画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、画像が被写体Ｓの位置よりも近点側で合焦している状態（以下、「前ピン状態」という）が一点鎖線で示されている。図２（ａ）に示すように、前ピン状態においては、被写体から射出される光がフォーカスレンズ１１を通過して合焦する位置が撮像素子１３よりも撮影者側（図２（ａ）では右側）に位置する。

一方、図２（ｂ）には、画像が被写体Ｓの位置で合焦している状態が実線で示されるとともに、画像が被写体Ｓの位置よりも遠点側で合焦している状態（以下、「後ピン状態」という）が一点鎖線で示されている。図２（ｂ）に示すように、後ピン状態においては、被写体から射出される光がフォーカスレンズ１１を通過して合焦する位置が撮像素子１３よりもフォーカスレンズ１１側（図２（ｂ）では左側）に位置する。

図３には、被写体から射出された光がフォーカスレンズ１１を通過する際に生じる軸上色収差の様子が示されている。図３に示すように、フォーカスレンズ１１を通過した光には波長の違いによって軸上色収差が生じるため、光の波長成分ごとに焦点位置がずれる。具体的には、フォーカスレンズ１１は、光の波長が短いほど光の屈折率が大きいため、青（B）の光、緑（B）の光、赤（R）の光の順に、フォーカスレンズ１１を通過する際の屈折率が次第に小さくなり、フォーカスレンズ１１を通過して合焦する焦点位置がフォーカスレンズ１１から次第に遠くなる。そして、このような軸上色収差による色ずれを解析することにより、被写体のデフォーカス特徴量が被写体の合焦状態として算出（検出）される。

ここで、デフォーカス特徴量は、方向指標と、デフォーカス量を含んで構成されている。方向指標とは、画像が被写体に対して前ピン状態又は後ピン状態にあることを示す指標である。そして、方向指標及びデフォーカス量を算出するための評価値の一例としては、Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ（以下、「Ｅｄ」という）が挙げられる。

次に、被写体における方向指標及びデフォーカス量をＥｄを用いて算出する原理の概要を説明する。
図４（ａ）に示すように、画像が被写体に対して前ピン状態にある場合には、被写体から射出された光は、フォーカスレンズ１１を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１３に導かれる。この場合、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなる。

一方、図４（ｂ）に示すように、画像が被写体に対して後ピン状態にある場合には、被写体から射出された光は、フォーカスレンズ１１を通過する際に生じる軸上色収差に起因して外側から赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に位置するように分光された状態で撮像素子１３に導かれる。この場合、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなる。

すなわち、画像が被写体に対して前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する被写体のデフォーカス量の大小関係は異なるものとなる。

図５には、画像における被写体の一例として白黒チャートＳ１が示されている。また、図５では、横方向にＸ座標、縦方向にＹ座標が設定されており、Ｘ＝ｑの位置に位置する白黒チャートＳ１のエッジＥ１がデフォーカス特徴量の算出対象として設定されている。

この場合、まず、エッジＥ１を横切る方向（図５ではＸ方向）においてＲＧＢごとの画素値が取得される。このとき、１ピクセル行だけの画素値が取得されると、その１ピクセル行がノイズを含んでいる場合に誤った画素値が取得される虞がある。そのため、本実施形態では、以下の式（１）〜（３）に示すように、１ピクセル行の画素値がＹ方向にｎピクセル幅に亘ってｎ本積算され、その積算値がｎで除算された平均値が、ｘ＝ｑに位置するエッジＥ１が横切るＲＧＢごとの画素値として取得される。

ここで、ｒ（ｘ，ｋ）、ｇ（ｘ，ｋ）、ｂ（ｘ，ｋ）は、ｙ方向のｎピクセル幅におけるｎ本（ｋ＝１，２，…，ｎ）の１ピクセル行のＲ画素値、Ｇ画素値、Ｂ画素値をそれぞれ示している。ただし、ｘは、図５に示す例ではＸ＝ｑを含む所定範囲（例えば、ｑ−Ｑ／２≦ｘ≦ｑ＋Ｑ／２）を変域とする値を示している。

続いて、以下の式（４）〜（６）に示すように、ｒ＿ａｖｅ（ｘ）、ｇ＿ａｖｅ（ｘ）、ｂ＿ａｖｅ（ｘ）について、各々の最大値及び最小値を用いて正規化することにより、各々の正規化出力が算出される。

ここで、ｘｍｉｎは、エッジＥ１の検出対象領域ＥＡ内で画素値が最小（図５に示す例では黒領域）となるＸ座標値を示し、ｘｍａｘは、エッジＥ１の検出対象領域ＥＡ内で画素値が最大（図５に示す例では白領域）となるＸ座標値を示している。

図６（ａ）には、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図６（ａ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の順に、白黒チャートＳ１のエッジＥ１における色成分量の勾配が次第に緩やかとなる。これは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、青（Ｂ）の光、緑（Ｇ）の光、赤（Ｒ）の光の順に次第に大きくなるためである。

一方、図６（ｂ）には、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合の、白黒チャートＳ１のエッジＥ１の近傍における各色成分の正規化出力が示されている。図６（ｂ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の順に、白黒チャートＳ１のエッジＥ１における色成分量の勾配が次第に緩やかとなる。これは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、フォーカスレンズ１１を通過した光が色成分ごとに撮像素子１３に撮像する白黒チャートＳ１のエッジＥ１のデフォーカス量は、赤（Ｒ）の光、緑（Ｇ）の光、青（Ｂ）の光の順に次第に大きくなるためである。

すなわち、図７（ａ）に示すように、白黒チャートＳ１のエッジＥ１の近傍における各色成分量の勾配は、以下のようになる。画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。これに対し、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、赤（Ｒ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。そのため、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、白黒チャートＳ１のエッジＥ１における赤（Ｒ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＲＧ」という）を閾値と比較することにより、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（７）、（８）に基づいて判定される。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ１に亘って加算した総和を示している。そして、その総和を区間Δ１の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ１は、図７（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（７）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。一方、式（８）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（９）、（１０）に基づいて判定されてもよい。

ここで、Σ（Ｒ／Ｇ）は、赤（Ｒ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ２に亘って加算した総和を示している。そして、その総和を区間Δ２の長さで除算した値がＥｄＲＧとして算出される。なお、区間Δ２は、図７（ａ）において赤（Ｒ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ１よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（９）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。一方、式（１０）が成立する場合には、ＥｄＲＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。また、ＥｄＲＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、上記の式（７）〜（１０）では、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との比を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤（Ｒ）の色成分量と緑（Ｇ）の色成分量との差を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

また同様に、図７（ｂ）に示すように、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも大きくなる。これに対し、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態である場合には、青（Ｂ）の色成分量の勾配が緑（Ｇ）の色成分量の勾配よりも小さくなる。そのため、画像が前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、白黒チャートＳ１のエッジＥ１における青（Ｂ）の色成分量の勾配と緑（Ｇ）の色成分量の勾配との大小関係が逆転する。

したがって、青（Ｂ）の色成分量と緑（Ｇ）の色成分量とに基づくＥｄ（以下、「ＥｄＢＧ」という）を閾値と比較することにより、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１１）、（１２）に基づいて判定される。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ３に亘って加算した総和を示している。そして、その総和を区間Δ３の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ３は、図７（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも右側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１１）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。一方、式（１２）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

なお、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式（１３）、（１４）に基づいて判定されてもよい。

ここで、Σ（Ｂ／Ｇ）は、青（Ｂ）の色成分量を画像における同一の位置での緑（Ｇ）の色成分量で除算した値を、区間Δ４に亘って加算した総和を示している。そして、その総和を区間Δ４の長さで除算した値がＥｄＢＧとして算出される。なお、区間Δ４は、図７（ｂ）において青（Ｂ）の色成分量と緑（Ｇ）の色成分量とが交わる交点Ｐ２よりも左側に位置する区間のうち、緑（Ｇ）の色成分量に勾配がある区間の一部として規定される。

そして、式（１３）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して後ピン状態であることを示している。一方、式（１４）が成立する場合には、ＥｄＢＧは、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態であることを示している。また、ＥｄＢＧと閾値である「１」との差分が、画像における白黒チャートＳ１のエッジＥ１のデフォーカス量を示している。

以上のように、上記の式（１１）〜（１４）では、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との比を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、青（Ｂ）の色成分量と緑（Ｇ）の色成分量との差を用いて、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。

なお、画像が白黒チャートＳ１のエッジＥ１に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定するための評価値としては、Ｅｄに代えて、デフォーカス量参照値（Width of Subtraction）や線広がり関数（Line Spread Function）を採用してもよい。

次に、本実施形態の画像処理エンジン１４のＭＰＵ１６が画像の合焦位置を制御する際に実行するレンズ駆動制御処理ルーチンの概要を図８のフローチャートを参照しながら説明する。

さて、ＭＰＵ１６は、カメラ１０が電源ＯＮ状態となると、図８に示すレンズ駆動制御処理ルーチンを開始する。そして、ステップＳ１１において、ＭＰＵ１６の画像処理部２６は、撮像素子１３から出力された画素信号を取り込んでスルー画を生成し、生成したスルー画をモニタ２４に表示させる。

続いて、ステップＳ１２において、領域抽出ステップとして、ＭＰＵ１６の領域抽出部３１は、先のステップＳ１１において生成されたスルー画から特定領域の一例としてマスク領域を抽出する。この場合、スルー画に対してラベリング処理を行うことにより、スルー画からマスク領域が抽出される。ここで、ラベリング技術とは、スルー画から特徴量ごとに画素データを検出し、検出された画素データが互いに近接した画素領域のうち画像内での位置が隣接する画素領域を順次検出してグループ化することにより、スルー画からマスク領域を抽出する技術である。そして、本実施形態では、ラベリング処理に用いる特徴量としては、動きベクトル、色相、彩度、明度、テクスチャ（模様）、コントラスト等が含まれる。

なお、ＭＰＵ１６は、スルー画に対してパターン認識処理を行うことにより、スルー画からマスク領域を抽出してもよい。例えば、本実施形態では、ＭＰＵ１６の顔認識部２９がパターン認識処理の一種である顔認識処理をスルー画に対して行うことによりスルー画から人物の顔を認識し、認識された人物の顔をマスク領域として抽出してもよい。この場合、ＭＰＵ１６の顔認識部２９がスルー画からマスク領域を抽出する領域抽出部としても機能する。

そして、ＭＰＵ１６の領域抽出部３１は、スルー画から抽出されたマスク領域の画像を、例えばＥｘｉｆ（Exchangeable Image File Format）形式でバッファメモリ２２に格納する。

そして次に、ステップＳ１３において、ＭＰＵ１６の領域抽出部３１は、先のステップＳ１２において抽出されたマスク領域の中からノイズマスクを除外する。ここで、ノイズマスクとは、細長いマスク領域、極端に小さいマスク領域、極端に大きいマスク領域など、スルー画において合焦の対象とはなり得ないマスク領域を意味している。これは、上記のマスク領域については、スルー画のうち人が注目することが想定される領域ではないためである。そして、ＭＰＵ１６の領域抽出部３１は、合焦の対象から外れた旨を示すデータを、ノイズマスクの画像の付加情報としてバッファメモリ２２に格納する。

続いて、ステップＳ１４において、ＭＰＵ１６の領域抽出部３１は、先のステップＳ１２において抽出されたマスク領域のうちノイズマスク以外のマスク領域について優先度を設定する。この優先度は、マスク領域の中で人がより注目することが想定される度合いを意味しており、マスク領域の特徴量ごとに算出される評点の合計値によって規定される。なお、マスク領域の優先度を規定する特徴量としては、動きベクトル、位置、色相、異質度等が含まれる。ここで、異質度とは、特徴量のヒストグラムにおける特異な分布の度合いを意味している。例えば、緑の背景に赤い花が咲いているときには、赤い色相が色相のヒストグラムにおいて特異に分布していることとなる。そのため、赤い花は、異質度が高いマスク領域として認識されることにより、異質度に関する評点が高く設定される。そして、ＭＰＵ１６の領域抽出部３１は、マスク領域の特徴量ごとに算出された評点のデータを、マスク領域の画像の付加情報としてバッファメモリ２２に格納する。

そして次に、ステップＳ１５において、ＭＰＵ１６の領域抽出部３１は、先のステップＳ１５において優先度が最も高く設定されたマスク領域、即ち、マスク領域の特徴量ごとに算出された評点の合計値が最も高いマスク領域を、被写体マスクとして判定する。

続いて、ステップＳ１６において、ＭＰＵ１６の領域抽出部３１は、先のステップＳ１５において被写体マスクとして判定されたマスク領域が複数であるか否かを判定する。そして、ＭＰＵ１６の領域抽出部３１は、複数のマスク領域が被写体マスクとして判定された場合（ステップＳ１６＝ＹＥＳ）、その処理をステップＳ１７に移行する。

そして、ステップＳ１７において、ＭＰＵ１６の領域抽出部３１は、複数の被写体マスクのうち、スルー画の奥行方向において至近側に位置する被写体マスクを合焦の対象として設定する。なお、複数のマスク領域が被写体マスクとして判定された場合に、色相が肌色である被写体マスクや、一定時間以上静止している被写体マスクや、特徴量のヒストグラムが特異な分布をしている被写体マスクが合焦の対象として設定されてもよい。また、複数のマスク領域が被写体マスクとして判定された場合に、合焦の対象となる被写体マスクがマニュアルで選択されてもよい。

一方、ＭＰＵ１６の領域抽出部３１は、被写体マスクとして判定されたマスク領域が一つのみである場合（ステップＳ１６＝ＮＯ）、その処理をステップＳ１８に移行する。そして、ステップＳ１８において、ＭＰＵ１６の領域抽出部３１は、先のステップＳ１５において判定された被写体マスクを合焦の対象として設定する。

そして次に、ステップＳ１９において、ＭＰＵ１６のエッジ検出部３２は、合焦の対象として設定された被写体マスクのエッジを検出する。
具体的には、図９に示すように、ＭＰＵ１６のエッジ検出部３２は、スルー画のうち、合焦の対象として設定された被写体マスクＳ２の画像部分を微分フィルタによってスキャン（例えば、ラスタースキャン）する。その結果、被写体マスクＳ２の画像部分における明度、彩度及び色相等の特徴量が算出される。そして、ＭＰＵ１６のエッジ検出部３２は、算出された特徴量が大きい部分を被写体マスクＳ２の輪郭部分のうち軸上色収差の評価に適したエッジＥ２として検出する。なお、図９に示す例では、ＭＰＵ１６のエッジ検出部３２は、被写体マスクＳ２の輪郭部分の中から３つのエッジＥ２を検出している。

ここで、ＭＰＵ１６のエッジ検出部３２が被写体マスクＳ２の画像部分における明度又は彩度について微分フィルタによってスキャンすることにより、被写体マスクＳ２のエッジＥ２を検出したとする。この場合、検出されたエッジＥ２における各色成分の色成分量のコントラストが十分に大きいとは限らない。そして、エッジＥ２における各色成分の色成分量のコントラストが小さいと、エッジＥ２における各色成分の色成分量の正規化出力としてシャープな波形を得ることができない。そのため、エッジＥ２における軸上色収差の評価値としてＥｄの値を正確に算出することができない。その結果、スルー画が被写体マスクＳ２に対して前ピン状態及び後ピン状態のうち何れの状態であるかについてＥｄを用いて判定することが困難となり、又、スルー画における被写体マスクＳ２のデフォーカス量の大きさをＥｄを用いて算出することも困難となる。すなわち、被写体マスクＳ２のデフォーカス特徴量をＥｄを用いて算出することが困難となる。なお、エッジＥ２における軸上色収差の評価値としてデフォーカス量参照値や線広がり関数を採用した場合にも、同様の問題が生じる。

そのため、ステップＳ２０において、ＭＰＵ１６の特徴量算出部３３は、先のステップＳ１９において検出されたエッジＥ２における軸上色収差の評価値に基づいて、被写体マスクＳ２のデフォーカス特徴量が算出可能であるか否かを判定する。そして、ＭＰＵ１６の特徴量算出部３３は、被写体マスクＳ２のデフォーカス特徴量が算出可能ではないと判定した場合（ステップＳ２０＝ＮＯ）、その処理をステップＳ２１に移行する。

そして次に、ステップＳ２１において、ＭＰＵ１６のレンズ駆動制御部３５は、通常のコントラストスキャンを行うことにより、スルー画を被写体マスクＳ２において合焦させるフォーカスレンズ１１のレンズ位置となる合焦位置を検出する。この通常のコントラストスキャンおいては、ＭＰＵ１６のレンズ駆動制御部３５は、まず、スルー画の合焦位置をスルー画の奥行方向における至近側から無限遠側にかけての全域に亘って移動させるように、フォーカスレンズ１１を光軸方向に駆動させる。そして、ＭＰＵ１６のレンズ駆動制御部３５は、各位置におけるスルー画の被写体マスクＳ２のコントラスト値を求め、被写体マスクＳ２のコントラスト値が最も高くなるフォーカスレンズ１１のレンズ位置を合焦位置として検出する。

一方、ＭＰＵ１６の特徴量算出部３３は、被写体マスクＳ２のデフォーカス特徴量が算出可能であると判定した場合（ステップＳ２０＝ＹＥＳ）、合焦検出ステップとして、エッジＥ２における軸上色収差の評価値に基づいて被写体マスクＳ２のデフォーカス特徴量を算出する。なお、図９に示す例では、ＭＰＵ１６の特徴量算出部３３は、先のステップＳ１９において検出された３つのエッジＥ２における軸上色収差の評価値の平均値に基づいて、被写体マスクＳ２のデフォーカス特徴量を算出する。

そして次に、ステップＳ２２において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２０において算出された被写体マスクＳ２のデフォーカス特徴量の方向指標に基づいて、フォーカスレンズ１１の駆動方向を設定する。

具体的には、ＭＰＵ１６のレンズ駆動制御部３５は、被写体マスクＳ２のデフォーカス特徴量の方向指標が前ピン状態を示している場合、フォーカスレンズ１１を光軸方向において撮像素子１３から遠ざけるように、フォーカス駆動回路１７によるＡＦモータ１８の駆動方向を設定する。すなわち、ＭＰＵ１６のレンズ駆動制御部３５は、スルー画が被写体マスクＳ２よりも近点側に合焦していると判断した場合には、スルー画の合焦位置をスルー画の奥行方向における無限遠側に移動させて被写体マスクＳ２の位置に合致させるように、フォーカス駆動回路１７によるＡＦモータ１８の駆動方向を設定する。

一方、ＭＰＵ１６のレンズ駆動制御部３５は、被写体マスクＳ２のデフォーカス特徴量の方向指標が後ピン状態を示している場合、フォーカスレンズ１１を光軸方向において撮像素子１３に近づけるように、フォーカス駆動回路１７によるＡＦモータ１８の駆動方向を設定する。すなわち、ＭＰＵ１６のレンズ駆動制御部３５は、スルー画が被写体マスクＳ２よりも遠点側に合焦していると判断した場合には、スルー画の合焦位置をスルー画の奥行方向における至近側に移動させて被写体マスクＳ２の位置に合致させるように、フォーカス駆動回路１７によるＡＦモータ１８の駆動方向を設定する。

続いて、ステップＳ２３において、ＭＰＵ１６の信頼度算出部３４は、先のステップＳ２０において算出された被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎを算出する。
具体的には、図９に示すように、ＭＰＵ１６の信頼度算出部３４は、まず、スルー画のうち被写体マスクＳ２の画像部分を複数の分割領域Ｒに格子状に分割する。そして次に、ＭＰＵ１６の信頼度算出部３４は、先のステップＳ１９において検出されたエッジＥ２を含む分割領域Ｒの数を算出する。なお、図９に示す例では、エッジＥ２を含む分割領域Ｒの数は８個となっている。

そして、ＭＰＵ１６の信頼度算出部３４は、分割領域Ｒの全体の数に対するエッジＥ２を含む分割領域Ｒの数の比率を信頼度Ｎとして算出する。すなわち、本実施形態では、デフォーカス特徴量を算出する際に軸上色収差の評価の対象となるエッジＥ２が、被写体マスクＳ２の全体に対してどの程度の比率で占めているかを算出している。そして、算出された比率を被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎとして規定している。なお、図９に示す例では、分割領域Ｒの全体の数は６４個であるため、分割領域Ｒの全体の数に対するエッジＥ２を含む分割領域Ｒの数の比率は１／８となっている。

そして次に、ステップＳ２４において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２３において算出された信頼度Ｎが第１の閾値Ｔ１以上であるか否かを判定する。この第１の閾値Ｔ１は、ＭＰＵ１６のレンズ駆動制御部３５が、先のステップＳ２０において算出された被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいて、フォーカスレンズ１１の駆動量を設定することが適切であるか否かを判断する際の基準値となっている。そのため、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２３において算出された信頼度Ｎが第１の閾値Ｔ１未満である（ステップＳ２４＝ＮＯ）と判定した場合には、先のステップＳ２０において算出された被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいて、フォーカスレンズ１１の駆動量を設定することが適切ではないと判断する。

そして、ステップＳ２５において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２２において設定された駆動方向に向けて現在のレンズ位置からフォーカスレンズ１１を駆動させるようにフォーカス駆動回路１７を駆動制御する。また、ＭＰＵ１６のレンズ駆動制御部３５は、各位置でのスルー画における被写体マスクＳ２のコントラスト値を求め、被写体マスクＳ２のコントラスト値が最も高くなるフォーカスレンズ１１のレンズ位置を合焦位置として検出する。

一方、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２３において算出された信頼度Ｎが第１の閾値Ｔ１以上である（ステップＳ２４＝ＹＥＳ）と判定した場合には、先のステップＳ２０において算出された被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいて、フォーカスレンズ１１の駆動量を設定することが適切であると判断する。

そして、ステップＳ２６において、ＭＰＵ１６のレンズ駆動制御部３５は、まず、先のステップＳ２０において算出された被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいて、フォーカスレンズ１１の合焦位置を推定する。続いて、ＭＰＵ１６のレンズ駆動制御部３５は、現在のレンズ位置から推定された合焦位置に至るまでのフォーカスレンズ１１の駆動量を目標駆動量Ｘとして算出する。なお、目標駆動量Ｘは、現在のレンズ位置から推定された合焦位置に至るまでフォーカスレンズ１１を駆動させるために必要とされるＡＦモータ１８の駆動信号のパルス数で表される。

そして次に、ステップＳ２７において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２３において算出された信頼度Ｎが第２の閾値Ｔ２以上であるか否かを判定する。第２の閾値Ｔ２は、ＭＰＵ１６のレンズ駆動制御部３５が、先のステップＳ２５において算出された目標駆動量Ｘを、現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として設定することが適切であるか否かを判断する際の基準値となっている。なお、目標駆動量Ｘを現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として設定するためには、被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいてフォーカスレンズ１１の合焦位置を正確に推定することが求められる。この場合、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎを高くする必要があるため、第２の閾値Ｔ２は第１の閾値Ｔ１よりも大きい値として設定されている。

そして、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２３において算出された信頼度Ｎが第２の閾値Ｔ２以上である（ステップＳ２７＝ＹＥＳ）と判定した場合には、先のステップＳ２６において算出された目標駆動量Ｘを、現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として設定することが適切であると判断する。

そして、ステップＳ２８において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２６において算出された目標駆動量Ｘを、現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として設定する。

続いて、ステップＳ２９において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２２において設定された駆動方向に向けて現在のレンズ位置からフォーカスレンズ１１を目標駆動量Ｘだけ駆動させるようにフォーカス駆動回路１７を駆動制御する。その結果、フォーカスレンズ１１のレンズ位置が合焦位置に移動することにより、スルー画が被写体マスクＳ２の位置において合焦された状態となる。

一方、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２３において算出された信頼度Ｎが第２の閾値Ｔ２未満である（ステップＳ２７＝ＮＯ）と判定した場合には、先のステップＳ２６において算出された目標駆動量Ｘを、現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として設定することが適切でないと判断する。

そして、ステップＳ３０において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２６において算出された目標駆動量Ｘよりも小さい値を、現在のレンズ位置からのフォーカスレンズ１１の駆動量として設定する。この場合、フォーカスレンズ１１の駆動量は、目標駆動量Ｘに対して所定の比率を乗算した駆動量を設定してもよい。例えば、目標駆動量Ｘの８０％の駆動量をフォーカスレンズ１１の駆動量として設定してもよい。また、フォーカスレンズ１１の駆動量は、先のステップＳ２６において推定された合焦位置に対して所定の距離だけずれた位置に至るまでのフォーカスレンズ１１の駆動量として設定してもよい。例えば、推定された合焦位置に対し、ＡＦモータ１８の駆動信号のパルス数として１０パルス分に相当する距離だけずれた位置に至るまでの駆動量をフォーカスレンズ１１の駆動量として設定してもよい。

続いて、ステップＳ３１において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２２において設定された駆動方向に向けて先のステップＳ３０において設定された駆動量だけ現在のレンズ位置からフォーカスレンズ１１を駆動させるようにフォーカス駆動回路１７を駆動制御する。その結果、フォーカスレンズ１１の位置が合焦位置の近傍まで移動する。

そして次に、ステップＳ３２において、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２２において設定された駆動方向に向けて現在のレンズ位置からフォーカスレンズ１１を駆動させるようにフォーカス駆動回路１７を駆動制御する。また、ＭＰＵ１６のレンズ駆動制御部３５は、各位置でのスルー画における被写体マスクＳ２のコントラスト値を求め、被写体マスクＳ２のコントラスト値が最も高くなるフォーカスレンズ１１の位置を合焦位置として検出する。

続いて、ステップＳ３３において、ＭＰＵ１６のレンズ駆動制御部３５は、現在のレンズ位置から先のステップＳ３２において検出された合焦位置までのフォーカスレンズ１１の駆動量を算出する。そして、ＭＰＵ１６のレンズ駆動制御部３５は、算出された駆動量だけフォーカスレンズ１１を駆動させるようにフォーカス駆動回路１７を駆動制御する。その結果、フォーカスレンズ１１の位置が合焦位置に移動することにより、スルー画が被写体マスクＳ２の位置において合焦された状態となる。

なお、ステップＳ３３においては、ＭＰＵ１６のレンズ駆動制御部３５は、先のステップＳ２１又は先のステップＳ２５において合焦位置が検出された場合と同様にして、現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量を算出する。そして、ＭＰＵ１６のレンズ駆動制御部３５は、算出された駆動量だけフォーカスレンズ１１を駆動させるようにフォーカス駆動回路１７を駆動制御する。その結果、フォーカスレンズ１１の位置が合焦位置に移動することにより、スルー画が被写体マスクＳ２の位置において合焦された状態となる。

そして次に、ステップＳ３４において、ＭＰＵ１６は、撮影指示信号が入力されたか否かを判定する。この撮影指示信号は、レリーズボタン３９が全押しされた際に画像処理エンジン１４に操作信号として入力される。なお、モニタ２４がタッチパネルである場合には、モニタ２４が画像の撮影のためにタッチ操作された際に撮影指示信号が操作信号として画像処理エンジン１４に入力される。そして、ＭＰＵ１６は、撮影指示信号が入力されていない（ステップＳ３４＝ＮＯ）と判定した場合、その処理をステップＳ１１に戻し、撮影指示信号が入力されるまでステップＳ１１〜ステップＳ３３の処理を繰り返す。一方、ＭＰＵ１６は、撮影指示信号が入力された（ステップＳ３４＝ＹＥＳ）と判定した場合、その処理をステップＳ３５に移行する。

そして、ステップＳ３５において、ＭＰＵ１６の画像処理部２６は、その時点で撮像素子１３から出力された画素信号に基づいて生成している静止画を撮影画像として不揮発性メモリ２１に格納する。

次に、上記のように構成されたカメラ１０の作用について、特に、ＭＰＵ１６が画像の一例としてスルー画の合焦位置を制御する際の作用に着目して以下説明する。
さて、スルー画における任意の画像部分からエッジＥ２を検出する場合、そのエッジＥ２がスルー画のうち人が注目することが想定される画像部分に位置するエッジＥ２とは限らない。そのため、検出されたエッジＥ２における軸上色収差の評価値を用いてスルー画の合焦位置を制御したとしても、スルー画を人が注目することが想定される画像部分において適切に合焦させることができない虞があった。

この点、本実施形態では、スルー画のうち人が注目することが想定される画像部分として被写体マスクＳ２が抽出された上で、抽出された被写体マスクＳ２の画像部分から軸上色収差の評価の対象となるエッジＥ２が検出される。そのため、このエッジＥ２における軸上色収差の評価値を用いてスルー画の合焦位置を制御することにより、スルー画は人が注目することが想定される画像部分において適切に合焦される。

また、本実施形態では、スルー画のうち何れの画像部分に被写体マスクＳ２が位置していたとしても、その被写体マスクＳ２の画像部分から軸上色収差の評価の対象となるエッジＥ２を検出することが可能である。そのため、スルー画における何れの位置に人が注目することが想定される画像部分が位置していたとしても、その画像部分においてスルー画が好適に合焦される。

また、本実施形態では、スルー画から検出したエッジＥ２における軸上色収差の評価値を用いて被写体マスクＳ２のデフォーカス特徴量を算出している。そのため、被写体マスクＳ２のデフォーカス特徴量を算出するために、フォーカスレンズ１１を光軸方向に移動させる必要がない。すなわち、本実施形態では、フォーカスレンズ１１のレンズ位置が異なる複数の画像を用いて被写体マスクＳ２のデフォーカス特徴量を算出する構成や、フォーカスレンズ１１を光軸方向に動かしながら撮影した一枚の画像を用いて被写体マスクＳ２のデフォーカス特徴量を算出する構成とは相違する。そのため、フォーカスレンズ１１が光軸方向に移動することに起因してウォブリングを生じることがないため、モニタ２４におけるスルー画の表示が乱れることが抑制される。

また、本実施形態では、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎに応じて、現在のレンズ位置から合焦位置に向けてのフォーカスレンズ１１の駆動態様が変更される。

すなわち、図１０に示すように、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが第１の閾値Ｔ１未満である場合には、スルー画が被写体マスクＳ２に対して前ピン状態又は後ピン状態の何れの状態であるかを判定することにより、ＡＦモータ１８の駆動方向が設定される。具体的には、スルー画が被写体マスクＳ２に対して前ピン状態である場合には、現在のレンズ位置から無限遠側にフォーカスレンズ１１の駆動範囲が限定される。一方、スルー画が被写体マスクＳ２に対して後ピン状態である場合には、現在のレンズ位置から至近側にフォーカスレンズ１１の駆動範囲が限定される。そのため、コントラストスキャンのスキャン範囲は、通常のコントラストスキャンの場合よりも狭くなるため、スルー画が被写体マスクＳ２の位置において迅速に合焦される。

また、被写体マスクＳ２のデフォーカス特徴量の信頼度が第１の閾値Ｔ１以上であって第２の閾値Ｔ２未満である場合には、まず、被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいて合焦位置が推定される。そして、推定された合焦位置の近傍までフォーカスレンズ１１が駆動された後に、推定された合焦位置を含むように合焦位置の前後両側に設定されるスキャン範囲内でコントラストスキャンが行われる。そのため、コントラストスキャンのスキャン範囲が更に狭くなるため、スルー画が被写体マスクＳ２の位置において更に迅速に合焦される。

また、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが第２の閾値Ｔ２以上である場合には、被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に基づいて推定された合焦位置に向けて現在のレンズ位置からフォーカスレンズ１１が直接駆動される。そのため、コントラストスキャンが行われることがないため、スルー画が被写体マスクＳ２の位置において更に迅速に合焦される。

上記実施形態によれば、以下に示す効果を得ることができる。
（１）画像から抽出された被写体マスクＳ２のエッジＥ２の色成分量に基づいて被写体マスクＳ２のデフォーカス特徴量を算出し、算出されたデフォーカス特徴量に基づいて、画像を被写体マスクＳ２の位置において合焦させる合焦位置が検出される。すなわち、合焦位置を検出する際に、焦点調節を行うフォーカスレンズ１１を駆動させる駆動量が低減されるため、コントラストスキャン方式の場合と比較して、合焦位置がより迅速に検出される。したがって、この合焦位置の検出結果に基づいてフォーカスレンズ１１を駆動させることにより、画像を被写体マスクＳ２の位置において速やかに合焦させることができる。

（２）合焦位置を検出する際にフォーカスレンズ１１を駆動させる駆動量が低減されるため、画像がウォブリングによってぶれてしまうことを抑制できる。
（３）画像の色成分量を解析することにより、画像から抽出された被写体マスクＳ２のデフォーカス特徴量を算出している。そのため、被写体マスクＳ２のデフォーカス特徴量を算出するための専用のセンサを設ける必要がない。したがって、被写体マスクＳ２のデフォーカス特徴量を簡易な構成で算出することができる。

（４）被写体マスクＳ２のエッジＥ２が撮像素子１３の撮像面上における何れの位置に位置していた場合であっても、そのエッジＥ２の色成分量を解析することにより、画像から抽出された被写体マスクＳ２のデフォーカス特徴量を算出することができる。

（５）画像から人が注目することが想定される領域として被写体マスクＳ２を抽出し、その被写体マスクＳ２のエッジＥ２の色成分量に基づいて被写体マスクＳ２のデフォーカス特徴量を算出している。そのため、画像に含まれるエッジＥ２の中から人が注目することが想定される領域のエッジＥ２が選別される。したがって、画像の全体からエッジを検出する場合と比較して、画像を人が注目することが想定される領域において好適に合焦させることができる。

（６）画像から抽出された被写体マスクＳ２のエッジＥ２を検出し、検出されたエッジＥ２の色成分量に基づいて被写体マスクＳ２のデフォーカス特徴量を算出する。そして、算出されたデフォーカス特徴量に基づいて、画像を被写体マスクＳ２の位置において合焦させる合焦位置が検出される。したがって、この合焦位置の検出結果に基づいてフォーカスレンズ１１を駆動させることにより、画像を被写体マスクＳ２の位置において速やかに合焦させることができる。

（７）画像が被写体マスクＳ２のエッジＥ２に対して近点側及び遠点側のうち何れに合焦しているかに応じて、現在のレンズ位置からのフォーカスレンズ１１の駆動方向が限定される。そのため、フォーカスレンズ１１の可動域のうち至近側から無限側にかけての全域がコントラストスキャンのスキャン範囲である場合と比較して、コントラストスキャンのスキャン範囲が縮小される。したがって、画像を被写体マスクＳ２の位置においてより速やかに合焦させることができる。

（８）被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが第１の閾値Ｔ１以上である場合には、現在のレンズ位置からのフォーカスレンズ１１の駆動方向だけでなく、現在のレンズ位置からのフォーカスレンズ１１の駆動量が設定される。そのため、現在のレンズ位置から一方の駆動方向へのフォーカスレンズ１１の駆動を開始させると同時にコントラストスキャンを開始する場合と比較して、コントラストスキャンのスキャン範囲が縮小される。したがって、画像を被写体マスクＳ２の位置においてより速やかに合焦させることができる。

（９）被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが第２の閾値Ｔ２以上である場合には、そのデフォーカス特徴量に含まれる被写体マスクＳ２のデフォーカス量に対応する目標駆動量Ｘだけ現在のレンズ位置からフォーカスレンズ１１を駆動させる。その結果、画像を被写体マスクＳ２の位置において合焦させる合焦位置にフォーカスレンズ１１が配置される。すなわち、コントラストスキャンが行われることなくフォーカスレンズが合焦位置に配置されるため、画像を被写体マスクＳ２の位置においてより速やかに合焦させることができる。

（１０）被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが第１の閾値Ｔ１以上であって且つ第２の閾値Ｔ２未満である場合には、そのデフォーカス特徴量に含まれる被写体マスクＳ２のデフォーカス量に対応する目標駆動量Ｘよりも小さい駆動量だけ現在のレンズ位置からフォーカスレンズ１１を駆動させる。その結果、画像を被写体マスクＳ２の位置において合焦させる合焦位置に向けて現在のレンズ位置からフォーカスレンズ１１が接近する。そのため、その接近した位置からフォーカスレンズ１１を駆動方向に更に駆動しつつ画像に対してコントラストスキャンが行われた場合に、フォーカスレンズ１１が合焦位置に向けて接近した分だけ、コントラストスキャンのスキャン範囲が縮小される。したがって、画像を被写体マスクＳ２の位置においてより速やかに合焦させることができる。

（１１）被写体マスクＳ２を含む分割領域Ｒの数に対する被写体マスクＳ２のエッジＥ２を含む分割領域Ｒの数の比が高い場合、このエッジＥ２の色成分量に基づいて算出される被写体マスクＳ２のデフォーカス特徴量の信頼度は高くなる。その一方で、被写体マスクＳ２を含む分割領域Ｒの数に対する被写体マスクＳ２のエッジＥ２を含む分割領域Ｒの数の比が低い場合、このエッジＥ２の色成分量に基づいて算出される被写体マスクＳ２のデフォーカス特徴量の信頼度は低くなる。そのため、被写体マスクＳ２を含む分割領域Ｒの数に対する被写体マスクＳ２のエッジＥ２を含む分割領域Ｒの数の比に基づいて、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎを算出することができる。

（１２）画像に対してラベリング処理を行うことにより、画像から人が注目することが想定される領域である被写体マスクＳ２の候補となるマスク領域を抽出することができる。

（１３）画像に対してパターン認識処理を行うことにより、画像から人が注目することが想定される領域である被写体マスクＳ２の候補となるマスク領域を抽出することができる。

（１４）画像から複数の被写体マスクＳ２が抽出された場合であっても、これらの被写体マスクＳ２のうち至近側に位置する被写体マスクＳ２を人がより注目することが想定される被写体マスクＳ２であると判定し、その被写体マスクＳ２において画像を好適に合焦させることができる。

なお、上記実施形態は、以下のような別の実施形態に変更してもよい。
・上記実施形態において、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが第１の閾値Ｔ１未満である場合に、被写体マスクＳ２のデフォーカス特徴量のデフォーカス量に応じて現在のレンズ位置から合焦位置に向けてのフォーカスレンズ１１の駆動態様が変更されてもよい。

例えば、図１１に示すように、被写体マスクＳ２のデフォーカス特徴量が閾値Ｄよりも小さいデフォーカス量Ｄ１である場合には、現在のレンズ位置から至近側にかけての領域の全体がコントラストスキャンのスキャン範囲として設定されてもよい。一方、被写体マスクＳ２のデフォーカス特徴量が閾値Ｄよりも大きいデフォーカス量Ｄ２である場合には、現在のレンズ位置から至近側にかけての領域のうち、至近側に位置する半分の領域がコントラストスキャンのスキャン範囲として設定されてもよい。この場合、現在のレンズ位置と至近位置との中間までフォーカスレンズ１１が駆動された後に、スキャン範囲として設定された至近側の半分の領域内でコントラストスキャンが行われる。そのため、コントラストスキャンのスキャン範囲が更に狭くなるため、スルー画が被写体マスクＳ２の位置において更に迅速に合焦される。なお、図１１に示す例では、閾値Ｄは、現在のレンズ位置から至近側にかけての領域の中間よりも至近側に偏った位置に位置する被写体マスクＳ２のデフォーカス量として設定されている。

・上記実施形態において、ＭＰＵ１６の特徴量算出部３３は、被写体マスクＳ２の輪郭部分のうち軸上色収差の評価に適したエッジＥ２がエッジ検出部３２によって複数検出された場合に、これらのエッジＥ２に優先順位を設定してもよい。そして、優先順位が最も高いエッジＥ２における軸上色収差の評価値を用いて被写体マスクＳ２のデフォーカス特徴量を算出してもよい。この場合、優先順位は、エッジの強度、エッジの色成分、エッジのコントラスト、エッジのＳＮ比、エッジの波形において平坦になっている範囲の幅、エッジの長さ等に基づいて設定される。

・上記実施形態において、ＭＰＵ１６の信頼度算出部３４は、被写体マスクＳ２のエッジＥ２が軸上収差の評価に適しているか否かを判定する基準となる評価値を算出し、算出されたエッジＥ２の評価値に基づいて被写体マスクＳ２のデフォーカス特徴量の信頼度を算出してもよい。この場合、例えば、エッジの強度、エッジの色成分、エッジのコントラスト、エッジのＳＮ比、エッジの波形において平坦になっている範囲の幅、エッジの長さ等を評価項目としてエッジの評点をそれぞれ算出し、算出された評点の合計値がエッジＥ２の評価値として算出される。

・上記実施形態において、ＭＰＵ１６のレンズ駆動制御部３５は、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが所定の閾値以上である場合に、目標駆動量Ｘを現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として一律に設定してもよい。また、ＭＰＵ１６のレンズ駆動制御部３５は、被写体マスクＳ２のデフォーカス特徴量の信頼度Ｎが所定の閾値以上である場合に、目標駆動量Ｘよりも小さい値を現在のレンズ位置から合焦位置までのフォーカスレンズ１１の駆動量として一律に設定してもよい。

・上記実施形態において、被写体マスクＳ２のデフォーカス特徴量が被写体マスクＳ２のデフォーカス量を含まなくてもよい。この場合、ＭＰＵ１６のレンズ駆動制御部３５は、被写体マスクＳ２のデフォーカス特徴量に基づいて、フォーカスレンズ１１の駆動量を設定することなくフォーカスレンズ１１の駆動方向を設定する。

・上記実施形態において、ＭＰＵ１６のエッジ検出部３２が被写体マスクＳ２の画像部分を微分フィルタによってスキャンしない構成であってもよい。この場合、ＭＰＵ１６の特徴量算出部３３は、ラベリング処理又はパターン認識処理によって抽出された被写体マスクＳ２の輪郭部分における軸上色収差の評価値に基づいて、被写体マスクＳ２のデフォーカス特徴量を算出する。

・上記実施形態において、ＭＰＵ１６は、動画の撮影時において、図８に示すレンズ駆動制御処理ルーチンと同様の処理を実行することにより、動画の合焦位置を制御してもよい。この場合、特に、動画の合焦位置を検出する際にフォーカスレンズ１１を駆動させる駆動量が低減されるため、動画の画像内容がウォブリングによってぶれてしまうことを抑制できる。

・上記実施形態において、画像の撮影機能を搭載したカメラ１０以外の電子機器に対し、焦点調節を行うレンズの駆動を制御するレンズ駆動制御装置として画像処理エンジン１４が搭載されてもよい。なお、画像の撮影機能を搭載した電子機器としては、例えば、ビデオカメラ、パーソナルコンピュータ、携帯電話機、携帯ゲーム機等が挙げられる。

１０…電子カメラの一例としてのデジタルカメラ、１１…レンズの一例としてのフォーカスレンズ、１３…撮像部の一例としての撮像素子、１４…レンズ駆動制御装置の一例としての画像処理エンジン、３１…領域抽出部、３２…エッジ検出部、３３…合焦検出部の一例としての特徴量算出部、３４…信頼度算出部、３５…レンズ駆動制御部、Ｅ２…エッジ、Ｎ…信頼度、Ｒ…分割領域、Ｓ２…特定領域の一例としての被写体マスク、Ｔ１…第１の閾値、Ｔ２…第２の閾値、Ｘ…目標駆動量。

Claims (12)

1. 画像から特定領域を抽出する領域抽出部と、
   前記領域抽出部が抽出した前記特定領域のエッジの色成分量に基づいて、前記特定領域の合焦状態を検出する合焦検出部と、
   前記合焦検出部によって検出された前記特定領域の合焦状態に基づいて、焦点調節を行うレンズの駆動を制御するレンズ駆動制御部と
   を備えたことを特徴とするレンズ駆動制御装置。
2. 前記領域抽出部が抽出した前記特定領域の前記エッジを色成分毎に検出するエッジ検出部を更に備え、
   前記合焦検出部は、前記エッジ検出部が色成分毎に検出した前記特定領域の前記エッジの色成分量に基づいて前記特定領域の合焦状態を検出することを特徴とする請求項１に記載のレンズ駆動制御装置。
3. 前記合焦状態は、画像が前記特定領域よりも近点側又は遠点側に合焦していることを示す方向指標を含み、
   前記レンズ駆動制御部は、前記合焦検出部によって検出された前記方向指標に基づいて前記レンズの駆動方向を設定することを特徴とする請求項１又は請求項２に記載のレンズ駆動制御装置。
4. 前記合焦検出部による前記特定領域の合焦状態の検出結果の信頼度を算出する信頼度算出部を更に備え、
   前記合焦状態は、前記特定領域のデフォーカス量を更に含み、
   前記レンズ駆動制御部は、前記信頼度算出部が算出した信頼度が所定の閾値以上である場合、前記合焦検出部によって検出された前記デフォーカス量に基づいて、前記レンズの駆動量を設定することを特徴とする請求項３に記載のレンズ駆動制御装置。
5. 前記信頼度算出部が算出した信頼度は、前記所定の閾値を第１の閾値とした場合、該第１の閾値よりも大きい閾値として第２の閾値が更に設定されており、
   前記レンズ駆動制御部は、前記信頼度算出部が算出した信頼度が前記第２の閾値以上である場合、前記合焦検出部によって検出された前記デフォーカス量に基づいて、画像を前記特定領域において合焦させるレンズの目標駆動量を算出し、算出した目標駆動量を前記レンズの駆動量として設定することを特徴とする請求項４に記載のレンズ駆動制御装置。
6. 前記レンズ駆動制御部は、前記信頼度算出部が算出した信頼度が前記第１の閾値以上であって且つ前記第２の閾値未満である場合、前記目標駆動量よりも小さい値を前記レンズの駆動量として設定することを特徴とする請求項５に記載のレンズ駆動制御装置。
7. 前記信頼度算出部は、前記特定領域を複数の分割領域に分割するとともに、前記特定領域を含む前記分割領域の数に対する前記特定領域の前記エッジを含む前記分割領域の数の比に基づいて、前記合焦検出部による前記特定領域の合焦状態の検出結果の信頼度を算出することを特徴とする請求項４〜請求項６のうち何れか一項に記載のレンズ駆動制御装置。
8. 前記領域抽出部は、画像に対してラベリング処理を行うことにより前記特定領域を抽出することを特徴とする請求項１〜請求項７のうち何れか一項に記載のレンズ駆動制御装置。
9. 前記領域抽出部は、画像に対してパターン認識処理を行うことにより前記特定領域を抽出することを特徴とする請求項１〜請求項７のうち何れか一項に記載のレンズ駆動制御装置。
10. 前記合焦検出部は、前記領域抽出部が画像から複数の前記特定領域を抽出した場合、複数の前記特定領域のうち画像の奥行方向において至近側に位置する前記特定領域の色成分量に基づいて前記特定領域の合焦状態を検出することを特徴とする請求項１〜請求項９のうち何れか一項に記載のレンズ駆動制御装置。
11. 被写体を撮像する撮像部と、
    前記撮像部が撮像した被写体に応じた画像の焦点調節を行うレンズの駆動を制御する請求項１〜請求項１０のうち何れか一項に記載のレンズ駆動制御装置と
    を備えたことを特徴とする電子カメラ。
12. コンピュータに、
    画像から特定領域を抽出する領域抽出ステップと、
    前記領域抽出ステップにおいて抽出された前記特定領域のエッジの色成分量に基づいて、前記特定領域の合焦状態を検出する合焦検出ステップと、
    前記合焦検出ステップにおける前記特定領域の合焦状態の検出結果に基づいて、焦点調節を行うレンズの駆動を制御するレンズ駆動制御ステップと
    を実行させることを特徴とするレンズ駆動制御プログラム。

Images