JP2010066728A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】オートフォーカススキャンに要する時間を短縮する。
【解決手段】
先ず、フォーカスレンズが位置（Ｃ）にある状態で顔検出を行い、顔が検出されたと判定されたら、現在の絞り値から、顔検出に対する被写界深度を算出する（範囲（ａ）：２ｍ〜８ｍ）。次に、絞り開放値にするためのレンズ絞り駆動を行い、絞り駆動後に、顔検出を行う。絞りが開放方向に駆動されたので、被写界深度が例えば４ｍ〜６ｍと、浅くなる（範囲（ｃ））。最終的な焦点位置（Ｂ）が被写界深度４ｍ〜６ｍの範囲（ｃ）内にあるので、顔が検出されたと判定される。そこで、オートフォーカスによるスキャン範囲を被写体深度に対応する距離４ｍ〜６ｍの範囲（ｃ）内に限定する。当初の絞り値によるスキャン範囲（ａ）から新スキャン範囲（ｃ）へと縮小され、より高速にオートフォーカス制御を行えるようになる。
【選択図】図６

Description

本発明は、撮像装置および撮像装置の制御方法に関し、特に、オートフォーカス機能を備えた撮像装置および撮像装置の制御方法に関する。

従来から、ＣＣＤやＣＭＯＳイメージセンサといった撮像素子を用い、オートフォーカス（ＡＦ）機能を備えた撮像装置が知られている。このような撮像装置では、撮像素子に結像した被写体画像による電気信号から、コントラストを示す信号をＨＰＦ（ハイパスフィルタ）で抽出して増幅する。そして、この増幅されたコントラスト信号の波形を解析し、解析結果に基づき焦点を被写体に合わせることによりオートフォーカスを実行する。なお、以下では、焦点を被写体に合わせることを、適宜、合焦と呼ぶ。

すなわち、オートフォーカス機能を備えた撮像装置は、焦点が被写体に合っていないときはコントラスト信号の波形がなだらかになり、焦点が被写体に合っているときは急峻になるということを利用して、合焦動作を行う。より具体的には、フォーカスレンズを光軸方向に移動させ、レンズ駆動に合わせて撮像素子から出力された被写体画像により得られたコントラスト信号の波形が最も急峻になるレンズ位置を探索する。なお、この、合焦位置を探索するためにフォーカスレンズを移動させる一連の動作は、オートフォーカススキャンと呼ばれる。

また、オートフォーカスは、一般的に、撮像素子における受光面の中央部または複数のエリアを測距エリアとして行われる。従来のオートフォーカス機能を備えた撮像装置は、例えば人物である被写体の顔全体を測距エリアとして、当該測距エリアまでの距離を検出する。そして、この検出された距離に基づき、被写体までの距離が被写界深度内となるように、焦点位置、レンズ焦点距離および絞り値を調節する（例えば、特許文献１参照）。

ここで、被写界深度とは、被写体が鮮明に写る深度（距離）方向の範囲すなわち合焦範囲のことであり、撮像装置から被写体までの距離、レンズ焦点距離および絞り値によって変化する。撮像装置から被写体までの距離が長く、レンズ焦点距離が短く、且つ、絞り値が大きい場合においては、撮像装置から被写体までの距離が被写界深度内となる。この場合、撮像装置は、オートフォーカスを行わなくても被写体を鮮明に写すことができる。

また、特許文献２には、撮影した被写体の画像が映し出される撮影画面において被写体画像が占める領域の大きさに基づいて、撮像装置から被写体までの距離を検出する距離検出装置を有する撮像装置が記載されている。さらに、特許文献３には、撮像信号から顔を検出し、顔検出結果と被写体距離および被写界深度情報とからスキャン領域を狭め、オートフォーカススキャンに要する時間を短縮する技術が提案されている。

特許第３１６４６９２号公報 特開２００３−７５７１７号公報 特開２００６−０１８２４６号公報

しかしながら、上述した従来の撮像装置は、被写界深度が深く、且つ、顔検出可能範囲が広い状態において、オートフォーカスを精度よく行うことができないという問題点があった。また、従来の撮像装置では、オートフォーカスを実行する際に費やされるオートフォーカススキャン時間を短縮することが十分にできなかったという問題点があった。

例えば、上述した特許文献３では、被写界深度に応じてオートフォーカススキャンの範囲を設定するようにしている。そのため、被写界深度が深い場合には、オートフォーカススキャンの範囲が広くなり、オートフォーカススキャンに多大な時間を要してしまうことになる。

したがって、本発明の目的は、オートフォーカススキャンに要する時間を短縮できる撮像装置および撮像装置の制御方法を提供することにある。

本発明は、上述した課題を解決するために、ライブビューが可能な撮像装置であって、フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子と、撮像素子から出力された撮像信号から顔を検出する顔検出手段と、顔検出手段で検出された顔までの距離を推定する被写体距離推定手段と、撮像光学系の焦点距離と、絞りの値と、被写体距離推定手段で推定された推定被写体距離とに基づき被写界深度を算出する被写界深度算出手段と、フォーカスレンズをスキャンして、撮像信号に基づいてオートフォーカス制御を行う制御手段とを有し、制御手段は、撮像の際、絞りを、ライブビュー時での第１の絞り値よりも開放方向の第２の絞り値に駆動し、第２の絞り値で得られた撮像信号から顔検出手段が顔を検出したら、第２の絞り値を用いて被写界深度算出手段で算出される被写界深度に対応する範囲をオートフォーカス制御でのフォーカスレンズのスキャン範囲に決定することを特徴とする撮像装置である。

また、本発明は、ライブビューが可能な撮像装置の制御方法であって、フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子から出力された撮像信号から顔を検出する顔検出ステップと、顔検出ステップで検出された顔までの距離を推定する被写体距離推定ステップと、撮像光学系の焦点距離と、絞りの値と、被写体距離推定ステップで推定された推定被写体距離とに基づき被写界深度を算出する被写界深度算出ステップと、フォーカスレンズをスキャンして、撮像信号に基づいてオートフォーカス制御を行う制御ステップとを有し、制御ステップは、撮像の際、絞りを、ライブビュー時での第１の絞り値よりも開放方向の第２の絞り値に駆動し、第２の絞り値で得られた撮像信号から顔検出ステップにより顔を検出したら、第２の絞り値を用いて被写界深度算出ステップで算出される被写界深度に対応する範囲をオートフォーカス制御でのフォーカスレンズのスキャン範囲に決定することを特徴とする撮像装置の制御方法である。

本発明は、上述した構成を有しているため、オートフォーカススキャンに要する時間を短縮できる。

以下、本発明の実施形態を、図面を参照しながら説明する。図１は、本発明の実施形態に適用可能な撮像装置１００の一例の構成を示す。図１に例示される撮像装置１００は、本体である当該撮像装置１００に対して、レンズユニット３００を装着して撮像を行うものである。

被写体からの光が、撮像光学系を構成するレンズユニット３００から撮像装置１００に入射され、ミラー１１４およびシャッタ１１５を介して撮像素子１０１に照射される。撮像素子１０１は、例えばＣＣＤまたはＣＭＯＳイメージセンサからなる。撮像素子１０１は、照射された光を電気信号に変換し、さらにゲイン調整、ノイズ除去など所定の処理を施して、アナログ画像信号として出力する。Ａ／Ｄ変換器１１６は、撮像素子１０１から出力されるアナログ撮像信号をディジタル信号に変換し、画像データとする。画像蓄積バッファ１０１ａは、Ａ／Ｄ変換器１１６から出力された画像データを一時的に蓄積する。

なお、撮像素子１０１から所定の周期で出力された撮像信号による画像データを逐次、撮像装置１００に設けた表示装置に表示させることで、ライブビューを実現することができる。

顔検出手段としての顔情報検出回路１０２は、画像蓄積バッファ１０１ａから画像データを取得し、取得した画像データから被写体の顔の情報（目の位置情報、顔座標など）を検出する。顔サイズ判別部１０３は、顔情報検出回路１０２で検出された被写体の顔の情報に基づいて、検出された顔のサイズを判別する。判別された顔サイズは、顔サイズ情報として出力される。

カメラ制御部１１０は、例えばマイクロプロセッサ、ＲＡＭおよびＲＯＭを備え、マイクロプロセッサは、ＲＯＭに予め記憶されたプログラムやデータに従い、ＲＡＭをワークメモリにして動作し、この撮像装置１００の全体の動作を制御する。

制御手段としてのカメラ制御部１１０は、後述するカメラ信号処理回路１０７から供給されるＡＦ評価値に基づきオートフォーカスを実行する。それと共に、カメラ制御部１１０は、後述するインターフェイス１１９を介してレンズユニット３００と通信を行い、レンズ焦点距離および絞り値を取得する。被写体距離推定手段としての被写体距離推定部１０４は、顔サイズ判別部１０３により判別された顔のサイズおよびカメラ制御部１１０により取得されたレンズ焦点距離に基づいて、撮像素子１０１から被写体までの被写体距離を推定する。

被写界深度算出手段としてのカメラ制御部１１０は、さらに、被写体距離推定部１０４により推定された推定被写体距離と、レンズユニット３００から取得したレンズ焦点距離および絞り値に基づいて、被写界深度を算出する。

さらにまた、カメラ制御部１１０は、算出された被写界深度に基づいてオートフォーカスを制御するＡＦ（オートフォーカス）制御部１１１を備える。ＡＦ制御部１１１は、カメラ制御部１１０が有するマイクロプロセッサ上で動作するプログラムであってもよいし、別途、専用のハードウェアとして構成してもよい。

ＡＦ制御部１１１は、例えばＡＦボタン１３１に対する操作をトリガとし、後述する被写体距離推定部１０４から出力された被写体距離情報に基づきオートフォーカス制御を行う。例えば、ＡＦ制御部１１１は、ＡＦボタン１３１が操作されると、インターフェイス１１９を介して後述するレンズユニット３００と通信を行い、レンズシステム制御部３０７に対してフォーカスレンズを駆動するように命令を出す。

なお、シャッタボタン１３０およびＡＦボタン１３１は、連動して操作されるように構成することもできる。例えば、半押し状態でＡＦボタン１３１が作動し、全押し状態でシャッタボタン１３０が作動するようなボタンを構成することが考えられる。

カメラ制御部１１０は、シャッタボタン１３０に対する操作に応じて、シャッタ制御部１１７に対してシャッタ１１５の動作を制御するよう命令を出す。シャッタ制御部１１７は、この命令に応じてシャッタ１１５の動作を制御する。シャッタ制御部１１７によるシャッタ１１５の制御は、後述するレンズユニット３００内の絞り制御部３０４と連携してなされる。

加えて、カメラ制御部１１０は、露出（ＡＥ）制御部（図示しない）なども備え、オートフォーカス制御に加えて露出制御をも実行し、撮像装置１００全体の撮影制御を行う。なお、露出制御部による露出制御は、本発明の主旨と関連が薄いので、説明を省略する。

カメラ信号処理回路１０７は、Ａ／Ｄ変換器１１６から出力された画像データに対して、γ補正、ホワイトバランス調整など所定の信号処理を施す。また、カメラ信号処理回路１０７は、Ａ／Ｄ変換器１１６から出力された画像データに対してハイパスフィルタ処理を施し、コントラスト信号を抽出する処理も行う。そして、抽出されたコントラスト信号を解析し、オートフォーカス制御を行う際の評価値であるＡＦ評価値を生成する。生成されたＡＦ評価値は、カメラ制御部１１０に供給され、オートフォーカス制御時の合焦判定に用いられる。

さらに、カメラ信号処理回路１０７は、画像データの圧縮符号化処理なども行うことができる。カメラ信号処理回路１０７から出力された圧縮または非圧縮の画像データは、記録回路１０８により記録媒体１０９に記録することができる。記録媒体１０９は、例えば不揮発性メモリからなり、撮像装置１００に対して脱着可能とされる。また、カメラ信号処理回路１０７から出力された画像データは、表示回路１１２により、ＬＣＤなどを表示デバイスとして用いた表示装置１１３に表示される。

一方、レンズユニット３００において、レンズユニット３００内のズームレンズおよびフォーカスレンズを含む撮影レンズ３０１に対して、被写体からの光が入射される。この入射した光は、絞り３０２、レンズマウント３０３および１０６、ミラー１１４およびシャッタ１１５を通じて導かれた撮像素子１０１上に、光学像として結像する。

測距制御部３０５は、カメラ制御部１１０からの制御信号に基づき、撮影レンズ３０１のフォーカシングすなわち合焦動作を制御する。ズーム制御部３０６は、撮影レンズ３０１のズーミングを制御する。絞り制御部３０４は、カメラ制御部１１０からの制御信号や測光情報に基づいて絞り３０２を制御する。

レンズシステム制御部３０７（図１ではレンズ制御部と記述）は、レンズユニット３００全体を制御する。レンズシステム制御部３０７は、動作用の定数、変数、プログラムなどを一時的に記憶するメモリを備える。さらに、レンズシステム制御部３０７は、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリも備える。

インターフェイス３０８は、撮像装置１００との間でデータ通信を行うためのインターフェイスである。インターフェイス３０８は、コネクタ３０９および１１８により、撮像装置１００側のインターフェイス１１９に対して電気的に接続される。

＜顔検出および顔サイズ判別について＞
次に、本実施形態に適用可能な顔検出および顔サイズ判別について説明する。顔情報検出回路１０２は、図５を用いて後述するパターン認識処理を実行して画像データから顔の情報を検出する。この顔の画像データの検出方法としては、これ以外にも、ニューラルネットワークなどによる学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法が知られている。また、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法なども知られている。さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法などがある。

ここで、パターン認識とは、抽出されたパターンを予め定められた概念（クラス）の１つに対応（マッチング）させる処理である。また、テンプレートマッチングとは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法である。これらの方法は、例えば、対象物体の位置検出、運動物体の追跡および撮影時期の異なる画像の位置合わせなどに利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。

顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報から顔領域における画素数をカウントし、この画素数に基づき顔のサイズを判別する。顔領域は、例えば、顔として検出された領域を示す座標情報で表すことができる。

これに限らず、顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報のうち目の位置情報に基づき顔サイズを判別するようにしてもよい。例えば、目の位置情報に基づき画像データ上の目の間隔を算出し、予め求めておいた目の間隔と顔のサイズとの統計的関係を用いてテーブル化し、顔のサイズを判別することが考えられる。図２は、画像上の画素数で示される顔サイズと目の間隔との統計的関係の一例を示す。このように、統計的には、画像上の目の間隔に対して顔サイズを一意に対応付けることができる。

また、検出された顔の所定位置、例えば四隅の座標値から顔領域における画素数をカウントすることにより、顔サイズを判別してもよい。

被写体距離推定部１０４は、顔サイズ判別部１０３で判別された顔サイズに基づき、撮像装置１００から被写体までの被写体距離を推定する。より具体的には、被写体距離推定部１０４は、顔サイズ判別部１０３により判別された顔サイズに基づき、顔サイズと被写体距離との関係から予め作成された、所定の焦点距離のレンズにおける変換テーブルを参照して、被写体距離を推定する。

図３（ａ）は、画像上の画素数で表される顔サイズと、被写体距離の一例の関係を示す。一例として、この図３（ａ）に示される関係に基づくテーブルを、レンズ焦点距離が３８ｍｍの広角レンズについて作成し、被写体距離を推定する。レンズ焦点距離が３８ｍｍと異なる場合には、判別された顔サイズに対して（３８ｍｍ／実際のレンズ焦点距離（ｍｍ））を乗じた値を用いて、上述の変換テーブルを参照する。

これに限らず、図３（ｂ）に例示されるように、顔サイズの代わりに、検出された顔領域の画像に占める割合と、被写体距離との関係をテーブル化して用いてもよい。

なお、撮像素子の大きさ自体や使用領域により被写体距離が変わるので、そのモードに応じて、推定被写体距離を算出するための変換テーブルを生成しなおしたり、あらかじめ複数の変換テーブルを記憶しておいても良い。

＜顔検出について＞
顔情報検出回路１０２によるパターン認識処理を、図４のフローチャートおよび図５を用いて説明する。図４において、画像蓄積バッファ１０１ａから取得した画像データ５０３を前処理し（ステップＳ４０１）、前処理された画像データ５０３から特徴的部分のパターンを抽出する（ステップＳ４０２）。そして、抽出された特徴的部分のパターンを顔の標準パターンに基づくテンプレート５０１に対応させ、テンプレートマッチングを行う。このテンプレートマッチングにより認識パターンを取得し（ステップＳ４０３）、取得された認識パターンを顔サイズ判別部１０３に出力して（ステップＳ４０４）、パターン認識処理を終了する。

ステップＳ４０３のテンプレートマッチングの例について、図５を用いてより具体的に説明する。先ず、テンプレート５０１の中心点５０２を、取得した画像データ５０３のある座標点（ｉ，ｊ）に置く。そして、この中心点５０２を画像データ５０３内で走査しながら、テンプレート５０１と画像データ５０３との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。顔の画像データ５０３から抽出されたパターンを、例えば目や耳などの形状を含むテンプレート５０１にマッチングさせることにより、目の位置情報や顔領域を示す座標情報（顔座標）を取得することができる。

＜本実施形態による撮像処理について＞

図６を用いて、本実施形態による処理を概略的に説明する。図６（ａ）に示される第１の例において、最終的な焦点位置を位置（Ｂ）とし、現在のレンズ距離情報に示される位置を位置（Ｃ）とする。なお、この図６（ａ）および後述する図６（ｂ）において、縦軸はＡＦ評価値、横軸はフォーカスレンズ位置をそれぞれ示す。なお、フォーカスレンズ位置は、レンズユニット３００内におけるフォーカスレンズ位置で合焦される距離で示されている。ＡＦ評価値が最大値を取る位置が、合焦位置となる。

図６（ａ）において、先ず、フォーカスレンズが位置（Ｃ）にある状態で顔検出を行い、顔が検出されたと判定されたら、現在の絞り値から、顔検出に対する被写界深度を算出する。図６（ａ）の例では、範囲（ａ）で示される被写界深度が２ｍ〜８ｍの範囲とする。次に、次候補の絞り値、例えば絞り開放値にするためのレンズ絞り駆動を行い、絞り駆動を終えた後に、顔検出を行う。ここで、最初の顔検出時よりも絞り３０２が開放方向に駆動されているため、被写界深度が例えば４ｍ〜６ｍと、浅くなっている（範囲（ｃ））。なお、次候補の絞り値は、絞り開放値に限らず、現在の絞り値に対して開放方向であれば、他の絞り値を適用することもできる。

この図６（ａ）の例では、被写界深度４ｍ〜６ｍの範囲（ｃ）内に最終的な焦点位置があるので、顔が検出されたと判定される。そこで、オートフォーカスによるスキャン範囲を被写体深度に対応する距離４ｍ〜６ｍの範囲（ｃ）内に限定する。したがって、オートフォーカス制御は、この４ｍ〜６ｍの範囲（ｃ）内でのみ行えばよいことになる。当初の絞り値によるスキャン範囲である２ｍ〜８ｍの６ｍの範囲（ａ）から新スキャン範囲の４ｍ〜６ｍの２ｍの範囲（ｃ）へと縮小され、より高速にオートフォーカス制御を行えるようになる。

図６（ｂ）に示される第２の例において、最終的な焦点位置を位置（Ｃ）とし、現在のレンズ距離情報に示される位置を位置（Ｂ）とする。すなわち、最終的な焦点位置に対して、現在のレンズ位置が至近端側にあることになる。先ず、レンズが位置（Ｂ）にある状態で顔検出を行い、顔が検出されたと判定されたら、現在の絞り値から、顔検出に対する被写界深度を算出する。図６（ａ）の例では、被写界深度が２ｍ〜８ｍの範囲（ａ）とする。次に、次候補の絞り値、例えば絞り開放値にするためのレンズ絞り駆動を行い、絞り駆動を終えた後に、顔検出を行う。

ここで、最初の顔検出時よりも絞り３０２が開放方向に駆動されているため、被写界深度が例えば４ｍ〜６ｍと、浅くなっている（範囲（ｃ））。最終的な焦点位置は、この被写界深度４ｍ〜６ｍの範囲（ｃ）内にないため、この図６（ｂ）の例では、顔が検出されないと判定される。被写界深度４ｍ〜６ｍの範囲（ｃ）では、顔が検出されなかったので、被写界深度２ｍ〜４ｍの範囲（ｂ）あるいは被写界深度６ｍ〜８ｍの範囲（ｄ）の何れかの範囲で顔が検出されるはずである。ここで、このレンズ位置（Ｂ）において顔検出により取得された顔サイズから推定した推定被写体距離が、最終的な焦点位置に対応すると考えることができる。この顔サイズから推定した推定被写体距離の精度が例えば±１ｍ以内であれば、範囲（ｂ）あるいは範囲（ｄ）の何れかであることの精度が高まり、オートフォーカス制御を行う方向を決定することができる。

当初の絞り値によるスキャン範囲である２ｍ〜８ｍの６ｍの範囲（ｃ）から新スキャン範囲の２ｍ〜４ｍあるいは６ｍ〜８ｍの範囲（ｂ）または（ｄ）へと縮小され、より高速にオートフォーカス制御を行えるようになる。オートフォーカスのスキャン範囲も、元々の絞り値によるオートスキャン範囲の６ｍから新スキャン範囲の２ｍへと約１／３と縮小され、より高速にオートフォーカスを行えるようになる。

次に、図７および図８のフローチャートを用いて、図６（ａ）および図６（ｂ）を用いて説明した処理を実現するための一例の方法について説明する。なお、図７および図８のフローチャートにおける各判断および制御は、カメラ制御部１１０および／またはＡＦ制御部１１１で、所定のプログラムに従い行われる。

図７は、本実施形態によるライブビュー時の一例の処理を示すフローチャートである。すなわち、図７のフローチャートの処理に先立って、撮像装置１００がライブビューモードで動作しており、ミラー１１４は跳ね上げられた状態とされ、シャッタ１１５は、開放状態になっているものとする。撮像素子１０１から所定の間隔で出力された撮像信号に基づく画像データが、表示回路１１２を介して表示装置１１３に対して逐次、表示されてライブビュー動作が行われる。

先ず、ステップＳ６１０１で、カメラ制御部１１０は、被写界深度調節および図示されないＡＥ制御部により制御された絞り値（第１の絞り値）を算出する。なお、絞り値は、ライブビューの表示に支障を来さないように、ライブビューのフレームレートが遅くならず、且つ、ノイズ量を抑制しながら広範囲で顔情報検出回路による顔検出を行えるように選択される。そして、算出された絞り値に基づき絞り制御部３０４を制御して絞り３０２を駆動する。

レンズユニット３００を介して照射された光に従い、撮像素子１０１から出力された撮像信号に基づく画像データが画像蓄積バッファ１０１ａに記憶される。顔情報検出回路１０２は、画像蓄積バッファ１０１ａから画像データを取得する（ステップＳ６１０２）。次のステップＳ６１０３で、顔情報検出回路１０２において、取得された画像データから顔が検出されたか否かが判定される。

若し、顔が検出されないと判定されたら、処理はステップＳ６１１１に移行され、通常のオートフォーカス制御、例えば従来技術によるオートフォーカス制御の開始待ち状態とされる。

一方、ステップＳ６１０３で顔が検出されたと判定されたら、処理はステップＳ６１０４に移行され、ＡＦ制御部１１１によりレンズユニット３００の焦点距離情報が取得される。そして、次のステップＳ６１０５で、現在のレンズ距離位置情報が取得される。例えば、カメラ制御部１１０によりインターフェイス１１９などを介してレンズユニット３００のレンズシステム制御部３０７と通信がなされ、焦点距離情報およびレンズ距離位置情報が取得される。取得された焦点距離情報およびレンズ距離位置情報は、ＡＦ制御部１１１に渡される。なお、レンズ距離位置情報は、フォーカスレンズの現在の位置に対応する合焦距離を示す情報である。

処理はステップＳ６１０６に移行され、ステップＳ６１０３で顔サイズ判別部１０３において検出された顔の情報に基づいて顔サイズが算出される。次のステップＳ６１０７で、被写体距離推定部１０４において、ステップＳ６１０６で取得された顔サイズと、ステップＳ６１０４で取得された焦点距離情報とに基づき被写体までの距離が推定される。そして、この推定された推定被写体距離と、焦点距離情報と、絞り情報とに基づき、ステップＳ６１０８で、被写界深度が算出される。ここでは、例えば図６（ａ）または図６（ｂ）に例示される範囲（ａ）、すなわち距離２ｍ〜８ｍが被写界深度として算出されたものとする。

算出された被写界深度に基づき、次のステップＳ６１０９で、オートフォーカススキャンを行う範囲が限定され、ステップＳ６１１０で、本発明の実施形態によるオートフォーカス制御（顔ＡＦ制御と呼ぶ）の開始待ち状態とされる。なお、ステップＳ６１０９によるオートフォーカススキャン範囲の限定の詳細については、後述する。

図８は、上述の図７のフローチャートによるライブビュー動作時に、撮像装置１００に対して例えば撮像操作が行われた場合の一例の処理を示すフローチャートである。すなわち、図８は、図７のフローチャートにおけるステップＳ６１１０の後に行われる、撮像操作時の一例の処理を示す。ＡＦボタン１３１またはシャッタボタン１３０が操作されると、顔ＡＦ制御が開始される。先ず、ステップＳ６２０１で、カメラ制御部１１０によりレンズユニット３００と通信が行われ、現在の絞り値が取得され、次のステップＳ６２０２で、取得された現在の絞り値が次候補絞り値と同じか否かが判定される。若し、両者が同じであると判定されたら、処理はステップＳ６２０３に移行され、現在の絞り値（第１候補の絞り値）に基づいたスキャン範囲でＡＦ制御を行う。ステップＳ６２０３のＡＦ制御の後、処理がステップＳ６２１６に移行されて、合焦判定がなされる。

一方、ステップＳ６２０２において、現在の絞り値が次候補絞り値と異なると判定された場合は、処理はステップＳ６２０４に移行される。ステップＳ６２０４では、次候補絞り値が算出され、算出された次候補絞り値（第２候補の絞り値）に応じてカメラ制御部１１０により絞り制御部３０４が制御され、絞り３０２が駆動される。なお、次候補絞り値は、例えば、現在の絞り値に対して絞り３０２を開放方向に所定分だけ駆動させる値である（第２の絞り値）。

なお、次候補絞り値は、オートフォーカスによるスキャン範囲を限定してスキャン時間を短くするために、予め、レンズ、焦点距離および被写体距離毎に絞り値候補をテーブル化しておき、ＲＯＭに記憶しておく。これに限らず、汎用性を高めるために、レンズユニット３００から取得できる被写界深度情報から次候補絞り値を算出してもよい。

ステップＳ６２０４で絞り３０２が駆動されると、処理はステップＳ６２１９に移行され、顔情報検出回路１０２により、画像蓄積バッファ１０１ａに記憶された画像データが取得される。そして、次のステップＳ６２０５で、取得された画像データから顔が検出されたか否かが判定される。若し、顔が検出されたと判定されたら、処理はステップＳ６２０６に移行される。

ステップＳ６２０６では、ＡＦ制御部１１１により、焦点距離情報および現在の絞り情報に基づき被写界深度が算出される。ここでは、図６（ａ）または図６（ｂ）に例示される範囲（ｃ）、すなわち距離４ｍ〜６ｍが被写界深度として算出されたものとする。そして、次のステップＳ６２０７で、算出された被写界深度の深さに応じてオートフォーカスのスキャン範囲が限定され、第２候補の絞り値に基づいたスキャン範囲でオートフォーカス制御が行われる（ステップＳ６２０８）。そして、処理はステップＳ６２１６に移行され、合焦判定がなされる。

第２候補の絞り値による顔検出は、図７のステップＳ６１０２による、最初のＡＦボタン１３１またはシャッタボタン１３０が操作される前になされた顔検出の際の絞り値よりも絞りが開放された状態で、撮像素子１０１に撮像された画像データに基づき行われる。そのため、被写界深度が浅くなって顔検出可能な範囲が狭くなり、この狭くなった範囲内でオートフォーカス制御を行えばよいことになる。すなわち、オートフォーカスのスキャン範囲を狭めることが可能である。

一方、上述したステップＳ６２０５において、顔が検出されなかったと判定されたら、処理はステップＳ６２０９に移行される。ステップＳ６２０９では、図７のステップＳ６１０３で顔が検出された場合の焦点距離情報（ステップＳ６１０５参照）と、現在の絞り情報とに基づき、被写界深度の算出が行われる。ここでは、図６（ａ）または図６（ｂ）に例示される範囲（ｃ）、すなわち距離４ｍ〜６ｍが被写界深度として算出されたものとする。

次のステップＳ６２１０で、算出された被写界深度に応じてオートフォーカスによるスキャン範囲を限定する。そして、カメラ制御部１１０は、ステップＳ６２１０で限定されたスキャン範囲と、図７のステップＳ６１０９で限定されているスキャン範囲とを比較し、差分を記憶する。この差分は、上述の図６（ａ）または図６（ｂ）の例では、距離２ｍ〜４ｍの範囲（ｂ）および距離６ｍ〜８ｍの範囲（ｄ）となる。

処理はステップＳ６２１１に移行され、図７のステップＳ６１０７で顔サイズ情報に基づき推定した推定被写体距離と、図７のステップＳ６１０５で取得されたレンズ距離情報とが比較される。比較の結果、顔サイズ情報に基づき推定した推定被写体距離の方が、レンズ距離情報で示される距離よりも近いと判定されたら、処理はステップＳ６２１２に移行される。

ステップＳ６２１２では、オートフォーカスのスキャン範囲が、至近端側の範囲に限定される。そして、次のステップＳ６２１３で、第２候補の絞り値に基づいたスキャン範囲との差分、すなわち、ステップＳ６２１０で記憶された差分のうち、至近端側の差分で示される範囲をスキャン範囲として、オートフォーカス制御が行われる。上述の図６（ａ）または図６（ｂ）の例では、距離２ｍ〜４ｍの範囲（ｂ）がスキャン範囲とされる。そして、処理はステップＳ６２１６に移行され、合焦判定が行われる。

一方、ステップＳ６２１１で、顔サイズ情報に基づき推定した推定被写体距離の方が、レンズ距離情報で示される距離より遠いと判定されたら、処理はステップＳ６２１４に移行され、オートフォーカスのスキャン範囲が、無限端側に限定される。そして、次のステップＳ６２１５で、第２候補の絞り値に基づいたスキャン範囲との差分、すなわち、ステップＳ６２１０で記憶された差分のうち、無限端側の差分で示される範囲をスキャン範囲として、オートフォーカス制御が行われる。上述の図６（ａ）または図６（ｂ）の例では、距離６ｍ〜８ｍの範囲（ｄ）がスキャン範囲とされる。そして、処理はステップＳ６２１６に移行され、合焦判定が行われる。

ステップＳ６２１６では、上述した処理結果に基づき、ステップＳ６２０３、ステップＳ６２０８、ステップＳ６２１３およびステップＳ６２１５の何れかの方法にてオートフォーカス制御を実行し、合焦判定を行う。若し、合焦出来たと判定されたら、処理はステップＳ６２１７に移行され、例えばシャッタボタン１３０に対する操作に応じた撮影がなされる。撮影時には、例えばユーザが撮像装置１００に対して設定した値に絞り値を変更するとよい。一方、合焦出来なかったと判定されたら、処理はステップＳ６２１８に移行され、撮影は行わず、オートフォーカス制御の開始待ちの状態とされる。

なお、被写界深度の深いレンズや、レンズ駆動の遅いレンズのことも考慮して、ステップＳ６２０２からステップＳ６２０７の、絞り値変更、顔検出および被写界深度の算出を複数回行って、スキャン範囲を更に狭めるようにしてもよい。この場合、絞り３０２は、直前の絞り値に対して所定量だけ開放方向に駆動される。

＜オートフォーカススキャン範囲の限定について＞
次に、ステップＳ６１０９におけるオートフォーカス範囲の限定の方法について、図９を用いて説明する。図９は、フォーカスレンズ位置に対するＡＦ評価値の例を、被写界深度に応じて示す。なお、図９において、縦軸がＡＦ評価値、横軸がフォーカスレンズ位置を示し、曲線Ａが被写界深度が深い場合の例、曲線Ｂが被写界深度が浅い場合の例をそれぞれ示す。また、位置Ｃは、合焦点を示す。

曲線Ａに示されるように、被写界深度が深いときは、オートフォーカス評価値の変化幅が小さくなるため、顔を検出できる範囲が広くなる。したがって、合焦点を見つけるためには、広い範囲のオートフォーカス範囲からＡＦ評価値を検出する必要がある。

一方、曲線Ｂに示されるように、被写界深度が浅いときは、フォーカスレンズの動きに対するオートフォーカス評価値の変化幅が大きくなるため、顔を検出できる範囲が狭くなる。したがって、上述した被写界深度が深い場合に比べてより狭い範囲のオートフォーカス範囲からＡＦ評価値を検出することで、合焦点を見つけることができる。

以上により、例えば、オートフォーカスのスキャン範囲を、被写界深度の所定倍とすると共に、推定された推定被写体距離の周辺をオートフォーカス範囲として設定する。これにより、被写界深度が深い場合には、オートフォーカスのスキャン範囲を広い範囲、被写界深度が浅い場合には、オートフォーカスのスキャン範囲を狭い範囲とすることができる。

このように、被写界深度を変更して得られた顔情報を利用して、オートフォーカスのスキャン範囲を狭く設定してオートフォーカススキャンを行う。これにより、オートフォーカスを精度よく行うことができると共に、オートフォーカスに要する時間の短縮を図ることができる。さらに、オートフォーカスのスキャン範囲を、被写体距離推定部１０４で推定された推定被写体距離を含むように設定すると共に、推定された推定被写体距離の周辺を重点的にスキャンするようにオートフォーカス範囲を設定する。これにより、効率的なオートフォーカス制御を実現することができる。

ここで、被写界深度とは、図１０（ａ）および図１０（ｂ）に示すように、推定された推定被写体距離に相当する合焦点距離、レンズ焦点距離、許容錯乱円および絞り値を用いて下記の式（１）および式（２）に基づき決定された、近点から遠点までの範囲を指す。

近点(手前への深さ)＝(過焦点距離（Ｈｄ）×合焦点距離)／(過焦点距離（Ｈｄ）＋合焦点距離) …(１)
遠点(奥側への深さ)＝(過焦点距離(Ｈｄ)×合焦点距離)／(過焦点距離(Ｈｄ)−合焦点距離) …(２)

例えば、図１０（ｂ）のように、過焦点が合焦点となった場合、撮像位置（０）と過焦点との中点（Ｈｄ／２）から無限遠までの範囲において被写体がほぼ明瞭に写ることになる。過焦点距離は、レンズ焦点距離が長いほど、また、絞り値が小さいほど増大する。撮像位置（０）と過焦点との中点（Ｈｄ／２）は、過焦点を合焦点とした場合の被写界深度に入る最短距離地点、すなわち近点でもある。

過焦点距離は、下記の式（３）に基づいて決定される。
過焦点距離＝(レンズ焦点距離)２／(許容錯乱円×絞り値) …(３)
ここで、許容錯乱円とは、通常の観察距離における肉眼視で認識され得る下限値である「ぼけ許容度」をいう。

なお、本実施形態では、オートフォーカス範囲の限定やフォーカスレンズの動き幅の設定のために算出する被写界深度は、被写体距離推定部１０４で推定された推定被写体距離に相当する合焦点距離と、レンズ焦点距離情報、絞り情報に基づき算出して求めている。これは、この例に限定されず、例えば、撮像装置１００の工場出荷時などに、予めフォーカスレンズの位置に対応した被写体距離（合焦点距離）を測定してメモリに記憶させるようにしてもよい。この場合、図７のステップＳ６１０８において、ステップＳ６１０２で顔を撮影した際のフォーカスレンズ位置に対応してメモリから読み出した合焦点距離と、レンズ焦点距離情報および絞り情報とに基づき、被写界深度の算出を行うことができる。

本発明の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。 画像上の画素数で示される顔サイズと目の間隔との統計的関係の一例を示す図である。 顔サイズと被写体距離の関係の例を示す図である。 顔情報検出回路による一例のパターン認識処理を示すフローチャートである。 顔情報検出回路による一例のパターン認識処理を説明するための図である。 本発明の実施形態による処理を概略的に説明するための図である。 本発明の実施形態によるライブビュー時の一例の処理を示すフローチャートである。 本発明の実施形態による、ライブビュー動作時に撮像装置に対して撮像操作が行われた場合の一例の処理を示すフローチャートである。 オートフォーカス範囲を限定する方法を説明するための図である。 被写界深度について説明するための図である。

符号の説明

１００ 撮像装置
１０１ 撮像素子
１０１ａ 画像蓄積バッファ
１０２ 顔情報検出回路
１０３ 顔サイズ判別部
１０４ 被写体距離推定部
１０７ カメラ信号処理回路
１１０ カメラ制御部
１１１ ＡＦ制御部
１１４ ミラー
１１５ シャッタ
１１６ Ａ／Ｄ変換器
１１９ インターフェイス
１３０ シャッタボタン
１３１ ＡＦボタン
３００ レンズユニット
３０１ 撮影レンズ
３０２ 絞り
３０４ 絞り制御部
３０７ レンズシステム制御部

Claims (6)

1. ライブビューが可能な撮像装置であって、
   フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子と、
   前記撮像素子から出力された前記撮像信号から顔を検出する顔検出手段と、
   前記顔検出手段で検出された前記顔までの距離を推定する被写体距離推定手段と、
   前記撮像光学系の焦点距離と、前記絞りの値と、前記被写体距離推定手段で推定された推定被写体距離とに基づき被写界深度を算出する被写界深度算出手段と、
   前記フォーカスレンズをスキャンして、前記撮像信号に基づいてオートフォーカス制御を行う制御手段と
   を有し、
   前記制御手段は、
   撮像の際、前記絞りを、ライブビュー時での第１の絞り値よりも開放方向の第２の絞り値に駆動し、前記第２の絞り値で得られた撮像信号から前記顔検出手段が顔を検出したら、前記第２の絞り値を用いて前記被写界深度算出手段で算出される被写界深度に対応する範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定する
   ことを特徴とする撮像装置。
2. 前記制御手段は、
   前記撮像の際に前記第２の絞り値で得られた撮像信号から前記顔検出手段が顔を検出しなかったら、
   現在のフォーカスレンズ位置に対応する合焦距離と前記被写体距離推定手段で推定された推定被写体距離とを比較し、
   前記推定被写体距離が前記合焦距離よりも遠ければ、前記オートフォーカス制御の際のスキャン範囲を、前記被写界深度算出手段で前記第１の絞り値を用いて算出される被写界深度と、前記第２の絞り値を用いて算出される被写界深度との差分のうち無限端側に対応する範囲に決定し、
   前記推定被写体距離が前記合焦距離よりも近ければ、前記オートフォーカス制御の際のスキャン範囲を、前記被写界深度算出手段で前記第１の絞り値を用いて算出される被写界深度と、前記第２の絞り値を用いて算出される被写界深度との差分のうち至近端側に対応する範囲に決定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   前記撮像の際に、現在の前記第１の絞り値と該第１の絞り値よりも前記開放方向に駆動すべき絞り値とを比較し、両者が等しければ、前記スキャン範囲を、前記被写界深度算出手段で前記第１の絞り値を用いて算出される被写界深度に対応する範囲に決定する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記制御手段は、
   前記撮像の際に、前記絞り値を直前の絞り値に対して開放方向に駆動して前記顔検出手段による顔の検出を行い、顔の検出結果に応じて、該開放方向に駆動された該絞り値を用いて前記被写界深度算出手段で被写界深度を算出する処理を繰り返して行い、該繰り返しの結果により得られた、より開放方向の絞り値を用いて前記被写界深度算出手段で算出される被写界深度に対応する範囲を、前記スキャン範囲に決定する
   ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記被写体距離推定手段は、
   前記顔検出手段で検出された顔の、前記撮像信号による画像上のサイズに基づき前記顔までの距離を推定する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の撮像装置。
6. ライブビューが可能な撮像装置の制御方法であって、
   フォーカスレンズおよび絞りを備える撮像光学系を介して入射した光に応じて撮像信号を出力する撮像素子から出力された前記撮像信号から顔を検出する顔検出ステップと、
   前記顔検出ステップで検出された前記顔までの距離を推定する被写体距離推定ステップと、
   前記撮像光学系の焦点距離と、前記絞りの値と、前記被写体距離推定ステップで推定された推定被写体距離とに基づき被写界深度を算出する被写界深度算出ステップと、
   前記フォーカスレンズをスキャンして、前記撮像信号に基づいてオートフォーカス制御を行う制御ステップと
   を有し、
   前記制御ステップは、
   撮像の際、前記絞りを、ライブビュー時での第１の絞り値よりも開放方向の第２の絞り値に駆動し、前記第２の絞り値で得られた撮像信号から前記顔検出ステップにより顔を検出したら、前記第２の絞り値を用いて前記被写界深度算出ステップで算出される被写界深度に対応する範囲を前記オートフォーカス制御での前記フォーカスレンズのスキャン範囲に決定する
   ことを特徴とする撮像装置の制御方法。

Images