JP2008191683A

JP2008191683A - 撮像装置及び撮像方法

Info

Publication number: JP2008191683A
Application number: JP2008109027A
Authority: JP
Inventors: Masahiro Takayama; 将浩高山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-06-03
Filing date: 2008-04-18
Publication date: 2008-08-21
Also published as: US8300139B2; CN1716078B; US7733412B2; US20100201864A1; CN1716078A; US20050270410A1

Abstract

【課題】オートフォーカススキャン時間を短縮することができる撮像装置及び撮像方法を提供する。
【解決手段】撮像装置１００は、撮像素子１０１が取得した画像データから被写体の顔の情報を検出する顔情報検出回路１０２と、検出された被写体の顔の情報に基づいて被写体距離を推定する被写体距離推定部１０４と、被写体距離推定部１０４により推定された被写体距離に基づいて、オートフォーカスを制御するオートフォーカス（ＡＦ）制御部１１１とを備える。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関し、特に、オートフォーカス機能を備えた撮像装置及び撮像方法に関する。

オートフォーカス（ＡＦ）機能を備えた撮像装置は、ＣＣＤに結像した被写体画像のコントラストを電気信号に変換した後、ＨＰＦ（ハイパスフィルター）によって増幅し、この増幅された電気信号の波形の解析結果に基づいて撮像装置の焦点を被写体に合わせる（合焦する）ことによりオートフォーカスを実行する。

即ち、上記撮像装置は、増幅された電気信号の波形が、撮像装置の焦点が被写体に合っていないときはなだらかになり、撮像装置の焦点が被写体に合っているときは急峻になるということを利用して、レンズ駆動に合わせて撮影された複数の被写体画像のうち波形が最も急峻になる位置にレンズを移動させる。

上記オートフォーカスは、一般的に、ＣＣＤ面の中央部又は複数のエリアを測距エリアとして行われる。

従来のオートフォーカス（ＡＦ）機能を備えた撮像装置は、人物である被写体の顔全体を測距エリアとして測距エリアまでの距離を検出し、この検出された距離に基づき、被写体までの距離が被写界深度内となるように、焦点位置、レンズ焦点距離、及び絞り値を調節する（例えば、特許文献１参照）。

ここで、被写界深度とは、被写体が鮮明に写る深度方向の範囲（合焦範囲）のことであり、撮像装置から被写体までの距離、レンズ焦点距離、及び絞り値によって変化する。撮像装置から被写体までの距離が長く、レンズ焦点距離が短く、絞り値が大きい場合においては、撮像装置から被写体までの距離が被写界深度内となり、撮像装置はオートフォーカスを行わなくても被写体を鮮明に写すことができる。

また、従来の他の撮像装置は、撮影した被写体の画像が映し出される撮影画面において被写体画像が占める領域の大きさに基づいて、撮像装置から被写体までの距離を検出する距離検出装置を有する（例えば、特許文献２参照）。
特許第３１６４６９２号公報特開２００３−７５７１７号公報

しかしながら、上述した従来の撮像装置は、オートフォーカスの必要があるか否かにかかわらず、オートフォーカスの制御方法が同じであったため、精度の良いオートフォーカスを行うことができなかったり、オートフォーカスを実行する際に費やされるオートフォーカススキャン時間を短縮することができなかったりした。

本発明の目的は、オートフォーカススキャン時間を短縮することができる撮像装置を提供することにある。

上記目的を達成するために、請求項１記載の撮像装置は、被写体を撮像して当該被写体の画像データを取得する撮像手段と、前記画像データから前記被写体の顔のサイズ又は目の間隔を検出するサイズ検出手段と、前記検出された顔のサイズ又は目の間隔に基づいて前記撮像手段から前記被写体までの被写体距離を推定する距離推定手段と、フォーカスレンズを移動させながら前記撮像手段により画像データを取得し、当該画像データに基づいて前記フォーカスレンズ位置における合焦状態を示すＡＦ評価値を取得し、当該取得されたＡＦ評価値に応じて前記フォーカスレンズの位置を調節するように制御する制御手段と、を有し、前記フォーカスレンズを移動させる範囲は、前記推定された被写体距離を含む被写界深度の範囲よりも広い範囲であり、前記被写界深度が深いほど広く、前記被写界深度が浅いほど狭い範囲であることを特徴とする。

上記目的を達成するために、請求項３記載の撮像方法は、被写体を撮像して取得された画像データから前記被写体の顔のサイズ又は目の間隔を検出するサイズ検出ステップと、前記検出された顔のサイズ又は目の間隔に基づいて前記撮像手段から前記被写体までの被写体距離を推定する距離推定ステップと、フォーカスレンズを移動させながら前記撮像手段により画像データを取得し、当該画像データに基づいて前記フォーカスレンズ位置における合焦状態を示すＡＦ評価値を取得し、当該取得されたＡＦ評価値に応じて前記フォーカスレンズの位置を調節するように制御する制御ステップと、を有し、前記フォーカスレンズを移動させる範囲は、前記推定された被写体距離を含む被写界深度の範囲よりも広い範囲であり、前記被写界深度が深いほど広く、前記被写界深度が浅いほど狭い範囲であることを特徴とする。

本発明によれば、オートフォーカススキャン時間を短縮することができる撮像装置及び撮像方法を提供することができる。

以下、本発明の実施の形態を、図面を参照しながら詳述する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。

図１の撮像装置１００は、人物である被写体を撮影して画像データを出力する撮像素子１０１と、撮像素子１０１から出力されるアナログ信号をディジタル信号（画像データ）に変換するＡ／Ｄ変換器１１６と、Ａ／Ｄ変換された画像データを蓄積する画像蓄積バッファ１０１ａと、画像蓄積バッファ１０１ａから取得した画像データから被写体の顔の情報（目の位置情報、顔座標等）を検出する顔情報検出回路１０２と、検出された被写体の顔の情報に基づいて顔のサイズを判別する顔サイズ判別部１０３と、撮像素子１０１のオートフォーカスを実行すると共に、レンズ焦点距離及び絞り値を出力するカメラ制御部１１０（制御手段）と、顔サイズ判別部１０３により判別された顔のサイズ（顔サイズ情報）、及びカメラ制御部１１０により出力されたレンズ焦点距離に基づいて撮像素子１０１から被写体までの被写体距離を推定する被写体距離推定部１０４と、被写体距離推定部１０４により推定された被写体距離、及びカメラ制御部１１０により出力されたレンズ焦点距離、絞り値に基づいて、被写界深度を算出するカメラ制御部１１０とを備え、カメラ制御部１１０は、算出された被写界深度に基づいて撮像素子１０１のオートフォーカスを制御するオートフォーカス（ＡＦ）制御部１１１（制御手段）を内蔵する。カメラ制御部１１０は、さらに、露出（ＡＥ）制御部（不図示）等も備え、上記オートフォーカス制御に加えて露出制御をも実行し、撮像装置１００全体の撮影制御を行う。

また、レンズユニット３００内のズームレンズ及びフォーカスレンズを含む撮影レンズ３０１に入射した光線は、絞り３０２、レンズマウント３０３、１０６、ミラー１１４及びシャッタ１１５を通じて導かれた撮像素子１０１上に光学像として結像する。１１７は、測光情報に基づいて絞り３０２を制御する絞り制御部３０４と連携しながらシャッタ１１５を制御するシャッタ制御部である。３０５はカメラ制御部１１０からの制御信号をもとに、撮影レンズ３０１のフォーカシングを制御する測距制御部である。３０６は撮影レンズ３０１のズーミングを制御するズーム制御部である。３０７はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３０７は、動作用の定数、変数、プログラムなどを記憶するメモリやレンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。３０８はレンズユニット３００側でレンズユニット３００を撮像装置１００と接続するためのインターフェースである。３０９、１１８はレンズユニット３００と撮像装置１００とを電気的に接続するコネクタである。１１９は撮像装置１００側で撮像装置１００をレンズユニット３００と接続するためのインターフェースである。

また、１０７は撮影した画像データに必要な信号処理を行うカメラ信号処理回路、１０９は撮像装置から取り外し可能な画像記録媒体、１０８は信号処理された画像データを画像記録媒体１０９に記録する記録回路、１１３は信号処理された画像データを表示する表示装置、１１２は表示装置１１３を制御する表示制御回路である。

撮像装置１００の特徴は、オートフォーカス機能を有する点であるので、カメラ制御部１１０の露出（ＡＥ）制御部等の説明は省略する。

顔情報検出回路１０２は、後述する図５のパターン認識処理を実行して画像データから顔の情報を検出する。この顔の画像データの検出方法としては、パターン認識を用いる方法以外に、ニューラルネットワーク等による学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法等の多数の方法があり、さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法等がある。

ここで、パターン認識とは、抽出されたパターンを予め定められた概念（クラス）の１つに対応（マッチング）させる処理であり、テンプレートマッチングとは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法であり、例えば、「対象物体の位置検出」、「運動物体の追跡」、及び「撮影時期の異なる画像の位置合わせ」等に利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。

顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報から顔領域（顔座標）におけるピクセル数をカウントし、このピクセル数により顔のサイズを判別する。

顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報（目の位置情報）に基づいて目の間隔を算出し、予め求めておいた目の間隔と顔のサイズ（ピクセル数）との統計的関係（図２）を用いてテーブル化し、顔のサイズを判別してもよく、顔の四隅（所定位置）の座標値から顔領域におけるピクセル数をカウントすることにより、顔のサイズを判別してもよい。

被写体距離推定部１０４は、顔のサイズに基づいて撮像装置１００から被写体までの被写体距離を推定する。具体的には、被写体距離推定部１０４は、顔サイズ判別部１０３により判別された顔のサイズ（ピクセル数）と、顔のサイズ（ピクセル数）及び被写体距離の関係を示したグラフ（図３（ａ））を基に作成されたレンズ焦点距離３８ｍｍ（広角）時の変換テーブルとを参照して被写体距離を推定する。

ズーム時におけるレンズ焦点距離が３８ｍｍでないときは、（３８／ズーム時におけるレンズ焦点距離（ｍｍ））及び（判別した顔のサイズ）の積算値を用いて、上記変換テーブルを参照する。

図４は、図１における顔情報検出回路によって実行されるパターン認識処理を示すフローチャートである。

本説明では、並行して図５を参照する。

図４において、画像蓄積バッファ１０１ａから取得した画像データ５０３を前処理し（ステップＳ４０１）、前処理された顔の画像データから特徴的部分のパターンを抽出し（ステップＳ４０２）、抽出されたパターンをテンプレート（標準パターン）５０１に対応させる（テンプレートマッチング）ことにより、認識パターンを取得して（ステップＳ４０３）、取得された認識パターンを顔サイズ判別部１０３に出力して（ステップＳ４０４）、パターン認識処理を終了する。

上記テンプレートマッチングは、以下のように行われる。

図５において、まず、テンプレート５０１の中心点５０２を取得した画像データ５０３のある座標点（ｉ，ｊ）に置き、この中心点５０２を走査しながら、テンプレート５０１と画像データ５０３との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。顔の画像データ５０３から抽出されたパターンを、例えば目や耳等の形状を含むテンプレート５０１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。

図６は、図１の撮像装置によって実行される撮像処理を示すフローチャートである。

図６において、まず、撮像素子１０１において被写体を撮像して被写体の画像データを取得し（ステップＳ６０１）、取得された画像データから顔情報検出回路１０２において顔の情報を検出したか否かを判定する（ステップＳ６０２）。オートフォーカス制御部１１１は、顔の情報を検出したときは、顔サイズ判別部１０３において検出された顔の情報に基づいて顔のサイズを判別し（ステップＳ６０３）、この判定された顔のサイズに基づいて被写体距離推定部１０４で被写体距離を推定し（ステップＳ６０４）、この推定された被写体距離、レンズ焦点距離情報、及び絞り情報をもとに被写界深度の算出を行い（ステップＳ６０５）、算出された被写界深度の深さに応じてオートフォーカス範囲を限定し（ステップＳ６０８）、フォーカスレンズの駆動を行う。ステップＳ６０８のオートフォーカス範囲の限定方法については後述する。

オートフォーカス制御部１１１は、図７に示すように、オートフォーカス範囲を限定した後、推定された被写体距離周辺ではフォーカスレンズの動き幅を小さくとり、それ以外ではフォーカスレンズの動き幅を大きくとってＡＦスキャンを行う（ステップＳ６０９）。そして、オートフォーカス範囲のＡＦスキャンが終了し、合焦位置が決定した場合は（ステップＳ６０７）、合焦位置までレンズを駆動し、撮影（ステップＳ６１０）を行う。合焦判定（ステップＳ６０７）で合焦しなかった場合は、オートフォーカス範囲を全域に広げて再度ＡＦスキャンを行ってオートフォーカス制御を行ったり、位相差ＡＦやコントラストＡＦによるオートフォーカス制御を行ったりして（ステップＳ６０６）撮影し（ステップＳ６１０）、本処理を終了する。

また、ステップＳ６０２の判別の結果、取得された画像データから顔の情報が検出されなかったときには、ステップＳ６０６のオートフォーカス制御を実行し、撮影（ステップＳ６１０）を行って本処理を終了する。

次に、ステップＳ６０８におけるオートフォーカス範囲の限定の仕方について、図８を用いて説明する。図８は、縦軸がＡＦ評価値、横軸がフォーカスレンズ位置であり、被写界深度が深いときと浅いときのフォーカスレンズ位置に対するＡＦ評価値を表す図である。

被写界深度が深いときは（図８の曲線Ａ）、オートフォーカス評価値の変化幅が小さく、フォーカスレンズの動きが小さいと最適なピントＣに合焦しにくいので、広い範囲のオートフォーカス範囲からＡＦ評価値を検出しないと合焦点を見つけることができない。逆に、被写界深度が深くないときは（図８の曲線Ｂ）、フォーカスレンズの動きに対するオートフォーカス評価値の変化幅が大きく、フォーカスレンズの動きが小さくても最適なピントＣに合焦し易いので、狭い範囲のオートフォーカス範囲からＡＦ評価値を検出しても合焦点を見つけることができる。よって、例えば、オートフォーカススキャンを被写界深度の所定倍数とし、また、推定された被写体距離の周辺をオートフォーカス範囲として設定すれば、被写界深度が深い場合には、オートフォーカス範囲は広い範囲、被写界深度が浅い場合には、オートフォーカス範囲は狭い範囲とすることができる。

このように、フォーカスレンズの駆動範囲を被写界深度が深い場合には広く、被写界深度が浅い場合には狭く設定してＡＦスキャンすることにより、ＡＦの精度を良くすると共に、ＡＦ時間の短縮を図ることができる。さらに、被写体距離推定部１０４で推定された被写体距離が入るようオートフォーカス範囲を設定し、かつ、推定された被写体距離の周辺を重点的にＡＦスキャンするようにオートフォーカス範囲を設定しているので、効率的なオートフォーカス制御を実現することができる。

ここで、被写界深度とは、図９（ａ），（ｂ）に示すように、推定された被写体距離に相当する合焦点距離、レンズ焦点距離、許容錯乱円、及び絞り値を用いて下記式（１）及び式（２）に基づいて決定された近点から遠点までの範囲のことである。

近点（手前への深さ）
＝（過焦点距離（Ｈｄ）×合焦点距離）／（過焦点距離（Ｈｄ）＋合焦点距離） … （１）
遠点（奥側への深さ）
＝（過焦点距離（Ｈｄ）×合焦点距離）／（過焦点距離（Ｈｄ）−合焦点距離） … （２）
例えば、図９（ｂ）のように、過焦点が合焦点となった場合、撮像位置（０）と過焦点との中点（Ｈｄ／２）から無限遠までの範囲において被写体がほぼ明瞭に写ることになる。過焦点距離は、レンズ焦点距離が長いほど、また、絞り値が小さいほど増大する。撮像位置（０）と過焦点との中点（Ｈｄ／２）は、過焦点を合焦点とした場合の被写界深度に入る最短距離地点、即ち近点でもある。

過焦点距離は、下記式（３）に基づいて決定される。

過焦点距離＝（レンズ焦点距離）２／（許容錯乱円×絞り値） … （３）
ここで、許容錯乱円とは、通常の観察距離における肉眼視で認識され得る下限値である「ぼけ許容度」をいう。

なお、本実施の形態では、オートフォーカス範囲の限定やフォーカスレンズの動き幅を設定するために算出する被写界深度は、被写体距離推定部１０４で推定された被写体距離に相当する合焦点距離と、レンズ焦点距離情報、絞り情報をもとに算出を行って求める構成としたが、工場出荷時などに予めフォーカスレンズの位置に対応した被写体距離（合焦点距離）を測定してメモリに記憶させておいて、ステップＳ６０５において、ステップＳ６０１で顔を撮影した際のフォーカスレンズ位置に対応した合焦点距離をメモリから読み出して、さらに、レンズ焦点距離情報及び絞り情報を基にして被写界深度の算出を行ってもよい。

（第２の実施の形態）
図１０は本発明の第２の実施形態の撮像装置のブロック図である。第１の実施の形態の構成と重複する部分には同一符号を付して説明を省略する。図１０の１０５はオートフォーカス（ＡＦ）実行判定部で、被写体距離推定部１０４により推定された被写体距離、及びカメラ制御部１１０により出力されたレンズ焦点距離、絞り値に基づいて、オートフォーカスを実行せずにそのまま撮影するか又はオートフォーカス範囲を限定してオートフォーカスを実行した上で撮影するかの判定を行う。カメラ制御部１１０は、オートフォーカス実行判定部１０５における判定結果に基づいて撮像素子１０１のオートフォーカスを制御するオートフォーカス制御部１１１を内蔵し、撮像装置１００全体の撮影制御を行う。
本第２の実施の形態が第１の実施形態と異なる点は、推定された被写体距離、レンズ焦点距離、及び絞り値によりＡＦを実行するか否かのＡＦ判定を行うことである。

本第２の実施の形態に係る撮像装置の動作を、図１１を用いて説明する。

図１１は、本発明の第２の実施の形態の撮像装置によって実行される撮像処理のフローチャートである。

図１１において、まず、撮像素子１０１は被写体を撮像して被写体の画像データを取得し（ステップＳ１１０１）、取得された画像データから顔の情報を検出したか否かを判定し（ステップＳ１１０２）、顔の情報を検出したときは、検出された顔の情報に基づいて顔のサイズを判別し（ステップＳ１１０３）、この判定された顔のサイズに基づいて被写体距離を推定し（ステップＳ１１０４）、推定された被写体距離に相当する合焦点距離、レンズ焦点距離、及び絞りをもとに被写界深度を算出する（ステップＳ１１０５）。オートフォーカス実行判定部１０５は、ステップＳ１１０１の撮影条件における合焦点距離（フォーカスレンズの位置から分かるピントの合う距離）が、算出された被写界深度の中に入っているか否かを判定し、算出された被写界深度の中に入っている場合にはＡＦを行わず、算出された被写界深度の中に入っていない場合にはＡＦを実行する（ステップＳ１１０６）。

ステップＳ１１０６のＡＦ判定の結果、ＡＦせずにそのまま撮影と判定された場合は、オートフォーカス（ＡＦ）を実行せずにそのまま撮影し（ステップＳ１１０７）、本処理を終了する。

一方、推定された被写体距離からＡＦ実行と判定された場合は、オートフォーカス範囲を限定し（ステップＳ１１０９）、推定した被写体距離の周辺を重点的にスキャンする（ステップＳ１１１０）。これによりＡＦ時間の短縮を図ることができる。

このオートフォーカス範囲は、推定された被写体距離に相当する合焦点距離、レンズ焦点距離、及び絞り値から算出された被写界深度、または、ステップＳ１１０１の撮影条件における被写界深度に基づいて決定される。

図７に示すように、オートフォーカス範囲を限定した場合（ステップＳ１１０９）、推定された被写体距離周辺ではフォーカスレンズの動き幅を小さくとり、それ以外ではフォーカスレンズの動き幅を大きくとってオートフォーカスを行う（ステップＳ１１１０）。そして、オートフォーカス範囲のＡＦスキャンが終了し合焦位置が決定した場合は、合焦位置までレンズを駆動し、撮影を行う（ステップＳ１１０７）。

なお、合焦判定（ステップＳ１１１１）で合焦しなかった場合は、オートフォーカス範囲を全域に広げて再度ＡＦスキャンを行ったり、従来から実用化されている位相差ＡＦやコントラストＡＦによるオートフォーカス制御（ステップＳ１１０８）を行って撮影し（ステップＳ１１０７）、本処理を終了する。

また、ステップＳ１１０２の判別の結果、入力された画像データから顔の情報が検出されないときは、ステップＳ１１０８のオートフォーカス制御を行って撮影し（ステップＳ１１０７）、本処理を終了する。

図１１の処理によれば、顔検出情報を用いることで、被写体推定距離に基づいたＡＦ判定を行うことができ、ＡＦ実行不要と判定された場合は（ステップＳ１１０６でＹＥＳ）、オートフォーカス（ＡＦ）を行わずにそのまま撮影するので（ステップＳ１１０７）、オートフォーカスが必要でない場合にオートフォーカスせずにそのまま撮影することができ、もってオートフォーカススキャン時間を短縮することができる。さらに、ＡＦ判定によりＡＦ実行と判定された場合は、（ステップＳ１１０６でＮＯ）、被写体推定距離に基づいたオートフォーカススキャンを実行するので、効率的なオートフォーカス制御を実行することができる。

なお、本実施の形態では、ＡＦを実行するか否かの判定を、ステップＳ１１０１の撮影条件における合焦点距離（フォーカスレンズの位置から分かるピントの合う距離）が、算出された被写界深度の中に入っているか否かを判定し、算出された被写界深度の中に入っている場合にはＡＦを行わず、算出された被写界深度の中に入っていない場合にはＡＦを実行する（ステップＳ１１０６）という構成としたが、ステップＳ１１０１の撮影におけるレンズの被写界深度の中に、ステップＳ１１０９で推定された被写体距離が入っているか否かを判定することにより、レンズの被写界深度の中に被写体距離が入っている場合にはＡＦを行わず、レンズの被写界深度の中に被写体距離が入っていない場合にはＡＦを実行するという構成にしても良い。

（第３の実施の形態）
第３の実施の形態に係る撮像装置の動作を、図１２を用いて説明する。

本第３の実施の形態に係る撮像装置の構成は、第２の実施の形態の構成と同じであるので同一符号を付して説明を省略する。本第３の実施形態が第１の実施形態及び第２の実施形態と異なる点は、顔検出に用いた撮影条件における被写界深度を計算し、その結果に基づいてＡＦを実行するか否かのＡＦ判定を行うとともに、被写界深度に基づいてレンズの動き幅を決定し、オートフォーカスを行うことである。

図１２は、第３の実施の形態に係る撮像装置によって実行される撮像処理のフローチャートである。

図１２において、まず、撮像素子１０１は被写体を撮像して被写体の画像データを取得し（ステップＳ１２０１）、取得された画像データから顔の情報を検出したか否かを判定し（ステップＳ１２０２）、顔の情報を検出したときは、検出された顔の情報に基づいて顔のサイズを判別し（ステップＳ１２０３）、この判定された顔のサイズに基づいて被写体距離を推定し（ステップＳ１２０４）、オートフォーカス実行判定部１０５は、この推定された被写体距離が、ステップＳ１２０１におけるレンズの位置に対応した被写体距離、絞り値、レンズ焦点距離などの撮影条件に基づいて算出された被写界深度（ステップＳ１２０５）内か否かのＡＦ判定を行う（ステップＳ１２０６）。

ステップＳ１２０６のＡＦ判定の結果、推定された被写体距離がステップＳ１２０１の撮影条件における被写界深度の範囲であるときは、オートフォーカス（ＡＦ）を実行せずにそのまま撮影し（ステップＳ１２０７）、本処理を終了する。

一方、推定された被写体距離がステップＳ１２０１の撮影条件における被写界深度の範囲外であれば、推定された被写体距離に相当する合焦点距離、レンズ焦点距離、及び絞り値から算出された被写界深度が深いか否かを判別し、推定した被写体距離に対してレンズ焦点距離が短い又は絞り値が大きいために被写界深度が深いときは（図８の曲線Ａ）、フォーカスレンズの動き幅に対するオートフォーカス評価値の変化幅が小さく、フォーカスレンズの動き幅が小さいと最適なピントＣに合焦しにくいので、オートフォーカススキャンを最適なピントＣを中心としたオートフォーカス範囲においてフォーカスレンズの動き幅を大きくして実行した後に撮影が行われ、一方、推定した被写体距離に対してレンズ焦点距離が長い又は絞り値が小さいために被写界深度が深くないときは（図８の曲線Ｂ）、フォーカスレンズの動き幅に対するオートフォーカス評価値の変化幅が大きく、フォーカスレンズの動き幅が小さくても最適なピントＣに合焦し易いので、オートフォーカススキャンを最適なピントＣを中心としたオートフォーカス範囲においてフォーカスレンズの動き幅を小さくして実行した後に撮影して（ステップＳ１２０９）、本処理を終了する。

このオートフォーカス範囲は、推定された被写体距離に相当する合焦点距離、レンズ焦点距離、及び絞り値から算出された被写界深度、または、ステップＳ１２０１の撮影条件における被写界深度に基づいて決定される。

ステップＳ１２０２の判別の結果、入力された画像データから顔の情報が検出されないときは、オートフォーカス範囲を全域に広げて再度ＡＦスキャンを行ったり、従来から実用化されている位相差ＡＦやコントラストＡＦによるオートフォーカス制御を行ったりして撮影し（ステップＳ１２０８）、本処理を終了する。

図１２の処理によれば、推定された被写体距離がステップＳ１２０１の撮影条件における被写界深度内であるときは（ステップＳ１２０６でＹＥＳ）、オートフォーカス（ＡＦ）を行わずにそのまま撮影するので（ステップＳ１２０７）、オートフォーカスが必要でない場合にオートフォーカスせずにそのまま撮影することができ、もってオートフォーカススキャン時間を短縮することができ、さらに、推定された被写体距離がステップＳ１２０１の撮影条件における被写界深度外であるときは（ステップＳ１２０６でＮＯ）、被写界深度の深さに応じたオートフォーカススキャン（図８）をするので（ステップＳ１２０９）、効率的なオートフォーカス制御を実行することができる。

本実施の形態では、顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報から顔領域（顔座標）におけるピクセル数をカウントし、このピクセル数により顔のサイズを判別しているが、これに限定されるものではなく、顔領域が画像中に占める割合により顔のサイズを判別してもよい。

本実施の形態では、顔のサイズ（ピクセル数）と被写体距離との関係を示したグラフ（図３（ａ））を基に作成された変換テーブルとを参照して被写体距離を推定していたが、これに限定されるものではなく、被写体の顔領域が画像中に占める割合と被写体距離との関係を示したグラフ（図３（ｂ））を基に作成された変換テーブルにより被写体距離を推定してもよい。

また、本発明の目的は、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。或いは、上記プログラムは、該プログラムを記憶した記憶媒体から直接、又はインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

また、上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。

本発明の第１の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。図１における顔情報検出回路によって検出された顔の情報としての目の間隔と顔のサイズとの関係を示すグラフである。図１の撮像装置が被写体距離を推定する際に用いる変換テーブルグラフであり、（ａ）は被写体距離と顔のサイズとの関係の変換テーブルを示し、（ｂ）は被写体距離と顔のサイズ（画像中に占める割合）との関係の変換テーブルを示す。図１における顔情報検出回路によって実行されるパターン認識処理を示すフローチャートである。図４のパターン認識処理におけるマッチングの一例であるテンプレートマッチングを説明する図である。図１の撮像装置によって実行される撮像処理を示すフローチャートである。オートフォーカススキャンに用いるフォーカスレンズの制御方法を説明する図である。被写界深度に応じたフォーカスレンズの駆動範囲の限定方法を説明する図である。図１におけるオートフォーカス実行判定部の判定に使用される被写界深度を説明するのに用いられる図であり、（ａ）は通常の被写界深度の場合を示し、（ｂ）は合焦点が過焦点である場合を示す。第２の実施の形態に係る撮像装置の構成を概略的に示すブロック図である。第２の実施の形態に係る撮像装置によって実行される撮像処理のフローチャートである。第３の実施の形態に係る撮像装置によって実行される撮像処理のフローチャートである。

符号の説明

１００撮像装置
１０１撮像素子
１０２顔情報検出回路
１０３顔サイズ判別部
１０４被写体距離推定部
１０５オートフォーカス実行判定部
１１０カメラ制御部
１１１オートフォーカス制御部

Claims

被写体を撮像して当該被写体の画像データを取得する撮像手段と、
前記画像データから前記被写体の顔のサイズ又は目の間隔を検出するサイズ検出手段と、
前記検出された顔のサイズ又は目の間隔に基づいて前記撮像手段から前記被写体までの被写体距離を推定する距離推定手段と、
フォーカスレンズを移動させながら前記撮像手段により画像データを取得し、当該画像データに基づいて前記フォーカスレンズ位置における合焦状態を示すＡＦ評価値を取得し、当該取得されたＡＦ評価値に応じて前記フォーカスレンズの位置を調節するように制御する制御手段と、を有し、
前記フォーカスレンズを移動させる範囲は、前記推定された被写体距離を含む被写界深度の範囲よりも広い範囲であり、前記被写界深度が深いほど広く、前記被写界深度が浅いほど狭い範囲であることを特徴とする撮像装置。
前記推定された被写体距離が前記被写界深度の中に入っている場合には、前記制御手段によるフォーカスレンズの合焦状態の調節を行わないことを特徴とする請求項１に記載の撮像装置。
被写体を撮像して取得された画像データから前記被写体の顔のサイズ又は目の間隔を検出するサイズ検出ステップと、
前記検出された顔のサイズ又は目の間隔に基づいて前記撮像手段から前記被写体までの被写体距離を推定する距離推定ステップと、
フォーカスレンズを移動させながら前記撮像手段により画像データを取得し、当該画像データに基づいて前記フォーカスレンズ位置における合焦状態を示すＡＦ評価値を取得し、当該取得されたＡＦ評価値に応じて前記フォーカスレンズの位置を調節するように制御する制御ステップと、を有し、
前記フォーカスレンズを移動させる範囲は、前記推定された被写体距離を含む被写界深度の範囲よりも広い範囲であり、前記被写界深度が深いほど広く、前記被写界深度が浅いほど狭い範囲であることを特徴とする撮像方法。