JP2008089811A

JP2008089811A - 撮像装置及びその制御方法

Info

Publication number: JP2008089811A
Application number: JP2006268841A
Authority: JP
Inventors: Meiji Ito; 明治伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2008-04-17
Anticipated expiration: 2026-09-29
Also published as: JP4871691B2

Abstract

【課題】複数の対象物が検出された場合の焦点検出に要する時間を短縮する。
【解決手段】対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、推定された被写体距離に対応させて焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出することを特徴とする撮像装置を提供する。
【選択図】図１

Description

本発明は、焦点調節機能を備えた撮像装置及びその制御方法に関する。

焦点調節機能を備えた撮像装置は、撮像素子に結像した被写体画像のコントラストを電気信号に変換した後、ＨＰＦ（ハイパスフイルタ）によって増幅する。そして、この増幅された電気信号の波形の解析結果に基づいて撮像装置の焦点を被写体に合わせる（合焦する）ことにより焦点調節を実行する。

上記撮像装置は、増幅された電気信号の波形が、撮像装置の焦点が被写体に合っていないときはなだらかになり、撮像装置の焦点が被写体に合っているときは急峻になるということを利用する。そして、レンズ駆動に合わせて撮像された複数の被写体画像のうち波形が最も急峻になる位置（合焦位置）にレンズを移動させる。

上記焦点調節は、一般的に、撮像素子面の中央部又は複数の領域を焦点検出領域として行われる。

例えば、従来の焦点調節機能を備えた撮像装置の１つは、人物である被写体の顔全体を焦点検出領域として焦点検出領域までの距離を検出する。そして、この検出された距離に基づき、被写体までの距離が被写界深度内となるように、焦点位置、レンズ焦点距離、及び絞り値を調節する（特許文献１参照）。

ここで、被写界深度とは、被写体が鮮明に写る深度方向の範囲（合焦範囲）のことであり、撮像装置から被写体までの距離、レンズ焦点距離、及び絞り値によって変化する。撮像装置から被写体までの距離が長く、レンズ焦点距離が短く、絞り値が大きい場合においては、撮像装置から被写体までの距離が被写界深度内となり、撮像装置は焦点調節を行わなくても被写体を鮮明に写すことができる。

また、従来のデジタルカメラには、次のようなものがあった。まず、顔の大きさが所定値以上か否か判別し、判別結果に応じて焦点検出領域を設定し、顔の大きさ又は目の幅から被写体までの距離を演算し、フォーカスレンズの移動範囲を制限する。そして、複数の顔を検出した場合は、所定の顔に合焦する（例えば、特許文献２参照）。
特許第３１６４６９２号特開平２００４−３１７６９９号公報

しかしながら、上述した従来の撮像装置は、複数の顔検出時に精度の良い焦点調節を行うことができなかった。また、焦点調節を実行する際に費やされる焦点調節に要する焦点検出時間を短縮することができなかった。このため、複数の顔の中から１つの顔を選択する必要があり、検出された複数の顔に対し合焦することができないという課題があった。

本発明の目的は、複数の顔検出が検出された場合に焦点調節に要する時間を短縮することにある。

上記目的を達成するために、本発明の技術的特徴としては、フォーカスレンズを含む撮像光学系により結像された対象物像を撮像して得られた画像信号から対象物を検出する対象物検出工程と、前記検出された対象物の情報から被写体距離を推定する被写体距離推定工程と、前記画像信号中の前記対象物のある領域に焦点検出領域を設定する設定工程と前記焦点検出領域における画像信号に基づいて、前記撮像光学系の合焦状態を検出する焦点検出工程とを有し、前記焦点検出工程では、前記対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、前記推定された被写体距離に対応させて前記焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出するよう制御することを特徴とする。

複数の顔検出が検出された場合であっても焦点調節に要する時間を短縮することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置のブロック構成を概略的に示す図である。

図１において、撮像装置は、本体１００と、レンズユニット３００（撮像光学系）を備える。本体１００は、人物である被写体（対象物像）を撮像して画像信号を出力する撮像素子１０１、撮像素子１０１から出力されるアナログ信号をディジタル信号（画像データ）に変換するＡ／Ｄ変換器１０２を備える。

また、本体１００は、Ａ／Ｄ変換された画像データを蓄積する画像蓄積バッファ１０３、画像蓄積バッファ１０３から取得した画像データから被写体の顔（対象物）の情報（目の位置情報、顔座標等を含む）を検出する顔情報検出回路１０４を備える。

また、本体１００は、検出された被写体の顔の情報に基づいて顔のサイズを判別する顔サイズ判別部１０５、撮像素子１０１の焦点検出を実行すると共に、レンズ焦点距離及び絞り値を出力するカメラ制御部（制御手段）１０６を備える。

また、本体１００は、顔サイズ判別部１０５により判別された顔のサイズ（顔サイズ情報）、及びカメラ制御部１０６により出力されたレンズ焦点距離に基づいて撮像素子１０１から被写体までの被写体距離を推定する被写体距離推定部１０７を備える。

また、カメラ制御部１０６は、被写体距離推定部１０７により推定された被写体距離、及び自身により出力されたレンズ焦点距離、絞り値に基づいて、被写界深度を算出する。

また、カメラ制御部１０６は、撮像素子１０１の焦点検出を制御する焦点検出（ＡＦ）制御部１０８を内蔵する。カメラ制御部１０６は、さらに、露出（ＡＥ）制御部（不図示）等も備え、上記焦点検出制御に加えて露出制御をも実行し、本体１００全体の撮像制御を行う。

また、レンズユニット３００内のズームレンズ及びフォーカスレンズを含む撮像レンズ３０１に入射した光線は、絞り３０２、レンズマウント３０３、１０９、ミラー１１０及びシャッタ１１１を通じて導かれた撮像素子１０１上に光学像として結像する。絞り３０２、レンズマウント３０３はレンズユニット３００内に設けられ、レンズマウント１０９、ミラー１１０及びシャッタ１１１は本体１００内に設けられる。

本体１００内のシャッタ制御部１１２は、測光情報に基づいて絞り３０２を制御する絞り制御部３０４と連携しながらシャッタ１１１を制御する。

レンズユニット３００内の焦点検出制御部３０５は、カメラ制御部１１０６からの制御信号を基に、撮像レンズ３０１のフォーカシングを制御する。レンズユニット３００内のズーム制御部３０６は、撮像レンズ３０１のズーミングを制御する。レンズユニット３００内のレンズシステム制御回路３０７はレンズユニット３００全体を制御する。

レンズシステム制御回路３０７は、不揮発メモリの機能も備えている。そして、動作用の定数、変数、プログラムなどを記憶するメモリやレンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する。

レンズユニット３００内のインターフェース３０８は、レンズマウント３０３内でレンズユニット３００を本体１００と接続するためのインターフェースである。コネクタ３０９、１１３はレンズユニット３００と本体１００とを電気的に接続する。コネクタ３０９はレンズユニット３００内に設けられ、コネクタ１１３は本体１００内に設けられる。本体１００内のインターフェース１１４は、レンズマウント１０６内で本体１００をレンズユニット３００と接続する。

また、本体１００は、撮像した画像データに必要な信号処理を行うカメラ信号処理回路１１５、本体１００から取り外し可能な画像記録媒体１１６、信号処理された画像データを画像記録媒体１１６に記録する記録回路１１７を備える。また、本体１００は、信号処理された画像データを表示する表示装置１１８、表示装置１１８に画像を表示する表示回路１１９を備える。

本撮像装置の特徴は、焦点調節機能を有する点であるので、カメラ制御部１０６の露出（ＡＥ）制御部等の説明は省略する。

顔情報検出回路１０４は、後述する図５のパターン認識処理を実行して画像データから顔の情報を検出する。この顔の画像データの検出方法は多数ある。

例えば、パターン認識を用いる方法以外に、ニューラルネットワーク等による学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法等がある。さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法等がある。

ここで、パターン認識とは、抽出されたパターンを予め定められた概念（クラス）の１つに対応（マッチング）させる処理であり、テンプレートマッチングとは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法である。

例えば、「対象物体の位置検出」、「運動物体の追跡」、及び「撮像時期の異なる画像の位置合わせ」等に利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。

顔サイズ判別部１０３は、顔情報検出回路１０２によって検出された顔の情報から顔領域（顔座標）におけるピクセル数をカウントし、このピクセル数により顔のサイズを判別する。

顔サイズ判別部１０５は、顔情報検出回路１０４によって検出された顔の情報（目の位置情報）に基づいて目の間隔を算出し、予め求めておいた目の間隔と顔のサイズ（ピクセル数）との統計的関係（図２）を用いてテーブル化し、顔のサイズを判別してもよい。また、顔の四隅（所定位置）の座標値から顔領域におけるピクセル数をカウントすることにより、顔のサイズを判別してもよい。

被写体距離推定部１０７は、顔のサイズに基づいて撮像装置から被写体までの被写体距離を推定する。具体的には、被写体距離推定部１０７は、以下のように被写体距離を推定する。

即ち、顔サイズ判別部１０５により判別された顔のサイズ（ピクセル数）と、顔のサイズ（ピクセル数）及び被写体距離の関係を示したグラフ（図３（ａ））を基に作成されたレンズ焦点距離３８ｍｍ（広角）時の変換テーブルとを参照して被写体距離を推定する。

ズーム時におけるレンズ焦点距離が３８ｍｍでないときは、（３８／ズーム時におけるレンズ焦点距離（ｍｍ））及び（判別した顔のサイズ）の積算値を用いて、上記変換テーブルを参照する。

図４は、図１における顔情報検出回路によって実行されるパターン認識処理の手順を示すフローチャートである。

本説明では、並行して図５を参照する。

図４において、まず、画像蓄積バッファ１０３から取得した画像データ５０３（図５）を前処理し（ステップＳ４０１）、前処理された顔の画像データから特徴的部分のパターンを抽出する（ステップＳ４０２）する。

抽出されたパターンをテンプレート（標準パターン）５０１（図５）に対応させる（テンプレートマッチング）ことにより、認識パターンを取得する（ステップＳ４０３）。そして、取得された認識パターンを顔サイズ判別部１０５に出力して（ステップＳ４０４）、パターン認識処理を終了する。

上記テンプレートマッチングは、以下のように行われる。

図５において、まず、テンプレート５０１の中心点５０２を、取得した画像データ５０３のある座標点（ｉ，ｊ）に置く。そして、この中心点５０２を走査しながら、テンプレート５０１と画像データ５０３との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。

顔の画像データ５０３から抽出されたパターンを、例えば目や耳等の形状を含むテンプレート５０１にマッチングさせることにより、目の位置情報や顔領域（顔座標）を取得することができる。

図６は、図１の撮像装置によって実行される撮像処理の手順を示すフローチャートである。

図６において、まず、撮像素子１０１において被写体を撮像して被写体の画像データを取得し（ステップＳ６０１）、取得された画像データから顔情報検出回路１０４において顔の情報を検出したか否かを判定する（ステップＳ６０２）。顔の情報が検出されたときは、検出された顔の数をカウントする（ステップＳ６０３）。

焦点検出制御部１０８は、顔の情報を検出したときは、顔サイズ判別部１０５において判別された顔の情報に基づいて顔のサイズを算出する（ステップＳ６０４）。この算出された顔のサイズに基づいて被写体距離推定部１０７で被写体距離を推定し（ステップＳ６０５）、検出された顔に対して最適な焦点検出領域と焦点検出範囲を記憶する（ステップＳ６０６）。

全画面の画像データについて顔検出が終了したならば（ステップＳ６０７でＹＥＳ）、検出された顔の推定距離から、近側又は遠側から焦点検出領域のソートと焦点検出範囲のソートを行う（ステップＳ６０８）。

焦点検出制御部１０８は、図７、図８に示すように、検出された顔に応じて焦点検出領域（７０１、７０２）と焦点検出範囲（８０１、８０２）を設定した後、推定された被写体距離周辺で焦点検出を行う。そして、合焦位置検出が終了し、撮像（ステップＳ６０９）を行い、本処理を終了する。

ここでいう焦点検出とは、焦点検出領域における画像信号に基づいてフォーカスレンズの合焦状態を示すＡＦ評価値を取得し、合焦状態が最大となるフォーカスレンズの合焦位置を検出する動作のことである。焦点検出範囲は、検出されたそれぞれの顔に対応するそれぞれの焦点検出領域の画像信号を取得する際に、それぞれの顔に対応したフォーカスレンズの移動範囲のことである。そして、推定された被写体距離及びその周辺部の焦点検出範囲において、ＡＦ評価値を取得し合焦状態を検出できるように、どのフォーカスレンズ位置でどの顔に対応する焦点検出領域のＡＦ評価値を得るのかをＳ６０６で設定しておく。このとき、至近から無限方向、又は無限から至近方向に一方向にフォーカスレンズが移動している間に、順に、焦点検出ができるよう焦点検出領域や焦点検出範囲を設定する。

図示していないが、検出された全ての顔について焦点検出動作を行い、その後に全ての合焦した顔についてフォーカスレンズを合焦位置に移動し撮像してもよい。このとき顔が複数検出されればその顔の数だけ撮像される。

また上述したように、フォーカスレンズの至近から無限方向、又は無限から至近方向の移動範囲の中に、焦点検出範囲（推定された被写体距離とその周辺範囲）がある構成となっている。このため、焦点検出範囲以外のフォーカスレンズの移動範囲においては、フォーカスレンズの移動速度を焦点検出範囲よりも速く動かすようにすることによって、焦点検出の高速化を図ることもできる。

本実施の形態の撮像装置は、フォーカスレンズをそれぞれの顔に対して最適な位置で撮像可能となる。そのため、顔以外の被写体が被写界深度外になるようなポートレート撮像に適した絞り値や、検出された顔と植物や建物などの被写体が被写界深度内となるスナップ撮像に適した絞り値など、絞り値を変えて複数枚撮像してもよい。合焦した顔に合焦マークを付加し表示装置１１８に画像を表示する（合焦表示）。

本発明の実施の形態に係る撮像装置のブロック構成を概略的に示す図である。図１における顔情報検出回路によって検出された顔の情報としての目の間隔と顔のサイズとの関係を示すグラフである。図１の撮像装置が被写体距離を推定する際に用いる変換テーブルグラフであり、（ａ）は被写体距離と顔のサイズとの関係の変換テーブルを示し、（ｂ）は被写体距離と顔のサイズ（画像中に占める割合）との関係の変換テーブルを示す。図１における顔情報検出回路によって実行されるパターン認識処理の手順を示すフローチャートである。図４のパターン認識処理におけるマッチングの一例であるテンプレートマッチングを説明する図である。図１の撮像装置によって実行される撮像処理の手順を示すフローチャートである。焦点検出領域を説明する図である。焦点検出範囲を説明する図である。

符号の説明

１００撮像装置
１０１撮像素子
１０４顔情報検出回路
１０５顔サイズ判別部
１０６カメラ制御部
１０７被写体距離推定部
１０８焦点検出制御部

Claims

フォーカスレンズを含む撮像光学系により結像された対象物像を撮像して得られた画像信号から対象物を検出する対象物検出手段と、
前記検出された対象物の情報から被写体距離を推定する被写体距離推定手段と、
前記画像信号の前記対象物のある領域に焦点検出領域を設定する設定手段と、
前記焦点検出領域における画像信号に基づいて、前記撮像光学系の合焦状態を検出する焦点検出手段とを有し、
前記焦点検出手段は、前記対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、前記推定された被写体距離に対応させて前記焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出することを特徴とする撮像装置。
前記撮像光学系の移動の制御の際に、前記撮像光学系の移動速度を可変することを特徴とする請求項１記載の撮像装置。
前記対象物検出手段により検出された対象物の情報に応じて、撮像枚数を変更することを特徴とする請求項１又は請求項２に記載の撮像装置。
前記撮像光学系により結像された対象物像を撮像して画像信号を出力する撮像手段と、
前記対象物検出手段により検出された第１の対象物以外の第2の対象物が被写界深度外となる絞り値で撮像するよう制御する制御手段とを備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
前記撮像光学系により結像された対象物像を撮像して画像信号を出力する撮像手段と、
前記対象物検出手段により検出された対象物が被写界深度内となる複数の絞り値で撮像するよう制御する制御手段を備えたことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
前記焦点検出手段の検出結果に応じて複数のフォーカスレンズ位置でそれぞれ撮像することを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
前記対象物検出手段と前記焦点検出手段の少なくともいずれかの検出結果に基づいて合焦表示を行うことを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
フォーカスレンズを含む撮像光学系により結像された対象物像を撮像して得られた画像信号から対象物を検出する対象物検出工程と、
前記検出された対象物の情報から被写体距離を推定する被写体距離推定工程と、
前記画像信号の前記対象物のある領域に焦点検出領域を設定する設定工程と、
前記焦点検出領域における画像信号に基づいて、前記撮像光学系の合焦状態を検出する焦点検出工程とを有し、
前記焦点検出工程では、前記対象物が複数検出された場合に、至近から無限方向、又は無限から至近方向に前記撮像光学系が移動している際に、前記推定された被写体距離に対応させて前記焦点検出領域を移動させて、それぞれの対象物に対応する焦点検出領域における合焦状態をそれぞれ検出するよう制御することを特徴とする撮像装置の制御方法。