JP2014103643A - 撮像装置及び被写体認識方法 - Google Patents

Abstract

【課題】望遠側での被写体認識の検出精度の向上と検出時間の短縮を可能とする撮像装置を提供する。
【解決手段】撮像光学系を通して得られる被写体の光学像を電気信号に変換する撮像素子１４から出力される画像信号を解析し、得られた解析結果を予め準備された複数の分類項目と照合することによって被写体を認識する。被写体を認識する際の複数の分類項目の優先順位を焦点距離に応じて変更する。
【選択図】図６

Description

本発明は固体撮像素子を用いた撮像装置に関し、特に、撮像時の被写体認識技術に関する。

固体撮像素子を用いた撮像装置において、得られた画像信号の輝度成分や色差成分を抽出し、似た特徴をもつ画像領域をグルーピングすることにより画像信号内の被写体を認識する方法が知られている（特許文献１参照）。また、被写体の外形により被写体を認識する方法も知られている（特許文献２参照）。これらの方法により得られた認識情報はＡＥ（自動露出制御）、ＡＦ（自動合焦（焦点）制御）等の撮影条件やホワイトバランス、エッジ強調等の画像処理に活用される。

特開２００９−１２３２３４号公報 特開２０１０−０４５６１３号公報

近年、例えば、コンパクトデジタルカメラでは、ズーム倍率の高倍率化が進み、これにより広角側（Ｗｉｄｅ側）と望遠側（Ｔｅｌｅ側）とでは、撮影する構図は大きく異なるものとなる。図１０は、広角側の構図例と望遠側の構図例を示す図である。広角側の構図例では、図１０（ａ）に示されるように、主被写体（この場合、人物）のみならず、背景を含めることが多い。一方、望遠側の構図例では、図１０（ｂ）に示すように、主被写体を大きく撮影することを目的とすることが多い。そのため、被写体認識には、望遠側での撮影には、広角側での撮影よりも、主被写体を正しく捉えることが優先される。

しかし、このような要求を優先させると、望遠側では、外形で認識する主被写体が複数ある場合に、一部の被写体が認識されなくなるおそれがある。つまり、シーンを想定せずに広角側と望遠側に同じ被写体認識処理を施すと、構図の違いによって認識結果が不安定になり、誤認識が生じやすくなる。

また、認識処理が高度になると、認識する被写体の数の増加に伴って検出方法の種類が増えると共に扱うデータ量が膨大になるため、処理プロセッサが進化しているものの、検出時間や処理時間が長くなる傾向がある。特に望遠側での撮影のように手ブレや被写体の動きによる構図変化が激しい条件では、被写体を継続して捉えて認識を繰り返すことが難しいため、検出時間が長くかかることによって認識サイクルが長くなることを回避する必要がある。

本発明は、望遠側での被写体認識の検出精度の向上と検出時間の短縮を可能とする撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮像光学系を通して得られる被写体の光学像を電気信号に変換する撮像手段と、前記撮像手段から出力される画像信号を解析する解析手段と、前記解析手段により得られる解析結果を予め準備された複数の分類項目と照合することによって前記被写体を認識する認識手段と、前記認識手段が前記被写体を認識する際の前記複数の分類項目の優先順位を前記撮像手段の焦点距離に応じて変更する変更手段とを有することを特徴とする。

本発明によれば、望遠側での被写体認識の検出精度を向上させ、また、検出時間を短縮することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示すブロック図である。 図１のデジタルカメラが備える画像処理回路の構成を示すブロック図である。 被写体認識方法として色差信号、エッジ信号及び輝度信号を用いる方法を説明する図である。 被写体認識方法として周波数成分と水平・垂直の特徴量を用いる方法を説明する図である。 顔検出のためのモデル（模式データ）を示す図である。 図１のデジタルカメラにおける被写体認識方法の全体フローを示すフローチャートである。 ステップＳ６０３の通常シーケンス及びステップＳ６０７の小顔シーケンスの詳細を示すフローチャートである。 ステップＳ６０８の主被写体検出シーケンス及びステップＳ６１３，Ｓ７１６の自然物優先シーケンスの詳細を示すフローチャートである。 ステップＳ６１４，Ｓ７１７の人工物優先シーケンスの詳細を示すフローチャートである。 広角側の構図例と望遠側の構図例を示す図である。

以下、本発明の実施の形態について、添付図面を参照して説明する。ここでは、本発明に係る撮像装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではなく、固体撮像素子を用いて撮像を行う種々の電子機器、例えば、デジタルビデオカメラ、カメラ付きのパーソナルコンピュータや携帯電話、ゲーム機等にも適用可能である。

＜デジタルカメラの概略構造＞
図１は、本発明の実施形態に係るデジタルカメラ１００の概略構成を示すブロック図である。

デジタルカメラ１００は、撮像光学系を構成する撮影レンズ１０、機械式シャッタ１２及び撮像素子１４と、Ａ／Ｄ変換器１６とを備える。撮影レンズ１０は、ズームレンズやフォーカスレンズ等の複数のレンズで構成される。機械式シャッタ１２は、絞り機能を備え、撮像素子１４に対する露光量を調整する。撮像素子１４は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子であり、被写体の光学像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されるアナログ電気信号をデジタル信号（デジタルデータ）に変換する。

デジタルカメラ１００は、タイミング発生回路１８、画像処理回路２０、メモリ制御回路２２、画像表示部２８、メモリ３０及び圧縮・伸長回路３２を備える。また、デジタルカメラ１００は、露光制御回路４０、測距制御回路４２、ズーム制御回路４４、ブレ検出回路４６、ストロボ４８及びシステム制御回路５０を有する。

タイミング発生回路１８は、撮像素子１４やＡ／Ｄ変換器１６にクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。なお、機械式シャッタ１２以外にも、タイミング発生回路１８による撮像素子１４のリセットタイミングの制御によって、電子シャッタとして撮像素子１４における蓄積時間を制御することが可能であり、この機能は、動画撮影等に使用される。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０が、画像の切り出し及び変倍処理を行うことにより、電子ズーム機能が実現される。更に、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、システム制御回路５０が、こうして画像処理回路２０により得られた演算結果を用いて、露光制御回路４０と測距制御回路４２の制御を行う。具体的には、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理が行われる。画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力されるデジタルデータは、画像処理回路２０とメモリ制御回路２２を介して、或いは直接にメモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、液晶（ＬＣＤ）パネル等のディスプレイであり、メモリ３０に書き込まれた表示用の画像データは、メモリ制御回路２２を介して画像表示部２８に画像として表示される。撮像した画像データを画像表示部２８に逐次表示することにより、電子ファインダ機能が実現される。なお、画像表示部２８における画像表示は、システム制御回路５０からの指示によりＯＮ／ＯＦＦを切り替えることができ、画像表示をＯＦＦにすることにより電力消費を大幅に低減することができる。

メモリ３０は、撮影した静止画像や動画像の画像データや音声データ等を格納し、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。なお、メモリ３０は、システム制御回路５０の作業領域としても使用される。

圧縮・伸長回路３２は、例えば、適応離散コサイン変換（ＡＤＣＴ）により、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。露光制御回路４０は、絞り機能を備える機械式シャッタ１２を制御し、ストロボ４８と連動することによりストロボ調光機能を実現させる。測距制御回路４２は、撮影レンズ１０のフォーカシングを制御する。露光制御回路４０と測距制御回路４２は、ＴＴＬ方式を用いて制御されており、前述の通り、撮像した画像データを用いて画像処理回路２０が所定の演算を行った演算結果に基づき、システム制御回路５０が露光制御回路４０及び測距制御回路４２に対する制御を行う。

ズーム制御回路４４は、撮影レンズ１０のズーミングを制御する。ストロボ４８は、ＡＦ補助光の投光機能とストロボ調光機能とを有する。ブレ検出回路４６は、デジタルカメラ１００の本体に設けられた不図示のジャイロセンサ等からの信号に基づいて、デジタルカメラ１００の本体が動いているか否か、具体的には、デジタルカメラ１００の本体にブレが生じているか否かを判定する。

システム制御回路５０は、デジタルカメラ１００の全体的動作を制御する。システム制御回路５０は、ＣＰＵとＦｌａｓｈＲＯＭ等で構成された不揮発性メモリとを備え、ＣＰＵが実行するプログラムコードは不揮発性メモリに書き込まれている。ＣＰＵは、不揮発性メモリに書き込まれたプログラムコードを逐次読み出しながら実行する。また、不揮発性メモリには、デジタルカメラ１００のシステム情報を記憶する領域やユーザ設定情報を記憶する領域が設けられており、ＣＰＵは、種々の情報や設定を起動時に読み出して復元する。

デジタルカメラ１００は、システム制御回路５０に対する各種の動作指示を入力するための操作手段として、モードダイアルスイッチ６０、シャッタスイッチＳＷ１＿６２，ＳＷ２＿６４、表示切替スイッチ６６、操作部７０及びズームスイッチ７２を備える。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替える。シャッタスイッチＳＷ１＿６２は、シャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始をシステム制御回路５０に指示する。シャッタスイッチＳＷ２＿６４は、シャッタボタンの操作完了でＯＮとなる。ストロボ撮影の場合、ＥＦ（プリ発光）処理に基づいてＡＥ処理で決定された露光時間分だけ撮像素子１４を露光させ、その露光時間の間にストロボ４８を発光させ、露光時間終了と同時に露光制御回路４０による遮光を行って、撮像素子１４への露光を終了させる。

なお、システム制御回路５０は、撮像素子１４に対する露光が終了すると、撮像素子１４からアナログ電気信号を読み出し、信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介して、メモリ３０に画像データ（デジタルデータ）として書き込む。そして、システム制御回路５０は、メモリ３０からの画像データの読み出し処理、画像処理回路２０やメモリ制御回路２２での現像処理、圧縮・伸長回路３２での圧縮処理等を行い、後述する記録媒体１５０へ画像データの格納という一連の処理の動作を行う。

表示切替スイッチ６６は、画像表示部２８の表示切替を行い、後述する光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への給電を停止することにより、省電力を図ることができる。操作部７０は、各種のボタンや回転式ダイアル、タッチパネル等を含み、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を含む。また、操作部７０は、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含む。

ズームスイッチ７２は、ユーザによる操作により、撮像画像の倍率変更指示をシステム制御回路５０に対して行う。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有する。ズームスイッチ７２の操作は、ズーム制御回路４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を行うトリガとなり、また、画像処理回路２０による画像の切り出しや画素補間処理等による撮像画角の電子的なズーミング変更のトリガとなる。

デジタルカメラ１００は、電源部８６及び光学ファインダ１０４を有する。電源部８６は、例えば、アルカリ電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等であり、デジタルカメラ１００に動作に必要な電力を供給する。光学ファインダ１０４は被写体を写し出し、光学ファインダ１０４を通して被写体を視認することにより、画像表示部２８による電子ファインダ機能を使用することなく、所望する被写体を撮影することができる。

デジタルカメラ１００には、記録媒体１５０との間で画像データの送受信を行うためにインタフェース（Ｉ／Ｆ）９０と、記録媒体１５０の着脱を可能とするためのコネクタ９２とが設けられている。また、デジタルカメラ１００には、外部と通信を行うために、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する通信部１１０と、外部との接続を行うためのコネクタ１１２とが設けられている。なお、無線通信を行う場合には、コネクタ１１２は、アンテナとなる。

デジタルカメラ１００には、画像データを保存するための記録媒体１５０が着脱可能となっている。記録媒体１５０は、メモリカードやハードディスク等であり、コネクタ９２と接続されるコネクタ１５６とインタフェース１５４とを介して、システム制御回路５０との間で画像データの送受信を行う。

＜画像処理回路２０の構成＞
図２は、画像処理回路２０の構成を示すブロック図である。撮像素子１４から出力されるアナログ電気信号は、Ａ／Ｄ変換器１６においてデジタル信号であるＲＧＢ信号に変換され、画像処理回路２０に入力される。画像処理回路２０は、入力されたＲＧＢ信号を受信する輝度生成回路２０１と、色差生成回路２０２とを有する。輝度生成回路２０１は、受信したＲＧＢ信号から輝度信号Ｙを生成し、色差生成回路２０２は、受信したＲＧＢ信号から色差信号ＣｒＣｂを生成する。

輝度生成回路２０１から出力される輝度信号Ｙは、ハイパスフィルタ（ＨＰＦ）２０３と、高速フーリエ変換回路（ＦＦＴ）２０４と、顔検出回路２０５とに入力される。ＨＰＦ２０３は、輝度信号Ｙからエッジ成分を抽出する。以下、ＨＰＦ２０３から出力されるエッジ成分の信号をエッジ信号と称呼する。ＦＦＴ２０４は、輝度信号Ｙを各周波数成分に分離する。顔検出回路２０５は、輝度信号Ｙに基づいて顔のパターン検出を行う。

ＦＦＴ２０４から出力される周波数成分、ＨＰＦ２０３から出力されるエッジ信号、輝度生成回路２０１から出力される輝度信号Ｙ及び色差生成回路２０２から出力される色差信号ＣｒＣ／ｂは、積分器２０６に入力され、これにより各信号の積分値が得られる。また、輝度生成回路２０１から出力される輝度信号Ｙは、後段において、ＨＰＦ２０３から出力されるエッジ成分信号及び色差生成回路２０２から出力される色差信号ＣｒＣｂと加算され、これにより、Ｙ／Ｃｒ／Ｃｂ信号が得られる。

＜被写体認識方法＞
図３を参照して、被写体認識方法として、色差信号Ｃｒ／Ｃｂ、エッジ信号及び輝度信号Ｙを用いる方法について説明する。図３（ａ）は、撮影画像の構図の第１の例を示す図であり、この構図は、人３０１、道路３０２、地面３０３、山３０４及び空３０５からなる。図３（ｂ）は、図３（ａ）の構図の撮影画像を元画像として、これを所定数（ここでは、５×５の２５ブロックの例を示す）のブロックに分割した状態を示す図である。元画像の分割されたブロック毎に画像情報としての色差、エッジ、輝度レベルのそれぞれの積分値を求める。

得られた色差信号Ｃｒ／Ｃｂを用い、元画像について、各画素の色分けを行う。図３（ｃ）は、縦軸にＣｒを、横軸にＣｂを取り、色分けしたい領域を設定するためのグラフである。ここでは、青３０６、赤３０７、茶３０８、緑３０９、灰３１０を設定することとする。図３（ｄ）は、図３（ｃ）を用いて元画像の色分けを行なった結果を示す図であり、青領域３１１、緑領域３１２、茶色領域３１３及び灰色領域３１４が検出された結果が示されている。

図３（ｅ）は、元画像にハイパスフィルタ処理を施してエッジ信号を抽出した結果を示す図である。図３（ｅ）において白く示した画素がエッジのレベルが高い画素であり、黒く示した画素がエッジの存在しない画素であり、白から黒までの階調をもったエッジ信号を抽出する。図３（ｆ）は、図３（ｅ）のエッジ信号の積分値をブロック毎に求めた結果を示す図である。「大」で示すブロック３１５は、レベルの高いエッジを含むブロック又はエッジ成分が多く存在するブロックである。「中」で示すブロック３１６、「小」で示すブロック３１７の順で徐々にエッジ成分は減少し、「無」で示すブロック３１８にはエッジ成分は存在しない。

続いて、上記と同様に元画像をブロック分割し、ブロック内の輝度信号Ｙを積分することにより、ブロック毎に輝度信号積分値を求める。なお、本実施形態では、簡単のため色分け数やブロック分割数を粗く設定しているが、より細かな設定を行ってもよい。また、検出したブロックのうち、同じ被写体であると判断されるブロックを同一のグループとして扱ってもよく、逆に、より細かいブロックを設定して元画像の被写体の境界に合わせた領域分けを行なってもよい。さらに、本実施形態では、エッジ信号を抽出する手段としてハイパスフィルタを用いたが、これに限定されるものではない。

そして、予め準備された分類テーブルを用いて被写体を認識する。図３に示したエッジが少なく明るい青であるブロックは空である可能性が高く、エッジが少なく暗い青であるブロックは海である可能性が高い。また、エッジが少なく緑であるブロックは山である可能性が高く、エッジがあって緑であるブロックは木である可能性が高い。暗い茶色であるブロックは地面である可能性が高く、明るい茶色であるブロックは肌（人）である可能性が高く、灰色であるブロックは人工物である可能性が高い。分類テーブルとは、このように、画像信号を解析して得られる色差等の解析結果と、その解析結果から推測される被写体とを関連付けて、複数の項目に分類したテーブルである。デジタルカメラ１００では、被写体の画像信号を解析して得られた解析結果と分類テーブルの分類項目との照合（解析結果がどの分類項目に該当するかの判定）を行うことによって被写体が何であるかを認識する。その具体的な認識方法については後述する。

なお、被写体を分類する際に分類項目毎に信頼度を設け、同じ青でも空と分類する可能性が高いか海と分類する可能性が高いかを信頼度の高さにより判定するようにしてもよく、また、他の分類手段と合わせて、より信頼度の高いものを判定するようにしてもよい。

次に、図４を参照して、被写体認識方法として、周波数成分と水平・垂直の特徴量を用いる方法について説明する。図４（ａ）は、撮影画像の構図の第２の例を示す図であり、この構図は、木４０１、地面４０２、海４０３、山４０４、空４０５からなる。図４（ｂ）は、図４（ａ）の構図の撮影画像を元画像として、これを所定数（ここでは、５×５の２５ブロックの例を示す）のブロックに分割した状態を示す図である。元画像の分割されたブロック毎に周波数成分及び水平・垂直の特徴量を抽出する。

その際、先ず、高速フーリエ変換（ＦＦＴ）を用いて、画像信号の周波数成分を求める。図４（ｃ）は、１次元のＦＦＴ結果を示す図であり、低周波信号４０７、中間の周波数信号４０８、高周波信号４０９が得られた結果を示している。図４（ｄ）は、図４（ｃ）の結果を元画像に適用した結果を示す図である。木等の複雑な形状や海に存在する細かい波は高周波となり、「細」で示すブロック４１０がこれに該当する。地面の凹凸等は中間の周波数となり、「中」で示すブロック４１１がこれに該当し、山等のなだらかな変化があるものは低周波となり、「粗」で示すブロック４１２がこれに該当し、「無」で示すブロック４１３は、青空等の平坦なものに該当する。

次に、画像信号の水平・垂直の特徴量を求める。図４（ｅ）は、図４（ｂ）に示す海の領域の１ブロックであるブロック４０６をグラフ化した図であり、ブロック４０６を水平方向に積分した結果４１４と、垂直方向に積分した結果４１５とを示している。垂直方向の積分結果は特徴を持たないが、水平方向の積分結果は波状となるため、ブロック４０６には横線（横縞）が存在していることがわかる。

図４（ｆ）は、図４（ｅ）の結果を元画像に適用した結果を示す図であり、海の部分でのみ横線（横縞）が検出されるため、「横」で示すブロック４１６の判定が得られ、それ以外の領域は不規則であるため「不」で示すブロック４１７となる。図３を参照して説明した手法と図４を参照して説明した手法とを合わせて、分類テーブルでは、例えば、細かく不規則な緑であるブロックは葉である可能性が高く、粗く不規則な青であるブロックは空である可能性が高いと分類する。また、細かく横線の規則性がある青は海である可能性が高く、その他縦線や横線の規則性があるブロックは人工物である可能性が高いと分類することができる。

なお、本実施形態ではブロック毎に周波数成分や縞等の特徴量の検出を行なったが、ある程度の領域を占める可能性のある被写体を想定して認識を行う場合等においては、同様のブロックをグルーピングしてより広域で検出してもよい。

＜被写体認識処理フロー＞
上述した分類テーブルを用いた被写体認識方法について、図６乃至図９のフローチャートを参照して説明する。ここでは、図５を用いて外形及びパターンでの認識方法の一例である顔検出方法について説明する。

図５は、顔検出のためのモデル（模式データ）を示す図である。ある程度の面積をもつ丸みをもつ平坦な領域内に、目、鼻、口に相当するエッジを検出できた場合に、その被写体は顔であると判定する。この判定結果に、角度情報や縦横判定を加味することにより、斜め顔か又は横顔か、デジタルカメラ１００を縦位置に構えた状態での顔であるか否か等を判定することが可能になり、顔検出の頻度や精度を向上させることができる。なお、顔画像や図５に示した顔モデル（模式データ）をテンプレートとして記憶しておき、テンプレートマッチングにより顔検出を行ってもよい。

図６は、デジタルカメラ１００における被写体認識方法の全体フローを示すフローチャートである。この被写体認識方法はライブ画像に対して行われ、認識結果は撮影条件の設定や画像処理パラメータに反映することができる。なお、図６乃至図９のフローチャートの処理は、システム制御回路５０のＣＰＵが、不揮発性メモリに書き込まれたプログラムコードを逐次読み出してメモリ３０の作業領域に展開し、デジタルカメラ１００の各種構成要素の動作を制御することにより実現される。

先ず、ステップＳ６０１において、撮影者がズームスイッチ７２を操作することにより、ズームポジションがシステム制御回路５０に入力される。そこで、システム制御回路５０のＣＰＵ（以下単に「ＣＰＵ」と記す）は、ステップＳ６０２においてズームポジション（焦点距離）が望遠側であるか否かを判定する。

なお、望遠側での撮影では、手ブレによりデジタルカメラ１００の本体に手ブレ等の動きが生じ、また、被写体の動きによる構図変化が激しいことがある。よって、ステップ６０２では、望遠側であるか否かによる判定に代えて、デジタルカメラ１００の本体に動きが生じているか、又は、被写体の動きによる構図変化が激しいかを判定するようにしてもよい。

ＣＰＵは、望遠側ではないと判定した場合（Ｓ６０２でＮＯ）、処理をステップＳ６０３へ進め、望遠側であると判定した場合（Ｓ６０２でＹＥＳ）、処理をステップＳ６０４へ進める。

ＣＰＵは、ステップＳ６０３において通常シーケンスを実行し、その後、処理を終了させる。なお、通常シーケンスの詳細については、図７（ａ）を参照して後述する。一方、ＣＰＵは、ステップＳ６０４において簡易的な顔検出処理を実行し、ステップＳ６０５においてステップＳ６０４の処理結果から撮影画像に顔が存在するか否かを判定する。顔が存在すると判定した場合（Ｓ６０５でＹＥＳ）、ＣＰＵは、ステップＳ６０６において顔の大きさを判定する。ＣＰＵは、顔が大きいと判定した場合（Ｓ６０６でＹＥＳ）、処理を終了させ、顔が大きくないと判定した場合（Ｓ６０６でＮＯ）、ステップＳ６０７において小顔シーケンスを実行し、その後、処理を終了させる。なお、小顔シーケンスの詳細については、図７（ａ）を参照して後述する。

ステップＳ６０５で顔が存在しないと判定した場合（Ｓ６０５でＮＯ）、ＣＰＵは、ステップＳ６０８において簡易的な主被写体検出シーケンスを実行し、続くステップＳ６０９においてステップＳ６０８の処理結果から、撮影画像に主被写体が存在するか否かを判定する。なお、主被写体検出シーケンスの詳細については、図８（ａ）を参照して後述する。

ＣＰＵは、主被写体が存在すると判定した場合（Ｓ６０９でＹＥＳ）、ステップＳ６１０において、主被写体が自然物に属するか否かを判定する。ＣＰＵは、主被写体が自然物に属すると判定した場合（Ｓ６１０でＹＥＳ）、ステップＳ６１３において自然物優先シーケンスを実行し、その後、処理を終了させる。なお、自然物優先シーケンスの詳細については、図８（ｂ）を参照して後述する。一方、ＣＰＵは、主被写体が自然物に属さないと判定した場合（Ｓ６１０でＮＯ）、ステップＳ６１４において人工物優先シーケンスを実行し、その後、処理を終了させる。なお、人工物優先シーケンスの詳細については、図９を参照して後述する。

ステップＳ６０９で主被写体が存在しないと判定した場合（Ｓ６０９でＮＯ）、ＣＰＵは、ステップＳ６１１において画像全体の彩度を検出し、ステップ６１２においてステップＳ６１１で求めた彩度の有無を判定する。ＣＰＵは、彩度があると判定した場合（Ｓ６１２でＹＥＳ）、ステップＳ６１３において自然物優先シーケンスを実行し、その後、処理を終了させる。一方、ＣＰＵは、彩度がないと判定した場合（Ｓ６１２でＮＯ）、ステップＳ６１４において人工物優先シーケンスを実行し、その後、処理を終了させる。

図７（ａ）は、ステップＳ６０３の通常シーケンスの詳細を示すフローチャートである。通常シーケンスでは、ＣＰＵは、ステップＳ７０１において顔検出を行う。続いて、ＣＰＵは、ステップＳ７０２において画像を所定数のブロックに分割し、ステップＳ７０３においてブロック毎に色差、輝度、エッジの積分値を求める。

更に、ＣＰＵは、ステップＳ７０４においてブロック毎に周波数特性、縞等のパターン検出を行う。ここで、システム制御回路５０は、空や地面、木、山、道路等の想定される主要被写体を、色差、輝度、エッジ、周波数特性、縞等により分類した分類テーブルを備えている。そこで、続くステップＳ７０５において、ＣＰＵは、空らしさ、地面らしさ、木らしさ、山らしさ、道路らしさ等の信頼度として、ステップＳ７０４で得たブロック毎の情報やパターン検出によりパターン認識を行い、その後、本処理を終了させる。なお、ステップＳ７０３，７０４の処理は、図２乃至図４を参照して説明したように、ＣＰＵからの指令を受けた画像処理回路２０により実行される。

図７（ｂ）は、ステップＳ６０７の小顔シーケンスの詳細を示すフローチャートである。小顔シーケンスでは、ＣＰＵは、ステップＳ７１１において顔周辺をブロック分割し、ステップＳ７１２において顔の周辺のエッジ検出を行い、続くステップＳ７１３において、人体を除いた周辺部におけるエッジの有無を判定する。ＣＰＵは、周辺部にエッジがないと判定した場合（Ｓ７１３でＮＯ）、背景がぼやけていると推測し、人体の周辺からは情報を得られないものと判断し、本処理を終了させる。

一方、ＣＰＵは、周辺部にエッジがあると判定した場合（Ｓ７１３でＹＥＳ）、ステップＳ７１４において人体周辺の彩度を検出し、続くステップＳ７１５において人体周辺の彩度の有無を判定する。ＣＰＵは、彩度があると判定した場合（Ｓ７１５でＹＥＳ）、ステップＳ７１６において自然物優先シーケンスを実行し、その後、本処理を終了させる。一方、ＣＰＵは、彩度がないと判定した場合（Ｓ７１５でＮＯ）、ステップＳ７１７において人工物優先シーケンスを実行し、その後、本処理を終了させる。

図８（ａ）は、ステップＳ６０８の主被写体検出シーケンスの詳細を示すフローチャートである。ＣＰＵは、ステップＳ８０１において画像中心領域を所定数のブロックに分割し、ステップＳ８０２においてブロック毎に色差、輝度、エッジの積分値を求める。ＣＰＵは、続くステップＳ８０３においてブロック毎に周波数特性、縞等のパターン検出を行い、更にステップＳ８０４において、認識する被写体のうち人や木等の小さい領域でも認識しやすい被写体を優先する分類テーブルを参照して、主被写体の認識処理を行う。

図８（ｂ）は、ステップＳ６１３，Ｓ７１６の自然物優先シーケンスの詳細を示すフローチャートである。ＣＰＵは、ステップＳ８１１において優先順位が下位の認識処理である本処理を継続実施するか否かを判定し、ＣＰＵは、継続実施しないと判定した場合（Ｓ８１１でＮＯ）、本処理を終了させる。一方、ＣＰＵは、本処理を継続実施すると判定した場合（Ｓ８１１でＹＥＳ）、ステップＳ８１２において通常シーケンスよりも粗くブロック分割を行い、ブロック毎に色差、輝度、エッジの積分値を求める。続いて、ＣＰＵは、ステップＳ８１３においてブロック毎の周波数特性、縞等のパターン検出を行う。そして、ＣＰＵは、ステップＳ８１４において、自然物優先の分類テーブルを参照して、自然物優先の被写体認識を行い、その後、本処理を終了させる。

なお、自然物優先の分類テーブルでは、例えば、上位の認識順位となる主被写体が木である場合、下位の認識順位として草、地面、空の認識優先順位を上げる。また、上位の認識順位となる主被写体が山である場合、下位の認識順位として空、海、木、地面の認識優先順位を上げる。更に、主被写体が検出できなくても、彩度が高いと判断した場合には、自然物の優先順位を人工物よりも上げる。

図９は、ステップＳ６１４，Ｓ７１７の人工物優先シーケンスの詳細を示すフローチャートである。ＣＰＵは、ステップＳ９０１において優先順位が下位の認識である本処理を継続実施するか否かを判定し、ＣＰＵは、継続実施しないと判定した場合（Ｓ９０１でＮＯ）、本処理を終了させる。一方、ＣＰＵは、本処理を継続実施すると判定した場合（Ｓ９０１でＹＥＳ）、ステップＳ９０２において通常シーケンスよりも粗くブロック分割を行い、ブロック毎に色差、輝度、エッジの積分値を求める。続いて、ＣＰＵは、ステップＳ８０３においてブロック毎の周波数特性、縞等のパターン検出を行う。そして、ＣＰＵは、ステップＳ８０４において、そして、ＣＰＵは、ステップＳ９０４において、人工物優先の分類テーブルを参照して、人工物優先の被写体認識を行い、その後、本処理を終了させる。

なお、人工物優先の分類テーブルでは、例えば、上位の認識順位となる主被写体が家である場合、下位の認識順位としてビルや道路の認識優先順位を上げる。また、上位の認識順位となる主被写体が車である場合、下位の認識順位として道路やビルの認識優先順位を上げる。更に、主被写体が検出できなくても彩度が低いと判断した場合、人工物の優先順位を自然物より上げる。

以上の説明の通り、本実施形態によれば、被写体認識処理において実行される内容を望遠側であるか否かによって振り分け（Ｓ６０２）、優先順位を設ける。これにより、被写体認識の検出精度を向上させ、且つ、検出時間を短縮することができる。

なお、上記実施形態では、上位の認識順位となる主被写体が認識された後に、下位の被写体の認識を中止するか又は認識順位を変更するとした。しかし、これに限られず、上位の分類項目で主被写体が認識された時点で、下位の分類項目の信頼度を一律に下げ、又は主被写体との関連性が低い分類項目の信頼度を下げ、或いは、時間的に主被写体との関連性が低いものの分類項目の優先順位を下げるようにしてもよい。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２０ 画像処理回路
４２ 測距制御回路
４４ ズーム制御回路
４６ ブレ検出回路
５０ システム制御回路
１００ デジタルカメラ
２０１ 輝度生成回路
２０２ 色差生成回路
２０３ ＦＰＴ回路
２０４ ＦＦＴ回路
２０５ 顔検出回路
２０６ 積分器

Claims (13)

1. 撮像光学系を通して得られる被写体の光学像を電気信号に変換する撮像手段と、
   前記撮像手段から出力される画像信号を解析する解析手段と、
   前記解析手段により得られる解析結果を予め準備された複数の分類項目と照合することによって前記被写体を認識する認識手段と、
   前記認識手段が前記被写体を認識する際の前記複数の分類項目の優先順位を前記撮像手段の焦点距離に応じて変更する変更手段とを有することを特徴とする撮像装置。
2. 前記変更手段は、前記撮像手段の焦点距離が望遠側であるときに前記分類項目の優先順位を変更することを特徴とする請求項１記載の撮像装置。
3. 前記変更手段は、前記撮像光学系のズームポジションに基づいて前記撮像手段の焦点距離が望遠側であるか否かを判断することを特徴とする請求項２記載の撮像装置。
4. 撮像光学系を通して得られる被写体の光学像を電気信号に変換する撮像手段を備える撮像装置であって、
   前記撮像装置の動きを検出する検出手段と、
   前記撮像手段から出力される画像信号を解析する解析手段と、
   前記解析手段により得られる解析結果を予め準備された複数の分類項目と照合することによって前記被写体を認識する認識手段と、
   前記認識手段が前記被写体を認識する際の前記分類項目の優先順位を、前記撮像装置が動いていることを前記検出手段が検出したときに変更する変更手段とを有することを特徴とする撮像装置。
5. 前記複数の分類項目のそれぞれに信頼度が設けられ、
   前記認識手段は、前記信頼度の高い分類項目を優先して前記被写体を認識することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記認識手段が前記複数の分類項目のうちの上位の分類項目で主被写体を認識した時点で、前記変更手段は、下位の分類項目の信頼度を一律に下げることを特徴とする請求項５記載の撮像装置。
7. 前記認識手段が前記複数の分類項目のうちの上位の分類項目で主被写体を認識した時点で、前記変更手段は、前記主被写体との関連性が低い分類項目の信頼度を下げることを特徴とする請求項５記載の撮像装置。
8. 前記認識手段が前記複数の分類項目のうちの上位の分類項目で主被写体を認識した時点で、前記変更手段は、時間的に前記主被写体との関連性が低い分類項目の優先順位を下げることを特徴とする請求項５記載の撮像装置。
9. 前記認識手段が前記被写体として主被写体を認識した場合に、前記変更手段は、前記複数の分類項目のうちの下位の分類項目の優先順位を変更することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記変更手段は、前記下位の分類項目の優先順位を下げることを特徴とする請求項９記載の撮像装置。
11. 前記認識手段は、前記被写体として主被写体を認識した場合に、前記複数の分類項目のうちの下位の分類項目に対する認識を中止することを特徴とする特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
12. 撮像光学系を通して得られる被写体の光学像を電気信号に変換する撮像手段を備える撮像装置において実行される被写体認識方法であって、
    前記撮像手段から出力される画像信号を解析する解析ステップと、
    前記解析ステップで得られる解析結果を予め準備された複数の分類項目と照合することによって前記被写体を認識する認識ステップと、
    前記認識ステップで前記被写体を認識する際の前記複数の分類項目の優先順位を前記撮像手段の焦点距離に応じて変更する変更ステップとを有することを特徴とする被写体認識方法。
13. 撮像光学系を通して得られる被写体の光学像を電気信号に変換する撮像手段を備える撮像装置において実行される被写体認識方法であって、
    前記撮像装置の動きを検出する検出ステップと、
    前記撮像手段から出力される画像信号を解析する解析ステップと、
    前記解析ステップで得られる解析結果を予め準備された複数の分類項目と照合することによって前記被写体を認識する認識ステップと、
    前記検出ステップで前記撮像装置が動いていることを検出したときに、前記認識ステップにおいて前記被写体を認識する際の前記複数の分類項目の優先順位を変更する変更ステップとを有することを特徴とする被写体認識方法。

Images