JP2009010645A - 被写体検出装置、撮影装置、プログラム、撮影方法、被写体検出方法および被写体検出装置の製造方法 - Google Patents

Abstract

【課題】良好な被写体認識を実現できる被写体検出装置、撮影装置、プログラム、撮影方法、被写体検出方法および被写体検出装置の製造方法を提供すること。
【解決手段】撮影装置１の撮影状態を検出する撮影状態検出手段１９と、被写体１８を認識するための被写体情報を用いて、撮像された像から被写体を検出する被写体検出手段１５とを含む被写体検出装置である。被写体情報は、撮影状態検出手段１９によって検出された撮影状態に対応している。
【選択図】図１

Description

本発明は、被写体検出装置、撮影装置、プログラム、撮影方法、被写体検出方法および被写体検出装置の製造方法に関する。

近年、カメラの自動化が進んでおり、カメラが被写体の特徴点を抽出し、被写体を認識する技術がある。たとえば顔の特徴点である目、口、鼻等を認識することにより、ＡＦを行うカメラが実用化されている。

また、手振れ補正機能を具備したカメラも近年多く現れており、手振れ補正の方式も多岐にわたっている。手振れ補正の方式を大きく分けると、光学式に防振する方法と、電子式に防振する方法がある。

光学式防振とは、ジャイロセンサなどの情報から機械的にレンズや撮像素子を動かし防振する方法である。一方、電子式とは、主に画像処理によるものであり、例えば動きベクトルから切り出し等行う方法でビデオカメラなどでは主流の方法である。

このような被写体認識技術を用いて、被写体を認識したら、動きベクトルなどから被写体を追尾する発明があり、より被写体を捉えやすくなる。

しかしながら、顔を認識するべき特徴点検出のパターンマッチングがうまくいかない場合がある。例えば人を対象として、特徴点を目にした場合、顔の正面を向いていることを前提としたパターンマッチングを行うことが多いが、顔が横を向いていた場合などでは、両目があることを前提としたテンプレートを使用しているため、人物の顔であることを認識ができない。

このような課題に対し、顔向きの異なる顔テンプレートをあらかじめ登録しておく方法がある（非特許文献１参照）。また、右鼻の孔と左鼻の孔を検出することによって左右を向いている方向のテンプレートを用いる発明もある（特許文献１参照）。

しかながら、これらの従来の被写体認識方法では、たとえば人の顔が横向きになりやすい状況などの撮影状況を考慮されていないため、誤認識されることが多く、被写体認識のロバスト性が悪いなどの課題を有していた。
A.Pentland、他２名、View-based and modular eigenspace for face recognition、Proceedings of IEEE Coputer SocietyConference on Computer Vision and Pattern Recognition、1994、P84-91 特開２００４−２５９２１５

本発明の目的は、良好な被写体認識を実現させることができる被写体検出装置、撮影装置、プログラム、撮影方法、被写体検出方法および被写体検出装置の製造方法を提供することである。

上記目的を達成するために、本発明の第１の観点に係る被写体検出装置は、
撮影装置の撮影状態を検出する撮影状態検出手段（１９）と、
被写体を認識するための被写体情報を用いて、撮像された像から被写体を検出する被写体検出手段（１５）とを含む被写体検出装置であって、
前記被写体情報は、前記撮影状態検出手段（１９）によって検出された前記撮影状態に対応していることを特徴とする。

本発明の第１の観点に係る被写体検出装置では、撮影状態検出手段によって検出された撮影状態に対応した被写体情報を用いて、撮像された像から被写体を検出する。そのため、誤認識されることが少なくなり、被写体認識のロバスト性が向上する。

本発明の第２の観点に係る被写体検出装置は、
撮影装置の撮影状態を検出する撮影状態検出手段（１９）と、
被写体を認識するための複数の被写体情報を有する情報部（１５，１６）と、
撮像された像から前記被写体を検出する被写体検出手段（１５）とを含む被写体検出装置であって、
前記被写体検出手段（１５）は、前記撮影状態検出手段（１９）によって検出された前記撮影状態に応じて選択された一の前記被写体情報を用いて前記被写体を検出することを特徴とする。

本発明の第２の観点に係る被写体検出装置では、撮影状態検出手段によって検出された撮影状態に応じて選択された一の被写体情報を用いて被写体を検出する。そのため、誤認識されることが少なくなり、被写体認識のロバスト性が向上する。

本発明の第２の観点において、好ましくは、
前記撮影状態検出手段により流し撮り撮影がされていると検出されたとき一の前記被写体情報を用いて前記被写体を検出し、前記撮影状態検出手段により流し撮りが撮影がされていないと検出されたとき他の前記被写体情報を用いて前記被写体を検出する。

本発明の第３の観点に係る被写体検出装置は、
撮像された像から被写体を検出する被写体検出手段（１５）と、
前記像が撮像されたときの撮影状態を検出する撮影状態検出手段（１９）とを含む被写体検出装置であって、
前記被写体検出手段（１５）は、前記撮影状態検出手段（１９）によって検出された前記撮影状態に応じて前記被写体の検出方法を変更することを特徴とする。

本発明の第３の観点に係る被写体検出装置では、撮影状態検出手段によって検出された撮影状態に応じて、被写体の検出方法を変更して、撮像された像から被写体を検出する。そのため、誤認識されることが少なくなり、被写体認識のロバスト性が向上する。

本発明の第３の観点において、好ましくは、
前記被写体検出手段は、予め記憶された被写体情報と、前記撮像された像とを比較することにより、前記被写体を検出する。

本発明の第１〜第３の観点において、好ましくは、
前記撮影状態検出手段は流し撮り撮影をしているか否かを検出する。

その場合において、好ましくは、
前記撮影状態検出手段は、所定方向の流し撮り撮影をしているか、前記所定方向とは逆方向の流し撮り撮影をしているかを検出する。

本発明の第１〜第３の観点において、好ましくは、
前記撮影状態検出手段は、動きの激しい被写体を撮影する撮影モードであるか否かを検出する。

本発明の第１〜第３の観点において、好ましくは、
前記被写体検出手段は、顔を検出する。

本発明の第４の観点に係る被写体検出装置は、
撮像された像の特定領域を検出する特定領域検出手段（１５）と、
前記像が撮像されたときの撮影状態を検出する撮影状態検出手段（１９）とを含む被写体検出装置であって、
前記特定領域検出手段（１５）は、前記撮影状態検出手段（１９）によって検出された前記撮影状態に応じて、前記特定領域の検出方法を変更することを特徴とする。

本発明の第４の観点に係る被写体検出装置では、撮影状態検出手段によって検出された撮影状態に応じて、特定領域の検出方法を変更し、撮像された像から被写体を検出する。そのため、誤認識されることが少なくなり、被写体認識のロバスト性が向上する。

本発明の第４の観点において、好ましくは、前記特定領域検出手段は、顔に対応する領域を検出する。

本発明の第４の観点において、好ましくは、前記撮影状態検出手段は、流し撮り撮影がされているか否かを検出する。

本発明の第５の観点に係る被写体検出装置は、
被写体画像を取得する画像取得手段（３）と、
前記画像取得手段にて取得された被写体画像から特定被写体を検出する検出手段（１５）と、
前記画像取得手段（３）による前記画像取得の方法が流し撮りであるか否かを判断する判定手段（１９）と、
前記判定手段（１９）により判断された結果に基づき、前記検出手段（１５）による特定被写体の検出方法を変化させる変更手段（Ｓ２７）と、を有する。

本発明の第５の観点に係る被写体検出装置では、判定手段によって検出された撮影状態に応じて、特定被写体の検出方法を変更し、被写体画像から特定被写体を検出する。そのため、特定被写体が誤認識されることが少なくなり、特定被写体認識のロバスト性が向上する。

本発明の第５の観点において、好ましくは、前記判定手段では、ブレ信号または当該ブレ信号を加工した信号に基づき、流し撮りであるか否かを判断する。ブレ信号または当該ブレ信号を加工した信号から容易に流し撮りであるか否かを検出することができる。

本発明の第５の観点において、好ましくは、前記検出手段では、前記画像取得手段にて取得された前記被写体画像と、前記特定被写体に対応するテンプレートとを比較することで、前記特定被写体を検出する。

本発明の第５の観点において、好ましくは、前記変更手段では、前記判定手段での判断結果に基づき、前記テンプレートを変更する。

本発明の第５の観点において、好ましくは、
複数の前記テンプレートのうちから、前記判定手段での判断結果に対応するテンプレートを選択し、
当該テンプレートと、前記画像取得手段にて取得された前記被写体画像とを比較することで、前記特定被写体を検出する。

本発明の第５の観点において、好ましくは、複数のテンプレートには、正面用テンプレートと、正面以外のテンプレートとを含む。

本発明の第５の観点において、好ましくは、複数のテンプレートには、第１方向を向いている第１向きテンプレートと、前記第１方向とは反対の第２方向を向いている第２向きテンプレートとを含む。第１方向および第２方向は、左右方向に限定されず、上下方向、あるいは斜め方向、あるいはその他の方向であっても良い。

本発明の第５の観点において、好ましくは、
前記特定被写体が人物の場合に、複数のテンプレートには、正面向きテンプレートと、側面向きテンプレートとを含み、
前記側面向きテンプレートには、耳の穴または耳の形状のテンプレートが含まれている。

耳を検出することで、その被写体人物の顔の向きまで把握することができる。また、耳を検出することで、その被写体人物の顔が多少傾いていても、被写体人物を検出することができる。

本発明に係る撮影装置は、上述した被写体検出装置を備えている。

本発明の第１の観点に係るプログラムは、
撮像された像から被写体を検出する被写体検出ステップ（Ｓ２２）と、
前記像が撮像されたときの撮影状態を検出する撮影状態検出ステップ（Ｓ２５）とを含み、
前記被写体検出ステップ（Ｓ２２）は、前記撮影状態検出ステップ（Ｓ２５）によって検出された前記撮影状態に応じて、前記被写体の検出方法を変更することを特徴とする。

本発明の第２の観点に係るプログラムは、
撮像された像から特定領域を検出する特定領域検出ステップ（Ｓ２２）と、
前記像が撮像されたときの撮影状態を検出する撮影状態検出ステップ（Ｓ２５）とを含み、
前記特定領域検出ステップ（Ｓ２２）は、前記撮影状態検出ステップ（Ｓ２５）によって検出された前記撮影状態に応じて、前記特定領域の検出方法を変更する。

本発明の第３の観点に係るプログラムは、
被写体画像を取得する画像取得ステップ（Ｓ２０）と、
前記画像取得ステップ（Ｓ２０）にて取得された被写体画像から特定被写体を検出する検出ステップ（Ｓ２２）と、
前記画像取得ステップによる前記画像取得の方法が流し撮りであるか否かを判断する判定ステップ（Ｓ２５）と、
前記判定ステップ（Ｓ２５）により判断された結果に基づき、前記検出ステップ（Ｓ２２）による特定被写体の検出方法を変化させる変更ステップ（Ｓ２７）と、を有する被写体検出方法をコンピュータに実行させるためのプログラムである。

本発明の第１の観点に係る撮影方法は、
撮像された像から被写体を検出し、
前記像が撮像されたときの撮影状態を検出する撮影方法であって、
検出された前記撮影状態に応じて、前記被写体の検出方法を変更することを特徴とする。

本発明の第２の観点に係る撮影方法は、
撮像された像から特定領域を検出し、
前記像が撮像されたときの撮影状態を検出する撮影方法であって、
検出された前記撮影状態に応じて、前記特定領域の検出方法を変更することを特徴とする。

本発明に係る被写体検出方法は、
被写体画像を取得する画像取得ステップ（Ｓ２０）と、
前記画像取得ステップにて取得された被写体画像から特定被写体を検出する検出ステップ（Ｓ２２）と、
前記画像取得ステップによる前記画像取得の方法が流し撮りであるか否かを判断する判定ステップ（Ｓ２５）と、
前記判定ステップにより判断された結果に基づき、前記検出ステップによる特定被写体の検出方法を変化させる変更ステップ（Ｓ２７）と、を有する。

本発明の第１の観点に係る被写体検出装置の製造方法は、
撮像された像から被写体を検出する被写体検出手段（１５）と、
前記像が撮像されたときの撮影状態を検出する撮影状態検出手段（１９）とを接続し、
前記撮影状態検出手段（１９）によって検出された前記撮影状態に応じて、前記被写体の検出方法を変更するように前記被写体検出手段（１５）を備えることを特徴とする。

本発明の第２の観点に係る被写体検出装置の製造方法は、
撮像された像から特定領域を検出する特定領域検出手段（１５）と、前記像が撮像されたときの撮影状態を検出する撮影状態検出手段（１９）とを接続し、
前記撮影状態検出手段（１９）によって検出された前記撮影状態に応じて、前記特定領域の検出方法を変更するように前記特定領域検出手段（１５）を備えることを特徴とする。

なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応つけて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成物に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

以下、本発明を、図面に示す実施形態に基づき説明する。
図１は本発明の一実施形態に係る一眼レフカメラシステムの概略ブロック図、
図２は図１に示すシステムの動作を示すフローチャート図、
図３は図２に示す被写体認識ステップの詳細を示すフローチャート図、
図４は手振れによる角速度の変化と流し撮りによる角速度の変化との関係を示すグラフ、
図５（Ａ）は正面テンプレートの一例を示す図、図５（Ｂ）は右向きテンプレートの一例を示す図である。

図１に示すように、本発明の一実施形態に係る一眼レフカメラ１は、カメラボディ１ａと、レンズ鏡筒１ｂとから構成してあり、カメラボディ１ａに内蔵してある制御部としてのＣＰＵ２を有する。ＣＰＵ２には、信号処理回路１２を介して撮像素子３が接続してある。

撮像素子３は、レンズ鏡筒１ｂの内部に装着してあるズームレンズ群４、フォーカスレンズ群５および振れ補正レンズ群６を通して入射してくる被写体１８の画像を撮像して取得するようになっている。すなわち、撮像素子３は、光電変換素子であり、撮像素子駆動回路からの入力信号を受けて，信号処理回路１２に画像データを出力する。

ズームレンズ群４は、レンズ鏡筒１ｂの内部に装着してあるズーム群駆動機構７により光軸Ａｘ方向に移動可能に装着してある。フォーカスレンズ群５は、レンズ鏡筒１ｂの内部に装着してあるフォーカス群駆動機構８により光軸Ａｘ方向に移動可能に装着してある。

また、振れ補正レンズ群６は、レンズ鏡筒１ｂの内部に装着してある振れ補正群駆動機構９により光軸Ａｘに対して垂直な平面方向に移動可能に装着してある。振れ補正レンズ群６が、手振れの動作に対応して、光軸Ａｘに対して垂直な平面方向に移動することで、手振れ補正効果を奏するようになっている。

これらの駆動機構７〜９は、ＣＰＵ２により制御される。ＣＰＵ２には、振れ方向予測部２０および振れ状態判断部１９を介してジャイロセンサ１３が接続してある。ジャイロセンサ１３は、カメラ１の角速度を検出することにより、カメラ１の振れを検出するセンサである。

また、ＣＰＵ２には、顔認識演算部１５が接続してある。なお、図１に示す実施形態では、ＣＰＵ２とは別に、顔認識演算部１５、振れ状態判断部１９および振れ方向予測部２０が表示してあるが、実際には、ＣＰＵ２自体が、これらの演算、判断あるいは予測を処理しても良い。

また、ＣＰＵ２には、撮像素子３の前面に配置してあるシャッタ１０の駆動機構が接続してある。ＣＰＵ２はシャッタ１０を開閉制御する。さらにＣＰＵ２には、表示装置１１が接続してある。ＣＰＵ２は撮像素子３にて取得された被写体１８の画像を表示装置１１の画面に表示させることができる。

ＣＰＵ２には、記録媒体１６が接続してあるのでＣＰＵ２は記録媒体１６に保存してある画像データなどを、表示装置１１に表示させることも可能である。ＣＰＵ２による制御のスタートは、カメラボディ１ａに装着してある電源スイッチやレリーフスイッチなどの操作部材１７を操作することで行うことができる。

ＣＰＵ２は、図２に示すように、ステップＳ１にて、カメラの電源が入り制御がスタートすると、ステップＳ２で、レリーズスイッチが半押し状態か否かを検出する。半押し状態ではない場合には、ＣＰＵ２はステップＳ２を繰り返す。ＣＰＵ２はステップＳ２にて半押し状態が検出されると、ステップＳ３にて、図１に示すジャイロセンサ１３を起動させる。その後に、ＣＰＵ２はステップＳ４で、図１に示す被写体１８のスルー画を取り込み、図示省略してあるファインダから覗き込めるようにしたり、カメラボディ１ａの背面に装着してある表示装置１１に表示させたりする。

次に、ＣＰＵ２は図２に示すステップＳ５において、フォーカス群駆動機構８等をオートフォーカス制御させる。すなわち、図１に示すＣＰＵ２がフォーカス群駆動機構８を制御し、フォーカスレンズ群５を光軸Ａｘ方向に移動させ、オートフォーカス動作を行わせる。次に、図２に示すステップＳ６では、ＣＰＵ２は顔認識演算部１５に図１に示す被写体１８を含む画像から顔の認識動作を行わせる。顔認識演算部１５による顔の認識動作の詳細については、後述する。

次に、図２に示すステップＳ７では、ＣＰＵ２は図１に示すシャッタ１０を開けて、露光動作を行う。その後に図２に示すステップＳ８では、振れ補正動作を開始する。振れ補正では、図１に示す振れ方向予測部２０および振れ状態判断部１９により、振れ方向を予測すると共に振れの状態を判断し、その結果に応じて、ＣＰＵ２は、振れ補正駆動機構９を制御して手振れ補正を行う。

次に図２に示すステップＳ９にてレリーズスイッチの全押し信号が入力されているかを判断し、全押し信号が入力されたと判断した場合には、ステップＳ１０にて、ＣＰＵ２は、図１に示す撮像素子３にて撮像した情報を、記録媒体１６などに記憶させる。

ステップＳ９にてレリーズスイッチの全押し信号が入力されていないとＣＰＵ２が判断した場合には、ステップＳ２に戻り、ステップＳ２以降を繰り返す。

本実施形態では、図２に示すステップＳ６における顔の認識動作は、図３に示すフローチャートに基づき行われる。すなわち、ステップＳ６がスタートすると、ステップＳ２０にて、ＣＰＵ２は、被写体画像を読み込む。被写体画像の読み込みは、図１に示す撮像素子３から読み込んでも良いし、カメラ１の内部に内蔵してあるその他の撮像素子から読み込んでも良い。

次に、図３に示すステップＳ２１およびステップＳ２２では、テンプレートマッチング処理を行うと共に顔の検出判定を行う。ステップＳ２１およびＳ２２では、たとえば図１に示す顔認識演算部１５に予め記憶してある図５（Ａ）に示す正面テンプレートと同様な画像が、読み込まれた被写体画像中に含まれるか否かをＣＰＵ２が判断する。

図５（Ａ）は、人の顔を正面から見た図であり、図５（Ａ）中の点線部をテンプレートとする。人が正面を向いていることを前提としているテンプレートの場合、点線部に示すようなテンプレートとなる。テンプレートと合う形状が得られれば顔と認識できる。テンプレートマッチングが得られれば、顔の数や位置、大きさなどの情報がわかる。なお、テンプレートは、図１に示す顔認識演算部１５に記憶してあっても良いし、記録媒体１６に記憶してあっても良い。

ステップＳ２２にて、正面から見た人の顔を認識することができたら、次にステップＳ２３へ行き、顔の数、位置および大きさを特定し、それらの情報を、顔認識演算部１５にて演算して記憶し、ＣＰＵ２は、オートフォーカス動作の制御に用いる。

なお、テンプレートマッチングによる顔検出処理方法は、顔検出領域が広範囲であるほど検出に時間がかかるため、狭い範囲の検出領域とすることが望ましい。したがって測距モードや撮影モードなどから顔検出領域の大きさと位置を適切に設定することで、顔検出時間の短縮が可能となる。また、図３では示していないが、色情報なども用いて、顔検出判断条件を付加してもよい。

ステップＳ２２にて、正面から見た人の顔を認識するためのテンプレートに対してマッチングするデータが見つけられないと判断した場合には、ステップＳ２４へ行き、ステップＳ２２における検出回数が所定回数Ｎを超えているか否かを判断する。その判断は、図１に示すＣＰＵ２が行う。

ステップＳ２２における検出回数が所定回数Ｎを超えている場合とは、次に示すステップＳ２５〜ステップＳ２７を通り、再度、ステップＳ２０およびＳ２１を通ってステップＳ２２へ戻った回数が多いと判断できる。そのような場合には、顔の検出ができない場合と考えて良く、ステップＳ２４からステップＳ３０へ行き、ＣＰＵ２は、顔認識の制御を終了させる。なお、所定回数Ｎは、図１に示すＣＰＵ２の処理速度などに応じて、無限に大きくすることも可能であるが、最低でもＮは２以上である。

ステップＳ２４にて、検出回数が所定回数Ｎを超えていないとＣＰＵ２が判断した場合には、ステップＳ２５へ行き、図１に示すカメラ１が流し撮り撮影の状態にあるか否かを検出する。流し撮り撮影とは、動きのある被写体にレンズを向け、シャッターーが開いている間、被写体の位置がずれないように、その被写体の動きに合わせてカメラを動かす撮影方法で、背景は露光中にカメラが動いた分だけ振れ、被写体は止まっているように写す手法である。

図１に示すカメラ１が流し撮りの状態にあるか否かは、たとえば以下のようにして判断することができる。すなわち、図１に示すジャイロセンサ１３により測定される角速度は、図４に示す範囲αで示すように、図１に示すカメラ１を手で固定して通常の撮影を行う場合には、手振れによる角速度の変化は多少あるものの、角速度の平均Ｖｔは、それほど変化しない。

ところが、図４に示す範囲βに示すように、図１に示すカメラ１を用いて流し撮りを行う場合には、ジャイロセンサ１３により測定される角速度は、所定の閾値Ｔｈ以上に変動する。そこで、角速度の平均Ｖｔが所定の閾値Ｔｈ以上に変動するか否かを、図１に示す振れ状態判断部１９および/またはＣＰＵ２が判断することで、カメラ１が流し撮りの状態にあるか、あるいはそうではないかを検出することができる。

なお、図４に示す範囲βでは、角速度が上に凸になるように変化した場合を示しているが、流し撮りの条件によっては、角速度が下に凸になるように変化する場合もある。そのような場合には、閾値Ｔｈを、通常時の角速度の平均Ｖｔよりも下側にも設定すればよい。

図３に示すステップＳ２５にて流し撮りをしていないと判断された場合には、ステップＳ２０以降を繰り返す。ステップＳ２５にて流し撮りをしていると判断された場合には、ステップＳ２６へ行き、図１に示す振れ方向予測部２０にて、振れ方向を予測する。振れ方向の予測に際しては、図４に示す範囲βにおいて、角速度が上に凸になるように変化しているか、あるいは下に凸になるように変化しているかで判断することができる。

ステップＳ２６にて振れ方向を予測した後、次にステップＳ２７では、テンプレートの変更を行う。たとえば、ステップＳ２６にて、流し撮りの方向が右向きであるとＣＰＵ２が判断した場合には、図１に示す顔認識演算部１５にて判断の基礎として用いるテンプレートを、図５（Ａ）に示す正面テンプレートから図５（Ｂ）に示す右向きテンプレートに変更する。

また、ステップＳ２６にて、流し撮りの方向が左向きであるとＣＰＵ２が判断した場合には、図１に示す顔認識演算部１５にて判断の基礎として用いるテンプレートを、図５（Ａ）に示す正面テンプレートから図５（Ｂ）に示す右向きテンプレートとは逆向きの左向きテンプレートに変更する。

このようにテンプレートを、図５（Ａ）に示す正面テンプレートから図５（Ｂ）に示す右向きテンプレートあるいは左向きテンプレートに変更した後に、その変更されたテンプレートに基づき、ステップＳ２２およびステップＳ２３による横顔の検出判定をＣＰＵ２が行う。

本実施形態に係るカメラ１では、ステップＳ２５によって検出された撮影状態に応じて、ＣＰＵ２が、ステップＳ２１およびＳ２２にて用いるテンプレートを変更し、撮像された像から、人の顔の画像を検出する。そのため、通常の撮影時であっても、あるいは、流し撮り撮影時であっても、人の顔を正確に検出することが可能になり、誤認識されることが少なくなり、顔認識のロバスト性が向上する。すなわち、顔認識のテンプレートを変更することで顔認識のロバスト性が高まり、手振れ補正を用いて被写体追尾の性能が上がる。

また、上述した実施形態では、図５（Ｂ）に示す右向きテンプレートあるいは図示しない左向きテンプレートとして、人間の片目および口の一部のみでなく、耳の孔もテンプレートとして用いている。本実施形態では、耳の孔もテンプレートとして用いることで、顔の向きが多少傾いても、耳の孔の位置と、目または口の位置との関係から、人の顔の向きが容易に認識することができる。

なお、本発明は、上述した実施形態に限定されるものではなく、本発明の範囲内で種々に改変することができる。

たとえば、顔などの特定の被写体を認識する方法としては、上述したテンプレートを用いる方法に代えて、あるいは、テンプレートを用いる方法に組み合わせて、肌の色や目の形といった画像特徴量を検出し統計的解析を用いる方法、ニューラルネットワークに代表される学習を用いた方法などを用いても良い。

また、上述した実施形態では、カメラ１は図３に示すステップＳ２５にて、流し撮り撮影状態であるか否かで、撮影状態を検出しているが、ステップＳ２５では、カメラ１の撮影モードを検出しても良い。たとえば本発明では、シーンモードでスポーツモード（動きが激しい撮影モード）になっている時は、テンプレートを変えるようにしてもいい。

さらに、上述した実施形態では、正面テンプレート以外に、横向きテンプレートを準備して変更可能、あるいは選択可能に構成したが、テンプレートとしては、それ以外のテンプレートを用いても良い。また本実施例において、顔認識としている箇所でも特徴点さえ変えれば人物に限るものでもない。カメラ１は、例えば、車両の正面の形状に対応した正面テンプレートを用いて車両の正面を認識し、車両の側面形状に対応した側面テンプレートを用いて車両の側面を認識してもよい。さらに、振れ検出センサは、ジャイロセンサだけでなく加速度センサを用いても良い。

さらに、本発明では、上述した特定被写体の検出装置が組み込まれた撮影装置としては、スチルカメラに限らず、ビデオカメラであっても良い。

図１は本発明の一実施形態に係る一眼レフカメラシステムの概略ブロック図である。 図２は図１に示すシステムの動作を示すフローチャート図である。 図３は図２に示す被写体認識ステップの詳細を示すフローチャート図である。 図４は手振れによる角速度の変化と流し撮りによる角速度の変化との関係を示すグラフである。 図５（Ａ）は正面テンプレートの一例を示す図、図５（Ｂ）は右向きテンプレートの一例を示す図である。

符号の説明

１… カメラ
１ａ… カメラボディ
１ｂ… レンズ鏡筒
２… ＣＰＵ
３… 撮像素子
６… 振れ補正レンズ群
９… 振れ補正群駆動機構
１３… ジャイロセンサ
１５… 顔認識演算部
１８… 被写体
１９… 振れ状態判定部
２０… 振れ方向予測部

Claims (29)

1. 撮影装置の撮影状態を検出する撮影状態検出手段と、
   被写体を認識するための被写体情報を用いて、撮像された像から被写体を検出する被写体検出手段とを含む被写体検出装置であって、
   前記被写体情報は、前記撮影状態検出手段によって検出された前記撮影状態に対応していることを特徴とする被写体検出装置。
2. 撮影装置の撮影状態を検出する撮影状態検出手段と、
   被写体を認識するための複数の被写体情報を有する情報部と、
   撮像された像から前記被写体を検出する被写体検出手段とを含む被写体検出装置であって、
   前記被写体検出手段は、前記撮影状態検出手段によって検出された前記撮影状態に応じて選択された一の前記被写体情報を用いて前記被写体を検出することを特徴とする被写体検出装置。
3. 請求項２に記載された被写体検出装置であって、
   前記撮影状態検出手段により流し撮り撮影がされていると検出されたとき一の前記被写体情報を用いて前記被写体を検出し、前記撮影状態検出手段により流し撮りが撮影がされていないと検出されたとき他の前記被写体情報を用いて前記被写体を検出することを特徴とする被写体検出装置。
4. 撮像された像から被写体を検出する被写体検出手段と、
   前記像が撮像されたときの撮影状態を検出する撮影状態検出手段とを含む被写体検出装置であって、
   前記被写体検出手段は、前記撮影状態検出手段によって検出された前記撮影状態に応じて前記被写体の検出方法を変更することを特徴とする被写体検出装置。
5. 請求項４に記載された被写体検出装置であって、
   前記被写体検出手段は、予め記憶された被写体情報と、前記撮像された像とを比較することにより、前記被写体を検出することを特徴とする被写体検出装置。
6. 請求項１から請求項５までの何れか１項に記載された被写体検出装置であって、
   前記撮影状態検出手段は流し撮り撮影をしているか否かを検出することを特徴とする被写体検出装置。
7. 請求項６に記載された被写体検出装置であって、
   前記撮影状態検出手段は、所定方向の流し撮り撮影をしているか、前記所定方向とは逆方向の流し撮り撮影をしているかを検出することを特徴とする被写体検出装置。
8. 請求項１から請求項５までの何れか１項に記載された被写体検出装置であって、
   前記撮影状態検出手段は、動きの激しい被写体を撮影する撮影モードであるか否かを検出することを特徴とする被写体検出装置。
9. 請求項１から請求項８までの何れか１項に記載された被写体検出装置であって、前記被写体検出手段は、顔を検出することを特徴とする被写体検出装置。
10. 撮像された像の特定領域を検出する特定領域検出手段と、
    前記像が撮像されたときの撮影状態を検出する撮影状態検出手段とを含む被写体検出装置であって、
    前記特定領域検出手段は、前記撮影状態検出手段によって検出された前記撮影状態に応じて、前記特定領域の検出方法を変更することを特徴とする被写体検出装置。
11. 請求項１０に記載された被写体検出装置であって、前記特定領域検出手段は、顔に対応する領域を検出することを特徴とする被写体検出装置。
12. 請求項１０又は請求項１１に記載された被写体検出装置であって、
    前記撮影状態検出手段は、流し撮り撮影がされているか否かを検出することを特徴とする被写体検出装置。
13. 被写体画像を取得する画像取得手段と、
    前記画像取得手段にて取得された被写体画像から特定被写体を検出する検出手段と、
    前記画像取得手段による前記画像取得の方法が流し撮りであるか否かを判断する判定手段と、
    前記判定手段により判断された結果に基づき、前記検出手段による特定被写体の検出方法を変化させる変更手段と、を有する
    被写体検出装置。
14. 前記判定手段では、ブレ信号または当該ブレ信号を加工した信号に基づき、流し撮りであるか否かを判断する請求項１３に記載の被写体検出装置。
15. 前記検出手段では、前記画像取得手段にて取得された前記被写体画像と、前記特定被写体に対応するテンプレートとを比較することで、前記特定被写体を検出する請求項１３または１４に記載の被写体検出装置。
16. 前記変更手段では、前記判定手段での判断結果に基づき、前記テンプレートを変更する請求項１５に記載の被写体検出装置。
17. 複数の前記テンプレートのうちから、前記判定手段での判断結果に対応するテンプレートを選択し、
    当該テンプレートと、前記画像取得手段にて取得された前記被写体画像とを比較することで、前記特定被写体を検出する請求項１５または１６に記載の被写体検出装置。
18. 複数のテンプレートには、正面用テンプレートと、正面以外のテンプレートとを含む請求項１７に記載の被写体検出装置。
19. 複数のテンプレートには、第１方向を向いている第１向きテンプレートと、前記第１方向とは反対の第２方向を向いている第２向きテンプレートとを含む請求項１７に記載の被写体検出装置。
20. 前記特定被写体が人物の場合に、複数のテンプレートには、正面向きテンプレートと、側面向きテンプレートとを含み、
    前記側面向きテンプレートには、耳の穴または耳の形状のテンプレートが含まれている請求項１７に記載の被写体検出装置。
21. 請求項１から請求項２０までの何れか１項に記載された被写体検出装置を備えたことを特徴とする撮影装置。
22. 撮像された像から被写体を検出する被写体検出ステップと、
    前記像が撮像されたときの撮影状態を検出する撮影状態検出ステップとを含み、
    前記被写体検出ステップは、前記撮影状態検出ステップによって検出された前記撮影状態に応じて、前記被写体の検出方法を変更することを特徴とするプログラム。
23. 撮像された像から特定領域を検出する特定領域検出ステップと、
    前記像が撮像されたときの撮影状態を検出する撮影状態検出ステップとを含み、
    前記特定領域検出ステップは、前記撮影状態検出ステップによって検出された前記撮影状態に応じて、前記特定領域の検出方法を変更することを特徴とするプログラム。
24. 被写体画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得された被写体画像から特定被写体を検出する検出ステップと、
    前記画像取得ステップによる前記画像取得の方法が流し撮りであるか否かを判断する判定ステップと、
    前記判定ステップにより判断された結果に基づき、前記検出ステップによる特定被写体の検出方法を変化させる変更ステップと、を有する被写体検出方法をコンピュータに実行させるためのプログラム。
25. 撮像された像から被写体を検出し、
    前記像が撮像されたときの撮影状態を検出する撮影方法であって、
    検出された前記撮影状態に応じて、前記被写体の検出方法を変更することを特徴とする撮影方法。
26. 撮像された像から特定領域を検出し、
    前記像が撮像されたときの撮影状態を検出する撮影方法であって、
    検出された前記撮影状態に応じて、前記特定領域の検出方法を変更することを特徴とする撮影方法。
27. 被写体画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得された被写体画像から特定被写体を検出する検出ステップと、
    前記画像取得ステップによる前記画像取得の方法が流し撮りであるか否かを判断する判定ステップと、
    前記判定ステップにより判断された結果に基づき、前記検出ステップによる特定被写体の検出方法を変化させる変更ステップと、を有する被写体検出方法。
28. 撮像された像から被写体を検出する被写体検出手段と、
    前記像が撮像されたときの撮影状態を検出する撮影状態検出手段とを接続し、
    前記撮影状態検出手段によって検出された前記撮影状態に応じて、前記被写体の検出方法を変更するように前記被写体検出手段を備えることを特徴とする被写体検出装置の製造方法。
29. 撮像された像から特定領域を検出する特定領域検出手段と、前記像が撮像されたときの撮影状態を検出する撮影状態検出手段とを接続し、
    前記撮影状態検出手段によって検出された前記撮影状態に応じて、前記特定領域の検出方法を変更するように前記特定領域検出手段を備えることを特徴とする被写体検出装置の製造方法。

Images