JP2008099246A - 撮像装置および被写体検出方法 - Google Patents

Abstract

【課題】複数の被写体の追従や新規な被写体を短時間で検出することが可能な撮像装置を提供すること。
【解決手段】画像を連続して撮像する撮像部３と、撮像部３により撮像された画像から一つ以上の被写体を検出する第１の処理と、前記検出された一つ以上の被写体を追従する第２の処理とを実行するシステム制御部２と、を具備した撮像装置であって、システム制御部２が、撮像された画像において第１の処理により一つ以上の被写体が検出された後に、これに続けて撮像された画像に対して、第２の処理により被写体の追従検出を実行させるとともに、画像の一部に限定した限定領域に対して被写体検出を実行するようにしたことを特徴とする撮像装置である。
【選択図】図１

Description

本発明は、被写体を検出して追従する処理を実行する撮像装置およびその被写体検出方法に関する。

画像認識により主要な被写体、特に人物の顔を検出し、その検出結果を用いて焦点距離の調節などを行う撮像装置が知られている。
また、このような撮像装置において、顔検出を行い、検出した領域を焦点調節領域に設定する撮像装置（例えば、特許文献１参照）や、肌色検出により主要被写体を決定し、パターンマッチングにより、主要被写体に追従する撮像装置（例えば、特許文献２参照）が知られている。
このような撮像装置は、ポートレート写真の撮影を好適に行うことができるため、とりわけカメラの操作に不慣れな利用者にとって有用な機能となっている。

また、撮像した画像における主要な１つの被写体のみならず複数の被写体を検出し、それらの全ての被写体にピントが合うように制御を行う撮像装置も知られている（例えば、特許文献３参照のこと）。
このような撮像装置は、記念写真など複数の人物が被写体となる場合に好適である。

また、検出処理に注目すると、特許文献２に記載された技術のように、一旦決定した主要被写体をパターンマッチングにより追従する追従処理は、前回の検出結果を用いて追従を行うために、画像全体から新規に被写体を検出する処理に比べて高速に処理することができ、人物の動きやカメラの画角の変化に対し素早く追従することができる。

この処理速度の違いを、図３を用いて説明する。
図３（ａ）において、１００は連続した撮像により得られる画像データであり、撮影待機中にフレーミングを決定するためにＬＣＤなどの表示部に表示される。
１０１は、顔の検出処理に用いられる画像データを示しており、また、そこからの矢印はその検出処理を行っている期間を示している。この検出処理には時間を要するため、撮像した画像データから間欠的にデータを選択し、顔の検出処理を行っている。

一方、図３（ｂ）は、一旦顔を検出した後、その顔を追従する処理を示している。
１０２は、その追従の処理に用いられる画像データを示しており、また、そこからの矢印はその追従処理を行っている期間を示している。この図に示すように、追従処理では、新規に顔を検出する場合に比べて高速に処理することができるため、より短い間隔で検出結果を得ることができる。
特開２００３−１０７３３５号公報 特開２００６−６０３２９号公報 特開２００３−９２６９９号公報

しかしながら、特許文献２のような追従処理だけでは、特許文献３のように複数の顔を検出して処理を行う場合に対応できないという課題が残っている。

例えば、図５に示す３人の人物撮影を行う場合、３人の顔を追従処理している途中で、図示のように１人が横を向いて顔の検出ができなくなった場合、その後、その横を向いた１人が正面に向き直ったときに、３人の検出に戻れなくなる。
さらに、撮影中に新規に画像に入った被写体を短時間で検出することが難しい。

本願は上記のような課題を解決することを目的とし、認識した被写体の状態の変化に対応することが可能な撮像装置および被写体検出方法を提供することを目的とする。

上述の目的を達成するために、請求項１に記載の発明は、画像を連続して撮像する撮像部と、この撮像部により撮像された画像から一つ以上の被写体を検出する第１の検出手段と、前記検出された一つ以上の被写体を追従して検出する第２の検出手段と、前記撮像された画像から第１の検出手段により一つ以上の被写体が検出された後に、これに続けて撮像された画像に対して、前記第２の検出手段により被写体の追従検出を実行させるとともに、設定手段により前記画像の一部に限定した限定領域に対して、前記第１の検出手段による被写体検出を実行する制御手段と、を具備することを特徴とする撮像装置とした。

また、請求項２に記載の発明は、請求項１に記載の撮像装置において、前記設定手段が、前記限定領域を、前記画像の中心を含む領域から周辺に向かって順次設定することを特徴とする撮像装置とした。

請求項３に記載の発明は、請求項１または請求項２に記載の撮像装置において、前記設定手段が、前記限定領域を、順次オーバーラップさせながら設定することを特徴とする撮像装置とした。

請求項４に記載の発明は、請求項１〜請求項３のいずれか１項に記載の撮像装置において、前記設定手段が、前記限定領域を、前記第２の検出手段による追従検出の結果に基づき設定することを特徴とする撮像装置とした。

請求項５に記載の発明は、請求項１〜請求項４のいずれか１項に記載の撮像装置において、前記設定手段が、前記限定領域を、検出された被写体の大きさに基づいて設定することを特徴とする撮像装置とした。

請求項６に記載の発明は、請求項１〜請求項４のいずれか１項に記載の撮像装置において、前記設定手段が、前記限定領域を、撮影倍率に基づいて設定することを特徴とする撮像装置とした。

請求項７に記載の発明は、請求項１〜請求項６のいずれか１項に記載の撮像装置において、前記設定手段が、前記限定領域を、画像の中心を含む領域が設定される頻度が中心を含まない領域よりも高くなるように設定することを特徴とする撮像装置とした。

請求項８に記載の発明は、請求項７に記載の撮像装置において、前記設定手段が、前記画像の中心を含む領域の設定頻度を、焦点距離に基づいて決定することを特徴とする撮像装置とした。

請求項９に記載の発明は、請求項１〜請求項８のいずれか１項に記載の撮像装置において、撮像中の画像を表示する表示手段を具備し、前記制御手段が、前記第２の検出手段による追従検出の結果を前記表示手段により表示させることを特徴とする撮像装置とした。

請求項１０に記載の発明は、請求項９に記載の撮像装置において、前記設定手段が、前記限定領域を、前記第２の検出手段による追従検出の結果に基づいて設定する手段であり、前記制御手段による前記表示は、前記設定手段が、前記第２の検出手段の検出処理の結果に基づいて前記限定領域を設定している間に行うことを特徴とする撮像装置とした。

また、上記目的を達成するため、請求項１１に記載の発明は、撮像された画像から一つ以上の被写体を検出する第１検出方法と、前記検出された一つ以上の被写体を追従して検出する、前記第１の検出方法よりも高速に処理可能な第２の検出方法と、を併用する被写体の検出方法であって、連続して撮像された画像から前記第１の検出方法により一つ以上の被写体が検出された後に、これに続けて撮像された画像に対し、前記第２の検出方法による被写体の追従検出を行うとともに、前記画像の一部に限定した限定領域に対して、前記第１の検出方法による被写体検出を行うことを特徴とする被写体検出方法とした。

請求項１２に記載の発明は、請求項１１に記載の被写体検出方法において、前記限定領域は、画像の中心を含む領域から周辺に向かって順次設定することを特徴とする被写体検出方法とした。

請求項１３に記載の発明は、請求項１１または請求項１２に記載の被写体検出方法において、前記限定領域を、順次オーバーラップさせながら設定することを特徴とする被写体検出方法とした。

請求項１４に記載の発明は、請求項１１〜請求項１３のいずれか１項に記載の被写体検出方法において、前記限定領域を、前記第２の検出方法の追従検出結果に基づき設定することを特徴とする被写体検出方法とした。

請求項１５に記載の発明は、請求項１１〜請求項１４のいずれか１項に記載の被写体検出方法において、前記限定領域を、検出された被写体の大きさに基づいて設定することを特徴とする被写体検出方法とした。

請求項１６に記載の発明は、請求項１１〜請求項１４のいずれか１項に記載の被写体検出方法において、前記限定領域を、撮影倍率に基づいて設定することを特徴とする被写体検出方法とした。

請求項１７に記載の発明は、請求項１１〜請求項１４のいずれか１項に記載の被写体検出方法において、前記限定領域を、画像の中心を含む領域が設定される頻度が中心を含まない領域よりも高くなるように設定することを特徴とする被写体検出方法とした。

請求項１８に記載の発明は、請求項１７に記載の撮像装置において、前記画像の中心を含む領域の設定頻度を、焦点距離に基づいて決定することを特徴とする被写体検出方法とした。

請求項１９に記載の発明は、請求項１１〜請求項１８のいずれか１項に記載の被写体検出方法において、前記第２の検出方法による追従検出結果を表示することを特徴とする被写体検出方法とした。

請求項２０に記載の発明は、請求項１９に記載の被写体検出方法において、前記限定領域を、前記第２の検出手段による追従検出の結果に基づいて設定している間に、前記表示を実行することを特徴とする被写体検出方法とした。

請求項１および請求項１１に記載の発明では、検出された被写体を追尾することで、１つの画像全体から被写体を検出するよりも高速な検出を実行できることと併せて、画像の一部を限定した限定領域において被写体の検出を実行するため、１つの画像全体で被写体の検出を実行するのと比較して、検出結果の更新サイクルを大きく間延びさせることが無く、しかも、追尾に失敗した被写体や、追尾中に新規に画角内に捕らえた被写体を検出することができるという効果を有する。

上記効果に加え、請求項２および請求項１２に記載の発明では、画像の一部に限定した限定領域を、画像中心から周辺に向かって設定するようにしているため、追尾処理に移行した直後において、主要な被写体を効率良く漏れなく検出できるという効果を有する。

また、請求項３および請求項１３に記載の発明では、画像の一部に限定した限定領域を、オーバーラップして設定するようにしているため、被写体を確実に検出できるという効果を有する。

請求項４および請求項１４に記載の発明では、画像の一部に限定した限定領域を、追尾に失敗した領域を優先検出領域に設定することで、追尾に失敗した被写体を早く検出できるという効果を有する。

請求項５および請求項１５に記載の発明では、画像の一部に限定した限定領域を、検出された被写体の大きさに基づいて設定するため、限定領域を無用に大きくして処理に要する時間が長くなることを防止して効率的な処理が可能となるとともに、新規に画像内に検出した被写体に対しても、同様に効率的な処理が可能となる。

請求項６および請求項１６に記載の発明では、画像の一部に限定した限定領域を、撮影倍率に基づいて設定するため、被写体の大きさを想定することができ、限定領域を無用に大きくして処理に要する時間が長くなることを防止して効率的な処理が可能となるとともに、新規に画像内に検出した被写体に対しても、同様に効率的な処理が可能となる。

請求項７および請求項１７に記載の発明では、画像の中心を含む領域を限定領域として設定する頻度を高く設定するため、多くの撮影シーンにおいて、被写体を限定領域内に捉える確立を高くでき、効率的な処理が可能となるとともに、新規に画像内に捉えられた被写体を、短時間に検出することが可能となる。

請求項８および請求項１８に記載の発明では、前記画像の中心を含む領域の設定頻度を、焦点距離に基づいて決定するようにしたため、多くの撮影シーンにおいて、被写体を短時間に捉えることができるとともに、新規に捉えた被写体の検出を短時間に行うことができる。

請求項９および請求項１９に記載の発明では、追尾に失敗した領域を表示するようにしているため、利用者に撮像装置の検出状態を的確に通知することができるという効果を有す。さらに、被写体に対して的確な動作指示を行うことができる。

請求項１０および請求項２０に記載の発明では、追尾に失敗した領域の再検出を試みている期間が判る表示を行うようにしたため、利用者に撮像装置の検出状態を的確に通知することができるという効果を有す。さらに、被写体に対して的確な動作指示を行うことができる。

以下、本発明の実施の形態を図面に基づいて説明する。
（実施の形態１）
実施の形態１の撮像装置としてのデジタルスチルカメラ装置１を図１〜図５に基づいて説明する。

図１はデジタルスチルカメラ装置１および接続機器１１を示す概略図である。
図１に示すように、デジタルスチルカメラ装置１は、システム制御部２、撮像部３、画像処理部４、表示制御部５、ＬＣＤ（Liquid Crystal Displayの略であり液晶モニタのことである）６、記録メディアインターフェイス部７、記録メディア８、ハードキーインターフェイス部９、通信インターフェイス部１０を備えている。

システム制御部２は、デジタルスチルカメラ装置１全体の制御を行うために設けられており、図示を省略したメインＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマ−などを備えている。

撮像部３は、撮像を行う部分であって、図示を省略した光学系部品（レンズおよびレンズ駆動モータ）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器などを備えている。

画像処理部４は、撮像部３で得られた画像信号に種々の画像処理を行うと共に、撮像部３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整などを行い、また、画像の圧縮伸長を行うために設けられており、図示を省略した画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭなどを備えている。

表示制御部５は、画像処理部４で処理された画像信号をＬＣＤ６に表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成してＬＣＤ６に表示するために設けられており、図示を省略したＤ／Ａ変換器、ＯＳＤコントローラなどを備えている。

ＬＣＤ６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられている。

記録メディアインターフェイス部７は、記録メディア８とのインターフェイスのために設けられており、図示を省略したメモリカードコントローラなどを備えている。

記録メディア８は、フラッシュメモリなどの圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられておりデジタルスチルカメラ装置１に着脱可能に設けられている。

ハードキーインターフェイス部９は、図示を省略したサブＣＰＵなどから成り、図示されていないキー、ダイアルなどのユーザーインターフェイスの状態検出を行い、また、システム制御部２のメインＣＰＵへの主電源制御を行うために設けられている。

通信インターフェイス部１０は、図示を省略したＵＳＢを接続してデータ通信を行うために設けられており、通信コントローラからなる。

接続機器１１は、パーソナルコンピュータなどから成り、デジタルスチルカメラ装置１と図示を省略したＵＳＢで接続し、デジタルスチルカメラ装置１からの画像を転送して再生したり、デジタルスチルカメラ装置１の各種設定を行ったりする。

まず、デジタルスチルカメラ装置１の起動動作について説明する。
利用者が図示を省略した電源ボタンを押下すると、ハードキーインターフェイス部９はシステム制御部２のメインＣＰＵへの電源供給をオンする。

システム制御部２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データを図外のＳＤＲＡＭへ転送する。

ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディア８の初期化処理などが含まれる。
鏡胴の繰り出し処理は、画像処理部４を介して撮像部３のレンズ駆動モータに所定の間隔（例えば、２ｍＳ）毎にパルス信号を与えることで行う。
また、記録メディア８の初期化処理は、記録メディアインターフェイス部７を介して記録メディア８への電源とクロックを供給した後、記録メディア８へ初期化コマンドを発行する。
実際の初期化処理は、記録メディア８内で行われ、システム制御部２はその完了を検知するために記録メディア８のステータスを、例えば１０ｍＳ間隔でポーリングする。

続いて撮影時の動作について説明する。
利用者は撮影に先立ち、図示されていない種々のキー、ダイアルを操作し、撮影モード（高画質モード、低画質モードなど）を決定する。
利用者の操作内容は、ハードキーインターフェイス部９を通じてシステム制御部２で判別され、システム制御部２は、操作に応じて表示制御部５へガイダンスグラフィックを生成して、利用者に次操作を促す。

システム制御部２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部４へ設定する。あるいはまた、利用者は図示されていないズームレバーを操作し、画角（構図）を決定する。

利用者の操作内容は、ハードキーインターフェイス部９を通じてシステム制御部２で判別され、システム制御部２は、操作に応じて撮像部３を制御しレンズを駆動する。

撮像部３は、画像処理部４からの制御に従い撮像を開始する。画像処理部４は、撮像部３で検出された画像データに対し、顔検出の処理を起動する。

さらに、撮像されたデータは連続的に画像処理部４へ送られ、画像処理部４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部５へ送る。

また、この時同時に画像処理部４では、顔検出結果を用いたフォーカス、露出の検出を行い、撮像部３を制御して調整を行う。
表示制御部５では、画像データを信号処理してＬＣＤ６にて表示し、利用者へ撮像状態を提示する。

そこで、図示を省略したレリーズボタンが押されると、その操作はハードキーインターフェイス部９を通じてシステム制御部２で判別される。

撮像部３は、画像処理部４からの制御に従い、所定の画像を取り込み画像処理部４へ送り、画像処理部４は、撮影モードに応じた画像処理、圧縮処理を行う。

システム制御部２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部７を通じて記録メディア８へ書き込む。
以上で一連の撮影動作を完了する。

次に、画像中において、顔を検出した後に、顔を追従するとともに、中心を含む領域から周辺に向かい、検出領域設定を行う例について説明する。

この動作フローを図２に示している。
なお、本フローは顔検出に関わる動作のみを示しており、前述したフォーカス、露出の調整や画像の表示の処理は、本フローとは別に並行して実行されているものとして説明を省略する。

画像処理部４では、撮像部３において、図３に示すように、連続的に撮像した画像データ１００から、顔検出に用いる画像データ１０１を取得し（ステップＳ２）、取得した画像データ１０１の全領域に対して検出処理を行う（ステップＳ３）。このステップＳ３の顔を検出する処理が第１の検出手段による被写体の検出に相当する。なお、顔の検出については、例えば、特開２００３−１０７３３５号公報に記載された手法を用いることができる。

この抽出した画像データにおいて、顔が１つも検出できなかった場合には、顔検出を行うモードが終了するまで、上記処理を繰り返し行う（ステップＳ５→Ｓ１）。

一方、顔を検出してステップＳ４の検出数ｎが１以上の場合には、ステップＳ６以降の処理に進み、図３（ｂ）の追従の処理に用いる画像データ１０２を取得し（ステップＳ７）、検出したｎ個の顔に対する追従の処理を行う（ステップＳ８）。このステップＳ８の追従処理が第２の検出手段による被写体の追従に相当する。この追従処理については、例えば、特開２００６−６０３２９号公報に記載された手法を用いることができる。

なお、これら一連の制御はシステム制御部２により行われる。また、検出や追従により顔を検出した領域の座標値はシステム制御部２内で別途記憶されており、フォーカス、露出の調整や画像の表示処理から適宜参照され用いられる。

続いて画像処理部４では、限定領域２０１に対して顔の検出処理を実行する（ステップＳ１０）。
ここで、限定領域２０１について説明する。
図４および図５は、限定領域２０１の設定例を示しており、図において、２００は、図３の抽出画像１０１，１０２に相当する画像データを示し、限定領域２０１は、この画像データ２００の一部に設定された領域である。このように、限定領域２０１は、画像データ２００の一部に設定された領域であるため、このステップＳ１０において顔検出に要する時間は、ステップＳ３の画像データ２００の全体について顔検出を行うのに比べて短時間で実行できる。

限定領域２０１は、ステップＳ１０の処理の実行毎に設定され、まず、最初に、画像データ２００の中央に、画像データ２００の一部の大きさの領域を設定し、その後、図において矢印で示す順番で、ステップＳ１０の処理の実行毎に、その位置を変更しつつ、顔検出処理を行う。
この位置の変更は、画像データ２００の上左端を含む位置から下右端を含む位置へ移行させる。図４に示す例では、画像データ２００の上部左端部から右端部へ３ステップで移行させ、次に、画像データ２００の上下方向中間部を左から右へ移行させ、次に、画像データ２００の下部を左から右へ移行させて設定させている。このとき、各限定領域２０１は、上下方向および左右方向で隣り合う限定領域２０１とオーバーラップする大きさに設定されている。

また、本実施例１では、限定領域２０１の大きさは、検出された顔の大きさにより設定される。すなわち、図４（ａ）に示す顔の大きさの場合、限定領域２０１は、画像データ２００の全域を移行させるのに９ステップで移行できる大きさに設定されている。一方、図５（ａ）に示すように、検出された顔の大きさが、図４（ａ）に示す例よりも大きい場合には、限定領域２０１も大きく設定され、同図（ｂ）に示すように、画像データ２００の全域を５ステップで移行させることができる大きさに設定されている。

このように、限定領域２０１の大きさを、検出された顔の大きさに応じて設定することで、限定領域２０１を無用に大きくして処理に要する時間が長くなることを防止して効率的な処理が可能となるとともに、新規に画像データ２００内に検出した被写体に対しても、同様に効率的な処理が可能となる。

システム制御部２は、検出数ｎを、新たに検出した顔の数と追従に成功した顔の数ｍとを合算した数ｎに更新し（ステップＳ１１）、１つ以上の顔があれば、この数ｎを次回の追従対象数としてステップＳ６以降の追従処理を継続し、無ければ、ステップＳ１以降の全領域の検出処理を再開する（ステップＳ１２）。

ここで、追従に成功した顔の数ｍと新たに検出した顔の数について図６を用いて説明する。
例えば、図示のように３人の人物の撮像を行い、ステップＳ１〜Ｓ４の処理に基づいて図３の画像データ１０１を用いて画像データ１０１の全領域に対して検出処理を行った場合の検出数ｎ＝３であるのに対して、その後の、画像データ１０２に基づく追従処理では、図６に示すように追従に成功した顔の数ｍが、枠表示部３００ａ，３００ｂで示す２箇所であった場合、限定領域２０１による検出で、その時点で新たな検出が無い場合には、ステップＳ１１では、ｎ＝２として処理され、ステップＳ６に戻り、画像データ１０２に基づく追従処理および限定領域２０１による検出処理が繰り返される。

この繰り返しにおいて、図６では、追従に成功しなかった枠表示部３０１において、顔の検出が成された場合、前回の追従成功数ｍに新たな検出数１が加えられ、次回の処理ではｎ＝３として追従が行われる。

このため、追従の途中で顔の検出が一旦成されなくなっても、成功された追従のみが続行されるのではなく、新たな検出についても追従が実行される。
また、画像中に、新たに人物が加わり、限定領域２０１による検出でこの追加された人物が検出された場合にも、同様に、この新規検出被写体が検出数ｎに追加され、以後、この新たに追加された顔についても追従が成される。

以上説明したように、実施の形態１では、追従処理および限定領域の顔検出を併用するようにしたため、画像全体で顔検出を行うのに比べて、検出結果の更新サイクルを大きく間延びさせることなく、しかも、途中で追従に失敗した顔を再度捕らえたり、新規に画角内に顔が捕らえたりしても、これらの顔を検出して再び追従することができる。

（他の実施の形態）
以下に、図面に基づいて他の実施の形態について説明するが、この説明にあたり、実施の形態１と同一ないし均等な構成については、同一の符号を付して説明を省略する。

（実施の形態２）
実施の形態２の撮像装置について図６および図７により説明する。
この実施の形態２は、追従に失敗した領域を所定の間、検出領域に設定するようにしたものである。

この実施の形態２の動作を図７のフローチャートにより説明する。
ステップＳ１〜Ｓ９の処理は、実施の形態１と同様であるので、説明を省略する。

追従処理の結果、全ての顔のうちで追従に失敗したものがあった場合には（ステップＳ２１）、システム制御部２は、その追従に失敗した領域を記憶し（ステップＳ２２）、さらにカウンタ値Ｒを設定する（ステップＳ２３）。カウンタ値Ｒは、追従に失敗したものがあった場合に、その記憶領域（限定領域）に対して行う検出処理の繰り返し回数を指定するものであり、ここでは２０回を設定している。

カウンタ値Ｒが０で無ければ（ステップＳ２４）、ステップＳ２２で記憶した追従に失敗した記憶領域について検出処理を行い（ステップＳ２５）、この記憶領域で顔が検出できればカウンタ値Ｒをクリアする（ステップＳ２６→Ｓ２８）。一方、この記憶領域で顔が検出できなければ、カウンタ値Ｒを減算して（ステップＳ２７）、次回継続する。

また、カウンタ値Ｒが０の場合には、実施の形態１と同様のステップＳ１０の処理を行う。
なお、カウンタ値Ｒは、表示処理からも参照され、Ｒが０以外の場合、図６に示す様な表示を行う。すなわち、図６において、実線の枠表示部３００ａ，３００ｂは、追従に成功した顔を示すための枠表示である。一方、点線の枠表示部３０１は、追従に失敗してステップＳ２４で検出処理を行っている（再度検出を試みている領域）を示すための枠領域を示している。

この追従に失敗して検出処理を行っている表示は、ステップＳ２１〜Ｓ２８の処理、すなわち、追従に失敗した記憶領域について顔の検出を行っている間行われる。
なお、追従に成功した枠表示部３００ａ，３００ｂと追従に失敗した枠表示部３０１とは、上記のように四角枠の実線と点線で区別する他にも、異なる色としたり、あるいは異なる形状（例えば、成功を丸枠、失敗を四角枠など）としたり、あるいは異なる表示周期（ブリンク）としたり、これらの組み合わせとしたりすることができる。
本実施の形態２において、その他の動作は、実施の形態１と同様であり、説明を省略する。

実施の形態２では、上記の処理によって、被写体が振り向くなどして、一時的に追従できなくなった場合にも、効率良く再検出を行うことができる。
また、上記のように追従に成功したものと失敗したものとを異なる形状の枠表示で表すことによって、利用者はカメラの検出状態を的確に把握することができる。ひいては被写体に対して的確な動作指示を行うことができる。

（実施の形態３）

実施の形態３について図８により説明する。
この実施の形態３は、実施の形態１のステップＳ１０の限定領域検出処理において限定領域２０１の設定時に、焦点距離に応じて画像データ２００の中心に設定する頻度を変化させるようにしたものである。なお、本実施の形態３では、限定領域２０１の大きさは、図４で示した例のように、画像データ２００を９ステップで遷移できる大きさで一定の大きさとしている。

具体的には、本実施の形態３では、限定領域２０１を画像データ２００の中心に設定する頻度を、焦点距離Ｆに応じて、１／９回、１／５回、１／３回の３通りに設定している。すなわち、実行頻度１／９回は、焦点距離Ｆ＜５０ｍｍの場合である。なお、この焦点距離は、３５ｍｍ幅のフィルムを用いるカメラの光学系に換算した値である。また、実行頻度１／５回は、５０ｍｍ≦焦点距離Ｆ＜１００ｍｍの場合である。また、実行頻度１／３回は、焦点距離Ｆ≧１００ｍｍの場合である。

図８（ａ）は、焦点距離Ｆが５０ｍｍ未満の実行頻度１／９回の場合を示しており、限定領域２０１が、画像データ２００の全体を遷移するのにあたり、最初の１ステップ目のみに限定領域２０１が画像データ２００の中心に設定される。

次に、図８（ｂ）は、焦点距離Ｆが１００ｍｍ未満の実行頻度１／５回の場合を示しており、限定領域２０１が画像データ２００の全体を遷移するのにあたり、１ステップ目と６ステップ目の２回、限定領域２０１が画像データ２００の中心に設定されている。

次に、図８（ｃ）は、焦点距離Ｆが１００ｍｍ以上の実行頻度１／３回の場合を示しており、限定領域２０１が画像データ２００の全体を遷移するのにあたり、１ステップ目、４ステップ目、７ステップ目、１０ステップ目の合計４回、限定領域２０１が画像データ２００の中心に設定されている。

したがって、多くの撮影シーンで、被写体が画像データ２００の中心に設定され、また、焦点距離が長くなるほど、その傾向は強くなる。
このように、限定領域２０１を画像データ２００の中心に設定頻度を高くすることで、被写体の検出を短時間に行うことができ、かつ、新規な被写体についても短時間に検出することが可能となる。

以上説明してきたように、実施の形態のデジタルスチルカメラ装置１では、検出された被写体を追尾することで、１つの画像全体から被写体を検出するよりも高速な検出を実行できることと併せて、画像の一部に限定した限定領域２０１において被写体の検出を実行するため、１つの画像全体（画像データ２００）で被写体の検出を実行するのと比較して、検出結果の更新サイクルを大きく間延びさせることが無く、しかも、追尾に失敗した被写体や、追尾中に新規に画角内に捕らえた被写体を検出することができるという効果を有する。

また、実施の形態のデジタルスチルカメラ装置１では、限定領域２０１を、画像中心から周辺に向かって設定するようにしているため、追尾処理に移行した直後において、主要な被写体を効率良く漏れなく検出できるという効果を有する。

さらに、実施の形態のデジタルスチルカメラ装置１では、限定領域２０１を、オーバーラップして設定するようにしているため、限定領域２０１に跨って存在する被写体を確実に検出できるという効果を有する。

しかも、実施の形態のデジタルスチルカメラ装置１では、限定領域２０１を、追尾に失敗した領域を優先的に設定することが可能であり、このように設定することで、被写体の挙動によりロストした（追尾に失敗した）被写体を早く検出できるという効果を有する。

加えて、実施の形態のデジタルスチルカメラ装置１において、限定領域２０１を、検出された被写体の大きさに基づいて設定するものでは、限定領域２０１を無用に大きくして処理に要する時間が長くなることを防止して効率的な処理が可能となるとともに、新規に画像内に検出した被写体に対しても、同様に効率的な処理が可能となる。

また、実施の形態のデジタルスチルカメラ装置１において、限定領域２０１を、撮影倍率に基づいて設定するものでは、被写体の大きさを想定することができ、限定領域を無用に大きくして処理に要する時間が長くなることを防止して効率的な処理が可能となるとともに、新規に画像内に検出した被写体に対しても、同様に効率的な処理が可能となる。

さらに、実施の形態のデジタルスチルカメラ装置１では、画像の中心を含む領域を限定領域２０１として設定する頻度を高く設定したため、多くの撮影シーンにおいて、被写体を限定領域２０１内に捉える確立を高くでき、効率的な処理が可能となるとともに、新規に画像内に捉えられた被写体を、短時間に検出することが可能となる。

しかも、実施の形態のデジタルスチルカメラ装置１では、限定領域２０１を、画像の中心を含む領域に設定する頻度を、焦点距離に基づいて決定するようにしたため、多くの撮影シーンにおいて、被写体を短時間に捉えることができるとともに、新規に捉えた被写体の検出を短時間に行うことができる。

加えて、実施の形態のデジタルスチルカメラ装置１では、追尾に失敗した領域を表示するようにしているため、利用者に撮像装置の検出状態を的確に通知することができるという効果を有し、ひいては被写体に対して的確な動作指示を行うことができる。

また、実施の形態のデジタルスチルカメラ装置１では、追尾に失敗した領域の再検出を試みている期間が判る表示を行うようにしたため、利用者に撮像装置の検出状態を的確に通知することができるという効果を有し、ひいては被写体に対して的確な動作指示を行うことができる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、実施の形態１〜３では、被写体として顔を検出するものを示したが、この被写体は顔に限定されるものではなく、用途に応じて適宜、設定することができる。

また、全体の画像データ１００から被写体を検出する画像データ１０１および追従検出するための画像データ１０２は、連続して撮像された画像データ１００の何分のデータから抽出するかは、処理速度に応じて適宜設定すればよく、図３に示した例に限定されるものではない。

また、限定領域２０１の設定は、実施例１では、中央から周辺に移行し、かつ、上から下、左から右の順番に行う例を示したが、これに限定されるものではなく、あらかじめ設定された順番で、ランダムに行うようにしてもよい。すなわち、画像の中央部は、撮像対象物が存在する可能性が高いが、それ以外の領域では、被写体が存在する確立は、略均等であるので、上記のように上かつ左から順番に検出せずに、ランダムに検出しても、同等の被写体の検出確率が得られる。

実施の形態１では、限定領域２０１の大きさを検出された顔の大きさで決定した例を示したが、撮影倍率に基づいて検出領域を決定してもよい。すなわち、撮影倍率が相対的に大きな場合に、図５に示すように限定領域２０１も相対的に大きく設定し、撮影倍率が相対的に小さな場合に、図４に示すように、限定領域２０１を相対的に小さく設定するようにしてもよい。

また、実施の形態では、本発明を、デジタルスチルカメラ装置に適用した例を示したが、その適用範囲は、これに限定されるものではなく、光学式のカメラやビデオカメラや携帯電話機など、デジタルスチルカメラ装置以外の撮影機能を有した装置に適用することができる。

本発明の実施の形態１に係るデジタルスチルカメラ装置１を示す構成説明図である。 実施の形態１の被写体検出処理の流れを示すフローチャートである。 実施の形態１のデジタルスチルカメラ装置１で連続して撮像されたた画像データ１００と被写体検出用の画像データ１０１と、追従用の画像データ１０２との関係を示す説明図であって、（ａ）は被写体検出用の画像データ１０１との関係を示し、（ｂ）は追従用の画像データ１０２との関係を示している。 実施の形態１における検出された顔の大きさと画像全体と限定領域との関係を示す説明図であり、（ａ）は画像データ２００の一例を示し、（ｂ）は限定領域２０１の遷移例を示している。 実施の形態１における検出された顔の大きさと画像全体と限定領域との関係を示す説明図であり（ａ）は画像データ２００の一例を示し、（ｂ）は限定領域２０１の遷移例を示している。 実施の形態１および実施の形態２の作用を説明する説明図である。 実施の形態２の被写体検出処理の流れを示すフローチャートである。 実施の形態３の画像データ２００における限定領域２０１の遷移の態様を示しており、（ａ）は、限定領域２０１が画像データ２００の中心に設定される頻度が１／９回の場合の例を示しており、（ｂ）は、前記実行頻度が１／５回の場合の例を示しており、（ｃ）は、前記実行頻度が１／３回の場合を示している。

符号の説明

１ デジタルスチルカメラ装置（撮像装置）
２ システム制御部（制御手段、設定手段）
３ 撮像部
２０１ 限定領域
３００ａ 枠表示部
３００ｂ 枠表示部
３０１ 枠表示部

Claims (20)

1. 画像を連続して撮像する撮像部と、
   この撮像部により撮像された画像から一つ以上の被写体を検出する第１の検出手段と、
   前記検出された一つ以上の被写体を追従して検出する第２の検出手段と、
   前記撮像された画像から第１の検出手段により一つ以上の被写体が検出された後に、これに続けて撮像された画像に対して、前記第２の検出手段により被写体の追従検出を実行させるとともに、設定手段により前記画像の一部に限定した限定領域に対して、前記第１の検出手段による被写体検出を実行する制御手段と、
   を具備することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記設定手段が、前記限定領域を、前記画像の中心を含む領域から周辺に向かって順次設定することを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記設定手段が、前記限定領域を、順次オーバーラップさせながら設定することを特徴とする撮像装置。
4. 請求項１〜請求項３のいずれか１項に記載の撮像装置において、
   前記設定手段が、前記限定領域を、前記第２の検出手段による追従検出の結果に基づき設定することを特徴とする撮像装置。
5. 請求項１〜請求項４のいずれか１項に記載の撮像装置において、
   前記設定手段が、前記限定領域を、検出された被写体の大きさに基づいて設定することを特徴とする撮像装置。
6. 請求項１〜請求項４のいずれか１項に記載の撮像装置において、
   前記設定手段が、前記限定領域を、撮影倍率に基づいて設定することを特徴とする撮像装置。
7. 請求項１〜請求項６のいずれか１項に記載の撮像装置において、
   前記設定手段が、前記限定領域を、画像の中心を含む領域が設定される頻度が中心を含まない領域よりも高くなるように設定することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記設定手段が、前記画像の中心を含む領域の設定頻度を、焦点距離に基づいて決定することを特徴とする撮像装置。
9. 請求項１〜請求項８のいずれか１項に記載の撮像装置において、
   撮像中の画像を表示する表示手段を具備し、
   前記制御手段が、前記第２の検出手段による追従検出の結果を前記表示手段により表示させることを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記設定手段が、前記限定領域を、前記第２の検出手段による追従検出の結果に基づいて設定する手段であり、
    前記制御手段による前記表示は、前記設定手段が、前記第２の検出手段の検出処理の結果に基づいて前記限定領域を設定している間に行うことを特徴とする撮像装置。
11. 撮像された画像から一つ以上の被写体を検出する第１検出方法と、
    前記検出された一つ以上の被写体を追従して検出する、前記第１の検出方法よりも高速に処理可能な第２の検出方法と、を併用する被写体の検出方法であって、
    連続して撮像された画像から前記第１の検出方法により一つ以上の被写体が検出された後に、これに続けて撮像された画像に対し、前記第２の検出方法による被写体の追従検出を行うとともに、前記画像の一部に限定した限定領域に対して、前記第１の検出方法による被写体検出を行うことを特徴とする被写体検出方法。
12. 請求項１１に記載の被写体検出方法において、
    前記限定領域は、画像の中心を含む領域から周辺に向かって順次設定することを特徴とする被写体検出方法。
13. 請求項１１または請求項１２に記載の被写体検出方法において、
    前記限定領域を、順次オーバーラップさせながら設定することを特徴とする被写体検出方法。
14. 請求項１１〜請求項１３のいずれか１項に記載の被写体検出方法において、
    前記限定領域を、前記第２の検出方法の追従検出結果に基づき設定することを特徴とする被写体検出方法。
15. 請求項１１〜請求項１４のいずれか１項に記載の被写体検出方法において、
    前記限定領域を、検出された被写体の大きさに基づいて設定することを特徴とする被写体検出方法。
16. 請求項１１〜請求項１４のいずれか１項に記載の被写体検出方法において、
    前記限定領域を、撮影倍率に基づいて設定することを特徴とする被写体検出方法。
17. 請求項１１〜請求項１４のいずれか１項に記載の被写体検出方法において、
    前記限定領域を、画像の中心を含む領域が設定される頻度が中心を含まない領域よりも高くなるように設定することを特徴とする被写体検出方法。
18. 請求項１７に記載の撮像装置において、
    前記画像の中心を含む領域の設定頻度を、焦点距離に基づいて決定することを特徴とする被写体検出方法。
19. 請求項１１〜請求項１８のいずれか１項に記載の被写体検出方法において、
    前記第２の検出方法による追従検出結果を表示することを特徴とする被写体検出方法。
20. 請求項１９に記載の被写体検出方法において、
    前記限定領域を、前記第２の検出手段による追従検出の結果に基づいて設定している間に、前記表示を実行することを特徴とする被写体検出方法。

Images