JP2012080251A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】誤検出があっても、その追尾が長く続かないようにすること。
【解決手段】フレーム画像取得部５１は、画像データを逐次取得する。顔検出部５２は、フレーム画像取得部５１により逐次取得される各々の画像データから、被写体と推定される顔を検出する。顔信頼度算出部４１は、顔検出部５２により検出顔について、被写体らしさを表す信頼度を算出する。追尾期間設定部４２は、顔信頼度算出部４１により算出された信頼度に基づいて、検出顔の追尾のための追尾期間を設定する。追尾部１５は、フレーム画像取得部５１により次回以降逐次取得される画像データから顔検出部５２により検出された検出顔を追尾する。追尾制御部４４は、追尾期間設定部４２により設定された追尾期間に基づいて、検出顔の追尾をさせるよう制御する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、デジタルカメラの多くは、リアルタイムに、顔の位置を表す顔枠を操作画面に表示することができるようになっている。
このような顔枠のリアルタイム表示を可能にすべく、パターンマッチングによる顔探索処理の実行により、所定のフレーム画像において顔を一度検出すると、次フレーム画像以降では前回顔検出された位置から所定の範囲だけ顔探索処理を実行することで顔枠のリアルタイム表示を行う技術が開示されている（特許文献１参照）。

特開２００４−１７１４９０号公報

しかしながら、上記特許文献１の技術では、顔検出処理において、顔ではないものが顔として検出されると、この検出されたものが次フレーム画像以降における探索対象となるので、顔の検出処理に復帰するまでに時間がかかるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、誤検出があっても、その追尾が長く続かないようにすることを目的とする。

上記目的を達成するため、請求項１の発明は、
画像データを逐次取得する画像取得手段と、
前記画像取得手段により逐次取得される各々の画像データから、被写体と推定される第１の対象を検出する検出手段と、
前記検出手段により検出された第１の対象について、前記被写体らしさを表す信頼度を算出する算出手段と、
前記算出手段により算出された信頼度に基づいて、第１の対象の追尾のための追尾期間を設定する設定手段と、
前記画像取得手段により次回以降逐次取得される画像データから、前記検出手段により検出された第１の対象を追尾する追尾手段と、
前記設定手段により設定された追尾期間に基づいて、第１の対象の追尾をさせるよう制御する追尾制御手段と、
を備える画像処理装置を提供する。

上記目的を達成するために、請求項６の発明は、
画像を取得する画像取得手段を備える画像処理装置の画像処理方法であって、
画像データを逐次取得する画像取得ステップと、
前記画像取得ステップにて逐次取得される各々の画像データから、被写体と推定される対象を検出する検出ステップと、
前記検出ステップにて検出された対象についての、前記被写体らしさを表す信頼度を算出する算出ステップと、
前記算出ステップにて算出された信頼度に基づいて、対象の追尾のための追尾期間を設定する設定ステップと、
前記画像取得ステップにて次回以降逐次取得される画像データから、前記検出ステップにより検出された対象を追尾する追尾ステップと、
前記設定ステップにて設定された追尾期間に基づいて、対象の追尾をさせるよう制御する追尾制御ステップと、
を含む画像処理方法を提供する。

上記目的を達成するため、請求項７の発明は、
画像を取得する画像取得手段を備える画像処理装置のコンピュータを、
画像データを逐次取得する画像取得手段、
前記画像取得手段により逐次取得される各々の画像データから、被写体と推定される対象を検出する検出手段、
前記検出手段により検出された対象についての、前記被写体らしさを表す信頼度を算出する算出手段と、
前記算出手段により算出された信頼度に基づいて、対象の追尾のための追尾期間を設定する設定手段、
前記画像取得手段に次回以降逐次取得される画像データから、前記検出手段により検出された対象を追尾する追尾手段、
前記設定手段により設定された追尾期間に基づいて、前記追尾手段による対象の追尾をさせるよう制御する追尾制御手段、
として機能させるプログラムを提供する。

本発明によれば、誤検出があっても、その追尾が長く続かないようにできる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置が単一顔追尾処理又は複数顔追尾処理を実行するための機能的構成を示す機能ブロック図である。 記憶部に記憶される、信頼度及び追尾期間を登録（記憶）するためのテーブル（領域）の構造例である。 顔追尾リストの一例を示す図である。 図２の撮像装置が実行する単一顔追尾処理の流れを説明するフローチャートである。 図５の単一顔追尾処理の続きのフローチャートである。 図２の撮像装置が実行する複数顔追尾処理の流れを説明するフローチャートである。 図７の複数顔追尾処理の続きのフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、追尾部１５と、バス１６と、入出力インターフェース１７と、撮像部１８と、操作部１９と、表示部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２１からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。なお、ＣＰＵ１１に設けられている顔信頼度算出部４１、追尾期間設定部４２、追尾リスト登録更新部４３及び追尾制御部４４の詳細については、図２を参照して後述する。
ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
ここで、本実施形態では、撮像装置１による画像の処理単位は一枚の静止画像であり、このような処理単位としての静止画像が、本明細書では「フレーム画像」と呼ばれている。即ち、本実施形態では、動画像は複数のフレーム画像から構成されており、フレーム画像毎に処理が実行される。そこで、以下、特に断りがない限り、画像とはフレーム画像を意味するものとする。
例えば、画像処理部１４は、後述する撮像部１８から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
本実施形態では、画像処理部１４は、さらに、フレーム画像取得部５１及び顔検出部５２を備えている。ただし、フレーム画像取得部５１及び顔検出部５２の詳細については、図２を参照して後述する。

追尾部１５は、順次供給されるフレーム画像内に存在する被写体を追尾する追尾処理を実行する。追尾部１５のさらなる詳細については、図２を参照して後述する。

ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４及び追尾部１５は、バス１６を介して相互に接続されている。このバス１６にはまた、入出力インターフェース１７も接続されている。入出力インターフェース１７には、撮像部１８、操作部１９、表示部２０、記憶部２１、通信部２２、及びドライブ２３が接続されている。

撮像部１８は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１８の出力信号として出力される。
なお、以下、撮像部１８の出力信号が、「撮像画像のデータ」であるものとする。従って、撮像部１８からは撮像画像のデータが出力されて、ＣＰＵ１１や画像処理部１４等に適宜供給される。

操作部１９は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部２０は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２１は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。

このような構成を有する撮像装置１は、撮像の前後を通じて、スルー撮像処理及びスルー表示処理を開始する。
即ち、撮像装置１は、撮像部１８による撮像動作を継続させ、その間、当該撮像部１８を介して画像処理部１４から順次出力される撮像画像（フレーム画像）のデータを、メモリ（本実施形態では記憶部２１）に一時的に記憶させる。このような一連の処理が、ここでいう「スルー撮像処理」である。
また、撮像装置１は、スルー撮像時にメモリ（本実施形態では記憶部２１）に一時的に記録された各撮像画像（フレーム画像）のデータを順次読み出して、各々に対応する撮像画像を表示部２０に順次表示させる。このような一連の制御処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部２０に表示されている撮像画像を、以下、「スルー画像」と呼ぶ。

ユーザは、スルー画像をみながら構図を決めた後、操作部１９のシャッタスイッチ（図示せず）を下限まで押下することで、撮像画像のデータの記録の指示をすることができる。なお、このように、シャッタスイッチを下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
なお、以下、スルー撮像処理及びスルー表示処理のための撮像と区別すべく、全押し操作により記録の指示がなされたときの撮像を、「記録用撮像」と呼ぶ。

さらに、本実施形態では、撮像装置１は、追尾処理による被写体の追尾を短時間で行うにあたり、次のような一連の処理を実行する。
撮像装置１は、撮像部１８により順次スルー画像用として出力される各々のフレーム画像のデータから、顔と推定される対象を検出する顔検出処理を実行する。
撮像装置１は、検出された対象について被写体らしさを表す信頼度を算出し、算出された信頼度に基づいて、検出された対象を追尾する期間（以下「追尾期間」と呼ぶ）を設定する。
撮像装置１は、設定された追尾期間において、検出された対象を追尾する追尾処理を実行する。
このような一連の処理のうち、顔検出処理により検出される対象（誤検出がない場合には顔）が、１つである場合の処理を以下「単一顔追尾処理」と呼び、複数である場合の処理を以下「複数顔追尾処理」と呼ぶ。

図２は、図１の撮像装置１が単一顔追尾処理又は複数顔追尾処理を実行するための機能的構成を示す機能ブロック図である。

図２においては、図１の撮像装置１の構成のうち、ＣＰＵ１１と、画像処理部１４と、追尾部１５と、記憶部２１と、のみが図示されている。

ＣＰＵ１１においては、顔信頼度算出部４１、追尾期間設定部４２、追尾リスト登録更新部４３及び追尾制御部４４が設けられている。
なお、顔信頼度算出部４１、追尾期間設定部４２、追尾リスト登録更新部４３及び追尾制御部４４は、本実施形態では、ＣＰＵ１１と、当該ＣＰＵ１１により実行されるプログラムとの組み合わせ、即ち、ハードウェアとソフトウェアとの組み合わせにより構成されている。しかしながら、これは例示であって、顔信頼度算出部４１、追尾期間設定部４２、追尾リスト登録更新部４３及び追尾制御部４４の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素（画像処理部１４等）に移譲させることも当然可能である。

また、画像処理部１４には、フレーム画像取得部５１及び顔検出部５２が設けられている。なお、フレーム画像取得部５１及び顔検出部５２が画像処理部１４に設けられていることは例示であって、フレーム画像取得部５１及び顔検出部５２の少なくとも一部を、画像処理部１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも当然可能である。

記憶部２１の一領域として、追尾リスト記憶部６１及び過去フレーム画像記憶部６２が設けられている。なお、追尾リスト記憶部６１及び過去フレーム画像記憶部６２が記憶部２１の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア３１の一領域として設けられるようにしてもよい。

追尾リスト記憶部６１は、後述する顔追尾リストを記憶する。過去フレーム画像記憶部６２は、後述する追尾部１５の追尾処理において、処理対象のフレーム画像のデータと比較される過去のフレーム画像のデータを記憶する。即ち、追尾部１５の追尾処理における今回の処理対象のフレーム画像のデータは、次回以降の処理対象のフレーム画像のデータとの比較用として、過去フレーム画像記憶部６２に記憶される。

フレーム画像取得部５１は、撮像部１８からスルー画像用として順次供給されてくるフレーム画像のデータを逐次取得する。フレーム画像取得部５１は、取得したフレーム画像のデータを、顔検出部５２、追尾部１５及び過去フレーム画像記憶部６２に供給する。
本実施形態においては、フレーム画像取得部５１は、撮像部１８により供給されたフレーム画像のデータを取得しているがこれに限られることではなく、リムーバブルメディア３１や、通信部２２を介するインターネット等から取得してもよい。

顔検出部５２は、フレーム画像取得部５１から供給される各々のフレーム画像のデータから、被写体の顔と推定される対象（以下、「検出顔」と呼ぶ）を検出する。なお、検出顔とは、顔検出部５２により検出された対象を意味するため、顔検出部５２が誤検出した場合には誤検出されたものも含まれる。
具体的には、顔検出部５２は、公知の顔検出アルゴリズムを用いて、検出顔の領域の情報（画素値等）及び検出顔の位置情報（位置座標等）を検出する。顔検出部５２は、検出顔の領域の情報及び位置情報を顔信頼度算出部４１に供給する。また、顔検出部５２は、検出顔の位置情報を追尾リスト登録更新部４３に供給する。

顔信頼度算出部４１は、顔検出部５２から供給された検出顔の領域の情報及び位置情報に基づいて、検出顔についての信頼度を算出する。
「信頼度」は、検出顔の顔らしさを表すパラメータである。信頼度の算出手法は、特に限定されないが、本実施形態では、公知の顔検出アルゴリズムで動作する顔識別器の出力値、即ち、顔検出部５２の出力により算出する算出手法が採用されている。
ここで、顔信頼度算出部４１により算出される信頼度のパラメータの単位は、特に限定されないが、本実施形態では、％単位が採用されており、％が増えるほど信頼度が増すものとする。
顔信頼度算出部４１は、算出した信頼度を追尾期間設定部４２に通知する。

追尾期間設定部４２は、顔信頼度算出部４１から通知された信頼度に基づいて、追尾部１５による検出顔の追尾のための追尾期間を設定する。
本実施形態では、追尾期間設定部４２は、図３のテーブルに基づき追尾期間を算出する処理を行う。

図３は、記憶部２１に記憶される、信頼度及び追尾期間を登録（記憶）するためのテーブルの構造例である。

「追尾期間」は、追尾部１５により追尾対象を追尾する期間であり、フレーム画像取得部５１により取得されたフレーム画像の数（フレーム数）により規定される。
追尾期間設定部４２により設定される追尾期間の表現形態は、時間の単位そのものに限定されず、時間の長さを定量的に表現できるものであれば足り、図３の例では、追尾処理の対象となるフレーム数が採用されている。
この場合、追尾期間の変化の度合の量は、特に限定されないが、ここでは、１０フレーム単位である。即ち、本実施形態では、図３に示すように、３０フレーム、４０フレーム、５０フレーム、６０フレーム、７０フレーム、８０フレーム及び９０フレームのうち何れかが、追尾期間として追尾期間設定部４２により設定され得るようになっている。
例えば、顔信頼度算出部４１により算出された信頼度が１０〜１９％の場合は、追尾期間として３０フレームが設定される。また、顔信頼度算出部４１により算出された信頼度が２０〜２９％の場合は、追尾期間として４０フレームが設定される。また、顔信頼度算出部４１により算出された信頼度が３０〜３９％の場合は、追尾期間として５０フレームが設定される。また、顔信頼度算出部４１により算出された信頼度が４０〜４９％の場合は、追尾期間として６０フレームが設定される。また、顔信頼度算出部４１により算出された信頼度が５０〜５９％の場合は、追尾期間として７０フレームが設定される。また、顔信頼度算出部４１により算出された信頼度が６０〜６９％の場合は、追尾期間として８０フレームが設定される。また、顔信頼度算出部４１により算出された信頼度が７０％以上の場合は、追尾期間として９０フレームが設定される。
なお、顔信頼度算出部４１により算出された信頼度が１０％以下の場合は、追尾期間は設定されない。
このように、各追尾期間は、信頼度に応じて設定される。具体的には信頼度の高い（顔らしい）検出顔の追尾対象の追尾期間は長く、信頼度の低い（顔らしくない）検出顔の追尾期間は短くなるように設定される。
追尾期間設定部４２は、設定した追尾期間、及び、顔検出部５２から供給された検出顔の位置情報を追尾リスト登録更新部４３に供給する。

追尾リスト登録更新部４３は、追尾期間設定部４２から供給された追尾期間、及び、顔検出部５２から供給された顔の位置情報を、追尾リスト記憶部６１に記憶されている顔追尾リストに登録又は更新する。

図４は、顔追尾リストの一例を示している。

本実施形態において、顔追尾リストは行列構造を有しているため、以下、図４中横方向の項目の集合体を「行」と呼び、同図中縦方向の項目の集合体を「列」と呼ぶ。
顔追尾リストの１行は、顔検出部５２により検出された１つの検出顔が対応する。従って、顔検出部５２により１つの検出顔のみが検出されることが前提となる単一顔追尾処理が実行される場合には、顔追尾リストの行は、１行のみとなる。これに対して、顔検出部５２により複数の検出顔が検出され得ることが前提となる複数顔追尾処理が実行される場合には、顔追尾リストの行は、複数行になり得る。図４においては、説明の便宜上、単一顔追尾処理が実行される場合の顔追尾リストの一例が示されている。
顔追尾リストにおいて、所定の行には、顔検出部５２により検出された所定の検出顔についての、「顔の種類」、「位置情報（顔の位置座標）」及び「追尾期間」という項目がそれぞれ配置されている。
所定の行の「顔の種類」には、当該行に対応する検出顔の種類が格納される。ここで、検出顔の種類とは、複数顔追尾処理が実行される場合において、顔検出部５２により検出された複数の検出顔の各々を、相互に区別するためのものであり、いわゆるＩＤに近い概念である。
所定の行の「位置情報」には、当該行に対応する検出顔の位置情報、即ち検出顔の位置座標が格納される。
例えば、本実施形態では、フレーム画像内の位置を示す座標系は、左上端の画素の位置を原点（０，０）とし、水平右方向の軸をＸ軸として、垂直下方向の軸をＹ軸とするように構築されている。そして、フレーム画像の水平方向の画素数は６４０画素とされ、垂直方向の画素数は４８０画素とされている。このため、「位置座標」のＸ座標の項には、フレーム画像のＸ座標が取り得る０乃至６３９の範囲内の値が格納され、「位置座標」のＹ座標の項には、フレーム画像のＹ座標が取り得る０乃至４７９の範囲内の値が格納される。
所定の行の「追尾期間」には、当該行に対応する検出顔の追尾期間、即ち、追尾期間設定部４２により設定された追尾期間が格納されている。
なお、上述の顔追尾リストの各行に対応する検出顔のうち、追尾部１５による追尾対象の候補を以下「追尾候補顔」と呼ぶ。

具体的には例えば、１行目に着目すると、「顔の種類」が「Ａ」の検出顔については、「顔の位置座標」は（Ｘ_ｉ，Ｙ_ｉ）であり、追尾期間として「７０フレーム画像」が設定されていることを示している。

図２に戻り、追尾制御部４４は、追尾期間設定部４２により設定された追尾期間において、追尾部１５による追尾処理の実行を制御する。
具体的には、追尾制御部４４は、追尾リスト記憶部６１に記憶されている顔追尾リストの各行に対応する追尾顔のうち、追尾候補顔を追尾する追尾処理の実行を、当該追尾候補顔の位置情報及び追尾期間（顔追尾リストの登録内容）に基づいて制御する。

追尾部１５は、追尾制御部４４の制御の下、フレーム画像取得部５１により順次取得される各フレーム画像のデータの各々について、追尾対象たる追尾候補顔を追尾する追尾処理を実行する。なお、図示はしないが、追尾対象たる追尾対象候補顔の追尾結果、例えば位置情報は、追尾リスト登録更新部４３にフレーム画像単位で供給され、顔追尾リストのうち、追尾対象候補顔に対応する行の内容が更新される。
なお、追尾処理の手法は、特に限定されず、ブロックマッチングやパーティクルフィルタを用いる手法等任意の手法を採用することができる。

次に、図５及び図６を参照して、撮像装置１の処理のうち、このような図２の機能的構成により実現される単一顔追尾処理について説明する。即ち、先ず、説明の便宜上、顔検出処理により検出される検出顔は１つであることを前提とした撮像装置１の処理について説明する。
図５及び図６は、単一顔追尾処理の流れを説明するフローチャートである。

図５及び図６の単一顔追尾処理は、撮像部１８による撮像が行われる場合に実行される処理である。
即ち、少なくともスルー撮像処理及びスルー表示処理が開始されており、ユーザにより全押し操作がなされて記録用撮像が行われるまでの間に、単一顔追尾処理は実行される。

ステップＳ１において、追尾リスト登録更新部４３は、追尾リスト記憶部６１に記録されている顔追尾リストをリセットする。この処理では、顔追尾リストの記録内容が全て削除される。

ステップＳ２において、フレーム画像取得部５１は、撮像部１８からフレーム画像のデータを取得する。フレーム画像取得部５１は、取得したフレーム画像のデータを顔検出部５２、追尾部１５及び過去フレーム画像記憶部６２に供給する。

ステップＳ３において、追尾リスト登録更新部４３は、追尾リスト記憶部６１に記憶されている顔追尾リストに、追尾候補顔が存在するか否かを判定する。

追尾リスト記憶部６１の顔追尾リストに追尾候補顔に対応する行が存在する場合、ステップＳ３においてＹＥＳであると判定されて、処理は図６のステップＳ９に進む。ステップＳ９以降の処理については後述する。

これに対して、ステップＳ１の処理で顔追尾リストが削除された後の段階では、追尾リスト記憶部６１の顔追尾リストには追尾候補顔に対応する行は存在しない。このような場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、顔検出部５２は、直前のステップＳ２の処理で取得されたフレーム画像のデータ中から、顔を検出する顔検出処理を実行する。

ステップ５において、顔検出部５２は、ステップＳ４の処理で顔の検出が成功したか否かを判定する。

ステップＳ４の処理で何ら顔が検出されなかった場合、顔の検出が成功しなかったとして、ステップＳ５においてＮＯであると判定されて、処理は図６のステップＳ１８に進む。ステップＳ１８以降の処理については後述するが、単一顔追尾処理の終了指示がない限り、ステップＳ２の処理でフレーム画像のデータが取得される度に、顔検出処理が繰り返し実行される。この場合、顔が検出されないと、ステップＳ２乃至ステップＳ１８のループ処理が繰り返し実行される。

その後、所定のフレーム画像のデータから検出顔が検出されると、次のステップＳ５においてＹＥＳであると判定されて、処理はステップ６に進む。この場合、顔検出部５２は、検出顔の領域の情報及び位置情報を顔信頼度算出部４１に供給すると共に、検出顔の位置情報を追尾リスト登録更新部４３に供給する。

ステップＳ６において、顔信頼度算出部４１は、顔検出部５２から供給された検出顔の領域の情報及び位置情報に基づいて、検出顔の信頼度を算出する。顔信頼度算出部４１は、検出顔の信頼度を追尾期間設定部４２に通知する。

ステップＳ７において、追尾期間設定部４２は、ステップＳ６の処理で算出された信頼度に基づいて、検出顔の追尾期間を設定する。具体的には、追尾期間設定部４２は、図３のテーブルを参照して、信頼度に対応する追尾期間を設定する。追尾期間設定部４２は、設定した追尾期間を追尾リスト登録更新部４３に供給する。

ステップＳ８において、追尾リスト登録更新部４３は、検出顔を新たな追尾候補顔として、その位置情報及び追尾期間を顔追尾リストに追加登録する。続いて、処理は図６のステップＳ１８に進む。

ステップＳ１８において、フレーム画像取得部５１は、処理の終了指示がなされたか否かを判定する。
処理の終了指示は、特に限定されないが、本実施形態では、全押し操作による記録の指示が併用して採用されているものとする。
従って、本実施形態では全押し操作がなされると、ステップＳ１８においてＹＥＳであると判定されて、単一顔追尾処理全体が終了となる。
これに対して、全押し操作がなされていない場合には、ステップＳ１８においてＮＯであると判定されると、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、ステップＳ２の処理で、新たなフレーム画像のデータが取得される。そして、前回のフレーム画像のデータから検出顔が検出されて、前回のステップＳ６乃至Ｓ８の処理で、当該検出顔が追尾対象候補として顔追尾リストに新たに登録されたので、次のステップＳ３の処理ではＹＥＳであると判定されて、処理は図６のステップＳ９に進む。

ステップＳ９において、追尾制御部４４は、追尾リスト記憶部６１に記憶されている顔追尾リストに基づいて、追尾候補顔の追尾期間が過ぎたか否かを判定する。
追尾期間が過ぎていない場合には、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１０に進む。

ステップＳ１０において、追尾部１５は、追尾候補顔に対する追尾処理を行う。即ち、追尾部１５は、直前のステップＳ２（図５）の処理で取得されたフレーム画像のデータを処理対象にして、追尾候補顔を追尾する。

ステップＳ１１において、追尾リスト登録更新部４３は、追尾処理の結果に基づいて、顔追尾リストの追尾候補顔の位置情報を更新する。具体的には、図示していないが、追尾処理の結果のうち、処理対象のフレーム画像内における、追尾された追尾候補顔の位置情報が、追尾リスト登録更新部４３に供給される。そこで、追尾リスト登録更新部４３は、当該追尾候補顔の位置情報を、顔追尾リストの位置情報として上書き更新する。

ステップＳ１２において、顔検出部５２は、直前のステップＳ２（図５）の処理で取得されたフレーム画像のデータについて、顔検出処理を再度行う。

ステップ１３において、顔検出部５２は、ステップＳ１２の処理で顔の再検出が成功したか否かを判定する。

ステップＳ１２の処理で何ら顔が検出されなかった場合、ステップＳ１３においてＮＯであると判定されて、処理はステップＳ１８に進む。即ち、全押し操作による処理の終了指示がない限り、ステップＳ１８においてＮＯであると判定されて、処理はステップＳ２（図５）に戻され、追尾候補顔の追尾が引き続き実行される。
なお、ステップＳ１２の処理で何ら顔が検出されなかった場合、追尾候補顔は顔でない対象（壁等）である可能性が高いため、追尾顔リストから追尾候補顔の情報（対応する行の格納情報）を削除する処理を実行してもよい。ただし、本フローチャートの例では、説明の便宜上、１度設定された追尾期間の間は、追尾候補顔の追尾が継続されるという思想の下、上述の流れの処理が実行される。

これに対して、ステップＳ１２の処理で顔が検出された場合、ステップＳ１３においてＹＥＳであると判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、追尾リスト登録更新部４３は、ステップＳ１２の顔検出処理により再検出された検出顔（以下、「再検出顔」と呼ぶ）の領域と、ステップＳ１０の処理で追尾処理により追尾された追尾候補顔の領域とが所定の割合以上重なっているか否か判定する。

再検出顔の領域と、追尾候補顔の領域とが一定以上重なっていない場合、ステップＳ１４の処理でＮＯと判定されて、処理はステップＳ１８に進む。即ち、全押し操作による処理の終了指示がない限り、ステップＳ１８においてＮＯであると判定されて、処理はステップＳ２（図５）に戻され、追尾候補顔の追尾が引き続き実行される。
なお、再検出顔の領域と、追尾候補顔の領域とが一定以上重なっていない場合、追尾候補顔は顔でない対象（壁等）であり、再検出顔が新たに登場してきた顔である可能性が高い。このため、追尾顔リストからこれまでの追尾候補顔の情報（対応する行の格納情報）を削除すると共に、再検出顔を新たな追尾候補顔に設定して、新たな追尾候補顔の情報（対応する行の格納情報）を追加登録する処理を実行してもよい。ただし、本フローチャートの例では、説明の便宜上、上述の如く１度設定された追尾期間の間は追尾候補顔の追尾が継続されるという思想が採用されているため、上述の流れの処理が実行される。

これに対して、再検出された検出顔の領域と、追尾候補顔の領域とが一定以上重なっている場合には、ステップＳ１４の処理でＹＥＳであると判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、顔信頼度算出部４１は、再検出顔の信頼度を再算出する。

ステップＳ１６において、追尾期間設定部４２は、ステップＳ１５において行われた再算出後の信頼度に基づいて再検出顔の追尾期間を再設定する。

ステップＳ１７において、追尾リスト登録更新部４３は、再検出顔の位置情報及び追尾期間を顔追尾リストの追尾候補顔の情報として上書き更新する。即ち、再検出顔の領域と、追尾候補顔の領域とが一定以上重なっている場合、再検出顔と追尾候補顔とは同一対象である可能性が非常に高いことを意味する。そして、顔検出処理と追尾処理とを比較すると、そのアルゴリズムの違い等により、顔検出処理の方が精度が高いため、顔検出処理により得られた情報等の方が信頼性が高い。そこで、顔追尾リストの追尾候補顔の情報が、信頼性が高い情報、即ち、顔検出処理により得られた情報に置換されるのである。また、追尾期間も演算し直され上書きされるので、実質的に、追尾期間も延長されることになる。
続いて、処理はステップＳ１８に進む。即ち、全押し操作による処理の終了指示がない限り、ステップＳ１８においてＮＯであると判定されて、処理はステップＳ２（図５）に戻され、追尾候補顔の追尾が引き続き実行される。

その後、上述した一連の処理が、フレーム画像のデータが取得される毎に繰り返し実行され、追尾期間が過ぎた場合には、次のステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１９に進む。

ステップＳ１９において、追尾リスト登録更新部４３は、追尾リスト記憶部６１に記憶されている顔追尾リストを削除する。続いて、処理はステップＳ１８に進む。なお、ステップＳ１８の処理は上述したので、ここではその説明は省略する。

以上、図５及び図６を参照して、顔検出処理により検出される検出顔が１つであるという前提の下で実行される単一顔追尾処理について説明した。
次に、図７及び図８を参照して、顔検出処理により検出される検出顔が複数になり得る場合の複数顔追尾処理について説明する。
図７及び図８は、複数顔追尾処理の流れを説明するフローチャートである。

図７及び図８の複数顔追尾処理は、撮像部１８による撮像が行われる場合に実行される処理である。
即ち、少なくともスルー撮像処理及びスルー表示処理が開始されており、ユーザにより全押し操作がなされて記録用撮像が行われるまでの間に、複数顔追尾処理は実行される。

ステップＳ４１において、追尾リスト登録更新部４３は、追尾リスト記憶部６１に記録されている顔追尾リストをリセットする。この処理では、顔追尾リストの記録内容が全て削除される。

ステップＳ４２において、フレーム画像取得部５１は、撮像部１８からフレーム画像のデータを取得する。フレーム画像取得部５１は、取得したフレーム画像のデータを顔検出部５２、追尾部１５及び過去フレーム画像記憶部６２に供給する。

ステップＳ４３において、追尾リスト登録更新部４３は、追尾リスト記憶部６１に記憶されている顔追尾リストに、追尾候補顔が存在するか否かを判定する。

ステップＳ４１の処理で顔追尾リストが削除された後の段階では、追尾リスト記憶部６１の顔追尾リストには追尾候補顔に対応する行は存在しない。このような場合、ステップＳ４３においてＮＯであると判定されて、処理は図８のステップＳ５０に進む。ステップＳ５０以降の処理については後述する。

追尾リスト記憶部６１の顔追尾リストに追尾候補顔に対応する行が存在する場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。

ステップＳ４４において、追尾制御部４４は、追尾リスト記憶部６１の顔追尾リストに存在する各追尾候補顔の１つを追尾対象として設定する。

ステップＳ４５において、追尾制御部４４は、追尾リスト記憶部６１に記憶されている顔追尾リストに基づいて、ステップＳ４４の処理で追尾対象として設定した追尾候補顔の追尾期間が過ぎたか否かを判定する。

追尾対象の追尾期間が過ぎた場合には、ステップＳ４５においてＹＥＳであると判定されて、処理はステップＳ４６に進む。
ステップＳ４６においては、追尾リスト登録更新部４３は、追尾期間が過ぎた追尾対象を顔追尾リストから削除する。これにより、処理はステップＳ４９に進むが、ステップＳ４９以降の処理については後述する。

これに対して、追尾対象の追尾期間が過ぎていない場合には、ステップＳ４５においてＮＯであると判定されて、処理はステップＳ４７に進む。
ステップＳ４７においては、追尾部１５は、追尾対象に対する追尾処理を行う。即ち、追尾部１５は、直前のステップＳ４４の処理で追尾対象として設定した追尾候補顔を追尾対象にして、追尾候補顔を追尾する。

ステップＳ４８において、追尾リスト登録更新部４３は、追尾処理の結果に基づいて、顔追尾リストの追尾対象の位置情報を更新する。具体的には、図示していないが、追尾処理の結果のうち、処理対象のフレーム画像内における、追尾された追尾対象の位置情報が、追尾リスト登録更新部４３に供給される。そこで、追尾リスト登録更新部４３は、当該追尾対象の位置情報を、顔追尾リストの位置情報として上書き更新する。

ステップＳ４８及びステップＳ４６の処理の後、ステップＳ４９において、追尾リスト登録更新部４３は、全ての追尾候補顔が追尾対象として設定されたか否かを判定する。

追尾候補顔のうち追尾対象として設定されていないものが未だ存在する場合には、ステップＳ４９においてＮＯであると判定されて、処理はステップＳ４４に戻される。即ち、１以上の追尾候補顔の各々が追尾対象として順次設定され、ステップＳ４４乃至ステップＳ４９のループ処理が繰り返し実行される。
そして、最後の追尾候補顔が追尾対象に設定されて、ステップＳ４４乃至ステップＳ４８の処理が実行されると、次のステップＳ４９においてＹＥＳであると判定されて、処理は図８のステップＳ５０に進む。

図８のステップＳ５０において、顔検出部５２は、直前のステップＳ４２の処理で取得されたフレーム画像のデータ中から、顔を検出する顔検出処理を実行する。

ステップ５１において、顔検出部５２は、ステップＳ５０の処理で顔の検出が成功したか否かを判定する。

ステップＳ５０の処理で何ら顔が検出されなかった場合、顔の検出が成功しなかったとして、ステップＳ５１においてＮＯであると判定されて、処理はステップＳ６０に進む。このため、全押し操作による複数顔追尾処理の終了指示がない限り、ステップＳ６０においてＮＯであると判定されて、処理はステップＳ４２（図７）に戻される。即ち、ステップＳ４２の処理でフレーム画像のデータが取得される度に、顔検出処理が繰り返し実行される。この場合、顔が検出されないと、ステップＳ４２乃至ステップＳ６０のループ処理が繰り返し実行される。

その後、所定のフレーム画像のデータから検出顔が検出されると、次のステップＳ５１においてＹＥＳであると判定されて、処理はステップ５２に進む。この場合、顔検出部５２は、検出顔の領域の情報及び位置情報を顔信頼度算出部４１に供給すると共に、検出顔の位置情報を追尾リスト登録更新部４３に供給する。

ステップＳ５２において、顔信頼度算出部４１は、顔検出部５２から供給された各検出顔の領域の情報及び位置情報に基づいて、各検出顔の各信頼度を算出する。顔信頼度算出部４１は、算出した各検出顔の各信頼度を追尾期間設定部４２に通知する。

ステップＳ５３において、追尾期間設定部４２は、ステップＳ５２の処理で算出された各信頼度に基づいて、各検出顔の各追尾期間を設定する。具体的には、追尾期間設定部４２は、図３のテーブルを参照して、各信頼度に対応する各追尾期間を設定する。追尾期間設定部４２は、設定した各追尾期間を追尾リスト登録更新部４３に供給する。

ステップＳ５４において、追尾制御部４４は、ステップＳ５０の処理において検出した各検出顔の１つを注目検出顔として設定する。
「注目検出顔」とは、後述のステップＳ５５乃至ステップＳ５９の処理において対象となる検出顔をいう。

ステップＳ５５において、追尾リスト登録更新部４３は、追尾リスト記憶部６１の顔追尾リストの中に、ステップＳ５４の処理により設定された注目検出顔の領域と、一定以上の領域とが重なる追尾候補顔が存在するか否かを判定する。

顔追尾リストの中に、注目検出顔の領域と、一定以上の領域とが重なる追尾候補顔が存在している場合には、ステップＳ５５の処理でＹＥＳであると判定されて、処理はステップ５６に進む。

ステップＳ５６において、追尾リスト登録更新部４３は、注目検出顔の領域と一定以上の領域が重なる追尾候補顔を更新対象に決定する。

ステップＳ５７において、追尾リスト登録更新部４３は、注目検出顔の位置情報及び追尾期間を顔追尾リストの更新対象の情報として上書き更新する。即ち、注目検出顔の領域と、顔追尾リスト中の追尾候補顔の領域とが一定以上重なっている場合、注目検出顔と追尾候補顔とは同一対象である可能性が非常に高いことを意味する。そして、顔検出処理と追尾処理とを比較すると、そのアルゴリズムの違い等により、顔検出処理により得られた情報等の方が信頼性が高い。そこで、顔追尾リストの追尾候補顔の情報が、信頼性が高い情報、即ち、顔検出処理により得られた情報に置換されるのである。また、追尾期間も演算し直され上書きされるので、実質的に、追尾期間も延長されることになる。
続いて、処理はステップＳ５９に進む。ステップＳ５９以降の処理については後述する。

これに対し、顔追尾リストの中に、注目検出顔の領域と、一定以上の領域とが重なる追尾候補顔が存在していない場合、ステップＳ５５においてＮＯであると判定されて、処理はステップ５８に進む。

ステップＳ５８において、追尾リスト登録更新部４３は、注目検出顔を新たな追尾候補顔として、その位置情報及び追尾期間を顔追尾リストに追加登録する。即ち、注目検出顔の領域と、顔追尾リスト中の追尾候補顔の領域とが一定以上重なっていない場合、追尾候補顔は顔でない対象（壁等）であり、注目検出顔が新たに登場してきた顔である可能性が高い。このため、追尾顔リスト中の追尾候補顔の情報（対応する行の格納情報）は更新しないと共に、注目検出顔を新たな追尾候補顔に設定して、新たな追尾候補顔の情報（対応する行の格納情報）を追加登録する処理を実行する。
続いて、処理はステップＳ５９に進む。

ステップ５８又はステップＳ５７の後、ステップＳ５９において、追尾リスト登録更新部４３は、全ての検出顔が注目検出顔に設定されたか否かを判定する。

検出顔のうち注目検出顔として設定されていないものが未だ存在する場合には、ステップＳ５９においてＮＯであると判定されて、処理はステップＳ５４に戻される。即ち、１以上の検出顔の各々が注目検出顔として順次設定されて、ステップＳ５４乃至ステップＳ５８の処理が実行されると、次のステップＳ５９においてＹＥＳであると判定されて、処理はステップＳ６０に進む。

ステップＳ６０において、フレーム画像取得部５１は、処理の終了指示がなされたか否かを判定する。即ち、全押し操作による処理の終了指示がない限り、ステップＳ６０においてＮＯであると判定されて、処理はステップＳ４２（図７）に戻され、追尾候補顔の追尾が引き続き実行される。

以上説明したように、本実施形態の撮像装置１は、フレーム画像取得部５１と、顔検出部５２と、顔信頼度算出部４１と、追尾部１５と、追尾期間設定部４２と、追尾制御部４４と、を備えている。
フレーム画像取得部５１は、画像データを逐次取得する。
顔検出部５２は、フレーム画像取得部５１により逐次取得される各々の画像データから、被写体と推定される顔を検出する。
顔信頼度算出部４１は、顔検出部５２により検出顔について、被写体らしさを表す信頼度を算出する。
追尾期間設定部４２は、顔信頼度算出部４１により算出された信頼度に基づいて、検出顔の追尾のための追尾期間を設定する。
追尾部１５は、フレーム画像取得部５１により次回以降逐次取得される画像データから顔検出部５２により検出された検出顔を追尾する。
追尾制御部４４は、追尾期間設定部４２により設定された追尾期間に基づいて、検出顔の追尾をさせるよう制御する。

これにより、顔検出部５２による検出時における検出結果に対する信頼度に応じて、追尾部１５における追尾期間を制御することができる。これにより、顔検出処理で顔でない対象（壁等）を顔であると誤検出してしまった場合、誤検出の対象に対する追尾処理、即ち、不必要な対象に対する追尾処理を低減することができる。その結果、被写体の顔を検出して追尾するまでの全体の処理時間を短時間で行うことができる。

また、本実施形態の撮像装置１は、追尾リスト登録更新部４３をさらに備えている。
追尾リスト登録更新部４３は、顔検出部５２により検出顔を追尾候補として、追尾候補の情報として、顔検出部５２により検出顔の位置情報と、追尾期間設定部４２により設定された追尾期間とを登録する。
そして、追尾制御部４４は、追尾リスト登録更新部４３により追尾候補として登録された該顔の位置情報及び該追尾期間に基づいて、追尾部１５による顔の追尾を制御する。

これにより、顔検出部５２により検出される顔が複数であっても、複数の顔のそれぞれについて、他とは独立して追尾期間を設定して、他とは独立して追尾処理を実行することが容易に可能になる。

また、顔検出部５２は、追尾部１５による検出顔の追尾の後に、再検出顔を検出する。
追尾期間設定部４２は、再検出顔の位置情報と追尾期間とを新たに設定する。
追尾リスト登録更新部４３は、さらに、再検出顔の領域と検出顔の領域が所定の範囲以上重なると、追尾候補を検出顔から再検出顔に更新し、追尾候補の情報として、再検出顔の位置情報と、再検出顔について設定手段により新たに設定された追尾期間とを上書き更新する。

一般的に、追尾処理に比べて、顔検出処理の方が、そのアルゴリズムの違い等により、精度が高い処理となるため、得られる位置情報の信頼性も高い。従って、信頼性の高い位置情報に更新されるので、次回以降の追尾処理の精度が向上する。
また、追尾期間を上書きすることにより、追尾期間の実質的延長を行うことが可能になる。

また、フレーム画像取得部５１は、フレーム画像を単位として画像データを逐次取得する。
追尾期間設定部４２は、フレーム画像数によって求められる追尾期間を設定する。

これにより、追尾期間の制御のために別途計時部等を設ける必要がなく、他の画像処理と同一の処理単位であるフレーム画像単位を採用して、追尾処理を適切に実行することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態では、追尾期間設定部４２は、フレーム画像を単位として追尾期間を設定したがこれに限られることではなく、時間的長さを定量的に特定できる単位であれば足りる。例えば、別途計時部を設けて、信頼度毎に設定した単位時間毎に追尾期間を設定することができる。

また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の画像処理装置として構成される例として説明した。しかしながら、本発明は、画像処理装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・追尾部、１６・・・バス、１７・・・入出力インターフェース、１８・・・撮像部、１９・・・操作部、２０・・・表示部、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・顔信頼度算出部、４２・・・追尾期間設定部、４３・・・追尾リスト登録更新部、４４・・・追尾制御部、５１・・・フレーム画像取得部、５２・・・顔検出部、６１・・・追尾リスト記憶部、６２・・・過去フレーム画像記憶部

Claims (7)

1. 画像データを逐次取得する画像取得手段と、
   前記画像取得手段により逐次取得される各々の画像データから、被写体と推定される第１の対象を検出する検出手段と、
   前記検出手段により検出された第１の対象について、前記被写体らしさを表す信頼度を算出する算出手段と、
   前記算出手段により算出された信頼度に基づいて、第１の対象の追尾のための追尾期間を設定する設定手段と、
   前記画像取得手段により次回以降逐次取得される画像データから、前記検出手段により検出された第１の対象を追尾する追尾手段と、
   前記設定手段により設定された追尾期間に基づいて、第１の対象の追尾をさせるよう制御する追尾制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記検出手段により検出された第１の対象の位置情報を取得する取得手段と、
   前記取得手段により取得された第１の対象の位置情報と前記設定手段により設定された追尾期間とを登録する候補登録手段をさらに備え、
   前記追尾制御手段は、前記候補登録手段により登録された第１の対象の位置情報と前記追尾期間とに基づいて、前記追尾手段による第１の対象の追尾を制御する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記検出手段は、前記追尾手段による第１の対象の追尾の後に、第２の対象を検出し、
   前記設定手段は、前記第２の対象の位置情報と追尾期間とを新たに設定し、
   前記候補登録手段は、さらに、前記第２の対象の領域と前記第１の対象の領域が所定の範囲以上重なると、前記第１の対象の位置情報と追尾期間とを、前記第２の対象の位置情報との追尾期間とに上書きする、
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記検出手段は、前記対象として、顔を検出する、
   ことを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 前記画像取得手段は、１つの画像データを一単位として前記画像データを一単位ずつ逐次取得し、
   前記設定手段は、前記画像取得手段により一単位として取得されるフレーム画像の数を前記追尾期間として設定する、
   ことを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
6. 画像を取得する画像取得手段を備える画像処理装置の画像処理方法であって、
   画像データを逐次取得する画像取得ステップと、
   前記画像取得ステップにて逐次取得される各々の画像データから、被写体と推定される対象を検出する検出ステップと、
   前記検出ステップにて検出された対象についての、前記被写体らしさを表す信頼度を算出する算出ステップと、
   前記算出ステップにて算出された信頼度に基づいて、対象の追尾のための追尾期間を設定する設定ステップと、
   前記画像取得ステップにて次回以降逐次取得される画像データから、前記検出ステップにより検出された対象を追尾する追尾ステップと、
   前記設定ステップにて設定された追尾期間に基づいて、対象の追尾をさせるよう制御する追尾制御ステップと、
   を含むことを特徴とする画像処理方法。
7. 画像を取得する画像取得手段を備える画像処理装置のコンピュータを、
   画像データを逐次取得する画像取得手段、
   前記画像取得手段により逐次取得される各々の画像データから、被写体と推定される対象を検出する検出手段、
   前記検出手段により検出された対象についての、前記被写体らしさを表す信頼度を算出する算出手段と、
   前記算出手段により算出された信頼度に基づいて、対象の追尾のための追尾期間を設定する設定手段、
   前記画像取得手段に次回以降逐次取得される画像データから、前記検出手段により検出された対象を追尾する追尾手段、
   前記設定手段により設定された追尾期間に基づいて、前記追尾手段による対象の追尾をさせるよう制御する追尾制御手段、
   として機能させることを特徴とするプログラム。

Images