JP2014045318A - 電子カメラ - Google Patents

Abstract

【構成】イメージセンサ１６は、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する。ＣＰＵ２６は、１または２以上の人物の顔画像をイメージセンサ１６から出力された電子画像から繰り返し探索し、探知された１または２以上の顔画像のうち特定の顔画像に相当する顔画像をイメージセンサ１６から出力された電子画像から追尾する処理を探索処理と並列して実行する。ＣＰＵ２６はまた、追尾された顔画像を参照して焦点距離を繰り返し調整し、探知された顔画像の数が増大するほど追尾精度を高める。
【効果】追尾性能の向上
【選択図】図２

Description

この発明は、電子カメラに関し、特に特定物体を表す画像を繰り返し探索する、電子カメラに関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、認証データを事前に記憶させた特定人物の顔をＡＦ枠により自動追尾する認識追尾モードにおいて、操作者が指定した特定人物の顔が、テレビカメラから取り込んだ撮影画像の中から顔認証処理により検出される。その後、その顔の画像を基準パターンとして、物体追尾処理に用いるパターンマッチング処理により撮影画像の中から特定人物の顔が検出され、ＡＦ枠がその検出位置に移動する。物体追尾処理が３回実行されるごとに、顔認証処理が実行される。

特開２０１１−１０７３９６号公報

しかし、背景技術では、単なる顔ではなく特定の人物の顔を検出するので、高い精度の照合が必要である。このため、人物の姿勢または表情や照明の変化によって検出漏れが生じ、追尾性能が低下する恐れがある。

それゆえに、この発明の主たる目的は、追尾性能を高めることができる、電子カメラを提供することである。

この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段(16)、１または２以上の特徴画像を撮像手段から出力された電子画像から繰り返し探索する第１探索手段(S67)、第１探索手段によって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を撮像手段から出力された電子画像から繰り返し探索する処理を第１探索手段の処理と並列して実行する第２探索手段(S131, S133)、第２探索手段によって探知された特徴画像を参照して撮像条件を繰り返し調整する調整手段(S45)、および第１探索手段によって探知された特徴画像の数が増大するほど第２探索手段の探索精度を高める制御手段(S129)を備える。

好ましくは、制御手段は第１探索手段によって探知された特徴画像の数が２以上のときに第２探索手段の探索精度を高める。

好ましくは、制御手段は特定範囲において第１探索手段によって探知された特徴画像の数に注目して処理を実行する。

さらに好ましくは、第２探索手段によって探知された特徴画像の位置に基づいて特定範囲を繰り返し設定する設定手段(S141)をさらに備える。

好ましくは、特徴画像は人物を示す画像に相当する。

好ましくは、撮像面の前方に設けられたフォーカスレンズ(12)をさらに備え、撮像条件はフォーカスレンズから撮像面までの距離に相当する。

この発明に従う撮像制御プログラムは、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、１または２以上の特徴画像を撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ(S67)、第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を撮像手段から出力された電子画像から繰り返し探索する処理を第１探索ステップの処理と並列して実行する第２探索ステップ(S131, S133)、第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ(S45)、および第１探索ステップによって探知された特徴画像の数が増大するほど第２探索ステップの探索精度を高める制御ステップ(S129)を実行させるための、撮像制御プログラムである。

この発明に従う撮像制御方法は、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)によって実行される撮像制御方法であって、１または２以上の特徴画像を撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ(S67)、第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を撮像手段から出力された電子画像から繰り返し探索する処理を第１探索ステップの処理と並列して実行する第２探索ステップ(S131, S133)、第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ(S45)、および第１探索ステップによって探知された特徴画像の数が増大するほど第２探索ステップの探索精度を高める制御ステップ(S129)を備える。

この発明に従う外部制御プログラムは、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、１または２以上の特徴画像を撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ(S67)、第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を撮像手段から出力された電子画像から繰り返し探索する処理を第１探索ステップの処理と並列して実行する第２探索ステップ(S131, S133)、第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ(S45)、および第１探索ステップによって探知された特徴画像の数が増大するほど第２探索ステップの探索精度を高める制御ステップ(S129)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う電子カメラ(10)は、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段(16)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、１または２以上の特徴画像を撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ(S67)、第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を撮像手段から出力された電子画像から繰り返し探索する処理を第１探索ステップの処理と並列して実行する第２探索ステップ(S131, S133)、第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ(S45)、および第１探索ステップによって探知された特徴画像の数が増大するほど第２探索ステップの探索精度を高める制御ステップ(S129)を内部制御プログラムと協働して実行するプログラムに相当する。

第２探索手段の探索精度は、特定の特徴画像の周辺に他の特徴画像が存在しない場合に低い精度に設定される一方、特定の特徴画像の周辺に他の特徴画像が存在する場合に高い精度に設定される。これによって、追尾に掛かる負荷の抑制と追尾対象の誤検出の回避とが両立され、追尾性能の向上が図られる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 撮像面における評価エリアの割り当て状態の一例を示す図解図である。 顔検出処理において用いられる顔検出枠の一例を示す図解図である。 追尾処理において用いられる追尾検出枠の一例を示す図解図である。 図２実施例で参照される顔辞書の構成の一例を示す図解図である。 図２実施例において参照されるレジスタの構成の一例を示す図解図である。 図２実施例において参照される他のレジスタの構成の一例を示す図解図である。 図２実施例において参照されるその他のレジスタの構成の一例を示す図解図である。 顔検出処理の一部を示す図解図である。 顔検出処理の他の一部を示す図解図である。 追尾処理の一部を示す図解図である。 追尾処理の他の一部を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する。第１探索手段２は、１または２以上の特徴画像を撮像手段１から出力された電子画像から繰り返し探索する。第２探索手段３は、第１探索手段２によって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を撮像手段１から出力された電子画像から繰り返し探索する処理を第１探索手段２の処理と並列して実行する。調整手段４は、第２探索手段３によって探知された特徴画像を参照して撮像条件を繰り返し調整する。制御手段５は、第１探索手段２によって探知された特徴画像の数が増大するほど第２探索手段３の探索精度を高める。

第２探索手段３の探索精度は、特定の特徴画像の周辺に他の特徴画像が存在しない場合に低い精度に設定される一方、特定の特徴画像の周辺に他の特徴画像が存在する場合に高い精度に設定される。これによって、追尾に掛かる負荷の抑制と追尾対象の誤検出の回避とが両立され、追尾性能の向上が図られる。
［実施例］

図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、ドライバ１８ｃによって駆動されるイメージセンサ１６の撮像面に照射され、光電変換を施される。これらの部材によって、イメージセンサ１６によって捉えられたシーンに対応した電荷が生成される。

電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージセンサ１６の撮像面を露光し、かつイメージセンサ１６の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ１６からは読み出された電荷に基づく生画像データが周期的に出力される。

前処理回路２０は、イメージセンサ１６からそれぞれ出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通して図３に示すＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。

後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。この結果、ＹＵＶ画像データが作成され、作成されたＹＵＶ画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂ（図３参照）に書き込まれる。

後処理回路３４はさらに、ＹＵＶ画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によって図３に示すＳＤＲＡＭ３２の表示画像エリア３２ｃに書き込まれる。探索画像データは、メモリ制御回路３０によって図３に示すＳＤＲＡＭ３２の探索画像エリア３２ｄに書き込まれる。

ＬＣＤドライバ３６は、表示画像エリア３２ｃに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

図４を参照して、イメージセンサ１６の撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。この結果、ＲＧＢデータが前処理回路２０から出力される。

ＡＥ評価回路２２は、ＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。

ＣＰＵ２６は、撮像タスクの下で、２５６個のＡＥ評価値に基づいてコンティニュアス厳格ＡＥ処理を実行する。コンティニュアス厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像および記録画像の明るさの厳格な調整が継続的に実行される。

ＡＦ評価回路２４は、ＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。こうして得られたＡＦ評価値に基づく処理については、後述する。

キー入力装置４６に設けられた記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、ＣＰＵ２６は、記録処理を開始するべく動画記録タスクを起動し、ＭＰ４コーデック４６およびＩ／Ｆ４０を動画記録タスクの下で起動する。Ｉ／Ｆ４０は、記録媒体４２にアクセスし、動画ファイルを記録媒体４２に新規に作成する（作成された動画ファイルはオープンされる）。ファイル作成＆オープン処理が完了すると、ＣＰＵ２６は、ＭＰ４符号化処理の開始をＭＰ４コーデック４６に命令する。

ＭＰ４コーデック４６は、垂直同期信号Ｖｓｙｎｃに応答して、ＹＵＶ画像エリア３２ｂに格納されたＹＵＶ画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データをＭＰ４方式に従って符号化し、そして符号化画像データつまりＭＰ４データをメモリ制御回路３０を通して図３に示す記録画像エリア３２ｅに書き込む。

ＣＰＵ２６はまた、書き込まれたＭＰ４データをオープン状態の動画ファイルに転送する。転送されたＭＰ４データは、Ｉ／Ｆ４０を通して動画ファイルに書き込まれる。

記録ボタン２８ｒｅｃに向けて記録終了操作が行われると、ＣＰＵ２６は、ＭＰ４符号化処理の停止をＭＰ４コーデック４６に命令し、記録処理が終了する。また、オープン状態の動画ファイルはクローズされる。

ＣＰＵ２６は、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、Ｖｓｙｎｃが発生する毎に顔検出タスクの下で顔検出処理を繰り返し実行する。このような顔検出タスクのために、図５に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…、図７に示す顔辞書ＤＣｆ、図８に示す顔検出ワークレジスタＲＧＳＴｗｋ１、および図８に示す顔レジスタＲＧＳＴｆｃが準備される。顔辞書ＤＣｆには５つの辞書画像（＝向きが互いに異なる顔画像）が収められる。なお、顔辞書ＤＣｆはフラッシュメモリ４４に保存される。

顔検出処理ではまず、評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘが“２００”に設定され、最小サイズＦＳＺｍｉｎが“２０”に設定される。

顔検出枠ＦＤは、探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図１１参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＦＳＺｍａｘ”から“ＦＳＺｍｉｎ”まで“５”ずつ縮小される。

ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｄから読み出し、読み出された画像データの特徴量を算出する。ここでの特徴量の算出は、人物の顔画像であることが判別できる程度の特徴量の算出でよい。したがって、後述の個人を識別するための特徴量の算出よりも、精度の低い算出でよい。

算出された特徴量は、顔辞書ＤＣｆの各々の特徴量と照合される。照合度が基準値ＴＨ１を上回ると、顔画像が検出されたものとみなされ、現時点の顔検出枠ＦＤの位置およびサイズが、顔情報として顔検出ワークレジスタＲＧＳＴｗｋ１に格納される。

したがって、正面を向いた人物ＨＭ１が図１２に示す要領で撮像面に捉えられる場合、顔検出ワークレジスタＲＧＳＴｗｋ１に登録される顔情報は、顔検出枠ＦＤ１の位置およびサイズを示す。

顔検出処理の完了後に顔検出ワークレジスタＲＧＳＴｗｋ１に顔情報が格納されていたとき、ＣＰＵ２６は、顔検出ワークレジスタＲＧＳＴｗｋ１の登録内容を退避させるべく、この登録内容を顔レジスタＲＧＳＴｆｃにコピーする。また、ＣＰＵ２６は、人物の顔を発見したことを表明するべくフラグＦＬＧｆｃを“１”に設定する。

顔検出処理の完了後、顔検出ワークレジスタＲＧＳＴｗｋ１に顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合、ＣＰＵ２６は、フラグＦＬＧｆｃを“０”に設定する。

フラグＦＬＧｆｃの示す値が“０”から“１”に更新されると、撮像タスクの下でＣＰＵ２６は、顔レジスタＲＧＳＴｆｃに格納された顔情報が示す領域の中から後述する追尾処理の対象とすべき領域に相当する追尾対象領域ＴＲを決定する。顔レジスタＲＧＳＴｆｃに１つの顔情報が格納されている場合、ＣＰＵ２６は、格納された顔情報が示す領域を追尾対象領域ＴＲとする。顔レジスタＲＧＳＴｆｃに複数の顔情報が格納されている場合、ＣＰＵ２６は、最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域を追尾対象領域ＴＲとする。追尾対象領域ＴＲの位置およびサイズは、図９に示す追尾対象レジスタＲＧＳＴｔｒに格納される。

このように追尾対象領域ＴＲが決定すると、ＣＰＵ２６は、フラグＦＬＧｍｎを“１”に設定する。

ＣＰＵ２６は次に、追尾対象領域ＴＲに属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データを個人の識別に用いることが可能なサイズにリサイズする。ＣＰＵ２６はまた、リサイズされた画像データから個人を識別するための特徴量を算出する。算出された特徴量は、追尾対象レジスタＲＧＳＴｔｒの“特徴量”のカラムに登録される。

なお、ここで算出される特徴量は、特定の人物の顔画像を識別できる程度の特徴量が必要である。したがって、顔検出処理ならびに後述の色および輝度に基づいた追尾処理での特徴量の算出よりも、高い精度の算出が必要である。

また、追尾対象領域ＴＲが決定すると、撮像タスクの下でＣＰＵ２６は、追尾対象領域ＴＲに注目した厳格ＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、追尾対象レジスタＲＧＳＴｔｒに格納された位置およびサイズに対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくＡＦ処理を実行する。この結果、追尾対象の顔に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における追尾対象の顔の鮮鋭度が向上する。

厳格ＡＦ処理が完了すると、ＣＰＵ２６は、探索画像データにおいて追尾対象レジスタＲＧＳＴｔｒに登録された顔の位置を継続して把握するべく、追尾タスクを起動する。このような追尾タスクのために、図６に示す複数の追尾検出枠ＴＤ，ＴＤ，ＴＤ，…、図８に示す探索エリア顔レジスタＲＧＳＴｓｒ、および図１０に示す追尾ワークレジスタＲＧＳＴｗｋ２が準備される。

追尾タスクが起動されると、追尾対象領域ＴＲとその周辺の既定の範囲の領域とが追尾探索エリアＳＲとして設定される。

ＣＰＵ２６は、Ｖｓｙｎｃが発生する毎に、追尾タスクの下で追尾処理を以下の要領で繰り返し実行する。顔レジスタＲＧＳＴｆｃに登録された顔情報から位置が探索エリアＳＲに属する顔情報を抽出する。抽出された顔情報は、探索エリア顔レジスタＲＧＳＴｓｒに登録される。

探索エリア顔レジスタＲＧＳＴｓｒに登録された顔情報が１つであるとき、つまり探索エリアＳＲにおいて発見された顔画像が１つであるとき、色および輝度に基づいた追尾処理が実行される。

色および輝度に基づいた追尾処理においては、まず追尾対象領域ＴＲに属する画像データが探索画像エリア３２ｄから読み出され、読み出された画像データの特徴量が算出される。ここでの特徴量の算出は、人物の顔画像であることが判別できる程度の特徴量の算出でよい。したがって、個人を識別するための特徴量の算出よりも、精度の低い算出でよい。

次に、追尾検出枠ＴＤのサイズの可変範囲を定義するべく、最大サイズＴＳＺｍａｘが“追尾対象領域ＴＲのサイズ×１．３”に設定され、最小サイズＴＳＺｍｉｎが“追尾対象領域ＴＲのサイズ×０．７”に設定される。最大サイズＴＳＺｍａｘおよび最小サイズＳＺｍｉｎの設定値は、これら以外であってもよい。

追尾検出枠ＴＤは、追尾探索エリアＳＲの開始位置から終了位置に向かって、既定量ずつ移動される。また、追尾検出枠ＴＤのサイズは、追尾検出枠ＴＤが終了位置に到達する毎に“ＴＳＺｍａｘ”から“ＴＳＺｍｉｎ”まで“５”ずつ縮小される。

ＣＰＵ２６は、追尾検出枠ＴＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｄから読み出し、読み出された画像データの特徴量を算出する。ここでの特徴量の算出は、人物の顔画像であることが判別できる程度の特徴量の算出でよい。したがって、個人を識別するための特徴量の算出よりも、精度の低い算出でよい。

算出された特徴量は、追尾対象領域ＴＲの特徴量と照合される。照合度が基準値ＴＨ２を上回ると、追尾対象の顔が検出されたものとみなされ、現時点の追尾検出枠ＴＤの位置，サイズ，および照合度が、追尾情報として追尾ワークレジスタＲＧＳＴｗｋ２に登録される。また、ＣＰＵ２６は、主要被写体の追尾に成功したことを表明するべく、フラグＦＬＧｔｒｃを“１”に設定する。

なお、追尾処理はサイズが“ＴＳＺｍｉｎ”の追尾検出枠ＴＤが終了位置に到達するまで続行される。照合度が追尾ワークレジスタＲＧＳＴｗｋ２に登録された照合度を上回った場合は、その時点の追尾検出枠ＴＤの位置，サイズ，および照合度によって、追尾ワークレジスタＲＧＳＴｗｋ２の登録内容が更新される。

追尾処理の完了後にフラグＦＬＧｔｒｃが“１”を示すとき、ＣＰＵ２６は、追尾対象レジスタＲＧＳＴｔｒの登録位置と追尾ワークレジスタＲＧＳＴｗｋ２の登録位置との差分に基づいて、主要被写体の移動方向および移動量を算出する。ＣＰＵ２６はまた、算出された移動方向および移動量と追尾ワークレジスタＲＧＳＴｗｋ２に登録された位置およびサイズとを用いて、追尾対象レジスタＲＧＳＴｔｒの登録内容を更新する。

更新された追尾対象領域ＴＲと追尾対象レジスタＲＧＳＴｔｒに登録された移動方向および移動量とに基づいて、次回の追尾探索エリアＳＲが設定される。図１３に示す例によると、画像右上から左下方向に向かって移動中の人物ＨＭ１の顔画像が、追尾対象領域ＴＲに属する。この場合、追尾対象領域ＴＲから左下方向に向けて広がるように、追尾探索エリアＳＲが設定される。

また、追尾タスクの起動中、ＣＰＵ２６は、追尾対象領域ＴＲに注目したコンティニュアス厳格ＡＦ処理を撮像タスクの下で実行する。この結果、追尾対象の顔に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における追尾対象領域ＴＲの鮮鋭度が継続的に向上する。

追尾処理の完了後にフラグＦＬＧｔｒｃが“０”を示すとき、ＣＰＵ２６は、追尾タスクを終了する。

図１４を参照して、追尾タスクの起動後に実行された顔検出処理によって、人物ＨＭ１，ＨＭ２，およびＨＭ３の顔画像が顔検出枠ＦＤ１，ＦＤ２，およびＦＤ３に追尾探索範囲ＳＲの中でそれぞれ捉えられたとき、探索エリア顔レジスタＲＧＳＴｓｒに複数の顔情報が登録される。

この場合、同一人物の顔の位置を継続して把握するべく、個人の識別に基づいた追尾処理が以下の要領で実行される。

ＣＰＵ２６はまず、探索エリア顔レジスタＲＧＳＴｓｒに１番目に登録された顔情報に相当する領域の画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データを個人の識別に用いることが可能なサイズにリサイズする。

ＣＰＵ２６は次に、リサイズされた画像データから個人を識別するための特徴量を算出する。ここで算出される特徴量は、特定の人物の顔画像を識別できる程度の特徴量が必要である。したがって、顔検出処理ならびに色および輝度に基づいた追尾処理での特徴量の算出よりも、高い精度の算出が必要である。

算出された特徴量は、追尾対象レジスタＲＧＳＴｔｒに登録された特徴量と照合される。照合度が基準値ＴＨ３を上回ると、追尾対象の顔が検出されたものとみなされ、現時点の追尾検出枠ＴＤの位置，サイズ，および照合度が、追尾情報として追尾ワークレジスタＲＧＳＴｗｋ２に登録される。また、ＣＰＵ２６は、主要被写体の追尾に成功したことを表明するべく、フラグＦＬＧｔｒｃを“１”に設定する。

このような複数の処理が探索エリア顔レジスタＲＧＳＴｓｒに登録された各々の顔情報に対して実行される。照合度が追尾ワークレジスタＲＧＳＴｗｋ２に登録された照合度を上回った場合は、その時点の追尾検出枠ＴＤの位置，サイズ，および照合度によって、追尾ワークレジスタＲＧＳＴｗｋ２の登録内容が更新される。

なお、個人の識別に基づいた追尾処理においては、追尾探索範囲ＳＲにおいて発見された複数の顔画像の中から、追尾対象の顔画像が識別される。このため、照合処理は高い精度で実行される必要があるので、閾値ＴＨ３は、顔検出処理で用いられる閾値ＴＨ１ならびに色および輝度に基づいた追尾処理で用いられる閾値ＴＨ２よりも高い値に設定される。

また、個人の識別に基づいた追尾処理の完了後は、色および輝度に基づいた追尾処理の場合と同様の処理が実行される。

ＣＰＵ２６は、図１５〜１６に示す撮像タスク，図１７に示す動画記録タスク，図１８に示す顔検出タスク，および図２１に示す追尾タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。

図１５を参照して、ステップＳ１では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではフォーカス設定をデフォルト値に設定する。

ステップＳ５では顔検出タスクを起動し、ステップＳ７ではフラグＦＬＧｍｎを“０”に設定する。

ステップＳ９では、コンティニュアス厳格ＡＥ処理を実行する。この結果、スルー画像および記録画像の明るさの厳格な調整が継続的に実行される。

ステップＳ１１では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＹＥＳであればステップＳ１５に進む一方、判別結果がＮＯであれば記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かをステップＳ１３で判別する。ステップＳ１３の判別結果がＹＥＳであればステップＳ１９に進む一方、ステップＳ１３の判別結果がＮＯであればステップＳ２１に進む。

ステップＳ１５ではフラグＦＬＧｓｔｐに“０”を設定し、ステップＳ１７では動画記録タスクを起動する一方、ステップＳ１９ではフラグＦＬＧｓｔｐに“１”を設定する。ステップＳ１７またはＳ１９の処理が完了すると、ステップＳ９に戻る。

ステップＳ２１ではフラグＦＬＧｍｎが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２３に進む一方、判別結果がＹＥＳであればステップＳ３９に進む。ステップＳ２３ではフラグＦＬＧｆｃが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ９に戻る一方、判別結果がＹＥＳであればステップＳ２５〜Ｓ３７の処理を経てステップＳ９に戻る。

ステップＳ２５ではフラグＦＬＧｍｎを“１”に設定し、ステップＳ２７では、顔レジスタＲＧＳＴｆｃに格納された顔情報が示す領域の中から後述する追尾処理の対象とすべき領域に相当する追尾対象領域ＴＲを決定する。顔レジスタＲＧＳＴｆｃに１つの顔情報が格納されている場合、格納された顔情報によって示される領域が追尾対象領域ＴＲとされる。顔レジスタＲＧＳＴｆｃに複数の顔情報が格納されている場合、最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報によって示される領域が追尾対象領域ＴＲとされる。追尾対象領域ＴＲの位置およびサイズは、追尾対象レジスタＲＧＳＴｔｒに格納される。

ステップＳ２９では、追尾対象領域ＴＲに属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データを個人の識別に用いることが可能なサイズにリサイズする。リサイズされた画像データからは、個人を識別するための特徴量がステップＳ３１で算出される。ここで算出される特徴量は、特定の人物の顔画像を識別できる程度の特徴量が必要である。したがって、ステップＳ９３，Ｓ１５３，およびＳ１６３の特徴量の算出よりも、高い精度の算出が必要である。算出された特徴量は、追尾対象レジスタＲＧＳＴｔｒの“特徴量”のカラムにステップＳ３３で登録される。

ステップＳ３５では、追尾対象領域ＴＲに注目した厳格ＡＦ処理を実行する。この結果、追尾対象の顔に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における追尾対象の顔の鮮鋭度が向上する。ステップＳ３７では追尾タスクを起動する。

ステップＳ３９ではフラグＦＬＧｔｒｇｔが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ４５の処理を経てステップＳ９に戻り、判別結果がＮＯであればステップＳ４１およびＳ４３の処理を経てステップＳ９に戻る。

ステップＳ４１ではフラグＦＬＧｍｎを“０”に設定し、ステップＳ４３ではフォーカス設定をデフォルト値に設定する。

ステップＳ４５では、追尾対象領域ＴＲに注目したコンティニュアス厳格ＡＦ処理を実行する。この結果、追尾対象の顔に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像および記録画像における追尾対象の顔画像の鮮鋭度が継続的に向上する。

図１７を参照して、ステップＳ５１ではオープン状態の動画ファイルを記録媒体４２に新規に作成し、ステップＳ５３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯであればステップＳ５７に進み、判別結果がＹＥＳであればＭＰ４データをオープン状態の動画ファイルにステップＳ５５で転送する。転送されたＭＰ４データは、Ｉ／Ｆ４０を通して動画ファイルに書き込まれる。

ステップＳ５７ではフラグＦＬＧｓｔｐが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ５３に戻る一方、判別結果がＹＥＳであればステップＳ５９に進む。ステップＳ５９では、オープン状態の動画ファイルをクローズして記録処理を終了する。ステップＳ５９の処理が完了すると、動画記録タスクは終了する。

図１８を参照して、ステップＳ６１ではフラグＦＬＧｆｃに“０”を設定し、ステップＳ６３では顔レジスタＲＧＳＴｆｃの登録内容を初期化するべくクリアする。ステップＳ６５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ６７に進む。

ステップＳ６７では、探索画像データから人物の顔画像を探索するべく、顔検出処理を実行する。ステップＳ６９では、ステップＳ６７の処理によって顔検出ワークレジスタＲＧＳＴｗｋ１に顔情報が格納されたか否かを判別し、判別結果がＹＥＳであればステップＳ７３に進む一方、判別結果がＮＯであればステップＳ７１に進む。

ステップＳ７１ではフラグＦＬＧｆｃに“０”を設定する。

ステップＳ７３では、顔検出ワークレジスタＲＧＳＴｗｋ１の登録内容を退避させるべく、この登録内容を顔レジスタＲＧＳＴｆｃにコピーする。ステップＳ７５では、人物の顔を発見したことを表明するべくフラグＦＬＧｆｃを“１”に設定する。

ステップＳ７１またはＳ７５の処理が完了すると、ステップＳ６５に戻る。

ステップＳ６７の顔検出処理は、図１９〜２０に示すサブルーチンに従って実行される。

図１９を参照して、ステップＳ８１では、顔検出ワークレジスタＲＧＳＴｗｋ１を初期化すべく格納内容をクリアする。

ステップＳ８３では変数Ｎｍａｘを顔辞書ＤＣｆの登録数に設定し、ステップＳ８５では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ８７では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘを“２００”に設定し、最小サイズＦＳＺｍｉｎを“２０”に設定する。

ステップＳ８９では顔検出枠ＦＤのサイズを“ＦＳＺｍａｘ”に設定し、ステップＳ９１では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ９３では、顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された探索画像データの特徴量を算出する。ここでの特徴量の算出は、人物の顔画像であることが判別できる程度の特徴量の算出でよい。したがって、ステップＳ３１およびＳ２０１の特徴量の算出よりも、精度の低い算出でよい。

ステップＳ９５では変数Ｎを“１”に設定し、ステップＳ９７では、ステップＳ９３で算出された特徴量と顔辞書ＤＣｆのＮ番目に収められた辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨ１を超える照合度が得られたか否かをステップＳ９９で判別し、判別結果がＮＯであればステップＳ１０１に進む一方、判別結果がＹＥＳであればステップＳ１０５に進む。

ステップＳ１０１では変数Ｎをインクリメントし、ステップＳ１０３では変数ＮがＮｍａｘを超えたか否かを判別する。判別結果がＮＯであればステップＳ９７に戻る一方、判別結果がＹＥＳであればステップＳ１０７に進む。

ステップＳ１０５では、現時点の顔検出枠ＦＤの位置およびサイズを顔情報として顔検出ワークレジスタＲＧＳＴｗｋ１に登録する。ステップＳ１０７では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１１１に進む一方、判別結果がＮＯであれば、ステップＳ１０９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ９３に戻る。

ステップＳ１１１では顔検出枠ＦＤのサイズが“ＦＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１１３に進む。

ステップＳ１１３では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１１５では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１１５の処理が完了すると、ステップＳ９３に戻る。

図２１を参照して、ステップＳ１２１ではフラグＦＬＧｔｒｇｔに“１”を設定し、ステップＳ１２３では追尾対象領域ＴＲとその周辺の既定の範囲の領域とを追尾探索エリアＳＲとして設定する。

ステップＳ１２５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１２７に進む。

ステップＳ１２７では、顔レジスタＲＧＳＴｆｃに登録された顔情報から位置が探索エリアＳＲに属する顔情報を抽出する。抽出された顔情報は、探索エリア顔レジスタＲＧＳＴｓｒに登録される。

ステップＳ１２９では、探索エリア顔レジスタＲＧＳＴｓｒに複数の顔情報が登録されているか否かを判別し、判別結果がＮＯであればステップＳ１３１の処理を経てステップＳ１３５に進む一方、判別結果がＹＥＳであればステップＳ１３３の処理を経てステップＳ１３５に進む。

ステップＳ１３１では色および輝度に基づいた追尾処理を実行し、ステップＳ１３３では個人の識別に基づいた追尾処理を実行する。

ステップＳ１３５では、ステップＳ１３１またはＳ１３３の処理の結果フラグＦＬＧｔｒｃが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１３７に進む一方、判別結果がＮＯであればステップＳ１４３に進む。

ステップＳ１３７では、追尾対象レジスタＲＧＳＴｔｒの登録位置と追尾ワークレジスタＲＧＳＴｗｋ２の登録位置との差分に基づいて、追尾対象の顔の移動方向および移動量を算出する。ステップＳ１３９では、ステップＳ１３７で算出された移動方向および移動量と追尾ワークレジスタＲＧＳＴｗｋ２に登録された位置およびサイズとを用いて、追尾対象レジスタＲＧＳＴｔｒの登録内容を更新する。

ステップＳ１４１では、ステップＳ１３９で更新された追尾対象領域ＴＲと追尾対象レジスタＲＧＳＴｔｒに登録された移動方向および移動量とに基づいて、次回の追尾探索エリアＳＲを設定する。ステップＳ１４１の処理が完了すると、ステップＳ１２５に戻る。

ステップＳ１４３ではフラグＦＬＧｔｒｇｔを“０”に設定し、その後に追尾タスクは終了する。

ステップＳ１３１の色および輝度に基づいた追尾処理は、図２２〜２４に示すサブルーチンに従って実行される。

図２２を参照して、ステップＳ１５１では、追尾ワークレジスタＲＧＳＴｗｋ２を初期化すべく格納内容をクリアする。ステップＳ１５３では、追尾対象領域ＴＲに属する画像データを探索画像エリア３２ｄから読み出し、読み出された画像データの特徴量を算出する。ここでの特徴量の算出は、人物の顔画像であることが判別できる程度の特徴量の算出でよい。したがって、ステップＳ３１およびＳ２０１の特徴量の算出よりも、精度の低い算出でよい。

ステップＳ１５５では、追尾検出枠ＴＤのサイズの可変範囲を定義するべく、最大サイズＴＳＺｍａｘを“追尾対象領域ＴＲのサイズ×１．３”に設定し、最小サイズＴＳＺｍｉｎを“追尾対象領域ＴＲのサイズ×０．７”に設定する。

ステップＳ１５７では追尾検出枠ＴＤのサイズを“ＴＳＺｍａｘ”に設定し、ステップＳ１５９ではフラグＦＬＧｔｒｃを“０”に設定する。ステップＳ１６１では追尾検出枠ＴＤを探索エリアの探索開始位置に配置する。

ステップＳ１６３では、追尾検出枠ＴＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された追尾画像データの特徴量を算出する。ここでの特徴量の算出は、人物の顔画像であることが判別できる程度の特徴量の算出でよい。したがって、ステップＳ３１およびＳ２０１の特徴量の算出よりも、精度の低い算出でよい。

算出された特徴量は、ステップＳ１５３で算出された追尾対象領域ＴＲの特徴量とステップＳ１６５で照合される。

ステップＳ１６７ではフラグＦＬＧｔｒｃが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１７５に進む一方、判別結果がＮＯであればステップＳ１６９に進む。

ステップＳ１６９ではステップＳ１６５の照合の結果、閾値ＴＨ２を超える照合度が得られたか否かを判別し、判別結果がＮＯであればステップＳ１７９に進む一方、判別結果がＹＥＳであればステップＳ１７１およびＳ１７３の処理を経てステップＳ１７９に進む。

ステップＳ１７１ではフラグＦＬＧｔｒｃを“１”に設定し、ステップＳ１７３では、現時点の追尾検出枠ＴＤの位置およびサイズならびにステップＳ１６５で得られた照合度を追尾情報として追尾ワークレジスタＲＧＳＴｗｋ２に登録する。

ステップＳ１７５では、ステップＳ１６５の照合の結果、追尾ワークレジスタＲＧＳＴｗｋ２に登録された照合度を超える照合度が得られたか否かを判別し、判別結果がＮＯであればステップＳ１７９に進む一方、判別結果がＹＥＳであればステップＳ１７７の処理を経てステップＳ１７９に進む。

ステップＳ１７７では、現時点の追尾検出枠ＴＤの位置およびサイズならびにステップＳ１６５で得られた照合度を追尾情報として、追尾ワークレジスタＲＧＳＴｗｋ２を更新する。

ステップＳ１７９では追尾検出枠ＴＤが探索エリアの終了位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１８３に進む一方、判別結果がＮＯであれば、ステップＳ１８１で追尾検出枠ＴＤを既定量だけラスタ方向に移動させ、その後にステップＳ１６３に戻る。

ステップＳ１８３では追尾検出枠ＴＤのサイズが“ＴＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１８５に進む。

ステップＳ１８５では追尾検出枠ＴＤのサイズを“５”だけ縮小させ、ステップＳ１８７では追尾検出枠ＴＤを探索エリアの探索開始位置に配置する。ステップＳ１８７の処理が完了すると、ステップＳ１６３に戻る。

ステップＳ１３３の個人の識別に基づいた追尾処理は、図２５〜２６に示すサブルーチンに従って実行される。

図２５を参照して、ステップＳ１９１では追尾ワークレジスタＲＧＳＴｗｋ２を初期化すべく格納内容をクリアし、ステップＳ１９３では変数Ｍを“１”に設定する。ステップＳ１９５では変数Ｍｍａｘを探索エリア顔レジスタＲＧＳＴｓｒの登録数に設定し、Ｓ１９７ではフラグＦＬＧｔｒｃを“０”に設定する。

ステップＳ１９９では、探索エリア顔レジスタＲＧＳＴｓｒのＭ番目に登録された顔情報が示す領域に属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データを個人の識別に用いることが可能なサイズにリサイズする。

リサイズされた画像データからは、個人を識別するための特徴量がステップＳ２０１で算出される。ここで算出される特徴量は、特定の人物の顔画像を識別できる程度の特徴量が必要である。したがって、ステップＳ９３，Ｓ１５３，およびＳ１６３の特徴量の算出よりも、高い精度の算出が必要である。

算出された特徴量は、追尾対象レジスタＲＧＳＴｔｒに登録された追尾対象の顔の特徴量とステップＳ２０３で照合される。

ステップＳ２０５ではフラグＦＬＧｔｒｃが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ２１３に進む一方、判別結果がＮＯであればステップＳ２０７に進む。

ステップＳ２０７ではステップＳ２０３の照合の結果、閾値ＴＨ３を超える照合度が得られたか否かを判別し、判別結果がＮＯであればステップＳ２１７に進む一方、判別結果がＹＥＳであればステップＳ２０９およびＳ２１１の処理を経てステップＳ２１７に進む。

なお、ステップＳ２０７の判別は高い精度で実行される必要があるので、閾値ＴＨ３は、ステップＳ９９の閾値ＴＨ１およびステップＳ１６９の閾値ＴＨ２よりも高い値に設定される。

ステップＳ２０９ではフラグＦＬＧｔｒｃを“１”に設定し、ステップＳ２１１では、現時点の追尾検出枠ＴＤの位置およびサイズならびにステップＳ２０３で得られた照合度を追尾情報として追尾ワークレジスタＲＧＳＴｗｋ２に登録する。

ステップＳ２１３では、ステップＳ２０３の照合の結果、追尾ワークレジスタＲＧＳＴｗｋ２に登録された照合度を超える照合度が得られたか否かを判別し、判別結果がＮＯであればステップＳ２１７に進む一方、判別結果がＹＥＳであればステップＳ２１５の処理を経てステップＳ２１７に進む。

ステップＳ２１５では、現時点の追尾検出枠ＴＤの位置およびサイズならびにステップＳ２０３で得られた照合度を追尾情報として、追尾ワークレジスタＲＧＳＴｗｋ２を更新する。

ステップＳ２１７では変数Ｍをインクリメントし、変数ＭがＭｍａｘを超えたか否かをステップＳ２１９で判別する。判別結果がＮＯであればステップＳ１９９に戻る一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。

以上の説明から分かるように、イメージセンサ１６は、撮像面で捉えられたシーンを表す電子画像を繰り返し出力する。ＣＰＵ２６は、１または２以上の人物の顔画像をイメージセンサ１６から出力された電子画像から繰り返し探索し、探知された１または２以上の顔画像のうち特定の顔画像に相当する顔画像をイメージセンサ１６から出力された電子画像から追尾する処理を探索処理と並列して実行する。ＣＰＵ２６はまた、追尾された顔画像を参照して焦点距離を繰り返し調整し、探知された顔画像の数が増大するほど追尾精度を高める。

追尾の精度は、特定の顔画像の周辺に他の顔画像が存在しない場合に低い精度に設定される一方、特定の顔画像の周辺に他の顔画像が存在する場合に高い精度に設定される。これによって、追尾に掛かる負荷の抑制と追尾対象の誤検出の回避とが両立され、追尾性能の向上が図られる。

なお、この実施例では、人物の顔を検出して追尾するようにしたが、顔以外の人物の一部や人物以外の物体を検出および追尾するようにしてもよい。

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２７に示す要領でディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ２６によって実行される処理を、図１５〜１６に示す撮像タスク，図１７に示す動画記録タスク，図１８に示す顔検出タスク，および図２１に示す追尾タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ、タブレット型コンピュータ、携帯電話端末またはスマートフォンなどにも適用することができる。

１０ …ディジタルビデオカメラ
１６ …イメージセンサ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４２ …記録媒体

Claims (10)

1. 撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段、
   １または２以上の特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する第１探索手段、
   前記第１探索手段によって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する処理を前記第１探索手段の処理と並列して実行する第２探索手段、
   前記第２探索手段によって探知された特徴画像を参照して撮像条件を繰り返し調整する調整手段、および
   前記第１探索手段によって探知された特徴画像の数が増大するほど前記第２探索手段の探索精度を高める制御手段を備える、電子カメラ。
2. 前記制御手段は前記第１探索手段によって探知された特徴画像の数が２以上のときに前記第２探索手段の探索精度を高める、請求項１記載の電子カメラ。
3. 前記制御手段は特定範囲において前記第１探索手段によって探知された特徴画像の数に注目して処理を実行する、請求項１または２記載の電子カメラ。
4. 前記第２探索手段によって探知された特徴画像の位置に基づいて前記特定範囲を繰り返し設定する設定手段をさらに備える、請求項３記載の電子カメラ。
5. 前記特徴画像は人物を示す画像に相当する、請求項１ないし４のいずれかに記載の電子カメラ。
6. 前記撮像面の前方に設けられたフォーカスレンズをさらに備え、
   前記撮像条件は前記フォーカスレンズから前記撮像面までの距離に相当する、請求項１ないし５のいずれかに記載の電子カメラ。
7. 撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
   １または２以上の特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ、
   前記第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する処理を前記第１探索ステップの処理と並列して実行する第２探索ステップ、
   前記第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ、および
   前記第１探索ステップによって探知された特徴画像の数が増大するほど前記第２探索ステップの探索精度を高める制御ステップを実行させるための、撮像制御プログラム。
8. 撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
   １または２以上の特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ、
   前記第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する処理を前記第１探索ステップの処理と並列して実行する第２探索ステップ、
   前記第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ、および
   前記第１探索ステップによって探知された特徴画像の数が増大するほど前記第２探索ステップの探索精度を高める制御ステップを備える、撮像制御方法。
9. 撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段、および
   メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
   １または２以上の特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ、
   前記第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する処理を前記第１探索ステップの処理と並列して実行する第２探索ステップ、
   前記第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ、および
   前記第１探索ステップによって探知された特徴画像の数が増大するほど前記第２探索ステップの探索精度を高める制御ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
10. 撮像面で捉えられたシーンを表す電子画像を繰り返し出力する撮像手段、
    外部制御プログラムを受信する受信手段、および
    前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
    前記外部制御プログラムは、
    １または２以上の特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する第１探索ステップ、
    前記第１探索ステップによって探知された１または２以上の特徴画像のうち特定の特徴画像に相当する特徴画像を前記撮像手段から出力された電子画像から繰り返し探索する処理を前記第１探索ステップの処理と並列して実行する第２探索ステップ、
    前記第２探索ステップによって探知された特徴画像を参照して撮像条件を繰り返し調整する調整ステップ、および
    前記第１探索ステップによって探知された特徴画像の数が増大するほど前記第２探索ステップの探索精度を高める制御ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。

Images