JP2010011441A - 撮像装置及び画像再生装置 - Google Patents

Abstract

【課題】追尾対象が切り出し画像内から出てしまうことを防ぐ。
【解決手段】撮像装置は、撮像素子の出力信号に基づき撮影画像列上における追尾対象の位置を順次検出することによって前記撮影画像列上で前記追尾対象を追尾する追尾処理部と、追尾対象を含む切り出し領域を撮影画像内に設定し、切り出し領域内の画像を切り出し画像として抽出する切り出し処理部と、撮像素子の出力信号に基づいて追尾処理部による追尾信頼度を評価する追尾信頼度評価部とを備える。切り出し処理部は、評価された追尾信頼度が比較的高い場合は、切り出し領域の大きさを比較的小さくし、評価された追尾信頼度が比較的低い場合は、切り出し領域の大きさを比較的大きくする。
【選択図】図９

Description

本発明は、動画像の撮影が可能な撮像装置に関する。また、本発明は、動画像を再生する画像再生装置に関する。

動物体を抽出及び追尾する機能は、監視カメラを用いたシステムにおいて実現されている。この種のシステムにおいては、監視カメラより得た画像中の指定エリア内から動物体（不審者）が検出された場合に警報が出力される。また、監視員が確認しやすいように、追尾結果を表示する機能を持ったシステムも実用化されている。

画像を用いた追尾処理は、追尾パターンの設定後に画像内におけるパターンの位置を探索するパターンマッチング法や、オプティカルフローに基づいて動物体の位置を検出する方法、色などの被写体特徴を追跡する方法などを用いて実現される。

画像処理を用いた動物体の抽出及び追尾技術は、監視カメラでの利用やロボット視覚実現を目的に研究されてきたが、近年、一般消費者向けのデジタルカメラにおいても利用され始めている。例えば、指定した被写体を追尾し、切り出し処理によって注目した被写体に適した構図の画像を撮影画像から切り出す方法が開示されている（下記非特許文献１参照）。

主要被写体を追尾対象とする追尾処理を行い、追尾対象の像を含む画像領域を撮影画像から切り出すようにすれば、追尾対象に対して良好な構図を有する動画像をユーザに提供することが可能となる。しかし、画像処理による追尾は常に成功する訳ではなく、様々な要因によって追尾の容易度が変化し、カメラが追尾対象を見失うことも少なくない。例えば、追尾対象の色情報に基づいて追尾を行う場合において、背景の色と追尾対象の色が似通っていると、追尾の容易度が低下して、カメラが追尾対象を見失うこともある。追尾の容易度が低下すると、当然、追尾の信頼度も低下する。

図３０（ａ）に示す如く、追尾の信頼度又は容易度が高い状態では、追尾対象９００に注目した切り出し領域９０２を撮影画像９０１内に設定し、切り出し領域９０２内の画像を切り出し画像として生成及び記録すればよい。しかし、追尾の信頼度又は容易度が低下した状態において、それらが高い場合と同様の切り出し処理を行うと、図３０（ｂ）に示す如く、撮影画像９１１内に設定された切り出し領域９１２中に追尾対象９１０が存在していないといったことも生じうる。図３０（ｂ）は、色情報に基づく追尾処理の実行時において、追尾対象の色に類似した色を有する物体が背景に存在しており、その物体を追尾対象であると誤って認識した場合を想定している。

カメラの撮影領域内に追尾対象である主要被写体が収まっているにも拘らず、カメラに記録された切り出し画像内に該主要被写体の像が収まっていないという事態は、極めて好ましくない事態であり、そのような事態の発生は極力回避されるべきである。

追尾対象に着目した切り出し処理利用時（即ち、電子ズーム利用時）の課題を上述したが、追尾対象に着目して光学ズームを行う場合にも同様の問題が生じうる。また、撮影時に行うべき処理を画像再生時に行おうとした場合にも同様の問題が生じうる。また更に、追尾対象に着目したオートフォーカス制御等を実現しようとした場合にも同様の問題が生じうる。

尚、電子ズーム及び／又は光学ズームを利用して、追尾対象に注目した画像を取得しようとする技術が様々に提案されているが（例えば、下記特許文献１及び２参照）、従来の技術では、追尾の信頼度又は容易度に対する考慮がなされていないのが実情である。また、追尾対象の画像中の移動に合わせてオートフォーカス制御に用いる領域を移動させる技術も提案されているが（例えば、下記特許文献２参照）、この技術においても、追尾の信頼度又は容易度に対する考慮がなされていない。

特開２００６−１９８５２号公報 特許第３１６８４９２号公報

カシオ、エクシリム総合カタログ、"オートフレーミング機能（ページ４の右下）"、［ｏｎｌｉｎｅ］、平成１９年１１月、［平成２０年１月２５日検索］、インターネット＜URL：http://ftp.casio.co.jp/pub/exilim/jp/exilim.pdf＞

そこで本発明は、追尾処理を利用した制御（例えば切り出し制御）であって且つ追尾の信頼度又は容易度に適応した制御を行うことのできる撮像装置及び画像再生装置を提供することを目的とする。

本発明に係る第１の撮像装置は、順次撮影によって撮影画像列を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づき前記撮影画像列上における追尾対象の位置を順次検出することによって、前記撮影画像列上で前記追尾対象を追尾する追尾処理手段と、撮影画像ごとに、検出された前記位置に基づいて切り出し領域を前記撮影画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する或いは前記切り出し領域の位置及び大きさを表す切り出し情報を出力する切り出し処理手段と、前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備え、前記切り出し処理手段は、評価された前記度合いに応じて前記切り出し領域の大きさを変化させることを特徴とする。

これにより、例えば、追尾の信頼度又は容易度が比較的低い時には、切り出し領域の大きさを比較的大きくするといったことも可能となる。結果、追尾対象が切り出し領域内に含まれなくなるといった事態の発生を回避することが可能となる。

即ち具体的には例えば、前記切り出し処理手段は、前記度合いが比較的高いと評価されたときにおける前記切り出し領域の大きさを、前記度合いが比較的低いと評価されたときにおける前記切り出し領域の大きさよりも小さくする。

これにより、追尾対象にとって良好な構図を有する動画像の取得を可能としつつ、追尾の信頼度又は容易度が比較的低い時に、追尾対象が切り出し領域内に含まれなくなるといった事態の発生を回避することが可能となる。

また具体的には例えば、前記切り出し処理手段は、評価された前記度合いと撮影画像上の前記追尾対象の大きさに基づいて、前記切り出し領域の大きさを設定する。

本発明に係る第２の撮像装置は、順次撮影によって撮影画像列を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づき前記撮影画像列上における追尾対象の位置を順次検出することによって、前記撮影画像列上で前記追尾対象を追尾する追尾処理手段と、撮影における画角を調整する画角調整手段と、前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備え、前記画角調整手段は、評価された前記度合いに応じて前記画角を変化させることを特徴とする。

これにより、例えば、追尾の信頼度又は容易度が比較的低い時には、画角を比較的大きくするといったことも可能となる。結果、追尾対象が撮影領域内に収まらなくなるといった事態の発生を回避することが可能となる。

即ち具体的には例えば、前記画角調整手段は、前記度合いが比較的高いと評価されたときに撮影画像上の前記追尾対象の大きさが比較的大きくなるように、且つ、前記度合いが比較的低いと評価されたときに撮影画像上の前記追尾対象の大きさが比較的小さくなるように、前記度合いに応じて前記画角を調整する。

これにより、追尾対象にとって良好な構図を有する動画像の取得を可能としつつ、追尾の信頼度又は容易度が比較的低い時に、追尾対象が撮影領域内に収まらなくなるといった事態の発生を回避することが可能となる。

また具体的には例えば、前記画角調整手段は、評価された前記度合いと撮影画像上の前記追尾対象の大きさに基づいて、前記画角を設定する。

また具体的には例えば、前記第１又は第２の撮像装置において、前記追尾評価手段は、前記撮影画像列を形成する撮影画像を被演算画像として受けて、前記被演算画像の全体領域を前記追尾対象が表れる追尾対象領域と前記追尾対象領域以外の背景領域に切り分け、前記追尾対象領域における画像特徴と前記背景領域における画像特徴との対比から前記度合いを評価する。

本発明に係る第１の画像再生装置は、撮影対象を次々と撮影することにより得られた画像信号を記録手段から読み出すことによって、前記画像信号に基づく入力画像列を取得する画像取得手段と、前記入力画像列の画像信号に基づき前記入力画像列上における追尾対象の位置を順次検出することによって、前記入力画像列上で前記追尾対象を追尾する追尾処理手段と、入力画像ごとに、検出された前記位置に基づいて切り出し領域を前記入力画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理手段と、前記入力画像列の画像信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備えて、切り出し画像列の画像信号を表示手段又は外部に出力する画像再生装置であって、前記切り出し処理手段は、評価された前記度合いに応じて前記切り出し領域の大きさを変化させることを特徴とする。

これにより、例えば、追尾の信頼度又は容易度が比較的低い時には、切り出し領域の大きさを比較的大きくするといったことも可能となる。結果、追尾対象が切り出し領域内に含まれなくなるといった事態の発生を回避することが可能となる。

本発明に係る第３の撮像装置は、順次撮影によって撮影画像列を表す信号を出力する撮像素子と、前記撮像素子の出力信号に基づき前記撮影画像列上における追尾対象の位置を順次検出することによって、前記撮影画像列上で前記追尾対象を追尾する追尾処理手段と、検出された前記位置に基づいて評価値収集領域を各撮影画像内に設定する領域設定手段と、各撮影画像における前記評価値収集領域内の画像信号に基づいて前記撮影画像列の取得条件を制御する取得条件制御手段と、前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備え、前記領域設定手段は、評価された前記度合いに応じて前記評価値収集領域の大きさを変化させることを特徴とする。

これにより、例えば、追尾の信頼度又は容易度が比較的低い時には、評価値収集領域の大きさを比較的大きくするといったことも可能となる。結果、撮影画像列の取得条件が追尾対象とは全く関係のない物体に対して最適化される、といったことを回避することが可能となる。

本発明に係る第２の画像再生装置は、撮影対象を次々と撮影することにより得られた画像信号を記録手段から読み出すことによって、前記画像信号に基づく入力画像列を取得する画像取得手段と、前記入力画像列の画像信号に基づき前記入力画像列上における追尾対象の位置を順次検出することによって、前記入力画像列上で前記追尾対象を追尾する追尾処理手段と、検出された前記位置に基づいて評価値収集領域を各入力画像内に設定する領域設定手段と、各入力画像における前記評価値収集領域内の画像信号に基づいて前記入力画像列を加工した出力画像列を生成する出力画像生成手段と、前記入力画像列の画像信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備えて、前記出力画像列の画像信号を表示手段又は外部に出力する画像再生装置であって、前記領域設定手段は、評価された前記度合いに応じて前記評価値収集領域の大きさを変化させることを特徴とする。

これにより、例えば、追尾の信頼度又は容易度が比較的低い時には、評価値収集領域の大きさを比較的大きくするといったことも可能となる。結果、再生画像の画質が追尾対象とは全く関係のない物体に対して最適化される、といったことを回避することが可能となる。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像又は前記入力画像上の追尾対象の大きさに基づいて前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像又は前記入力画像上の追尾対象の位置に基づいて前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像列又は前記入力画像列上における追尾対象の動きに基づいて前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像列又は前記入力画像列上における追尾対象の画像特徴の変化量に基づいて前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像又は前記入力画像上における前記追尾対象の画像特徴と前記追尾対象の周辺の画像特徴との対比から前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像又は前記入力画像上における前記追尾対象の周辺の輝度に基づいて前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記追尾対象に対する光源の色温度の推定結果に基づいて前記度合いを評価してもよい。

また例えば、上記の撮像装置又は画像再生装置において、前記追尾評価手段は、前記撮影画像又は前記入力画像に含まれるノイズの大きさに基づいて前記度合いを評価してもよい。

本発明によれば、追尾処理を利用した制御（例えば切り出し制御）であって且つ追尾の信頼度又は容易度に適応した制御を行うことのできる撮像装置及び画像再生装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の第１実施形態に係る撮像装置の全体ブロック図である。 図１における撮像部の内部構成図である。 図１の撮像装置の外観斜視図である。 本発明の第１実施形態に係り、撮像装置内に設けられる、被写体追尾機能に特に関与する部位のブロック図である。 本発明の第１実施形態に係り、撮影モードにおける撮像装置の動作の流れを表すフローチャートである。 本発明の第１実施形態に係り、追尾処理において参照される初期設定用フレーム画像の例を示す図である。 本発明の第１実施形態に係り、フレーム画像としての被演算画像が複数の小ブロックに分割される様子を示す図である。 図４の追尾信頼度評価部による追尾信頼度の評価方法を説明するための図であって、フレーム画像としての被演算画像に、追尾対象の中心などを重畳した図である。 本発明の第１実施形態に係り、追尾信頼度に応じて切り出し領域のサイズが可変設定される様子を示す図である。 本発明の第１実施形態に係り、切り出し領域の設定方法手順を表すフローチャートである。 本発明の第１実施形態に係り、画像をＸＹ座標面上に示したものである。 本発明の第１実施形態に係り、フレーム画像中における追尾対象領域を示す図（ａ）と、フレーム画像中における切り出し領域を示す図（ｂ）である。 本発明の第１実施形態に係り、暫定的に設定された切り出し領域がフレーム画像からはみ出している様子を示す図である。 本発明の第１実施形態に係り、時系列で並ぶフレーム画像列及びそれらから抽出される切り出し画像列を示す図である。 本発明の第２実施形態に係り、撮像装置内に設けられる、被写体追尾機能に特に関与する部位のブロック図である。 本発明の第２実施形態に係り、撮影モードにおける撮像装置の動作の流れを表すフローチャートである。 本発明の第２実施形態に係り、ズームレンズ位置と画角と光学ズーム倍率との関係を示す図である。 本発明の第２実施形態に係り、追尾信頼度に応じて画角（撮影画角）が可変設定される様子を示す図である。 本発明の第３実施形態に係る撮像装置の一部ブロック図である。 本発明の第３実施形態に係り、撮像装置に設けられるＡＦ評価値算出部の内部ブロック図である。 本発明の第３実施形態に係り、フレーム画像に設定されたＡＦ評価領域内に複数の小ブロックが属している様子を示す図である。 本発明の第３実施形態に係り、撮影モードにおける撮像装置の動作の流れを表すフローチャートである。 本発明の第４実施形態に係る撮像装置の一部ブロック図である。 本発明の第４実施形態に係り、画像再生動作時に実行される処理の手順を表すフローチャートである。 本発明の第５実施形態に係り、２枚のフレーム画像と両画像間のオプティカルフローを示す図である。 本発明の第６実施形態に係り、被演算画像上の画像中心と追尾対象の中心とを表す図である。 本発明の第６実施形態に係り、時系列で並ぶフレーム画像列とフレーム画像間の動きベクトルを示す図である。 本発明の第６実施形態に係り、追尾対象の周辺輝度レベルと信頼度評価値との関係を示す図である。 本発明の第６実施形態に係り、追尾対象フレーム画像ごとに推定された色温度の分布を示す図である。 従来技術に係り、追尾の信頼度又は容易度が比較的高い時に想定される切り出し領域の設定例と、それが比較的低い時に想定される切り出し領域の設定例と、を示す図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。

図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。露光時間の長さは、主制御部１３によって制御される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部として機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影された画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７には、静止画像の撮影及び記録を指示するためのシャッタボタン（不図示）や、動画像の撮影及び記録を指示するための録画ボタン（不図示）などが備えられる。

撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１６に記録された静止画像又は動画像を表示部１５上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から撮影画像列が取得される。この撮影画像列を形成する各画像を「フレーム画像」と呼ぶ。画像列（例えば、撮影画像列）とは、時系列で並ぶ複数の画像を意味する。フレーム画像列を、動画像として表示部１５の表示画面上に表示することができる。

図３に、撮影者側から見た、撮像装置１の外観斜視図を示す。図３には、被写体としての人物も示されている。撮影者は、表示部１５の表示画面上に表示された被写体の様子を確認することで、撮像装置１の撮影範囲を確認することができる。

撮像装置１は、画像処理を用いた被写体追尾機能を備えており、この被写体追尾機能の実現時に特徴的な動作を行う。操作部１７に対して所定操作を施すことで、被写体追尾機能が有効となる。以下に示される動作は、特に記述なき限り、この被写体追尾機能が有効となっている時における撮像装置１の動作である（後述の他の実施形態についても同様）。尚、画像を表すデータを画像データと呼ぶ。或るフレーム画像の画像データは、そのフレーム画像の光学像を表す、ＡＦＥ１２の出力信号から生成される。画像データを画像信号と読み替えることもできる。また、画像データを表す信号と映像信号と呼ぶこともあるが、画像データと映像信号は等価なものである。

図４は、撮像装置１内の、被写体追尾機能に特に関与する部位のブロック図である。図４において符号５１〜５４によって参照される各部位は、図１の主制御部１３内に設けられる。フレーム画像列を形成する各フレーム画像の画像データは、順次、追尾処理部５１、追尾信頼度評価部５２及び切り出し処理部５３に与えられる。

追尾処理部５１は、フレーム画像列の画像データに基づき各フレーム画像内における特定被写体の位置を逐次検出していくことにより、フレーム画像列における特定被写体の位置を追尾する。追尾されるべき特定被写体を、以下、「追尾対象」という。追尾対象が人物である場合を考える。

追尾処理部５１は、顔検出部（不図示）としての機能をも備え、フレーム画像の画像データに基づいてフレーム画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。これを実現する処理を顔検出処理という。画像中に含まれる顔を検出する手法として様々な手法が知られており、追尾処理部５１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のようにフレーム画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

追尾信頼度評価部５２は、フレーム画像列の画像データに基づき、追尾処理部５１による追尾の信頼度（追尾の信頼性の度合い）又は追尾の容易度（追尾の容易性の度合い）を評価する。追尾の信頼度と追尾の容易度は、同様の意義又は類似の意義を有している。厳密には、追尾の信頼度は、過去に実行した追尾がどの程度信頼できるものであるかを表すものと解釈され、追尾の容易度は、これから実行しようとする追尾がどの程度容易であるかを表すものと解釈される。追尾の容易度が高ければ追尾の信頼度も高くなり、追尾の容易度が低ければ追尾の信頼度も低くなる。以下の説明では、記述の便宜上、「追尾処理部５１が評価するものは追尾の信頼度である」と考えるが、追尾の信頼度を追尾の容易度と読み替えることも可能である。また、追尾の信頼度と追尾信頼度は同じものを指す。

切り出し処理部５３は、追尾処理部５１による追尾処理の結果及び追尾信頼度評価部５２による追尾信頼度の評価結果に基づいて、追尾対象に対応する画像データが存在する追尾対象領域を含む切り出し領域をフレーム画像内に設定し、その切り出し領域内の画像をフレーム画像から切り出す。切り出された、切り出し領域内の画像を「切り出し画像」と呼ぶ。切り出し領域はフレーム画像の全体領域よりも小さく、切り出し画像はフレーム画像の一部画像に相当する。従って、切り出し画像の画像サイズ（水平方向及び垂直方向の画素数）は、フレーム画像のそれよりも小さい。切り出し処理部５３にて生成される切り出し画像の画像データは、順次、解像度変換部５４に与えられる。

解像度変換部５４は、切り出し画像の解像度を向上させるための画像処理（以下、解像度向上処理という）を実行する。例えば、線形補間等の補間処理によって或いは超解像処理によって切り出し画像の解像度を向上させる。解像度向上後の切り出し画像を、特に出力画像とも呼ぶ。解像度変換部５４は、出力画像の画像データを生成及び出力する。

［撮影時の動作］
図５を参照して、被写体追尾機能の実現時における撮像装置１の動作について、より詳細に説明する。図５は、撮影モードにおける、撮像装置１の動作の流れを表すフローチャートである。撮影モードにおいて、被写体追尾機能が有効となると、図４の追尾処理部５１は、順次入力されるフレーム画像に対して顔検出処理を行う。順次入力されるフレーム画像は、表示部１５に更新表示される。主制御部１３は、現在のフレーム画像から顔が検出されたか否かを確認する一方で（ステップＳ１１）、所定の追尾開始指示操作が操作部１７に対してなされているかを確認し（ステップＳ１２）、顔が検出されており且つ所定の追尾開始指示操作が操作部１７に対してなされている場合に、ステップＳ１３に移行してステップＳ１３の処理を実行するようにする。

ステップＳ１３において、追尾処理部５１は、ステップＳ１３に至る直前に得られた、顔が検出されたフレーム画像を初期設定用フレーム画像として捉え、初期設定用フレーム画像の画像データに基づいて追尾対象及び追尾色を設定する。

追尾対象及び追尾色の設定方法を、図６を参照して説明する。図６の画像２０１は初期設定用フレーム画像の例を表している。図６において、破線矩形領域２１１は、顔検出処理によって初期設定用フレーム画像２０１から抽出された顔領域である。追尾処理部５１は、顔領域２１１に含まれる顔を有する人物を、追尾対象として設定する。顔領域２１１の抽出後、追尾処理部５１は、その顔領域２１１に対応する人物の胴体部分を含む領域である胴体領域２１２を検出する。胴体領域２１２は、顔領域２１１の下方側（眉間から口に向かう方向側）に存在する矩形領域とされる。初期設定用フレーム画像における、胴体領域２１２の位置及び大きさは、顔領域２１１の位置及び大きさに依存して決定される。

その後、追尾処理部５１は、胴体領域２１２内の画像の画像データに基づいて胴体領域２１２内の色を特定し、特定した色を追尾色として設定する。例えば、胴体領域２１２内の画像を形成する各画素の色信号（例えば、ＲＧＢ信号）に基づいて胴体領域２１２内の画像の色ヒストグラムを生成する。そして、その色ヒストグラムに基づいて胴体領域２１２内の画像における支配色又は最頻色を求め、その求めた色を追尾色として設定する。或る画像の支配色とは、その画像の画像領域の大部分を占めている色を指し、或る画像の最頻色とは、その画像の色ヒストグラムにおいて最も高い度数を有している色を指す（支配色と最頻色は同じでありうる）。或いは、胴体領域２１２内の画像を形成する各画素の色信号（例えば、ＲＧＢ信号）を平均化することにより胴体領域２１２内の画像の平均的な色を求めて、その平均的な色を追尾色として設定するようにしてもよい。

尚、ステップＳ１３において、追尾対象及び追尾色を、操作部１７に対する手動操作によって設定するようにしても良い。例えば、ユーザが、操作部１７に対する操作を介して追尾対象となるべき人物のフレーム画像上の位置を指定することによって追尾対象が設定され、操作部１７に対する操作を介して追尾色を指定することによって追尾色が設定される。

ステップＳ１３にて追尾対象及び追尾色が設定された後、ステップＳ２１〜Ｓ２５からなるループ処理が繰り返し実行されるが、このループ処理の中で、追尾処理部５１は、追尾対象及び追尾色が設定された後に得られるフレーム画像列に対し、追尾処理を実行する。この追尾処理が施されるべきフレーム画像列を形成する各フレーム画像を、特に追尾対象フレーム画像という。追尾処理部５１は、追尾対象フレーム画像列の画像データに基づき、各追尾対象フレーム画像における追尾対象の位置及び大きさを検出する。

追尾処理部５１は、追尾対象が有する色情報に基づいて追尾処理を行う。色情報に基づく追尾処理の方法として、特開平５−２８４４１１号公報、特開２０００−４８２１１号公報、特開２００１−１６９１６９号公報などに記載の方法を用いることができる。今の例において、追尾対象が有する色情報は、上述の如く設定した追尾色によって表現される。このため、追尾処理部５１は、追尾対象フレーム画像の色信号に基づいて、追尾色との類似性が高い色を有する領域を追尾対象フレーム画像から抽出する。ここで抽出された領域は、追尾対象フレーム画像内における追尾対象の胴体領域とみなされる。

より具体的には例えば、着目した追尾対象フレーム画像内に、追尾対象の胴体領域の大きさと同程度の大きさを有する追尾枠を設定して、追尾枠内における画像の色と追尾色との類似性評価を追尾枠の位置を探索範囲内で順次変更しながら実行し、最大の類似性が得られた追尾枠の位置に追尾対象の胴体領域が存在すると判断する。今回の追尾対象フレーム画像に対する探索範囲は、前回の追尾対象フレーム画像における追尾対象の位置を基準にして設定される。通常、その探索範囲は、前回の追尾対象フレーム画像における追尾対象の位置を中心とする矩形領域とされ、探索範囲のサイズ（画像サイズ）は、フレーム画像の全体領域のサイズよりも小さい。

追尾処理部５１は、次々と入力される追尾対象フレーム画像に対して上述の色情報に基づく追尾処理を実行することにより、各追尾対象フレーム画像における追尾対象の位置を検出する。例えば、追尾対象の位置は、その追尾対象の胴体領域の中心座標値によって表現される。

また、追尾対象フレーム画像上における追尾対象の大きさは、追尾対象と撮像装置１との間における、実空間上の距離の変化などに起因して変化する。このため、追尾対象フレーム画像上における追尾対象の大きさに応じて上記の追尾枠の大きさを適切に変更していく必要があるが、この変更は、公知の追尾アルゴリズムで用いられる被写体サイズ検出方法を用いることによって実現される。例えば、追尾対象フレーム画像において、追尾対象の胴体が存在すると予想される点から十分に離れた点に背景が現れていると考え、追尾処理部５１は、両点の画像特徴から両点間の各位置の画素が背景及び追尾対象の何れに属するかを分類していく。画像特徴は、輝度情報及び色情報を含む。この分類によって追尾対象の輪郭が推定される。そして、その輪郭から追尾対象の大きさを推定し、この推定された大きさに応じて追尾枠の大きさを設定する。

追尾枠の大きさを設定するということは、追尾対象フレーム画像における追尾対象の胴体領域の大きさを検出するということと同義である。また、追尾対象の大きさは、胴体領域の大きさに比例するのであるから、胴体領域の大きさの検出と同時に追尾対象の大きさも特定される。このため、追尾処理部５１は、各追尾対象フレーム画像における追尾対象の位置及び大きさを検出することとなる。検出した位置及び大きさを表す情報（換言すれば、追尾対象領域の位置及び大きさを表す情報）を含む追尾結果情報は、追尾信頼度評価部５２及び切り出し処理部５３に伝達される（図４参照）。

追尾処理部５１は、追尾対象の位置及び大きさの検出結果に基づいて、追尾対象の全体像が表れる画像領域を設定することができる。フレーム画像の全体領域の内、追尾対象の全体像が表れる画像領域（追尾対象を表す画像データが存在する領域）を追尾対象領域と呼び、追尾対象が表れていない画像領域（追尾対象を表す画像データが存在していない領域）を背景領域と呼ぶ。追尾対象領域は、追尾対象の全体像を含みつつ、なるだけ小さくなるように設定される。

尚、追尾対象フレーム画像における追尾対象の大きさ（主要被写体の大きさ）を推定する方法として、上述した方法と異なる他の任意の方法（例えば、特開２００４−９４６８０号公報に記載された方法や特開平９−１８９９３４号公報に記載された方法）を採用することも可能である。

図５のステップＳ２１〜Ｓ２５にて実行される各処理について説明する。ステップＳ１３にて追尾対象及び追尾色が設定された後、まず、ステップＳ２１の処理が実行される。

ステップＳ２１において、現時点におけるフレーム画像１枚分のＡＦＥ１２の出力信号から現在のフレーム画像が取得される。ここで取得されるフレーム画像は、上述したように、追尾対象フレーム画像である。続くステップＳ２２において、追尾処理部５１は、ステップＳ２１にて得られた現在のフレーム画像における追尾対象の位置及び大きさを上述の追尾処理によって検出すると共に、検出した位置及び大きさを表す情報を含む追尾結果情報を生成し、追尾結果情報を追尾信頼度評価部５２及び切り出し処理部５３に出力する。

ステップＳ２２に続くステップＳ２３において、追尾信頼度評価部５２は、現時点における追尾信頼度を評価する、換言すれば、ステップＳ２１のフレーム画像に対して検出された追尾対象の位置（及び大きさ）の信頼度を評価する。

この評価方法を例示する。評価された信頼度を表す評価値を信頼度評価値と呼び、それをＥＶ_Rにて表す。信頼度評価値を、追尾対象フレーム画像ごとに算出することが可能である。ＥＶ_Rは０以上１００以下の値をとり、追尾信頼度が高いと評価されるほど信頼度評価値ＥＶ_Rは増大する。

追尾信頼度評価部５２は、ステップＳ２１で取得される追尾対象フレーム画像を被演算画像として取り扱う。そして、図７に示す如く、被演算画像の全体領域を水平方向及び垂直方向に複数に分割することにより被演算画像内に複数の小ブロックを設定する。今、水平方向及ぶ垂直方向の分割数を夫々Ｍ及びＮとする（Ｍ及びＮは２以上の整数）。各小ブロックは、二次元配列された複数の画素から形成される。また、被演算画像内の小ブロックの水平位置及び垂直位置を表す記号としてｍ及びｎを導入する（ｍは１≦ｍ≦Ｍを満たす整数値、且つ、ｎは１≦ｎ≦Ｎを満たす整数値）。ｍが大きくなるほど、その水平位置は右方向に向かい、ｎが大きくなるほど、その垂直位置は下方向に向かうものとする。水平位置がｍであって垂直位置がｎである小ブロックを小ブロック［ｍ，ｎ］と表記する。

追尾信頼度評価部５２は、追尾結果情報に基づいて被演算画像における追尾対象の胴体領域の中心を認識し、その中心の位置が、何れの小ブロックに属するかを特定する。図８の点２５０は、この中心を表している。今、その中心２５０が小ブロック［ｍ_O，ｎ_O］に属していたとする（ｍ_Oは１≦ｍ≦Ｍを満たす整数値、且つ、ｎ_Oは１≦ｎ≦Ｎを満たす整数値）。また、上述の被写体サイズ検出方法を用いることにより、各小ブロックを、追跡対象の画像データが表れる小ブロック又は背景の画像データが表れる小ブロックに分類する。前者の小ブロックを被写体ブロックと呼び、後者の小ブロックを背景ブロックと呼ぶ。図８は、中心２５０の周辺に現れる追跡対象の色が背景の色と異なることをイメージ化して示している。

被写体ブロックの全てを合成した領域を追尾対象領域と捉えることができ、背景ブロックの全てを合成した領域を背景領域と捉えることができる。

追尾信頼度評価部５２は、設定された追尾色と背景ブロック内の画像の色との差を表す色差評価値を、背景ブロック毎に算出する。背景ブロックはＱ個存在するものとし、第１〜第Ｑの背景ブロックに対して算出された色差評価値を夫々Ｃ_DIS［１］〜Ｃ_DIS［Ｑ］にて表す（Ｑは、不等式「２≦Ｑ≦（Ｍ×Ｎ）−１」を満たす整数）。例えば、色差評価値Ｃ_DIS［１］を算出する際には、第１の背景ブロックに属する各画素の色信号（例えば、ＲＧＢ信号）を平均化することにより第１の背景ブロック内の画像の平均的な色を求め、その平均的な色の、ＲＧＢ色空間上における位置を検出する。一方で、追跡対象に対して設定された追尾色の、ＲＧＢ色空間上における位置も検出し、ＲＧＢ色空間上における両位置間の距離を色差評価値Ｃ_DIS［１］として算出する。これにより、対比される色の相違度が増大すれば色差評価値Ｃ_DIS［１］は増大することになる。また、色差評価値Ｃ_DIS［１］が取りうる値の範囲が０以上１以下となるように、ＲＧＢ色空間は正規化されているものとする。他の色差評価値Ｃ_DIS［２］〜Ｃ_DIS［Ｑ］も同様にして算出される。尚、色差評価値を求めるための色空間は、ＲＧＢ色空間以外（例えば、ＨＳＶ色空間）であってもよい。或る着目した画像領域に関し、その画像領域内の色の、色空間上の位置は、その画像領域内の画像の特徴を表す量（画像特徴量）の一種であることは言うまでもない。

更に、追尾信頼度評価部５２は、中心２５０と背景ブロックとの、被演算画像上における空間的な位置の差を表す位置差評価値を、背景ブロック毎に算出する。第１〜第Ｑの背景ブロックに対して算出された位置差評価値を夫々Ｐ_DIS［１］〜Ｐ_DIS［Ｑ］にて表す。或る背景ブロックに対する位置差評価値は、中心２５０と、その背景ブロックの４頂点の内の、中心２５０に対する最近傍頂点と、の距離とされる。小ブロック［１，１］が第１の背景ブロックであると共に１＜ｍ_O且つ１＜ｎ_Oであり、図８に示す如く、小ブロック［１，１］の４頂点の内、頂点２５１が中心２５０に最も近いとすれば、位置差評価値Ｐ_DIS［１］は、中心２５０と頂点２５１との、被演算画像上における空間的な距離とされる。位置差評価値Ｐ_DIS［１］が取りうる値の範囲が０以上１以下となるように、被演算画像の空間領域は正規化されているものとする。他の位置差評価値Ｐ_DIS［２］〜Ｐ_DIS［Ｑ］も同様にして算出される。

上述の如く求めた色差評価値及び位置差評価値に基づき、追尾信頼度評価部５２は、下記式（１）に従って、着目した被演算画像に対する統合距離ＣＰ_DISを算出する。そして、その統合距離ＣＰ_DISを用い、下記式（２）に従って、着目した被演算画像に対する信頼度評価値ＥＶ_Rを算出する。即ち、「ＣＰ_DIS＞１００」の場合は「ＥＶ_R＝０」とされ、「ＣＰ_DIS≦１００」の場合は「ＥＶ_R＝１００−ＣＰ_DIS」とされる。この算出方法から理解されるように、追尾対象の近くに追尾色と同色又は類似色の背景が存在すれば、信頼度評価値ＥＶ_Rは低くなる。

図５のステップＳ２３にて追尾信頼度が評価された後、ステップＳ２４の処理が実行される。ステップＳ２４において、切り出し処理部５３は、追尾処理部５１から出力される最新の追尾結果情報及び追尾信頼度評価部５２によって評価された最新の追尾信頼度に基づいて、ステップＳ２１にて得られたフレーム画像の全体領域内に切り出し領域を設定し、そのフレーム画像から、その切り出し領域内の画像を切り出し画像として切り出す。

この際、フレーム画像上における追尾対象の大きさが一定であるとすると、図９（ａ）〜（ｃ）に示す如く、追尾信頼度が高くなるに従って切り出し領域のサイズが小さくなるように切り出し領域を設定する。図９（ａ）、（ｂ）及び（ｃ）は、追尾信頼度が夫々第１、第２、第３信頼度である場合における切り出し領域の設定の様子を示している。第１〜第３信頼度の内、第１信頼度が最も信頼度が高く、第３信頼度が最も信頼度が低いとする。図９（ａ）〜（ｃ）において、実線四角枠内の画像２７１〜２７３は切り出し領域が設定されるべきフレーム画像を示しており、破線四角枠内の領域２８１〜２８３は切り出し領域を示している。各切り出し領域内の人物は、追尾対象である。追尾対象が有する追尾色の類似色が、追尾対象の近辺に位置することによって、フレーム画像２７２及び２７３に対する追尾信頼度は、フレーム画像２７１のそれよりも低くなっている。

フレーム画像２７１に対して設定される切り出し領域２８１のサイズは、フレーム画像２７２に対して設定される切り出し領域２８２のサイズよりも小さく、且つ、切り出し領域２８２のサイズは、フレーム画像２７３に対して設定される切り出し領域２８３のサイズよりも小さい。切り出し領域のサイズは、切り出し領域の大きさを表す切り出し領域の画像サイズであり、切り出し領域内に属する画素数によって表現される。

図１０を参照して、より詳細な、ステップＳ２４における切り出し領域の設定方法例を説明する。図１０は、切り出し領域の設定の手順を表すフローチャートであり、切り出し処理部５３によって、図１０に示されるステップＳ３１〜Ｓ３５の各処理が順次実行される。

図１０に示す処理の説明に先立ち、図１１を参照して、画像上の座標値の意義等を説明する。図１１は、フレーム画像などの任意の画像３００を、ＸＹ座標面上に示したものである。ＸＹ座標面は、互いに直交するＸ軸及びＹ軸を座標軸とする二次元座標面であり、Ｘ軸が伸びる方向は画像３００の水平方向と平行であって、Ｙ軸が伸びる方向は画像３００の垂直方向と平行であるものとする。また、画像上の物体又は領域を議論する際、その物体又は領域のＸ軸方向における大きさ（サイズ）を物体又は領域の幅と捉え、その物体又は領域のＹ軸方向における大きさ（サイズ）を物体又は領域の高さと捉える。画像３００上の、着目した或る点の座標値を（ｘ，ｙ）にて表すものとする。ｘ及びｙは、夫々、着目した点の水平方向の座標値及び垂直方向の座標値を表す。Ｘ軸及びＹ軸は原点Ｏにて交差し、原点Ｏから見て、Ｘ軸の正の方向を右方向、Ｘ軸の負の方向を左方向、Ｙ軸の正の方向を上方向、Ｙ軸の負の方向を下方向とする。

図１０に示されるステップＳ３１〜Ｓ３５の各処理について説明する。まず、ステップＳ３１において、切り出し処理部５３は、追尾結果情報によって表される追尾対象の高さＨ_Aを用い、式「Ｈ_B＝ｋ₁×Ｈ_A」に従って、切り出し高さＨ_Bを算出する。ｋ₁は予め設定された１より大きな定数である。図１２（ａ）に、切り出し領域が設定されるべきフレーム画像３１０を示すと共に、フレーム画像３１０において追尾対象の画像データが存在する追尾対象領域を矩形領域３１１によって示す。図１２（ｂ）に、図１２（ａ）に示されたものと同じフレーム画像３１０を示すと共に、フレーム画像３１０に対して設定されるべき切り出し領域を矩形領域３１２によって示す。尚、図１２（ａ）では、追尾対象領域が矩形領域として表されているが、追尾対象領域の外形は矩形であるとは限らない。

矩形領域３１１としての追尾対象領域の、高さ方向の大きさ（サイズ）が、追尾対象の高さＨ_Aであり、矩形領域３１２としての切り出し領域の、高さ方向の大きさ（サイズ）が、切り出し高さＨ_Bである。また、フレーム画像３１０の全体領域の、高さ方向及び幅方向の大きさ（サイズ）を、夫々、Ｈ_O及びＷ_Oによって表す。

ステップＳ３１にて算出された切り出し高さは、ステップＳ３２において、追尾信頼度を表す信頼度評価値ＥＶ_Rに応じて補正される。補正後の切り出し高さをＨ_B’によって表す（但し、実質的な補正がなされず、Ｈ_B’＝Ｈ_Bとなることもある）。具体的には、最新の信頼度評価値ＥＶ_Rと所定の閾値ＴＨ₁及びＴＨ₂とを比較することによって、以下の第１〜第３不等式の何れが成立するかを判断する。閾値ＴＨ₁及びＴＨ₂は、不等式「１００＞ＴＨ₁＞ＴＨ₂＞０」が成立するように予め設定され、例えばＴＨ₁＝９５且つＴＨ₂＝７５である。

そして、第１不等式「ＥＶ_R≧ＴＨ₁」が成立する場合は、Ｈ_B’にＨ_Bを代入する。即ち、第１不等式が成立する場合には、ステップＳ３１にて算出された切り出し高さに対して補正がなされない。
第２不等式「ＴＨ₁＞ＥＶ_R≧ＴＨ₂」が成立する場合は、式「Ｈ_B’＝Ｈ_B×（１＋（（１−ＥＶ_R／１００）／２））」に従って、補正後の切り出し高さＨ_B’を算出する。即ち、第２不等式が成立する場合には、切り出し高さが増大補正される。
第３不等式「ＴＨ₂＞ＥＶ_R」が成立する場合は、Ｈ_B’にＨ_BOを代入する。Ｈ_BOは、フレーム画像３１０の高さＨ_Oに基づく定数であり、例えば、高さＨ_Oと合致する定数或いは高さＨ_Oよりも若干小さな定数である。第３不等式が成立する場合にも、切り出し高さが増大補正される。

ステップＳ３２に続くステップＳ３３では、補正後の切り出し高さＨ_B’を用い、式「Ｗ_B＝ｋ₂×Ｈ_B’」に従って、切り出し幅Ｗ_Bを算出する。切り出し幅Ｗ_Bは、矩形領域３１２としての切り出し領域の、幅方向の大きさ（サイズ）である。また、ｋ₂は予め設定された定数である（例えば、ｋ₂＝１６／９）。追尾対象領域の幅方向の大きさが高さ方向の大きさに比べて異常に大きくなければ、追尾対象領域は切り出し領域に包含されることになる。本例では、追尾対象が人物であって且つ人物の背の高さ方向が画像の垂直方向と合致している場合を想定しており、幅方向の大きさが高さ方向の大きさに比べて異常に大きいような追尾対象領域は、設定されないものとする。

その後、ステップＳ３４において、切り出し処理部５３は、追尾結果情報から追尾対象の中心ＣＮ_Aの座標値（ｘ_A，ｙ_A）を取得し、（ｘ_B，ｙ_B）＝（ｘ_A，ｙ_A）となるように、切り出し領域の中心ＣＮ_Bの座標値（ｘ_B，ｙ_B）を設定する。

この段階で設定されている切り出し領域は、フレーム画像３１０の全体領域からはみ出した領域を含んでいることがある。例えば、図１３に示す如く、フレーム画像３１０の全体領域外であって且つフレーム画像３１０の上方側に、切り出し領域３１２ａの一部領域が位置することがある。フレーム画像３１０の全体領域外に位置する、切り出し領域の一部領域をはみ出し領域と呼ぶ。はみ出し領域の、はみ出している方向における大きさを、はみ出し量と呼ぶ。

ステップＳ３５では、はみ出し領域が存在するか否かを判定する。はみ出し領域が存在しない場合は、ステップＳ３１〜Ｓ３４の処理によって設定された切り出し高さＨ_B’、切り出し幅Ｗ_B及び座標値（ｘ_B，ｙ_B）に従った切り出し領域が、図５のステップＳ２４にて設定されるべき最終的な切り出し領域となる。

はみ出し領域が存在する場合は、ステップＳ３１〜Ｓ３４の処理によって設定された切り出し高さＨ_B’、切り出し幅Ｗ_B及び座標値（ｘ_B，ｙ_B）に従った切り出し領域に対して切り出し位置調整を行い、切り出し位置調整後の切り出し領域を、図５のステップＳ２４にて設定されるべき最終的な切り出し領域とする。

切り出し位置調整では、はみ出し量がちょうどゼロとなるように、切り出し領域の中心ＣＮ_Bの座標値が補正される。例えば、図１３に示す如く、フレーム画像３１０の上方側に切り出し領域３１２ａがはみ出している場合は、はみ出し量分だけ、切り出し領域の中心ＣＮ_Bを下方に移動させる。即ち、はみ出し量をΔｙとした場合、「ｙ_B’＝ｙ_B−Δｙ」に従って補正後のｙ軸座標値ｙ_B’を算出し、図５のステップＳ２４にて設定されるべき最終的な切り出し領域の中心ＣＮ_Bの座標値を（ｘ_B，ｙ_B’）とする。

同様に、フレーム画像の下方側に切り出し領域がはみ出している場合は、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを上方に移動させ、フレーム画像の右側に切り出し領域がはみ出している場合は、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを左方に移動させ、フレーム画像の左側に切り出し領域がはみ出している場合は、はみ出し量分だけ切り出し領域の中心ＣＮ_Bを右方に移動させて、移動後の切り出し領域を、最終的な切り出し領域として設定する。

尚、切り出し領域の下方への移動によって、フレーム画像の下方側に切り出し領域が再度はみ出してしまう場合は、そのはみ出しがなくなるように、切り出し領域の大きさ（切り出し高さ及び切り出し幅）を減少補正する。この減少補正の必要性は、切り出し高さＨ_B’が比較的大きいときに発生しやすい。

再度、図５を参照する。上述の如くして、切り出し領域が設定され、ステップＳ２１にて得られたフレーム画像から切り出し画像が生成された後、ステップＳ２５の処理が実行される。ステップＳ２５において、解像度変換部５４は、切り出し画像の解像度を向上させるための解像度向上処理を実行することによって出力画像（即ち、解像度向上後の切り出し画像）を生成する。

解像度向上処理は、例えば、１枚のフレーム画像の画像データを用いた補間処理によって実現される。この場合、例えば、切り出し画像が切り出されるべきフレーム画像の画像サイズが１９２０×１０８０であって且つ解像度向上前の切り出し画像の画像サイズが９６０×５４０である場合、解像度向上前の切り出し画像の画像サイズを水平方向及び垂直方向に夫々２倍に拡大することで１９２０×１０８０の画像サイズを有する切り出し画像（即ち、解像度向上後の切り出し画像）を生成する。画像サイズの拡大は、補間処理を用いた解像度変換によって実現される。補間処理の手法として、ニアレストネイバー法、バイリニア法、バイキュービック法などの各種の手法を利用可能である。

また、上記の補間処理を介して得た解像度向上後の切り出し画像（以下、鮮鋭化前画像という）に更に鮮鋭化処理を施し、鮮鋭化処理後の画像（以下、鮮鋭化後画像という）を、解像度変換部５４の出力画像としてもよい。例えば、エッジ強調フィルタ（微分フィルタなど）やアンシャープマスクフィルタを用いたフィルタリングを鮮鋭化前画像に施すことで鮮鋭化後画像を生成することが可能である。アンシャープマスクフィルタを用いたフィルタリングは、アンシャープマスキングとも呼ばれる。アンシャープマスキングでは、鮮鋭化前画像を平滑化して平滑化画像を生成した後、その平滑化画像と鮮鋭化前画像との差分画像を生成する。そして、その差分画像の各画素値と鮮鋭化前画像の各画素値を足し合わせるように差分画像と鮮鋭化前画像を合成することで鮮鋭化後画像を生成する。

或いは、複数枚のフレーム画像を用いた超解像処理によって解像度向上処理を実現しても良い。超解像処理では、位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の高解像度化を行うことにより１枚の高解像度画像を生成する。解像度変換部５４は、公知の任意の超解像処理を利用可能である。例えば、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに記載の超解像処理方法を利用することが可能である。

例えば、３フレーム分の切り出し画像を用いて超解像処理を行う場合は、以下のように処理する。今、１フレーム周期分の時間が経過することに、時刻ｔ_n-2、ｔ_n-1、ｔ_n、ｔ_n+1、ｔ_n+2・・・が順番に訪れるものとし、図１４に示す如く、時刻ｔ_n+iにて取得されたフレーム画像を時刻ｔ_n+iのフレーム画像と呼ぶ（ｉは整数）。そして、時刻ｔ_n+iのフレーム画像から切り出された切り出し画像を、ＣＩ_n+iにて表す。この場合、３枚の切り出し画像ＣＩ_n+i、ＣＩ_n+i+1及びＣＩ_n+i+2を用いて１枚の高解像度画像を生成する。

ｉが（−２）の場合を考えて具体例を挙げる。切り出し画像ＣＩ_nが得られた時点で、３枚の切り出し画像ＣＩ_n-2、ＣＩ_n-1及びＣＩ_nを参照し、切り出し画像ＣＩ_n-2、ＣＩ_n-1及びＣＩ_nを、夫々、第１、第２、及び第３の観測低解像度画像として取り扱って超解像処理を行う。第１の観測低解像度画像を基準として、第１と第２の観測低解像度画像との間の位置ずれ量及び第１と第３の観測低解像度画像との間の位置ずれ量を検出する。位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、動き量又は動きベクトルとも呼ばれる。位置ずれ量は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、サブピクセルの分解能を有するように検出される。即ち、観測低解像度画像内の隣接する画素の間隔よりも短い距離を最小検出単位として位置ずれ量が検出される。

一方で、線形補間やバイキュービック補間を用いて第１の観測低解像度画像の水平及び垂直方向の画素数を増大させた画像を初期の高解像度画像として生成する。その後、検出した上述の各位置ずれ量を用いて、現時点の高解像度画像を構築する３枚の低解像度画像を推定し、推定した各低解像度画像と各観測低解像度画像との誤差が最小化されるように高解像度画像を更新してゆく。最終的に得られた高解像度画像は、解像度向上後の切り出し画像ＣＩ_n-2に相当する。他の切り出し画像も同様にして解像度が向上される。例えば、切り出し画像ＣＩ_n-1に対する解像度の向上は、切り出し画像ＣＩ_n-1、ＣＩ_n及びＣＩ_n+1を用いて実現される。

図５のステップＳ２５の処理の後、ステップＳ２１に戻り、上述のステップＳ２１〜Ｓ２５から成るループ処理が繰り返し実行される。

上記ループ処理の繰り返しによって得られる、時系列で並ぶ解像度変換部５４の出力画像列は動画像として表示部１５に表示されると共に、その出力画像列の画像データは記録媒体１６に記録される。但し、切り出し処理部５３に入力されるフレーム画像列又は切り出し処理部５３から出力される切り出し画像列を、動画像として表示部１５に表示することも可能であるし、フレーム画像列及び切り出し画像列の画像データを記録媒体１６に記録することも可能である。

記録媒体１６内の画像データを任意の画像再生装置に読み出させれば、その画像再生装置上で、追尾対象に対して良好な構図を有する切り出し画像の動画像を再生表示することができる。特に、解像度向上後の切り出し画像の画像データを読み出すようにすれば、高精細な切り出し画像の動画像を再生表示することができる。

注目する被写体の動画像撮影を行う際、従来は、その被写体を見失わないように撮像装置の表示画面上で被写体を確認しつつ、被写体の動きに応じて撮像装置の撮影方向やズーム倍率を操作する必要があった。従って、撮影者は、撮影に集中しなければならず、注目する被写体とのコミュニケーションをとりながら撮影を行ったり、他のことに注意を払いながら撮影を行ったりすることが困難であった。一方、本実施形態によれば、注目する被写体（即ち、追尾対象）が撮影領域内に収まるように比較的広い画角にて撮影を行っておくだけで、追尾処理を利用した切り出し処理により、注目する被写体を含む切り出し画像が順次生成される。従って、撮影者は、撮像装置を注目する被写体の方向に向けてさえすれば、なんら意識せずとも自身の希望する被写体の映像を取得することができる。そして、再生時には、注目する被写体が適当な構図で切り出された映像を視聴することができる。

この切り出し処理を行う際、上述の如く、追尾信頼度が比較的高い場合は切り出し領域のサイズが比較的小さくされ、追尾信頼度が比較的低い場合は切り出し領域のサイズが比較的大きくされる。このため、注目した被写体にとって良好な構図を有する動画像の取得を可能としつつ、追尾信頼度が比較的低い時に、注目した被写体が切り出し領域内に含まれなくなるといった事態（図３０（ｂ）参照）の発生を回避することが可能となる。

尚、上述の説明では、撮像装置１の撮影領域内に１人の人物のみが含まれている場合を想定したが、撮影領域内に複数の人物が含まれている場合は、その複数の人物の中の一人を追尾対象として選択すればよい。例えば、初期検出用フレーム画像から各人物の顔領域を抽出し、顔領域を明示した初期検出用フレーム画像を表示部１５の表示画面に表示させた上で、追尾対象として選択されるべき一人の人物をユーザに選択させる。この選択は操作部１７への操作によって行われる。或いは、表示部１５を所謂タッチパネルとして機能させ、そのタッチパネルへの操作によって、この選択を行うようにしてもよい。更に或いは、追尾対象として選択されるべき人物の顔の画像を撮像装置１に予め登録しておくようにしてもよい。この場合、その登録された顔が初期検出用フレーム画像に含まれているかを撮像装置１が自動的に探索し、登録された顔が初期検出用フレーム画像に含まれていると判断した場合は、その登録された顔を有する人物が追尾対象として選択される。

また、撮影領域内に複数の人物が含まれている場合、複数の人物の夫々を追尾対象と捉え、追尾対象を含む追尾対象領域を複数個設定してもよい。例えば、撮影領域内に含まれる人物が二人である場合、夫々の人物を追尾対象と捉え、一方の人物の像が表れる追尾対象領域と他方の人物の像が表れる追尾対象領域とを個別に設定する。そして、各追尾対象領域に対して切り出し領域を設定し、１つのフレーム画像から２つの切り出し画像を抽出して、解像度向上前又は後の各切り出し画像の画像データを、個別に記録媒体１６に記録するようにしてもよい。画像再生時には、例えば、上記の二人の人物の内の一方をユーザに選択させ、選択した人物についての切り出し画像の動画像を再生表示すればよい。

［画像再生時の動作］
追尾処理、切り出し処理及び解像度向上処理を撮影時に実行する場合の動作について説明したが、これらの処理を画像再生時に実行するようにしてもよい。この場合における画像再生時の、撮像装置１の動作を説明する。この画像再生動作に先立って、動画像撮影時に得られた時系列で並ぶフレーム画像列の全体の画像データが記録媒体１６に記録されているものとする。

画像再生時において、図４の追尾処理部５１、追尾信頼度評価部５２及び切り出し処理部５３の前段に配置された画像取得部（不図示）に記録媒体１６からフレーム画像を時系列順に次々と読み出させ、その画像データを時系列順に追尾処理部５１、追尾信頼度評価部５２及び切り出し処理部５３に与えて、上述した、図５のステップＳ１１〜Ｓ１３及びＳ２１〜Ｓ２５の処理を実行させる。

そして、ステップＳ２１〜Ｓ２５から成るループ処理の繰り返しによって得られる、時系列で並ぶ解像度変換部５４の出力画像列を動画像として表示部１５に表示するとよい。切り出し処理部５３から出力される切り出し画像列を動画像として表示部１５に表示することも可能である。画像再生動作を実現する際、撮像装置１は画像再生装置として機能する。

上述のような画像再生動作を行うようにすれば、注目した被写体にとって良好な構図を有する動画像の再生を可能としつつ、追尾信頼度が比較的低い時に、注目した被写体が再生画像内に含まれなくなるといった事態の発生を回避することが可能となる。

尚、上述の例では、撮像装置１に設けられた表示部１５上で画像を再生表示するようにしているが、表示したい画像の画像データを撮像装置１の外部の表示装置（不図示）に供給することで、その外部の表示装置上にて、解像度向上前又は後の切り出し画像を表示するようにしてもよい。また、解像度向上前又は後の切り出し画像の画像データを、必要に応じてネットワーク網などを介しつつ、その画像データを利用する外部機器（ウェブサイトを運営するサーバ機器など）に供給するようにしてもよい。

また、追尾処理、切り出し処理及び解像度向上処理を撮影時に実行する方法、並びに、追尾処理、切り出し処理及び解像度向上処理を画像再生時に実行する方法を上述したが、それらの処理を２つの一部処理に分割し、一方の一部処理を撮影時に実行し且つ他方の一部処理を画像再生時に実行するようにしてもよい。

具体的には、以下のような処理の分割方法が有効である。まず、撮影時において、図５のステップＳ１１〜Ｓ１３及びＳ２１〜Ｓ２３の各処理を実行させ、且つ、図４の切り出し処理部５３にステップＳ２４の処理を実行させることにより、ステップＳ２１にて得られたフレーム画像の全体領域内に切り出し領域を設定する。但し、この際、実際の切り出し処理を行うことなく、設定した切り出し領域のサイズ（大きさ）及び位置を指し示す切り出し情報を切り出し処理部５３に出力させるようにし、その切り出し情報をフレーム画像列の画像データと関連付けて記録媒体１６に記録するようにする。このような記録を行う場合、図４の解像度変換部５４を省略することが可能である。尚、切り出し領域の位置は、図５のステップＳ２４にて設定されるべき、切り出し領域の中心ＣＮ_Bの座標値によって規定される（図１０も参照）。

切り出し情報と画像データの関連付け方法は任意である。例えば、記録媒体１６に記録される画像ファイルの本体領域にフレーム画像の画像データを格納すると共に該画像ファイルのヘッダ領域に該画像データに対応する切り出し情報を格納するようにするとよい。Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠する場合、ヘッダ領域はＥｘｉｆタグ又はＥｘｉｆ領域とも呼ばれる。画像ファイルのファイルフォーマットを任意の規格に準拠させることが可能である。

画像再生時には、画像再生装置（例えば撮像装置１）が、記録媒体１６からフレーム画像を切り出し情報と共に時系列順に次々と読み出して、切り出し情報に従いフレーム画像列から切り出し画像列を生成し、生成した切り出し画像列を動画像として再生表示する。この画像再生装置に図４の解像度変換部５４が設けられている場合、切り出し情報に従って生成された切り出し画像列に対して上述の解像度向上処理を実行することにより、解像度変換部５４にて出力画像列（解像度向上後の切り出し画像列）を生成させ、その出力画像列を動画像として再生表示することも可能である。

撮影時には特に処理の高速化及び低消費電力化が求められるが、上述の如く、実際に画像を切り出す処理及び解像度向上処理を画像再生時に行うようにすれば、撮影時における処理の負荷が軽減され、撮影時における処理の高速化及び及び低消費電力化が図られる。

＜＜第２実施形態＞＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る撮像装置の全体ブロック図は、図１に示すそれと同じであるが、第１実施形態に係る撮像装置と第２実施形態に係る撮像装置を区別するべく、第２実施形態に係る撮像装置を、符号１ａによって参照する。撮像装置１ａにおける撮像部１１の内部構成は、図２に示すそれと同じであり、撮像装置１ａの外観斜視図は、図３に示すそれと同じである。そして、矛盾なき限り、撮像装置１ａは、第１実施形態に係る撮像装置１が実現する機能を全て実現可能であり、矛盾なき限り、第１実施形態にて記載した事項が第２実施形態にも適用される。

撮像装置１と同様、撮像装置１ａも画像処理を用いた被写体追尾機能を備えている。但し、追尾信頼度に応じた良好な構図を有する画像を生成するために、撮像装置１では、切り出し領域のサイズを可変設定していたが（換言すれば、電子ズームにおけるズーム倍率を可変設定していたが）、撮像装置１ａでは、その代わりに、撮像部１１の画角（換言すれば、光学ズームにおけるズーム倍率）を可変設定する。

図１５に、撮像装置１ａ内の、被写体追尾機能に特に関与する部位のブロック図を示す。図１５において符号５１、５２及び６３によって参照される各部位は、図１の主制御部１３内に設けられる。フレーム画像列を形成する各フレーム画像の画像データは、順次、追尾処理部５１及び追尾信頼度評価部５２に与えられる。撮像装置１ａに設けられる追尾処理部５１及び追尾信頼度評価部５２は、第１実施形態で示したそれらと同じものである。

図１６を参照して、被写体追尾機能の実現時における撮像装置１ａの動作を説明する。図１６は、撮影モードにおける、撮像装置１ａの動作の流れを表すフローチャートである。撮影モードにおいて、被写体追尾機能が有効となると、追尾処理部５１は、順次入力されるフレーム画像に対して顔検出処理を行う。主制御部１３は、現在のフレーム画像から顔が検出されたか否かを確認する一方で（ステップＳ１１）、所定の追尾開始指示操作が操作部１７に対してなされているかを確認し（ステップＳ１２）、顔が検出されており且つ所定の追尾開始指示操作が操作部１７に対してなされている場合に、ステップＳ１３に移行してステップＳ１３の処理を実行するようにする。

ステップＳ１３において、追尾処理部５１は、初期設定用フレーム画像の画像データに基づいて追尾対象及び追尾色を設定する。この設定方法は、第１実施形態で述べたものと同じである。追尾対象及び追尾色が設定された後、ステップＳ２１〜Ｓ２３及びＳ３４からなるループ処理が繰り返し実行されるが、このループ処理の中で、追尾処理部５１は、追尾対象及び追尾色が設定された後に得られる追尾対象フレーム画像列に対し、追尾処理を実行する。追尾処理の方法は、第１実施形態で述べたものと同じである。

ステップＳ２１〜Ｓ２３の各処理は、第１実施形態で述べたそれらと同じものである。即ち、ステップＳ２１において現在のフレーム画像（追尾対象フレーム画像）が取得され、続くステップＳ２２において、その現在のフレーム画像における追尾対象の位置及び大きさが追尾処理によって検出されると共に検出された位置及び大きさを表す情報を含む追尾結果情報が生成される。追尾結果情報は、追尾信頼度評価部５２及び画角調整部６３に出力される。ステップＳ２２に続くステップＳ２３において、追尾信頼度評価部５２は、信頼度評価値ＥＶ_Rの算出を介して、現時点における追尾信頼度を評価する。

第２実施形態では、ステップＳ２３にて追尾信頼度が評価された後、ステップＳ３４の処理が実行される。ステップＳ３４において、画角調整部６３は、追尾処理部５１から出力される最新の追尾結果情報及び追尾信頼度評価部５２によって評価された最新の追尾信頼度に基づいて撮像部１１の画角を調整する。

画角の調整は、図２のズームレンズ３０の位置を調整することによって実現される。ズームレンズ３０は、図２の光学系３５内で光軸方向に移動可能である。光学系３５内におけるズームレンズ３０の位置をズームレンズ位置と呼ぶ。図１７に示す如く、ズームレンズ位置がワイド端からテレ端に向かうにつれて、撮像部１１の画角（撮影画角）は減少すると共に光学ズーム倍率が増大する。ワイド端及びテレ端は、ズームレンズ３０の全移動範囲における両端を表す。

追尾信頼度以外の他の条件（被写体距離など）が全て一定であると考えた場合、ステップＳ３４では、追尾信頼度が高くなるほど画角が小さくなるようにズームレンズ位置が調整される。この結果、追尾信頼度が高くなるほど、フレーム画像上における追尾対象の大きさ（及び追尾対象領域のサイズ）は大きくなる。

図１８（ａ）、（ｂ）及び（ｃ）に、夫々、追尾信頼度が、第１、第２、第３信頼度に維持されている場合において得られるフレーム画像４０１、４０２及び４０３を示す。フレーム画像４０１〜４０３の撮影時における、追尾対象の被写体距離は同じであるとする。追尾対象の被写体距離とは、実空間上における、撮像装置１ａと追尾対象としての人物との距離を指す。

図１８（ａ）、（ｂ）及び（ｃ）における破線矩形領域４１１、４１２及び４１３は、夫々、フレーム画像４０１、４０２及び４０３内に設定された追尾対象領域である。第１〜第３信頼度の内、第１信頼度が最も信頼度が高く、第３信頼度が最も信頼度が低いとする。追尾対象が有する追尾色の類似色が、追尾対象の近辺に位置することによって、フレーム画像４０２及び４０３に対する追尾信頼度は、フレーム画像４０１のそれよりも低くなっている。

フレーム画像４０１の撮影時における撮像部１１の画角は、フレーム画像４０２の撮影時における撮像部１１の画角よりも小さく、且つ、フレーム画像４０２の撮影時における撮像部１１の画角は、フレーム画像４０３の撮影時における撮像部１１の画角よりも小さい。このため、追尾対象領域４１１〜４１３のサイズ（画像サイズ）の内、追尾対象領域４１１のサイズが最も大きくなり、追尾対象領域４１３のサイズが最も小さくなる。

上述の如く、追尾信頼度が高くなるほどフレーム画像上における追尾対象の大きさ（及び追尾対象領域の大きさ）が増大するように、撮像部１１の画角が調整される。図１８（ａ）〜（ｃ）に示す例の場合、追尾信頼度が第１信頼度であるとき、フレーム画像上の追尾対象の大きさ（又は追尾対象領域４１１の大きさ）が第１の大きさとなるように、且つ、追尾信頼度が第２信頼度であるとき、フレーム画像上の追尾対象の大きさ（又は追尾対象領域４１２の大きさ）が第２の大きさとなるように、且つ、追尾信頼度が第３信頼度であるとき、フレーム画像上の追尾対象の大きさ（又は追尾対象領域４１３の大きさ）が第３の大きさとなるように、追尾結果情報及び追尾信頼度に基づいて画角が調整される。ここで、第１〜第３の大きさの内、第１の大きさが最も大きく、第３の大きさが最も小さいものとする。

画角をどのように調整すべきかを、追尾結果情報に含まれる追尾対象の大きさ情報から決定することができる。例えば、ステップＳ２３にて評価された追尾信頼度が第１信頼度であって且つステップＳ２１にて得られたフレーム画像上における追尾対象の大きさが第２の大きさである場合、次回以降に得られるフレーム画像上において追尾対象の大きさが第１の大きさとなるように、第１の大きさと第２の大きさの差に相当する分だけ、画角を調整すればよい。画角調整部６３は、その差に相当する画角調整量（ズームレンズ３０の移動量）を、予め設定されたルックアップテーブル等を参照して決定可能である。

尚、追尾対象が撮影領域の端部に位置しており、画角を小さくすることによって追尾対象の一部又は全部が撮影領域外に出てしまう惧れがあるときは、画角の減少は禁止される。

ステップＳ３４の処理の後、ステップＳ２１に戻り、上述のステップＳ２１〜Ｓ２３及びＳ３４から成るループ処理が繰り返し実行される。上記ループ処理の繰り返しによって得られる、時系列で並ぶフレーム画像列は動画像として表示部１５に表示されると共に、そのフレーム画像列の画像データは記録媒体１６に記録される。記録媒体１６内の画像データを任意の画像再生装置に読み出させれば、その画像再生装置上で、追尾対象に対して良好な構図を有する動画像を再生表示することができる。

本実施形態の如く追尾信頼度に応じて画角を調整するようにすれば、注目した被写体にとって良好な構図を有する動画像の取得を可能としつつ、追尾信頼度が比較的低い時に、注目した被写体が撮影領域内に収まらなくなるといった事態の発生を回避することが可能となる。

＜＜第３実施形態＞＞
次に、本発明の第３実施形態を説明する。第３実施形態に係る撮像装置の全体ブロック図は、図１に示すそれと同じであるが、第１実施形態に係る撮像装置と第３実施形態に係る撮像装置を区別するべく、第３実施形態に係る撮像装置を、符号１ｂによって参照する。撮像装置１ｂにおける撮像部１１の内部構成は、図２に示すそれと同じであり、撮像装置１ｂの外観斜視図は、図３に示すそれと同じである。そして、矛盾なき限り、撮像装置１ｂは、第１又は第２実施形態に係る撮像装置が実現する機能を全て実現可能であり、矛盾なき限り、第１又は第２実施形態にて記載した事項が第３実施形態にも適用される。

第３実施形態に係る特徴的動作に関与する、撮像装置１ｂの一部ブロック図を図１９に示す。図１９に示される、追尾処理部５１、追尾信頼度評価部５２及び評価領域設定部７３は、図１の主制御部１３内に設けられる。フレーム画像列を形成する各フレーム画像の画像データは、順次、追尾処理部５１及び追尾信頼度評価部５２に与えられる。撮像装置１ｂに設けられる追尾処理部５１及び追尾信頼度評価部５２は、第１実施形態で示したそれらと同じものである。追尾処理部５１にて生成される追尾結果情報は追尾信頼度評価部５２及び評価領域設定部７３に与えられ、追尾信頼度評価部５２による追尾信頼度の評価結果は評価領域設定部７３に与えられる。

撮像装置１ｂを含む本発明に係る撮像装置は、撮影モードにおいて、画像データに基づくオートフォーカス制御（以下、ＡＦ制御という）を実行可能である。

ＡＦ制御では、フレーム画像内に設定されたＡＦ評価領域内の画像データからＡＦ評価値を算出し、ＡＦ評価値が最大値（厳密には極大値）をとるように、所謂山登り制御を用いて図２のフォーカスレンズ３１の位置を制御する。これにより、ＡＦ評価領域内に現れる被写体に合焦した状態でフレーム画像列（即ち、動画像）の撮影を行うことができる。

撮像装置１ｂは、追尾処理を実行し、フレーム画像上における追尾対象の位置を基準にしてＡＦ評価領域の位置を設定しつつ、ＡＦ評価領域のサイズ（画像サイズ）を追尾信頼度に応じて可変設定する。ＡＦ制御に関する、この方法をより具体的に説明する。

まず、ＡＦ評価値を導出するためのＡＦ評価値算出部８０を説明する。図２０は、ＡＦ評価値算出部８０の内部ブロック図である。ＡＦ評価値算出部８０は、図１の主制御部１３内に設けられる。ＡＦ評価値算出部８０は、フレーム画像を被演算画像として取り扱い、図７を参照して説明したように、フレーム画像の全体領域を水平及び垂直方向に分割することによりフレーム画像の全体領域に（Ｍ×Ｎ）個の小ブロックを設定する。

ＡＦ評価値算出部８０は、抽出部８１、ＨＰＦ（ハイパスフィルタ）８２及び積算部８３を備え、フレーム画像ごとに１つのＡＦ評価値を算出する。抽出部８１には、フレーム画像の映像信号が与えられる。抽出部８１は、その映像信号の中から輝度信号を抽出する。ＨＰＦ８２は、抽出部８１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。例えば、ＨＰＦ８２を所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをフレーム画像の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ８２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。積算部８３は、ＨＰＦ８２によって抽出された高域周波数成分の大きさ（即ち、ＨＰＦ８２の出力値の絶対値）を積算する。この積算は小ブロックごとに個別に行われ、或る小ブロック内における高域周波数成分の大きさの積算値を、その小ブロックのブロックＡＦ値とする。

一方で、ＡＦ評価値算出部８０には、ＡＦ評価領域の位置及び大きさを規定するＡＦ評価領域情報が図１９の評価領域設定部７３から供給されている。積算部８３は、ＡＦ評価領域情報に従うＡＦ評価領域に属する小ブロックのブロックＡＦ値からＡＦ評価値を算出する。ＡＦ評価領域に属する小ブロックが１つである場合は、その小ブロックのブロックＡＦ値そのものをＡＦ評価値として出力し、図２１に示す如く、ＡＦ評価領域に属する小ブロックが複数である場合は、その複数の小ブロックのブロックＡＦ値の平均値をＡＦ評価値として出力する。

図２２を参照して、追尾信頼度評価結果を利用したＡＦ評価領域の設定方法を説明する。図２２は、撮影モードにおける、撮像装置１ｂの動作の流れを表すフローチャートである。撮影モードにおいて、被写体追尾機能が有効となると、追尾処理部５１は、順次入力されるフレーム画像に対して顔検出処理を行う。主制御部１３は、現在のフレーム画像から顔が検出されたか否かを確認する一方で（ステップＳ１１）、所定の追尾開始指示操作が操作部１７に対してなされているかを確認し（ステップＳ１２）、顔が検出されており且つ所定の追尾開始指示操作が操作部１７に対してなされている場合に、ステップＳ１３に移行してステップＳ１３の処理を実行するようにする。

ステップＳ１３において、追尾処理部５１は、初期設定用フレーム画像の画像データに基づいて追尾対象及び追尾色を設定する。この設定方法は、第１実施形態で述べたものと同じである。追尾対象及び追尾色が設定された後、ステップＳ２１〜Ｓ２３及びＳ４４からなるループ処理が繰り返し実行されるが、このループ処理の中で、追尾処理部５１は、追尾対象及び追尾色が設定された後に得られる追尾対象フレーム画像列に対し、追尾処理を実行する。追尾処理の方法は、第１実施形態で述べたものと同じである。

ステップＳ２１〜Ｓ２３の各処理は、第１実施形態で述べたそれらと同じものである。即ち、ステップＳ２１において現在のフレーム画像（追尾対象フレーム画像）が取得され、続くステップＳ２２において、その現在のフレーム画像における追尾対象の位置及び大きさが追尾処理によって検出されると共に検出された位置及び大きさを表す情報を含む追尾結果情報が生成される。追尾結果情報は、追尾信頼度評価部５２及び評価領域設定部７３に出力される。ステップＳ２２に続くステップＳ２３において、追尾信頼度評価部５２は、信頼度評価値ＥＶ_Rの算出を介して、現時点における追尾信頼度を評価する。

第３実施形態では、ステップＳ２３にて追尾信頼度が評価された後、ステップＳ４４の処理が実行される。ステップＳ４４において、評価領域設定部７３は、追尾処理部５１から出力される最新の追尾結果情報及び追尾信頼度評価部５２によって評価された最新の追尾信頼度に基づいてＡＦ評価領域を設定する。このＡＦ評価領域は、現在得られている最新のフレーム画像又はその次に得られるフレーム画像に対して設定される。

ＡＦ評価領域の中心位置は、ステップＳ２１にて得られた最新のフレーム画像における追尾対象領域の中心位置と同じとされる。一方で、追尾結果情報にて規定される追尾対象の大きさに基づいて追尾対象領域がＡＦ評価領域に包含されるようにすると共に、追尾信頼度に応じてＡＦ評価領域のサイズを可変設定する。追尾信頼度に応じたＡＦ評価領域のサイズの設定方法は、第１実施形態で述べた、追尾信頼度に応じた切り出し領域のサイズの設定方法と同様であり、その設定方法に関する第１実施形態の技術が本実施形態にも適用される。この適用の際、第１実施形態の説明文中における切り出し領域をＡＦ評価領域に読み替えればよい。つまり例えば、フレーム画像上における追尾対象の大きさが一定であるとすると、追尾信頼度が高くなるに従ってＡＦ評価領域のサイズが小さくなるようにＡＦ評価領域のサイズを設定する。実際には、図１０を参照して説明した方法に従って、追尾結果情報に基づく追尾対象の大きさと追尾信頼度（ＥＶ_R）に基づき、ＡＦ評価領域の位置及び大きさを設定すればよい。

撮像装置１ｂを含む本発明に係る撮像装置は、撮影モードにおいて、画像データに基づくオートアイリス制御（以下、ＡＥ制御という）及びオートホワイトバランス制御（以下、ＡＷＢ制御という）も実行可能であり、ＡＥ制御及びＡＷＢ制御に対しても、ＡＦ制御に対して述べた評価領域の可変設定方法を適用可能である。

ＡＥ制御では、図２の絞り３２の開度によって定まる絞り値、ＡＦＥ１２（図１参照）における信号増幅の増幅度及びフレーム画像撮影時における露光時間の長さを、３つのＡＥ制御対象として取り扱う。そして、フレーム画像内に設定されたＡＥ評価領域内の画像データからＡＥ評価値を算出し、フレーム画像列内において、ＡＥ評価値が所定の値又はその値近辺に保たれるように３つのＡＥ制御対象の内の１以上を制御することにより、ＡＥ評価領域内の画像の明るさ（輝度レベル）を所望の明るさに保つ。

撮像装置１ｂ内のＡＥ評価値算出部（不図示）は、フレーム画像毎に１つのＡＥ評価値を算出する。ＡＥ評価値は、ＡＥ評価領域内に属する画素の輝度値の平均値とされる。尚、輝度値とは輝度信号の値を意味し、輝度値が大きいほど、その輝度値を有する画素の輝度は大きい。

ＡＷＢ制御では、フレーム画像内に設定されたＡＷＢ評価領域内の画像データからＡＷＢ評価値を算出し、ＡＷＢ評価値に基づいてＡＷＢ評価領域内におけるホワイトバランスが所望のホワイトバランスとなるように、フレーム画像全体のホワイトバランスを調整する。ＡＷＢ制御は、例えば、フレーム画像の画像データを生成する過程において、撮像素子３３の赤受光画素の出力信号値、緑受光画素の出力信号値若しくは青受光画素の出力信号値又はそれらの２以上に対し、ＡＷＢ評価値に応じたＡＷＢ係数を乗じることにより実現される。

撮像装置１ｂ内のＡＷＢ評価値算出部（不図示）は、フレーム画像毎に１つのＡＷＢ評価値を算出する。図２に示される撮像素子３３は、単板方式の撮像素子であり、撮像素子３３の各受光画素の前面にはカラーフィルタが配列されている。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。カラーフィルタの配列は、例えばベイヤー配列である。赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素及び青受光画素と呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系３５の入射光の、赤成分、緑成分及び青成分にのみ反応する。

フレーム画像は、撮像素子３３の各受光画像の出力信号によって表されるので、撮像素子３３の撮像面にもＡＷＢ評価領域が設定されるものとして考える。ＡＷＢ評価値算出部は、ＡＷＢ評価領域に属する各赤受光画素の出力信号値の平均値を赤評価値として算出し、且つ、ＡＷＢ評価領域に属する各緑受光画素の出力信号値の平均値を緑評価値として算出し、且つ、ＡＷＢ評価領域に属する各青受光画素の出力信号値の平均値を青評価値として算出する。ＡＷＢ評価値は、赤評価値、緑評価値及び青評価値から形成される。

尚、ＡＦ制御実行時に調整されるべきカメラ制御パラメータには、フォーカスレンズ３１の位置が含まれ、ＡＥ制御実行時に調整されるべきカメラ制御パラメータには、絞り値、ＡＦＥ１２における信号増幅の増幅度及び／又はフレーム画像撮影時における露光時間の長さが含まれ、ＡＷＢ制御実行時に調整されるべきカメラ制御パラメータには、上記ＡＷＢ係数が含まれる。カメラ制御パラメータに依存した動画像が取得されるため、カメラ制御パラメータによって動画像の取得条件が規定される。即ち、ＡＦ、ＡＥ又はＡＷＢ制御実行時には、ＡＦ、ＡＥ又はＡＷＢ評価領域（評価値収集領域）内の画像データに基づいて動画像の取得条件が制御され、例えば、その制御は主制御部１３内の取得条件制御部（不図示）によって実行される。

ＡＥ制御又はＡＷＢ制御に評価領域の可変設定方法を適用する場合、図２２のステップＳ４４において、評価領域設定部７３は、追尾処理部５１から出力される最新の追尾結果情報及び追尾信頼度評価部５２によって評価された最新の追尾信頼度に基づいてＡＥ評価領域又はＡＷＢ評価領域を設定する。このＡＥ評価領域又はＡＷＢ評価領域は、現在得られている最新のフレーム画像又はその次に得られるフレーム画像に対して設定される。

ＡＥ評価領域又はＡＷＢ評価領域の中心位置は、ステップＳ２１にて得られた最新のフレーム画像における追尾対象領域の中心位置と同じとされる。一方で、追尾結果情報にて規定される追尾対象の大きさに基づいて追尾対象領域がＡＥ評価領域又はＡＷＢ評価領域に包含されるようにすると共に、追尾信頼度に応じてＡＥ評価領域又はＡＷＢ評価領域のサイズを可変設定する。追尾信頼度に応じたＡＥ評価領域又はＡＷＢ評価領域のサイズの設定方法は、第１実施形態で述べた、追尾信頼度に応じた切り出し領域のサイズの設定方法と同様であり、その設定方法に関する第１実施形態の技術が本実施形態にも適用される。この適用の際、第１実施形態の説明文中における切り出し領域をＡＥ評価領域又はＡＷＢ評価領域に読み替えればよい。つまり例えば、フレーム画像上における追尾対象の大きさが一定であるとすると、追尾信頼度が高くなるに従ってＡＥ評価領域又はＡＷＢ評価領域のサイズが小さくなるようにＡＥ評価領域又はＡＷＢ評価領域のサイズを設定する。実際には、図１０を参照して説明した方法に従って、追尾結果情報に基づく追尾対象の大きさと追尾信頼度（ＥＶ_R）に基づき、ＡＥ評価領域の位置及び大きさ又はＡＷＢ評価領域の位置及び大きさを設定すればよい。

ステップＳ４４の処理の後、ステップＳ２１に戻り、上述のステップＳ２１〜Ｓ２３及びＳ４４から成るループ処理が繰り返し実行される。このループ処理の繰り返しによって得られる、時系列で並ぶフレーム画像列は動画像として表示部１５に表示されると共に、そのフレーム画像列の画像データは記録媒体１６に記録される。

追尾信頼度が比較的低い時には、真の追尾対象とは異なる物体を追尾対象であると誤検出している可能性が比較的高い。従って、追尾信頼度が比較的低い時において、それが比較的高い場合と同様にＡＦ、ＡＥ又はＡＷＢ評価領域のサイズを小さく設定すると、注目した被写体と全く関係のない背景に対してピント合わせ、画像明るさ調整又はホワイトバランス調整がなされるといった事態も発生しうる。これを考慮し、本実施形態では、追尾信頼度に応じてＡＦ、ＡＥ又はＡＷＢ評価領域のサイズを可変設定する。これにより、そのような事態の発生を回避することが可能となる。

＜＜第４実施形態＞＞
次に、本発明の第４実施形態について説明する。第４実施形態に係る撮像装置の全体ブロック図は、図１に示すそれと同じであるが、第１実施形態に係る撮像装置と第４実施形態に係る撮像装置を区別するべく、第４実施形態に係る撮像装置を、符号１ｃによって参照する。撮像装置１ｃにおける撮像部１１の内部構成は、図２に示すそれと同じであり、撮像装置１ｃの外観斜視図は、図３に示すそれと同じである。そして、矛盾なき限り、撮像装置１ｃは、第１又は第２実施形態に係る撮像装置が実現する機能を全て実現可能であり、矛盾なき限り、第１又は第２実施形態にて記載した事項が第４実施形態にも適用される。

撮像装置１ｃは、画像再生時において、第３実施形態にて述べたＡＥ制御に類似する制御（以下、再生時ＡＥ制御という）及び第３実施形態にて述べたＡＷＢ制御に類似する制御（以下、生成時ＡＷＢ制御という）を実行可能である。この画像再生動作に先立って、動画像撮影時に得られた時系列で並ぶフレーム画像列の全体の画像データが記録媒体１６に記録されているものとする。本実施形態における以下の動作は、再生モードにおける撮像装置１ｃの動作である。

第４実施形態に係る特徴的動作に関与する、撮像装置１ｃの一部ブロック図を図２３に示す。図２３に示される、符号５１、５２及び１０１〜１０４によって参照される各部位は、図１の主制御部１３内に設けられる。画像取得部１０１は、記録媒体１６からフレーム画像を時系列順に次々と読み出し、各フレーム画像の画像データを時系列順に、追尾処理部５１、追尾信頼度評価部５２、評価値算出部１０３及び画像加工部１０４に与える。撮像装置１ｃに設けられる追尾処理部５１及び追尾信頼度評価部５２は、第１実施形態で示したそれらと同じものである。追尾処理部５１にて生成される追尾結果情報は追尾信頼度評価部５２及び評価領域設定部１０２に与えられ、追尾信頼度評価部５２による追尾信頼度の評価結果は評価領域設定部１０２に与えられる。

追尾処理部５１は、所定の追尾開始指示操作が操作部１７に対してなされた時点において自身に与えられるフレーム画像を初期設定用フレーム画像として捉え、その初期設定用フレーム画像の画像データに基づいて追尾対象及び追尾色を設定する。但し、初期設定用フレーム画像には、追尾対象となるべき人物が存在しているものとする。追尾対象及び追尾色の設定方法は、第１実施形態で述べたものと同じである。

追尾対象及び追尾色の設定後、図２４に示すフローチャートに沿った動作が実行される。図２４は、再生時ＡＥ制御の動作手順を表すフローチャートである。

追尾対象及び追尾色の設定後、ステップＳ２１〜Ｓ２３及びＳ５４〜Ｓ５６から成るループ処理が繰り返し実行されるが、このループ処理の中で、追尾処理部５１は、追尾対象及び追尾色が設定された後に得られる追尾対象フレーム画像列に対し、追尾処理を実行する。追尾処理の方法は、第１実施形態で述べたものと同じである。

ステップＳ２１〜Ｓ２３の各処理は、第１実施形態で述べたそれらと同じものである。即ち、ステップＳ２１において現在のフレーム画像（追尾対象フレーム画像）が取得され、続くステップＳ２２において、その現在のフレーム画像における追尾対象の位置及び大きさが追尾処理によって検出されると共に検出された位置及び大きさを表す情報を含む追尾結果情報が生成される。追尾結果情報は、追尾信頼度評価部５２及び評価領域設定部１０２に出力される。ステップＳ２２に続くステップＳ２３において、追尾信頼度評価部５２は、信頼度評価値ＥＶ_Rの算出を介して、現時点における追尾信頼度を評価する。

再生時ＡＥ制御では、ステップＳ２３にて追尾信頼度が評価された後、ステップＳ５４の処理が実行される。ステップＳ５４において、評価領域設定部１０２は、追尾処理部５１から出力される最新の追尾結果情報及び追尾信頼度評価部５２によって評価された最新の追尾信頼度に基づいてＡＥ評価領域を設定する。このＡＥ評価領域は、ステップＳ２１にて得られた最新のフレーム画像に対して設定される。

ＡＥ評価領域の中心位置は、ステップＳ２１にて得られた最新のフレーム画像における追尾対象領域の中心位置と同じとされる。一方で、追尾結果情報にて規定される追尾対象の大きさに基づいて追尾対象領域がＡＥ評価領域に包含されるようにすると共に、追尾信頼度に応じてＡＥ評価領域のサイズを可変設定する。追尾信頼度に応じたＡＥ評価領域のサイズの設定方法は、第１実施形態で述べた、追尾信頼度に応じた切り出し領域のサイズの設定方法と同様であり、その設定方法に関する第１実施形態の技術が本実施形態にも適用される。この適用の際、第１実施形態の説明文中における切り出し領域をＡＥ評価領域に読み替えればよい。つまり例えば、フレーム画像上における追尾対象の大きさが一定であるとすると、追尾信頼度が高くなるに従ってＡＥ評価領域のサイズが小さくなるようにＡＥ評価領域のサイズを設定する。実際には、図１０を参照して説明した方法に従って、追尾結果情報に基づく追尾対象の大きさと追尾信頼度（ＥＶ_R）に基づき、ＡＥ評価領域の位置及び大きさを設定すればよい。

ステップＳ５４に続くステップＳ５５において、評価値算出部１０３は、ステップＳ５４にて設定されたＡＥ評価領域をステップＳ２１にて取得されたフレーム画像に適用し、そのフレーム画像のＡＥ評価領域内の画像データから、そのフレーム画像に対するＡＥ評価値を算出する。ＡＥ評価値の算出方法は、第３実施形態で述べたものと同じである。

その後、ステップＳ５６において、画像加工部１０４は、ステップＳ２１にて取得されたフレーム画像を、ステップＳ５５にて算出されたＡＥ評価値に基づいて加工することにより加工フレーム画像を生成する。再生時ＡＥ制御では、ＡＥ評価値に応じた一定値を、ステップＳ２１にて取得されたフレーム画像の各画素の輝度値に乗じ、これによって得た画像を加工フレーム画像とする。これにより、追尾対象領域を含むＡＥ評価領域内の画像の明るさ（輝度レベル）を所望の明るさに保つ。

ステップＳ５６の処理の後、ステップＳ２１に戻り、上述のステップＳ２１〜Ｓ２３及びＳ５４〜Ｓ５６から成るループ処理が繰り返し実行される。このループ処理の繰り返しによって得られる、時系列で並ぶ加工フレーム画像列は動画像として表示部１５に表示される。その加工フレーム画像列の画像データを記録媒体１６に記録するようにしてもよい。

再生時ＡＥ制御を行う場合の動作を説明したが、再生時ＡＷＢ制御も、ステップＳ２１〜Ｓ２３及びＳ５４〜Ｓ５６の各処理を実行することによって実現される。但し、再生時ＡＷＢ制御を行う場合は、上記のＡＥ評価領域及びＡＥ評価値が夫々ＡＷＢ評価領域及びＡＷＢ評価値に読み替えられる。ＡＷＢ評価値は、フレーム画像のＡＷＢ評価領域内の画像データに基づいて算出され、ステップＳ５６において、ＡＷＢ評価値に基づいてフレーム画像が加工される。再生時ＡＷＢ制御では、ＡＷＢ評価領域内におけるホワイトバランスが所望のホワイトバランスとなるように、ＡＷＢ評価値に基づいてフレーム画像全体のホワイトバランスを調整される。ホワイトバランス調整後のフレーム画像が、画像加工部１０４にて生成されるべき加工フレーム画像である。

追尾信頼度が比較的低い時には、真の追尾対象とは異なる物体を追尾対象であると誤検出している可能性が比較的高い。従って、追尾信頼度が比較的低い時において、それが比較的高い場合と同様にＡＥ又はＡＷＢ評価領域のサイズを小さく設定すると、注目した被写体と全く関係のない背景に対して画像明るさ調整又はホワイトバランス調整がなされるといった事態も発生しうる。これを考慮し、本実施形態では、追尾信頼度に応じてＡＥ又はＡＷＢ評価領域のサイズを可変設定する。これにより、そのような事態の発生を回避することが可能となる。

尚、上述の例では、撮像装置１ｃに設けられた表示部１５上で加工フレーム画像列を再生表示するようにしているが、表示したい画像の画像データを撮像装置１ｃの外部の表示装置（不図示）に供給することで、その外部の表示装置上にて、加工フレーム画像列を表示するようにしてもよい。また、加工フレーム画像列の画像データを、必要に応じてネットワーク網などを介しつつ、その画像データを利用する外部機器（ウェブサイトを運営するサーバ機器など）に供給するようにしてもよい。

＜＜第５実施形態＞＞
次に、本発明の第５実施形態を説明する。上述の各実施形態では、色情報に基づく追尾処理方法を説明したが、図４等に示される追尾処理部５１は、他の任意の追尾処理方法を採用することが可能である。他の追尾処理方法を例示する実施形態を、第５実施形態とする。第５実施形態に記載された内容は、上述の第１〜第４実施形態と組み合わせて実施される。

例えば、追尾処理部５１は、画像マッチングを用いることによって、フレーム画像列における追尾対象の位置の追尾を実行することができる。画像マッチングを用いた追尾処理は周知であるが、時刻ｔ_n-1のフレーム画像と時刻ｔ_nのフレーム画像との間における、画像マッチング（テンプレートマッチング）に基づく追尾処理を簡単に説明する。時刻ｔ_n-1のフレーム画像上における追尾対象の位置は、既に検出されているものとする。尚、第１実施形態で述べたように、時刻ｔ_n-1のフレーム画像の次に時刻ｔ_nのフレーム画像が撮影される（図１４参照）。

追尾処理部５１は、時刻ｔ_n-1のフレーム画像の全体領域中の一部領域であって且つ追尾対象の一部又は全部が表れている画像領域に着目し、その着目した画像領域内の画像をテンプレート画像とする一方で、時刻ｔ_nのフレーム画像内に追尾枠を設定する。そして、追尾枠内における画像とテンプレート画像との類似性評価を追尾枠の位置を探索範囲内で順次変更しながら実行し、最大の類似性（換言すれば最小の相違度）が得られた追尾枠の位置に、時刻ｔ_nのフレーム画像上の追尾対象が存在すると判断する。時刻ｔ_nのフレーム画像に対する探索範囲は、時刻ｔ_n-1のフレーム画像における追尾対象の位置を基準にして設定される。通常、その探索範囲は、時刻ｔ_n-1のフレーム画像における追尾対象の位置を中心とする矩形領域とされ、探索範囲のサイズ（画像サイズ）は、フレーム画像の全体領域のサイズよりも小さい。

追尾処理部５１が画像マッチングを用いて追尾処理を行う場合、追尾信頼度評価部５２による信頼度評価値ＥＶ_Rの算出方法も、第１実施形態で述べたものから変更される。画像マッチングを用いた追尾処理に適合する、信頼度評価値ＥＶ_Rの算出方法を説明する。

追尾信頼度評価部５２は、各フレーム画像を被演算画像として取り扱い、第１実施形態で述べた方法を用いて、被演算画像内に複数の小ブロックを設定すると共に各小ブロックを被写体ブロック又は背景ブロックに分類することにより各フレーム画像の全体領域を追尾対象領域と背景領域に切り分ける（図７参照）。そして、上記のテンプレート画像が位置する小ブロックを小ブロック［ｍ_O，ｎ_O］として取り扱い、時刻ｔ_nのフレーム画像における小ブロック［ｍ_O，ｎ_O］内の画像と、時刻ｔ_nのフレーム画像における背景ブロック内の画像との相違度を表す相違度評価値を、背景ブロック毎に算出する。

背景ブロックはＱ個存在するものとし、第１〜第Ｑの背景ブロックに対して算出された相違度評価値を夫々Ｃ_DISA［１］〜Ｃ_DISA［Ｑ］にて表す（Ｑは、不等式「２≦Ｑ≦（Ｍ×Ｎ）−１」を満たす整数）。例えば、時刻ｔ_nのフレーム画像に対する相違度評価値Ｃ_DISA［ｉ］は、時刻ｔ_nのフレーム画像における小ブロック［ｍ_O，ｎ_O］に属する各画素の画素値（例えば輝度値）と、時刻ｔ_nのフレーム画像における第ｉの背景ブロックに属する各画素の画素値（例えば輝度値）との対比から求められる、ＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Square Difference）とされる（ここで、ｉは自然数）。これにより、対比画像間の相違度が増大すれば相違度評価値Ｃ_DISA［ｉ］は増大することになる。また、相違度評価値Ｃ_DISA［ｉ］が取りうる値の範囲が０以上１以下となるように、相違度評価値は正規化されているものとする。或る着目した画像領域に関し、その画像領域に属する画素の画素値（例えば輝度値）は、その画像領域内の画像の特徴を表す量（画像特徴量）の一種であることは言うまでもない。

一方で、小ブロック［ｍ_O，ｎ_O］の中心を、図８を参照して述べた中心２５０として取り扱って、第１実施形態で述べた方法と同様にして、第１〜第Ｑの背景ブロックに対する位置差評価値Ｐ_DIS［１］〜Ｐ_DIS［Ｑ］を求める。そして、相違度評価値Ｃ_DISA［ｉ］をＣ_DIS［ｉ］に代入した上で上記式（１）を用いることにより統合距離ＣＰ_DISを算出し、その統合距離ＣＰ_DISを用いて上記式（２）に従って、着目した被演算画像（今の例において、時刻ｔ_nのフレーム画像）に対する信頼度評価値ＥＶ_Rを算出する。この算出方法から理解されるように、追尾対象の近くに、追尾対象の模様に類似する模様を有する物体が存在すれば、信頼度評価値ＥＶ_Rは低くなる。

追尾処理部５１は、画像マッチングではなく、オプティカルフロー情報を用いることによって、フレーム画像列における追尾対象の位置の追尾を実行することもできる。オプティカルフロー情報を用いた追尾処理は周知であるが、時刻ｔ_n-1のフレーム画像と時刻ｔ_nのフレーム画像との間における、オプティカルフロー情報に基づく追尾処理を簡単に説明する。時刻ｔ_n-1のフレーム画像上における追尾対象の位置は、既に検出されているものとする。図２５に、時刻ｔ_n-1及び時刻ｔ_nのフレーム画像５０１及び５０２と、両画像間のオプティカルフロー５０３を示す。オプティカルフロー５０３内の実線矢印は、追尾対象の動きに対応する動きベクトルを表す。

追尾処理部５１は、時刻ｔ_n-1及び時刻ｔ_nのフレーム画像を対比することにより対比画像間のオプティカルフローを求める。オプティカルフローは、対比画像間における、画像上の物体の動きをベクトルにて表現した動きベクトルの束であり、代表点マッチング法やブロックマッチング法、勾配法などを用いて導出される。追尾処理部５１は、その動きベクトルの束から、略同一の向きを有し且つ略同一の大きさを有する動きベクトルの集まりを探索し、その動きベクトルの集まりが存在する位置に、追尾対象としての動物体が存在していると判断する（即ち、その位置が、時刻ｔ_nのフレーム画像上における追尾対象の位置であると判断する）。その探索は、探索範囲内においてなされ、時刻ｔ_nのフレーム画像に対する探索範囲は、時刻ｔ_n-1のフレーム画像における追尾対象の位置を基準にして設定される。通常、その探索範囲は、時刻ｔ_n-1のフレーム画像における追尾対象の位置を中心とする矩形領域とされ、探索範囲のサイズ（画像サイズ）は、フレーム画像の全体領域のサイズよりも小さい。尚、探索された動きベクトルの集まりの存在範囲から、追尾対象領域を設定することも可能である。

追尾処理部５１がオプティカルフロー情報を用いて追尾処理を行う場合、追尾信頼度評価部５２による信頼度評価値ＥＶ_Rの算出方法も、第１実施形態で述べたものから変更される。オプティカルフロー情報を用いた追尾処理に適合する、信頼度評価値ＥＶ_Rの算出方法を説明する。

追尾信頼度評価部５２は、各フレーム画像を被演算画像として取り扱い、第１実施形態で述べた方法を用いて、被演算画像内に複数の小ブロックを設定すると共に各小ブロックを被写体ブロック又は背景ブロックに分類することにより各フレーム画像の全体領域を追尾対象領域と背景領域に切り分ける（図７参照）。今、時刻ｔ_n-1及び時刻ｔ_nのフレーム画像間のオプティカルフローを、時刻ｔ_nのフレーム画像に対するオプティカルフローと考える。そして、時刻ｔ_nのフレーム画像において追尾対象（追尾対象の中心）が位置する小ブロックを小ブロック［ｍ_O，ｎ_O］として取り扱い、時刻ｔ_nのフレーム画像に対する小ブロック［ｍ_O，ｎ_O］内のオプティカルフローと、時刻ｔ_nのフレーム画像に対する背景ブロック内のオプティカルフローとの相違度を表す動き相違度評価値を、背景ブロック毎に算出する。

背景ブロックはＱ個存在するものとし、第１〜第Ｑの背景ブロックに対して算出された動き相違度評価値を夫々Ｃ_DISB［１］〜Ｃ_DISB［Ｑ］にて表す（Ｑは、不等式「２≦Ｑ≦（Ｍ×Ｎ）−１」を満たす整数）。時刻ｔ_nのフレーム画像に対する小ブロック［ｍ_O，ｎ_O］内のオプティカルフロー及び時刻ｔ_nのフレーム画像に対する第ｉの背景ブロック内のオプティカルフローを、夫々、第１及び第２オプティカルフローと呼ぶ。そうすると、例えば、時刻ｔ_nのフレーム画像に対する動き相違度評価値Ｃ_DISB［ｉ］は、第１オプティカルフローを形成する動きベクトルの向き及び大きさと第２オプティカルフローを形成する動きベクトルの向き及び大きさとの対比結果に基づき、対比される向きが異なれば異なるほど増加するように且つ対比される大きさが異なれば異なるほど増加するように算出される（ここで、ｉは自然数）。この際、動き相違度評価値Ｃ_DISB［ｉ］が取りうる値の範囲が０以上１以下となるように、動き相違度評価値は正規化されているものとする。或る着目した画像領域に関し、その画像領域に対して導出されたオプティカルフローを、その画像領域内の画像の、動きに関する特徴を表す量（画像特徴量）と捉えることができる。

一方で、小ブロック［ｍ_O，ｎ_O］の中心を、図８を参照して述べた中心２５０として取り扱って、第１実施形態で述べた方法と同様にして、第１〜第Ｑの背景ブロックに対する位置差評価値Ｐ_DIS［１］〜Ｐ_DIS［Ｑ］を求める。そして、動き相違度評価値Ｃ_DISB［ｉ］をＣ_DIS［ｉ］に代入した上で上記式（１）を用いることにより統合距離ＣＰ_DISを算出し、その統合距離ＣＰ_DISを用いて上記式（２）に従って、着目した被演算画像（今の例において、時刻ｔ_nのフレーム画像）に対する信頼度評価値ＥＶ_Rを算出する。この算出方法から理解されるように、追尾対象の近くに、追尾対象の動きに類似して動く物体が存在すれば、信頼度評価値ＥＶ_Rは低くなる。

＜＜第６実施形態＞＞
次に、本発明の第６実施形態を説明する。第６実施形態では、追尾信頼度の導出方法の更なる変形例、即ち信頼度評価値ＥＶ_Rの算出方法の更なる変形列を説明する。第６実施形態に記載された内容は、上述の各実施形態と組み合わせて実施される。

以下に、信頼度評価値ＥＶ_Rの算出方法として、第１〜第１０算出方法を例示する。図４等に示される追尾信頼度評価部５２は、第１〜第１０算出方法の何れかを用いて、被演算画像（即ち、信頼度評価値ＥＶ_Rが算出されるべき追尾対象フレーム画像）に対する信頼度評価値ＥＶ_Rを算出することが可能である。

尚、第１実施形態では信頼度評価値ＥＶ_Rが０以上１００以下の値をとることとしたが、第６実施形態では、信頼度評価値ＥＶ_Rが０以上１以下の値をとり、追尾信頼度が高いと評価されるほど信頼度評価値ＥＶ_Rが上限値１に近づくものとする。従って、第６実施形態の各算出方法を上述の各実施形態に当てはめる場合においては、第６実施形態の各算出方法にて算出された信頼度評価値ＥＶ_Rを１００倍するとよい。

［第１算出方法］
第１算出方法を説明する。第１実施形態にて以下のような追尾処理内容を述べた。追尾色の設定後、被演算画像としての追尾対象フレーム画像内に探索範囲及び追尾枠を設定し、追尾枠内における画像の色と追尾色との類似性評価を追尾枠の位置を探索範囲内で順次変更しながら実行することで追尾対象フレーム画像上における追尾対象の位置を検出する。今回の追尾対象フレーム画像に対する探索範囲は、前回の追尾対象フレーム画像における追尾対象の位置を基準にして設定される。

このような追尾処理において、追尾対象フレーム画像上の追尾対象の大きさが小さいと、追尾の安定性が低下する。例えば、追尾色に類似する色を有する物体（追尾対象と異なる物体）が探索範囲内に入っている場合、その物体が比較的小さかったとしても、追尾対象の大きさが比較的小さいと、その物体が追尾対象であると誤検出される可能性が高まる。逆に、追尾対象の大きさが比較的大きければ、その物体の存在にも関らず、誤検出が生じる可能性は少ない。

このような事情を考慮し、第１算出方法では、被演算画像上における追尾対象の大きさに基づいて信頼度評価値ＥＶ_Rを算出する。具体的には、以下の式（６−１）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。

ここで、ＴｇｔＳｉｚｅは、被演算画像において、追尾対象の画像データが存在すると判断された画像領域の大きさを表す数値であり、ＡｒｅａＳｉｚｅは、被演算画像における上記探索範囲の大きさを表す数値である。

大きさＴｇｔＳｉｚｅを画素数にて表現することができる。具体的には例えば、上記探索範囲内に属する画素の内、追尾対象の画像データを表す画素の総数を、ＴｇｔＳｉｚｅに代入することができる。第１実施形態にて述べたように、追尾結果情報に基づいて被演算画像の画像領域を追尾対象の画像データが表れる追尾対象領域及び背景の画像データが表れる背景領域に分類することができるが、その追尾対象領域に属する画素の総数をＴｇｔＳｉｚｅに代入することができる。ＴｇｔＳｉｚｅが画素数にて表現される場合、ＡｒｅａＳｉｚｅは、上記探索範囲に属する画素の総数とされる。

或いは、大きさＴｇｔＳｉｚｅを、画像上の面積にて表現するようにしてもよい。つまり、追尾処理において追尾対象の外形を比較的簡素な形状（例えば、楕円や矩形）に近似することができるが、その近似によって得られた追尾対象の外形内の面積にてＴｇｔＳｉｚｅを表現するようにしてもよい。具体的には例えば、被演算画像上における追尾対象領域の面積をＴｇｔＳｉｚｅに代入することができる。第１実施形態では、追尾対象領域の外形が矩形となっているが、その外形は矩形以外であっても構わない。ＴｇｔＳｉｚｅが面積にて表現される場合、ＡｒｅａＳｉｚｅは、被演算画像上における探索範囲の面積とされる。

［第２算出方法］
第２算出方法を説明する。第２算出方法では、被演算画像上における追尾対象の位置に基づいて信頼度評価値ＥＶ_Rを算出する。具体的には、以下の式（６−２）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。但し、式（６−２）の右辺の値が負になる場合、ＥＶ_Rはゼロとされる。

ＴＤｉｓｔは、図２６に示す如く、追尾対象の中心位置６０１と被演算画像の中心位置６０２との距離（即ち、位置６０１及び６０２間の、被演算画像上における空間的な位置差）であり、ＳｔｄＤｉｓｔは、予め設定された基準距離である。追尾対象の中心位置６０１は、例えば、被演算画像に対する追尾結果情報に基づく、第１実施形態で述べた中心２５０の位置である（図８参照）。

ユーザは、追尾対象となるべき注目被写体が画像の中央付近に配置されるように撮像装置を操作するのが通常である。故に、追尾対象が画像端部において検出されるような追尾結果は、信頼性が疑われる。また、追尾対象が画像端部に存在するような場合、追尾対象が撮像装置の撮影領域外に出やすくなる（所謂フレームアウトが起こりやすくなる）。このような場合、追尾信頼度を低下させて撮影画角を増大方向に向かわせることが、追尾維持の観点からは重要である。これらを考慮し、第２算出方法では、追尾対象の位置が画像中心に近いと判断される場合ほど信頼度評価値ＥＶ_Rを増大させ、逆の場合には信頼度評価値ＥＶ_Rを減少させる。

［第３算出方法］
第３算出方法を説明する。第３算出方法では、異なる追尾対象フレーム画像間における、追尾対象の動きベクトルの大きさに基づいて信頼度評価値ＥＶ_Rを算出する。具体的には、以下の式（６−３）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。但し、式（６−３）の右辺の値が負になる場合、ＥＶ_Rはゼロとされる。

Ｖｔは、被演算画像である第１の追尾対象フレーム画像と第１の追尾対象フレーム画像よりも前に撮影された第２の追尾対象フレーム画像との間における追尾対象の動きベクトルを表し、｜Ｖｔ｜は、その動きベクトルＶｔの大きさを表す。Ｖｓｔｄは、予め設定された基準ベクトルであり、｜Ｖｓｔｄ｜は、基準ベクトルＶｓｔｄの大きさを表す。

動きベクトルＶｔは、第２の追尾対象フレーム画像上における追尾対象の位置から見た、第１の追尾対象フレーム画像上における追尾対象の位置を表すベクトルである（即ち、動きベクトルＶｔは、第２の追尾対象フレーム画像を基準画像とする動きベクトルである）。第１及び第２の追尾対象フレーム画像上における追尾対象の位置とは、夫々、例えば、第１及び第２の追尾対象フレーム画像に対する追尾結果情報に基づく、第１及び第２の追尾対象フレーム画像上における中心２５０の位置を指す（図８参照）。また、第２の追尾対象フレーム画像は、第１の追尾対象フレーム画像よりもｎフレーム周期前に撮影されたフレーム画像である（ここで、ｎは１以上の整数）。また、第１の追尾対象フレーム画像よりも前に撮影された複数のフレーム画像の夫々を第２の追尾対象フレーム画像とみなし、その複数のフレーム画像の夫々と第１の追尾対象フレーム画像との間における追尾対象の動きベクトルの平均をＶｔとして用いても良い。

第１及び第２の追尾対象フレーム画像の撮影間隔である評価期間中において追尾対象の位置が急激に変わるような追尾結果が得られた場合、その追尾結果の信頼性は疑わしい。また、追尾対象の動きが速い場合、追尾対象がフレームアウトしやすい、追尾処理において追尾対象を見失いやすいといった事情もある。これらを考慮し、第３算出方法では、追尾対象の動きベクトルの大きさに基づいて信頼度評価値ＥＶ_Rを算出する。

［第４算出方法］
第４算出方法を説明する。第４算出方法では、第３算出方法で述べた追尾対象の動きベクトルＶｔと基準ベクトルＶｓｔｄとの成す角度θに基づいて、信頼度評価値ＥＶ_Rを算出する。但し、第４算出方法における動きベクトルＶｔは、被演算画像である第１の追尾対象フレーム画像と第１の追尾対象フレーム画像よりも１フレーム周期前に撮影された追尾対象フレーム画像との間における追尾対象の動きベクトルを表し、第４算出方法における基準ベクトルＶｓｔｄは、それ以前に得られた追尾対象の動きベクトルを表す。

図２７を参照し、第４算出方法における動きベクトルＶｔ及び基準ベクトルＶｓｔｄの意義を補足説明する。今、１フレーム周期分の時間が経過することに、時刻ｔ_n-4、ｔ_n-3、ｔ_n-2、ｔ_n-1、ｔ_n・・・が順番に訪れるものとし、時刻ｔ_n-iにて取得された追尾対象フレーム画像を、時刻ｔ_n-iの追尾対象フレーム画像又は単に時刻ｔ_n-iのフレーム画像と呼ぶ（ｉは整数）。また、時刻ｔ_n-iのフレーム画像を基準とした、時刻ｔ_n-i及びｔ_n-(i-1)のフレーム画像間における追尾対象の動きベクトルを、図２７に示す如く、Ｖ［ｉ，ｉ−１］にて表す。

このような前提の下、信頼度評価値ＥＶ_Rが算出されるべき被演算画像が時刻ｔ_nのフレーム画像であるならば、第４算出方法における動きベクトルＶｔは、ベクトルＶ［１，０］であり、第４算出方法における基準ベクトルＶｓｔｄは、ベクトルＶ［２，１］である。或いは、基準ベクトルＶｓｔｄは、ベクトルＶ［２，１］と、ベクトルＶ［２，１］よりも過去に算出された追尾対象についての１又は複数個の動きベクトルと、の平均ベクトル（例えば、Ｖ［２，１］とＶ［３，２］との平均ベクトル）であってもよい。

上述のようなベクトルＶｔ及びＶｓｔｄを用い、以下の式（６−４）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。

動きベクトルＶｔの向きは、画像上における追尾対象の直近の動きの向きを表し、基準ベクトルＶｓｔｄの向きは、画像上における追尾対象の過去の動きの向きを表す。動画像上において追尾対象が動く際、その動きの方向は概ね一定であることが多く、動きの向きが急峻に変化するような追尾結果は、信頼性が疑われる。これを考慮し、第４算出方法では、上記角度θが比較的大きい場合に信頼度評価値ＥＶ_Rを比較的小さくし、上記角度θが比較的小さい場合に信頼度評価値ＥＶ_Rを比較的大きくする。

［第５算出方法］
第５算出方法を説明する。第５算出方法は、第３及び第４算出方法を組み合わせた方法である。具体的には、第５算出方法では、以下の式（６−５）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。ここで、ＥＶ_R4は上記式（６−３）に従って算出されるべきＥＶ_Rを表し、ＥＶ_R5は上記式（６−４）に従って算出されるべきＥＶ_Rを表す。

［第６算出方法］
第６算出方法を説明する。第６算出方法では、追尾対象に分類された画素から得られる特徴量のフレーム間相関に基づいて（換言すれば、フレーム間における追尾対象の特徴量の変化量に基づいて）、信頼度評価値ＥＶ_Rを算出する。具体的には、以下の式（６−６）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。但し、式（６−６）の右辺の値が負になる場合、ＥＶ_Rはゼロとされる。

ここで、ＶＡＬ（ｎ）は、第ｎ番目の追尾対象フレーム画像（即ち、図２７に示される時刻ｔ_nのフレーム画像）についての特徴量であり、ＶＡＬ（ｎ−１）は、第（ｎ−１）番目の追尾対象フレーム画像（即ち、図２７に示される時刻ｔ_n-1のフレーム画像）についての特徴量であり、ＶＡＬｂａｓｅは、予め設定された基準特徴量である。

上述したように、各追尾対象フレーム画像の全体領域は、追尾結果情報に基づき、追尾対象の画像データが表れる追尾対象領域及び背景の画像データが表れる背景領域に分類されるが、第ｉ番目の追尾対象フレーム画像における追尾対象領域の特徴量が、ＶＡＬ（ｉ）とされる（ここで、ｉはｎ又は（ｎ−１））。

特徴量ＶＡＬ（ｉ）は、追尾処理において追尾対象の識別に用いる特徴量と同じ種類の特徴量であっても良い。即ち具体的には例えば、第１実施形態で述べたように色情報に基づいて追尾対象の胴体領域の追尾が行われる場合、第ｉ番目の追尾対象フレーム画像における胴体領域の画像データに基づいて第ｉ番目の追尾対象フレーム画像における胴体領域の色（以下、第ｉの特徴色という）を求める。第１実施形態で述べた、初期設定用フレーム画像の画像データに基づいて追尾色を導出する方法を、第ｉ番目の追尾対象フレーム画像の画像データに基づいて第ｉの特徴色を導出する方法に利用することができる。そして、色空間（例えば、ＲＧＢ又はＨＳＶ色空間）上の、第ｉの特徴色の位置をＶＡＬ（ｉ）とする。この場合、式（６−６）における｜ＶＡＬ（ｎ）−ＶＡＬ（ｎ−１）｜は、色空間上における、第ｎの特徴色の位置と第（ｎ−１）の特徴色の位置との距離である。

特徴量ＶＡＬ（ｉ）は、追尾処理において追尾対象の識別に用いる特徴量と異なる種類の特徴量であっても良い。即ち具体的には例えば、第１実施形態で述べたように色情報に基づいて追尾対象の胴体領域の追尾が行われる場合、第ｉ番目の追尾対象フレーム画像における胴体領域の画像データに基づいて第ｉ番目の追尾対象フレーム画像における胴体領域の輝度レベル（以下、第ｉの輝度レベルという）を求める。第ｉ番目の追尾対象フレーム画像の胴体領域に属する各画素の平均輝度を、第ｉの輝度レベルとすることができる。そして、第ｉの輝度レベルをＶＡＬ（ｉ）とすればよい。この場合、式（６−６）における｜ＶＡＬ（ｎ）−ＶＡＬ（ｎ−１）｜は、第ｎ及び（ｎ−１）番目の追尾対象フレーム画像間における、追尾対象（胴体領域）の輝度差を表すこととなる。

尚、第ｎ番目の追尾対象フレーム画像よりも過去に得られた複数の追尾対象フレーム画像についての特徴量の平均又は加重平均を、式（６−６）のＶＡＬ（ｎ−１）に代入するようにしてもよい。即ち例えば、第（ｎ−１）及び（ｎ−２）番目の追尾対象フレーム画像についての特徴量の平均を、式（６−６）のＶＡＬ（ｎ−１）に代入するようにしてもよい。

追尾対象の特徴量が急激に変わるような追尾結果が得られた場合、その追尾結果の信頼性は疑わしい。これを考慮し、第６算出方法では、追尾対象の画像特徴を表す特徴量の変化量に基づいて信頼度評価値ＥＶ_Rを算出する。

［第７算出方法］
第７算出方法を説明する。第１実施形態で以下の技術を述べた。
追尾色の設定後、被演算画像としての追尾対象フレーム画像内に探索範囲及び追尾枠を設定し、追尾枠内における画像の色と追尾色との類似性評価を追尾枠の位置を探索範囲内で順次変更しながら実行することで追尾対象フレーム画像上における追尾対象の位置を検出することができる。
被演算画像の全体領域を複数の小ブロックに分解し（図７参照）、各小ブロックを被写体ブロック及び背景ブロックの何れかに分類することで、被演算画像の全体領域を被写体ブロック群の合成領域である追尾対象領域と背景ブロック群の合成領域である背景領域に分類することができる。
追尾色と第ｉの背景ブロックの色との相違度を色差評価値Ｃ_DIS［ｉ］として求めることができる。色差評価値Ｃ_DIS［ｉ］は、０以上１以下の値をとる。

第７算出方法では、この色差評価値Ｃ_DIS［ｉ］を利用し、以下の式（６−７）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。

式（６−７）の右辺におけるΣは、被演算画像における追尾対象の周辺領域に属する各背景ブロックの色差評価値の積算を意味している。被演算画像における追尾対象の周辺領域とは、例えば、当該被演算画像に対して設定された上記探索範囲から追尾対象領域を除外することで残る画像領域、或いは、該探索範囲よりも若干大きい若しくは小さい画像領域から追尾対象領域を除外することで残る画像領域、或いは、被演算画像の全体領域から追尾対象領域を除外することで残る画像領域を指す。今、追尾対象の周辺領域に第１〜第Ｒの背景ブロックが属しているものとする（Ｒは２以上の整数）。そうすると、式（６−７）に従うＥＶ_Rは、第１〜第Ｒの背景ブロックに対して算出された色差評価値Ｃ_DIS［１］〜Ｃ_DIS［Ｒ］の総和と、（１−ＣｏｌＡｒｅａ）との、積である。

ＣｏｌＡｒｅａは、追尾色と同じ又は類似する色を有する背景ブロックが、周辺領域に占める割合を表す。例えば、色差評価値Ｃ_DIS［ｉ］が所定の閾値以下である場合に、第ｉの背景ブロックが有する色は追尾色と同じ又は類似する色であると判断し、そうでない場合に、第ｉの背景ブロックが有する色は追尾色と非類似であると判断する。仮に、Ｒ＝１００であって、且つ、第１〜第１００の背景ブロックの内、第１〜第４０の背景ブロックのみが追尾色と同じ又は類似する色を有すると判断した場合、ＣｏｌＡｒｅａは、４０％である。

色情報に基づく追尾は、追尾対象の周辺領域の色が追尾色と大きく異なっていれば安定し、それらが似通っていれば不安定となる。また、色情報に基づく追尾は、追尾対象の周辺に追尾色の類似色が多く存在しているほど不安定となる。第７算出方法は、これらに対応した信頼度評価を提供する。

［第８算出方法］
第８算出方法を説明する。第８算出方法では、追尾対象の周辺の輝度に基づいて信頼度評価値ＥＶ_Rを算出する。例えば、図２８に示す如く、追尾対象の周辺領域における輝度が極段に低い又は極端に高い場合に、信頼度評価値ＥＶ_Rを低くする。

図２８に示す具体例では、追尾対象の周辺輝度レベルＬｓｒｄと所定の基準レベルＬ_TH1〜Ｌ_TH4とを比較し、不等式「Ｌｓｒｄ＜Ｌ_TH1」又は「Ｌ_TH4≦Ｌｓｒｄ」の成立時にはＥＶ_Rを０とし、不等式「Ｌ_TH1≦Ｌｓｒｄ＜Ｌ_TH2」の成立時にはＬｓｒｄがＬ_TH1からＬ_TH2に向かって増大するに従ってＥＶ_Rを０から１に向かって増大させ、不等式「Ｌ_TH2≦Ｌｓｒｄ＜Ｌ_TH3」の成立時にはＥＶ_Rを１とし、不等式「Ｌ_TH3≦Ｌｓｒｄ＜Ｌ_TH4」の成立時にはＬｓｒｄがＬ_TH3からＬ_TH4に向かって増大するに従ってＥＶ_Rを１から０に向かって減少させる。ここで、基準レベルＬ_TH1〜Ｌ_TH4は、不等式「０＜Ｌ_TH1＜Ｌ_TH2＜Ｌ_TH3＜Ｌ_TH4」を満たす。

周辺輝度レベルＬｓｒｄは、被演算画像における追尾対象の周辺領域の平均輝度を表す（即ち、該周辺領域に属する画素の輝度値の平均値である）。追尾対象の周辺領域の意義は、第７算出方法の説明において述べたものと同様である。追尾対象の周辺領域を第３実施形態で述べたＡＥ評価領域の全部又は一部とみなし、ＡＥ評価領域の輝度レベルを表すＡＥ評価値（第３実施形態参照）に基づいて周辺輝度レベルＬｓｒｄを算出するようにしてもよい。

色情報に基づく追尾処理において、周辺領域の輝度が極端に低い又は極端に高いと（例えば、いわゆる黒つぶれや白とびがあると）、光源の微妙な変化で色相が大きく変化するため、安定した追尾を実行しにくい。第８算出方法は、このような事情に対応した信頼度評価を提供する。

［第９算出方法］
第９算出方法を説明する。第９算出方法を利用する場合、図４等に示される追尾信頼度評価部５２は、追尾対象フレーム画像ごとに、追尾対象フレーム画像の画像データに基づいて追尾対象フレーム画像の光源の色温度を推定する（この推定を、追尾信頼度評価部５２以外の部位で行うことも可能である）。

色温度の推定方法として、公知の任意の推定方法を利用可能である。例えば、被演算画像内に小ブロック［ｍ，ｎ］を設けるのと同様に（図７参照）、注目した追尾対象フレーム画像内に複数の小ブロックを設定し、小ブロックごとに小ブロックの画像データに基づいて、当該小ブロックの色を彩度の比較的高い物体色又は彩度の比較的低い光源色に分類する。光源色に分類された色を有する小ブロックを光源色ブロックという。光源色ブロックごとに光源色ブロックのＲ、Ｇ及びＢ信号に基づいて光源の色温度を推定し、各光源色ブロックに対して推定された色温度の平均を、注目した追尾対象フレーム画像についての色温度として推定することができる。図２９に、追尾対象フレーム画像ごとに推定された色温度の分布の例を示す。

第９算出方法では、この推定色温度を利用し、以下の式（６−９）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。但し、式（６−９）の右辺の値が負になる場合、ＥＶ_Rはゼロとされる。

ここで、ＣＴｉは、被演算画像よりも前に得られた複数の追尾対象フレーム画像に対する推定色温度の分散であり、ＣＴｓｔｄは、予め設定された基準分散である。

分散ＣＴｉが大きいことは、追尾対象フレーム画像の撮影時における光源の色温度がよく変化することを表している。色情報に基づく追尾処理において、光源の色温度の変化が大きいと安定した追尾を実行しにくい。第９算出方法は、このような事情に対応した信頼度評価を提供する。

［第１０算出方法］
第１０算出方法を説明する。第１０算出方法では、追尾対象フレーム画像に含まれるノイズの大きさに基づいて信頼度評価値ＥＶ_Rを算出する。具体的には、以下の式（６−１０Ａ）〜（６−１０Ｃ）に従って、被演算画像に対する信頼度評価値ＥＶ_Rを算出する。但し、式（６−１０Ｂ）の右辺の値が負になる場合、ＮＲｔｇｔはゼロとされ、式（６−１０Ｃ）の右辺の値が負になる場合、ＮＲｓｒｄはゼロとされる。

被演算画像の追尾対象領域内に含まれる平坦部を第１平坦部と呼び、被演算画像の追尾対象の周辺領域内に含まれる平坦部を第２平坦部と呼ぶ。追尾対象の周辺領域の意義は、第７算出方法の説明において述べたものと同様である。σｔｇｔは、第１平坦部内の各画素の輝度値における標準偏差であり、σｓｒｄは、第２平坦部内の各画素の輝度値における標準偏差であり、σｂａｓｅは、予め設定された基準標準偏差である。

σｔｇｔそのもの又はσｔｇｔの正の平方根は、第１平坦部内の画像に含まれるノイズの大きさ又は第１平坦部内の画像の信号対雑音比を表している（σｓｒｄも同様）。故に、追尾対象領域及び／又は周辺領域に含まれるノイズの大きさが比較的大きいと、σｔｇｔ及び／又はσｓｒｄの減少を介して信頼度評価値ＥＶ_Rが減少する。

第１平坦部を、以下のようにして設定することができる。被演算画像の追尾対象領域内に所定の画像サイズを有する評価ブロックを設定し、評価ブロックの位置を追尾対象領域内で水平又は垂直方向に１画素ずつ移動させながら、移動の度に、評価ブロック内の各画素の輝度値の標準偏差を求める。これにより、複数の標準偏差が求められる。その複数の標準偏差の内の最小の標準偏差に対応する評価ブロックの位置を特定し、その位置に配置された評価ブロック内の画像領域を第１平坦部として設定する。第２平坦部の設定方法も同様である。第２平坦部の設定の際には、評価ブロックが追尾対象の周辺領域内に配置される。

追尾対象領域及び／又は周辺領域に含まれるノイズの大きさが大きければ、追尾の安定性が損なわれる。第１０算出方法は、このような事情に対応した信頼度評価を提供する。

信頼度評価値ＥＶ_Rの算出方法として第１〜第１０算出方法を個別に説明したが、第１〜第１０算出方法の内の２以上の算出方法を組み合わせた方法にて、信頼度評価値ＥＶ_Rを算出することも可能である。また、上述の第１〜第１０算出方法では、１枚の被演算画像に対する信頼度評価値ＥＶ_Rを算出するに当たりｎ_A枚の追尾対象フレーム画像を利用することを説明しているが（ｎ_Aは１以上の整数）、第１〜第１０算出方法において、矛盾なき限り、その算出に当たってｎ_B枚の追尾対象フレーム画像を利用するようにしても構わない（ｎ_Bは１以上の整数であって、ｎ_A≠ｎ_B）。

例えば、上述の第１算出方法の説明では、被演算画像としての時刻ｔ_nのフレーム画像に対する信頼度評価値ＥＶ_Rを算出するに当たり、時刻ｔ_nのフレーム画像の画像データのみを利用しているが、その算出に時刻ｔ_n及び時刻ｔ_n-1のフレーム画像の画像データを利用するようにしてもよい。即ち、より具体的には例えば、時刻ｔ_nのフレーム画像における追尾対象の大きさＴｇｔＳｉｚｅと時刻ｔ_n-1のフレーム画像における追尾対象の大きさＴｇｔＳｉｚｅとの平均を、上記式（６−１）のＴｇｔＳｉｚｅに代入することで、時刻ｔ_nのフレーム画像に対する信頼度評価値ＥＶ_Rを算出するようにしてもよい。

＜＜変形等＞＞
第１〜第６実施形態に記載した内容は、矛盾なき限り、互いに組み合わせて実施することも可能である。また、上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の各実施形態では、追尾対象が人物である場合を例示したが、追尾対象は人物以外でもよい。例えば、追尾対象を、自動車等の車両や移動するロボットとしてもよい。

［注釈２］
上述の各実施形態では、フレームを単位として考え、フレーム画像列に対して、顔検出処理や追尾処理を含む各種の処理を行っているが、フィールドを単位として考え、フィールド画像列に対して、それらの処理を行うようにしてもよい。

［注釈３］
追尾信頼度評価部５２によって評価された追尾信頼度を表す指標を、表示部１５に表示するようにしてもよい。その指標は、表示部１５に表示されるべき動画像と共に表示部１５に表示される。

［注釈４］
各実施形態に係る撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４、図１５、図１９及び図２３に示される各部位は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、実行する必要のある演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈５］
動画像の再生時において、図４の符号５１〜５４によって参照される部位を含む装置、及び、図２３の符号５１、５２及び１０１〜１０４によって参照される部位を含む装置は、夫々、画像再生装置として機能する。この画像再生装置に、撮像装置を形成する他の部位（表示部１５など）が含まれていると考えても構わない。この画像再生装置を、記録媒体１６の記録データを読み込み可能な、撮像装置の外部機器（不図示）によって実現してもよい。

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
１５ 表示部
１６ 記録媒体
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
５１ 追尾処理部
５２ 追尾信頼度評価部
５３ 切り出し処理部
５４ 解像度変換部
６３ 画角調整部
７３ 評価領域設定部
１０１ 画像取得部
１０２ 評価領域設定部
１０３ 評価値算出部
１０４ 画像加工部

Claims (10)

1. 順次撮影によって撮影画像列を表す信号を出力する撮像素子と、
   前記撮像素子の出力信号に基づき前記撮影画像列上における追尾対象の位置を順次検出することによって、前記撮影画像列上で前記追尾対象を追尾する追尾処理手段と、
   撮影画像ごとに、検出された前記位置に基づいて切り出し領域を前記撮影画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する或いは前記切り出し領域の位置及び大きさを表す切り出し情報を出力する切り出し処理手段と、
   前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備え、
   前記切り出し処理手段は、評価された前記度合いに応じて前記切り出し領域の大きさを変化させる
   ことを特徴とする撮像装置。
2. 前記切り出し処理手段は、前記度合いが比較的高いと評価されたときにおける前記切り出し領域の大きさを、前記度合いが比較的低いと評価されたときにおける前記切り出し領域の大きさよりも小さくする
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記切り出し処理手段は、評価された前記度合いと撮影画像上の前記追尾対象の大きさに基づいて、前記切り出し領域の大きさを設定する
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 順次撮影によって撮影画像列を表す信号を出力する撮像素子と、
   前記撮像素子の出力信号に基づき前記撮影画像列上における追尾対象の位置を順次検出することによって、前記撮影画像列上で前記追尾対象を追尾する追尾処理手段と、
   撮影における画角を調整する画角調整手段と、
   前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備え、
   前記画角調整手段は、評価された前記度合いに応じて前記画角を変化させる
   ことを特徴とする撮像装置。
5. 前記画角調整手段は、前記度合いが比較的高いと評価されたときに撮影画像上の前記追尾対象の大きさが比較的大きくなるように、且つ、前記度合いが比較的低いと評価されたときに撮影画像上の前記追尾対象の大きさが比較的小さくなるように、前記度合いに応じて前記画角を調整する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記画角調整手段は、評価された前記度合いと撮影画像上の前記追尾対象の大きさに基づいて、前記画角を設定する
   ことを特徴とする請求項４又は請求項５に記載の撮像装置。
7. 前記追尾評価手段は、前記撮影画像列を形成する撮影画像を被演算画像として受けて、前記被演算画像の全体領域を前記追尾対象が表れる追尾対象領域と前記追尾対象領域以外の背景領域に切り分け、前記追尾対象領域における画像特徴と前記背景領域における画像特徴との対比から前記度合いを評価する
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
8. 撮影対象を次々と撮影することにより得られた画像信号を記録手段から読み出すことによって、前記画像信号に基づく入力画像列を取得する画像取得手段と、
   前記入力画像列の画像信号に基づき前記入力画像列上における追尾対象の位置を順次検出することによって、前記入力画像列上で前記追尾対象を追尾する追尾処理手段と、
   入力画像ごとに、検出された前記位置に基づいて切り出し領域を前記入力画像内に設定し、前記切り出し領域内の画像を切り出し画像として抽出する切り出し処理手段と、
   前記入力画像列の画像信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備えて、切り出し画像列の画像信号を表示手段又は外部に出力する画像再生装置であって、
   前記切り出し処理手段は、評価された前記度合いに応じて前記切り出し領域の大きさを変化させる
   ことを特徴とする画像再生装置。
9. 順次撮影によって撮影画像列を表す信号を出力する撮像素子と、
   前記撮像素子の出力信号に基づき前記撮影画像列上における追尾対象の位置を順次検出することによって、前記撮影画像列上で前記追尾対象を追尾する追尾処理手段と、
   検出された前記位置に基づいて評価値収集領域を各撮影画像内に設定する領域設定手段と、
   各撮影画像における前記評価値収集領域内の画像信号に基づいて前記撮影画像列の取得条件を制御する取得条件制御手段と、
   前記撮像素子の出力信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備え、
   前記領域設定手段は、評価された前記度合いに応じて前記評価値収集領域の大きさを変化させる
   ことを特徴とする撮像装置。
10. 撮影対象を次々と撮影することにより得られた画像信号を記録手段から読み出すことによって、前記画像信号に基づく入力画像列を取得する画像取得手段と、
    前記入力画像列の画像信号に基づき前記入力画像列上における追尾対象の位置を順次検出することによって、前記入力画像列上で前記追尾対象を追尾する追尾処理手段と、
    検出された前記位置に基づいて評価値収集領域を各入力画像内に設定する領域設定手段と、
    各入力画像における前記評価値収集領域内の画像信号に基づいて前記入力画像列を加工した出力画像列を生成する出力画像生成手段と、
    前記入力画像列の画像信号に基づき、前記追尾処理手段による追尾の信頼性又は容易性の度合いを評価する追尾評価手段とを備えて、前記出力画像列の画像信号を表示手段又は外部に出力する画像再生装置であって、
    前記領域設定手段は、評価された前記度合いに応じて前記評価値収集領域の大きさを変化させる
    ことを特徴とする画像再生装置。