JP2017098843A - 撮像装置、物体追尾方法、及びプログラム - Google Patents

Abstract

【課題】追尾対象が画面から消えた際に、追尾対象を高速に追尾できる撮影装置、物体追尾方法、プログラムを提供することである。【解決手段】本発明に係る撮像装置は、画像フレームを入力し、追尾対象領域を設定し、追尾対象領域を追尾し、時系列で最後の画像フレームから一定時間後の追尾対象領域を予測し、予測された追尾対象領域より算出した特徴量と、追尾結果より算出した追尾対象領域の特徴量と、の類似度が所定の閾値よりも小さいとき、追尾失敗を判断し、複数の画像フレーム間において、予測された追尾対象領域と異なる数の追尾対象出現予測領域を設定し、設定された追尾対象出現予測領域より算出した特徴量と、複数の画像フレーム間で追尾された追尾対象出現予測領域の追尾結果より算出した特徴量と、の類似度が所定の閾値よりも大きいとき、追尾対象の追尾を再開できると判断することを特徴とする。【選択図】図１

Description

本発明は、撮像装置、物体追尾方法、及びプログラムに関する。

従来より、連続する時系列の画像フレームに写された動きのある物体を追尾し、その追尾結果に応じて撮像装置のフォーカス制御や露出制御を行う制御方法が提案されている。

カメラを用いて動く被写体を撮影するとき、被写体を正確にフォーカスし、露出を適切に設定する必要がある。撮影する被写体は必ずしも静止しているものに限らず、絶えず動いているものもあるため、そのような状況でもフォーカス性能を向上させるために、動いている被写体を捉え続ける追尾フォーカス機能を備えた撮像装置の開発が進んでいる。

しかし、動いている被写体の動きが速すぎるため、画面から被写体が消えてしまい、追尾失敗するケースがある。そのような場合には、画面に入った被写体を再び追尾し、被写体の状態を予測し、追尾フォーカスを行うことになるが、一連の処理に時間がかかり過ぎてしまい、フォーカス失敗するということが問題となっている。

係る問題を解決するために、一度画面から消えた被写体を追尾再開できる方法が公開されている。特許文献１には、一度画面から消えた被写体を追尾再開するために複数の追尾テンプレートを登録しておき、画面に現れた被写体と複数の追尾テンプレートと、のマッチングを行うことで追尾再開できる技術が公開されている。

また、特許文献２には、被写体が画面から消える直前に追尾した結果の位置と撮影条件を記録し、再び画面に現れた被写体を記録した位置と記録した撮影条件で、追尾再開する技術が公開されている。

しかし、特許文献１の追尾方法では、被写体を探すとき、全画面のテンプレートから再度画面に現れた被写体とのマッチング処理が必要になるため、膨大な処理時間がかかってしまう。被写体の検索に時間がかかってしまうことでフォーカス失敗の可能性も高まってしまう。また、特許文献２の追尾方法では、再度画面に出現する被写体が記録した位置付近にある場合に限って高速に追尾再開ができるが、記録した位置から離れた位置に被写体が再度出現した場合は、フォーカス失敗の可能性が高まってしまう。

つまり、画面から消えた被写体が再び画面に現れる位置などに左右されず、高速に追尾再開できることが課題となっている。

そこで、本発明は、上記課題に鑑みてなされたもので、その目的とするところは、追尾対象が画面から消えた際に、追尾対象を高速に追尾できる撮影装置、物体追尾方法、プログラムを提供することである。

係る目的を達成するために、本発明は、以下の特徴を有することとする。

本発明に係る撮像装置は、画像フレームを入力する画像入力手段と、入力された画像フレームにおいて追尾対象領域を設定する追尾対象領域設定手段と、設定された追尾対象領域を複数の画像フレーム間で追尾する追尾手段と、複数の画像フレーム間で追尾された追尾対象領域の追尾結果を用いて、複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の追尾対象領域を予測する追尾対象領域予測手段と、予測された追尾対象領域より算出した特徴量と、追尾結果より算出した追尾対象領域の特徴量と、の類似度が所定の閾値よりも小さいとき、追尾失敗を判断する追尾失敗判断手段と、追尾失敗の判断に基づいて、複数の画像フレーム間において、予測された追尾対象領域と異なる数の追尾対象出現予測領域を設定する追尾対象出現予測領域設定手段と、設定された追尾対象出現予測領域より算出した特徴量と、複数の画像フレーム間で追尾された追尾対象出現予測領域の追尾結果より算出した特徴量と、の類似度が所定の閾値よりも大きいとき、追尾対象の追尾を再開できると判断する追尾再開判断手段と、追尾再開の判断に基づいて、再び追尾対象を追尾する再追尾手段と、を備える、ことを特徴とする。

本発明によれば、追尾対象が画面から消えた際に、追尾対象を高速に追尾できる撮影装置、物体追尾方法、及びプログラムを提供することが可能となる。

本実施形態にかかる撮像装置のハードウェア構成図である。 本実施形態にかかる撮影装置の機能ブロック図である。 本実施形態にかかる画像フレームのイメージ図である。 本実施形態にかかる追尾対象の被写体のイメージ図である。 本実施形態にかかる追尾システムの流れを示す図である。 本実施形態にかかる追尾予測領域を示す図である。 本実施形態にかかる追尾失敗を示す図である。 本実施形態にかかる追尾対象の被写体が再度画面に現れた際のイメージ図である。 本実施形態にかかる追尾対象出現予測領域を示す図である。 本実施形態にかかる実施例のフローチャートである。

本発明を実施するための形態について図面を参照して説明する。図１は本実施形態の画像処理装置の一例である撮影装置２０のハードウェア構成図である。

図１に示すように、撮影装置２０は、被写体を撮影するための撮影光学系１、メカシャッタ２、ＣＣＤ３、ＣＤＳ回路４、Ａ／Ｄ変換器５、モータドライバ６、及びタイミング信号発生器７を備える。更に、撮影装置２０は、ＬＣＤ８、ＣＰＵ９、ＲＡＭ１０、ＲＯＭ１１、ＳＤＲＡＭ１２、圧縮伸張回路１３、メモリカード１４、操作部１５、画像処理回路１６を備える。

メカシャッタ２は、撮影光学系１とＣＣＤ３の間に配置され、撮影光学系１を通してＣＣＤ（Charge Coupled Device）３に入射する被写体光を遮断することができるようになっている。ＣＣＤ３は、撮像面を有し、この撮像面に結像された光学像をアナログの画像信号に変換するようになっている。

ＣＤＳ（Correlated Double Sampling）回路４は、ＣＣＤ３によって変換されたアナログの画像信号からノイズ成分を除去するようになっている。Ａ／Ｄ（アナログデジタル）変換器５は、ＣＤＳ回路４によってノイズ成分が除去されたアナログの画像信号をデジタルの画像信号、すなわち画像データに変換するようになっている。

モータドライバ６は、ＣＰＵ（Central Processing Unit）９の指示に基づいて、撮影光学系１及びメカシャッタ２を駆動し、撮影光学系１の位置を変動させたり、メカシャッタを開閉させたりするようになっている。

タイミング信号発生器７は、ＣＰＵ９の指示に基づいて、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５を動作させるためのタイミング信号を発生するようになっている。さらに、画像処理回路１６、圧縮伸張回路１３、メモリカード１４もＣＰＵ９によって制御されている。

画像処理回路１６は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２に、Ａ／Ｄ変換器５から出力された画像データを一時的に格納し、各種画像処理を画像データに施すようになっている。各種画像処理とは、例えば、YCrCb変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、及び色変換処理などである。さらに、画像処理回路１６は、各種画像処理が施された画像データが表す画像をＬＣＤ（Liquid Crystal Display：液晶ディスプレイ装置）８に表示させるようになっている。

ここで、ホワイトバランス制御処理は、画像データが表す画像の色の濃さを調整する画像処理であり、コントラスト補正処理は、画像データが表す画像のコントラストを調整する画像処理である。また、エッジ強調処理は、画像データが表す画像の鮮鋭度を調整する画像処理であり、色変換処理は、画像データが表す画像の色合いを調整する画像処理である。

ＲＯＭ（Read Only Memory）１１には、当該装置に後述の被写体追尾や動き予測を実行させるためのプログラムが記憶されている。ＣＰＵ９は、ＲＡＭ（Random Access Memory）１０を作業領域として、ＲＯＭ１１に記憶されたプログラムを実行する。

圧縮伸張回路１３は、操作部１５を介して入力された指示に応じて、画像処理回路１６によって各種画像処理が施された画像データを圧縮して、メモリカード１４に記憶するようになっている。また、圧縮伸張回路１３は、メモリカード１４から読み出した画像データを伸張して画像処理回路１６に出力するようになっている。

操作部１５は、ボタン、スイッチ、レバー、及びタッチパネル等によって構成されている。ここで、タッチパネルはＬＣＤ８上に設けられる。ボタンには、例えば電源ボタンやシャッターボタンなど周知の各種ボタンがある。

尚、シャッターボタンは、２段階設定となっており、ユーザが半押しすると半押し信号をＣＰＵ９に送信し、全押しすると全押し信号をＣＰＵ９に送信する。

ＬＣＤ８は、カラー表示が可能な液晶パネルと、タッチパネルとで構成されており、撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行う際のユーザインタフェース表示パネルとして利用される。ＬＣＤ８のタッチパネルはユーザによるタップ、ドラッグ操作等の入力を受け付けることができる。また、ＬＣＤ８は、必要に応じてモニタリング用のスルー画像を１／３０秒毎に１フレーム分表示し、画角確認用のファインダや、後述の追尾対象領域の設定にも利用される。

本実施の形態の画像処理装置で実行される画像処理プログラムは、後述する被写体追尾、動き予測機能を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ９が記憶媒体としてＲＯＭ１１から画像処理プログラムを読み出して実行することにより、後述の図３に示す各部が主記憶装置としてのＲＡＭ１０上にロードされ、物体を追尾、動き予測結果を出力するようになっている。

次に本実施形態の撮像装置２０の機能ブロック構成について図２を用いて説明する。撮像装置２０は、画像入力手段２１、追尾対象領域設定手段２２、追尾手段２３、追尾対象領域予測手段２４、追尾失敗判断手段２５、追尾対象出現予測領域設定手段２６、追尾再開判断手段２７、及び再追尾手段２８を備える。

＜動画像入力＞
撮像装置１の画像入力手段２１は、ＣＰＵ９及び画像処理回路１６によって構成され、撮像装置２０により撮影された動画像、若しくは複数の静止画から、連続する時系列の画像フレームのデータを順次入力する。例えば、撮像装置２０の画像処理回路１６から出力され、ＬＣＤ８に表示されるスルー画像の動画像データが撮像装置２０に入力される。

＜追尾対象領域設定＞
撮像装置１の追尾対象領域設定手段２２は、ＣＰＵ９、操作部１５、及びＬＣＤ８によって構成され、画像入力手段２１によって入力された画像フレーム上において被写体のフォーカス位置を含む追尾対象領域を設定する。例えば、図３に示す矩形ＡＢＣＤの黒枠を示す領域が追尾対象領域であり、最初の画像フレームをＦ₀としてＦ₁・・・のように一定間隔を置いて画像が入力されることになる。追尾対象領域の中心が被写体のフォーカス位置の中心となっている。また矩形ＡＢＣＤの黒枠の大きさは追尾対象領域のサイズを表している。追尾対象領域の位置（被写体位置）やサイズ（被写体サイズ）の設定は、例えばユーザが、シャッターボタンを半押しした状態で、操作部１５のボタンや、ＬＣＤ８のタッチパネルを操作することにより設定・変更可能である。

また、追尾対象領域設定手段２２は、追尾対象領域を設定した際のパラメータを被写体の状態Ｓ（ｘ、ｙ、Ｖｘ、Ｖｙ、Ｈｘ、Ｈｙ、Ｍ）としてＲＡＭ１０に記憶する。ここで、ｘ、ｙは図４において矩形の黒枠で示す被写体の追尾対象領域の位置である。Ｈｘ、Ｈｙは、それぞれ追尾対象領域の横と縦のサイズである。Ｖｘ、Ｖｙは、追尾対象領域がそれぞれ横方向と縦方向に動く速度であり、それらの初期値は０に設定される。Ｍは、追尾対象領域の変倍率であり、前画像フレームと現画像フレームでの追尾対象領域のサイズを比較した場合のサイズ変化率である。変倍率の初期値は０に設定される。

＜被写体追尾＞
撮像装置１の追尾手段２３は、ＣＰＵ９によって構成され、粒子フィルタ（Particle Filter）を用いて、前画像フレームから現画像フレームにかけて追尾対象領域の追尾を行う。粒子フィルタを用いれば、被写体の状態変化が非線形で、粒子の分布が非ガウシアンの場合でも、高精度な追尾が可能である。なお、物体追尾を行う方式としては、粒子フィルタに限らず、Mean Shift法やカルマンフィルタ（Kalman Filter）などを採用してもよい。

以下に説明するように、撮像装置１の追尾対象領域予測手段２４は、ＣＰＵ９によって構成され、複数の画像フレーム間での追尾結果を用いて、複数の画像フレームで、時系列で最後の画像フレームから一定時間後の追尾対象領域を予測する。追尾対象領域の状態に対して図５に示すように、動き予測、観測による予測の評価と重み計算、及び重み計算結果による予測の修正の処理を繰り返し行う。ここで重みとは、複数の予測領域の中で追尾対象の状態にかかる係数であり、各予測領域の状態を示す特徴量である。つまり、この重み係数が大きいほど追尾対象領域の追尾予測が適格に行われていると判断することができる。

＜１．動き予測＞
被写体の状態予測は、下記の式（１）に示す公知の状態変化モデルを用いて行う。

上記の式（１）は、状態Ｓｋ-1から次の状態Ｓｋまでの状態変化を表している。ここで上記動き予測の場合、状態遷移は以下のようになっている。

上記の式（２）〜（８）を用いてｋ−１の状態からｋの状態を予測する。

＜２．観測＞
次に、動き予測で得られた状態Ｓに対して、式（９）の状態観測式を用いて観測を行う。

式（９）において、Ｚｋは状態Ｓｋの観測データを表している。ここで、観測データは追尾対象領域内のカラーヒストグラムの形で表現されるとする。カラーヒストグラムの計算式は式（１０）として後述する。

ここで、追尾対象領域はＩ個の画素からなっているとする。ｘｉはｉ番目の画素の画素位置を示している。ｙは追尾対象領域の中心の画素位置を指している。
ｈ（ｘｉ）はｉ番目の画素のカラー画素であり、ｕは例えば０〜２５５までの輝度値である。

ここで、式（１１）に後述するｋ（ｒ）はカラーヒストグラムを計算するためのカーネル関数である。式（１０）において、カーネル関数ｋ（ｒ）は、画素位置ｙと画素位置ｘｉが一致した場合に最大値を示す。これにより、式（１０）において追尾対象領域の周辺の影響を少なくして、追尾対象領域における輝度値ｕの画素の個数を求めることができる。

図５に示す動き予測と観測により、被写体追尾を行う。ここでは、図６に示すようなＮ個の予測領域、すなわちＮ個の予測状態Ｓｋ⁽ⁱ⁾を用いて追尾処理を行う。Ｎ個の予測領域を評価し、それぞれの重み係数を求める。求めた重み係数を用いた加重平均が式（１２）に示す追尾結果Ｓｋとなる。

以下、重み係数の計算について説明する。式（１２）に示す予測領域の分布について、ランダムサンプリングした形にする。各予測領域の矩形位置の予測は、式（１）のＳｋをＳｋ⁽ⁱ⁾として、Ｓｋ-1をＳｋ-1⁽ⁱ⁾として置き換えた式と、式（２）〜（８）にランダム変数を加えた式（１３）〜（１９）とを用いて行う。式（１３）〜（１９）中のｒ₁〜ｒ₇はガウシアンランダム変数である。

式（１３）〜（１９）により、各予測領域の状態Ｓｋ⁽ⁱ⁾の予測ができる。次に予測したＳｋ⁽ⁱ⁾の重み係数πⁱを計算する方法を説明する。
ここでは、被写体の追尾対象領域について式（１０）を用いて計算したヒストグラムｐをモデルとして使用する。さらに、予測したＮ個の予測領域のカラーヒストグラムをそれぞれｑとして、式（２０）に示すBhattacharyya係数を計算する。この係数は被写体の追尾対象領域のカラーヒストグラムｐと、予測したある予測領域のカラーヒストグラムｑとの類似度を表す。この値が大きければ大きいほど、２つのヒストグラムの類似度が高いことを意味する。式（２０）において、ｍは輝度値ｕの個数（例えば２５６）を表している。

Bhattacharyya係数を用いて、式（２１）で重み係数πⁱを計算する。

計算した重み係数πⁱと予測したＳｋ⁽ⁱ⁾を用いて、式（１２）で粒子フィルタによる追尾結果領域の状態を計算する。

＜３．修正＞
式（１２）を用いて予測領域の予測を行うと、式（１２）において、重みの小さい予測領域の寄与が少なくなり、重みの大きい予測領域の寄与が多くなっていく。つまり、有効な予測領域の数が減少していく。これを防ぐため、重み係数の小さい予測領域を削除し、重み係数の大きい粒子を再サンプリングして複製する。この処理により、Ｎ個の予測領域を効果的に利用することができる。

上記計算において、追尾領域の予測を行うことができるが、例えば、追尾対象である被写体の動きが速く、シャッターボタンを半押ししてから全押しするまでの間に、図７のように追尾対象が画面上から消えてしまったり、また他の物体などに隠れてしまったりする場合が起こることがある。

撮像装置１の追尾失敗判断手段２５は、ＣＰＵ９によって構成され、予測された追尾対象領域より算出した特徴量と、追尾結果より算出した追尾対象領域の特徴量と、の類似度が所定の閾値よりも小さいとき、追尾失敗を判断する。追尾失敗を判断する際には、追尾結果を用いて算出された追尾対象領域のモデルのカラーヒストグラムの値と、予測された追尾対象領域のカラーヒストグラムの値と、の類似度を算出する。

更に算出された類似度より、式（２１）のπⁱがＲＡＭ１０などに記憶されている所定の閾値よりも小さい場合に、追尾失敗を判断する。

撮像装置１の追尾対象出現予測領域設定手段２６は、ＣＰＵ９によって構成され、追尾失敗判断手段により追尾失敗と判断された際に、画像フレーム間で複数の予測された追尾対象領域を追尾対象出現予測領域として張り巡らせる。追尾対象出現予測領域は、追尾対象領域予測手段２４で追尾予測した時と同様に、式（１３）〜（１９）で予測領域をランダムサンプリングさせて算出を行う。

尚、この時張り巡らせる追尾対象出現予測領域の数は、追尾対象領域予測手段２４で設定された追尾対象領域の数Ｎ個よりも少ない数Ｎ１個であることが好ましい。つまり、追尾対象が再度画像フレームに出現するエリアを全画面フレームからある程度限定することができると想定されるためである。追尾対象領域を張り巡らせるエリアをある程度限定できることで、追尾対象が再度画像フレームに現れた際に、より速く追尾対象の追尾を再開できることになる。また、追尾対象出現予測領域は追尾対象領域の数Ｎ個よりも多く設定するような構成も可能である。

撮像装置１の追尾再開判断手段２７は、ＣＰＵ９によって構成され、設定された追尾対象出現予測領域より算出した特徴量と、前記複数の画像フレーム間で追尾された前記追尾対象出現予測領域の追尾結果より算出した特徴量と、の類似度が所定の閾値よりも大きいとき、前記追尾対象の追尾を再開できると判断する。図８は一時画面フレームから消えた追尾対象が再び画像フレームに現れたイメージ図である。このときの追尾対象出現予測領域の数は、追尾失敗を判断する以前での追尾対象領域予測手段２４で予測する追尾対象領域の数よりも少ないことが好ましい。

追尾対象出現予測領域設定手段２６により、図９の９０２のように複数の追尾対象出現予測領域が張り巡らされている。ここで追尾対象の追尾を再開するために、再追尾初期位置を決めることになる。複数の追尾対象出現予測領域において、例えば追尾失敗する直前の追尾結果を用いて算出された追尾対象領域のカラーヒストグラムの値と、予測された追尾対象出現予測領域のカラーヒストグラムの値と、の類似度より算出された再追尾結果、重み係数がＲＡＭ１０などに記憶されている所定の閾値よりも大きい追尾対象出現予測領域を、再追尾初期位置として決定するなどの手法がある。

撮像装置１の再追尾手段２８は、ＣＰＵ９によって構成され、追尾再開の判断に基づいて、再び前記追尾対象を追尾する。追尾再開により追尾手段２３からの手順で追尾を再開していくことになるが、追尾失敗した際には、予測する追尾対象領域の数Ｎ２個は追尾対象領域予測手段２４で予測していた数Ｎ個よりも多くすることが好ましい。処理に時間がかかるが、より高い精度で追尾することが可能となる。勿論、追尾対象領域予測手段２４で予測していた数と同数のままでも問題ないことは言うまでもない。

次に、本実施の形態の撮像装置２０が実行する物体追尾における一連の処理について、図１０のフローチャートを用いて説明する。ユーザによりシャッターボタンが半押しされたことを契機として、ステップ１以下の処理が実行される。

まずステップ１において、画像入力手段２１によって、撮像装置２０により撮影された動画像、若しくは複数の静止画から、時系列の画像フレームのデータが入力される。例えば、撮像装置２０のＬＣＤ８に表示されるスルー画像の動画像データが逐次入力される。

次に、ステップ２において、追尾対象領域設定手段２２によって、画像フレームＦ（ｋ−１）について被写体の追尾対象領域が設定される。

次に、ステップ３において、追尾手段２３、および追尾対象領域予測手段２４によって、追尾対象領域の特徴量が計算される。ここでは、例えば式（１０）により追尾対象領域のカラーヒストグラムが特徴量として計算される。

次に、ステップ４において、追尾対象領域予測手段２４によって、画像フレームＦ（ｋ−１）の次の画像フレームＦ（ｋ）における追尾結果領域の候補が式（１３）〜（１９）により探索される。

次に、ステップ５において、追尾失敗判断手段２５によって、画像フレームＦ（ｋ）における追尾結果により、追尾失敗を判断する。追尾失敗の判断基準は、追尾結果を用いて算出された追尾対象領域のモデルのカラーヒストグラムの値と、予測された追尾対象領域のカラーヒストグラムの値と、の類似度が所定の閾値よりも大きいか小さいかで判断される。

次に、ステップ６において、追尾失敗判断手段２５により追尾失敗と判断されると、追尾対象出現予測領域設定手段２６によって、式（１３）〜（１９）で予測領域をランダムサンプリングさせて追尾対象出現予測領域が設定される。

次に、ステップ７において、追尾対象出現予測領域設定手段２６によって設定された複数の追尾対象出現予測領域より、追尾再開する初期位置である再追尾初期位置が決定される。例えば追尾失敗する直前の追尾結果を用いて算出された追尾対象領域のカラーヒストグラムの値と、予測された追尾対象出現予測領域のカラーヒストグラムの値と、の類似度が所定の閾値よりも大きいときに追尾再開が可能であると判断され、再追尾初期位置が決定される。

次にステップ８において、追尾対象出現予測領域設定手段２６、および追尾再開判断手段２７に基づいて、決定された再追尾初期位置より追尾を再開する。

次にステップ９において、追尾失敗判断手段２５によって、画像フレームＦ（ｋ）における追尾結果により、追尾失敗と判断されなかった場合、追尾結果を所定のプログラムに従って出力する。

以上、本実施を好適な形態で行う実施例を説明した。ここでは特定の具体例を示して説明を行ったが、特許請求の範囲の趣旨及び範囲から逸脱しない範囲で、本具体例の様々な修正、および形態変更などが可能である。

以上、本発明により、追尾対象が画面から消えた際に、追尾対象を高速に追尾できる撮影装置、物体追尾方法、及びプログラムを提供することができると確信する。

本願発明を実現できるような構成であれば、用いる装置の具備する内容、および装置の数量などは本実施例に限定されない。

２１ 画像入力手段
２２ 追尾対象領域設定手段
２３ 追尾手段
２４ 追尾対象領域予測手段
２５ 追尾失敗判断手段
２６ 追尾対象出現予測領域設定手段
２７ 追尾再開判断手段
２８ 再追尾手段

特開２００９−２２９５８５号公報 特開２００９−１７５４４２号公報

Claims (7)

1. 画像フレームを入力する画像入力手段と、
   入力された前記画像フレームにおいて追尾対象領域を設定する追尾対象領域設定手段と、
   前記設定された追尾対象領域を複数の前記画像フレーム間で追尾する追尾手段と、
   前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の追尾対象領域を予測する追尾対象領域予測手段と、
   前記予測された追尾対象領域より算出した特徴量と、前記追尾結果より算出した前記追尾対象領域の特徴量と、の類似度が所定の閾値よりも小さいとき、追尾失敗を判断する追尾失敗判断手段と、
   前記追尾失敗の判断に基づいて、前記複数の画像フレーム間において、前記予測された追尾対象領域と異なる数の追尾対象出現予測領域を設定する追尾対象出現予測領域設定手段と、
   前記設定された追尾対象出現予測領域より算出した特徴量と、前記複数の画像フレーム間で追尾された前記追尾対象出現予測領域の追尾結果より算出した特徴量と、の類似度が所定の閾値よりも大きいとき、前記追尾対象の追尾を再開できると判断する追尾再開判断手段と、
   前記追尾再開の判断に基づいて、再び前記追尾対象を追尾する再追尾手段と、
   を備える、
   ことを特徴とする撮像装置。
2. 前記追尾失敗判断手段は、前記予測された追尾対象領域より算出した前記追尾対象領域の画素分布を示すカラーヒストグラムと、前記追尾結果より算出した前記追尾対象領域の画素分布を示すカラーヒストグラムと、の類似度が所定の閾値よりも小さいとき、前記追尾失敗を判断する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記追尾対象出現予測領域設定手段は、前記予測された追尾対象領域の数よりも少ない数の前記追尾対象出現予測領域を設定する、
   ことを特徴とする請求項１、又は２に記載の撮像装置。
4. 前記追尾対象出現予測領域設定手段は、前記予測された追尾対象領域の数よりも多い数の前記追尾対象出現予測領域を設定する、
   ことを特徴とする請求項１、又は２に記載の撮像装置。
5. 前記追尾再開手段は、前記設定された追尾対象出現予測領域より算出した前記追尾対象出現予測領域の画素分布を示すカラーヒストグラムと、前記複数の画像フレーム間で追尾された前記追尾対象出現予測領域の追尾結果より算出した前記追尾対象出現予測領域のカラーヒストグラムと、の類似度が所定の閾値よりも大きいとき、前記追尾対象の追尾を再開する、
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 画像フレームを入力するステップと、
   入力された前記画像フレームにおいて追尾対象の追尾対象領域を設定するステップと、
   前記設定された追尾対象領域を複数の前記画像フレーム間で追尾するステップと、
   前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の追尾対象領域を予測するステップと、
   前記予測された追尾対象領域より算出した特徴量と、前記追尾結果より算出した前記追尾対象領域の特徴量と、の類似度が所定の閾値よりも小さいとき、追尾失敗を判断するステップと、
   前記追尾失敗の判断に基づいて、前記複数の画像フレーム間において、前記予測された追尾対象領域と異なる数の追尾対象出現予測領域を設定するステップと、
   前記設定された追尾対象出現予測領域より算出した特徴量と、前記複数の画像フレーム間で追尾された前記追尾対象出現予測領域の追尾結果より算出した特徴量と、の類似度が所定の閾値よりも大きいとき、前記追尾対象の追尾を再開できると判断するステップと、
   前記追尾再開の判断に基づいて、再び前記追尾対象を追尾するステップと、
   を有する、
   ことを特徴とする物体追尾方法。
7. 画像フレームを入力する工程と、
   入力された前記画像フレームにおいて追尾対象の追尾対象領域を設定する工程と、
   前記設定された追尾対象領域を複数の前記画像フレーム間で追尾する工程と、
   前記複数の画像フレーム間で追尾された前記追尾対象領域の追尾結果を用いて、前記複数の画像フレームのうち時系列で最後の画像フレームから一定時間後の追尾対象領域を予測する工程と、
   前記予測された追尾対象領域より算出した特徴量と、前記追尾結果より算出した前記追尾対象領域の特徴量と、の類似度が所定の閾値よりも小さいとき、追尾失敗を判断する工程と、
   前記追尾失敗の判断に基づいて、前記複数の画像フレーム間において、前記予測された追尾対象領域と異なる数の追尾対象出現予測領域を設定する工程と、
   前記設定された追尾対象出現予測領域より算出した特徴量と、前記複数の画像フレーム間で追尾された前記追尾対象出現予測領域の追尾結果より算出した特徴量と、の類似度が所定の閾値よりも大きいとき、前記追尾対象の追尾を再開できると判断する工程と、
   前記追尾再開の判断に基づいて、再び前記追尾対象を追尾する工程と、
   をコンピュータに実行させることを特徴とするプログラム。

Images