JP2008123416A - 被写体追跡プログラム、被写体追跡装置、およびカメラ - Google Patents

Abstract

【課題】テンプレートマッチングを行ってフレーム間で被写体を追跡すること。
【解決手段】テンプレートマッチング部１０４ａは、入力画像の各フレームに対して、複数のテンプレート画像のそれぞれを用いてテンプレートマッチングを行って、複数のテンプレート画像のそれぞれと最も類似度が高い複数の領域をマッチング結果として入力画像内から抽出する。そして、マッチング結果として抽出した複数の領域を、各領域の入力画像内における距離に基づいて、入力画像内における被写体位置を特定するために用いる領域とそれ以外の領域とに分類し、被写体位置を特定するために用いる領域として分類された領域の入力画像内における位置に基づいて被写体位置を特定する。被写体追跡部１０４ｂは、被写体位置をフレーム間で追跡することによって、複数フレームの画像間で被写体の動きを追跡する。
【選択図】図１

Description

本発明は、複数のフレーム間で被写体の追跡を行う被写体追跡プログラム、被写体追跡装置、およびカメラに関する。

次のような物体追跡装置が知られている。この物体追跡装置は、入力される各フレームの画像を、あらかじめ用意したテンプレート画像を用いてマッチング処理することによって、画像内に存在する被写体をフレーム間で追跡するものである（例えば、特許文献１）。

２００１−６０２６９号公報

しかしながら、従来の装置では、入力される各フレームの画像の時間的な変化が激しい場合には、擬似マッチングが発生しやすく、被写体の追跡精度が低下する可能性があった。

本発明は、入力画像の各フレームに対して、複数のテンプレート画像のそれぞれを用いてテンプレートマッチングを行って、入力画像内から複数のテンプレート画像のそれぞれと最も類似度が高い複数の領域を抽出し、抽出した複数の領域を、各領域間の入力画像内における距離に基づいて、入力画像内における被写体位置を特定するために用いる領域と、それ以外の領域とに分類し、被写体位置を特定するために用いる領域として分類された領域の入力画像内における位置に基づいて、被写体位置を特定し、被写体位置をフレーム間で追跡することによって、複数フレームの画像間で被写体の動きを追跡することを特徴とする。
本発明では、被写体位置を特定するために用いる領域内に設定した代表点間の重心位置を被写体位置として特定してもよい。
また、本発明を、複数のテンプレート画像のそれぞれは、異なる時間に撮影された複数の更新用テンプレート画像を含むように構成することもできる。この場合、マッチング結果が更新用テンプレート画像を更新するための更新条件を満たすか否かを判断し、更新条件を満たすと判断したときに、更新用テンプレート画像の少なくとも１枚を更新する。
本発明による被写体追跡プログラムでは、上述した特徴的な方法をコンピュータで実行する。また、本発明による被写体追跡装置では、その被写体追跡プログラムを実行することにより、被写体を追跡する。さらに、本発明によるカメラでは、撮像して得られた画像を用いて、上記被写体追跡装置により被写体を追跡する。

本発明によれば、精度の高い被写体追跡を行うことができる。

―第１の実施の形態―
図１は、第１の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。

入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズスイッチやデジタルカメラ１００を操作するための種々の操作ボタンが含まれる。

レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳが用いられ、レンズ１０２を通して入力される被写体像を撮像して、撮像して得た画像データを制御装置１０４へ出力する。なお、第１の実施の形態におけるカメラ１００においては、撮像素子１０３は、使用者による入力スイッチ１０１に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０６に出力して表示し、さらにメモリカードスロット１０５に挿入されているメモリカード内に記憶する。

制御装置１０４は、テンプレートマッチング部１０４ａと、被写体追跡部１０４ｂとを機能的に有している。そして、これらの各部による処理によって、撮像素子１０３から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡することができる。この追跡結果は、フレーム間で被写体を追跡する必要がある処理、例えば、カメラ１００が有する自動焦点調節機能（ＡＦ機能）や自動露出調節機能（ＡＥ機能）などを実現するための処理に用いられる。以下、撮像素子１０３から動画像データが入力された場合のフレーム間での被写体追跡処理について説明する。

テンプレートマッチング部１０４ａは、テンプレートマッチング処理の基準となる複数のテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば相互相関法や残差逐次検定法などの手法を用いればよい。

テンプレートマッチング部１０４ａは、ターゲット画像上にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部１０４ａは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像との類似度が最も高い所定領域（マッチング領域）をマッチング結果として抽出する。そして、マッチング結果に基づいて、ターゲット画像内における被写体の位置（被写体位置）を特定する。

被写体追跡部１０４ｂは、テンプレートマッチング部１０４ａによって特定された被写体位置をフレーム間で追跡することによって、撮像素子１０３から入力される動画像データ内で追跡対象の被写体を追跡する。

第１の実施の形態では、単一の被写体を追跡するために複数のテンプレート画像を用いる。この複数のテンプレート画像は、使用者によって撮影された追跡対象とする被写体を含む画像の中から抽出され、あらかじめ準備されている。例えば、ターゲット画像内の人物の顔の動きをフレーム間で追跡する場合には、図２に示すように、使用者は追跡対象の被写体としての人物の顔を含むテンプレート抽出用画像２ａをあらかじめ撮影しておく。

そして、テンプレート抽出用画像２ａ内に追跡対象とする人物の顔を含む矩形枠２０１を設定し、これを１枚目のテンプレート画像（テンプレート画像２０１）とする。また、テンプレート抽出用画像２ａ内に、追跡対象とする人物の顔を含み、さらに矩形枠２０１よりも大きい矩形枠２０２、例えば面積が矩形枠２０１の２倍となる矩形枠２０２を設定して、これを２枚目のテンプレート画像（テンプレート画像２０２）とする。また、テンプレート抽出用画像２ａ内に、追跡対象とする人物の顔を含み、さらに矩形枠２０１よりも小さい矩形枠２０３、例えば面積が矩形枠２０１の１／２倍の大きさとなる矩形枠２０３を設定して、これを３枚目のテンプレート画像（テンプレート画像２０３）とする。このとき、テンプレート画像２０１〜２０３は、それぞれテンプレート抽出用画像２ａからはみ出さない範囲で抽出される。

なお、テンプレート抽出用画像２ａからのテンプレート画像２０１〜２０３の抽出は、あらかじめ使用者が手作業で行ってもよく、テンプレートマッチング部１０４ａがテンプレート抽出用画像２ａを読み込んで自動的に行ってもよい。

テンプレートマッチング部１０４ａは、撮像素子１０３から動画像データの入力が開始されると、各フレームの画像をターゲット画像とし、このターゲット画像とテンプレート画像２０１〜２０３の３枚のテンプレート画像のそれぞれとをマッチング処理してテンプレートマッチングを行う。すなわち、テンプレートマッチング部１０４ａは、ターゲット画像内に各テンプレート画像と同じ大きさのターゲット領域を設定し、各テンプレート画像と、各テンプレート画像と同じ大きさのターゲット領域内の画像とをテンプレートマッチングする。

そして、テンプレートマッチング部１０４ａは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像２０１との類似度が最も高いターゲット領域、テンプレート画像２０２との類似度が最も高いターゲット領域、およびテンプレート画像２０３との類似度が最も高いターゲット領域をマッチング結果として抽出する。その結果、例えば図３に示すように、テンプレートマッチング部１０４ａは、テンプレート画像２０１のマッチング結果としてマッチング領域３０１を抽出する。また、テンプレート画像２０２のマッチング結果としてマッチング領域３０２を抽出し、テンプレート画像２０３のマッチング結果としてマッチング領域３０３を抽出する。

そして、テンプレートマッチング部１０４ａは、３つのテンプレート画像のマッチング結果として抽出した３つのマッチング領域を、後述する処理で被写体位置を特定するために用いる領域（被写体位置特定用領域）と、それ以外の領域とに分類する。本実施の形態では、３つのマッチング領域を、それぞれの領域間の距離に基づいて分類する場合について説明する。

具体的には、テンプレートマッチング部１０４ａは、３つのテンプレート画像のマッチング結果として抽出した３つのマッチング領域のうち、マッチング領域間の距離が近い２つのマッチング領域を被写体位置特定用領域に分類する。例えば、図３に示す例では、領域間の距離が近いマッチング領域３０２とマッチング領域３０３とを被写体位置特定用領域に分類する。これによって、追跡対象の被写体である人物の顔を捉えているマッチング領域３０２および３０３を被写体位置特定用領域とすることができ、追跡対象の被写体である人物の顔から外れているマッチング領域３０１は、被写体位置特定用領域から除外することができる。

テンプレートマッチング部１０４ａは、被写体位置特定用領域として採用（選択）した２つのマッチング領域に基づいて、追跡対象の被写体のターゲット画像３ａ内における位置、すなわち被写体位置を特定する。具体的には、テンプレートマッチング部１０４ａは、図４に示すように、被写体位置特定用領域として採用したマッチング領域３０２の中心点４ａと、マッチング領域３０３の中心点４ｂとをそれぞれのマッチング領域の代表点として設定し、代表点間の重心位置４ｃを被写体位置として特定する。

なお、この被写体位置特定方法はあくまでも一例であり、テンプレートマッチング部１０４ａは、その他の方法で被写体位置を特定してもよい。例えば、マッチング領域３０２とマッチング領域３０３の左上、左下、右上、右下のいずれかの点をそれぞれ結ぶ直線の中央点を被写体位置として特定してもよい。また、重心位置４ｃを被写体位置とせずに、重心位置４ｃを中心とした所定領域を被写体位置として特定してもよい。

図５は、第１の実施の形態におけるカメラ１００の処理を示すフローチャートである。図５に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると、制御装置１０４がメモリに記憶されている被写体追跡プログラムを起動することによって実行される。

ステップＳ１０において、テンプレートマッチング部１０４ａは、上述したように、３枚のテンプレート画像のそれぞれと、ターゲット画像３ａ内に設定したターゲット領域とをマッチング処理して、それぞれのテンプレート画像に対するマッチング結果を得る。その後、ステップＳ２０へ進み、３つのテンプレートのマッチング結果として抽出した３つのマッチング領域のうち、マッチング領域間の距離が近い２つのマッチング領域を被写体位置特定用領域とすることで、マッチング領域を被写体特定用領域とそれ以外の領域とに分類する。その後、ステップＳ３０へ進む。

ステップＳ３０では、テンプレートマッチング部１０４ａは、上述したように、被写体位置特定用領域として採用した２つのマッチング領域に基づいて、追跡対象の被写体のターゲット画像３ａ内における位置、すなわち被写体位置を特定する。その後、ステップＳ４０へ進み、被写体追跡部１０４ｂは、テンプレートマッチング部１０４ａで特定したターゲット画像３ａ内における被写体位置をフレーム間で追跡して、撮像素子１０３から入力される動画像データ内で追跡対象の被写体を追跡して、ステップＳ５０へ進む。

ステップＳ５０では、撮像素子１０３からの動画像データの入力が終了したか否かを判断する。動画像データの入力が終了していないと判断した場合にはステップＳ１０へ戻って処理を繰り返す。これに対して、動画像データの入力が終了したと判断した場合には処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）テンプレートマッチング部１０４ａは、大きさの異なる複数のテンプレート画像を用いてテンプレートマッチングを行い、入力画像内から各テンプレートごとのマッチング領域を抽出する。そして、マッチング領域間の距離に基づいて、抽出したマッチング領域を被写体位置特定用領域とそれ以外の領域とに分類し、被写体位置特定用領域の入力画像内の位置に基づいて、入力画像内における被写体位置を特定するようにした。被写体追跡部１０４ｂは、特定された被写体位置をフレーム間で追跡することで、フレーム間での被写体の動きを追跡するようにした。これによって、複数のテンプレートによるマッチング結果の中から、被写体位置を特定するために用いるマッチング領域のみを抽出して被写体位置を特定することができ、精度高く被写体位置を特定することができる。これに伴って精度の高い被写体追跡を行うことができる。

（２）被写体位置特定用領域の代表点間の重心位置を入力画像内における被写体位置として特定するようにした。これによって、簡易な演算で被写体位置を特定することができる。

―第２の実施の形態―
第２の実施の形態では、第１の実施の形態で上述したテンプレート画像２０１〜２０３のそれぞれを更新しながら、撮像素子１０３から入力される動画像データ内で追跡対象の被写体を追跡する場合について説明する。なお、図２〜図４については、第１の実施の形態と同様のため説明を省略する。

テンプレート画像を用いたマッチング処理を行って、動画像データに含まれる追跡対象の被写体を追跡する場合、追跡対象の被写体が動いている場合には、被写体の形状がフレーム間で変化する。このため、あらかじめ準備したテンプレート画像を継続して使用した場合には、被写体形状の変化に伴って各テンプレート画像とターゲット領域内の画像との類似度が次第に低下していくことになる。これに伴って、被写体追跡部１０４ｂによる被写体追跡の精度が次第に低下していく可能性が高い。したがって、第２の実施の形態では、被写体の動きに応じてテンプレート画像を逐次更新することによって、被写体の形状が時々刻々変化する場合でもテンプレートマッチングの精度を向上させて、精度高く物体の追跡を行えるようにする。

図６は、第２の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。なお、図６においては、第１の実施の形態で図１に示したブロック図と同じ構成要素には同じ符号を付加し、相違点を中心に説明する。

制御装置１０４は、テンプレート更新部１０４ｃをさらに有している。テンプレート更新部１０４ｃは、後述するように、テンプレートマッチングに使用するテンプレート画像が所定の更新条件を満たした場合に、テンプレート画像を置き換えて更新する。本実施の形態では、第１の実施の形態で上述した、大きさが異なる３枚のテンプレート画像２０１〜２０３のそれぞれごとに、追跡対象とする被写体を異なる時刻に撮影した複数の画像を用意し、これらの画像をテンプレート画像とする。

すなわち、図２に示したように、テンプレート抽出用画像２ａ内に追跡対象とする人物の顔を含む矩形枠２０１を設定し、これをテンプレート画像２０１とする。さらに、異なる時間に撮影したテンプレート抽出用画像２ａ内に追跡対象とする人物の顔を含む矩形枠２０１を設定し、これもテンプレート画像２０１とする。このように、異なる時間に撮影したテンプレート抽出用画像２ａを複数取得して、それぞれのテンプレート抽出用画像２ａからテンプレート画像２０１を抽出することによって、異なる時間に撮影した複数枚のテンプレート画像２０１を用意することができる。同様に、テンプレート画像２０２および２０３についても、異なる時間に撮影した複数枚のテンプレート画像（更新用テンプレート画像）を用意する。

本実施の形態では、テンプレート画像２０１〜２０３として、それぞれ異なる時間に撮影した４枚の画像を使用する場合について説明し、それぞれのテンプレート画像を区別するために各テンプレート画像に次の（Ａ）〜（Ｄ）ように名前を付ける。なお、（Ａ）〜（Ｄ）では、代表してテンプレート画像２０１を例に説明する。

（Ａ）ＩＮＩＴＩＡＬ
４枚のテンプレート画像２０１の中で、最も時間的に前に撮影されたテンプレート抽出用画像２ａから抽出したテンプレート画像２０１を「ＩＮＩＴＩＡＬ」と呼ぶ。

（Ｂ）ＯＬＤ
４枚のテンプレート画像２０１の中で、時間的に２番目に撮影されたテンプレート抽出用画像２ａから抽出したテンプレート画像２０１を「ＯＬＤ」と呼ぶ。

（Ｃ）ＣＵＲＲＥＮＴ
４枚のテンプレート画像２０１の中で、時間的に３番目に撮影されたテンプレート抽出用画像２ａから抽出したテンプレート画像２０１を「ＣＵＲＲＥＮＴ」と呼ぶ。

（Ｄ）ＮＥＷ
４枚のテンプレート画像２０１の中で、時間的に４番目に撮影されたテンプレート抽出用画像２ａから抽出したテンプレート画像２０１、すなわち最も時間的に遅く撮影されたテンプレート抽出用画像２ａから抽出したテンプレート画像２０１を「ＮＥＷ」と呼ぶ。

同様に、複数枚のテンプレート画像２０２、および複数枚のテンプレート画像２０３についても、それぞれ「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のテンプレート画像がそれぞれ用意される。なお、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」は、後述するテンプレート更新部１０４ｃによるテンプレート更新処理において、更新を行う対象を明確にするために便宜的に付与した名称であり、各テンプレート画像の名称は必ずしもこれに限定されるものではない。

図７は、第２の実施の形態におけるターゲット画像およびテンプレート画像２０１の具体例を示す図である。なお、以下の説明では、テンプレート画像２０１について代表して説明するが、テンプレート画像２０２および２０３についても、テンプレート画像２０１とは画像の大きさが異なるだけで、後述するテンプレートの種類、マッチング処理の内容、および更新処理の内容等に相違はない。

図７に示すように、ターゲット画像７ａ内の人物の動きをフレーム間で追跡する場合には、使用者は、被写体としての人物を異なる時刻に撮影した４枚のテンプレート抽出用画像２ａをあらかじめ用意し、これを用いて異なる時刻に撮影されたテンプレート画像２０１ａ〜２０１ｄを準備しておく。このとき、テンプレート画像２０１ａ〜２０１ｄのうち、最も古い時刻に撮影されたテンプレート画像２０１ａを「ＩＮＩＴＩＡＬ」、その次の古い時刻に撮影されたテンプレート画像２０１ｂを「ＯＬＤ」、その次の古い時刻に撮影されたテンプレート画像２０１ｃを「ＣＵＲＲＥＮＴ」、最新の時刻に撮影されたテンプレート画像２０１ｄを「ＮＥＷ」と設定する。

被写体を異なる時刻に撮影した４枚のテンプレート抽出用画像２ａをあらかじめ用意することができない場合には、被写体を撮影した１枚のテンプレート抽出用画像２ａから、複数枚のテンプレート画像２０１ａ〜２０１ｄを擬似的に作成してもよい。例えば、１枚のテンプレート抽出用画像２ａを拡大・縮小することにより複数枚のテンプレート画像２０１ａ〜２０１ｄを擬似的に作成してもよく、１枚のテンプレート抽出用画像２ａの濃度を変更することにより複数枚のテンプレート画像２０１ａ〜２０１ｄを擬似的に作成してもよい。

１枚のテンプレート抽出用画像２ａを拡大・縮小することにより複数枚のテンプレート画像２０１ａ〜２０１ｄを擬似的に作成する場合には、テンプレート抽出用画像２ａから抽出したテンプレート画像を「ＩＮＩＴＩＡＬ」２０１ａとし、テンプレート抽出用画像２ａを所定の倍率で拡大または縮小した画像から「ＯＬＤ」２０１ｂを抽出する。また、テンプレート抽出用画像２ａを「ＯＬＤ」２０１ｂを抽出したときとは異なる倍率で拡大または縮小した画像から「ＣＵＲＲＥＮＴ」２０１ｃを抽出し、さらにそれとは異なる倍率で拡大または縮小した画像から「ＮＥＷ」２０１ｄを抽出すればよい。

また、１枚のテンプレート抽出用画像２ａの濃度を変更することにより複数枚のテンプレート画像２０１ａ〜２０１ｄを擬似的に作成する場合には、テンプレート抽出用画像２ａから抽出したテンプレート画像を「ＩＮＩＴＩＡＬ」２０１ａとし、「ＩＮＩＴＩＡＬ」を明るくした画像や暗くした画像をそれぞれ「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、「ＮＥＷ」２０１ｄとすることで、それぞれ濃度（明るさ）が異なる複数枚のテンプレート画像２０１ａ〜２０１ｄを擬似的に作成すればよい。

テンプレートマッチング部１０４ａは、第１の実施の形態と同様に、撮像素子１０３から動画像データの入力が開始されると、各フレームの画像をターゲット画像７ａとし、このターゲット画像７ａとテンプレート画像２０１〜２０３とのマッチング処理を行う。このとき、テンプレートマッチング部１０４ａは、図７に示すように、ターゲット画像７ａ内に設定したターゲット領域７ｂと、「ＩＮＩＴＩＡＬ」２０１ａ、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、および「ＮＥＷ」２０１ｄの４枚のテンプレート画像とをマッチング処理する。

同様に、テンプレート画像２０２を用いてマッチング処理する場合には、ターゲット画像７ａ内に設定したターゲット領域と、「ＩＮＩＴＩＡＬ」２０２ａ、「ＯＬＤ」２０２ｂ、「ＣＵＲＲＥＮＴ」２０２ｃ、および「ＮＥＷ」２０２ｄの４枚のテンプレート画像とをマッチング処理する。また、テンプレート画像２０３を用いてマッチング処理する場合には、ターゲット画像７ａ内に設定したターゲット領域と、「ＩＮＩＴＩＡＬ」２０３ａ、「ＯＬＤ」２０３ｂ、「ＣＵＲＲＥＮＴ」２０３ｃ、および「ＮＥＷ」２０３ｄの４枚のテンプレート画像とをマッチング処理する。すなわち、第２の実施の形態では、テンプレートマッチング部１０４ａは、合計１２枚のテンプレート画像を用いてマッチング処理を行う。

そして、テンプレートマッチング部１０４ａは、ターゲット画像７ａ全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像７ａ内で「ＩＮＩＴＩＡＬ」２０１ａとの類似度が最も高いターゲット領域、「ＯＬＤ」２０１ｂとの類似度が最も高いターゲット領域、「ＣＵＲＲＥＮＴ」２０１ｃとの類似度が最も高いターゲット領域、および「ＮＥＷ」２０１ｄとの類似度が最も高いターゲット領域をそれぞれ抽出する。そして、テンプレートマッチング部１０４ａは、これらの中で最も類似度が高いテンプレート画像とターゲット領域の組をマッチング結果として選択し、選択したテンプレート画像を選択テンプレート画像、選択したターゲット領域をマッチング領域とする。

テンプレートマッチング部１０４ａは、この処理をテンプレート画像２０２ａ〜２０２ｄ、およびテンプレート画像２０３ａ〜２０３ｄに対しても実行し、テンプレート画像２０２のマッチング結果、およびテンプレート画像２０３のマッチング結果を得る。そして、第１の実施の形態と同様に、テンプレートマッチング部１０４ａは、３つのテンプレート画像のマッチング結果として選択した３つのマッチング領域のうち、マッチング領域間の距離が近い２つのマッチング領域を被写体位置特定用領域とする。

テンプレートマッチング部１０４ａは、第１の実施の形態と同様に、被写体位置特定用領域として採用した２つのマッチング領域に基づいて、追跡対象の被写体のターゲット画像７ａ内における位置、すなわち被写体位置を特定する。そして、被写体追跡部１０４ｂは、テンプレートマッチング部１０４ａによって特定された被写体位置をフレーム間で追跡することによって、撮像素子１０３から入力される動画像データ内で追跡対象の被写体を追跡する。

テンプレート更新部１０４ｃは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の内、少なくとも１枚を更新する。なお。「ＩＮＩＴＩＡＬ」は、更新の対象から除外する。すなわち、テンプレート更新部１０４ｃは、「ＩＮＩＴＩＡＬ」を更新を行なわない恒久のテンプレート画像（非更新テンプレート画像）として扱う。

以下、テンプレート更新部１０４ｃが、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、および「ＮＥＷ」２０１ｄを更新する例について説明する。なお、テンプレート画像２０２の「ＯＬＤ」２０２ｂ、「ＣＵＲＲＥＮＴ」２０２ｃ、および「ＮＥＷ」２０２ｄを更新する処理、およびテンプレート画像２０３の「ＯＬＤ」２０３ｂ、「ＣＵＲＲＥＮＴ」２０３ｃ、および「ＮＥＷ」２０３ｄを更新する処理も、以下に説明するテンプレート画像２０１の場合と同様である。

上述したように、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、および「ＮＥＷ」２０１ｄの各テンプレート画像は、処理開始時にはあらかじめ撮影された画像、または擬似的に作成された画像が設定されているが、テンプレート更新部１０４ｃによってテンプレート更新処理が実行されることによって、次の（Ａ）〜（Ｃ）に示すテンプレート画像に置き換えられ、逐次更新されていく。

（Ａ）「ＣＵＲＲＥＮＴ」２０１ｃ（現テンプレート画像）
「ＣＵＲＲＥＮＴ」２０１ｃとしては、直近のテンプレート更新時に、テンプレート画像２０１のマッチング結果として選択された選択テンプレート画像が設定される。

（Ｂ）「ＯＬＤ」２０１ｂ（旧選択テンプレート画像）
「ＯＬＤ」２０１ｂとしては、直近のテンプレート更新時に、（Ａ）の「ＣＵＲＲＥＮＴ」２０１ｃが設定されるまでの間「ＣＵＲＲＥＮＴ」２０１ｃに設定されていたテンプレート画像が設定される。すなわち、一世代前の「ＣＵＲＲＥＮＴ」２０１ｃが「ＯＬＤ」２０１ｂとして設定される。

（Ｃ）「ＮＥＷ」２０１ｄ（新テンプレート画像）
「ＮＥＷ」２０１ｄとしては、直近のテンプレート更新時に、ターゲット画像７ａ上で「ＣＵＲＲＥＮＴ」２０１ｃに設定されたテンプレート画像と最も類似度が高いと判定されたターゲット領域内の画像、すなわちテンプレート画像２０１のマッチング結果として選択されたマッチング領域内の画像が取り込まれて設定される。

テンプレート更新部１０４ｃは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果が、所定の更新条件を満たす場合にのみ、（Ａ）〜（Ｃ）の条件に合致する画像を各テンプレート画像として更新する。具体的には、以下の（ａ）〜（ｄ）で説明するように、テンプレートマッチング部１０４ａによるマッチング処理の結果が更新条件を満たしているか否かを判断し、マッチング処理の結果に応じたテンプレート画像の更新処理を行う。

（ａ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、「ＩＮＩＴＩＡＬ」２０１ａが選択テンプレート画像として選択された場合の処理
この場合には、テンプレート更新部１０４ｃは、所定回数以上、例えば７回以上「ＩＮＩＴＩＡＬ」２０１ａが連続して選択テンプレート画像として選択され、かつその間の類似度の平均が所定の類似度以上、例えば一致を表す類似度が１であり、不一致を示す類似度が０である場合には、０．８以上であるという更新条件を満たすか否かを判断する。テンプレート更新部１０４ｃは、上記更新条件を満たさないと判断した場合には、テンプレート画像の更新は行わずに、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、「ＮＥＷ」２０１ｄの各テンプレート画像の設定を維持する。

これに対して、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＣＵＲＲＥＮＴ」２０１ｃに設定されていたテンプレート画像を「ＯＬＤ」２０１ｂに設定し、今まで「ＩＮＩＴＩＡＬ」２０１ａに設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」２０１ｃに設定する。これによって、選択テンプレート画像を「ＣＵＲＲＥＮＴ」２０１ｃに設定し、一世代前の「ＣＵＲＲＥＮＴ」２０１ｃを「ＯＬＤ」２０１ｂに設定することができる。さらに、テンプレート更新部１０４ｃは、テンプレート画像２０１のマッチング結果として選択されたマッチング領域内の画像を取り込んで、新たに「ＮＥＷ」２０１ｄに設定する。

（ｂ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、「ＣＵＲＲＥＮＴ」２０１ｃが選択テンプレート画像として選択された場合の処理
この場合には、テンプレート更新部１０４ｃは、テンプレート画像の更新は行わずに、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、「ＮＥＷ」２０１ｄの各テンプレート画像の設定を維持する。すなわち、前回のテンプレート更新時に最も類似度が高いと判定されたテンプレート画像が現在も最も類似度が高いと判定されていることから、被写体の動きが少なくテンプレート画像の更新の必要はないと判断して、テンプレート画像の更新は行わない。

（ｃ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、「ＯＬＤ」２０１ｃが選択テンプレート画像として選択された場合の処理
この場合には、テンプレート更新部１０４ｃは、所定回数以上、例えば７回以上「ＯＬＤ」２０１ｃが連続して選択テンプレート画像として選択され、かつその間の類似度の平均が所定の類似度以上、例えば、０．８以上であるという更新条件を満たすか否かを判断する。テンプレート更新部１０４ｃは、上記更新条件を満たさないと判断した場合には、テンプレート画像の更新は行わずに、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、および「ＮＥＷ」２０１ｄの各テンプレート画像の設定を維持する。

これに対して、上記更新条件を満たすと判断した場合には、テンプレート更新部１０４ｃは、次のようにテンプレート画像を更新する。すなわち、今まで「ＯＬＤ」２０１ｂに設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」２０１ｃに設定し、今まで「ＣＵＲＲＥＮＴ」２０１ｃに設定されていたテンプレート画像を「ＯＬＤ」２０１ｂに設定する。これによって、選択テンプレート画像を「ＣＵＲＲＥＮＴ」２０１ｃに設定し、一世代前の「ＣＵＲＲＥＮＴ」２０１ｃを「ＯＬＤ」２０１ｂに設定することができる。さらに、テンプレート更新部１０４ｃは、テンプレート画像２０１のマッチング結果として選択されたマッチング領域内の画像を取り込んで、新たに「ＮＥＷ」２０１ｄに設定する。

（ｄ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、「ＮＥＷ」２０１ｄが選択テンプレート画像として選択された場合の処理
この場合には、テンプレート更新部１０４ｃは、所定回数以上、例えば７回以上「ＮＥＷ」２０１ｄが連続して選択テンプレート画像として選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。テンプレート更新部１０４ｃは、上記更新条件を満たさないと判断した場合には、テンプレート画像の更新は行わずに、「ＯＬＤ」２０１ｂ、「ＣＵＲＲＥＮＴ」２０１ｃ、および「ＮＥＷ」２０１ｄの各テンプレート画像の設定を維持する。

これに対して、上記更新条件を満たすと判断した場合には、テンプレート更新部１０４ｃは、次のようにテンプレート画像を更新する。すなわち、今まで「ＮＥＷ」２０１ｄに設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」２０１ｃに設定し、今まで「ＣＵＲＲＥＮＴ」２０１ｃに設定されていたテンプレート画像を「ＯＬＤ」２０１ｂに設定する。これによって、選択テンプレート画像を「ＣＵＲＲＥＮＴ」２０１ｃに設定し、一世代前の「ＣＵＲＲＥＮＴ」２０１ｃを「ＯＬＤ」２０１ｂに設定することができる。さらに、テンプレート更新部１０４ｃは、テンプレート画像２０１のマッチング結果として選択されたマッチング領域内の画像を取り込んで、新たに「ＮＥＷ」２０１ｄに設定する。

このようにテンプレート画像を更新することによって、被写体の動きに応じた被写体形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。また、「ＩＮＩＴＩＡＬ」２０１ａ、「ＯＬＤ」２０１ｂ、または「ＮＥＷ」２０１ｄが所定回数以上連続して選択テンプレート画像として選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

例えば、６００フレームの静止画で構成される動画像を従来の手法により各フレームごとにテンプレート画像を更新した場合には、６００回のテンプレート画像の更新が発生するが、本実施の形態による手法を使用することにより、テンプレート画像の更新回数を３０回程度まで減らすことが可能となり、処理の負荷を低減することができる。

図８は、第２の実施の形態におけるカメラ１００の処理を示すフローチャートである。図８に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると、制御装置１０４がメモリに記憶されている被写体追跡プログラムを起動することによって実行される。なお、図８においては、第１の実施の形態で上述した図５と同一の処理については同じステップ番号を付与して説明を省略し、相違点を中心に説明する。

ステップＳ４１において、テンプレート更新部１０４ｃは、（ａ）〜（ｄ）に示したように、テンプレートマッチング部１０４ａによるマッチング処理の結果が更新条件を満たしているか否かを判断する。更新条件を満たしていないと判断した場合には、ステップＳ５０へ進む。これに対して、更新条件を満たしていると判断した場合には、ステップＳ４２へ進む。ステップＳ４２では、テンプレート更新部１０４ｃは、（ａ）〜（ｄ）に示したように、テンプレートマッチング部１０４ａによるマッチング処理の結果に応じたテンプレート画像の更新処理を行って、ステップＳ５０へ進む。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、以下のような効果を得ることができる。
（１）テンプレート画像２０１〜２０３として、それぞれ異なる時間に撮影した複数枚の画像を用意し、各テンプレート画像をテンプレートマッチング結果に応じて更新するようにした。これによって、被写体が動くことによって発生する被写体形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。

（２）複数のテンプレート画像の内、「ＩＮＩＴＩＡＬ」を更新しない恒久のテンプレートとするようにした。このため、ダイナミックなテンプレート画像の更新処理で発生しがちな情報の誤差蓄積を防止することができる。

（３）テンプレート画像の更新を行うに際しては、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、または「ＮＥＷ」が所定回数以上連続して選択テンプレート画像として選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにした。これによって、例えばフレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。

（４）「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」として、被写体を異なる時刻に撮影した複数枚のテンプレート画像をあらかじめ用意することができない場合には、１枚のテンプレート抽出用画像２ａを用いて複数枚のテンプレート画像を擬似的に作成するようにした。これによって、被写体を異なる時刻に撮影して、複数枚のテンプレート画像を準備することができない場合であっても、本発明のテンプレートマッチング処理を行って被写体の追跡を行うことができる。

―変形例―
なお、上述した実施の形態の被写体追跡装置は、以下のように変形することもできる。
（１）上述した第１の実施の形態では、テンプレート画像２０１〜２０３の３枚のテンプレート画像を用いて被写体を追跡する場合について説明した。しかしながら、４枚以上の複数のテンプレート画像を用いてもよい。この場合のテンプレートマッチング部１０４ａによる処理は次のようになる。

テンプレートマッチング部１０４ａは、マッチング処理の結果抽出した複数のマッチング領域を、各領域のターゲット画像内における距離の近さに応じて、被写体位置特定用領域とするマッチング領域と、それ以外のマッチング領域とに分類する。例えば、複数のマッチング領域のそれぞれの間で、２つのマッチング領域間の距離を算出する。そして、算出した距離が短いマッチング領域の組を抽出して、これらを被写体位置特定用領域とする。例えば、テンプレートマッチング部１０４ａは、被写体位置特定用領域として、ｍ個のマッチング領域を抽出する。

なお、ｍは、例えば次式（１）によって算出され、次式（１）において、ｆｌｏｏｒは小数点以下を切り捨てる関数、ｎはマッチングに用いるテンプレート画像の数である。
ｍ＝ｆｌｏｏｒ（ｎ／２）＋１ ・・・（１）
例えば、６枚のテンプレート画像を用いた場合には、最終的に４個のマッチング領域が抽出される。そして、テンプレートマッチング部１０４ａは、抽出したｍ個のマッチング領域のそれぞれに代表点を設定し、各代表点間の重心位置を追跡対象の被写体の位置（被写体位置）として特定する。なお、代表点は、例えばマッチング領域内の中心点とする。

（２）上述した第１および第２の実施の形態では、撮像素子１０３から入力される動画像データ、すなわち時系列で入力される複数フレームの画像データをテンプレートマッチングおよび被写体追跡の対象データとして処理を実行する例について説明した。しかしこれに限定されず、連写機能によって静止画像が時系列で複数フレーム入力された場合に、各フレーム間で被写体を追跡する場合にも本発明は適用可能である。

（３）上述した第２の実施の形態では、テンプレート画像２０１、２０２、および２０３のそれぞれごとに、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の４枚のテンプレート画像を使用する例について説明した。しかしこれに限定されず、テンプレート画像２０１、２０２、および２０３のそれぞれごとに５枚以上のテンプレート画像を使用するようにしてもよい。この場合には、「ＯＬＤ」の枚数を増やして、複数世代前の「ＣＵＲＲＥＮＴ」をテンプレート画像として使用するようにすればよい。

（４）上述した第２の実施の形態では、テンプレート更新部１０４ｃは、テンプレート画像の更新条件として、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、または「ＮＥＷ」が所定回数以上、例えば７回以上連続して選択テンプレート画像として選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるか否かを判断する例について説明した。しかしこれに限定されず、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、または「ＮＥＷ」が所定回数以上連続して選択テンプレート画像として選択され、かつその間の全ての類似度が所定の類似度以上であるか否かを判断するようにしてもよい。また、テンプレート更新部１０４ｃは、「ＩＮＩＴＩＡＬ」、「ＯＬＤ」、または「ＮＥＷ」が所定回数以上連続して選択テンプレート画像として選択されたことのみを更新条件として、テンプレート画像の更新を行うようにしてもよい。
（５）上述した第２の実施の形態では、テンプレート更新部１０４ｃは、テンプレート画像の更新条件を満たすと判断した場合には、その条件に応じて「ＣＵＲＲＥＮＴ」と「ＯＬＤ」または「ＮＥＷ」とを入れ替えることによって、テンプレート画像を更新する例について説明した。しかしこれに限定されず、更新前のテンプレート画像の対応する画素の所定の割合に相当する画素のみを更新後のテンプレート画像で上書きすることによってテンプレート画像を更新するようにしてもよい。例えば、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定する代わりに、「ＣＵＲＲＥＮＴ」の全画素のｍ％と、「ＯＬＤ」の全画素の（１００−ｍ）％とを加算することによって、テンプレート画像を更新するようにしてもよい。

（６）上述した第１および第２の実施の形態では、被写体追跡装置としてカメラ１００を使用し、カメラ１００が供える制御装置１０４によって、被写体追跡プログラムを実行する例について説明した。しかしながら、被写体追跡装置として他の装置を使用するようにしてもよい。例えば、パソコンを被写体追跡装置として使用し、パソコンが備えるハードディスクドライブなどの記録媒体に被写体追跡プログラムを記録しておき、ＣＰＵが被写体追跡プログラムをメモリ上に読み込んで実行するようにしてもよい。また、施設内を監視するセキュリティ装置（監視装置）を被写体追跡装置として使用してもよい。

セキュリティ装置として使用する場合には、例えば、図９に示すように、セキュリティ装置２００は、複数台のカメラ２０１と、制御装置１０４と、メモリ１０５と、モニタ１０６とを備えるようにすればよい。そして、制御装置１０４は、上述した第１および第２の実施の形態と同様に、被写体追跡プログラムを実行してカメラ２０１から時系列で入力される各フレームの画像間で被写体追跡を行い、施設内に進入してくる不審者を特定するようにしてもよい。このとき、モニタ１０６を複数設けて、複数のモニタ１０６で監視を行なえるようにしてもよい。また、被写体追跡装置としてカメラ付き携帯電話などを用いることも可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

第１の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。 テンプレート画像の具体例を示す図である。 ターゲット画像内におけるマッチング結果の具体例を示す図である。 被写体位置の特定方法を示す図である。 第１の実施の形態におけるカメラ１００の処理を示すフローチャート図である。 第２の実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。 第２の実施の形態におけるターゲット画像およびテンプレート画像の具体例を示す図である。 第２の実施の形態におけるカメラ１００の処理を示すフローチャート図である。 被写体追跡装置としてセキュリティ装置を用いた場合の一実施の形態の構成を示すブロック図である。

符号の説明

１００、２０１ カメラ、１０１ 入力スイッチ、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４ａ テンプレートマッチング部、１０４ｂ 被写体追跡部１０４ｂ テンプレート更新部、１０５ メモリカードスロット、１０６ モニタ、２００ セキュリティ装置

Claims (5)

1. 時系列で入力される複数フレームの画像間で被写体の動きを追跡するための被写体追跡プログラムであって、
   コンピュータに、
   入力画像の各フレームに対して、複数のテンプレート画像のそれぞれを用いてテンプレートマッチングを行って、前記入力画像内から前記複数のテンプレート画像のそれぞれと最も類似度が高い複数の領域を抽出するテンプレートマッチング手順と、
   抽出した前記複数の領域を、各領域間の前記入力画像内における距離に基づいて、前記入力画像内における被写体位置を特定するために用いる領域と、それ以外の領域とに分類する分類手順と、
   前記分類手順で前記被写体位置を特定するために用いる領域として分類された領域の前記入力画像内における位置に基づいて、前記被写体位置を特定する特定手順と、
   前記被写体位置をフレーム間で追跡することによって、前記複数フレームの画像間で被写体の動きを追跡する被写体追跡手順とを実行させるための被写体追跡プログラム。
2. 請求項１に記載の被写体追跡プログラムにおいて、
   前記特定手順は、前記被写体位置を特定するために用いる領域内に設定した代表点間の重心位置を前記被写体位置として特定することを特徴とする被写体追跡プログラム。
3. 請求項１または２に記載の被写体追跡プログラムにおいて、
   前記複数のテンプレート画像のそれぞれは、異なる時間に撮影された複数の更新用テンプレート画像を含み、
   コンピュータに、
   前記テンプレートマッチング手順によるマッチング結果が、前記更新用テンプレート画像を更新するための更新条件を満たすか否かを判断する判断手順と、
   前記判断手順が前記更新条件を満たすと判断したときに、前記更新用テンプレート画像の少なくとも１枚を更新する更新手順とを実行させるための被写体追跡プログラム。
4. 請求項１〜３のいずれか一項に記載の被写体追跡プログラムを実行する実行手段を備えることを特徴とする被写体追跡装置。
5. 被写体像を撮像して、画像信号を出力する撮像手段と、
   請求項１〜３のいずれか一項に記載の被写体追跡プログラムを実行する実行手段とを備え、
   前記実行手段は、前記撮像手段から出力される画像信号に基づいて、時系列で入力される複数フレームの画像間で被写体の動きを追跡することを特徴とするカメラ。

Images