JP2010157792A - 被写体追跡装置 - Google Patents

Abstract

【課題】テンプレート画像の更新を行いながらテンプレートマッチングを行って被写体を追跡すること。
【解決手段】制御装置１０４は、使用者によってズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率の比が閾値を超えた場合には、テンプレート画像Ａを更新する。
【選択図】図１

Description

本発明は、画像内の被写体を追跡する被写体追跡装置に関する。

次のようなパターン・マッチング方法が知られている。このパターン・マッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来のパターン・マッチング方法を用いた場合には、レンズのズーム倍率が変更された場合には、テンプレート画像内における被写体の大きさとターゲット画像における被写体の大きさとが異なるため、テンプレートマッチングの精度が低下するという問題があった。

本発明による被写体追跡装置は、撮影光学系を介して時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における探索枠内のターゲット画像について、テンプレート画像を用いたテンプレートマッチング処理を行うマッチング手段と、マッチング手段によるマッチング結果に基づいて、複数の入力画像間で被写体追跡を行う追跡手段と、撮影光学系のズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率との比（ズーム比）が閾値を超えたときに、テンプレート画像を更新する更新手段とを備えることを特徴とする。
本発明では、撮影光学系のズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率との比（ズーム比）の一定時間当たり変化量が閾値を超えたときにもテンプレート画像を更新するようにしてもよい。
本発明による被写体追跡装置はまた、撮影光学系を介して時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における探索枠内のターゲット画像について、テンプレート画像を用いたテンプレートマッチング処理を行うマッチング手段と、マッチング手段によるマッチング結果に基づいて、複数の入力画像間で被写体追跡を行う追跡手段と、撮影光学系のズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率との比（ズーム比）の一定時間当たり変化量が閾値を超えたときに、テンプレート画像を更新する更新手段とを備えることを特徴とする。
上記の被写体追跡装置では、マッチング手段は、テンプレート画像とターゲット画像の類似度を表す値を算出し、算出結果に基づいてテンプレートマッチング処理を行い、更新手段は、類似度を示す値に基づいてテンプレート画像とターゲット画像の類似度が低いと判断した場合には、テンプレート画像の更新を中止するようにしてもよい。

本発明によれば、ズーム倍率が変更された場合でもテンプレートマッチング処理の精度が低下することを防ぐことができる。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。レンズ１０２を構成するレンズには、ズーム倍率を変更するためのズームレンズや、焦点調節を行うための焦点調節用レンズ（ＡＦレンズ）等が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を被写体領域として特定する。そして、制御装置１０４は、特定した被写体領域をフレーム間で追跡することによって、被写体追跡処理を行う。

具体的には、制御装置１０４は、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームとのマッチング演算を行う。例えば、制御装置１０４は、図２に示すように、テンプレート画像Ａを用いて画像Ｉ内における被写体領域を特定する。ここで用いるテンプレート画像Ａは、あらかじめ使用者からの指示に基づいて取得される。例えば、使用者は、スルー画の最初のフレームがモニタ１０６に表示されたときに、操作部材１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。制御装置１０４は、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＳＤＲＡＭに記憶する。

制御装置１０４は、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）を対象として、この画像Ｉ内の所定の位置にテンプレート画像と同じ大きさのターゲット枠を設定し、設定したターゲット枠内のターゲット画像Ｂをテンプレートマッチングの対象とする。すなわち、制御装置１０４は、ターゲット枠を画像Ｉ内で移動させながら、各ターゲット枠位置におけるターゲット画像Ｂと、テンプレート画像Ａとのマッチング演算を行なう。マッチング演算の結果、テンプレート画像Ａとターゲット画像Ｂとの類似度が最も高い合致領域を画像Ｉ内における被写体領域として特定する。そして、制御装置１０４は、特定した被写体領域をフレーム間で追跡することによって、被写体追跡（被写体追尾）を行う。

なお、制御装置１０４は、上述したように、画像Ｉの全体を探索対象領域内とすることによって画像Ｉの全体を対象としてテンプレートマッチングを行ってもよいが、画像内からテンプレート画像Ａを抽出した位置を含む所定範囲を探索対象領域としてテンプレートマッチングを行うようにしてもよい。これによって、テンプレートマッチングを行う範囲を画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。本実施の形態では、制御装置１０４は、画像Ｉ内に設定した探索対象領域内を対象としてテンプレートマッチングを行う例について説明する。

テンプレートマッチングの手法としては、一般的に、公知の残差逐次検定法などが用いられる。この残差逐次検定法では、次式（１）に示す残差和により類似度を算出し、算出した類似度に基づいてテンプレートマッチングを行う。

式（１）により類似度を算出した場合は、算出されるｒが小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高くなり、算出されるｒが大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度は低くなる。ここで、式（１）において、ｍは探索対象領域内における横方向の位置を示し、ｎは縦方向の位置を示している。

本実施の形態では、使用者によってレンズ１０２のズーム倍率が変更された場合でもマッチング演算の精度が低下しないように、ズーム倍率の変更に応じてテンプレート画像Ａの更新を行なう。具体的には、制御装置１０４は、使用者によってズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率の比が閾値を超えた場合、例えば、拡大時のズーム比が所定の倍率（例えば１．５倍）以上であるとき、および縮小時のズーム比が所定の倍率（例えば０．７５倍）以下であるときに、テンプレート画像Ａの更新を行なう。なお、使用者は、操作部材１０１に含まれるズームボタンを操作することにより、レンズ１０２のズーム倍率を変更することができる。

制御装置１０４は、ズーム倍率が変更された後に入力された最初のフレーム内から、ズーム倍率が変更される直前にマッチング処理を行ったフレーム内で特定した被写体領域の中心座標を中心とし、現在のテンプレート画像Ａの大きさに上述したズーム比をかけた大きさの画像を抽出する。そして、制御装置１０４は、抽出した画像を新たなテンプレート画像Ａとして、ＳＤＲＡＭ内に記録されているテンプレート画像を更新する。そして、制御装置１０４は、ズーム倍率が変更された後のフレームに対しては、新たなテンプレート画像Ａを用いてマッチング演算を行う。これによって、ズーム倍率が変更されたことにより、フレーム内の追跡対象被写体の大きさが変化した場合でも、継続して追跡対象被写体の追跡を行うことができる。

本実施の形態におけるテンプレート画像Ａの更新例を図３を用いて説明する。図３に示す例では、まず、図３（ａ）に示す画像をテンプレート画像Ａとして、図３（ｂ）に示すフレームを対象としてマッチング演算を行った結果、フレーム内から被写体領域３ａが特定されている。

このとき、使用者によってレンズ１０２のズーム倍率が変更され、変更前のズーム倍率と変更後のズーム倍率のズーム比が、テンプレート更新条件となる閾値を超えた場合には、次フレームは図３（ｃ）に示すようになり、フレーム内の被写体は拡大される。ここでは、例えばテンプレート更新条件となるズーム比の閾値が１．５倍であり、変更前のズーム倍率と変更後のズーム倍率のズーム比が２倍であるものとする。

この場合には、制御装置１０４は、図３（ｃ）に示すフレーム内から、図３（ｂ）に示した前フレーム内における被写体領域３ａの中心座標を中心とし、かつ図３（ａ）に示したテンプレート画像の縦サイズと横サイズを上記ズーム比分、すなわち２倍に拡大した範囲内の画像３ｂを抽出する。そして、制御装置１０４は、抽出した画像３ｂ、すなわち図３（ｄ）に示す画像を新たなテンプレート画像として、ＳＤＲＡＭ内のテンプレート画像Ａを更新する。

図４は、本実施の形態におけるテンプレート画像更新処理の流れを示すフローチャートである。図４に示す処理は、図４に示す処理は、スルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、制御装置１０４は、上述したようにターゲット枠を現フレーム内で移動させながら、各ターゲット枠位置におけるターゲット画像Ｂと、テンプレート画像Ａとのマッチング演算を行ない、テンプレート画像Ａとターゲット画像Ｂとの類似度が最も高い合致領域を現フレーム内における被写体領域として特定する。その後、ステップＳ２０へ進み、制御装置１０４は、フレーム間で被写体領域を追跡することによって被写体追跡を行う。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０４は、使用者によってレンズ１０２のズーム倍率が変更されたか否かを判断する。ステップＳ３０で否定判断した場合には、後述するステップＳ６０へ進む。これに対して、ステップＳ３０で肯定判断した場合には、ステップＳ４０へ進む。ステップＳ４０では、制御装置１０４は、変更前のズーム倍率と変更後のズーム倍率のズーム比がテンプレート画像Ａの更新条件を満たすか否か、例えば拡大時のズーム比が１．５倍以上であるか、あるいは縮小時のズーム比が０．７５倍以下であるか否かを判断する。ステップＳ４０で否定判断した場合には、後述するステップＳ６０へ進む。これに対して、ステップＳ４０で肯定判断した場合には、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０４は、上述したように、ズーム倍率が変更された後のフレーム内から、ズーム倍率が変更される前のフレーム内で特定した被写体領域の中心座標を中心とし、現在のテンプレート画像Ａの大きさに上述したズーム比をかけた大きさの画像を抽出し、これを新たなテンプレート画像としてＳＤＲＡＭ内のテンプレート画像Ａを更新する。その後、ステップＳ６０へ進む。

ステップＳ６０では、制御装置１０４は、スルー画の入力が終了したか否かを判断する。ステップＳ６０で否定判断した場合にはステップＳ１０へ戻って処理を繰り返す。これに対して、肯ステップＳ６０で定判断した場合には処理を終了する。

以上説明した本実施の形態によれば、次のような作用効果を得ることができる。
（１）制御装置１０４は、使用者によってズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率の比が閾値を超えた場合には、テンプレート画像Ａを更新するようにした。これによって、レンズ１０２のズーム倍率が変更されたことにより、フレーム内の被写体の大きさが変化した場合でも、それに合わせてテンプレート画像Ａを更新することで、マッチング演算の精度を確保して、継続して被写体追跡を行うことができる。

（２）制御装置１０４は、制御装置１０４は、テンプレート画像Ａを更新するに当たっては、ズーム倍率が変更された後のフレーム内から、ズーム倍率が変更される前のフレーム内で特定した被写体領域の中心座標を中心とし、現在のテンプレート画像Ａの大きさに上述したズーム比をかけた大きさの画像を抽出してこれを新たなテンプレート画像とするようにした。これによって、ズーム倍率の変更に応じた被写体サイズの大きさに応じた適切な大きさのテンプレート画像Ａを得ることができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、ズーム倍率が変更された後のフレーム内から、ズーム倍率が変更される前のフレーム内で特定した被写体領域の中心座標を中心とし、現在のテンプレート画像Ａの大きさに上述したズーム比をかけた大きさの画像を抽出し、これを新たなテンプレート画像Ａとする例について説明した。しかしながら、テンプレート画像Ａの最大サイズおよび最小サイズをあらかじめ設定しておき、制御装置１０４は、テンプレート画像Ａの拡大時の上限サイズを上記最大サイズとし、またテンプレート画像Ａの縮小時の下限サイズを上記最小最大サイズとするようにしてもよい。

（２）上述した実施の形態では、制御装置１０４は、使用者によってズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率の比（ズーム比）が閾値を超えたことによりテンプレート画像の更新条件を満たすと判断した場合にテンプレート画像Ａを更新する例について説明した。しかしながら、制御装置１０４は、一定時間当たり（単位時間当たり）のズーム倍率の比（ズーム比）の変化量が閾値を超えた場合に、テンプレート画像の更新条件を満たすと判断してテンプレート画像Ａを更新するようにしてもよい。例えば、３秒以内にズーム比の変化量が１．５倍以上になった場合、および３秒以内にズーム比の変化量が０．７５倍以下になった場合にテンプレート画像Ａの更新を行なうようにしてもよい。あるいは、制御装置１０４は、両者を組み合わせて、変更前のズーム倍率と変更後のズーム倍率の比（ズーム比）が閾値を超えたとき、および単位時間当たりのズーム倍率の比（ズーム比）の変化量が閾値を超えたときのいずれの場合にもテンプレート画像Ａを更新するようにしてもよい。これによって、短時間の間にズーム比が大きく変化した場合にもテンプレートマッチングの精度が低下することを防ぐことができる。

（３）上述した実施の形態では、式（１）を用いた残差逐次検定法により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なう例について説明した。上述したように、式（１）により算出されるｒの値は、小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高く、大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度は低い。よって、制御装置１０４は、算出したｒがテンプレート画像Ａとターゲット画像Ｂとの類似度が低いと判定できる所定の値、例えば０．５以上である場合には、追跡対象の被写体を正確に追尾できていない可能性が高いため、上述したテンプレート画像Ａの更新処理を行なわないようにしてもよい。これによって、追跡対象の被写体を見失った場合には、テンプレート画像Ａの更新を中止して無駄な処理が実行されるのを防ぐことができる。

（４）上述した実施の形態では、制御装置１０４は、式（１）を用いた残差逐次検定法により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なう例について説明した。しかしながら、テンプレートマッチングの方法は、他の方法を用いてもよい。例えば、公知の正規化相関法により、テンプレート画像Ａとターゲット画像Ｂとのマッチング演算を行なうようにしてもよい。

（５）上述した実施の形態では、カメラ１００上でパターンマッチング処理を行って被写体追跡を行う例について説明したが、パーソナルコンピューター（パソコン）等を用いて上記処理を行ってもよい。例えば、動画再生が可能なパソコンにおいて、動画の各コマを上記ターゲット画像とし、あらかじめ用意されたテンプレート画像を用いてテンプレートマッチングを行う場合にも本発明は適用可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

カメラ１００の一実施の形態の構成を示すブロック図である。 テンプレート画像Ａ、画像Ｉ、およびターゲット画像Ｂの具体例を示す図である。 テンプレート画像Ａの更新例を示す図である。 テンプレート画像更新処理の流れを示すフローチャート図である。

符号の説明

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (4)

1. 撮影光学系を介して時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内のターゲット画像について、テンプレート画像を用いたテンプレートマッチング処理を行うマッチング手段と、
   前記マッチング手段によるマッチング結果に基づいて、複数の入力画像間で被写体追跡を行う追跡手段と、
   前記撮影光学系のズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率との比（ズーム比）が閾値を超えたときに、前記テンプレート画像を更新する更新手段とを備えることを特徴とする被写体追跡装置。
2. 請求項１に記載の被写体追跡装置において、
   前記更新手段は、前記撮影光学系のズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率との比（ズーム比）の一定時間当たり変化量が閾値を超えたときにも前記テンプレート画像を更新することを特徴とする被写体追跡装置。
3. 撮影光学系を介して時系列で入力される各入力画像内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内のターゲット画像について、テンプレート画像を用いたテンプレートマッチング処理を行うマッチング手段と、
   前記マッチング手段によるマッチング結果に基づいて、複数の入力画像間で被写体追跡を行う追跡手段と、
   前記撮影光学系のズーム倍率が変更された場合に、変更前のズーム倍率と変更後のズーム倍率との比（ズーム比）の一定時間当たり変化量が閾値を超えたときに、前記テンプレート画像を更新する更新手段とを備えることを特徴とする被写体追跡装置。
4. 請求項１〜３のいずれか一項に記載の被写体追跡装置において、
   前記マッチング手段は、前記テンプレート画像と前記ターゲット画像の類似度を表す値を算出し、算出結果に基づいてテンプレートマッチング処理を行い、
   前記更新手段は、前記類似度を示す値に基づいて前記テンプレート画像と前記ターゲット画像の類似度が低いと判断した場合には、前記テンプレート画像の更新を中止することを特徴とする被写体追跡装置。

Images