JP2010282537A - 被写体追尾装置、およびカメラ - Google Patents

Abstract

【課題】テンプレートマッチング処理に用いるテンプレート画像を更新すること。
【解決手段】制御装置１０４は、初期テンプレート画像、および更新テンプレート画像と、入力画像内に設定したターゲット画像との類似度値をそれぞれ算出し、算出した類似度値に基づいて、入力画像内における被写体位置を特定する。そして、制御装置１０４は、類似度値が更新テンプレート画像の更新条件を満たすか否かを判定し、満たすと判定した場合には、重み係数を乗じた初期テンプレート画像の画素情報と、重み係数を乗じたターゲット画像の画素情報とを加算することによって、新たな更新テンプレート画像を生成し、ＳＤＲＡＭに記録されている更新テンプレート画像を新たに生成した更新テンプレート画像で更新する。
【選択図】図１

Description

本発明は、被写体追尾装置、およびカメラに関する。

次のような物体追跡装置が知られている。この物体追跡装置は、被写体変化に対応するために、異なる複数の被写体のテンプレート画像を用いてテンプレートマッチングを行い、類似度が最も高いテンプレート画像を用いてテンプレート画像の更新を行う（例えば、特許文献１）。

特開２００１−０６０２６９号公報

しかしながら、従来の物体追跡装置では、テンプレート画像の更新を繰り返すと、テンプレートマッチングに用いるテンプレート画像が、当初のテンプレート画像から徐々に離れてしまい、本来追尾すべき被写体とは異なる被写体を追尾してしまう可能性があった。

本発明による被写体追尾装置は、記憶媒体に記録した、更新を行わない初期テンプレート画像、および更新を行う更新テンプレート画像と、入力画像内に設定したターゲット画像との類似度をそれぞれ演算する類似度演算手段と、類似度演算手段で演算した類似度に基づいて、入力画像内における被写体位置を特定する被写体位置特定手段と、類似度演算手段で演算した類似度に基づいて、更新テンプレート画像を更新するか否かを判定する判定手段と、判定手段が更新テンプレート画像を更新すると判定した場合には、重み係数を乗じた初期テンプレート画像の画素情報と、重み係数を乗じたターゲット画像の画素情報とを加算することによって、新たな更新テンプレート画像を生成し、記憶媒体に記録されている更新テンプレート画像を新たに生成した更新テンプレート画像で更新するテンプレート更新手段とを備えることを特徴とする。
本発明では、被写体位置特定手段は、類似度演算手段によって最も高い類似度が演算されたターゲット画像位置を、入力画像内における被写体位置として特定するようにしてもよい。
判定手段は、最も高い類似度が所定以上の高さである場合に、更新テンプレート画像を更新すると判定するようにしてもよい。
テンプレート更新手段は、最も高い類似度が、初期テンプレート画像を用いた演算された類似度であるか、または更新テンプレート画像を用いて演算された類似度であるかを判定し、その判定結果に基づいて、初期テンプレート画像の画素情報に乗じる重み係数と、ターゲット画像の画素情報に乗じる重み係数とを変更するようにしてもよい。
テンプレート更新手段は、最も高い類似度が初期テンプレート画像を用いて演算された類似度であると判定した場合には、初期テンプレート画像の画素情報に乗じる重み係数をターゲット画像の画素情報に乗じる重み係数よりも大きく設定し、最も高い類似度が更新テンプレート画像を用いた演算された類似度であると判定した場合には、ターゲット画像の画素情報に乗じる重み係数を初期テンプレート画像の画素情報に乗じる重み係数よりも大きく設定するようにしてもよい。
本発明によるカメラは、上記いずれかの被写体追尾装置を備えることを特徴とする。

本発明によれば、本来追尾すべき被写体を見失うことなく被写体追尾を継続することができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 被写体追尾処理の流れを示すフローチャート図である。 テンプレート更新処理の流れを示すフローチャート図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。そして、制御装置１０４は、特定した領域をフレーム間で追跡することによって、被写体追跡処理を行う。

なお、テンプレート画像とターゲット画像との類似度の算出方法は公知であるため詳細な説明は省略するが、一般的には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等の類似度算出方法が用いられる。例えば、類似度算出方法としてＳＡＤ（残差逐次検定法）を用いた場合には、制御装置１０４は、残差和により類似度値を算出し、算出した類似度値に基づいてテンプレートマッチングを行う。算出される類似度値は、その値が小さいほどテンプレート画像とターゲット画像との類似度が高いことを示し、その値が大きいほどテンプレート画像とターゲット画像との類似度が低いことを示す。

このように、テンプレート画像とターゲット画像との類似度を算出して被写体追尾を行う場合には、追尾対象の被写体の形状は時々刻々と変化するため、あらかじめ用意されたテンプレート画像をそのまま用いて類似度値を算出していくと、徐々に類似度が低下して最終的に被写体追尾を継続できなくなる可能性がある。このような問題点を解消して時間の経過とともに変化する被写体の形状の変化に対応してテンプレートマッチングを継続するために、本実施の形態では、テンプレートマッチングの過程でテンプレート画像の更新を行う。

なお、テンプレート画像の更新を行う場合には、テンプレート画像の更新が繰り返されることにより、追尾対象の被写体とは異なる被写体の画像がテンプレート画像として更新されてしまう可能性がある。よって、本実施の形態では、テンプレートマッチングの過程で更新を行う更新テンプレート画像と、テンプレートマッチングの過程で更新を行わない初期テンプレート画像との２つのテンプレート画像を用いてテンプレートマッチングを行う。これによって、更新テンプレート画像を随時更新することにより、被写体の変化に対応したテンプレートマッチングが可能となり、また、初期テンプレートも用いることにより、当初に設定した追尾対象の被写体を見失わないで被写体追尾を継続することができる。

図２は、本実施の形態における被写体追尾処理の流れを示すフローチャートである。図２に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１において、制御装置１０４は、フレーム画像情報、すなわちスルー画の１フレームを読み込んでステップＳ２へ進む。ステップＳ２では、制御装置１０４は、上述したように、フレーム内で探索枠を移動させながら、各探索枠位置におけるターゲット画像と、初期テンプレートと更新テンプレートとの類似度値を算出することによって、テンプレートマッチングを行う。その後、ステップＳ３へ進む。

ステップＳ３では、制御装置１０４は、ステップＳ２で算出した各探索枠位置における初期テンプレート画像とターゲット画像との類似度値、および各探索枠位置における更新テンプレート画像とターゲット画像との類似度値の中から、最も小さい類似度値（最小類似度値）が算出された探索枠位置を特定し、この探索枠位置における探索枠内の領域をマッチング領域として特定する。その後、ステップＳ４へ進む。

ステップＳ４では、制御装置１０４は、ステップＳ３で特定した最小類似度値が更新テンプレート画像の更新条件を満たすか否かを判断する。ここでは、制御装置１０４は、最小類似度値があらかじめ設定されている閾値より小さいとき、すなわちターゲット画像とテンプレート画像との最も高い類似度が所定以上の高さであるときに、更新テンプレート画像の更新条件を満たすと判断する。ステップＳ４で肯定判断した場合には、ステップＳ５へ進んで図３で後述するテンプレート更新処理を実行して更新テンプレート画像を更新した後、ステップＳ６へ進む。これに対して、ステップＳ４で否定判断した場合には、更新テンプレート画像の更新を行わずに、ステップＳ６へ進む。

ステップＳ６では、制御装置１０４は、スルー画の全フレームに対して処理が終了したか、すなわち撮像素子１０３からのスルー画の入力が終了したか否かを判断する。ステップＳ６で否定判断した場合には、ステップＳ１へ戻って、次に入力されるフレームを対象として、上記処理を繰り返す。これに対して、ステップＳ６で肯定判断した場合には、処理を終了する。

次に、ステップＳ５で実行されるテンプレート更新処理を図３のフローチャートを用いて説明する。ステップＳ１１において、制御装置１０４は、図２のステップＳ３で特定したマッチング領域をフレーム内における被写体位置として特定することによって被写体追尾処理を行う。その後、ステップＳ１２へ進み、ステップＳ３で最小類似度値が算出されたのは、初期テンプレート画像であったか、更新テンプレート画像であったかを判断する。

ステップＳ１２で更新テンプレート画像であったと判断した場合には、ステップＳ１３へ進み、制御装置１０４は、第１の重み係数を乗じたマッチング領域内のターゲット画像の画素情報と、第２の重み係数を乗じた初期テンプレート画像の画素情報とを加算、すなわち合成して新たな更新テンプレート画像を生成し、生成した画像でＳＤＲＡＭに記録されている更新テンプレート画像を更新して、図２に示した処理に復帰する。

ここで、ターゲット画像と初期テンプレート画像とは、いずれも追尾すべき被写体から切り出されたデータであるため、全く異なる情報量を有するものではない。よって、これら２つの画像を合成すれば、追尾対象の被写体に類似する画像が生成されることになる。このように合成した画像を新たな更新テンプレート画像として用いるメリットは、例えば、被写体の動きが激しい場合には、複数の被写体情報を含んだ合成テンプレートを用いることにより、多少の被写体変化でもロバストに追尾することが可能になる点にある。すなわち、被写体の動きが激しい場合には、隣接フレーム間で被写体情報の相関が小さいため、仮に合成テンプレートではなく、直前のフレームから切り出したテンプレートを用いた場合には、被写体を見失う可能性があるが、合成テンプレートを用いることにより、これを防ぐことができる。

なお、この場合、第１の重み係数と第２の重み係数は、その和が１になるように設定され、それぞれの重み係数の値は、例えば、第１の重み係数＝０．７５、第２の重み係数＝０．２５とする。

すなわち、最小類似度値が算出されたのが更新テンプレート画像である場合には、現在の被写体の形状は、初期テンプレート画像における被写体の形状から大きく変化している可能性が高いため、更新テンプレート画像の画素情報に乗じる第１の重み係数を大きく設定することによって、現在の被写体の形状を強く反映させた更新テンプレート画像を生成することができる。また、この場合であっても、初期テンプレート画像の画素情報に、値を小さく設定した第２の重み係数を乗じて足し込むことにより、新たな更新テンプレート画像が初期テンプレート画像から大きく離れ過ぎないようにすることができる。

これに対して、ステップＳ１２で初期テンプレート画像であったと判断した場合には、ステップＳ１４へ進み、制御装置１０４は、第３の重み係数を乗じたマッチング領域内の画像の画素情報と、第４の重み係数を乗じた初期テンプレート画像の画素情報とを加算して新たな更新テンプレート画像を生成し、生成した画像でＳＤＲＡＭに記録されている更新テンプレート画像を更新して、図２に示した処理に復帰する。この場合、第３の重み係数と第４の重み係数は、その和が１になるように設定され、それぞれの重み係数の値は、例えば、第３の重み係数＝０．２５、第４の重み係数＝０．７５とする。

すなわち、最小類似度値が算出されたのが初期テンプレート画像である場合には、現在の被写体の形状は、初期テンプレート画像における被写体の形状からそれほど変化していない可能性が高いため、初期テンプレート画像の画素情報に乗じる第４の重み係数を大きく設定することによって、新たに生成する更新テンプレート画像を初期テンプレートに近付けるようにする。また、この場合であっても、更新テンプレート画像の画素情報に、値を小さく設定した第３の重み係数を乗じて足し込むことにより、時間経過に伴う被写体形状の変化の影響も加味した新たな更新テンプレート画像を生成することができる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、初期テンプレート画像、および更新テンプレート画像と、入力画像内に設定したターゲット画像との類似度値をそれぞれ算出し、算出した類似度値に基づいて、入力画像内における被写体位置を特定するようにした。そして、制御装置１０４は、類似度値が更新テンプレート画像の更新条件を満たすか否かを判定し、満たすと判定した場合には、重み係数を乗じた初期テンプレート画像の画素情報と、重み係数を乗じたターゲット画像の画素情報とを加算することによって、新たな更新テンプレート画像を生成し、ＳＤＲＡＭに記録されている更新テンプレート画像を新たに生成した更新テンプレート画像で更新するようにした。これによって、被写体の形状の変化に対応しつつも本来追尾すべき被写体を見失うことなく被写体追尾を継続することができる。

（２）制御装置１０４は、最も高い類似度が演算されたターゲット画像位置を、入力画像内における被写体位置として特定するようにした。これによって、精度高く被写体位置を特定することができる。

（３）制御装置１０４は、最小類似度値があらかじめ設定されている閾値より小さいとき、すなわちターゲット画像とテンプレート画像との最も高い類似度が所定以上の高さであるときに、更新テンプレート画像を更新すると判定するようにした。これによって、追尾対象の被写体を確実に捕らえて追尾できている状態でのみ更新テンプレート画像の更新を行うため、新たな更新テンプレート画像が当初の追尾対象とは異なる被写体を含んでしまうことを防止することができる。

（４）制御装置１０４は、最小類似度値が算出されたテンプレート画像が、初期テンプレート画像であるか、または更新テンプレート画像であるかを判定し、その判定結果に基づいて、初期テンプレート画像の画素情報に乗じる重み係数と、ターゲット画像の画素情報に乗じる重み係数とを変更するようにした。これによって、被写体の形状の変化に対応するとともに、更新テンプレート画像が初期テンプレート画像から大きく離れてしまうことを防ぐことができる。

（５）制御装置１０４は、最小類似度値が算出されたテンプレート画像が初期テンプレート画像である場合には、初期テンプレート画像の画素情報に乗じる第４の重み係数をターゲット画像の画素情報に乗じる第３の重み係数よりも大きく設定するようにした。これによって、最小類似度値が算出されたテンプレート画像が初期テンプレート画像である場合には、現在の被写体の形状を強く反映させた更新テンプレート画像を生成することができ、さらに新たな更新テンプレート画像が初期テンプレート画像から大きく離れ過ぎないようにすることができる。

（６）制御装置１０４は、最小類似度値が算出されたテンプレート画像が更新テンプレート画像である場合には、ターゲット画像の画素情報に乗じる第１の重み係数を初期テンプレート画像の画素情報に乗じる第２の重み係数よりも大きく設定するようにした。これによって、新たに生成する更新テンプレート画像を初期テンプレートに近付けるようにすることができ、さらに時間経過に伴う被写体形状の変化にも対応することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、スルー画を対象として被写体追尾を行う例について説明した。しかしながら、カメラ１００が動画撮影機能を備えている場合には、制御装置１０４は、スルー画ではなく、撮影済みの動画のフレーム間で被写体追尾を行うようにしてもよい。

（２）上述した実施の形態では、カメラ１００が供える制御装置１０４が図２および図３に示す処理を実行して被写体追尾を行う例について説明した。しかしながら、図２および図３に示す処理を実行するためのプログラムをパソコンなどその他の端末に記録して、それらの端末上で処理を実行することも可能である。この場合、カメラで撮影した動画像データを端末側に取り込んで、これを対象に処理を行うようにすれば、動画のフレーム間で被写体追尾を行うことが可能となる。また、本発明はカメラ付き携帯電話などに適用することも可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (6)

1. 記憶媒体に記録した、更新を行わない初期テンプレート画像、および更新を行う更新テンプレート画像と、入力画像内に設定したターゲット画像との類似度をそれぞれ演算する類似度演算手段と、
   前記類似度演算手段で演算した前記類似度に基づいて、前記入力画像内における被写体位置を特定する被写体位置特定手段と、
   前記類似度演算手段で演算した前記類似度に基づいて、前記更新テンプレート画像を更新するか否かを判定する判定手段と、
   前記判定手段が前記更新テンプレート画像を更新すると判定した場合には、重み係数を乗じた前記初期テンプレート画像の画素情報と、重み係数を乗じた前記ターゲット画像の画素情報とを加算することによって、新たな前記更新テンプレート画像を生成し、前記記憶媒体に記録されている前記更新テンプレート画像を新たに生成した更新テンプレート画像で更新するテンプレート更新手段とを備えることを特徴とする被写体追尾装置。
2. 請求項１に記載の被写体追尾装置において、
   前記被写体位置特定手段は、前記類似度演算手段によって最も高い類似度が演算された前記ターゲット画像位置を、前記入力画像内における前記被写体位置として特定することを特徴とする被写体追尾装置。
3. 請求項２に記載の被写体追尾装置において、
   前記判定手段は、前記最も高い類似度が所定以上の高さである場合に、前記更新テンプレート画像を更新すると判定することを特徴とする被写体追尾装置。
4. 請求項２または３に記載の被写体追尾装置において、
   前記テンプレート更新手段は、前記最も高い類似度が、前記初期テンプレート画像を用いて演算された類似度であるか、または前記更新テンプレート画像を用いて演算された類似度であるかを判定し、その判定結果に基づいて、前記初期テンプレート画像の画素情報に乗じる重み係数と、前記ターゲット画像の画素情報に乗じる重み係数とを変更することを特徴とする被写体追尾装置。
5. 請求項４に記載の被写体追尾装置において、
   前記テンプレート更新手段は、前記最も高い類似度が前記初期テンプレート画像を用いた演算された類似度であると判定した場合には、前記初期テンプレート画像の画素情報に乗じる重み係数を前記ターゲット画像の画素情報に乗じる重み係数よりも大きく設定し、前記最も高い類似度が前記更新テンプレート画像を用いた演算された類似度であると判定した場合には、前記ターゲット画像の画素情報に乗じる重み係数を前記初期テンプレート画像の画素情報に乗じる重み係数よりも大きく設定することを特徴とする被写体追尾装置。
6. 請求項１〜５のいずれか一項に記載の被写体追尾装置を備えるカメラ。

Images