JP2010015544A - 被写体追跡プログラムおよび被写体追跡装置 - Google Patents

Abstract

【課題】検索領域の大きさによってはテンプレートマッチングにおける演算時間が急激に増大するのを防止する。
【解決手段】連続して撮像された複数の画像Ｉのそれぞれに、予め設定したテンプレート画像Ａと類似する被写体を検索するための検索領域Ｓと、検索領域Ｓ内にテンプレート画像Ａと比較するための比較対象領域Ｂとを設定し、検索領域Ｓ内で比較対象領域Ｂを移動させながら、比較対象領域Ｂの画像とテンプレート画像Ａとを比較して類似度を演算し、画像内で類似度の最大値が演算された比較対象領域Ｂの位置を、追跡対象の被写体が存在する位置として特定する際に、比較対象領域Ｂの大きさに対する検索領域Ｓの大きさが所定の関係とならないように検索領域Ｓの大きさを設定する。
【選択図】図２

Description

本発明は、被写体追跡プログラムおよび被写体追跡装置に関する。

連続して撮影された複数の画像上において、予め設定したテンプレート画像を用いてテンプレートマッチングを行い、テンプレート画像に類似した被写体位置を探索するようにした被写体追跡装置が知られている（例えば、特許文献１参照）。この被写体追跡方法では、画像内でテンプレート画像とのマッチングを行う検索領域を定め、その検索領域内においてテンプレート画像と比較する領域を順次ずらしながらテンプレートマッチングを行い、テンプレート画像に最も類似した領域を追跡対象の被写体が存在する領域としている。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０６−０８３９６３号公報

上述した従来の被写体追跡装置では、検索領域を広くすると、マッチング演算時間が長くなる上に、追跡対象の被写体と異なる被写体を誤認する疑似マッチングを起こしやすくなり、逆に検索領域を狭くすると、動きの速い被写体を検索領域から外しやすくなるため、テンプレートマッチング結果の類似度に応じて検索領域の広さを変えている。
ところが、検索領域の広さによってはテンプレートマッチングの演算時間が長くなるという問題がある。

(１) 請求項１の発明は、連続して撮像された複数の画像のそれぞれに、予め設定したテンプレート画像と類似する被写体を検索するための検索領域と、検索領域内にテンプレート画像と比較するための比較対象領域とを設定する領域設定手順と、検索領域内で比較対象領域を移動させながら、比較対象領域の画像とテンプレート画像とを比較して類似度を演算する類似度演算手順と、画像内で類似度の最大値が演算された比較対象領域の位置を、追跡対象の被写体が存在する位置として特定する位置特定手順とをコンピューターに実行させるための被写体追跡プログラムであって、領域設定手順は、比較対象領域の大きさに対する検索領域の大きさが所定の関係とならないように検索領域の大きさを設定する。(２) 請求項２の発明は、請求項１に記載の被写体追跡プログラムにおいて、所定の関係は、類似度の演算回数を比較対象領域の大きさと検索領域の大きさとの関数で表した場合に、類似度の演算回数が極大になる関係である。
(３) 請求項３の発明は、請求項１または請求項２に記載の被写体追跡プログラムにおいて、領域設定手順は、類似度の最大値が低いほど、次の画像に対して大きな検索領域を設定するようにしたものである。
(４) 請求項４の発明は、請求項１〜３のいずれか一項に記載の被写体追跡プログラムを実行する実行手段を備える被写体追跡装置である。

本発明によれば、比較対象領域の大きさに対する検索領域の大きさが所定の関係になってテンプレートマッチング演算の回数が急激に増大し、テンプレートマッチングの演算時間が長くなるのを防止することができる。

一実施の形態の構成を示す図 撮像画像Ｉ、テンプレート画像Ａ、比較対象領域画像Ｂおよび検索領域Ｓの関係を示す図 正方形の検索領域と比較対象領域を設定した場合の図 正方形の検索領域と比較対象領域を設定した場合の、比較対象領域の大きさに対するテンプレートマッチングの演算回数の関係を示す図 検索領域と比較対象領域の形状を一般化した場合の図 検索領域と比較対象領域の形状を一般化した場合の、比較対象領域の大きさに対するテンプレートマッチングの演算回数の関係を示す図 検索領域と比較対象領域の形状を一般化した場合の、比較対象領域の大きさに対するテンプレートマッチングの演算回数の関係を示す図 一実施の形態の被写体追跡制御プログラムを示すフローチャート 一実施の形態による被写体追跡結果を示す図

本願発明の被写体追跡プログラムおよび被写体追跡装置をデジタルカメラに適用した一実施の形態を説明する。なお、本願発明の被写体追跡プログラムおよび被写体追跡装置はデジタルカメラ以外の例えばデジタルビデオカメラや各種撮像装置、画像処理装置などに適用することができる。

図１は一実施の形態の構成を示す。デジタルカメラ１は、レンズ２、撮像素子３、制御装置４、操作部材５、モニター６などを備えている。撮像素子３はＣＣＤやＣＭＯＳなどから構成され、レンズ２により結像された被写体像を画像信号に変換する。制御装置４はＣＰＵ４ａ、メモリ４ｂなどから構成され、カメラの各種演算制御とシーケンス制御を行うとともに、後述する被写体追跡制御プログラムを実行し、連続して撮像された各画像上において追跡対象の被写体位置を特定する。操作部材５には、シャッターボタンの半押し操作時にオンするスイッチ、全押し操作時にオンするスイッチ、画像上の追跡対象にしたい被写体にカーソルを合わせて追跡対象被写体を指定する方向キーなどを備えている。モニター６は撮像画像と各種撮影情報を表示する。

図２により、一実施の形態のテンプレートマッチングにおける検索領域の設定方法を説明する。図２において、Ｉは撮像素子３により撮像した画像である。Ａは、追跡対象の被写体像すなわちテンプレート画像である。なお、テンプレート画像Ａの設定方法は、上述した操作部材５により撮影者が任意の追跡対象被写体を手動で指定し、指定した部分の画像をテンプレート画像Ａとする方法以外に、撮像画像Ｉの中から人物の顔の領域を認識してカメラが自動で追跡対象被写体を設定し、設定した顔領域の画像をテンプレート画像Ａとする方法などがある。

Ｂは、撮像画像Ｉ上でテンプレート画像Ａと比較してテンプレートマッチング演算を行う比較対象領域の画像であり、この比較対象領域を撮像画像Ｉ上で１画素ずつあるいは所定画素ずつずらしながらテンプレートマッチングを行う。この一実施の形態では、比較対象領域画像Ｂの大きさをテンプレート画像Ａの大きさと同じとし、ともに横ｐ画素、縦ｑ画素とする。

Ｓは、比較対象領域を所定画素ずつずらしながらテンプレート画像Ａとのテンプレートマッチングを行う検索領域であり、この検索領域Ｓは撮像画像Ｉよりも狭い領域である。この検索領域Ｓの大きさの設定方法については、詳細を後述する。

テンプレートマッチングは、(１)式に示すテンプレート画像Ａと比較対象領域画像Ｂとの残差ｒを演算し、残差ｒが小さいほど両画像の類似度が高いとする。
ｒ＝ΣΣ｜Ａpq−Ｂpq｜ ・・・(１)
(１)式において、ΣΣはテンプレート画像Ａと比較対象領域画像Ｂの横(１〜ｐ)画素、縦(１〜ｑ)画素の画素単位の総和演算を表す。つまり、テンプレート画像Ａと比較対象領域画像Ｂとの画素ごとの差の絶対値の総和を残差ｒとする。この一実施の形態では、残差ｒの逆数(１／ｒ)を類似度と定義し、残差ｒが小さいほど、つまり類似度(１／ｒ)が大きいほど、比較対象領域画像Ｂがテンプレート画像Ａに類似していると判断する。なお、テンプレート画像Ａと比較対象画像Ｂが完全に一致する場合、すなわちＡ＝Ｂの場合は類似度(１／ｒ)＝１とする。

ここで、検索領域Ｓの大きさについて考察する。上述したように、検索領域Ｓを広くすると、テンプレートマッチングにおける演算時間が長くなる上に、追跡対象の被写体と異なる被写体を誤認する疑似マッチングを起こしやすくなり、逆に検索領域Ｓを狭くすると、動きの速い被写体を検索領域Ｓから外しやすくなるため、基本的にはテンプレートマッチング結果の類似度(１／ｒ)に応じて検索領域Ｓの広さを変える。

類似度(１／ｒ)が低い場合は、テンプレート画像Ａに一致する追跡対象被写体が現在の比較対象領域の近くにない可能性が高いので、検索領域Ｓを広くして追跡対象被写体の取り逃しを防ぐ。逆に類似度が高い場合は、追跡対象被写体が現在の比較対象領域またはその近くにいる可能性が高いので、検索領域Ｓを狭くして疑似マッチングを防ぐ。

ここで、類似度(１／ｒ)を０（不一致）〜１（完全一致）に正規化した場合、検索領域Ｓの大きさは次式で表される。
(検索領域Ｓの大きさ)＝ｋ・（１−(１／ｒ)）・(テンプレート画像Ａの大きさ) ・・・(２)
(２)式において、(１／ｒ)は残差ｒから求めた類似度、ｋは画像の撮影目的や撮影条件により設定される定数である。なお、この一実施の形態では、テンプレート画像Ａの大きさは比較対象領域画像Ｂの大きさに等しい。

次に、比較対象領域の大きさ（この一実施の形態ではテンプレート画像Ａの大きさと同じ）、検索領域Ｓの大きさ、およびテンプレートマッチング演算の回数の関係について考察する。まず、図３に示すように検索領域Ｓと比較対象領域をともに正方形とした場合の上記関係を導く。検索領域Ｓの一辺の長さをｍ(画素)、比較対象領域の一辺の長さをｎ(
画素)とする。この場合には、テンプレートマッチングの演算回数Ｆは次式で表される。
Ｆ＝ｄ（ｍ−ｎ＋１）^２ｎ^２ ・・・(３)
(３)式において、ｄは画素の間引き率である。また、（ｍ−ｎ＋１）^２ は検索領域Ｓ内で比較対象領域の位置をずらして移動する回数を表し、ｎ^２はテンプレート画像Ａと検索対象領域画像Ｂとのテンプレートマッチング演算を行うループ回数を表す。

被写体を追跡するにはテンプレートサイズｎを固定にし、類似度に応じて検索領域サイズを変更するには検索領域サイズｍを変数とするのが合理的である。しかし、（３）式をみると、ｍ≧ｎの制約の下では、演算回数Ｆは、テンプレートサイズｎと検索領域サイズｍが等しいときｎ^２回を最小値とするｍの２次式であるため、Ｆの値は発散してしまう。すなわち、最小演算回数Ｆは、テンプレートサイズｎと検索領域サイズｍが等しいときという結論が出るが、そのようにすると検索処理が不可能となってしまう。
そこで逆に、検索領域サイズｍを固定し、テンプレートサイズｎを変数として４次の式として演算回数が最大となる箇所を求めてみる。(３)式をｎについて１階微分すると、次式(４)が得られる。
Ｆ(ｎ)’＝２ｎｄ（２ｎ^２−３ｍｎ＋ｍ^２) ・・・（４）
（４）式において、Ｆ(ｎ)’＝０となる位置、すなわち極値は、
ｎ＝０、 ｍ／２、 ｍ ・・・（５）
である。極大値は、ｎ＝ｍ／２の場合、つまり、検索領域Ｓの一辺の長さｍ(画素)が比較対象領域の一辺の長さｎ(画素)の２倍近傍では演算回数が増大する。したがって、検索領域Ｓの一辺の長さｍ(画素)が比較対象領域の一辺の長さｎ(画素)の２倍もしくはその近傍値になるのを避けなければならない。

図４は、検索領域Ｓの一辺の長さを１０(画素)とした場合の、比較対象領域の一辺の長さｎ(画素)（グラフの横軸）に対する演算回数Ｆ（グラフの縦軸）の関係を示すグラフである。図４(ａ)は、画素間引きなし（ｄ＝１）、つまり全画素を使ってテンプレートマッチング演算を行った場合の関係を示す。ｎ＝５、つまりｎ＝ｍ／２のときに演算回数Ｆが極大値を示している。一方、図４(ｂ)は、画素間引き率ｄを０．５、つまり画素２個ごとに１個の画素を取り出してテンプレートマッチング演算を行った場合の関係を示す。この場合でも演算回数Ｆは少なくなるが、ｎ＝５すなわちｎ＝ｍ／２において演算回数Ｆが極大になることは変わらない。

次に、比較対象領域と検索領域Ｓの形状を一般化した場合について考察する。ここでは、図５に示すように、比較対象領域を横ｎ(画素)、縦αｎ(画素)とし、検索領域Ｓを横ｍ(画素)、縦βｍ(画素)とする。この場合のテンプレートマッチングの演算回数Ｆは次式(６)で表される。
Ｆ(ｎ)＝ｄα（ｍ−ｎ＋１）（βｍ−αｎ＋１）ｎ^２ ・・・(６)
(６)式をｎについて１階微分してＦ(ｎ)’＝０となる位置、すなわち極値は、
ｎ＝０、 ｛３(α＋β)±(９α^２−１４αβ＋９β^２)^１／２｝ｍ／８α ・・・（７）
となる。比較対象領域の一辺の長さｎ(画素)と、検索領域Ｓの一辺の長さｍ(画素)とが、ｎ＝０の場合を除き、(７)式に示す関係にある場合に、演算回数Ｆが極大になることを示している。

なお、ちなみにα＝β、つまり比較対象領域と検索領域Ｓが相似形の場合には、(７)式は上記(５)式と等しくなる。これは、比較対象領域と検索領域Ｓが相似形であれば、検索領域Ｓの一辺の長さが、この検索領域Ｓの一辺に対応する比較対象領域の一辺の長さの２倍になったときに演算回数が極大になることを示している。

図６は、比較対象領域と検索領域Ｓの形状を一般化した場合の演算回数を示す。この例では、図７に示すように、比較対象領域の縦横比を１．２：１、検索領域Ｓの縦横比を０．９：１とし、検索領域Ｓの横一辺の長さを１０(画素)とした場合、演算回数Ｆは比較対象領域の横一辺の長さｎ＝４．２０(画素)のときに極大になる。

このように、検索領域Ｓの大きさを決定する場合に、比較対象領域の大きさに対する演算回数Ｆが極大にならないように決定すれば、少ない演算回数で追跡対象の被写体位置を演算することができる。

図８は、一実施の形態の被写体追跡制御プログラムを示すフローチャートである。このフローチャートにより一実施の形態の動作を説明する。制御装置４のＣＰＵ４ａは、撮影者が操作部材５の方向キーを操作して追跡対象被写体を指定し、シャッターボタンを半押して半押しスイッチがオンすると、指定位置の所定の大きさの画像を追跡対象被写体のテンプレート画像としてメモリ４ｂに記憶し、この被写体追跡制御プログラムの実行を開始する。なお、ここでは撮影者が手動で指定した追跡対象被写体を例に挙げて説明するが、カメラが顔認識などにより自動で設定した追跡対象被写体の場合も同様である。

ステップ１において、撮像画像Ｉ内における検索領域Ｓを設定する（図２参照）。なお、被写体追跡動作を開始した直後は、検索領域Ｓの大きさには予め設定された初期値が設定される。ここでは、検索領域Ｓの初期値にテンプレート画像Ａの大きさを所定値倍した大きさを設定する。続くステップ２では、検索領域Ｓ内にテンプレート画像Ａと比較してテンプレートマッチング演算を行うための比較対象領域を設定する（図２参照）。なお、最初は検索領域Ｓの例えば左上隅に比較対象領域を設定し、テンプレートマッチング演算のたびに比較対象領域を所定画素単位で横方向および縦方向に検索領域Ｓ内を順次ずらしていく。

ステップ３で、テンプレート画像Ａと比較対象領域画像Ｂとの間で上記（１）式に示すテンプレートマッチング演算を行い、類似度(１／ｒ)を算出する。なお、この一実施の形態では(１)式により残差ｒを演算して類似度(１／ｒ)を求める例を示すが、テンプレート画像Ａと比較対象領域画像Ｂとの類似度は、この一実施の形態の算出方法に限定されず、例えば正規化相関による算出方法など、公知の算出方法を採用することができる。

ステップ４で、検索領域Ｓ内において比較対象領域を移動し、被写体追跡を終了したか否かを確認し、終了していない場合はステップ５へ進む。ステップ５では検索領域Ｓ内で比較対象領域をずらし、ステップ３へ戻って新しい比較対象領域画像Ｂとテンプレート画像Ａとのテンプレートマッチング演算を行う。一方、検索領域Ｓ内における被写体追跡を終了した場合はステップ６へ進み、これまでに演算したテンプレート画像Ａと比較対象領域画像Ｂとの類似度の中で、最大の類似度が得られる比較対象領域を追跡対象の被写体位置として特定する。

ステップ７で操作部材５の半押しスイッチがオンしたままか、つまりシャッターボタンの半押し操作が継続されているか否かを判別し、半押し操作が継続されている場合はステップ１へ戻り、半押し操作がなされていない場合は被写体追跡制御プログラムの実行を終了する。

シャッターボタンの半押し操作が継続されている場合には、ステップ１へ戻って検索領域Ｓを再設定する。この場合、検索領域Ｓの大きさを、基本的には上記(２)式に示す最大の類似度(１／ｒ)に応じた大きさとするが、最大類似度に応じた検索領域Ｓの大きさが比較対象領域の大きさに対して上記(５)式または(７)式に示すような関係にある場合には、比較対象領域の大きさに対するテンプレートマッチングの演算回数が極大にならない検索領域Ｓの大きさに変更する。

前回のテンプレートマッチングにおけるテンプレート画像Ａと比較対象領域画像Ｂとの最大類似度と、テンプレートマッチング演算回数とに基づいて検索領域Ｓの大きさを再設定した後、ステップ２へ進み、上述した処理を繰り返す。

図９は一実施の形態による被写体追跡結果を示す図である。図９(ａ)に示す子供の顔部分の画像をテンプレート画像Ａとして被写体追跡を行った結果、図９(ｂ)に示すように、子供の顔の動きが少なく、追跡対象被写体の子供の顔が当初のテンプレート画像Ａ取得時の位置に近い場合には、比較対象領域（図中に白色実線矩形枠で示す）の画像Ｂとテンプレート画像Ａとの類似度が高いので、テンプレート画像Ａの大きさよりもわずかに大きい検索領域Ｓ（図中に白色破線矩形枠で示す）が設定される。ここで、設定された検索領域Ｓの大きさは、検索領域Ｓと比較対象領域の大きさの関係が上記（５）式または（７）式に示す条件を除く関係になっている。これにより、追跡対象被写体の動きが小さい場合には、テンプレートマッチングにおける演算回数を低減、つまり演算時間を低減して被写体追跡の応答性を向上させながら、追跡対象被写体と異なる被写体に疑似マッチングするのを防止することができる。

これに対し図９(ｃ)に示すように、子供が急に姿勢を低くしたために、追跡対象被写体の子供の顔が当初の位置から遠ざかった場合には、比較対象領域（図中に白色実線矩形枠で示す）の画像Ｂとテンプレート画像Ａとの類似度が低くなるので、図９(ｂ)の場合よりも広い検索領域Ｓ（図中に白色破線矩形枠で示す）が設定される。この場合においても、設定された検索領域Ｓの大きさは、検索領域Ｓと比較対象領域の大きさの関係が上記（５）式または（７）式に示す条件を除く関係になっている。これにより、追跡対象被写体の動きが大きい場合でも、検索領域Ｓ内に追跡対象被写体を確実に捕捉することができる。

なお、上述した一実施の形態では、テンプレート画像Ａの大きさと比較対象領域画像Ｂの大きさとを等しくした一実施の形態を示したが、両画像の大きさが異なっていてもよい。例えば、比較対象領域画像Ｂがテンプレート画像Ａよりも大きい場合には、比較対象領域画像Ｂの画素を間引いてテンプレート画像Ａの画素数と同じだけ抽出するか、あるいは比較対象領域画像Ｂにおける隣接画素どうしを平均化してテンプレート画像Ａの画素数と同じ画像を再生するなどして比較すればよい。

なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、連続して撮像された複数の画像のそれぞれに、予め設定したテンプレート画像と類似する被写体を検索するための検索領域と、検索領域内にテンプレート画像と比較するための比較対象領域とを設定し、検索領域内で比較対象領域を移動させながら、比較対象領域の画像とテンプレート画像とを比較して類似度を演算し、画像内で類似度の最大値が演算された比較対象領域の位置を、追跡対象の被写体が存在する位置として特定する際に、比較対象領域の大きさに対する検索領域の大きさが所定の関係とならないように検索領域の大きさを設定するようにしたので、比較対象領域の大きさに対する検索領域の大きさが所定の関係になってテンプレートマッチング演算の回数が急激に増大し、テンプレートマッチングの演算時間が長くなるのを防止することができる。

また、一実施の形態によれば、類似度の演算回数を、比較対象領域の大きさと検索領域の大きさとの関数で表した場合に、類似度の演算回数が極大になる所定の関係とならないように検索領域の大きさを設定するようにしたので、比較対象領域の大きさと検索領域の大きさからテンプレートマッチング演算の回数が急激に増大する関係を簡便に導出でき、テンプレートマッチングにおける演算時間の増大を確実に防止することができる。

さらに、一実施の形態によれば、類似度の最大値が低いほど、次の画像に対して大きな検索領域を設定するようにしたので、追跡対象被写体の動きが小さい場合には、テンプレートマッチングにおける演算回数を低減、つまり演算時間を低減して被写体追跡の応答性を向上させながら、追跡対象被写体と異なる被写体に疑似マッチングするのを防止することができる。一方、追跡対象被写体の動きが大きい場合でも、検索領域内に追跡対象被写体を確実に捕捉することができる。

４；制御装置、４ａ；ＣＰＵ

Claims (4)

1. 連続して撮像された複数の画像のそれぞれに、予め設定したテンプレート画像と類似する被写体を検索するための検索領域と、前記検索領域内に前記テンプレート画像と比較するための比較対象領域とを設定する領域設定手順と、
   前記検索領域内で前記比較対象領域を移動させながら、前記比較対象領域の画像と前記テンプレート画像とを比較して類似度を演算する類似度演算手順と、
   前記画像内で前記類似度の最大値が演算された前記比較対象領域の位置を、追跡対象の被写体が存在する位置として特定する位置特定手順とをコンピューターに実行させるための被写体追跡プログラムであって、
   前記領域設定手順は、前記比較対象領域の大きさに対する前記検索領域の大きさが所定の関係とならないように前記検索領域の大きさを設定することを特徴とする被写体追跡プログラム。
2. 請求項１に記載の被写体追跡プログラムにおいて、
   前記所定の関係は、前記類似度の演算回数を前記比較対象領域の大きさと前記検索領域の大きさとの関数で表した場合に、前記類似度の演算回数が極大になる関係であることを特徴とする被写体追跡プログラム。
3. 請求項１または請求項２に記載の被写体追跡プログラムにおいて、
   前記領域設定手順は、前記類似度の最大値が低いほど、次の前記画像に対して大きな前記検索領域を設定することを特徴とする被写体追跡プログラム。
4. 請求項１〜３のいずれか一項に記載の被写体追跡プログラムを実行する実行手段を備えることを特徴とする被写体追跡装置。

Images