JP2010257041A - 被写体追尾装置、およびカメラ - Google Patents

Abstract

【課題】テンプレートマッチング処理に用いるテンプレート画像を更新すること。
【解決手段】制御装置１０４は、テンプレート画像とターゲット画像との類似度値を算出し、算出結果に基づいて類似度マップを生成する。また、制御装置１０４は、最小類似度値の検出、類似度値の分散値の算出、最小類似度の上昇度の算出、および連続上昇フレーム数の算出を行う。そして、制御装置１０４は、類似度値の分散値、最小類似度の上昇度、連続上昇フレーム数、および類似度値の分散値に基づいて、テンプレート画像の更新が必要であるか否かを判断し、更新が必要であると判断した場合に、現フレームで最小類似度が算出されたターゲット画像を用いてテンプレート画像を更新する。
【選択図】図１

Description

本発明は、被写体追尾装置、およびカメラに関する。

次のような自動追尾装置が知られている。この自動追尾装置は、探索画像中の類似度マップの分散値を算出し、分散の度合いに基づいてテンプレートを更新するか否かを判定する（例えば、特許文献１）。

特開平９−２６５５３８号公報

しかしながら、従来の自動追尾装置によれば、分散値が所定値以上である場合にはテンプレートの更新は行なわれず、被写体が変化した場合に被写体の追尾を継続できなくなる可能性があった。

本発明による被写体追尾装置は、テンプレート画像と、入力画像内に設定した探索枠内のターゲット画像との類似度値を算出する類似度算出手段と、入力画像内の類似度値の分散値または標準偏差値を算出する算出手段と、入力画像内においてテンプレート画像とターゲット画像の類似度が最も高く算出されたときの類似度値を特定類似度値として特定する特定手段と、類似度値の分散値または標準偏差値と、特定類似度値とに基づいて、テンプレート画像の更新が必要であるか否かを判定する判定手段と、判定手段がテンプレート画像の更新が必要であると判断したときに、テンプレート画像の更新を行なう更新手段とを備えることを特徴とする。
本発明では、判定手段は、特定類似度値に基づいて、テンプレート画像とターゲット画像の類似度が所定フレーム連続して低下していること、および現フレームの類似度が過去のフレームの類似度値に対して一定の割合以上で低下していることの少なくとも１つの条件を満たし、かつ類似度値の分散値または標準偏差値が所定の閾値以下である場合に、テンプレート画像の更新が必要であると判定してもよい。
本発明によるカメラは、被写体像を撮像して画像を取得する撮像手段と、上記いずれかの被写体追尾装置とを備えることを特徴。

本発明によれば、被写体が変化した場合でも被写体追尾を継続することができる。

カメラ１００の一実施の形態の構成を示すブロック図である。 テンプレート画像の更新処理の流れを示すフローチャート図である。 類似度マップにおける類似度値の分散値と最小類似度値の上昇度との関係を示す図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態では、制御装置１０４は、撮像素子１０３から入力されるスルー画の各フレームに対して、あらかじめ用意したテンプレート画像を用いたテンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。そして、制御装置１０４は、特定した領域をフレーム間で追跡することによって、被写体追跡処理を行う。

具体的には、制御装置１０４は、あらかじめ用意されたテンプレート画像と、撮像素子１０３から時系列で入力される各フレームとのマッチング演算を行う。例えば、制御装置１０４は、撮像素子１０３からのスルー画の入力が開始されると、各フレーム（コマ）を対象として、フレーム内の所定の位置にテンプレート画像と同じ大きさの探索枠を設定し、設定した探索枠内のターゲット画像Ｂをテンプレートマッチングの対象とする。

すなわち、制御装置１０４は、探索枠をフレーム内で移動させながら、各探索枠位置におけるターゲット画像とテンプレート画像との類似度を算出する。そして、制御装置１０４は、フレーム内におけるテンプレート画像とターゲット画像との類似度が最も高い位置を被写体位置として特定する。

制御装置１０４は、撮像素子１０３から時系列で入力される各フレーム内における被写体位置を特定して、該被写体位置をフレーム間で追跡することにより、スルー画を対象とした被写体追尾を行う。

なお、テンプレート画像とターゲット画像との類似度の算出方法は公知であるため詳細な説明は省略するが、一般的には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等の類似度算出方法が用いられる。

例えば、類似度算出方法としてＳＡＤ（残差逐次検定法）を用いた場合には、制御装置１０４は、次式（１）に示す残差和により類似度値ｒを算出し、算出した類似度値ｒに基づいてテンプレートマッチングを行う。この次式（１）により算出される類似度値ｒは、その値が小さいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が高いことを示し、その値が大きいほどテンプレート画像Ａとターゲット画像Ｂとの類似度が低いことを示す。

なお、式（１）において、Ａはテンプレート画像を表し、Ｂはターゲット画像を表す。また、ｍはテンプレート画像Ａ内における横方向の画素位置を表し、ｎはテンプレート画像Ａ内における縦方向の画素位置を表す。例えば、テンプレート画像Ａにおける左上端の画素はＡ_１１と表され、ターゲット画像Ｂにおける左上端の画素はＢ_１１と表される。

このように、テンプレート画像とターゲット画像との類似度を算出して被写体追尾を行う場合には、追尾対象の被写体の形状は時々刻々と変化するため、あらかじめ用意された初期テンプレート画像をそのまま用いて類似度値を算出していくと、徐々に類似度が低下して最終的に被写体追尾を継続できなくなる可能性がある。よって、本実施の形態では、このような問題点を解消するために、制御装置１０４は、テンプレート画像とターゲット画像との類似度値の変化を時系列で観察し、その変化に基づいてテンプレート画像の更新タイミングを判定する。そして、制御装置１０４は、テンプレート画像の更新タイミングで、現フレーム内で被写体位置として特定されたターゲット画像を取り込んで、これを新たなテンプレート画像とすることによりテンプレート画像の更新を行なう。

図２は、本実施の形態におけるテンプレート画像の更新処理の流れを示すフローチャートである。図２に示す処理は、撮像素子１０３からスルー画の入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１において、制御装置１０４は、画像情報、すなわちスルー画の１フレームを読み込んでステップＳ２へ進む。ステップＳ２では、制御装置１０４は、上述したように、フレーム内で探索枠を移動させながら、各探索枠位置におけるターゲット画像とテンプレート画像との類似度を算出する。そして、制御装置１０４は、各探索位置における類似度値を２次元化して表した類似度マップを生成する。その後、ステップＳ３へ進む。

ステップＳ３では、制御装置１０４は、ステップＳ３で生成した類似度マップ内から最小類似度値を検出する。ここで検出された最小類似度値が算出された探索位置が、テンプレート画像とターゲット画像との類似度が最も高い探索位置、すなわち被写体位置である。制御装置１０４は、ここで検出した最小類似度値をＳＤＲＡＭに記録する。これによって、フレームごとに検出された最小類似度値を蓄積することができる。

また、制御装置１０４は、ステップＳ３において、類似度マップにおける類似度値の分散値（以下、「類似度マップの分散値」と呼ぶ）を次式（２）により算出する。なお、次式（２）において、ｘ_ｉは、類似度マップ内における各探索位置の類似度値を表し、ｘ_ａｖｅは、類似度マップ全体における類似度値の平均値を示す。

その後、ステップＳ４へ進み、制御装置１０４は、ＳＤＲＡＭに蓄積されている最小類似度値を読み出して、現フレームにおける最小類似度値の過去フレームに対する上昇度（以下、「最小類似度値の上昇度」と呼ぶ）を算出する。例えば、本実施の形態では、制御装置１０４は、次式（３）により、過去ｎ−１フレーム分の最小類似度値の平均値に対する現フレーム（ｎ番目のフレーム）の最小類似度値の上昇率Ｒ_ｎを算出し、これを最小類似度値の上昇度とする。なお、次式（３）において、ｉは過去フレームのそれぞれを識別するフレーム番号であり、１≦ｉ≦ｎ−１の範囲をとる。また、Ｐ_ｉは、ｉフレーム目の最小類似度値であり、Ｐ_ｎは、現フレーム（ｎフレーム目）の最小類似度値を表す。

また、ステップＳ４では、制御装置１０４は、最小類似度値の上昇が連続して何フレーム続いているかを示す連続上昇フレーム数Ｎ_ｎを算出する。具体的には、制御装置１０４は、前フレームで算出された最小類似度値と現フレームで算出された最小類似度値とを比較し、前フレームの最小類似度値よりも現フレームの最小類似度値の方が大きければ、連続上昇フレーム数Ｎ_ｎに１を加算する。一方、前フレームの最小類似度値の方が現フレームの最小類似度値よりも大きければ、連続上昇フレーム数Ｎ_ｎを０にリセットする。これによって、連続上昇フレーム数Ｎ_ｎを算出することができる。

その後、ステップＳ５へ進み、制御装置１０４は、ステップＳ４で算出した最小類似度値の上昇度が所定の閾値以上、例えば１．５以上であり、かつステップＳ４で算出した連続上昇フレーム数が所定数、例えば３以上であるか否かを判断する。ステップＳ５で否定判断した場合には、後述するステップＳ８へ進み、ステップＳ５で肯定判断した場合には、ステップＳ６へ進む。ステップＳ６では、制御装置１０４は、ステップＳ３で算出した類似度マップの分散値が所定の閾値以下、例えば過去フレームにおける類似度マップの分散値の平均値以下であるか否かを判断する。ステップＳ６で否定判断した場合には、後述するステップＳ８へ進み、ステップＳ６で肯定判断した場合には、ステップＳ７へ進む。

ステップＳ７では、制御装置１０４は、上述したように、現フレーム内で被写体位置として特定されたターゲット画像を新たなテンプレート画像としてテンプレート画像の更新を行なう。すなわち、本実施の形態では、制御装置１０４は、最小類似度値の上昇度が閾値以上であり（現フレームの類似度が過去のフレームの類似度値に対して一定の割合以上で低下しており）、連続上昇フレーム数が所定数以上であり（類似度が所定フレーム連続して低下しており）、かつ類似度マップの分散値が閾値以下である（類似度マップの類似度値のばらつきが所定以下である）タイミングをテンプレート画像の更新タイミングと判定して、テンプレート画像の更新を行なう。以下、当該タイミングをテンプレート画像の更新タイミングと判定する理由について説明する。

まず、類似度マップの分散値と最小類似度値の上昇度との関係について、図３を用いて説明する。図３は、テンプレート画像を更新せずにテンプレートマッチングを行なった場合の最小類似度値の時系列変化３ａと類似度マップの分散値の時系列変化３ｂとを示している。まず、最小類似度値の時系列変化３ａに着目すると、テンプレート画像の更新を行なわないでテンプレートマッチングを継続した場合には、被写体の変化に伴ってテンプレート画像とターゲット画像との最小類似度値は上昇していく、すなわち、類似度は徐々に低下していくことがわかる。例えば、図３においては、テンプレートマッチングの開始から時点Ａに向けて徐々に最小類似度値が上昇している。

そして、その後もテンプレートマッチングを継続した場合には、最小類似度値がさらに上昇し、ある時点でテンプレート画像とターゲット画像との相関がとれなくなった結果、他の擬似被写体位置でテンプレート画像とターゲット画像の類似度が最小となって、誤マッチングが発生する。例えば、図３においては、時点Ｂにおいて、本来の被写体位置とは異なる擬似被写体位置で最小類似度値が算出された結果、上昇を続けていた最小類似度値が再び小さくなっている。

次に、類似度マップの分散値の時系列変化３ｂに着目すると、時点Ａから時点Ｂにかけて、類似度値の分散値が増加している。これは、類似度マップの類似度値のばらつきが大きくなっていることを示しており、現在のテンプレート画像を用いて検出されている被写体の信頼性が徐々に低下していることを示している。

以上より、少なくとも誤マッチングが発生する時点Ｂより前の時点、すなわち、現在のテンプレート画像を用いて検出されている被写体の信頼性がある程度保たれている時点でテンプレート画像の更新をする必要があることがわかる。ここで、テンプレート画像の更新タイミングを時点Ａより前のタイミングとして、頻繁にテンプレート画像を更新すれば、誤マッチングの発生までに余裕をもってテンプレート更新を行なうことができるが、この場合には、頻繁にテンプレート画像の更新が行なわれることになり、処理速度が低下することになる。

よって、本実施の形態では、誤マッチングを防止するとともに、処理速度の低下をできるだけ抑えることを目的として、時点Ａから時点Ｂの間をテンプレート画像の更新タイミングとするために、図２のステップＳ５およびステップＳ６における条件で更新タイミングを判定することとした。

具体的には、ステップＳ５において、最小類似度値が一定以上の上昇度で連続して上昇している場合にテンプレート画像の更新を行うように判定条件を設定して、テンプレート画像の更新タイミングが時点Ａ以降になるようにしている。また、ステップＳ６において、現在のテンプレート画像を用いて検出されている被写体の信頼性がある程度保たれている間にテンプレート画像の更新を行うように判定条件を設定して、テンプレート画像の更新タイミングを時点Ｂより前になるようにしている。

なお、本実施の形態では、ステップＳ５の条件を満たす場合であっても、ステップＳ６の条件を満たさない場合にはテンプレート画像を更新しないようにしている。これは、類似度マップの分散値が大きい場合には、現在のテンプレート画像を用いて検出されている被写体の信頼性が低くなっているため、このときのターゲット画像をテンプレート画像として更新した場合には、当初とは異なる被写体を追尾対象としてしまう可能性があるためである。

ステップＳ７でテンプレート画像を更新した後は、ステップＳ８へ進み、制御装置１０４は、スルー画の全フレームに対して処理が終了したか、すなわち撮像素子１０３からのスルー画の入力が終了したか否かを判断する。ステップＳ８で否定判断した場合には、ステップＳ１へ戻って、次に入力されるフレームを対象として、上記処理を繰り返す。これに対して、ステップＳ８で肯定判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像とターゲット画像との類似度値を算出し、算出結果に基づいて類似度マップを生成する。また、制御装置１０４は、最小類似度値の検出、類似度値の分散値の算出、最小類似度の上昇度の算出、および連続上昇フレーム数の算出を行う。そして、制御装置１０４は、類似度値の分散値、最小類似度の上昇度、連続上昇フレーム数、および類似度値の分散値に基づいて、テンプレート画像の更新が必要であるか否かを判断し、更新が必要であると判断した場合に、現フレームで最小類似度が算出されたターゲット画像を用いてテンプレート画像を更新するようにした。これによって、最適なテンプレート画像の更新タイミングを判定して、被写体が変化した場合でも被写体追尾を継続することができる。

（２）制御装置１０４は、最小類似度値の上昇度が所定の閾値以上であり、かつ連続上昇フレーム数が所定数以上であって、さらに類似度マップの分散値が所定の閾値以下である場合に、テンプレート画像の更新が必要であると判断するようにした。これによって、誤マッチングを防止するとともに、処理速度の低下をできるだけ抑えるように、テンプレート画像の更新を行なうことができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、テンプレートマッチングに用いるテンプレート画像は１つの場合について説明したが、複数のテンプレート画像を用いてテンプレートマッチングを行う場合にも本発明は適用可能である。

（２）上述した実施の形態では、制御装置１０４は、最小類似度値の上昇度（上昇率Ｒ_ｎ）と、連続上昇フレーム数Ｎ_ｎとに基づいて、最小類似度値が一定以上の上昇度で連続して上昇している時点を特定する例について説明した。しかしながら、制御装置１０４は、最小類似度値の上昇度（上昇率Ｒ_ｎ）と、連続上昇フレーム数Ｎ_ｎとのいずれか一方に基づいて、最小類似度値が一定以上の上昇度で連続して上昇している時点を特定するようにしてもよい。

（３）上述した実施の形態では、制御装置１０４は、類似度マップの分散値に基づいて、ターゲット画像内の被写体の追尾対象被写体としての信頼性が低下した時点を特定する例について説明した。しかしながら、制御装置１０４は、類似度マップの分散値の平方根である標準偏差値に基づいて、ターゲット画像内の被写体の追尾対象被写体としての信頼性が低下した時点を特定するようにしてもよい。

（４）上述した実施の形態では、制御装置１０４は、各探索位置における類似度値を２次元化して表した類似度マップを生成する例について説明した。しかしながら、各探索位置における類似度値のうち、他の探索位置とは類似度値が大きく離れている探索位置はノイズの影響を受けていると考えられるため、類似度マップから除外してもよい。

（５）上述した実施の形態では、図２のステップＳ６において、制御装置１０４は、現フレームにおける類似度マップの分散値が、過去フレームにおける類似度マップの分散値の平均値以下であるか否かを判定する例について説明した。しかしながら、分散値との比較に用いる閾値は、あらかじめ設定された固定値であってもよい。

（６）上述した実施の形態では、制御装置１０４は、スルー画を対象として被写体追尾を行う例について説明した。しかしながら、カメラ１００が動画撮影機能を備えている場合には、制御装置１０４は、スルー画ではなく、撮影済みの動画のフレーム間で被写体追尾を行うようにしてもよい。

（７）上述し実施の形態では、カメラ１００が供える制御装置１０４がテンプレートマッチング処理を行って被写体追尾を行う例について説明した。しかしながら、テンプレートマッチング処理を実行するためのプログラムをパソコンなどその他の端末に記録して、それらの端末上で処理を実行することも可能である。この場合、カメラで撮影した動画像データを端末側に取り込んで、これを対象に処理を行うようにすれば、動画のフレーム間で被写体追尾を行うことが可能となる。また、本発明はカメラ付き携帯電話などに適用することも可能である。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (3)

1. テンプレート画像と、入力画像内に設定した探索枠内のターゲット画像との類似度値を算出する類似度算出手段と、
   前記入力画像内の前記類似度値の分散値または標準偏差値を算出する算出手段と、
   前記入力画像内において前記テンプレート画像と前記ターゲット画像の類似度が最も高く算出されたときの前記類似度値を特定類似度値として特定する特定手段と、
   前記類似度値の分散値または標準偏差値と、前記特定類似度値とに基づいて、前記テンプレート画像の更新が必要であるか否かを判定する判定手段と、
   前記判定手段が前記テンプレート画像の更新が必要であると判断したときに、前記テンプレート画像の更新を行なう更新手段とを備えることを特徴とする被写体追尾装置。
2. 請求項１に記載の被写体追尾装置において、
   前記判定手段は、前記特定類似度値に基づいて、前記テンプレート画像と前記ターゲット画像の類似度が所定フレーム連続して低下していること、および現フレームの類似度が過去のフレームの類似度値に対して一定の割合以上で低下していることの少なくとも１つの条件を満たし、かつ前記類似度値の分散値または標準偏差値が所定の閾値以下である場合に、前記テンプレート画像の更新が必要であると判定することを特徴とする被写体追尾装置。
3. 被写体像を撮像して画像を取得する撮像手段と、
   請求項１または２に記載の被写体追尾装置とを備えることを特徴とするカメラ。

Images