JP2021077082A - 物体追跡装置及び方法 - Google Patents

Abstract

【課題】追跡する物体が小さく、そのテンプレート画像が小さくなって十分な輪郭情報を得られない場合も高精度の追跡を可能にする物体追跡装置を提供する。【解決手段】テンプレート作成部１０２は、追跡対象の物体ごとにテンプレート画像Tを作成してテンプレート記憶部１０３に記憶する。周辺画素情報取得部１０４は、テンプレート画像Tの周辺画素情報を周辺画素情報pAiの初期値として周辺画素情報記憶部１０５に登録する。テンプレートマッチング部１０６は、テンプレートマッチングの探索位置ごとに類似度を計算する。周辺画素情報取得部１０７ａは、探索位置の周辺画素情報Aiを取得する。追跡部１０７は、前記類似度および各周辺画素情報pAi，Aiの差分に基づいて物体を追跡する。更新部１０８は、物体の追跡結果に基づいて周辺画素情報pAiを更新する。追跡結果出力部１０９は追跡結果を出力する。【選択図】図１

Description

本発明は、映像のフレーム間で物体を追跡する装置及び方法に係り、特に、小さな物体の追跡に好適な物体追跡装置及び方法に関する。

特許文献１では、撮像画像から輪郭を抽出した２値の輪郭画像を作成し、テンプレートの輪郭画像と相関値が最大となる位置を求めることで物体を追跡している。また、これまでに相関値が最大となって追跡された物体の領域に対して、画素ごとに画素値を累積して多値のテンプレートを作成/更新している。テンプレートを作成/更新することで、追跡物体の形状変化によって発生する輪郭部分の位置ずれの影響を低減できるようになり、物体を精度良く追跡することができる。

特許文献２では、テンプレートを登録する際に周辺の類似度分布も作成し、テンプレートと周辺類似度分布とを用いることで、テンプレートの登録時に使用した画像から位置がずれた撮像画像の相対的な位置を求め、位置ずれを修正することができる。

特開2008-269258号公報 特開2008-065458号公報

M. Takahashi, K. Ikeya, M. Kano, H. Ookubo and T. Mishina "Robust Volleyball Tracking System using Multi-View Cameras", in Proc. 2016 IEEE International Conference on Pattern Recognition, pp. 2740-2745.

特許文献１では、輪郭画像を用いて追跡精度を高めている。追跡物体が画像上で大きく映し出されている場合は、追跡に必要な十分な量の輪郭情報が得られる。また、輪郭画像の画素値を累積、すなわちフレームを跨いで画素値の情報を扱うことで追跡精度の向上を図っている。

しかしながら、追跡物体が画面上で非常に小さく映し出されてしまうと、追跡に必要な十分な量の輪郭情報が得られない。例えば、会場が広いスポーツにおけるボール追跡などが例に挙げられる。この問題は、輪郭情報の抽出は多くの場合、輪郭周辺の画素値の差異によって抽出されるため、追跡物体が非常に小さい場合、輪郭周辺の差異を得ることが困難となるためである。

特許文献２では、テンプレート作成時に周辺の類似度分布を作成し、用いることで、テンプレート作成時に使用した画像から位置がずれた画像においても適切に類似位置を検出することができるが、物体を追跡することはできない。

本発明の目的は、上記の技術課題を解決し、追跡する物体が小さく、十分な輪郭情報を得られない場合も高精度の追跡を可能にする物体追跡装置を提供することにある。

上記の目的を達成するために、本発明は、映像のフレーム間で物体をそのテンプレート画像を用いたテンプレートマッチングにより追跡する物体追跡装置において、以下の構成を具備した点に特徴がある。

(1) テンプレート画像(T)の周辺画素情報を第１周辺画素情報(pAi)の初期値として登録する手段と、テンプレートマッチングの探索位置ごとに類似度を計算する手段と、前記探索位置の周辺画素情報を第２周辺画素情報(Ai)として取得する手段と、前記類似度ならびに第１および第２周辺画素情報の差分に基づいて当該探索位置が追跡結果か否かを判定する追跡手段と、追跡結果に基づいて前記第１周辺画素情報を更新する手段とを具備し、前記追跡手段は、フレームごとに前記類似度ならびに前記更新登録した第１周辺画素情報および取得した第２周辺画素情報の差分に基づく追跡を繰り返すようにした。

(2) 前記更新する手段は、追跡結果とされた探索位置の第２周辺画素情報を前記第１周辺画素情報として更新登録するようにした。

(3) 前記追跡手段は、前記類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と前記第１周辺画素情報との差分Dを求め、当該差分Dが所定の第１閾値を最初に下回った探索位置を追跡結果とするようにした。

(4) 前記追跡手段は、前記類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と前記第１周辺画素情報との差分Dを求め、当該差分Dと前記類似度との重み付け和が所定の第２閾値を最初に下回った探索位置を追跡結果とするようにした。

(5) 前フレームの追跡結果に基づいて現フレームにおけるテンプレートマッチングの探索範囲を限定する手段を具備し、前記追跡手段は、前記限定された探索範囲内でテンプレートマッチングを実施するようにした。

本発明によれば、以下のような効果が達成される。

(1) 映像のフレーム間で物体をテンプレートマッチングにより追跡する際、物体のテンプレート画像のみならず周辺画素情報も参照して類似度を計算するので、物体に固有の輪郭情報をより多く取得できるようになる。したがって、物体が球技映像におけるボールのように小さい場合でも十分な量の輪郭情報を取得できるようになり、その追跡精度を向上させることが可能になる。

(2) 追跡結果の第２周辺画素情報に基づいて、初期登録またはその後に更新された第１周辺画素情報がフレームごとに更新されるので、連続するフレーム間での追跡精度を向上させることが可能になる。

(3) 追跡手段は、類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と第１周辺画素情報との差分Dを求め、当該差分Dが所定の第１閾値を最初に下回った探索位置を追跡結果とするので、類似度の低い探索位置に対する追跡計算を省略することができ、物体追跡を高速化できる。

(4) 追跡手段は、類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と第１周辺画素情報との差分Dを求め、当該差分Dと前記類似度との重み付け和が所定の第２閾値を最初に下回った探索位置を追跡結果とするので、重み係数の選択により映像や物体の特徴に適した追跡が可能になる。

(5) 前フレームの追跡結果に基づいて現フレームにおけるテンプレートマッチングの探索範囲を限定するようにしたので、テンプレートマッチングの範囲を追跡結果が探索され易い範囲に限定できるようになり、テンプレートマッチングの処理時間を短縮できるようになる。

本発明の一実施形態に係る物体追跡装置の主要部の構成を示した機能ブロック図である。 テンプレート画像Tの周辺画素の例を示した図である。 追跡部の機能を説明するための図である。 本発明の追跡手順を示したフローチャートである。 本発明の他の実施形態に係る物体追跡装置の主要部の構成を示した機能ブロック図である。 範囲限定部の機能を説明するための図である。 本発明の他の追跡手順を示したフローチャートである。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る物体追跡装置１の主要部の構成を示した機能ブロック図であり、カメラ２やHDD３からフレーム単位で取得した画像上で物体を追跡する。

このような物体追跡装置１は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

映像取得部１０１は、カメラ２やHDD３から追跡対象の物体を撮影した映像をフレーム単位で取得する。テンプレート作成部１０２は、追跡対象の物体ごとにテンプレート画像Tを作成する。本実施形態では、追跡対象に外接する矩形状のテンプレート画像Tが作成される。このようなテンプレート画像Tは、オペレータが手作業で作成しても良いし、あるいは周知のテンプレート作成アプリケーションを用いて自動で生成しても良い。生成されたテンプレート画像Tはテンプレート記憶部１０３に登録されてテンプレートマッチングに用いられる。

周辺画素情報取得部１０４は、前記テンプレート画像Tの周辺画素の各画素値および座標値を周辺画素情報pAiの初期値として周辺画素情報記憶部１０５に登録する。本実施形態では、図２に示したように、テンプレート画像Tの輪郭から全周囲１画素の範囲が周辺画素とされるが、本発明はこれのみに限定されるものではなく、テンプレート画像Tのサイズや形状に応じて、周囲２画素またはそれ以上としても良い。また、周辺画素はテンプレート画像Tの全周にわたって設定する必要はなく、上下左右の少なくとも一辺の輪郭から所定の画素範囲のみを周辺画素としても良い。なお、周辺画素がフレーム画像外を参照した際の画素値は0とする。前記周辺画素情報記憶部１０５に登録された周辺画素情報pAiは、後に詳述するように、フレームごとに追跡結果の周辺画素情報Aiに基づいて更新される。

テンプレートマッチング部１０６は、入力されたフレーム画像Ｉ上で前記テンプレート画像Tをスライドさせ、探索位置ごとにテンプレート画像Tと重なったフレーム画像I上の領域（探索位置画像Ti）との間でテンプレートマッチングを実施する。本実施形態では、探索位置（x_, y）ごとに次式(1)で求められたマッチング結果Rx,yが出力される。

ここで、xは探索位置画像Tiの左上画素のx座標、yは探索位置画像Tiの左上画素のy座標、x'はテンプレート画像Tの左上画素を基準とした水平方向の相対座標、y'はテンプレート画像Tの左上画素を基準とした垂直方法の相対座標である。Rx,yは、テンプレート画像Tと探索位置画像Tiとの画素ごとの二乗誤差の和を０〜１の範囲に正規化した値である。

追跡部１０７は周辺画素情報取得部１０７ａを具備し、図３に示したように、マッチング結果Rx,yが最小となる探索位置画像Tiの左上の座標（x_min, y_min）を今回の探索位置として、当該探索位置画像Tiの周辺画素情報Aiを取得する。

追跡部１０７は更に、前記周辺画素情報記憶部１０５に登録されている周辺画素情報pAiと前記探索位置（x_min, y_min）に対応した探索位置画像Tiの周辺画素情報Aiとの差分Dを次式(2)で求め、当該差分Dが所定の第１閾値TH未満であれば今回の探索位置（x_min, y_min）を追跡結果と判定して出力する。

本実施形態では、前記初期登録またはその後に更新された前フレームにおける追跡結果の周辺画素情報pAiおよび現フレームにおける探索位置画像Tiの周辺画素情報Aiの対応画素ごとに差分diを求め、その総和が前記差分Dとされる。

更新部１０８は、差分Dが所定の第１閾値THを下回る追跡結果（x_min, y_min）が求まると、現フレームの追跡結果（x_min, y_min）に対応した探索位置画像Tiの周辺画素情報Aiを前記記憶部１０５に周辺画素情報pAiとして更新登録する。

追跡結果出力部１０９は、前記追跡結果（x_min, y_min）を出力する。追跡結果の出力方法としては、追跡した物体を矩形枠で囲み、映像上に表示させるだけでも良い。あるいは追跡結果(x_min, y_min)が探索位置画像Tiの左上座標を示すことから、追跡結果(x_min, y_min)から探索位置画像Tiの横幅および縦幅の各1/2の値を水平方向および垂直方向へそれぞれ加算することで物体の中心座標を求め、当該中心座標を用いて物体の軌跡を表示させるようにしても良い。

図４は、本実施形態における物体の追跡手順を示したフローチャートであり、ステップＳ１では、カメラ映像またはHDD３に記憶された映像ファイルからフレーム画像Iが取得される。ステップＳ２では、物体のテンプレート画像Tが最初のフレーム画像Iに基づいて前記テンプレート作成部１０２により生成されて前記テンプレート記憶部１０３に登録される。

ステップＳ３では、最初のフレーム画像Iに基づいて前記テンプレート画像Tの周辺画素情報が前記周辺画素情報取得部１０４により取得されて前記周辺画素情報記憶部１０５に周辺画素情報pAiの初期値として登録される。前記ステップＳ２，３の処理は最初のフレーム画像Iに対してのみ実施され、次フレーム以降はステップＳ１からステップＳ４へジャンプする。

ステップＳ４では、前記記憶部１０３からテンプレート画像Tが取り込まれる。ステップＳ５では、今回のフレーム画像Iを非検索画像として前記テンプレート画像Tによるテンプレートマッチングが実施され、マッチング結果Rx,yがフレーム画像Iの探索位置ごとに出力される。本実施形態では、フレーム画像I上でテンプレート画像Tをスライドさせながら探索位置画像Tiとの類似度が計算され、計算結果が探索位置画像Tiの左上の画素の座標（x，y）を探索位置として登録される。

ステップＳ６では、マッチング結果Rx,yが最小値を示した探索位置画像Tiの左上座標（x_min, y_min）が取得される。ステップＳ７では、前記探索位置画像Tiの周辺画素情報Aiが取得される。ステップＳ８では、前記記憶部１０５から周辺画素情報pAiが取り込まれる。

ステップＳ９では、前記取り込まれた周辺画素情報pAiと探索位置画像Tiの周辺画素情報Aiとの差分Dが上式(2)に基づいて計算され、第１閾値THと比較される。差分D＜閾値THでなければ、今回の探索位置（x_min, y_min）を追跡結果以外と判断し、マッチング結果Rが次に小さい探索位置画像Tiの周辺画素情報Aiを対象に同様の比較が行われる。

本実施形態では、差分D≧値THであるとステップＳ１４へ進み、再試行回数nがインクリメントされる。ステップＳ１５では、再試行回数nが上限値n_maxに達したか否かが判定される。達していなければステップＳ１６へ進み、今回のマッチング結果Rx_min, y_minに十分に大きな値（本実施形態では、上式(1)より０≦Rx,y＜１なので、１以上の値が望ましい）を加算して今回のマッチング結果が再び最小値と判断されないようにする処理を施した後、ステップＳ６へ戻って上記の処理が繰り返される。

これに対して、再試行回数nが上限値n_maxに達していると、追跡対象の物体が、遮蔽物に隠れるなどしてフレーム画像上に映っていない状態にあると考えられるので、現フレームの追跡を断念してステップＳ１３へ進む。

一方、前記ステップＳ９において差分D＜THと判定されると、ステップＳ１０へ進んで前記再試行回数nがリセットされる。ステップＳ１１では、前記マッチング結果Rx,yが最小値を示した探索位置（x_min, y_min）が追跡結果として出力される。

ステップＳ１２では、現フレームの追跡結果（x_min, y_min）に対応した探索位置画像Tiの周辺画素情報Aiが前記周辺画素情報pAiとして前記記憶部１０５に更新登録される。ステップＳ１３では、物体の追跡が終了したか否かが判断される。終了していなければ、ステップＳ１へ戻って次のフレーム画像を取得し、上記の追跡が繰り返される。

本実施形態によれば、映像のフレーム間で物体をテンプレートマッチングにより追跡する際、物体のテンプレート画像のみならず周辺画素情報も参照して類似度を計算するので、物体に固有の輪郭情報をより多く取得できるようになる。したがって、物体が球技映像におけるボールのように小さい場合でも十分な量の輪郭情報を取得できるようになり、その追跡精度を向上させることが可能になる。

また、本実施形態によれば、現フレームにおける追跡結果の周辺画素情報Aiに基づいて、初期登録またはその後に更新された周辺画素情報pAiがフレームごとに更新されるので、連続するフレーム間での追跡精度を向上させることが可能になる。

さらに、本実施形態によれば、追跡部１０７は類似度の高い探索位置から順に、当該探索位置の周辺画素情報Aiと周辺画素情報pAiとの差分Dを求め、当該差分Dが所定の閾値を最初に下回った探索位置を現フレームの追跡結果とするので、類似度の低い探索位置に対する追跡計算を省略することができ、物体追跡を高速化できる。

図５は、本発明の第２実施形態に係る物体追跡装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。

本実施形態では、テンプレートマッチング部１０６がフレーム画像Iを非検索画像としてテンプレート画像Tを用いたテンプレートマッチングを行う際に、前フレームの追跡結果に基づいて現フレームにおけるテンプレートマッチングの探索範囲を限定する範囲限定部１１０を具備した点に特徴がある。

前記範囲限定部１１０は、図６に示したように、前記記憶部１０３に登録されたテンプレート画像Tの左上の座標位置または前記追跡部１０７が追跡結果と判定した探索位置画像Tiの左上の座標位置を中心としたN×M画素の範囲を、現フレームのパターンマッチングにおけるテンプレート画像Tのスライド範囲に限定する。

前記追跡部１０７は、前記N×M画素の範囲に限定してテンプレートマッチングを実施する。テンプレートマッチングの範囲を予め限定して物体追跡を高速化する技術は、例えば非特許文献１に開示されている。

本実施形態によれば、テンプレートマッチングの範囲を追跡結果が探索され易い範囲に限定できるので、テンプレートマッチングの処理時間を短縮できるようになる。

なお、上記の各実施形態では、テンプレートマッチングによりマッチング結果Rx,yが最小値を示した探索位置を抽出し、探索位置画像Tiをその周辺画素情報に基づいて更に判定するものとして説明したが、本発明はこれのみに限定されるものではなく、次式(3)に示したように、テンプレートマッチングによるマッチング結果Rx_min, y_minおよび前記周辺画素情報pAi，Aiの差分Dの重み付け和を求め、重み付け和Jが所定の第２閾値THjを最初に下回る探索位置を追跡結果と判定するようにしても良い。ここで、αはマッチング結果Rの重み値、βは差分Dの重み値である。

図７は、前記重み付け和Jに基づいて追跡を行う手順を示したフローチャートであり、図４と同一のステップ番号を付したステップでは同一または同等の手順が実施されるので、その説明は省略する。

ステップＳ６において、マッチング結果Rx,yが最小値を示した探索位置画像Tiの左上座標（x_min, y_min）が取得され、ステップＳ７において、前記探索位置画像Tiの周辺画素情報Aiが取得され、ステップＳ８において、前記記憶部１０５から初期登録またはその後に更新された前フレームにおける追跡結果の周辺画素情報pAiが取り込まれるとステップＳ９ａへ進む。

ステップＳ９ａでは、上式(3)に基づいて前記重み付け和Jを計算されて所定の閾値THjと比較される。重み付け和J＜閾値THjでなければ、今回の探索位置（x_min, y_min）を追跡結果以外と判断してステップＳ１４へ進み、マッチング結果Rが次に小さい探索位置の周辺画素情報Aiを対象に同様の比較が行われる。

一方、前記ステップＳ９ａにおいて重み付け和J＜THjと判定されると、ステップＳ１０へ進んで前記再試行回数nがリセットされる。ステップＳ１１では、今回の探索位置（x_min, y_min）が追跡結果として出力される。

本実施形態によれば、現フレームにおける探索位置の周辺画素情報Apと前フレームにおける追跡結果の周辺画素情報pAiとの差分Dを求め、当該差分Dとパターンマッチングの類似度との重み付け和が所定の第２閾値THjを下回る探索位置を現フレームの追跡結果とするので、重み係数の選択により映像や物体の特徴に適した追跡が可能になる。

１…物体追跡装置，２…カメラ，３…HDD，１０１…映像取得部，１０２…テンプレート画像取得部，１０３…テンプレート記憶部，１０４…周辺画素情報取得部，１０５…周辺画素情報記憶部，１０６…テンプレートマッチング部，１０７…追跡部，１０７ａ…周辺画素情報取得部，１０８…更新部，１０９…追跡結果出力部

Claims (10)

1. 映像のフレーム間で物体をそのテンプレート画像を用いたテンプレートマッチングにより追跡する物体追跡装置において、
   テンプレート画像の周辺画素情報を第１周辺画素情報の初期値として登録する手段と、
   テンプレートマッチングの探索位置ごとに類似度を計算する手段と、
   前記探索位置の周辺画素情報を第２周辺画素情報として取得する手段と、
   前記類似度ならびに第１および第２周辺画素情報の差分に基づいて当該探索位置が追跡結果か否かを判定する追跡手段と、
   追跡結果に基づいて前記第１周辺画素情報を更新する手段とを具備し、
   前記追跡手段は、フレームごとに前記類似度ならびに前記更新登録した第１周辺画素情報および取得した第２周辺画素情報の差分に基づく追跡を繰り返すことを特徴とする物体追跡装置。
2. 前記更新する手段は、追跡結果とされた探索位置の第２周辺画素情報を前記第１周辺画素情報として更新登録することを特徴とする請求項１に記載の物体追跡装置。
3. 前記追跡手段は、前記類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と前記第１周辺画素情報との差分を求め、当該差分が所定の第１閾値を最初に下回った探索位置を追跡結果とすることを特徴とする請求項１または２に記載の物体追跡装置。
4. 前記追跡手段は、前記類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と前記第１周辺画素情報との差分を求め、当該差分と前記類似度との重み付け和が所定の第２閾値を最初に下回った探索位置を追跡結果とすることを特徴とする請求項１または２に記載の物体追跡装置。
5. 前フレームの追跡結果に基づいて現フレームにおけるテンプレートマッチングの探索範囲を限定する手段を具備し、
   前記追跡手段は、前記限定された探索範囲内でテンプレートマッチングを実施することを特徴とする請求項１ないし４のいずれかに記載の物体追跡装置。
6. コンピュータが映像のフレーム間で物体をそのテンプレート画像を用いたテンプレートマッチングにより追跡する物体追跡方法において、
   テンプレート画像の周辺画素情報を第１周辺画素情報の初期値として登録し、
   テンプレートマッチングの探索位置ごとに類似度を計算し、
   前記探索位置の周辺画素情報を第２周辺画素情報として取得し、
   前記類似度ならびに第１および第２周辺画素情報の差分に基づいて当該探索位置が追跡結果か否かを判定する追跡を行い、
   追跡結果に基づいて前記第１周辺画素情報を更新し、
   前記追跡では、フレームごとに前記類似度ならびに前記更新登録した第１周辺画素情報および取得した第２周辺画素情報の差分に基づく追跡を繰り返すことを特徴とする物体追跡方法。
7. 追跡結果とされた探索位置の第２周辺画素情報を前記第１周辺画素情報として更新登録することを特徴とする請求項６に記載の物体追跡方法。
8. 前記物体を追跡する際に、前記類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と前記第１周辺画素情報との差分を求め、当該差分が所定の第１閾値を最初に下回った探索位置を追跡結果とすることを特徴とする請求項６または７に記載の物体追跡方法。
9. 前記物体を追跡する際に、前記類似度の高い探索位置から順に、当該探索位置の第２周辺画素情報と前記第１周辺画素情報との差分を求め、当該差分と前記類似度との重み付け和が所定の第２閾値を最初に下回った探索位置を追跡結果とすることを特徴とする請求項６または７に記載の物体追跡方法。
10. 前フレームの追跡結果に基づいて現フレームにおけるテンプレートマッチングの探索範囲を限定し、前記限定された探索範囲内でテンプレートマッチングを実施することを特徴とする請求項６ないし９のいずれかに記載の物体追跡方法。

Images