JP2006127157A

JP2006127157A - 動体追跡方法及び動体追跡装置及び動体追跡プログラム

Info

Publication number: JP2006127157A
Application number: JP2004314711A
Authority: JP
Inventors: Hiroaki Anai; 宏明穴井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-10-28
Filing date: 2004-10-28
Publication date: 2006-05-18

Abstract

【課題】追跡対象の動体を見失うことなく追跡可能とした動体追跡方法及び動体追跡装置及び動体追跡プログラムを提供する。
【解決手段】画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、動体を追跡する動体追跡方法及び動体追跡装置及び動体追跡プログラムにおいて、画像データに対してオプティカルフローを検出するための追跡領域を設定し、追跡領域においてオプティカルフローの検出を行うとともに、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、追跡領域において第１の色度平均値を算出するとともに仮の追跡領域において第２の色度平均値を算出し、この第２の色度平均値と第１の色度平均値とを比較して、仮の追跡領域を新規追跡領域として設定するか否かを判定する。
【選択図】図２

Description

本発明は、所要の撮像手段で撮像した画像中に存在する移動物体（動体）を追跡する動体追跡方法、及びこの動体追跡方法を用いた動体追跡装置、及びこの動体追跡装置に用いられる動体追跡プログラムに関するものである。

従来、監視カメラなどのように、撮像手段で連続的に撮像した画像中で移動する物体、すなわち動体を追跡する動体追跡手段を設けた動体追跡装置が知られている。

動体追跡手段では、撮像手段で連続的に撮像して得られた第１の画像データと第２の画像データとの差分を算出し、算出結果の差分データを利用して動体を特定し、追跡する動体追跡方法を用いている。

このような動体追跡方法として、比較的少ない画像数の画像データを用い、比較的少ない演算量でありながらリアルタイムでの動体追跡が可能な空間的局所最適化法によるオプティカルフローを用いた動体追跡方法が知られている。

すなわち、オプティカルフローを用いた動体追跡方法では、撮像手段で撮像して得られた第１の画像データ及び第２の画像データをそれぞれ複数の局所ブロックに分割し、局所ブロック毎に比較することによって移動した局所ブロックの速度ベクトル、すなわちオプティカルフローを検出し、次いで所定のオプティカルフローを有する局所ブロック群の重心位置を算出するとともに、各局所ブロックにおけるオプティカルフローの平均値を算出し、重心位置情報とオプティカルフローの平均値情報とから移動先として推定される局所ブロックの領域を特定して追跡を行うものである（例えば、特許文献１参照。）。
特開２０００−３２２５８２号公報

しかしながら、オプティカルフローを用いた物体追跡では、撮像手段で撮像した画像の画像データからオプティカルフローを算出して物体追跡を行っているために、追跡の対象物体の動きが小さい場合には、オプティカルフローのデータを正確に算出することが困難となり、追跡精度が低下するおそれがあり、追跡の対象物体が停止している場合には、オプティカルフローのデータそのものが算出できないために、正しく追跡物体を追跡しているのかが判断できないおそれがあるという問題があった。

しかも、撮像環境に輝度変化や画像の色変化が生じた場合には、オプティカルフローの誤検出が増加したり、検出が不可能となったりするおそれがあった。

そこで、本発明の動体追跡方法では、画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、動体を追跡する動体追跡方法において、画像データに対してオプティカルフローを検出するための追跡領域を設定し、追跡領域においてオプティカルフローの検出を行うとともに、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、追跡領域において第１の色度平均値を算出するとともに仮の追跡領域において第２の色度平均値を算出し、この第２の色度平均値と第１の色度平均値とを比較して、仮の追跡領域を新規追跡領域として設定するか否かを判定することとした。

さらに、以下の点にも特徴を有するものである。すなわち、
（１）仮の追跡領域を設定する場合には、オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、追跡領域におけるオプティカルフローの検出数とからオプティカルフローの平均値の補正値を算出し、この補正値をオプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定すること。
（２）仮の追跡領域を新規追跡領域として設定できない場合には、仮の追跡領域の動体の移動方向側に隣接させて仮の追跡領域を新たに設定すること。
（３）新たに設定した仮の追跡領域の少なくとも一部が画像データの画像領域から外れる場合には、画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定すること。

また、本発明の動体追跡装置では、画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、動体を追跡する動体追跡装置において、画像データに対してオプティカルフローを検出するための追跡領域を設定し、追跡領域においてオプティカルフローの検出を行うとともに、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、追跡領域において第１の色度平均値を算出するとともに仮の追跡領域において第２の色度平均値を算出し、この第２の色度平均値と第１の色度平均値とを比較して、仮の追跡領域を新規追跡領域として設定するか否かを判定する判定手段を有することとした。

さらに、以下の点にも特徴を有するものである。すなわち、
（１）仮の追跡領域を設定する場合に、オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、追跡領域におけるオプティカルフローの検出数とからオプティカルフローの平均値の補正値を算出し、この補正値をオプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定する仮追跡領域設定手段を有すること。
（２）仮の追跡領域を新規追跡領域として設定できない場合に、仮の追跡領域の動体の移動方向側に隣接させて仮の追跡領域を新たに設定する追跡領域設定手段を有すること。
（３）新たに設定した仮の追跡領域の少なくとも一部が画像データの画像領域から外れる場合に、画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定する追跡領域設定手段を有すること。

また、本発明の動体追跡プログラムでは、画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、動体を追跡する動体追跡プログラムにおいて、画像データに対してオプティカルフローを検出するための追跡領域を設定するステップと、追跡領域においてオプティカルフローの検出を行うステップと、オプティカルフローの平均値に基づいて仮の追跡領域を設定するステップと、追跡領域において第１の色度平均値を算出するステップと、仮の追跡領域において第２の色度平均値を算出するステップと、第２の色度平均値と第１の色度平均値とを比較して、仮の追跡領域を新規追跡領域として設定するか否かを判定するステップを有することとした。

さらに、以下の点にも特徴を有するものである。すなわち、
（１）仮の追跡領域を設定する場合に、オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、追跡領域におけるオプティカルフローの検出数とからオプティカルフローの平均値の補正値を算出し、この補正値をオプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定するステップを有すること。
（２）仮の追跡領域を新規追跡領域として設定できない場合に、仮の追跡領域の動体の移動方向側に隣接させて仮の追跡領域を新たに設定するステップを有すること。
（３）新たに設定した仮の追跡領域の少なくとも一部が画像データの画像領域から外れる場合に、画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定するステップを有すること。

本発明によれば、画像データに対してオプティカルフローを検出するための追跡領域を設定し、追跡領域においてオプティカルフローの検出を行うとともに、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、追跡領域において第１の色度平均値を算出するとともに仮の追跡領域において第２の色度平均値を算出し、この第２の色度平均値と第１の色度平均値とを比較して、仮の追跡領域を新規追跡領域として設定するか否かを判定することによって、追跡物体の動体の動きが小さい場合若しくは停止している場合などでは色度平均値に基づいて追跡物体を追跡できるので、正しい追跡物体の追跡を可能とすることができる。

また、仮の追跡領域を設定する場合には、オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、追跡領域におけるオプティカルフローの検出数とからオプティカルフローの平均値の補正値を算出し、この補正値をオプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定することによって、仮の追跡領域の設定をより適正な設定とすることができ、追跡精度を向上させることができる。

また、仮の追跡領域を新規追跡領域として設定できない場合には、仮の追跡領域の動体の移動方向側に隣接させて仮の追跡領域を新たに設定することによって、新たな仮の追跡領域の設定を容易に行うことができるとともに、設定された新たな仮の追跡領域が新規追跡領域となる可能性を向上させることができるので、効率よく確実な追跡領域の設定を行うことができ、追跡精度を向上させることができる。

また、新たに設定した仮の追跡領域の少なくとも一部が画像データの画像領域から外れる場合には、画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定することによって、追跡物体を見失うことを抑制できる。

本発明の動体追跡方法及び動体追跡装置及び動体追跡プログラムでは、オプティカルフローを用いた動体追跡方法及び動体追跡装置及び動体追跡プログラムであって、オプティカルフローの検出を追跡領域に限定して行うことによりフロー雑音の影響を抑制するとともに、追跡領域における色度平均値を算出して用いることにより、追跡物体が停止している場合などでは色度平均値に基づいて追跡物体を確実に追跡できるので、オプティカルフローの検出が困難な場合において追跡物体を見失うことを抑制できる。

特に、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、元の追跡領域におけるオプティカルフローの第１の色度平均値と、仮の追跡領域におけるオプティカルフローの第２の色度平均値とで、第１の色度平均値と第２の色度平均値とがほぼ一致する場合には仮の追跡領域が動体を正しく追跡していると判定することができ、仮の追跡領域を新規追跡領域としてこの新規追跡領域に基づいて次の動体追跡を行う一方で、第１の色度平均値と第２の色度平均値とが大きく異なる場合には新たな仮の追跡領域を設定し、この新たな仮の追跡領域を色度平均値に基づいて新規追跡領域とするかどうかを判定するようにしている。

しかも、仮の追跡領域を設定する場合には、オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、平均値の算出に用いた追跡領域におけるオプティカルフローの検出数とを用いて追跡物体の外れ量を算出し、算出された外れ量に基づいて補正値を決定することにより仮の追跡領域の適正化を図ることができる。

外れ量は、元の追跡領域におけるオプティカルフローの検出数と無補正の仮の追跡領域におけるオプティカルフローの検出数との差を算出し、この算出結果を追跡領域におけるオプティカルフローの検出数で除した値として算出できる。

そして、算出された外れ量の値をオプティカルフローの平均値に乗じることによりオプティカルフローの平均値に対する補正値を算出し、この補正値をオプティカルフローの平均値に加算して補正オプティカルフローを算出し、この補正オプティカルフロー値に基づいて仮の追跡領域を設定している。

そして、この仮の追跡領域におけるオプティカルフローの色度平均値を算出して、この色度平均値が第１の色度平均値とほぼ一致する場合には、仮の追跡領域を新規追跡領域としている。

一方、仮の追跡領域から追跡している動体が大きく外れている場合には、動体の移動方向に沿って追跡領域を変位させて新たな追跡領域を設定するようにしており、特に、先の仮の追跡領域に隣接させて新たな仮の追跡領域を設定している。

そして、この新たな仮の追跡領域におけるオプティカルフローの色度平均値を算出して、この色度平均値が第１の色度平均値とほぼ一致する場合には、新たな仮の追跡領域を新規追跡領域としている。

このように追跡領域の大きさを変位の単位量として用い、しかも動体の移動方向に沿って変位させることにより、新たな仮の追跡領域の設定を容易に行うことができるとともに、設定された新たな仮の追跡領域が新規追跡領域となる可能性を向上させることができるので、効率よく確実な追跡領域の設定を行うことができ、追跡精度を向上させることができる。

動体の移動方向に沿って追跡領域を変位させて新たな仮の追跡領域を設定する際に、新たな仮の追跡領域の少なくとも一部が画像データの画像領域から外れる場合には、画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を新たな仮の追跡領域と設定している。

一方、新たな仮の追跡領域におけるオプティカルフローの色度平均値が第１の色度平均値と略一致しない場合には、周囲と比較して次に大きなオプティカルフローを有する領域を新たな仮の追跡領域として設定し、この新たな仮の追跡領域におけるオプティカルフローの色度平均値を算出して第１の色度平均値との比較を行うようにしている。

このように、オプティカルフローの色度平均値に基づいて追跡物体の検出を行うことにより、追跡物体を見失うことを抑制できる。

以下において、図面に基づいて本発明の実施形態を詳説する。図１は、本実施形態の動体追跡装置10であって、具体的にはＣＣＤ11からなる撮像素子を用いた監視カメラである。なお、動体追跡装置10は監視カメラに用いる場合だけでなく、動体追跡が必要な所要の用途に用いることができる。

動体追跡装置10は、所要の画像を撮像する撮像手段であるＣＣＤ11と、このＣＣＤ11から出力された信号をディスプレイなどの表示装置21やビデオレコーダなどの記憶装置22に入力可能な信号に変換する信号変換部12を有しており、信号変換部12には、アナログ／デジタルコンバータ12a、Ｙ／Ｃ処理部12b、エンコーダ12cを設けて所要の信号処理を行うとともに、Ｙ／Ｃ処理部12bから出力された信号を用いて動体の追跡処理を行う追跡処理部12dを設けている。

なお、図示していないが動体追跡装置10には所望の制御を行うための制御部を設けており、例えば追跡処理部12dでの処理結果に応じてＣＣＤ11の向きを調整するようにしてもよい。本実施形態では撮像手段としてＣＣＤ11を用いているがＣＣＤ11に限定するものではなく、ＣＭＯＳなどの撮像手段を用いてもよい。

追跡処理部12dでは、動体追跡装置10の制御部にあらかじめ格納された動体追跡プログラムに基づいて、図２に示すフローチャートにしたがって動作するようにしている。

追跡処理部12dでは、追跡処理の開始にともなって、まず第１追跡領域の設定を行う（ステップＳ１)。本実施形態では、図３の画像領域30に示すように、第１追跡領域31は矩形形状としており、画像領域30の第１軸（ｘ軸）方向にL1の長さを有するとともに、第１軸（ｘ軸）と直交する第２軸（ｙ軸）方向にL2の長さを有するようにしている。すなわち、第１追跡領域31は、（Ｘ，Ｙ）、（Ｘ＋L1，Ｙ）、（Ｘ，Ｙ＋L2）、（Ｘ＋L1，Ｙ＋L2）として表される座標を四隅とする矩形形状としている。

次いで、追跡処理部12dは、第１追跡領域31内の画像データに対してメディアンフィルタ処理を行って、画像データに含まれるノイズ成分を除去している（ステップＳ２)。

ノイズ成分の除去後、追跡処理部12dは、第１追跡領域31内の画像データを用いてオプティカルフローの検出を行っている（ステップＳ３)。

オプティカルフローの検出後、追跡処理部12dは、後段での平均値算出時におけるノイズ成分を除去するために、あらかじめ設定した所定の大きさ及び／または所定の方向となっていないオプティカルフローを除去する制限処理を行うか判別し（ステップＳ４)、制限処理を行う場合には、所定の大きさ及び／または所定の方向となっていないオプティカルフローを除去し、制限されたオプティカルフローのみを検出する（ステップＳ５)。

一方、ステップＳ４において制限処理を行わない場合には、後段での処理において、ステップＳ３で検出された全てのオプティカルフローを用いる。

次いで、追跡処理部12dは検出したオプティカルフローの平均値を算出する（ステップＳ６)。オプティカルフローの平均値は、第１軸（ｘ軸）方向の平均値成分と、第２軸（ｙ軸）方向の平均値成分とで表され、第１軸（ｘ軸）方向の平均値成分をh1、第２軸（ｙ軸）方向の平均値成分をh2とする。

追跡処理部12dは、オプティカルフローの平均値の算出後、算出された平均値を用いて無補正第２追跡領域を設定している（ステップＳ７)。すなわち、図４に示すように、無補正第２追跡領域32は、（Ｘ＋h1，Ｙ＋h2）、（Ｘ＋L1＋h1，Ｙ＋h2）、（Ｘ＋h1，Ｙ＋L2＋h2）、（Ｘ＋L1＋h1，Ｙ＋L2＋h2）として表される座標を四隅とする矩形形状となっている。

次いで、追跡処理部12dは、第１追跡領域31におけるオプティカルフローの検出数をカウントし（ステップＳ８)、さらに、追跡処理部12dは、第１追跡領域31においてカウントされたオプティカルフローの色度値を取り出して平均化することにより第１色度平均値を算出している（ステップＳ９)。第１色度平均値は、赤色、緑色、青色の三原色に対してそれぞれ算出され、（Ｒ_１，Ｇ_１，Ｂ_１）のベクトルとして表すことができる。

次いで、追跡処理部12dは、無補正のオプティカルフローの平均値で指定された仮の追跡領域である無補正第２追跡領域32におけるオプティカルフローの検出数をカウントする（ステップＳ１０)。ここで、第１追跡領域31におけるオプティカルフローの検出数をＰ、無補正第２追跡領域32におけるオプティカルフローの検出数をＱとする。

次いで、追跡処理部12dは、第１追跡領域31におけるオプティカルフローの検出数Ｐと、無補正第２追跡領域32におけるオプティカルフローの検出数Ｑとから、無補正第２追跡領域32における追跡物体の外れ量を算出し（ステップＳ１１)、無補正第２追跡領域32を新規追跡領域とすることの妥当性を判定する。

すなわち、追跡処理部12dは、第１追跡領域31におけるオプティカルフローの検出数Ｐと、無補正第２追跡領域32におけるオプティカルフローの検出数Ｑを用いて、（Ｐ−Ｑ）／Ｐとして表される外れ量を算出し、この外れ量が所定の基準値より大きいか否かを判定するようにしている（ステップＳ１２)。

つまり、図４に示すように、無補正第２追跡領域32に追跡物体のほとんど全てが存在している場合には、外れ量が基準値よりも小さくなることにより無補正第２追跡領域32における追跡物体の外れがないと判定し、さらに色度による補正処理を行わないとしている場合に（ステップＳ１３)、無補正の第２追跡領域32をそのまま新規の第１追跡領域31に設定するようにしている（ステップＳ１４)。

一方、ステップＳ１２において、例えば図５に示すように無補正第２追跡領域32に追跡物体の一部のみが存在している場合には、外れ量が基準値よりも大きくなることにより追跡物体が無補正第２追跡領域32から外れたと判定し、外れ量ｎ＝（Ｐ−Ｑ）／Ｐの値をオプティカルフローの第１軸（ｘ軸）方向の平均値成分h1、及び第２軸（ｙ軸）方向の平均値成分h2にそれぞれ乗じて、第１軸（ｘ軸）方向の補正値nh1、及び第２軸（ｙ軸）方向の補正値nh2を算出し、これらの補正値をオプティカルフローの平均値に加算して補正オプティカルフローを算出している（ステップＳ１５)。

このようにして算出された補正オプティカルフローに基づいて新たに第２追跡領域32'を設定している（ステップＳ１６)。すなわち、第２追跡領域32'は、（Ｘ＋(n+1)h1，Ｙ＋(n+1)h2）、（Ｘ＋L1＋(n+1)h1，Ｙ＋(n+1)h2）、（Ｘ＋(n+1)h1，Ｙ＋L2＋(n+1)h2）、（Ｘ＋L1＋(n+1)h1，Ｙ＋L2＋(n+1)h2）として表される座標を四隅とする矩形形状となっている。

そして、追跡処理部12dは、第２追跡領域32'においてオプティカルフローの色度値を取り出して平均化することにより第２色度平均値を算出している（ステップＳ１７)。第２色度平均値も、赤色、緑色、青色の三原色に対してそれぞれ算出され、（Ｒ_２，Ｇ_２，Ｂ_２）のベクトルとして表すことができる。

なお、ステップ１３において色度による補正処理を行う設定としていた場合にも、追跡処理部12dは、第２追跡領域32でのオプティカルフローの色度値を取り出して平均化することにより第２色度平均値を算出し（ステップＳ１７)、後述する色度による補正処理を行うようにしている。

第２色度平均値の算出後、追跡処理部12dは、第１色度平均値と第２色度平均値の相対値が所定範囲以内となっているかを判定し（ステップＳ１８)、第１色度平均値と第２色度平均値の相対値が所定範囲以内となっている場合には、追跡処理部12dは、第２追跡領域32'を新規の第１追跡領域31に設定するようにしている（ステップＳ１４)。

ここで、第１色度平均値と第２色度平均値の相対値とは、ベクトル表示される第１色度平均値と第２色度平均値の内積をそれぞれの大きさで除した値であり、便宜上、Ｖ_１＝（Ｒ_１，Ｇ_１，Ｂ_１）、Ｖ_２＝（Ｒ_２，Ｇ_２，Ｂ_２）とした場合に、以下のように表される。

そして、相対値Ｗが所定のしきい値以上の場合には、追跡処理部12dはステップＳ１３に進んで第２追跡領域32'を新規の第１追跡領域31に設定し、相対値Ｗが所定のしきい値より小さい場合には、追跡処理部12dはステップＳ１９に進んで後述する第２追跡領域32'の補正処理を行うようしている。

第２追跡領域32'の補正処理では、図６のフローチャートに示すように、まず、追跡処理部12dは、追跡物体の移動方向に第１の追跡領域31を１つ分移動させた位置に新たに補正第２追跡領域32"を設定する（ステップＴ１)。

すなわち、第２追跡領域32'に隣接させて動体の移動方向側に新たに補正第２追跡領域32"を設定しており、補正第２追跡領域32"は、（Ｘ＋h1＋L1，Ｙ＋h2＋d）、（Ｘ＋h1＋2L1，Ｙ＋h2＋d）、（Ｘ＋h1＋２L1，Ｙ＋L2＋h2＋d）、（Ｘ＋h1＋L1，Ｙ＋L2＋h2＋d）として表される座標を四隅とする矩形形状となっている。ここで、ｄは、追跡物体の移動方向に第１の追跡領域31を１つ分移動させた場合の第２軸（ｙ軸）方向の移動量を示している。

次いで、追跡処理部12dは設定した補正第２追跡領域32"の一部が画像領域30を外れていないか判定し（ステップＴ２)、画像領域30を外れていない場合には、補正第２追跡領域32"において、追跡処理部12dは、ステップＳ１６で色度値を取り出して平均化することにより第２色度平均値を算出し、第１色度平均値との比較を行うようにしている。

一方、ステップＴ２において、補正第２追跡領域32"の一部が画像領域30を外れていた場合には、追跡処理部12dは、画像領域30の全体においてオプティカルフローを検出し（ステップＴ３)、周囲と比較して大きなオプティカルフローを有する領域を補正第２追跡領域として新たに設定する（ステップＴ４)。

そして、追跡処理部12dは、新たに設定した補正第２追跡領域においてステップＳ１６で色度値を取り出して平均化することにより第２色度平均値を算出し、第１色度平均値との比較を行うようにしている。

このように第２追跡領域32'が適正に選択されない場合に補正を行うことにより、適正な第２追跡領域32'を設定することができるので、追跡精度を向上させることができる。

本発明に係る動体追跡装置の概略説明図である。本発名に係る動体追跡プログラムのフローチャートである。第１追跡領域の説明図である。無補正第２追跡領域の説明図である。補正された第２追跡領域の説明図である。第２追跡領域の補正処理を説明するフローチャートである。補正処理された第２追跡領域の説明図である。

符号の説明

10 動体追跡装置
11 ＣＣＤ
12 信号変換部
12a アナログ／デジタルコンバータ
12b Ｙ／Ｃ処理部
12c エンコーダ
12d 追跡処理部
21 表示装置
22 記憶装置

Claims

画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、前記動体を追跡する動体追跡方法において、
前記画像データに対して前記オプティカルフローを検出するための追跡領域を設定し、前記追跡領域において前記オプティカルフローの検出を行うとともに、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、
前記追跡領域において第１の色度平均値を算出するとともに前記仮の追跡領域において第２の色度平均値を算出し、この第２の色度平均値と前記第１の色度平均値とを比較して、前記仮の追跡領域を新規追跡領域として設定するか否かを判定することを特徴とする動体追跡方法。
前記仮の追跡領域を設定する場合には、前記オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、前記追跡領域におけるオプティカルフローの検出数とから前記オプティカルフローの平均値の補正値を算出し、この補正値を前記オプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定することを特徴とする請求項１記載の動体追跡方法。
前記仮の追跡領域を前記新規追跡領域として設定できない場合には、前記仮の追跡領域の前記動体の移動方向側に隣接させて仮の追跡領域を新たに設定することを特徴とする請求項１または請求項２に記載の動体追跡方法。
新たに設定した前記仮の追跡領域の少なくとも一部が前記画像データの画像領域から外れる場合には、前記画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定することを特徴とする請求項３記載の動体追跡方法。
画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、前記動体を追跡する動体追跡装置において、
前記画像データに対して前記オプティカルフローを検出するための追跡領域を設定し、前記追跡領域において前記オプティカルフローの検出を行うとともに、検出したオプティカルフローの平均値に基づいて仮の追跡領域を設定し、
前記追跡領域において第１の色度平均値を算出するとともに前記仮の追跡領域において第２の色度平均値を算出し、この第２の色度平均値と前記第１の色度平均値とを比較して、前記仮の追跡領域を新規追跡領域として設定するか否かを判定する判定手段を有することを特徴とする動体追跡装置。
前記仮の追跡領域を設定する場合に、前記オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、前記追跡領域におけるオプティカルフローの検出数とから前記オプティカルフローの平均値の補正値を算出し、この補正値を前記オプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定する仮追跡領域設定手段を有することを特徴とする請求項５記載の動体追跡装置。
前記仮の追跡領域を前記新規追跡領域として設定できない場合に、前記仮の追跡領域の前記動体の移動方向側に隣接させて仮の追跡領域を新たに設定する追跡領域設定手段を有することを特徴とする請求項５または請求項６に記載の動体追跡装置。
新たに設定した前記仮の追跡領域の少なくとも一部が前記画像データの画像領域から外れる場合に、前記画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定する追跡領域設定手段を有することを特徴とする請求項７記載の動体追跡装置。
画像中に存在する動体の画像データから局所ブロック毎にオプティカルフローを検出し、前記動体を追跡する動体追跡プログラムにおいて、
前記画像データに対して前記オプティカルフローを検出するための追跡領域を設定するステップと、
前記追跡領域において前記オプティカルフローの検出を行うステップと、
前記オプティカルフローの平均値に基づいて仮の追跡領域を設定するステップと、
前記追跡領域において第１の色度平均値を算出するステップと、
前記仮の追跡領域において第２の色度平均値を算出するステップと、
前記第２の色度平均値と前記第１の色度平均値とを比較して、前記仮の追跡領域を新規追跡領域として設定するか否かを判定するステップ
を有することを特徴とする動体追跡プログラム。
前記仮の追跡領域を設定する場合に、前記オプティカルフローの平均値をそのまま用いて設定される無補正の仮の追跡領域におけるオプティカルフローの検出数と、前記追跡領域におけるオプティカルフローの検出数とから前記オプティカルフローの平均値の補正値を算出し、この補正値を前記オプティカルフローの平均値に加算して得られた補正オプティカルフローの値に基づいて仮の追跡領域を設定するステップを有することを特徴とする請求項９記載の動体追跡プログラム。
前記仮の追跡領域を前記新規追跡領域として設定できない場合に、前記仮の追跡領域の前記動体の移動方向側に隣接させて仮の追跡領域を新たに設定するステップを有することを特徴とする請求項９または請求項１０に記載の動体追跡プログラム。
新たに設定した前記仮の追跡領域の少なくとも一部が前記画像データの画像領域から外れる場合に、前記画像領域の全体においてオプティカルフローを検出し、周囲と比較して大きなオプティカルフローを有する領域を仮の追跡領域として新たに設定するステップを有することを特徴とする請求項１１記載の動体追跡プログラム。