JP2006227973A - 物体追跡方法および物体追跡装置ならびにプログラム - Google Patents

Abstract

【課題】追跡対象物体の移動、回転、変形ならびに照明条件の変動等に対してロバストな、高精度で安定性の高い物体追跡方法、装置およびプログラムを提供する。
【解決手段】動画像の一のフレームに属する複数の位置の部分画像の特徴量と追跡対象物体の画像の特徴量との間の類似性尺度を算出して、前記一の画面上における類似性尺度の分布を算出する類似性尺度算出手段２と、前記類似性尺度の分布に基づいて、前記一のフレームから前記対象物体の画像に類似する領域を抽出する領域抽出手段３と、前記領域の重心座標を算出して、前記重心座標を前記一のフレームにおける前記追跡対象物体の位置座標とする位置算出手段４を備える。
【選択図】 図３

Description

本発明は、動画像中の追跡対象物体の位置座標を順次検出する物体追跡方法および物体追跡装置およびプログラムに関する。

物体追跡とは、動画像中の追跡対象物体の位置座標を順次検出する技術であり、追跡対象物体の一部領域又は全領域の画像（追跡対象画像）の特徴量を求め、特徴量が前記追跡対象画像の特徴量と一致または近似する領域を各フレームから探し出して、その領域の位置座標を追跡対象物体の位置座標に決定することによって行われる。物体追跡には、テンプレートマッチングを行うもの、物体領域の色ヒストグラムと入力フレーム中の色ヒストグラムを比較して、色ヒストグラムの類似性が高い領域の位置を対象物体の位置とするものなどがある。

テンプレートマッチングによる物体追跡は、追跡対象画像の形状的特徴を抽出したテンプレート画像を作成して、入力フレームからそのテンプレート画像と形状的特徴が一致する領域を検出するものであるが、追跡対象物体の画像の形状的特徴は追跡対象物体の移動、回転、変形あるいは照明の変動等によって変化するので、追跡精度や安定性が低いという問題がある。そこで、一のフレームで追跡対象物体の検出に成功する度に、テンプレート画像を更新して、次のフレームの入力に備える方法、あるいは、入力画像とテンプレート画像の類似度が所定の閾値を下回る場合にテンプレート画像を更新する方法などが採られている（特許文献１）。

色ヒストグラムは追跡対象物体の移動・回転等によって変化しないので、物体追跡に適している。例えば特許文献２には、参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成し、処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出し、算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合した統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する画像処理方法が開示されている。

また、色ヒストグラムによる物体追跡を更にロバストにするために、追跡対象物体の検出に成功する度に、色ヒストグラムを更新して、次のフレームの入力に備えることが行われていた。このような物体追跡方法、つまり、最初のフレームの追跡対象物体の画像から参照領域ヒストグラムを作成し、入力フレームから候補領域ヒストグラムを作成し、参照領域ヒストグラムと候補領域ヒストグラムの間のヒストグラムインターセクションを算出し、ヒストグラムインターセクションが最大となる候補領域の位置座標を入力画像中の追跡対象物体の位置座標に決定するともに、前記候補領域の色ヒストグラムを新たな参照領域ヒストグラムにして、次の入力フレームを待つ操作を繰り返す物体追跡方法を「従来方法」と呼ぶことにする。

特開２００４−１１８４８５号公報 特開２００４−３４８２７３号公報

従来方法は、照明条件の変動等の外乱の影響を受けないロバストな物体追跡の実現を目指したものではあるが、入力フレームの中からヒストグラムインターセクションが最大となる候補領域を１つだけ検出して、検出した候補領域の色ヒストグラムを次のフレームの検出に使用するので、候補領域の検出を行う度に検出誤差が累積して、検出位置が追跡対象物体の真の位置から徐々に外れていくドリフティング（drifting）と呼ばれる現象が発生し、追跡不能に陥るおそれがあった。

本発明は、このような問題を解決するために成されたものであり、追跡対象物体の移動、回転、変形ならびに照明条件の変動等に対してロバストな、高精度で安定性の高い物体追跡方法、装置およびプログラムを提供することを目的とする。

本発明の物体追跡方法の第１の構成は、動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像（以下、「追跡対象画像」という。）に対応する部分画像の位置座標を決定する対応位置決定ステップを、前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡方法において、前記対応位置決定ステップは、前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度算出ステップ；前記一のフレームにおける類似性尺度の分布に基づいて、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域（以下、「類似領域」という。）を抽出する領域抽出ステップ；および、前記類似領域の重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出ステップ；を有することを特徴とする。

この構成によれば、追跡対象画像に類似する複数の部分画像の重心座標を追跡対象物体の位置座標にするので、誤差が相殺されて、精度の高い物体追跡が可能になるとともに、ドリフティングの発生が抑制されて、安定した物体追跡が可能になる。

なお、画像の特徴量とはその画像を他の画像と識別する変数の事であり、画像の色相、彩度、明度、輝度、あるいはこれらのヒストグラムなどである。また特徴量に、画像の形状的な特徴を示す変数を用いてもよい。また、物体追跡に用いる特徴量は１個に限られない。複数の特徴量を組み合わせて使用してもよい。

本発明の物体追跡方法の第２の構成は、前記第１の構成に加えて、前記対応位置決定ステップは、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出ステップを有し、前記領域抽出ステップは、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする。

この構成によれば、類似性尺度の分布形状に基づいて、フレームを追跡対象画像に類似する領域と背景領域に分別するので、ノイズに対してロバストな追跡が可能になる。なお、閾値の算出には、大津の２値化基準、Kittlerの基準に依る方法、あるいは類似性尺度の最大値と最小値の加重平均を閾値にする方法などを選択することができる。

ここで類似性尺度の分布形状の高台部とは、類似性の高い部分のことをいい、裾野部とは高台部の外側を取り巻く類似性の低い部分のことをいう。類似性尺度としてヒストグラムインターセクションのような数値の大きさが類似性の高さを示す尺度を用いる場合は、高台部の類似性尺度の値は大きな値になる。一方、距離を類似性尺度に使う場合は、距離の大きさは類似性の低さを示すから、高台部の類似性尺度の値は小さな値になる。

本発明の物体追跡方法の第３の構成は、前記第１の構成に加えて、前記領域抽出ステップは、類似性尺度が最大になる部分画像から類似性尺度がｋ（ｋは２以上の自然数）番目に大きい部分画像までのｋ個の部分画像を前記類似領域として抽出することを特徴とする。

この構成によれば、類似性尺度の大小比較だけで部分画像を抽出するので、計算が簡易、容易であり、高速処理が可能になる。

本発明の物体追跡方法の第４の構成は、前記第１乃至第３のいずれかの構成において、前記特徴量は色ヒストグラムであることを特徴とする。

この構成によれば、色ヒストグラムを特徴量とするので、対象物体の回転、移動、変形に対してロバストになる。

本発明の物体追跡方法の第５の構成は、前記第４の構成において、前記色ヒストグラムは、前記画像の色空間を次式で定義されるｒｇ色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された２次元ヒストグラムであることを特徴とする。

ｒｇ色空間は人間の肌色を的確に表現するので、この構成による物体追跡方法は、人物の顔面等の追跡に効果がある。

本発明の物体追跡方法の第６の構成は、前記第１乃至第５のいずれかの構成において、前記類似性尺度は、ヒストグラムインターセクションであることを特徴とする。

ヒストグラムインターセクションは他の類似性尺度に較べて、単純な演算で算出できるので、この構成によれば、高速処理が可能になる。

本発明の物体追跡方法の第７の構成は、前記第１乃至第５のいずれかの構成において、前記類似性尺度は、距離であることを特徴とする。

ここで、距離とは、ユークリッド距離、マハラノビス距離、マンハッタン距離、類似度
などベクトル間の類似性の尺度である。この構成は、特徴量が多変数の組み合わせで表せる場合、つまり、特徴量をベクトルとして取り扱える場合に、部分画像の類似性を的確に評価できるので、物体追跡の精度と安定性が向上する。

本発明の物体追跡装置の第１の構成は、動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像（以下、「追跡対象画像」という。）に対応する部分画像の位置座標を決定する操作を前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡装置において、前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度算出手段と、前記一のフレームにおける類似性尺度の分布に基づいて、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域（以下、「類似領域」という。）を抽出する領域抽出手段と、前記類似領域の重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出手段とを備えることを特徴とする。

本発明の物体追跡装置の第２の構成は、前記第１の構成に加えて、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出手段を有するとともに、前記領域抽出手段は、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別することを特徴とする。

本発明の物体追跡装置の第３の構成は、前記領域抽出手段は、類似性尺度が最大になる部分画像から類似性尺度がｋ（ｋは２以上の自然数）番目に大きい部分画像までのｋ個の部分画像を前記類似領域として抽出することを特徴とする。

本発明の物体追跡装置の第４の構成は、前記第１乃至第３のいずれかの構成に加えて、前記特徴量は色ヒストグラムであることを特徴とする。

本発明の物体追跡装置の第５の構成は、前記第４の構成において、前記色ヒストグラムは、前記画像の色空間を次式で定義されるｒｇ色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された２次元ヒストグラムであることを特徴とする。

本発明の物体追跡装置の第６の構成は、前記第１乃至第５のいずれかの構成において、前記類似性尺度は、ヒストグラムインターセクションであることを特徴とする。

本発明の物体追跡装置の第７の構成は、前記第１乃至第５のいずれかの構成において、前記類似性尺度は、距離であることを特徴とする。

本発明のプログラムの構成は、前記第１乃至第７のいずれかの構成の物体追跡方法をコンピュータに実行させることを特徴とする。

以上説明したように、本発明の物体追跡方法、物体追跡装置は、追跡対象物体の移動、回転、変形に加えて、照明の条件など撮像環境の変化に対してもロバストであり、例えば、移動ロボットの視覚センサーの能力の向上などに資するところが大きい。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、追跡開始時刻のフレームに設定された追跡対象領域を示す図であり、人物の顔面を追跡対象とする例を示している。図に示すように、作業者はフレーム上の追跡対象の人物の顔面が映っている部分に、追跡対象領域Ｗ（ｘ）をマニュアル設定する。追跡対象領域Ｗ（ｘ）は、画像平面上の座標ｘ＝（ｘ，ｙ）に中心を置く大きさａ×ｂの矩形の窓領域であり、座標ｘ＝（ｘ，ｙ）を領域Ｗ（ｘ）の位置ということにする。

追跡対象領域Ｗ（ｘ）の設定の後、適当な追跡半径Ｄを選んで入力する。追跡半径Ｄは、次時刻のフレームにおいて追跡対象物体を追跡する範囲を制限するパラメータであり、追跡対象領域Ｗ（ｘ）を中心とする半径Ｄの追跡範囲Ｒ（ｘ）で追跡対象物体の追跡が行われる。

追跡半径Ｄは、予想される追跡対象物体の移動速度、撮像手段の移動速度および撮像手段のサンプリングレート（撮像フレーム数／時間）に基づいて、必要十分な値を設定する。追跡対象物体の移動速度等が大きくて、追跡範囲を制限出来ない場合は、追跡半径Ｄをフレームの対角線の長さより大きな長さに設定すれば、フレームの全範囲を追跡対象にする事ができる。

また、領域Ｗ（ｘ）の全てが物体領域の内部にあるとき、領域Ｗ（ｘ）の位置、すなわち座標ｘ＝（ｘ，ｙ）を追跡対象物体の位置といい、追跡時に検出した追跡対象物体の位置がこの条件を満たせば、追跡に成功したとする。

特徴量は領域Ｗ（ｘ）と他の領域と区別するパラメータであり、領域Ｗ（ｘ）に含まれる画像の形状、面積、色、明るさ等を表示するパラメータである。本実施例では、特徴量として色ヒストグラムを用いる。

色ヒストグラムとは、画像のある領域に出現する各色成分の頻度分布のことであり、前記領域に属する画素を色成分に分けたときの各色成分の画素数で表現される。色ヒストグラムは撮像手段の動きや追跡対象物の運動に対する変動が他の特徴に比べて小さいので、動画像の中から追跡対象物を捜しだすのに都合が良い。

さて、特定の色を表現する空間を色空間といい、色空間が定義されると、色はその色空間上の位置を示す座標で表現される。色空間には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の階調で色を表現するＲＧＢ空間、シアン（Ｃ）、マゼンタ（Ｍ）、黄色（Ｙ）、黒（Ｋ）の4色の階調により表現するＣＹＭＫ空間、輝度（Ｙ）と赤の色差（Ｕ）、青の色差（Ｖ）により表現するＹＵＶ空間など各種のものがある。物体追跡においては、画像を追跡対象の物体が映っている領域と背景領域に分けるのに適した色空間を選ぶ必要がある。

物体追跡に用いる色ヒストグラムは、（１）照明の変化に対する変動が少ないこと。（２）作成コストが低いことが要求される。ここで作成コストを低くするという事は単なる費用の問題だけではなく、作成のための演算時間を小さくして、高速処理、実時間処理を可能にすることを意味する。このような要求に答えるために、本実施例では、領域Ｗ（ｘ）の色空間を下記の式（１）および式（２）で定義される示されるｒｇ色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された２次元色ヒストグラムを用いる。なお、Ｒ，Ｇ，Ｂは、赤、緑、青の各原色成分の輝度である。

ｒｇ色空間は、画素中の赤色および緑色成分の比率を表現する２次元空間であり、肌色の表現に適している。しかしながら、ｒｇ色空間は無彩色（つまり、Ｒ＝Ｇ＝Ｂとなる色）および無彩色に近い色を適切に表現できない性質があるので、無彩色の画素および無彩色に近い色をヒストグラムに組み入れるとノイズとして働くことが問題になる。そこで、（ｒ，ｇ）の組又は下記の式（３）および式（４）で定義される（ｒ’，ｇ’）が（１／３，１／３）から半径０．０２以内にある画素をヒストグラムの要素から除外することにした。なお、（ｒ’、ｇ’）は黒色（Ｒ＝Ｇ＝Ｂ＝０）近傍の無彩色を除外するため設定したパラメータである。また、半径０．０２は、人物の黒色の頭髪領域を１００枚の画像から抽出し、これらの画素の９０％を無彩色として判定する値を選択した。

図２は、無彩色および無彩色に近い色を除外した色ヒストグラムを示す図であり、図で白抜きの円で示した部分にある画素が除外されたことを示している。このようにして無彩色および無彩色に近い色を除外したｒｇ色空間を適切な色深度で均等量子化した色空間を利用して色ヒストグラムを作成する。本実施例では、下記の式（５）および式（６）のような正規化された色ヒストグラムＨ（ｒ，ｇ）を使用する。

追跡対象領域Ｗ（ｘ）の色ヒストグラムに最も近い色ヒストグラムを持つ領域を、次時刻のフレームから捜し出すための類似性を評価する尺度として、本実施例では、下記の式（７）で定義されるヒストグラムインターセクションＳｃを用いた。このヒストグラムインターセクションＳｃは、２つの色ヒストグラムＨ₁（ｒ，ｇ）およびＨ₂（ｒ，ｇ）の重複部分に存在する画素数を類似性の尺度とするものであり、他の尺度に比べて、計算が容易なので、高速処理に向いている。

なお、色ヒストグラムＨ₁（ｒ，ｇ）およびＨ₂（ｒ，ｇ）は正規化されているので、ヒストグラムインターセクションＳｃの値は０から１の範囲をとり、２つのヒストグラムが等しいときには１になる。

また、ヒストグラムインターセクションＳｃに代えて、色ヒストグラムＨ₁（ｒ，ｇ）、Ｈ₂（ｒ，ｇ）をベクトルとして取り扱って、両者の距離（ユークリッド距離、マハラノビス距離、マンハッタン距離、類似度など）を求めて、これらの距離を両者の類似性の尺度としてもよい。

〔類似性尺度分布法〕
図３は本実施例に係る画像追跡装置の概念的な構成図であり、図４は画像追跡方法を示すフローチャートである。図３において、１は画像追跡装置であり、画像追跡装置１は、類似性尺度分布算出手段２、領域抽出手段３、位置算出手段４および閾値算出手段５を備え、撮像手段６あるいは記録再生手段７から入力される動画像における追跡対象物の位置を推定して、出力手段８に出力する装置である。

なお、類似性尺度分布算出手段２は図示しないディスプレイ装置と入力装置（キーボードおよびマウス等）を備えて追跡中の画像を表示するとともに、作業者によるマニュアル入力ができる。撮像手段６は例えばビデオカメラのような、動画像を撮像して電気信号の形で出力する手段である。撮像手段６が出力する電気信号はＶＴＲ装置やＤＶＤ装置のような記録再生手段７に一旦記録されて、その後、再生されて画像追跡装置１に入力されるが、撮像手段６から直接、画像追跡装置１に入力してもよい。出力手段８は、例えば、画像追跡装置１で算出した追跡対象物の位置を示すマークを動画像に重ね合わせて表示するディスプレイ装置であるが、ディスプレイ装置に代えて、ＶＴＲ装置、ＤＶＤ装置あるいはデータレコーダ等に出力してもよい。

なお、画像追跡装置１は、コンピュータと、以下に詳述する画像追跡方法のプログラムを記載した当該コンピュータで読み取り可能な媒体の組み合わせによって実現できる。また、一般的な画像解析方法、つまり、動画の特定のフレームの特定の領域に存在する画素の情報を読み込んで、統計処理する技術等は、既に公知であるので説明を省略する。

次に、図４に付したステップ番号を引用しながら、画像追跡方法の詳細を説明する。

〔Ｓ１〕
まず、動画の最初（時刻ｔ＝０）のフレームを、記録再生手段７から類似性尺度分布算出手段２に読み出す。

〔Ｓ２〕
作業者は、類似性尺度分布算出手段２が図示しないディスプレイ装置に表示する前記最初（時刻ｔ＝０）のフレームを見ながら、追跡対象の人物の顔面の適当な位置に追跡対象領域Ｗ（ｘ_０）を設定し、次いで追跡半径Ｄを入力して、追跡範囲Ｒ（ｘ_０）を設定する。

〔Ｓ３〕
追跡対象領域Ｗ（ｘ_０）が決定されると、類似性尺度分布算出手段２は追跡対象領域Ｗ（ｘ_０）に存在する画素の色情報を読み出して、追跡対象領域Ｗ（ｘ_０）の色ヒストグラムＨ_０（ｘ_０）を算出する。

〔Ｓ４〕
記録再生手段７に、次時刻のフレームが無ければ、処理を終了し、次時刻の画像があれば、Ｓ５に進む。

〔Ｓ５〕
記録再生手段７から、次時刻（ｔ＝１）のフレームを類似性尺度分布算出手段２に読み出す。

〔Ｓ６〕
類似性尺度分布算出手段２は、次時刻（ｔ＝１）のフレームを、座標ｘを中心とする大きさａ×ｂの矩形の窓領域Ｗ（ｘ）に分割して、各窓領域Ｗ（ｘ）の色ヒストグラムＨ_１（ｘ）を算出し、各窓領域Ｗ（ｘ）の色ヒストグラムＨ_１（ｘ）と追跡対象領域Ｗ（ｘ_０）の色ヒストグラムＨ_０（ｘ_０）の間のヒストグラムインターセクションＳｃ（Ｈ_１（ｘ），Ｈ_０（ｘ_０））を算出して、次時刻（ｔ＝１）のフレーム上のヒストグラムインターセクションＳｃ（Ｈ_１（ｘ），Ｈ_０（ｘ_０））の分布を得る。

図５はヒストグラムインターセクションの分布の例を示す図である。図５に示すように、ヒストグラムインターセクションＳｃ（Ｈ_１（ｘ），Ｈ_０（ｘ_０））の分布の概略形状は、釣鐘状をなし、照明などの環境変化によっては、変化しない。

〔Ｓ７〕
次に、類似性尺度分布算出手段２は、下記の式（８）および（９）で定義されるような、追跡範囲Ｒ（ｘ_０）に存在する窓領域Ｗ（ｘ）のヒストグラムインターセクションＳ_１（ｘ｜ｘ_０）の集合Ｖを求め、閾値算出手段５に送信する。

閾値算出手段５は、集合Ｖを、対象物体クラスＶobjと背景クラスＶｂｇに分ける閾値Ｔ_１を算出する。Ｖobjは釣鐘状をなすヒストグラムインターセクションＳｃ（Ｈ_１（ｘ），Ｈ_０（ｘ_０））の分布形状の高台部に相当し、Ｖｂｇは裾野部に相当する。また、Ｔ_１は前記高台部と前記裾野部の境界を画する高さに相当する。Ｔ_１の算出には、物体クラスＶobjと背景クラスＶｂｇのクラス内分散とクラス間分散の比が最小にする基準（大津の基準）に従って閾値Ｔ_１を決定する方法、それぞれのクラスを正規分布で近似したときの誤識別率を最小にする基準（Kittlerの基準）に従って閾値Ｔ_１を決定する方法などを用いる。なお、大津の基準およびKittlerの基準については、下記の文献に詳述されているので、ここでは説明を省略する。

大津、”判別および最小２乗基準に基づく自動しきい値選定法”電気通信学会論文誌、Vol.J63-D,No.4,pp.41-47,1980

J.Kittler and J.Illingworth,"Minimum Error Thresholding," Pattern Recognition,Vol.19,No.1,pp41-47,1986

また、集合Ｖの最大値Ｓ_{_max}と最小値Ｓ_{_min}を求め、下記の式（１０）に依って算出した両者の加重平均を閾値Ｔ_１にしてもよい。この場合、αは概ね０．５程度の値を用いる。この方法は、前述の大津の基準、Kittlerの基準に基づく方法に比べて計算速度が圧倒的に速いという利点がある。

以上のいずれかの方法で決定された閾値Ｔ_１は領域抽出手段３に送信され、領域抽出手段３は、図６および下記の式（１１）に示す集合Ｕ_１、すなわち、追跡範囲Ｒ（ｘ_０）に存在する窓領域Ｗ（ｘ）であって、ヒストグラムインターセクションＳ_１（ｘ｜ｘ_０）が閾値Ｔ_１以上になるような窓領域Ｗ（ｘ）の中心の座標の集合を求めて、位置算出手段４に送信する。

〔Ｓ８〕
位置算出手段４は、下記の式（１２）に示すように集合Ｕ_１に含まれる座標の相加平均ｘ_１を算出し、これを時刻ｔ＝１における、対象物体の位置として、出力手段８に出力するとともに、類似性尺度分布算出手段２に送信する。

言うまでもなく、ｘ_１はヒストグラムインターセクションＳｃ（ｘ／ｘ_０）が閾値Ｔ_１以上になるような領域の中心、すなわち重心の座標である。このようにして、追跡対象領域Ｗ（ｘ_０）に対する類似性尺度が所定の水準を超える領域の重心の座標が追跡対象物体の位置座標に決定される。

〔Ｓ９〕
類似性尺度分布算出手段２は、ｘ_１を中心とする追跡対象領域Ｗ（ｘ_１）を次時刻（ｔ＝１）のフレームに設定し、追跡対象領域Ｗ（ｘ_１）の色ヒストグラムＨ_１（ｘ_１）を算出し、次次時刻（ｔ＝２）のフレームの入力に備える。

以上のように、Ｓ４からＳ９までのステップを、繰り返して、各時刻（ｔ＝３，４‥‥）のフレームにおける対象物体の位置を決定する。Ｓ４からＳ９までのステップを総称して、対応位置決定ステップという。

なお、以上説明した物体追跡方法を本明細書では、「類似性尺度分布法」と呼ぶことにする。

〔ｋ−最大類似性尺度法〕
類似性尺度分布法は、画像を類似領域とそれ以外の領域に分けるための閾値Ｔ_１を、ヒストグラムインターセクションＳ_１（ｘ｜ｘ_０）の分布形状から算出したが、この閾値Ｔ_１の算出には時間がかかるので、処理時間の高速化を優先する場合は、ステップＳ７において、ヒストグラムインターセクションＳ_１（ｘ｜ｘ_０）の大きい領域を抽出するのに、追跡範囲Ｒ（ｘ_０）に存在する窓領域Ｗ（ｘ）を、ヒストグラムインターセクションＳ_１（ｘ｜ｘ_０）が大きい方からｋ個（ｋは２以上の自然数）の窓領域Ｗ（ｘ）を抽出して、ステップＳ８で、このｋ個の窓領域Ｗ（ｘ）の重心を追跡対象物体の位置にしてもよい。この方法を、本明細書では、「ｋ−最大類似性尺度法」と呼ぶことにする。

なお、ｋ−最大類似性尺度法を実施するための物体追跡装置の基本的な構成は、前述の物体追跡装置１と同一である。ただし、閾値Ｔ_１の算出を行わないので、閾値算出手段５は不要である。

〔性能比較〕
従来方法と本発明の方法の性能比較するために５種類の画像について、物体追跡を行った結果を以下に示す。

図７は、実験に使用した５種類の画像のサンプルである。

画像（ａ）および（ｂ）は、固定カメラで撮像した画像であり、照明条件の変動もない。画像（ａ）の追跡対象は旋回台に置かれて旋回する人形であり、画像（ｂ）は正面を向いた人物の顔面である。

画像（ｃ）および（ｄ）は、移動する人物の顔面を、移動カメラで撮像した画像であり、画像（ｃ)は照明条件の変動が小さい例であり、画像（ｄ）は照明条件の変動が大きい例である。

画像（ｅ）は、固定カメラの前で旗を振る様子を撮像した画像であり、非剛体、つまり時間とともに形状が変化する物体を追跡する例である。

類似性尺度分布法については、式（１０）の方法つまり、集合Ｖの最大値Ｓ_{_max}と最小値Ｓ_{_min}の加重平均によって閾値Ｔ_１を決定する方法を選んだ。ただしα＝０．５とした。

ｋ−最大類似性尺度法については、ｋ＝１０を用いた。

また、全ての動画像は、ＱＶＧＡ（３２０×２４０）解像度でコンピュータに入力し、追跡対象領域Ｗ（ｘ）の幅と高さは２０〜３０ピクセルとした。

以上の条件の下で、物体追跡を行った結果を表１に示す。なお、表中の数字の分母は同画像の全フレーム数であり、分子は対象物体の追跡に成功した最終フレームの番号である。つまり、最後まで追跡に成功した場合に分母と分子が等しくなり、途中で失敗すると分子は小さくなる。また、最後まで追跡に成功したものには＊印を付している。

表１に示したように、従来方法は全ての画像について、ごく初期の段階で追跡に失敗しているが、類似性尺度分布法は全ての画像について最後まで追跡に成功している。また、ｋ−最大類似性尺度法は、画像（ｂ）および（ｃ）については最後まで追跡に成功したものの、他の画像については途中で失敗している。

類似性尺度分布法は非常に高い性能を示し、ｋ−最大類似性尺度法も類似性尺度分布法に較べて多少性能が劣るものの、従来方法に較べて高い性能を示していることが解る。

なお、ｋ−最大類似性尺度法は類似性尺度分布法に較べて多少性能が劣るので、適用対象の画像は照明等の変化の小さい安定した環境で撮像された画像に限定されるが、類似性尺度分布法に較べて処理時間が短いので、高速処理を要求される用途に適している。

追跡開始時のフレームに設定された追跡対象領域を示す図である。 無彩色および無彩色に近い色を除外したヒストグラムを示す図である。 本発明の実施例を示す画像追跡装置の概念的な構成図である。 本発明の実施例を示す画像追跡方法のフローチャートである。 ヒストグラムインターセクションの分布の例を示す図である。 閾値による領域の分別を説明する図である。 実験に使用した画像のサンプルである。

符号の説明

１ 画像追跡装置
２ 類似性尺度分布算出手段
３ 領域抽出手段
４ 位置算出手段
５ 閾値算出手段
６ 撮像手段
７ 記録再生手段
８ 出力手段

Claims (15)

1. 動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像（以下、「追跡対象画像」という。）に対応する部分画像の位置座標を決定する対応位置決定ステップを、前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡方法において、
   前記対応位置決定ステップは、
   前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度算出ステップ；
   前記一のフレームにおける類似性尺度の分布に基づいて、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域（以下、「類似領域」という。）を抽出する領域抽出ステップ；
   および、前記類似領域の重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出ステップ；
   を有することを特徴とする物体追跡方法。
2. 前記対応位置決定ステップは、釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出ステップを有し、
   前記領域抽出ステップは、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別すること
   を特徴とする請求項１に記載の物体追跡方法。
3. 前記領域抽出ステップは、類似性尺度が最大になる部分画像から類似性尺度がｋ（ｋは２以上の自然数）番目に大きい部分画像までのｋ個の部分画像を前記類似領域として抽出すること
   を特徴とする請求項１に記載の物体追跡方法。
4. 前記特徴量は、色ヒストグラムであること
   を特徴とする請求項１乃至請求項３の何れかに記載の物体追跡方法。
5. 前記色ヒストグラムは、前記画像の色空間を次式で定義されるｒｇ色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された２次元ヒストグラムであること
   を特徴とする請求項４に記載の物体追跡方法。
   

   
6. 前記類似性尺度は、ヒストグラムインターセクションであること
   を特徴とする請求項１乃至請求項５の何れかに記載の物体追跡方法。
7. 前記色類似性尺度は、距離であること
   を特徴とする請求項１乃至請求項５の何れかに記載の物体追跡方法。
8. 動画像の一のフレームにおいて追跡対象物体の一部領域又は全領域の画像（以下、「追跡対象画像」という。）に対応する部分画像の位置座標を決定する操作を前記動画像の各フレームに対して順次繰り返すことにより、前記追跡対象物体の追跡を行う物体追跡装置において、
   前記一のフレームに属する複数の位置の部分画像に対して、当該部分画像の特徴量と前記追跡対象画像の特徴量との間の類似性尺度を算出する類似性尺度算出手段と、
   前記一のフレームにおける類似性尺度の分布に基づいて、前記一のフレーム内における前記追跡対象画像に類似する部分画像が存在する領域（以下、「類似領域」という。）を抽出する領域抽出手段と、
   前記類似領域の重心座標を算出して、前記重心座標を当該フレームにおける前記対象物体の位置座標に決定する位置算出手段と
   を備えることを特徴とする物体追跡装置。
9. 釣鐘状をなす前記類似性尺度の分布形状の高台部と裾野部を分ける閾値を算出する閾値算出手段を有するとともに、
   前記領域抽出手段は、前記閾値によって前記一のフレームに属する部分画像を前記追跡対象画像に類似する部分画像とそれ以外の部分画像に分別すること
   を特徴とする請求項８に記載の物体追跡装置。
10. 前記領域抽出手段は、類似性尺度が最大になる部分画像から類似性尺度がｋ（ｋは２以上の自然数）番目に大きい部分画像までのｋ個の部分画像を前記類似領域として抽出すること
    を特徴とする請求項８に記載の物体追跡装置。
11. 前記特徴量は、色ヒストグラムであること
    を特徴とする請求項８乃至請求項１０の何れかに記載の物体追跡装置。
12. 前記色ヒストグラムは、前記画像の色空間を次式で定義されるｒｇ色空間に変換する色空間変換により色空間変換された色相成分を用いて作成された２次元ヒストグラムであること
    を特徴とする請求項１１に記載の物体追跡装置。
    

    
13. 前記類似性尺度は、ヒストグラムインターセクションであること
    を特徴とする請求項８乃至請求項１２の何れかに記載の物体追跡装置。
14. 前記色類似性尺度は、距離であること
    を特徴とする請求項８乃至請求項１２の何れかに記載の物体追跡装置。
15. 請求項１乃至請求項７の何れかに記載の物体追跡方法をコンピュータに実行させることを特徴とするプログラム。
    
    
    
    

Images