JP2005309746A - 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 - Google Patents

Abstract

【課題】 特徴点による領域追跡手法が苦手とする条件下でも精度の高い追跡手法を提供すること。
【解決手段】 動物体追跡装置が、動画像を構成するフレーム群からフレームを選択して入力する画像入力手順と、追跡対象領域を記憶手段から取得する領域指定受付手順と、現フレームの追跡対象領域を算出する特徴点追跡手順と、特徴点による追跡対象領域の抽出処理または色情報による追跡対象領域の抽出処理のいずれかを実行すると判定する追跡判定手順と、色情報に従って現フレームの追跡対象領域を算出する色情報追跡手順と、前フレームの追跡対象領域を、記憶手段に出力する領域位置更新手順と、を実行することを特徴とする。
【選択図】 図１

Description

本発明は、動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置に関する。

動画像中から人物像をはじめとする動物体領域（追跡対象）を追跡する方法は、多くの既存手法が提案され、開示されている。例えば非特許文献１においては、複雑な背景を有する動画像からの人物像の追跡について、網羅的に解説がなされている。

追跡対象の追跡処理を行うには、主に、色情報を用いるもの、画像の背景差分を用いるもの、距離画像の背景差分を用いるもの、画像の時間差分を用いるもの、特徴点の追跡（オプティカルフロー）を用いるものに分類されるが、動画像の撮影条件（カメラの動きの有無やカメラ台数など）や追跡対象の条件（背景の動きの有無や被写体の数など）に依存する部分が大きく、決定的な手法はなく、条件に応じて手法を選択する必要がある。なお、特徴点とは、物体のエッジやコーナー（机の角など）の像のように、領域の輪郭を特徴付ける座標位置のことである。よって、特徴点は、例えば、隣接した画素と比較して輝度値の変化が大きくなる点である。

特許文献１は、光軸がほぼ平行になるように配置された複数のカメラによる人数カウンタについての発明であり、その中に複数カメラにおいて人物像を構成する対応特徴点を求めて３次元座標値の復元を行い、クラスタリングを行う手法についての記載がある。

また、特許文献２は、ビデオシーケンス中からフィルタ処理、射影ヒストグラムを用いた顔領域の追跡に関する発明であり、顔領域の追跡と領域のサイズを決定する手法についての記載がある。ここでの追跡とサイズ決定は、色処理のみによって行われているため、色処理に生じうる諸問題は依然として抱えている。

同様に特許文献３において、サッカーゲームを撮影した動画像中からの人物像やボールの抽出を、色情報に基づいて行う方法についての記載がある。
特開平１０-４９７１８号公報（段落[００１０]） 特開２０００-３６０５２号公報（段落[００２０]） 特開２００４-４６６４７号公報（段落[０００６]） 白井良明、三浦純著、"複雑背景における人の追跡"、情報処理学会論文誌"コンピュータビジョンとイメージメディア、Vol.43、No.SIG 4(CVIM 4)"、pp.33-42、2002年6月

従来の追跡処理では、追跡対象となる動物体が動くために、特定の条件下で、追跡精度が落ちるという問題がある。

例えば、色情報を用いる追跡は、追跡対象を囲む領域（矩形が多く、本発明でも矩形としている）において、前画像フレームの前記領域内の色情報を色ヒストグラムにより数値化し、現在追跡を行おうとしている画像フレームにおいて、同一形状、同一サイズの領域を前画像フレームと同じ位置の周辺に移動させながら領域内の色情報を色ヒストグラムにより数値化して、前画像フレームの数値化された色ヒストグラムと類似している位置を探索する方法である。

例えば人物像を追跡する場合、頭部、上半身、下半身と分けて探索することによって、部分的に隠蔽されていても、追跡可能である。図５は、色ヒストグラムによる被写体追跡の例を表した図であり、時刻ｔにおけるフレーム画像内の領域Ｒ（ｔ）を、Ｒ１、Ｒ２、Ｒ３に分割し、次の時刻ｔ+１のフレーム画像における追跡領域Ｒ（ｔ＋１）を探索している例である。色ヒストグラムを数値化するにあたり、例えば、領域内の各画素のＲＧＢ（Red-Green-Blue）値をＨＳＶ（Hue Saturation Value）値に変換し、ＨＳＶの各譜調値を有する領域内の画素数を計数し、各成分ごとの画素数の和で代表したり、平均値や中間値で代表することがある。

色ヒストグラムを用いる方法は、平均値などの統計値を用いるために、画像のボケや、部分的な隠蔽に耐性があるという利点がある一方で、類似する物体、例えば同じ服装をした人物像があれば誤対応となってしまったり、被写体の大きさの変動に弱いという難点がある。後者の例として、被写体がカメラから離れるなどして被写体のサイズが小さくなるような場合、前記対象領域に被写体周辺（背景など）の色情報が入り込み、色ヒストグラムが変動してしまうため、正しく追跡対象を追跡しているにもかかわらず、領域を特定できないなどの問題がある。

一方、追跡対象のエッジやコーナーなどの特徴点を追跡する手法においては、追跡対象の形状やサイズの変動（ズームアップなど）に対し耐性があるという利点がある。図６は特徴点追跡による被写体の追跡の様子を示した例である。特徴点追跡による追跡は、例えば図７に示すように、部分的な隠蔽（樹木の枝により追跡対象である人物が隠蔽されている）や画像のボケに弱い、背景の特徴点を検出してしまう、という問題がある。

以上のように、色情報を用いる追跡手法、または、特徴点を用いる追跡手法は、それぞれ特定の条件下で追跡精度が落ちるという問題がある。

そこで、本発明は、前記した問題を解決し、特徴点による領域追跡手法が苦手とする条件下でも精度の高い追跡手法を提供することを主な目的とする。

請求項１に記載の動物体追跡方法は、動物体追跡装置が動画像中の追跡対象領域を追跡する動物体追跡方法であって、前記動物体追跡装置が、
動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択して入力する画像入力手順と、前記前フレームの追跡対象領域を記憶手段から取得する領域指定受付手順と、
前記前フレームの追跡対象領域と現フレームとからそれぞれ特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点として算出し、前記現フレームの特徴点に従って前記現フレームの追跡対象領域を算出する特徴点追跡手順と、
前記対応特徴点から算出される数と、第１閾値とを比較することにより、特徴点による追跡対象領域の抽出処理または色情報による追跡対象領域の抽出処理のいずれかを実行すると判定する追跡判定手順と、
前記色情報による追跡対象領域の抽出処理を行う判定に従って、前記前フレームの追跡対象領域と現フレームとからそれぞれ色情報を抽出し、その色情報に従って前記現フレームの追跡対象領域を算出する色情報追跡手順と、
前記前フレームの追跡対象領域を、記憶手段に出力する領域位置更新手順と、
を実行することを特徴とする。

これにより、特徴点による領域追跡手法が苦手とする条件下でも、色情報による領域追跡手法に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

請求項２に記載の動物体追跡方法は、請求項１に記載の動物体追跡方法であって、前記対応特徴点から算出される数は、前記動物体追跡装置が、前記前フレームの特徴点と前記現フレームの対応特徴点との位置の差分から各対応特徴点の速度および各対応特徴点の速度の代表速度を算出し、前記代表速度と差分の少ない速度となる対応特徴点を良好な特徴点とし、前記良好な特徴点の数とすることを特徴とする。

これにより、対応特徴点のうち、平均速度から大きく外れた対応特徴点をノイズとして追跡処理の対象外とすることで、追跡手法の特定処理において、ノイズによる影響を抑制することができる。

請求項３に記載の動物体追跡方法は、請求項２に記載の動物体追跡方法であって、前記動物体追跡装置は、前記良好な特徴点の数と、第２閾値とを比較することにより、前記良好な特徴点を基に前記現フレームの追跡対象領域を算出するか否かを判定することを特徴とする。

これにより、対応特徴点のうち、平均速度から大きく外れた対応特徴点をノイズとして追跡処理の対象外とすることで、追跡領域の特定処理において、ノイズによる影響を抑制することができる。

請求項４に記載の動物体追跡方法は、請求項１ないし請求項３のいずれか１項に記載の動物体追跡方法であって、前記動物体追跡装置は、前記色情報追跡手順が、前記現フレームの追跡対象領域の算出において失敗した場合には、利用者の端末に通知することを特徴とする。

これにより、ユーザは、追跡精度が低下したことを、即座に知ることができる。

請求項５に記載の動物体追跡方法は、請求項１ないし請求項４のいずれか１項に記載の動物体追跡方法であって、前記色情報追跡手順は、前記追跡対象領域の色の値の統計値を前記色情報とすることを特徴とする。

これにより、局所的な画像のノイズへの耐性に優れた追跡処理を実現することができる。

請求項６に記載の動物体追跡プログラムは、請求項１ないし請求項５のいずれか１項に記載の動物体追跡方法をコンピュータに実行させることを特徴とする。

これにより、特徴点による領域追跡手法が苦手とする条件下でも、色情報による領域追跡手法に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

請求項７に記載のコンピュータ読み取り可能な記録媒体は、請求項６に記載された動物体追跡プログラムを記録したことを特徴とする。

これにより、特徴点による領域追跡手法が苦手とする条件下でも、色情報による領域追跡手法に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

請求項８に記載の動物体追跡装置は、動画像中の追跡対象領域を追跡する動物体追跡装置であって、前記動物体追跡装置は、演算処理を行う際に用いられる記憶領域としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備え、前記演算処理装置は、
動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択して入力する画像入力手段と、前記前フレームの追跡対象領域を記憶手段から取得する領域指定受付手段と、
前記前フレームの追跡対象領域と現フレームとからそれぞれ特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点として算出し、前記現フレームの特徴点に従って前記現フレームの追跡対象領域を算出する特徴点追跡手段と、
前記対応特徴点から算出される数と、第１閾値とを比較することにより、特徴点による追跡対象領域の抽出処理または色情報による追跡対象領域の抽出処理のいずれかを実行すると判定する追跡判定手段と、
前記色情報による追跡対象領域の抽出処理を行う判定に従って、前記前フレームの追跡対象領域と現フレームとからそれぞれ色情報を抽出し、その色情報に従って前記現フレームの追跡対象領域を算出する色情報追跡手段と、
前記前フレームの追跡対象領域を、記憶手段に出力する領域位置更新手段と、
を含んで構成されることを特徴とする。

これにより、特徴点による領域追跡手法が苦手とする条件下でも、色情報による領域追跡手法に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

本発明の動物体追跡方法は、特徴点追跡による物体追跡に失敗しても、色ヒストグラムによる追跡対象再発見を行うことを特徴とする。これにより、特徴点による領域追跡手法が苦手とする条件下でも、色情報による領域追跡手法に基づいて追跡対象領域を算出することにより、精度の高い追跡手法を提供することができる。

図１は本実施形態の動物体追跡装置の基本的な構成を表している。図１の動物体追跡装置は、画像入力手段１００、領域指定受付手段２００、特徴点追跡手段３００、追跡判定手段４００、色情報追跡手段５００、および、追跡領域更新手段６００を含めて構成される。本実施形態の動物体追跡装置は、演算処理を行う際に用いられる記憶領域としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備える。なお、各手段の具体的な説明は、後記の図３において、説明する。

また、追跡の対象となる被写体である動物体の領域を追跡するには、動画像中のある画像（フレーム）を初期画像として、前記初期画像における追跡対象領域を発見する初期領域設定処理と、初期領域設定処理で設定された領域の追跡すなわち初期画像から後続する画像列において前記追跡領域に対応する領域を探索し見つける領域追跡処理、の２つの処理が必要である。そこで、本実施形態の動物体追跡装置は、領域指定受付手段２００が初期領域設定の入力を受け付け、残りの手段が、領域追跡処理を行うように、構成されている。

また図２は本実施形態の動物体追跡装置の基本的な処理手順を表す図である。動物体追跡装置は、Ｓｔｅｐ１００において画像フレームを逐次取得し、Ｓｔｅｐ３００において特徴点追跡によって対象領域を追跡処理を行い、Ｓｔｅｐ４００において特徴点追跡による追跡が成功したかどうかを判定し、成功であればそのままＳｔｅｐ６００に進み、失敗であればＳｔｅｐ５００に進む。動物体追跡装置は、Ｓｔｅｐ５００において追跡が失敗した場合に色ヒストグラムを用いて領域を再発見し、Ｓｔｅｐ６００は追跡領域を更新し、次のフレームに進む。

また図３は、本実施形態の動物体追跡装置の具体的な構成図である。

動画像入力手段１０１は、記憶装置に蓄積された動画像やネットワークを介して転送される動画像を入力する。フレーム画像取得手段１０２は、前記入力された動画像から１フレームずつ画像を取得し、記憶する。画像表示手段２０１は、任意の時刻のフレームを表示することで、初期領域の指定を受け入れる準備を行い、領域指定受付手段２０２において、追跡対象像の初期領域の指定を受け入れる。

特徴点検出手段３０１は現在記憶されている領域内の特徴点を検出する手段であり、初期フレームにおける領域内の特徴点を検出したり、領域内の特徴点を新たに検出する処理を行う。ここで、特徴点検出手段３０１を構成するための特徴点を検出する方法は、広く実施されている方法、例えば画像の画素が有する輝度値の微分を用いたもの、すなわちＨｅｓｓｅ行列を用いた手法や、あるいはＳｏｂｅｌオペレータやＣａｎｎｙオペレータによるエッジ抽出を利用したものでもよい。

対応特徴点計算手段３０２は前フレームの領域内特徴点に対応する、現フレームでの特徴点（以下、対応特徴点とする）を検出する。なお、対応特徴点計算手段３０２を構成するための方法は、例えば、ブロックマッチング法、Ｌｕｃａｓ−Ｋａｎａｄｅ法が挙げられる。特徴点記憶手段３０３は特徴点検出手段３０１あるいは対応特徴点計算手段３０２で検出された特徴点をメモリなどの記憶手段に記憶する。

特徴点速度算出手段４０１は、前フレームにおける領域内特徴点と前記記憶された現フレームにおける対応特徴点位置との差分から、特徴点の代表速度Ｖｏｂｊを算出する。代表速度は、例えば、全特徴点速度の平均値でもよいが、対応特徴点追跡に誤りがあると平均値に影響を及ぼすため、特徴点速度のうち最も多い値の平均値あるいは中間値としてもよい。

特徴点速度評価手段４０２は、特徴点速度算出手段４０１において算出された代表速度Ｖｏｂｊを用いて、現フレームの特徴点の個々の速度を評価する。特徴点の評価式は、例えば、後記の数式（１）または数式（２）である。

特徴点数評価手段４０３は、特徴点速度評価手段４０２の評価結果に基づき、対応特徴点かどうかを判定し、数式（１）または数式（２）の条件を満たす特徴点（以下、良好な特徴点とする）の数を計数する。

色ヒストグラム計算手段５０１は、現在の領域内の色ヒストグラムを計算し、代表値を記憶する。例えば、領域内のＲＧＢ値をＨＳＶに変換し、領域内画素の、ＨＳＶ各成分を有する画素数を計数し、各ＨＳＶの画素数の和、あるいは中間値を用いてもよく、代表値をそれぞれＣＨｈ、ＣＨｓ、ＣＨｖとする。対応領域探索手段５０２は、前フレームと同一の形状、同一の大きさを持つ領域を、現フレームにおける予測位置近辺で移動しながらヒストグラムの代表値を計算する処理を繰り返す。被写体の位置は、初期フレームから変化していても、被写体の色は初期フレームからそれほど変化していないと考えられるため、再発見には色ヒストグラムが有効であると考えられる。領域発見判定手段５０３は、対応領域探索手段５０２において計算されたヒストグラムの代表値が、現在記憶されているヒストグラムの代表値ＣＨｈ、ＣＨｓ、ＣＨｖと類似していればその位置が現フレームにおける領域位置である、と判定する。なお、色ヒストグラム計算手段５０１は、ＲＧＢ値から色ヒストグラムを計算してもよい。

領域決定手段６０１は、現フレームにおける追跡領域の位置、形状、大きさを決定する。例えば、被写体が遠ざかるなどして追跡対象の画像における大きさが変動する場合、特徴点の座標値により、追跡領域の大きさを変動してもよい。例えば、前フレームにおける特徴点の現フレームにおける対応特徴点が、新たな領域に全て含まれるようにしてもよいし、あるいは、特徴点の重心位置と、領域を表す図形の座標値の重心位置が一致するようにしてもよい。領域図形記憶手段６０２は、前記決定された領域の位置および形状および大きさを記憶する。

図４は本実施形態の実施形態の処理の流れを示す。ここでは本実施形態をコンピュータ・プログラムとして処理した際の処理ステップの流れを説明する。

まずＳｔｅｐ００１にて、必要であれば閾値Ｔ１、Ｔ２の値の入力を受け付ける。このＴ１、Ｔ２は、後記するＮｍｉｎ、Ｎｔｈを、数式（３）によって計算するためのものである。
Ｎｍｉｎ＝Ｎ＊Ｔ１、Ｎｔｈ＝Ｎ＊Ｔ２・・・数式（３）
ここで、Ｔ１、Ｔ２は、あらかじめ設定され記憶されている値を読み込んでもよいし、利用者による入力を受け付けてもよい。
なお、Ｎｍｉｎは、追跡領域内特徴点の数Ｎのうち、Ｎｍｉｎ個以上が、代表速度Ｖｏｂｊを持つと判定すれば追跡に成功していると判定するための判断基準個数である（従ってＴ１は前記判断基準の割合を示す）。
また、Ｎｍｉｎ（≧Ｎｔｈ）は、追跡領域内特徴点の数Ｎのうち、Ｎｔｈ個以上であれば、特徴点の再計算を行わない、と判定するためのものである（後記のＳｔｅｐ４０４参照）。よって、Ｎｍｉｎ≧Ｎｔｈとなるためには、０≦Ｔ１≦Ｔ２≦１となるような、閾値Ｔ１、Ｔ２の入力を受け付ける。

次に、Ｓｔｅｐ１０１にて、動画像から追跡を行う初期のフレーム画像を取得しメモリヘ記憶する。

次に、Ｓｔｅｐ２０１にて、前記初期フレーム画像を表示し、追跡の対象となる被写体に対し、追跡領域を示す図形Ｒの指定を受け付ける。これは、本実施形態では任意の動画像中の物体の追跡に適用可能である（すなわち、追跡対象被写体に制限を加えなくてもよい）ためであり、例えば、人物像や車両など、ある程度追跡対象がテンプレートにより表現可能な場合と異なり、本実施形態では何を追跡するかが追跡領域を指定するまで不明であるからである。

なお、本実施形態では、追跡領域を矩形とする。これは、計算の容易さを考慮し、また、例えばポインティングデバイス等による図形入力の容易さを考慮すると、矩形が適しているが、必ずしも追跡領域が矩形である必要はない。追跡領域Ｒが矩形であれば、その位置や形状、大きさは前記矩形の４つの頂点、あるいは対角線を構成する２つの頂点で決定できる。本実施形態は、追跡対象が単数か複数かによって差異が生じうるわけではないため、複数の対象に対して処理を行う場合は、複数の追跡領域を指定すればよい。以下の説明では、追跡対象が１つであると仮定しているが、もちろん複数でもよい。

次にＳｔｅｐ３０１にて前記領域Ｒ内の特徴点ＦＰを検出する。ここで、特徴点を検出する方法は、広く実施されている方法、例えば画像の画素が有する輝度値の微分を用いたもの、すなわちＨｅｓｓｅ行列や、あるいはＳｏｂｅｌオペレータやＣａｎｎｙオペレータによるエッジ抽出を利用したものでもよい。

次にＳｔｅｐ５０１にて、前記領域Ｒ内のカラーヒストグラムＣＨを計算し、ＨＳＶ値の代表値を計算し記憶する。ＨＳＶ値の代表値は、ＨＳＶ各成分の譜調のうち、最も領域内の画素数が多いものとしてもよいし、画素の総数や平均としてもよいし、画素数の中間値としてもよい。この段階で初期フレームに対する初期計算が終了したので、動画像の毎フレームごとに以下の処理を繰り返す。

Ｓｔｅｐ１０２にて、次のフレーム画像を取得し、記憶する。次にＳｔｅｐ３０２にて、前フレームの領域Ｒ内特徴点ＦＰの、現フレームにおける対応特徴点を取得する。対応特徴点の計算方法は、広く実施されているオプティカルフローを用いたり、あるいは相関値を用いてもよい。現フレームにおける対応特徴点の個数をＮ個とする。ただし、前フレームの領域Ｒ内特徴点ＦＰの対応特徴点が全て見つかるとは限らないので、ＦＰの個数とＮは必ずしも一致しない。特に、現フレームにおいて追跡対象が隠蔽されてしまった場合、対応特徴点数が極端に減少することも生じえるが、そのような場合も、対応特徴点の少なくとも一部が、良好な対応特徴点となるので、Ｓｔｅｐ４０３で判定できる 。

次にＳｔｅｐ４０１にて前記Ｎ個の対応特徴点の移動速度を計算する。これは、Ｎ個の対応特徴点の座標値から、前フレームの特徴点の座標値を引けばよい。従って移動速度は、２次元のベクトルで表現される。次にＳｔｅｐ４０２にて、前記Ｎ個の対応特徴点の移動速度を計算し、代表速度Ｖｏｂｊを計算する。

次にＳｔｅｐ４０３にて、現フレームの特徴点の個々の速度を、代表速度Ｖｏｂｊを用いて評価する。既に述べたとおり、例えば、数式（１）または数式（２）を満たすかどうかを評価する。
所定の特徴点の速度が他の対応特徴点に比べて小さい場合は、前フレームにおける特徴点位置との差異が他に比べて小さく、追跡対象被写体が移動しているにもかかわらず、背景の特徴点を対応特徴点として誤認識したものと考えられる。同様に、速度が他の対応特徴点に比べて大きい場合は、動きの速い他の物体の特徴点を対応特徴点として誤認識したものと考えられる。
さて、対応特徴点Ｎ個のうち、前記数式（１）または数式（２）の条件を満たすものを良好な対応特徴点とみなし、その数がＮｍｉｎ個以上であれば、特徴点追跡に成功したと判定し、Ｓｔｅｐ６０１に進む。そうでなければ、特徴点追跡に失敗したと判定し、Ｓｔｅｐ５０２に進む。

Ｓｔｅｐ６０１では、前記良好な対応特徴点を用いて、現フレームにおける追跡領域の位置、形状、大きさを決定する。追跡領域Ｒが矩形の場合は、前記領域Ｒの頂点座標や領域Ｒを構成する頂点の重心位置で評価することができる。追跡対象の被写体の像が、前フレームと現フレームでさほど変化がない場合は、現フレームにおける追跡領域（矩形）の形状（例えば縦横の辺の長さの比）、大きさ（例えば縦横の辺の長さ）は変化せず、位置が変化する程度である。すなわち、追跡領域を現す図形（矩形）が、前フレーム位置から現フレーム位置に平行移動するものと考えられる。

しかし、一般的には被写体が遠ざかるなどして追跡対象の画像における大きさが変動することも考えられる。従って、追跡領域の形状を、良好な対応特徴点を含む最小の大きさ（凸包）にしてもよい。また対応特徴点の重心位置と、領域を表す図形の座標値の重心位置が一致するようにしてもよい。

次にＳｔｅｐ４０４において、良好な対応特徴点数がＮｔｈ以上であれば、前記良好な対応特徴点を現フレームの特徴点ＦＰとしてそのままＳｔｅｐ３０４にて記憶する。さもなければ、Ｓｔｅｐ３０３にて、現フレームの特徴点ＦＰを、新たに検出する。Ｓｔｅｐ３０３にて検出された新たな特徴点を現フレームの特徴点ＦＰとしてＳｔｅｐ３０４にて記憶する。その後、Ｓｔｅｐ６０２にて、Ｓｔｅｐ３０４にて記憶された現フレームの特徴点ＦＰから新たな追跡領域を算出し、現フレームの領域Ｒとして、記憶する。

一方、Ｓｔｅｐ５０２では、Ｓｔｅｐ５０１にて計算・記憶されたカラーヒストグラムの代表値を用いて、現フレーム内の、前フレームにおける領域Ｒの近傍で探索を行う。このとき、フレームの大きさが初期のものと変化している場合は、領域内のＨＳＶの画素数が異なるため、領域Ｒを初期フレームの領域Ｒと同一になるよう拡大縮小して計算してもよい。また、代表値がＨＳＶの中間値である場合は、そのまま領域Ｒの大きさを拡大縮小せずに探索してもよい。初期フレームからある程度フレーム数が増分している場合、被写体の形状や位置が変化していることが考えられるため、探索は、初期フレームではなく前フレームにおける領域Ｒから開始してよい。

Ｓｔｅｐ５０３にて、追跡対象が発見されたかどうかを判定し、発見された、すなわち、現フレームにおける色ヒストグラムの代表値が、現在記憶されているものと類似している、例えば、両者の差があらかじめ設定された閾値内であれば、見つかったと判定し、Ｓｔｅｐ５０４に進む。

Ｓｔｅｐ５０３にて、追跡対象が発見されない場合は、その旨を利用者の端末に通知する。この通知処理により、ユーザは、追跡精度が低下したことを、明示的に知ることができる。よって、例えば、監視システムでは、通常はコンピュータによる追跡処理を行い、追跡精度が低下したときには、通知を受けたユーザ（監視者）が追跡を行うというように、コンピュータとユーザとが相互補完的に追跡処理を行うことで、随時信頼性の高い追跡処理を実現できる。そして、Ｓｔｅｐ２０１に戻り、利用者からの領域の指定を受け付ける。この場合、例えばシーン全体が変化したり、被写体がフレームアウトするなどして特徴点追跡にも色ヒストグラムによる再発見にも失敗した場合などが考えられる。

Ｓｔｅｐ５０４では、前記新たに計算された色ヒストグラムの代表値を記憶し、Ｓｔｅｐ３０３に進む。

Ｓｔｅｐ００２は、例えば動画像の最終フレームまで処理が進行したり、あるいは利用者による終了指示の受付などにより、処理を終了するかどうかを判定し、継続する場合はＳｔｅｐ１０２に戻る。

以上説明した本発明は、以下のように発明の趣旨を逸脱しない範囲で広く変形実施することができる。

例えば、動物体追跡装置が追跡の対象とするための動画像は、単一のカメラによって撮影された単一の動画像（モノラルの動画像）としてもよいし、同一時刻に別々の位置から撮影された複数の動画像（ステレオの動画像）を扱ってもよい。そして、本実施形態は、同一の動画像に対して、色情報を用いる手法と特徴点の追跡を用いる手法を組み合わせることにより、モノラルの動画像においても、追跡精度を向上させることができる。

また、動物体追跡装置が追跡の対象とする動物体は、顔や人間のみならず、あらゆる被写体の追跡を扱う。さらに、動物体追跡装置は、カメラの動きや被写体に対して条件を課さないものであるので、汎用性が高い。

本発明の一実施形態に関する動物体追跡装置における基本的な構成を表す図である。 本発明の一実施形態に関する動物体追跡装置における基本的な追跡処理手順を表す図である。 本発明の一実施形態に関する動物体追跡装置における具体的な構成を表す図である。 本発明の一実施形態に関する動物体追跡装置における追跡処理の流れを表す図である。 動物体の追跡処理における色ヒストグラムによる被写体追跡の例を表した図である。Ｒ（ｔ）、Ｒ（ｔ＋１）はそれぞれフレームｔ、ｔ+１における追跡領域を表し、Ｒ１、Ｒ２、Ｒ３は領域を分割した例である。 動物体の追跡処理における特徴点による被写体の追跡の例を表した図である。Ｒ（ｔ）、Ｒ（ｔ＋１）はそれぞれフレームｔ、ｔ+１における追跡領域を表す。 動物体の追跡処理における部分的な隠蔽が生じる例を表した図である。手前の木の枝により、追跡対象である人物像が部分的に隠蔽されていることを示す。

符号の説明

１００ 画像入力手段
２００ 領域指定受付手段
３００ 特徴点追跡手段
４００ 追跡判定手段
５００ 色情報追跡手段
６００ 領域位置更新手段

Claims (8)

1. 動物体追跡装置が動画像中の追跡対象領域を追跡する動物体追跡方法であって、前記動物体追跡装置が、
   動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択して入力する画像入力手順と、前記前フレームの追跡対象領域を記憶手段から取得する領域指定受付手順と、
   前記前フレームの追跡対象領域と現フレームとからそれぞれ特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点として算出し、前記現フレームの特徴点に従って前記現フレームの追跡対象領域を算出する特徴点追跡手順と、
   前記対応特徴点から算出される数と、第１閾値とを比較することにより、特徴点による追跡対象領域の抽出処理または色情報による追跡対象領域の抽出処理のいずれかを実行すると判定する追跡判定手順と、
   前記色情報による追跡対象領域の抽出処理を行う判定に従って、前記前フレームの追跡対象領域と現フレームとからそれぞれ色情報を抽出し、その色情報に従って前記現フレームの追跡対象領域を算出する色情報追跡手順と、
   前記前フレームの追跡対象領域を、記憶手段に出力する領域位置更新手順と、
   を実行することを特徴とする動物体追跡方法。
2. 前記対応特徴点から算出される数は、前記動物体追跡装置が、前記前フレームの特徴点と前記現フレームの対応特徴点との位置の差分から各対応特徴点の速度および各対応特徴点の速度の代表速度を算出し、前記代表速度と差分の少ない速度となる対応特徴点を良好な特徴点とし、前記良好な特徴点の数とすることを特徴とする請求項１に記載の動物体追跡方法。
3. 前記動物体追跡装置は、前記良好な特徴点の数と、第２閾値とを比較することにより、前記良好な特徴点を基に前記現フレームの追跡対象領域を算出するか否かを判定することを特徴とする請求項２に記載の動物体追跡方法。
4. 前記動物体追跡装置は、前記色情報追跡手順が、前記現フレームの追跡対象領域の算出において失敗した場合には、利用者の端末に通知することを特徴とする請求項１ないし請求項３のいずれか１項に記載の動物体追跡方法。
5. 前記色情報追跡手順は、前記追跡対象領域の色の値の統計値を前記色情報とすることを特徴とする請求項１ないし請求項４のいずれか１項に記載の動物体追跡方法。
6. 請求項１ないし請求項５のいずれか１項に記載の動物体追跡方法をコンピュータに実行させるための動物体追跡プログラム。
7. 請求項６に記載された動物体追跡プログラムを記録したコンピュータ読み取り可能な記録媒体。
8. 動画像中の追跡対象領域を追跡する動物体追跡装置であって、前記動物体追跡装置は、演算処理を行う際に用いられる記憶領域としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備え、この演算処理装置は、
   動画像を構成するフレーム群から前記動画像における順序が前となる前フレームおよび順序が後となる現フレームを選択して入力する画像入力手段と、前記前フレームの追跡対象領域を記憶手段から取得する領域指定受付手段と、
   前記前フレームの追跡対象領域と現フレームとからそれぞれ特徴点を抽出し、前記前フレームの特徴点に対応する前記現フレームの特徴点を対応特徴点として算出し、前記現フレームの特徴点に従って前記現フレームの追跡対象領域を算出する特徴点追跡手段と、
   前記対応特徴点から算出される数と、第１閾値とを比較することにより、特徴点による追跡対象領域の抽出処理または色情報による追跡対象領域の抽出処理のいずれかを実行すると判定する追跡判定手段と、
   前記色情報による追跡対象領域の抽出処理を行う判定に従って、前記前フレームの追跡対象領域と現フレームとからそれぞれ色情報を抽出し、その色情報に従って前記現フレームの追跡対象領域を算出する色情報追跡手段と、
   前記前フレームの追跡対象領域を、記憶手段に出力する領域位置更新手段と、
   を含んで構成されることを特徴とする動物体追跡装置。