JP2017027602A - 対象追跡方法及び装置 - Google Patents

Abstract

【課題】対象追跡方法及び装置を提供する。
【解決手段】該方法は、被追跡対象の中から、真正面に位置し、運動が安定し、かつ持続的に出現する被追跡対象を高優先順位対象として選択し、高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を確実高優先順位対象として選択し、確実高優先順位対象を追跡する。
【選択図】図２

Description

本出願は画像処理、コンピュータ視覚分野に関し、より具体的には、対象追跡方法及び装置に関する。

運動する対象を基にした追跡は、コンピュータ視覚、デジタル映像と画像処理、およびパターン識別分野などにおいて、非常に重要で盛んに研究されている課題である。

運動する対象の追跡は、運動対象の検出を基に行われる。運動対象の検出技術は、既に数多くある。例えば、既存の運動対象検出方法の、アルゴリズムに従った基本原理は、フレーム間差分法、背景除去法、およびオプティカルフロー法の3種類に分けられる。運動対象の追跡とは、現在のフレーム中で、前に検出した対象の周囲の一定範囲内で、当該運動対象の検出を行うことであり、もし当該運動対象を検出すれば、当該運動対象を追跡したと考えることができる。

運動対象検出は、通常、カメラで撮影した連続フレーム画像、引いては二眼カメラで撮影した連続フレームのステレオ画像を基に行う。もしカメラを搭載した追跡者も運動している場合、運動対象の追跡は、例えばカメラを搭載した追跡者自身の運動の影響を受ける可能性がある。その他、もし複数の運動対象が存在する場合は、運動対象の追跡が、他の運動対象の遮蔽等の妨害を受ける可能性もある。

このため、早く、かつ正確に運動対象を追跡する技術が求められている。

本発明の一つの面により、被追跡対象の中から、真正面に位置し、運動が安定し、かつ持続的に出現する被追跡対象を高優先順位対象として選択するステップと、高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を確実高優先順位対象として選択するステップと、確実高優先順位対象を追跡するステップと、を含む、対象追跡方法を提供する。

本発明の別の面により、被追跡対象の中から、真正面に位置し、運動が安定し、かつ持続的に出現する被追跡対象を高優先順位対象として選択する高優先順位対象決定手段と、高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を確実高優先順位対象として選択する確実高優先順位対象決定手段と、確実高優先順位対象を追跡する追跡手段と、を含む、対象追跡装置を提供する。

本発明の別の面により、メモリーに連結する処理器、前記メモリーは指令を含み、それは前記処理器の作動時に、本発明の一つの面の方法を実施することを含む、対象追跡システムを提供する。

本技術を応用する場面の概念図を示した。 本発明の一実施例による対象追跡方法の概念的フローチャートを示した。 高優先順位対象を追跡する通用的追跡アルゴリズムのフローチャートを示した。 本発明の一実施例による対象追跡方法のステップ201の概念的プロセスを示した。 本発明の一実施例による対象追跡方法のステップ202の概念的プロセスを示した。 高優先順位対象間の共存情報例の概念図を示した。 本発明の別の一実施例による対象追跡装置の概念的ブロックチャートを示した。 本発明実施方式の実現に適したコンピュータシステム/サーバ例12のブロックチャートを示した。

現在、本発明の具体的実施例を詳細に参照して、添付図中に、本発明の例を示す。具体的実施例と結合して本発明を説明するとは言え、本発明を前記実施例に限定する考えではないことを理解するだろう。反対に、付記した請求項の限定する、本発明の精神および範囲内に含まれる変更、修正およびその等価物をカバーしたいと考えている。なお、ここに述べる方法とステップは全て、如何なる機能集積、あるいは機能配置によっても実現でき、かつ如何なる機能集積、あるいは機能配置も、物理的実体ないしロジック的実体、あるいは両者の組み合わせに実現され得ることである。

当業者に、本発明をより良く理解してもらうために、以下、添付図と具体的な実施方式を結合して、本発明を更に詳細に説明する。

なお、続いて紹介しようとする例は、ただの具体例に過ぎず、本発明の実施例が、必ず以下の具体的なステップ、数値、条件、データ、順序等々で行わなければならないと限定しているわけではないことである。当業者は、本明細書を通読することにより本発明の構想を運用し、本明細書中に提示していない更に多くの実施例を構成することができる。

図1は、本技術を応用する場面の概念図を示した。

S0で、被追跡対象ないし対象（図1右上の画像の示すような）を入力し、S1で、装置が優先順位に基づく対象追跡方法を適用し、S2で、装置が追跡結果（図1右下の画像中の長方形ブロックに示すような）を出力する。当該概念図中では、同時に、複数の被追跡対象を追跡する。

図2は、本発明の一実施例による対象追跡方法の概念的フローチャートを示した。

当該対象追跡方法は、被追跡対象の中から、真正面の、運動の安定した、かつ持続的に出現する被追跡対象を選択し高優先順位対象とするステップ201、高優先順位対象の中から、運動が安定的に持続し、かつ他の高優先順位対象の運動と一致する高優先順位対象を選択し確実高優先順位対象とするステップ202、確実高優先順位対象を追跡するステップ203を含む。

ここで、優先順位の定義に関しては多種多様なものがあり、様々な追跡方法および/または装置に様々な優先順位定義があり得る。本公開の方法および/または装置中においては、車載視覚の識別システムのアプリケーションを例にしており、例えば、道路場面での近傍車両、歩行者対象、あるいは真正面の、運動の安定的した、持続して多くのフレームに出現する車両対象を、高優先順位対象と見做すことができる。また、例えば、中遠方の距離の、運動が不安定な車両対象、あるいは遠距離の、遮蔽された対象、あるいは画面中に出現したばかりの対象は、非高優先順位対象と見做すことができる。

但し、真正面の、運動の安定的した、かつ持続的に出現する高優先順位対象は、時間の推移に連れて二度と安定的運動をしなくなり、および/または他の高優先順位対象の運動軌跡から逸脱し不確実高優先順位対象に変わる可能性がある。このため、このような不確実高優先順位対象は、その運動の不安定性とユニークさにより、安定的追跡対象とすることができない。時間の推移に連れても安定的運動を保持し、かつ他の高優先順位対象の運動軌跡と基本的に一致できる（例えば、相対距離、相対角度、および/または相対運動速度が基本的な一致を保持する）確実高優先順位対象は、もしこの種の確実高優先順位対象を追跡し続けるなら、安定した追跡結果を得ることができる。このため、本方法は、高優先順位対象ならびに確実優先順位対象を決定することにより、正確かつ安定的な追跡結果を取得することができる。

図3は、高優先順位対象を追跡する通用的追跡アルゴリズムのフローチャートを示した。

図3は、対象追跡に通用する通用的追跡アルゴリズムのフローチャートでもある。図3に示すように、ステップ301で、対象の履歴運動情報とその他の補助情報を利用して、新しいフレーム中に出現する可能性のある関心区域を予測し、ステップ302で、既存の対象テンプレートあるいはモデルを利用して、関心区域内で当該対象を検出し、ステップ303で、現在のフレームの検出結果を使用して対象モデルを更新する。当該対象追跡方法は、一つの通用的な、検出を基にした追跡方法のフローでもあり、高優先順位対象か、確実高優先順位対象か、はたまた非優先順位対象であるかに拘わらず、全て、当該フローを使用することができるが、勿論、対象追跡のフローはこれに限らない。

ここで、被追跡対象に行う追跡アルゴリズムは、現有の既知のアルゴリズム、例えば、フレーム間差分法、背景除去法、およびオプティカルフロー法等を採用することができるが、ここでは詳細な説明はしない。

図4は、本発明の一実施例による対象追跡方法のステップ201の概念的プロセスを示した。

当該実施例中、前記被追跡対象の中から、真正面の、運動の安定した、かつ持続して出現する被追跡対象を選択し高優先順位対象とするステップ201は、被追跡対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した2フレーム間での変化を計算するステップ2011、前記少なくとも一つの第一特徴の変化が、各自の所定閾値より小さい被追跡対象を決定して高優先順位対象とするステップ2012を含むことができる。

ここで、第一特徴には、空間位置、運動速度、追跡者との距離（即ち、追跡者の搭載カメラとの距離）、および/またはカメラの撮影した画像中の占拠区域（例えば、高く広い平面上の正面区域）等を含むことができるが、これらに限られるわけではなく、例えば、深度方向上の運動速度（即ち、前進速度）、深度方向上の遠近距離、高く広い平面上の位置（即ち、正面位置）等だけを含むこともできる。

その他、初期化した被追跡対象については、それを全て非高（あるいは低）優先順位対象と設定することができ、それらは新しい対象に属するので、それらの優先順位状態を分析する履歴データがない。連続したフレームの捕捉と追跡の断え間ない実行につれ、被追跡対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した（あるいは一つ置きの）二つのフレーム（あるいはより多くのフレーム）間の変化を分析することができ、もしこのような変化が比較的小さいなら、当該被追跡対象の位置、速度、距離、および/または占拠区域等は基本的に変化を生じない、即ち、比較的安定していると説明し、これにより、差し当たり、それらを高優先順位対象に選択することができる。

このように、本方法および/または装置は、リアルタイムの追跡結果により、高優先順位対象を評価し、高優先順位対象と非高優先順位対象間の状態を転換することができる。

なお、上記リアルタイムの追跡結果に基づき、第一特徴によりリアルタイムに高優先順位対象を選択する以外に、人為的に、ランダムに、あるいはあらかじめ自動設定して高優先順位対象を選択しても良い。ここでは一つ一つ説明しない。

図5は、本発明の一実施例による対象追跡方法のステップ202の概念的プロセスを示した。

当該実施例中、高優先順位対象の中から、運動を安定的に持続し、かつ他の高優先順位対象の運動と一致する高優先順位対象を選択して確実高優先順位対象とするステップ202は、高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数フレーム間での変化という第一変動性を決定するステップ2021、高優先順位対象と他の高優先順位対象との相対距離、相対角度、相対運動速度のうちの少なくとも一つの第二特徴の変化という第二変動性を決定するステップ2022、前記第一変動性と第二変動性のうちの少なくとも一つに基づき信頼度を決定し、前記第一変動性と第二変動性が小さいほど、信頼度は大きくなるステップ2023、信頼度が所定閾値より大きいか等しい高優先順位対象を保留して確実高優先順位対象とするステップ2024を含むことができる。

高優先順位対象の確実度がより高く、かつ高優先順位対象の結果を追跡者の搭載カメラの運動情報の推定に用いることができるので、更に進んで、他の優先順位対象の検出と追跡をサポートすることができる。

但し、高優先順位対象は、時間の推移につれて二度と安定的運動をしなくなり、および/または他の高優先順位対象の運動軌跡から逸脱し不確実な高優先順位対象に変わる可能性がある。このため、このような不確実高優先順位対象は、その運動の不安定性とユニークさにより、安定的追跡対象とすることができない。時間の推移につれても安定的運動を保持し、かつ他の高優先順位対象の運動軌跡と基本的に一致する（例えば、相対距離、相対角度、および/または相対運動速度が基本的な一致を保持する）確実高優先順位対象については、もしこの種の確実高優先順位対象を追跡し続けるなら、安定的追跡結果を得ることができる。

このため、ここで、自身の履歴情報（例えば、位置、速度、距離、占拠区域等のうちの少なくとも一つの第一特徴）と現在のフレームの対象との間の共存情報（例えば、他の対象との相対距離、相対角度、相対運動速度等のうちの少なくとも一つの第二特徴）に基づき、高優先順位対象の状態信頼度を計算することができる。

高優先順位対象の信頼度は、前に提示したように、自身の履歴時間域情報に基づくもの、および他の高優先順位対象との共存関係という空間域情報に基づくものという、二つの面で評価し計算することができる。即ち、自身の履歴情報には、位置、速度、距離、および/または占拠区域等の第一特徴を含むことができ、他の高優先順位対象との共存関係という空間域情報には、他の対象との相対距離、相対角度、および/または相対運動速度等の第二特徴を含むことができる。なお、ここでは主に、位置、速度、距離、および/または占拠区域等の第一特徴の変化を含む変動性、ならびに他の対象との相対距離、相対角度、および/または相対運動速度等の第二特徴の変化を含む変動性を考慮して、高優先順位対象の、履歴に基づく運動変化状況、ならびに他の対象との相対運動変化状況を推定する。

占拠区域を例にとり、当該高優先順位対象の第mフレームにおける、第m-1フレームの占拠区域に相対する変化をr(m)と仮定する。前述したように、占拠区域とは、例えば高く広い平面上の正面区域のことである。占拠区域の変化は、例えば、重畳率を用いて評価でき、重畳率の概念は、第mフレームの対象位置と第m-1フレームの対象位置の共有重畳部分が、対象全体に占める面積比率と定義することができ、重畳率が大きいほど、占拠区域の変化が小さくなる。例えば、ここで一つ一つ例は挙げないが、占拠区域の変化は、（1−重畳率）、あるいは1/重畳率、等々と定義できる。従って、履歴的連続フレーム序列（例えば、第nフレーム、第n-1フレーム……第2フレーム）中で、当該対象の占拠区域の変化の序列は、以下のように表示できる。

従って、自身の履歴情報に基づく第一信頼度P_confidence_selfは以下の公式で表示できる。

あるいは、

ここで、a, bは加重係数である。variance(R)はRの平方差である。式中、variance(R)あるいはmax(R)/mean(R)（公式(3)のmean(R)/max(R)の逆数）は、高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数フレーム間での変化という第一変動性を表すことができる。当該第一信頼度P_confidence_selfと当該第一変動性variance(R)あるいはmax(R)/mean(R)は反比例し、即ち、第一変動性が小さいほど、当該第一信頼度は大きくなる。例えば、公式(2)においては、variance(R)が小さいほど、exp(variance(R))は大きくなり、a*exp(variance(R))は大きくなる。また、例えば、公式(3)においては、max(R)/mean(R)が小さいほど、mean(R)/max(R)は大きくなり、b*mean(R)/max(R)は大きくなる。

なお、変動性の原理に基づき、上記公式（2）および（3）以外の公式を立てて第一特徴の変化の、連続した複数フレーム間の変動性（例えば、多次平方差等を利用）、ならびに変動性と反比例する信頼度を表すこともできる。

その他、ここでは、一つの第一特徴（例えば、占拠区域）だけを利用して第一信頼度を計算したが、他の第一特徴（例えば、位置、速度、距離等のうちの一つあるいは幾つか）を利用して信頼度を計算することもできる。例えば、高優先順位対象A、B、C、D各々の、一つ前のフレームでの位置との変化が、それぞれ10、9、12、50であれば、D対象が確実高優先順位対象でない可能性があり、A、B、Cが確実高優先順位対象である可能性がある。この他、各第一特徴について計算した各第一信頼度を、加算する、ウェイト付けする、平均を求めるなどして、総合信頼度を得ることなどもできる。

他の高優先順位対象との共存関係という空間域情報により計算した第二信頼度に関して、ここでの評価方法には、相対距離d、相対角度l、相対運動速度m、等々の第二特徴を含むことができる。ここで、相対距離は、二つの対象間の空間距離、ある特定方向上の距離等々を含むことができ、相対角度は、二つの対象の向きの間の夾角を含むことができる。相対運動速度には、二つの対象の、ある特定方向上の相対運動速度等々を含むことができる。これらの特徴の計算方法は全て、既知の方法を利用して実現することができ、ここでは詳述しない。

他の高優先順位対象との共存関係という空間域情報については、相関性 Cov(AB) を定義して、対象AとBの間の上記全ての共存関係の特徴（即ち、第二特徴）の変化の集合（当該集合には、相対距離d、相対角度l、相対運動速度m等々の第二特徴のうちの一つあるいは幾つかの変化を含むことができる）を表すことができる。

図6は、高優先順位対象間の共存情報例の概念図を示した。

図6に示すように、4つの高優先順位対象A、B、C、Dが存在すると仮定し、かつ全て、3個の第二特徴、相対距離d、相対角度l、相対運動速度mを考慮すると仮定する。例えば、対象Aと対象B間の相関性は、Cov(AB)が[80, 19, 104]に等しいと表すことができる。具体的には、これは、対象Aと対象B間の相対距離dの変化が80mm、対象Aと対象B間の相対角度lの変化が19 degree（度）、対象Aと対象B間の相対運動速度mの変化が104mmps（あるいはmm/s、ミリメートル/秒）であることを意味している。

同じように、対象Aと対象C間の相関性 Cov(AC)は[5, 3, 2]に等しく、対象Aと対象D間の相関性 Cov(AD)は[15, 0, 8]に等しく、対象Bと対象D間の相関性 Cov(BD)は[105, 13, 126]に等しく、対象Bと対象C間の相関性 Cov(BC)は[113, 15, 95]に等しく、対象Cと対象D間の相関性 Cov(CD)は[15, 10, 10]に等しい。

なお、具体的な計算時には、様々な特徴値を正規化して計算しやすくすることもできる。B対象を発見できる相関性特徴と、他のA、C、D対象の相関性特徴を比較することによる変化が顕著なので、Bの信頼度を比較的低く設定することができる。例えば、以下の公式を用いて、高優先順位対象間の相関性の信頼度を計算することができる。

P_confidence_cov(B)=k*exp(-mean(Cov(AB), Cov(BC), Cov(BD))/max(Cov(AB), Cov(BC), Cov(CD), Cov(AC), Cov(AD), Cov(BD))) 公式 (4)
あるいは簡単に書いて、
P_confidence_cov(B)=k*exp(-mean(COV(BX))/max(COV(XX))) 公式(5)
ここでのkは加重係数である。XはA、B、C、Dのうちの任意の一つを表す。

同じ理屈で、-mean(Cov(AB), Cov(BC), Cov(BD))/max(Cov(AB), Cov(BC), Cov(CD), Cov(AC), Cov(AD), Cov(BD))あるいは-mean(COV(BX))/max(COV(XX))が、高優先順位対象と他の高優先順位対象の、相対距離d、相対角度l、相対運動速度m等々のうちの少なくとも一つの第二特徴の変化という第二変動性を表すことができる。当該第二信頼度P_confidence_cov(B)は当該第二変動性と反比例し、即ち、第二変動性が小さいほど、当該第二信頼度は大きくなる。例えば、公式（4）において、-mean(Cov(AB), Cov(BC), Cov(BD))/max(Cov(AB), Cov(BC), Cov(CD), Cov(AC), Cov(AD), Cov(BD))が小さいほど、exp(-mean(Cov(AB), Cov(BC), Cov(BD))/max(Cov(AB), Cov(BC), Cov(CD), Cov(AC), Cov(AD), Cov(BD)))は大きくなり、第二信頼度は大きくなる。また、例えば、公式（5）において、-mean(COV(BX))/max(COV(XX))が小さいほど、exp(-mean(COV(BX))/max(COV(XX)))は大きくなり、第二信頼度は大きくなる。

なお、変動性の原理に基づき、上記公式（4）および（5）以外の公式を立てて、第二特徴の変化という変動性（例えば、平方差等を利用）、ならびに変動性と反比例する信頼度を表すこともできる。

その他、ここでは、3個の第二特徴を利用して第二信頼度を計算したが、3個より少ない、あるいは3個より多い第二特徴を利用して、第二信頼度を計算することもできる。

その他、第一信頼度と第二信頼度については、両者を総合して（例えば、両者の和、加重和、平均等により総信頼度を求める）確実高優先順位対象を判断することもできれば、そのうちの一つの信頼度だけで確実優先順位を判断することもできる。即ち、ここにおいて、信頼度は、第一信頼度、第二信頼度、および/または第一信頼度と第二信頼度の総合を含むことができる。この他、信頼度の概念を考慮せず、第一特徴と第二特徴の変動性だけを考慮して、直接、確実高優先順位対象を判断することもできる。ここでは、一つ一つの叙述は展開しない。

なお、具体的な表現方式は、上記に提示した公式に局限されず、同時に、具体的に使用する評価特徴も、上記に提示した特徴に局限されない。

その後、計算して取得した対象優先順位の状態信頼度をもとに、所定閾値により、状態間の転換を行う。例えば、高信頼度対象Aの取得信頼度を80とし、設定した、高優先順位対象を保持する信頼度閾値を50より大きいか等しいとすると、当該対象Aは、確実高優先順位対象として、引き続き高優先順位対象の状態に保留され追跡を行う。

信頼度が所定閾値より小さい高優先順位対象は放棄され、非高優先順位対象となる。

なお、非高優先順位対象についても、その状態の信頼度を計算することができ、ここでは、対象自身の履歴情報だけを利用して、公式（2）（3）のように示すことができる。即ち、高優先順位対象を除く非高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数フレーム間の変化という第一変動性を決定し、前記第一変動性をもとに信頼度を決定し、前記第一変動性が小さいほど、信頼度は大きくなり、信頼度が所定閾値より高い非高優先順位対象を高優先順位対象とする。このため、非高優先順位対象の状態信頼度が所定閾値より高い時は、それを高優先順位対象に引き上げてもよい。このように、リアルタイムで被追跡対象の優先順位状態ならびに信頼度を知り、高優先順位対象と非高優先順位対象を相応しい状況に転換させることができる。状態転換後、全ての追跡対象の追跡結果を出力し、最新の優先順位状態を使って新しいフレームの対象追跡を新たに始めることができる。

このように、追跡装置を初期化した後、追跡装置に入ってきたばかりの全ての対象は開始当初、全て低優先順位対象（即ち、非高優先順位対象）に設定され、その後、検出結果の観察ならびに取得した状態信頼度により、徐々にその優先順位状態を転換することができる。低優先順位対象は、高優先順位対象に転換する可能性があり、高優先順位対象も、信頼度が低すぎることにより、低優先順位対象に転換される可能性がある。このように、追跡の絶え間ない実行につれ、絶え間なく高優先順位対象を更新し、更新した高優先順位対象を利用してより正確な追跡を行うことができる。

一つの実施例では、どれが確実高優先順位対象か分かった後、確実高優先順位対象の運動状況をもとに、追跡者の運動状況を推定し、追跡者の運動状況を利用して、確実高優先順位対象以外の被追跡対象を追跡することもできる。

このように、確実高優先順位対象の追跡結果により、追跡者の現在フレームでのカメラの運動情報を推定することができる。ここでは、オプティカルフロー法によるポイントマッピング、あるいは簡単なミーンシフト計算等の方法を用いて、フレーム間運動情報を計算することができる。フレーム間運動情報を取得すると、他の優先順位対象をより正確に予測、検出し、これにより追跡性能を最適化し高めるのに有利である。例えば、もし追跡した確実な高優先順位対象が全て揃って右に回転した（即ち、一つ前のフレームの被追跡対象の右側に、現在のフレームの被追跡対象を検出した）ならば、追跡者の現在フレームのカメラが、追跡対象の運動に対して左に回転した可能性が推定でき、このようにして、他の対象を追跡する時に、一つ前のフレームの被追跡対象の右側に、現在のフレームの被追跡対象を検出することもできる。このようにして、他の優先順位対象をより正確に予測、検出し、これにより、全ての対象の追跡性能を最適化し高めることができる。

なお、どれが確実高優先順位対象か分かった後に、他の調整と操作を行うこともでき、それには確実高優先順位対象を除く被追跡対象の追跡よりも、確実高優先順位対象の追跡の方により多くのシステムリソースを割り当てることが含まれるが、これに限らない。このように、システムリソースを合理的に割り当て、これにより更に確実な高優先順位対象をより確実に追跡し、引き続き、その追跡情報によりシステムリソースを増やさない、引いては減少させる場合でも、更に他の対象の追跡性能を最適化し高めるという目的を達成する。

なお、他の優先順位対象を追跡する方法は、高優先順位対象の追跡に類似しており、図3に示す検出による追跡方法のような、常用的追跡検出方法を用いることができることである。その後、現在フレームの対象追跡結果を利用する時に、全ての対象の状態優先順位を評価する。このように、追跡を行うにつれ、各対象の高優先順位状態が絶えず更新され、確実高優先順位対象ならびに他の対象の追跡性能も、絶えず最適化し高められる。

図7は、本発明の別の一実施例による対象追跡装置700の概念的ブロックチャートを示した。

図7に示す対象追跡装置700は、被追跡対象の中から、真正面の、安定的に運動し、かつ持続して出現する被追跡対象を選択し、高優先順位対象とするために配置される高優先順位対象決定部701、高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を選択し、確実高優先順位対象とするために配置される確実高優先順位対象決定部702、確実高優先順位対象を追跡するために配置される追跡部703を含む。

このため、本装置は、高優先順位対象、ならびに確実優先順位対象の決定により、正確かつ安定した追跡結果を取得することができる。

一つの実施例で、前記高優先順位対象決定部701は、被追跡対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した二つのフレーム間の変化を計算するために配置し、前記少なくとも一つの第一特徴の変化が各自の所定閾値より小さい被追跡対象を、高優先順位対象として決定することができる。

ここで、第一特徴は、空間位置、運動速度、追跡者との距離（即ち、追跡者の搭載カメラとの距離）、および/またはカメラの撮影した画像中の占拠区域（例えば、高く広い平面上の正面区域）等を含むことができるが、これらに限られるわけではなく、例えば、深度方向上の運動速度（即ち、前進速度）、深度方向上の遠近距離、高く広い平面上での位置（即ち、正面位置）等だけを含むこともできる。

その他、初期化した被追跡対象については、それを全て非高（あるいは低）優先順位対象と設定することができ、それらは新しい対象に属するので、それらの優先順位状態を分析する履歴データがない。連続したフレームの捕獲と追跡の断え間ない実行につれ、被追跡対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した（あるいは一つ置きの）二つのフレーム（あるいはより多くのフレーム）間の変化を分析することができ、もしこのような変化が比較的小さければ、当該被追跡対象の位置、速度、距離、および/または占拠区域等は基本的に変化を生じていない、即ち、比較的安定していると説明し、これにより、差し当たり、それらを高優先順位対象に選択することができる。

一つの実施例で、前記確実高優先順位対象決定部702は、高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数フレーム間での変化という第一変動性を決定し、高優先順位対象と他の高優先順位対象との相対距離、相対角度、相対運動速度のうちの少なくとも一つの第二特徴の変化という第二変動性を決定するために配置することができ、前記第一変動性と第二変動性のうちの少なくとも一つに基づき信頼度を決定し、前記第一変動性と第二変動性が小さいほど、信頼度は大きくなり、信頼度が所定の閾値より大きいか等しい高優先順位対象を保留して確実高優先順位対象とする。

高優先順位対象は、時間の推移につれて、二度と安定的運動をしなくなり、および/または他の高優先順位対象の運動軌跡から逸脱し不確実な高優先順位対象に変わる可能性がある。このため、このような不確実な高優先順位対象は、その運動の不安定性とユニークさにより、安定的追跡対象とすることができない。時間の推移につれても安定的運動を保持し、かつ他の高優先順位対象の運動軌跡と基本的に一致する（例えば、相対距離、相対角度、および/または相対運動速度が基本的な一致を保持する）確実高優先順位対象は、もしこの種の確実高優先順位対象を追跡し続けるなら、安定的追跡結果を得ることができる。

このため、ここで、自身の履歴情報（例えば、位置、速度、距離、占拠区域等のうちの少なくとも一つの第一特徴）と現在のフレームの対象間の共存情報（例えば、他の対象との相対距離、相対角度、相対運動速度等のうちの少なくとも一つの第二特徴）に基づき、高優先順位対象の状態信頼度を計算することができる。

一つの実施例で、高優先順位対象決定部701は、高優先順位対象を除く非高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数フレーム間での変化という第一変動性を決定し、前記第一変動性に基づき信頼度を決定するためにも配置することができ、前記第一変動性が小さいほど、信頼度は大きくなり、信頼度が所定閾値より大きいか等しい非高優先順位対象を高優先順位対象とする。

一つの実施例で、高優先順位対象決定部701は、信頼度が所定閾値より小さい高優先順位対象を、非高優先順位対象とするためにも配置することができる。

このように、本装置は、リアルタイムの追跡結果により、高優先順位対象が確実であるか否かを評価し、高優先順位対象と非高優先順位間の状態転換を行うことができる。

一つの実施例で、追跡部703は、確実高優先順位対象の運動状況をもとに、追跡者の運動状況を推定するためにも配置され、追跡者の運動状況を利用して、確実高優先順位対象以外の被追跡対象を追跡することができる。

このように、追跡部を初期化した後、追跡部に入ってきたばかりの全ての対象は開始当初、全て低優先順位対象（即ち、非高優先順位対象）に設定され、その後、検出結果の観察、ならびに取得した状態信頼度により、徐々にその優先順位状態を転換することができる。低優先順位対象は、高優先順位対象に転換する可能性があり、高優先順位対象も信頼度が低すぎることにより、低優先順位対象に転換される可能性がある。このように、追跡の絶え間ない実行につれ、絶え間なく高優先順位対象を更新し、更新した高優先順位対象を利用してより正確な追跡を行うことができる。

一つの実施例では、確実高優先順位対象を除く被追跡対象の追跡よりも、確実高優先順位対象の追跡の方により多くのシステムリソースを割り当てる。

このように、システムリソースを合理的に割り当て、これにより更に確実な高優先順位対象をより確実に追跡し、システムリソースを増やさない、むしろ減らす状況でも、引き続きその追跡情報により、他の対象の追跡性能をより最適化し高めるという目的を達成する。

図8は、本発明実施方式の実現に適したコンピュータシステム/サーバ例12のブロックチャートを示した。図8に示すコンピュータシステム/サーバ12はただの例に過ぎず、本発明実施例の機能と使用範囲に如何なる限定も持ち込んではならない。

図8に示すように、コンピュータシステム/サーバ12は、コンピュータ装置に通用する形式で表現されている。コンピュータシステム/サーバ12のモジュールは、一つあるいは複数の処理器あるいは処理ユニット、あるいはマイクロ・プロセッサー16、メモリー28、様々なモジュールを接続するバス18を含むことができるが、これに限らない。

バス18は、メモリーバスあるいはメモリーコントローラ、外部バス、アクセラレーテッド グラフィックス ポート、処理器、あるいは、多種のバス構造中の任意のバス構造を使用するローカルバスを含むことができる。

コンピュータシステム/サーバ12は、典型的に多種のコンピュータシステム読み取り可能媒体を含む。これらの媒体は、コンピュータシステム/サーバ12によってアクセスされ得る如何なる入手可能な媒体でもよく、揮発性および非揮発性媒体、アンインストール可およびアンインストール不可の媒体を含む。

システムメモリー28は、揮発性メモリー形式のコンピュータシステム読み取り可能媒体、例えば、ランダムアクセスメモリー（RAM）30および/またはキャッシュDRAM32を含むことができる。コンピュータシステム/サーバ12は、更に、その他のアンインストール可/アンインストール不可の、揮発性/非揮発性コンピュータシステムのメモリー媒体を含むことができる。図8には表示していないが、移動可能な非揮発性マグネットディスク（例えば「フロッピー・ディスク」）への読み取り、書き込みに用いるマグネットディスクドライバ、ならびに移動可能な非揮発性オプティカルディスク（例えば、CD-ROM、DVD-ROM、あるいはその他のオプティカル媒体）に読み取り、書き込みをするオプティカルドライバを提供することができる。これらの場合、各ドライバは、一つあるいは複数のインターフェイスにより、バス18と接続することができる。メモリー28は、少なくとも一つの指令を含み、処理器の実行時に、本発明の各実施例の方法および/または機能を実施することができる。

一組（少なくとも一つ）のプログラミングモジュール42を有するプログラミング/ユーティリティ40は、例えばメモリー28の中に保存することもでき、このようなプログラミングモジュール42は、操作システム、一つあるいは複数のアプリケーションプログラム、その他のプログラミングモジュール、ならびにプログラミングデータを含むが、これらに限らず、これらの例における各々の一つ、あるいはある組合せの中で、ネットワーク環境の実現を含むことができる。プログラミングモジュール42は、通常、本発明の説明する実施例の中の機能および/または方法を実行する。

コンピュータシステム/サーバ12は、一つあるいは複数の外部デバイス14（例えば、キーボード、ポインティングデバイス、ディスプレー24等）とも通信でき、一つあるいは複数の、ユーザーに当該コンピュータシステム/サーバ12とのやり取りを行わせるデバイスとも通信でき、ならびに/あるいは当該コンピュータシステム/サーバ12を、一つあるいは複数の他のコンピュータ・デバイスと通信させる如何なるデバイス（例えば、ネットワークカード、モデム等々）とも通信できる。この種の通信は、入力/出力（I/O）インターフェイス22を通じて行う。また、コンピュータシステム／サーバ12は、ネットワークアダプタ20により、一つあるいは複数のネットワーク（例えば、ローカルエリアネットワーク（LAN）、広域ネットワーク（WAN）および/またはインターネットのようなパブリックネットワーク）とも通信することができる。

明確にすべきことは、図中には示していないが、コンピュータシステム／サーバ12と結合して、他のハードウェアおよび/あるいはソフトウェア・モジュールを使用できることで、マイクロコード、デバイスドライバ、冗長処理ユニット、ディスクアレイ、RAIDシステム、磁気テープドライバ、ならびにデータバックアップメモリーシステム等を含むことができるが、これらに限らない。

なお、上述した具体的実施例は、ただの例に過ぎず非限定的であり、当業者は、本発明の構想をもとに、上記で別々に説明した各実施例から、幾つかのステップや装置を合併し組合せ、本発明の効果を実現することができ、この合併や組合せによる実施例も本発明に含まれるものであるが、ここで一つ一つこれらの合併や組合せについて述べることはしない。

なお、本公開で提示した長所、メリット、効果等はただの例に過ぎず、非限定的であり、これらの長所、メリット、効果等は、本発明の各実施例が必ず具備しなければならないものと考えてはならないことである。その他、上記公開の具体的細部は、例示の働きと理解しやすい働きのためのもので、非限定的であり、上記細部は、本発明が必ず上記の具体的細部によって実現しなければならないと限定するものではない。

本出願で言及した部材、装置、デバイス、システムのブロックチャートは、ただの例に過ぎず、また、必ずブロックチャートに示された方式で接続、アレンジ、配置しなければならないと要求し、あるいは暗示する意図はない。当業者なら知り得るように、任意の方式でこれらの部材、装置、デバイス、システムを接続、アレンジ、配置することができる。例えば、「含む」、「包含する」、「有する」等々の言葉はオープンな意味の言葉で、「含むがこれに限らない」ことを指し、互いに置き換えて使用できる。ここで使用する言葉、「あるいは」と「及び」は「及び/または」の言葉を指し、前後の文から明らかにこれと違うことを指していない限り、互いに置き換えて使用できる。ここで使用する言葉、「例えば」は「例えば、しかしこれに限らない」というフレーズを指し、互いに置き換えて使用できる。

本公開のステップ、フロー図ならびに以上の方法や説明はただの例に過ぎず、必ず提示された順序で各実施例のステップを行わなければならないと要求し、あるいは暗示する意図はない。当業者なら知り得るように、任意の順序で以上の実施例のステップの順序を行うことができる。例えば、「その後」、「それから」、「続いて」等々の言葉は、ステップの順序を限定する意図はなく、これらの言葉は、ただ読者にこれらの方法の説明を通読させるために用いているだけである。この他、例えば冠詞、「一つの」、「一」あるいは「当該」の使用は、単数的要素の如何なる引用についても、当該要素を単数に限定するものと解釈されてはならない。

その他、本文中の各実施例におけるステップや装置は、決してある実施例での実行に限定されるだけではなく、事実上、本発明の概念により本文中の各実施例中の、関係する一部のステップ及び一部の装置を結合して新しい実施例を構想することができるが、これらの新しい実施例も本発明の範囲内に含まれる。

以上に述べた方法の各操作は、相応する機能を果たすことのできる如何なる適当な手段によっても行うことができる。当該手段には、各種ハードウェアおよび/またはソフトウェアの組合せ、および/またはモジュールを含むことができ、ハードウェアの電気回路、専用集積回路（ASIC）あるいはプロセッサーを含むがこれに限らない。

ここで述べた機能を実行するために設計された通用的プロセッサー、デジタル信号処理器（DSP）、ASIC、現場書き換え可能ゲートアレー（FPGA）、あるいは他のプログラム可能半導体デバイス（PLD）、ディスクリート・ゲート、あるいはトランジスター・ロジック、ディスクリート・ハードウェア部材、あるいはその任意の組合せを利用して、前記各例のロジック集積、モジュールや電気回路を実現し、あるいは実行することができる。通用プロセッサーはマイクロ・プロセッサーで良いが、代用として、当該プロセッサーは商業的に取得できる如何なるプロセッサー、制御器、マイクロ制御器、あるいはステートマシーンでも良い。プロセッサーはコンピュータ・デバイスの組合せ、例えば、DSPとマイクロ・プロセッサーの組合せ、複数のマイクロ・プロセッサー、DSP心臓部と協同する一つあるいは複数のマイクロ・プロセッサー、あるいはこのような他の如何なる配置にも実現することができる。

本公開と結合して説明した方法あるいはアルゴリズムのステップは、直接、ハードウェア、プロセッサーの実行するソフトウェア・モジュール、あるいはその二つの組合せに当てはめることができる。ソフトウェア・モジュールは、如何なる形式の有形記憶媒体にも存在することができる。使用できる記憶媒体の例には、随時アクセスメモリー（RAM）、読み取り専用メモリー（ROM）、フラッシュ・メモリー、EPROMメモリー、EEPROMメモリー、一時記憶装置、ハードディスク、リムーバブル・ディスク、CD-ROM等を含む。記憶媒体は、プロセッサーと連結し、当該プロセッサーが当該記憶媒体から情報を読み取り、そして当該記憶媒体に情報を書き入れられるようにすることができる。代用方式で、記憶媒体はプロセッサーと一体化することができる。ソフトウェア・モジュールは単体のコマンドあるいは複数のコマンドで良く、幾つかの異なるコード上で、異なるプログラム間、ならびに複数の記憶媒体に跨って分布することができる。

ここで公開する方法は、前記方法を実現するのに用いる一つあるいは複数の動作を含む。方法及び/または動作は相互交換できるが、請求項の範囲を外れることはない。言い換えれば、動作の具体的順序を指定している場合を除いて、具体的動作の順序及び/または使用を変更できるか否かによって、請求項の範囲を外れることはない。

前記の機能は、ハードウェア、ソフトウェア、ファームウェア、あるいはその任意の組合せにより実現できる。ソフトウェアにより実現する場合、機能は一つあるいは複数のコマンドとして、適切なコンピュータ読み取り可能媒体に保存される。記憶媒体は、コンピュータのアクセスできる如何なる使用可能な適切な媒体でも良い。このようなコンピュータ読み取り可能媒体には、RAM、ROM、EEPROM、CD-ROM、あるいはその他の光ディスク・メモリー、磁気ディスク・メモリー、あるいは他の磁気メモリー部材、あるいは携帯あるいはメモリー・コマンド、あるいはデータ構造方式の、希望するプログラム・コードに用いることができ、かつコンピュータがアクセスできる他の如何なる適切な媒体も含むことができるが、例のとおりこれらに限定されない。ここで使用するような、ディスク（disk）やディスケット（disc）には、コンパクト・ディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル・バーサタイル・ディスク（DVD）、フロッピー・ディスク、ブルーレイを含み、そのうち（磁気）ディスクは、通常、マグネットでデータを再現し、（光）ディスクはレーザーを利用して光学的にデータを再現する。

これによって、コンピュータ・プログラム製品は、ここに提示する操作を行う。例えば、このようなコンピュータ・プログラム製品は、有形メモリー（及び/またはコード）をもち、その上で指令するコンピュータ読み取り可能有形媒体であり、当該コマンドは一つあるいは複数のプロセッサーが実行して、ここで述べる操作を行う。コンピュータ・プログラム製品には包装材料を含むことができる。

ソフトウェアあるいはコマンドは、伝送媒体を通して伝送することもできる。例えば、同軸ケーブル、光ファイバー光ケーブル、ダブルリッジ線、デジタル加入者線（DSL）などが使用でき、或あるいは、例えば、赤外線、ワイヤレスないしマイクロウェーブの無線技術による伝送媒体が、ウェブサイト、サーバ、あるいは他の遠隔先からソフトウェアを伝送する。

この他、ここで述べた方法と技術を実行するのに用いるモジュールおよび/または他の適当な手段は、適宜、ユーザー端末及び/またはベース・ステーションからのダウンロード、及び/または他の方式により取得できる。例えば、このようなデバイスは、サーバに接続し、ここに述べる方法を実行するのに用いる手段の伝送を促進することができる。あるいは、ここで述べる各種方法は、記憶部材（例えばRAM、ROM、例えばCDあるいはフロッピー・ディスク等の物理的記憶媒体）を通して提供され、ユーザー端末、あるいはキーステーションが当該装置と接続し、あるいは当該装置に記憶部材を提供する時に、各種方法を取得することができるようにする。この他、ここで述べる方法や技術を、装置に提供するのに用いる他の如何なる適当な技術も利用できる。

他の例や実現方式は、本公開、及び添付した請求項の範囲と精神の内にある。例えば、ソフトウェアの本質により、以上に述べた機能は、プロセッサー、ハードウェア、ファームウェア、ハードワイア、あるいはこれらの任意の組合せの実行するソフトウェアを使用して実現できる。機能を実現する特徴は、物理的に各位置にもあり、機能の一部が異なる物理的位置で実現できるように分配されることを含む。かつ、例えばここで使用されるように、請求項での使用を含み、「少なくとも一つ」で始まる項目の列挙中で使用する「あるいは」は、分離した列挙を指示しており、例えば「A、BあるいはCのうち少なくとも一つ」の列挙は、AあるいはBあるいはC、あるいはABあるいはACあるいはBC、あるいはABC（即ちAとBとC）を意味している。この他、「例示する」の言葉遣いは、説明する例が優先的である、あるいは他の例に比べより良いということを意味してはいない。

添附した請求項の定義する指導的技術から外れることなく、ここに述べる技術の各種変更、代替、更改を行うことができる。この他、本出願の請求項の範囲は、以上述べた処理、機器、製造、イベントの組成、手段、方法、及び動作の具体面に限らない。ここで述べたことに相応する面において、基本的に同じ機能を実行し、あるいは基本的に同じ結果を実現する、現在存在する、あるいは暫く後に開発される処理、機器、製造、イベントの組成、手段、方法或あるいは動作を利用することができる。このため、添付した請求項は、その範囲内でのこのような処理、機器、製造、イベントの組成、手段、方法あるいは動作を含んでいる。

提案の公開した面における以上の説明は、本分野の如何なる技術者にも本発明を行い、あるいは使用できるようにさせるものである。これらの面に対する各種修正も、当業者にとっては極めて見やすいものであり、ここで定義された一般原理は、他の面に応用しても本発明の範囲から外れるものではない。このため、本発明はここに示した面に限定する意図はなく、ここに公開した原理と新規的な特徴に一致する最も広い範囲に従うこととなる。

例示及び説明の目的のため、以上の説明を提示した。この他、この説明は本発明の実施例をこの出願の形式に制限することを意図していない。以上、既に複数の例示と実施例を論じたが、当業者は、それらの変形、修正、変更、添加およびサブ組合せを認識することができる。

Claims (10)

1. 被追跡対象の中から、真正面に位置し、運動が安定し、かつ持続的に出現する被追跡対象を高優先順位対象として選択するステップと、
   高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を確実高優先順位対象として選択するステップと、
   確実高優先順位対象を追跡するステップと、を含む、対象追跡方法。
2. 前記被追跡対象の中から、真正面に位置し、運動が安定し、かつ持続的に出現する被追跡対象を高優先順位対象として選択するステップは、
   被追跡対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した２つのフレーム間での変化を計算するステップと、
   前記少なくとも一つの第一特徴の変化が各自の所定閾値より小さい被追跡対象を高優先順位対象として決定するステップと、を含む、請求項１に記載の方法。
3. 前記高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を確実高優先順位対象として選択するステップは、
   高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数のフレーム間での変化の第一変動性を決定するステップと、
   高優先順位対象と他の高優先順位対象との相対距離、相対角度、相対運動速度のうちの少なくとも一つの第二特徴の変化の第二変動性を決定するステップと、
   前記第一変動性と前記第二変動性のうちの少なくとも一つに基づき信頼度を決定するステップであって、前記第一変動性と前記第二変動性が小さいほど、信頼度が大きくなる、ステップと、
   信頼度が所定閾値以上の高優先順位対象を確実高優先順位対象として保留するステップと、を含む、請求項１に記載の方法。
4. 高優先順位対象以外の非高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数のフレーム間の変化の第一変動性を決定するステップと、
   前記第一変動性に基づいて信頼度を決定するステップであって、前記第一変動性が小さいほど、信頼度が大きい、ステップと、
   信頼度が所定閾値以上の非高優先順位対象を高優先順位対象とするステップと、をさらに含む、請求項１に記載の方法。
5. 信頼度が所定閾値より小さい高優先順位対象を非高優先順位対象とするステップ、をさらに含む、請求項３又は４に記載の方法。
6. 確実高優先順位対象の運動状況に基づいて、追跡者の運動状況を推定するステップと、
   追跡者の運動状況を利用して、確実高優先順位対象以外の被追跡対象を追跡するステップと、をさらに含む、請求項１に記載の方法。
7. 確実高優先順位対象以外の被追跡対象の追跡に比べて、確実高優先順位対象の追跡により多くのシステムリソースを割り当てる、請求項１に記載の方法。
8. 被追跡対象の中から、真正面に位置し、運動が安定し、かつ持続的に出現する被追跡対象を高優先順位対象として選択する高優先順位対象決定手段と、
   高優先順位対象の中から、運動が持続的に安定し、かつ他の高優先順位対象の運動と一致する高優先順位対象を確実高優先順位対象として選択する確実高優先順位対象決定手段と、
   確実高優先順位対象を追跡する追跡手段と、を含む、対象追跡装置。
9. 前記高優先順位対象決定手段は、
   被追跡対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した２つのフレーム間の変化を計算し、
   前記少なくとも一つの第一特徴の変化が各自の所定閾値より小さい被追跡対象を高優先順位対象として決定する、請求項８に記載の装置。
10. 前記確実高優先順位対象決定手段は、
    高優先順位対象の位置、速度、距離、占拠区域のうちの少なくとも一つの第一特徴の、連続した複数のフレーム間での変化の第一変動性を決定し、
    高優先順位対象と他の高優先順位対象との相対距離、相対角度、相対運動速度のうちの少なくとも一つの第二特徴の変化の第二変動性を決定し、
    前記第一変動性と前記第二変動性のうちの少なくとも一つに基づき信頼度を決定し、前記第一変動性と前記第二変動性が小さいほど、信頼度が大きくなり、
    信頼度が所定の閾値以上の高優先順位対象を確実高優先順位対象として保留する、請求項８に記載の装置。

Images