JP2017522647A - 背景追跡を介する物体追跡及びセグメント化の方法及び装置 - Google Patents

Abstract

物体を追跡する方法は、まず、現在フレームにおいて物体（１２）を確立することにより開始される。その後、現在フレームにおいて物体を含む背景領域（２０２）が確立される。次に、次のフレームでの物体（１２）の位置が推定される。次に、背景領域（２０２）の伝搬が特定される。最後に、物体は、背景領域の伝搬に基づいてその背景からセグメント化され、それにより、フレームからフレームへの物体の追跡を可能にする。

Description

相互参照
本願は、２０１４年５月２８日に出願された欧州特許出願第１４３０５７９９．０号に対する優先権を主張するものである。

技術分野
本発明は、物体を追跡し、背景から物体をセグメント化することに関する。

背景技術
物体の追跡は、連続したインスタンスにおいて物体の位置を特定することを伴い、物体は、最初のフレームにおいて手動で定義されるか、又は物体検出器の出力として定義される。一般に、物体追跡は、物体の１つ又は複数の独特な特徴（動き、色、形状、外観）を抽出し、そのような特徴的特徴を使用して、現在の画像フレームでの物体の位置に基づいて、次の画像フレームでの物体の位置を推定することに依存する。例えば、最適フィルタリング、点追跡、検出による追跡、オプティカルフロー、及び背景差分を含め、物体を追跡する幾つかの技法が存在している。

前景（追跡される物体）及び背景をモデリングし、この情報を使用して、背景に属する可能性が最も高い推定物体位置を拒絶することにより利点を得る物体追跡を改良する提案が示唆されてきた。そのようなモデリングの基本手法は、例えば、最初のフレームで学習された色分布を使用して背景外観のモデルを抽出し、一連の画像に沿ってそのような分布を更新することを伴う。しかし、そのようなモデリングでは、物体の外観を正しく学習するために、背景及び物体についての事前知識を必要とする。このため、前景／背景セグメント化は、最近の最も性能がよい追跡デバイスでの主要構成要素になった。さらに、物体と背景とのセグメント化の初期化が正しい場合であっても、今日のモデルは多くの場合、物体を厳密に追跡するためには十分には物体と背景とを区別しない。最後に、物体の完全若しくは例えば、部分的な遮蔽及び回転、照明、影、及び／又は自己遮蔽から生じる物体の外観変化は、成功したモデル適合戦略の確立の難しさを増大させる。

したがって、従来技術の上記欠点を解消する物体追跡技法が必要とされている。

手短に言えば、本原理によれば、物体を追跡する方法は、まず、現在フレームにおいて物体（１２）を確立することにより開始される。その後、現在フレームにおいて物体を含む背景領域（２０２）が確立される。次に、次のフレームでの物体（１２）の位置が推定される。次に、背景領域（２０２）の伝搬が特定される。最後に、物体は、背景領域の伝搬に基づいてその背景からセグメント化され、それにより、フレームからフレームへの物体の追跡を可能にする。

本原理による物体追跡システムのブロック概略図を示す。 図１のシステムにより追跡される物体の画面図；背景を示す。 図２に示される物体を追跡する図１のシステムにより実行される方法のステップをフローチャート形態で示す。 フレームからフレームへの物体の移動を示す連続画像フレームを示す。 フレームからフレームへの物体の移動を示す連続画像フレームを示す。 フレームからフレームへの物体の移動を示す連続画像フレームを示す。 フレームからフレームへの物体の移動を示す連続画像フレームを示す。 画像背景からセグメント化された追跡画像を示す、図４Ａの画像に対応する追跡窓を示す。 画像背景からセグメント化された追跡画像を示す、図４Ｂの画像に対応する追跡窓を示す。 画像背景からセグメント化された追跡画像を示す、図４Ｃの画像に対応する追跡窓を示す。 画像背景からセグメント化された追跡画像を示す、図４Ｄの画像に対応する追跡窓を示す。

詳細な説明
図１は、自動車により例示される物体１２を追跡する本原理によるシステム１０のブロック概略図を示すが、物体は撮像可能なあらゆる物品を含むことができる。図１のシステム１０はグラフィカル処理ユニット１４を含み、グラフィカル処理ユニット１４は、後述する物体追跡及び物体フローアルゴリズムを使用して画像を追跡するソフトウェアがプログラムされた汎用又は専用コンピュータを含むことができる。実際には、そのようなソフトウェアは、動作中、グラフィカル処理ユニット１４により生成されるデータを記憶することもできる記憶装置１５、例えば、ハードディスクドライブ等に常駐する。プログラムされたコンピュータとして説明されるが、グラフィカル処理ユニット１４は代替的に、後述する物体追跡及び物体フローアルゴリズムを実行する、物体追跡可能な離散回路を含むことができる。物体１２を追跡するために、システム１０は、テレビジョンカメラにより捕捉された物体１２の画像を表すビデオ信号をグラフィカル処理ユニット１４に供給するテレビジョンカメラの形態の画像取得デバイス１６を含む。

オペレータ（図示せず）は、キーボード１８及び／又はマウス２０を通してグラフィカル処理ユニット１４と対話する。キーボード１８及びマウス２０は、周知のオペレータデータ入力デバイスの例をなし、システム１０は、キーボード及びマウスへの代替又は追加として、他のそのようなデータ入力デバイスを利用することができる。表示デバイス２０は通常、当該技術分野で周知のタイプのモニタであり、オペレータによる観測が意図されるグラフィカル処理ユニット１４により生成された情報を表示する。

システム１０は通常、当該技術分野で周知のように、グラフィカル処理ユニット１４をローカルエリアネットワーク（ＬＡＮ）又はインターネットにより例示されるような広域ネットワーク等のネットワークに接続するネットワークインタフェースユニット２２も含む。示されていないが、システム１０は、プリンタ及び又はプロッタ等の１つ又は複数の周辺機器も同様に含むことができる。

本原理によれば、画像フレームから画像フレームへの物体の改善された追跡は、物体のみならず、物体を囲む背景の領域（例えば、ピクセル群）も追跡することによって行われ、それにより、背景からの物体のセグメント化を改善することができるとともに、物体位置のよりよい推定が可能になる。したがって、本原理によって達成される物体追跡は、物体追跡と背景追跡との組合せを含む物体フローを含む。考察するように、物体の追跡は、現在の画像フレームでの物体の初期位置を所与として、次の画像フレームでの物体の位置を推定することを含む。他方、一対のフレーム間のオプティカルフローでは、第１の画像の各ピクセルの変位ベクトルを見つける必要がある。

画像から物体をセグメント化するために、図１のシステム１０のグラフィカル処理ユニット１４は、以下、「スーパーピクセルフロー」と呼称するスーパーピクセルマッチング技法を利用する。スーパーピクセルマッチング技法は、全域的に流れのような挙動を維持しながら、第１のフレームでのあらゆるスーパーピクセルｐと、次のフレームでのスーパーピクセル（ｐ’）との最良の一致を見つけることを目的として有する。したがって、そのようなスーパーピクセル化は、１つのフレーム内で特定のサイズ均一性を維持するはずである。幾つかの既存のピクセルフロー技法は、この要件に対処することができる。好ましくは、当該技術分野で周知のＳＬＩＣピクセルフロー法が、スーパーピクセル化のサイズ均一性及びコンパクト性に関して良好な結果をもたらす。多数のオプティカルフロー及び立体技法からヒントを得て、本原理のスーパーピクセルフローは、対ごとのマルコフ確率場を用いてモデリングされる。マッチングは、形態：

のエネルギー関数の最小化に等しいラベリングｌでの最大事後確率（ＭＡＰ）推測を介して実行される。式中、ｌは、Ｉ_１内のスーパーピクセルのラベルに一致するＩ_０内のスーパーピクセルの１組のラベルを表す。

Ｎ_ｒは、スーパーピクセルｐの半径ｒの近傍を定義する。式（１）中のＤ項及びＳ項はそれぞれ、データ項及び空間平滑項を表す。最初の項は、測定データ（色、形状等）との一貫性に関してラベリングがいかに正確かを特定する。式（１）の従来のオプティカルフロー均等物では、データ項はピクセル輝度保存に対応する。しかし、スーパーピクセルは１組の同様の（例えば、均質な）ピクセルを構成するため、適切な外観に基づく特徴は、低次元カラーヒストグラム（Ｎ個のビンを有する）。式（１）に関して、ヒストグラム間のヘリンジャー距離Ｄは、

により与えられる。

式中、ｈ（ｐ）及びｈ（ｐ’）は、スーパーピクセルｐのカラーヒストグラム及び第２のフレームＩ_１内の対応するスーパーピクセルである。

経験的に、色毎にＮ＝３ビンを有するＲＧＢカラーヒストグラムが満足のいくものであると証明されている。なお、そのような低次元ヒストグラムは、ノイズ及びフレーム間でゆっくりと変化する色に対して特定のロバスト性を与える。他方、空間項は、近傍のスーパーピクセル間の変位ベクトルの空間差のペナルティ関数を構成し、変位ベクトルは、第１のフレームのスーパーピクセルのセントロイドに発端を有し、第２のフレームのスーパーピクセルのセントロイドに末端を有する。

演算子ｐは、データ項（２）で使用されるようなヘリンジャー距離を構成する。それにもかかわらず、ヒストグラム距離は、第１の画像に属する隣接スーパーピクセルｐとｑとの間で計算される。スーパーピクセルセントロイドは、ｑ_ｃ及びｐ_ｃとして記され、ｕ_＊及びｖ_＊及びは、セントロイド間の水平変化及び垂直変化である。この項は、同じ物体に属するスーパーピクセルにおいて平滑化効果を有する。実際に、２つの近いスーパーピクセルが異なり、したがって、恐らくは画像内の異なる物体に属する場合、項λにより、同じ強度を有する平滑性優先度を保持しない一致を可能にする。図１のグラフィカル処理ユニット１４は、第１のフレーム内のあらゆるスーパーピクセルの１組の一致候補を統合することにより、二次疑似ブール最適化（ＱＰＢＯ）を利用して、提案されるエネルギー関数を最小化する。一致候補は、近接性優先度を仮定することにより生成される。これは、可能なあらゆる一致が、第２のフレームにおいてサーチ半径内部にあるべきことを意味する。

物体フローは、画像シーケンスを通して関心のある物体の動き場を計算することにより開始される。最も普通の手法は、完全なシーケンスを通して利用可能なオプティカルフロー技法の幾つかを実施し、フロー統合を実行することである。しかし、そうすることにより、高レベルの動きドリフトが生じ、通常、関心のある物体の動きは、大域的規則化による影響を受ける。幾つかの極端な事例では、関心のある物体の動きは全体的に、ピンぼけし得、他の技法を組み込む必要がある。さらに、自然なビデオシーケンスの多様性により、専用データベースが手元にある場合であっても、現在、１つの方法で利用可能なデータセットの全てで高い性能を達成することができないため、ある技法よりも他方の技法を選ぶことが難しくなる。これらの方法の大半は、２項を有するエネルギー関数を最小化する。データ項は大半の場合、様々な手法間で共有されるが、優先度項又は空間項は異なり、どの条件下でオプティカルフロー平滑性を維持すべきか否かを述べる。しかし、大域的手法では、これは定義が難しい。これらの平滑項の多くは、外観差又は勾配に頼る。したがって、幾つかの方法は、ある事例ではより信頼性が高いが、他の事例では弱いことがある。この挙動は、技法の大半が、この平滑化優先度を厳密にどこに適用するかを識別する様式を考慮しないため、生じ得る。

本原理によれば、図１のグラフィカル処理ユニット１４は、追跡窓内のセグメント化マスクを考慮に入れることにより、オプティカルフロー計算を改良することができる。図１のグラフィカル処理ユニット１４は、動きが実際に物体領域内で平滑であると仮定して、セグメント化限度を確実な平滑性強化と見なすことにより、この補強に取り組む。これは仮定は、関心のある所与の物体の大半のシーンで有効なままである。当然、物体フローは、オプティカルフローよりも急な動きに対してロバストであるはずである。したがって、完全な動きは、後述するように、追跡窓により与えられる長範囲移動、及び標的オプティカルフローにより与えられる精密部分の２つに分割される。物体フローへの第１近似として、図１のグラフィカル処理ユニット１４により使用されるシンプルフロー技法が、より高い解像度へのスケーラビリティ及びオプティカルフローの概念への専門性により、コアベースとして機能する。シンプルフローパイプラインを使用することにより、図１のグラフィカル処理ユニット１４は、計算マスクを通して平滑局所性を容易に指定することができる。より具体的には、図１のグラフィカル処理ユニット１４は、事前ステップとして実行されるセグメント化から初期計算マスクを導出する。図１のグラフィカル処理ユニット１４は、結果として生成されるフローの、マスク限度内のフローのみをフィルタリングして、精密性を強化し、実施を促進する。グラフベースの最小化手法を使用して、図１のグラフィカル処理ユニット１４は、背景ピクセルから前景ピクセルを切断することにより、規則性制約を精密に標的とすることができる。

上記説明を用いて、図１のシステム１０のグラフィカル処理ユニットが物体１２（例えば、車）を追跡する方法は、図２を参照することにより最もよく理解することができる。グラフィカル処理ユニット１４はまず、以下、追跡窓と呼称する第１の境界ボックス２００を用いて物体を囲むことにより、図２の物体１２（例えば、車）の位置を確立することができる。従来の物体追跡アルゴリズムを使用して、グラフィカル処理ユニット１４は、次のフレームでの図２の物体１２の位置を推定することができ、したがって、追跡窓２００の新しい位置を与える。

本原理によれば、図１のグラフィカル処理ユニット１４は、以下、背景領域と呼ばれる、第２の境界ボックス２０２を用いて追跡窓２００を囲む。背景領域２０２は、追跡窓２０２よりも大きく、追跡窓を囲むが、追跡窓それ自体ではない画像背景の部分を含む背景領域（例えば、ピクセル群）を特定する。図２に見られるように、１組のピクセルは、背景領域２０２内部にあり、したがって、背景の部分を構成する。次のフレームでは、これらのピクセルは、背景領域２０２の伝搬に起因して、変位矢印２０４で示されるように、追跡窓２００内に入る。背景領域（例えば、物体を囲む上述したピクセル）の移動を推定することにより、図１のグラフィカル処理ユニット１４は、前は背景領域２０２に存在したが、現在、次のフレームでは追跡窓に入るピクセルが実際に、背景に属すると安全に仮定することができる（最初は追跡窓外にあったため）。したがって、グラフィカル処理ユニット１４はそれに従って、そのようなピクセルを適宜指定する。したがって、追跡窓に入った新しいピクセルはここで、背景の部分になる。次のフレームにおいて、物体１２の新しい位置を所与として、図１のグラフィカル処理ユニット１４は、新たに入ったピクセルと共に、背景の部分として前は見なされていたピクセルを追跡する。背景ピクセルが追跡窓に入らず、周囲の背景領域内に留まる場合、図１のグラフィカル処理ユニット１４は、追跡窓に入るのを待っているピクセルが追跡窓に入るか、又は背景領域から出るまで、そのようなピクセルを追跡する。このようにして、当初は背景領域２０２に制限された背景マスクは、追跡窓２００と共に伝搬し、後述するように図５Ａ〜図５Ｄにおいて観測されるように、セグメント化をよりよく線引きする。

図３は、上述した物体追跡を達成するために、図１のグラフィカル処理ユニット１４により実行されるプロセス３００のステップをフローチャートの形態で示す。プロセス３００は、まず、ステップ３００中、現在フレームにおける図１の物体１２の位置を確立することにより開始される。上述したように、図１のグラフィカル処理ユニット１４は、まず、図２に見られるように、追跡窓２００を用いて物体を囲むことにより、物体１２の位置を確立する。次に、ステップ３０２中、図１のグラフィカル処理ユニット１４は、図２の背景領域２０２により表されるように、背景領域を確立する。図３のステップ３０４中、図１のグラフィカル処理ユニット１４は、次のフレームでの物体の位置を推定する。上述したように、例えば、最適フィルタリング、点追跡、検出による追跡、オプティカルフロー、及び背景差分等の任意の様々な物体追跡技法がこのステップを達成することができる。ステップ３０６中、図１のグラフィカル処理ユニット１４は、次のフレームでの背景領域の伝搬を特定する。ステップ３０６中の背景領域の伝搬に基づいて、図１のグラフィカル処理ユニット１４は、ステップ３０８中、物体を背景からセグメント化し、物体の追跡を促進することができる。

画像のセグメント化を理解するために、図４Ａ〜図４Ｄ及び図５Ａ〜図５Ｄを参照する。図４Ａ〜図４Ｄは、右から左へ、移動中の物体（例えば、自動車）の画像シーケンスを示す。図５Ａ〜図５Ｄはそれぞれ、図４Ａ〜図４Ｄそれぞれに示される画像のうちの対応する１つに出現する背景からの物体のセグメント化を示す。

上述した本原理の追跡方法は、以下の特徴のうちの１つ又は複数を含むことができる。例えば、全ての背景ピクセルの追跡は、様々な周知の高密度点追跡方法のうちの１つを使用して行うことができる。さらに、図１のグラフィカル処理ユニット１４は、様々な疎点追跡方法の任意の１つにより追跡し、次に、その他の点へのセグメント化を推定することができる。上述した追跡方法への別の変更として、図１のグラフィカル処理ユニット１４はまず、スーパーピクセル化を背景に適用することができ、次に、スーパーピクセルを追跡し、これは、より効率的でロバストであり、そのようなスーパーピクセルが通常、物体の境界に付くという利点を有する。

さらに、図１のグラフィカル処理ユニット１４は、上述したように得られたセグメント化を使用して、前景及び背景の外観モデルをよりよく抽出して初期化し、標準のカラーベースのセグメント化技法を介してセグメント化を改良することができる。さらに、図１のグラフィカル処理ユニット１４は、背景マスクの補完物、すなわち、前景マスクを使用して、例えば、質量中心計算又はブロブ分析により標的の位置を調整することができる。図１のグラフィカル処理ユニット１４は、背景からより離れた点を追跡するか、又は距離変換を使用して、よりもっともらしい位置を抽出することにより、標的位置を計算することもできる。さらに、図１のグラフィカル処理ユニット１４は、追跡される背景を使用して物体位置を拒絶することができ、それにより、標準の追跡方法、特に検出による追跡方法の出力を改善する。

図１のグラフィカル処理ユニット１４は、背景内の標的近傍物体に対して幾つかの物体追跡方法を組み合わせて、追跡窓に入る非関心物体を分析し、標的物体位置の遮蔽及び拒絶によりよく対処することができる。さらに、図１のグラフィカル処理ユニット１４は背景方向での追跡を実施することができ、これは、追跡窓を出る背景領域の検出と等しく、オフライン又は遅延処理を達成する。

上記は、セグメント化が改善された物体追跡技法を記載している。

Claims (14)

1. 物体（１２）を追跡する方法であって、
   現在フレームにおいて前記物体（１２）を確立することと、
   前記現在フレームにおいて前記物体を含む背景領域（２０２）を確立することと、
   次のフレームでの前記物体（１２）の位置を推定することと、
   前記背景領域（２０２）の伝搬を特定することと、
   前記背景領域の伝搬に基づいて、前記物体をその背景からセグメント化することと
   を含む、方法。
2. 前記現在フレームにおいて前記物体を確立するステップは、第１の境界ボックスを用いて前記物体を囲むことを含む、請求項１に記載の方法。
3. 前記背景領域を確立するステップは、前記物体を囲む背景の少なくとも部分を囲むように、前記第１の境界ボックスよりも大きな第２の境界ボックスを用いて前記物体を囲むステップを含む、請求項２に記載の方法。
4. 前記背景領域の前記伝搬を特定するステップは、元は前記物体外に存在するが、前記現在フレームでは追跡窓内にあるが、前記次のフレームでは、前記物体を含む追跡窓内に移動するピクセルを検出するステップを含む、請求項１に記載の方法。
5. 前記背景にスーパーピクセル化を適用して、前記物体の境界に付着したスーパーピクセルを提供するステップと、
   そのようなスーパーピクセルを追跡するステップと
   を更に含む、請求項１に記載の方法。
6. 前記画像をセグメント化するステップは、標準の色ベースセグメント化技法を介して前記セグメントを改良することを含む、請求項１に記載の方法。
7. 前記背景領域（２０２）の伝搬を特定するステップは、高密度点追跡方法を使用して全ての背景ピクセルを追跡することを含む、請求項１に記載の方法。
8. 物体（１２）を追跡するシステム（１０）であって、
   追跡を受ける物体の画像を捕捉する画像取得デバイス（１６）と、
   前記画像取得デバイスにより捕捉された前記画像を処理するプロセッサ（１４）であって、現在フレームにおいて前記物体（１２）を確立することと、（ｂ）前記現在フレームにおいて前記物体を含む背景領域（２０２）を確立することと、（ｃ）次のフレームでの前記物体（１２）の位置を推定することと、（ｄ）前記背景領域（２０２）の伝搬を特定することと、（ｅ）前記背景領域の伝搬に基づいて、前記物体をその背景からセグメント化することとを行う、プロセッサ（１４）と
   を含む、システム。
9. プロセッサは、第１の境界ボックスを用いて前記物体を囲むことにより、前記現在フレームにおいて前記物体を確立する、請求項８に記載のシステム。
10. 前記プロセッサは、前記物体を囲む背景の少なくとも部分を囲むように、前記第１の境界ボックスよりも大きな第２の境界ボックスを用いて前記物体を囲むのにより、前記背景領域を確立する、請求項９に記載のシステム。
11. 前記プロセッサは、元は前記物体外に存在するが、前記現在フレームでは追跡窓内にあるが、前記次のフレームでは、前記物体を含む追跡窓内に移動するピクセルを検出することにより、前記背景領域の前記伝搬を特定する、請求項８に記載のシステム。
12. 前記プロセッサは、前記背景にスーパーピクセル化を適用して、前記物体の境界に付着したスーパーピクセルを提供し、その後、そのようなピクセルを追跡する、請求項８に記載のシステム。
13. 前記画像をセグメント化するステップは、標準の色ベースセグメント化技法を介して前記セグメントを改良することを含む、請求項８に記載のシステム。
14. 前記プロセッサは、高密度点追跡方法を使用して全ての背景ピクセルを追跡することにより、前記背景領域（２０２）の伝搬を特定する、請求項８に記載のシステム。

Images