JP2005165791A - 対象物の追跡方法及び追跡システム - Google Patents

Abstract

【課題】 本発明は、サブピクセル精度でパラメータ化された輪郭を用いて多数の対象物を追跡する。
【解決手段】 本発明の追跡システムは、運動解析とランダム化ハフ変換（ＲＨＴ）の組合せに基づく。ＲＨＴの探索空間は閉曲線毎に限定されたリングの範囲内に縮小される。探索リングは運動領域モーメント計算とＲＨＴによる計算の両方で計算されたパラメータ間の追跡誤差に適応する。統計的アピアランスモデルとのオクルージョンが取り扱われる。サブピクセル精度の追跡精度は、時間差分及び適応背景モデルと、オンラインフィルタを使用する探索リング決定と、カルマンフィルタを使用する多重仮説追跡アルゴリズムと、オクルージョン用アピアランスモデルと、によって達成される。
【選択図】 図２

Description

本発明は、注目する対象物から抽出された幾何学的特徴を使用して、対象物、特に、非剛体対象物の姿勢を正確に検出、追跡及び決定する方法及びシステムに関する。

人工対象物の検出及び追跡はマシンビジョンの研究における共通目標である（非特許文献１及び非特許文献２を参照。）。殆どの人工対象物は、円形又は楕円形の視覚的特徴を備え、又は、円形又は楕円形の一部を含むので、注目対象物の姿勢を決定するために、点、線及び輪郭のような抽出された幾何学的特徴を使用することは、活発な研究テーマである（非特許文献３、非特許文献４、非特許文献５を参照。）。ハフ変換及びその改良型は、これらの幾何学的特徴を抽出するために屡々使用される。これらは、探索空間内のピークを検出するため、パラメータ化されたテンプレートモデルと画像との相関を使用するが、画像解像度が増加し、かつ、リアルタイム処理が要求されると、殆どのアプリケーションの条件を満足し得ない。このため、セグメンテーション及びマッチングが後に続く全フレーム画像処理（非特許文献７）と局所特徴検出（非特許文献１０）の二つに大別される画像処理アルゴリズムが設計されている。殆どの追跡問題はいずれかのアプローチによって解決することができるが、その解決のためのデータ処理要求量は膨大である。オプティカルフロー計算又は領域セグメンテーションのような全フレームアルゴリズムは大規模データ処理をもたらす傾向があり、この大規模データ処理は、オフラインで実行されるか、又は、専用ハードウェアを用いて高速化される。これに対して、特徴ベースのアルゴリズムは、通常、画像の空間的局所エリアに集中し、処理すべきデータ量は比較的小規模であり、標準的なコンピューティングハードウェア上で動作する順序アルゴリズムによって取り扱うことが可能である（非特許文献２を参照。）。

局所特徴検出アプローチの中で、リアルタイムビデオアプリケーションにおける目標追跡のための基本的な方法は、時間差分法（ＴＤ）（非特許文献７を参照。）とテンプレート相関マッチング法である。時間差分法では、一定時間δｔによって区分されたビデオフレームが、変化した領域を見つけるために比較される。テンプレート相関マッチング法では、各ビデオフレームは、画像テンプレートと最良に相関する領域を見つけるため走査される。これらの方法は個別に重大な欠点がある。ＴＤ法は、目標が隠れたとき、又は、目標が動きを止めたときに失敗する。テンプレート相関マッチング法は、一般的に、目標対象物のアピアランス（見え方）が変化しないことを要求し、対象物サイズや向きの変化、或いは、照明条件の変化に対してさえ頑健ではない。しかし、これらの二つの方法の追跡特性は補完的であり、目標が静止しているときには、テンプレートマッチング法は最高の頑健性を示し、一方、ＴＤ法は失敗する。また、目標が動いているとき、ＴＤ法は成功するが、テンプレートマッチング法はドリフトする傾向がある。

対象物の境界は、Ｂ−スプライン曲線のような滑らかな基本関数、及び、ウェーブレット理論に現れるその他のスケーリング関数によって表現されるパラメトリック曲線で記述される場合が多い（非特許文献３１、非特許文献３２、非特許文献３３、非特許文献３４、非特許文献３５及び非特許文献３６を参照。）。モーメントは対象物の形状の標準的な記述子であり、並進及び回転、即ち、より一般的にはアフィン変換に対して不変である特徴を簡単に生成することができる。標準的な定式化の場合、モーメントは画像の最初から最後までのラスタ走査を必要とする面積分として計算される。曲率は回転及び並進に不変であることから興味深い形状特徴であり、スケール変化に対して正規化することが容易であるが、モーメントは曲率を計算するためには適さない。
Ayromlou, M., Vincze, M., Kubinger, W., Zillich, M, Robust Tracking of ellipses at Frame Rates, OAGM workshop on Pattern recognition, 155-164, Steyr, Austria, May 27-28, 1999 Gregory D. Hager and Kentaro Toyama, X Vision: A portable substrate for real-time vision applications.Computer Vision and Image Understanding , vol.69, no.1 Jan, 1998, pp.23-37 M. Ferri, F.Mangili, G.Viano, Projective pose estimation of linear and quadratic primitives in monocular computer vision, CVGIP:Image understanding 58(1)(1993)66-84 D. Forsyth, J.L. Mundy, A.Zisserman, C.Coelho, A.Heller, C.Rothwell, Invariant descriptors for 3-D objects recognition and pose, IEEE PAMI 13 (10) (1991) 971-991 P.Wunsch, G. Hirzinger, Real-time visual tracking of 3-D object with dynamic handling of occlusion, IEEE International Conference on Robotics and Automation, 1997 Lei XU, Erkki OJA, and Pekka Kultanena. A new curve detection method: Randomized hough transform. Pattern Recognition Letters, (11):331-338, 1990 C.Anderson, P.Burt, G.van der Wal, Change detection and tracking using pyramid transformation techniques, SPIE-Intelligent Robots and Computer Vision, vol. 579, pp. 72-78, 1985 Joerg, S., Langwald, J.,el.al, Flexible Robot-Assembly using a multi-sensory approach, IEEE ICRA, pp.3687-3694, 2000 Martin A. Fischler and Robert C. Bolles, Random Sample Consensus: A Paradigm for model fitting with applications to image anaysis and automated cartography, Communications of ACM: Graphics and Image Processing, Vol.24,no.6, June 1981. pp. 381-395 M. Isard and A. Blake Contour tracking by stochastic propagation of conditional density, Proceedings of European Conference on Computer vision 96, pp. 343-356, 1996 R.K.K. Yip, P.K.S, Tam,D.N.K, Leung, Modification of Hough Transform for circles and ellipse detection using a 2-dimensional array, Pattern Recognition 25 (9) (1992),pp.1007-1022 Y.Lei, K.-C.Wong, Ellipse detection based on the symmetry, Pattern Recognition Lett. 20(1999)41-47 M. Kass, A. Witkin, D. Terzopoulos, Snakes: active contour model, Int. J. Comput. Vision 1(1987)321-331 M.Isard, A. Blake. Contour tracking by stochastic propagation of conditional density, Proceeding of the European Conference on Computer vision, 1996, pp. 343-356 D. Terzopoulous, R. Szeliski, Tracking with Kalman snakes, in: A.Blake, A.Yuille, Active vision, MIT Press, Cambridge, MA, 1992 G. Hager, K.oyama, The Xvision-system: a portable substrate for real-time vision applications, Comput.Vision Image Understanding 69(1) (1998)23-37 Xue Jianru, Real time circle detection in Video, Technique report (2002) K. Toyama, J. Krumm, B. Brumitt, and B. Meyers. Wallflower: Principles and practice of background maintenance. In Proc. International Conference on Computer Vision, pages 255?261, 1999 T. Kanade, R. Collins, A. Lipton, P. Burt, and L. Wixson. Advances in cooperative multisensor video surveillance. In Proceedings of the 1998 DARPA Image Understanding Workshop, volume 1, pages 3?24, November 1998 R.E.Kalman, A new approach to linear filtering and prediction problems, Transactions of the ASME-Journal of Basic Engineering, 82(Series D):35-45 T.Saitoh, T.Pavlidis, Page segmentation without rectange assumption, Proc of 11th International Conference on Pattern Recognition, Saint Malo, France, 1991 Duda, R.O. and P.E. Hart, Use of the Hough transform to detect lines and curves in pictures. Commun. ACM 15, 11-15, 1972 S.L.Dockstader and A.M.Teklap, Multiple camera fusion for multi-object tracking. In Proc IEEE Workshop on Multi-Object tracking, pages 95-102, 2001 A.Lipton, H.Fuyioshi, and R.Pati. Moving target classification and tracking from real-time video. In Proc. Fourth IEEE Workshop in applications of Computer Vision, 1998 Chris Stauffer, W. Eric, L.Grimson, Learning patterns of activity using real-time tracking, IEEE trans. Pattern analysis and machine intelligence, vol.22(8):747-757,Aug,2000 Andrew Senior, Tracking people with probabilistic appearance models, Europe Conference of Computer Vision, 2002 T.Zhao, R.Nevatia, and F.lv. Segmentation and tracking of multiple humans in complex situation, In Conference on Computer Vision and Pattern Recognition, 2001 M.Isard and J.MacCormick, BraMBle, A Bayesian multiple-blob tracker. In International Conf on Computer Vision, volume 2, pp 34-41, 2001 Romer Rosales and Stan Sclaroff. Improved tracking of multiple human with trajectory prediction and occlusion modeling. In IEEE CVPR Workshop on the interpretation of visual Motion, 1998 I.Haritaoglu, D.Harwood, and L.S.Davis. W4: Real-time surveillance of people and their activities. IEEE Trans. Pattern Analysis and machine Intelligence, 22(8):809-830, Aug 2000 P. Brigger, J. Hoeg, and M. Unser, B-Spline Snakes: A Flexible Tool for Parametric Contour Detection, IEEE Trans. Image Process, vol. 9, pp. 1484-1496, Sept. 2000 J.Y. Wang and F.S. Cohen, 3D Object Recognition and Shape Estimation from Image Contours Using B-Splines, Unwarping Techniques and Neural Network, Proc. IEEE Int'l Joint Conf.Neural Networks, 1991 M. Flickner, H. Sawhney, D. Pryor, and J. Lotspeich, Intelligent Interactive Image Outlining Using Spline Snakes, Proc. 28th Asilomar Conf. Signals, Systems, and Computers, 1994 M. Figueiredo, J. Leitao, and A.K. Jain, Unsupervised Contour Representation and Estimation Using B-Splines and a Minimum Description Length Criterion, IEEE Trans. Image Process, vol. 9,pp. 1075-1087, 2000 G.C.H. Chuang and J. Kuo, Wavelet Descriptor of Planar Curves:Theory and Applications, IEEE Trans. Image Process, vol. 5, pp. 56-70, 1996 Y. Wang, S.L. Lee, and K. Toraichi, Multiscale Curvature Based Shape Representation Using Bspline Wavelets, IEEE Trans. Image Process, vol. 8, pp. 1586-1592, 1999 Mathews Jacob, Thierry Blu and Michael Unser, An Exact Method for Computing the Area Moments of Wavelet and Spline Curves, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 23, NO. 6, JUNE 2001, pp 633-642 M.K.Hu, Visual pattern recognition by moment invariants, IRE Trans. Information Theory, Vol.8, pp179-187 Steven J.Gortler, Michael F. Cohen, Hierarchical and variational Geometric modeling with Wavelets, Technical Report MSR-TR-95-25 Luren Yang, Fritz Albregtsen, Fast and exact computation of Cartesian geometric moments using discrete Green’s theorem. Pattern Recognition,vol 29, No 7, pp:1061-1073 B-C,Li, A new computation of geometric moments, Pattern Recognition 26, 109-113, 1993 B-C.Li, J.Shen, Fast computation of moment invariants, Pattern Recognition 24, 807-813, 1991 L. Yang, F.Albergtsen, Fast computation of the invariant geometric moments: A new method giving correct results, Proc,12th ICPR, pp201-204, Jerusalem, Israel, 1994 M.Hatamian, A real-time two dimensional moment generating algorithm and its single chip implementation, IEEE Trans. ASSP 34, 546-553 C.-W. Fu, J-C.Yen and S.Chang, Calculation of moment invariants via Hadamard transform, Pattern Recognition, 26, 287-294, 1993

しかし、上記従来技術による対象物の追跡方法は、計算量が膨大であるため、多数の対象物を高い精度で追跡することができなかった。

そこで、本発明は、多数の対象物をサブピクセル精度で追跡することができる追跡方法及び追跡システムの提供を目的とする。また、本発明は、このような追跡システムにおいて行われる処理をコンピュータに実現させるためのプログラム、及び、このプログラムを記録した記録媒体の提供を目的とする。

上記目的を達成するため、本発明は、サブピクセル精度でパラメータ化された輪郭を用いて多数の対象物を追跡する。

本発明の追跡方法及びシステムは、動き解析とランダム化ハフ変換（ＲＨＴ）の組合せに基づいている。ランダム化ハフ変換の探索空間は、各閉曲線に対し、限定されたリング（環）の範囲内に縮小される。探索リングは、動き領域モーメント計算とＲＨＴによる計算の両方で計算されたパラメータ間の追跡誤差に適応する。統計的アピアランスモデルとのオクルージョンが取り扱われる。

サブピクセル精度の追跡精度は、１）時間差分及び適応背景モデルと、２）オンラインフィルタを使用する探索リング決定と、３）カルマンフィルタを使用する多重仮説トラッキング（追跡）アルゴリズムと、４）オクルージョンのための統計的アピアランスモデルと、の４個の主要なコンポーネントによって達成される。

請求項１記載の動画像から対象物を抽出し、抽出された対象物を追跡する方法は、
前記動画像の二つ以上のフレームを受け取り、フレーム間で差分を計算し、前記動画像から背景画像を消去することにより前景画像を抽出し、前記前景画像内で曲線追跡を行うことにより前景画像から動き領域をクラスタリングし、前記動き領域を表すパラメータを推定するステップと、
前記動画像のフレームから所定の探索範囲内で所定の曲線を検出し、抽出された前記曲線の曲線パラメータを抽出するステップと、
前記動き領域を表すパラメータと前記曲線パラメータの誤差を計算し、前記探索範囲を決定するステップと、
前記誤差が所定の精度に達するまで、前記曲線パラメータを抽出するステップと、前記曲線パラメータの誤差を計算し、前記探索範囲を決定するステップを繰り返すステップと、
を有する。

請求項１に係る発明によれば、対象物の輪郭全体の動きを追跡するのではなく、動き領域を表すパラメータを推定し、曲線パラメータを抽出し、推定されたパラメータと、抽出された曲線パラメータとの間の誤差を追跡し、誤差が小さくなるように曲線パラメータを再抽出することにより、少ない計算量で、かつ、高い精度、例えば、サブピクセル精度で対象物の動きを追跡することが可能になる。

また、請求項２に係る発明によれば、前記動き領域を表すパラメータを推定するステップは、適応背景モデルを利用して背景差分を行うステップと、多重解像度連結成分解析及びオクルージョン用アピアランスモデルを利用して前景クラスタリングを行うステップと、面積モーメントを利用してパラメータ推定を行うステップと、を含む。適応背景モデルを利用した背景差分と、多重解像度連結成分解析を利用する前景クラスタリングを組み合わせることにより、時間差分による誤差が軽減され、さらに、対象物の移動開始時点や移動終了時点においても変化を検出することができる。また、オクルージョン用アピアランスモデルを利用することにより、一時的なオクルージョンや複数の対象物の重なり合いを検出できるようになる。面積モーメントを利用したパラメータ推定は、画像中の対象物の位置、向き、及び、サイズ変化を判定するために有効である。

請求項３に係る発明よれば、前記曲線の曲線パラメータを抽出するステップはランダム化ハフ変換を用いて円又は直線のパラメータを抽出する。ランダム化ハフ変換は曲線のパラメータ群を推定する際の計算量が、例えば、ＲＡＮＳＡＣ法よりも少ない、という点で有利である。

請求項４記載の動画像から対象物を抽出し、抽出された対象物を追跡するシステムは、
前記動画像の二つ以上のフレームを受け取り、フレーム間で差分を計算する背景差分部と、
前記動画像から背景画像を消去することにより前景画像を抽出し、前記前景画像内で曲線追跡を行うことにより前景画像から動き領域をクラスタリングする前景クラスタリング部と、
前記動き領域を表すパラメータを推定するパラメータ推定部と、
前記動画像のフレームから所定の探索範囲内で所定の曲線を検出し、抽出された前記曲線の曲線パラメータを抽出する曲線パラメータ抽出部と、
前記動き領域を表すパラメータと前記曲線パラメータの誤差を計算するオンラインフィルタ部と、
前記誤差に基づいて前記探索範囲を決定する探索リング決定部と、
を有し、
前記探索リング決定部、前記曲線パラメータ抽出部及び前記オンラインフィルタ部は、前記誤差が所定の精度に達するまで、前記曲線パラメータを抽出し、前記誤差を計算し、前記所定の探索範囲を決定するループを構成する。

請求項４に係る発明によれば、対象物の輪郭全体の動きを追跡するのではなく、動き領域を表すパラメータを推定し、曲線パラメータを抽出し、推定されたパラメータと、抽出された曲線パラメータとの間の誤差を追跡し、誤差が小さくなるように曲線パラメータを再抽出することにより、少ない計算量で、かつ、高い精度、例えば、サブピクセル精度で対象物の動きを追跡することが可能になる。

請求項５に係る発明によれば、前記システムは、前記背景差分部に接続され、照明条件をモデル化する適応背景モデルを更に有する。これにより、照明状況の変化に対しても頑健な対象物の追跡を実現できるようになる。

請求項６に係る発明によれば、前記システムは、前記前景クラスタリング部に接続され、粗い画像に対して連結成分解析を実行し、次に、より精細な解像度の画像の系列において位置を精緻化する多重解像度連結成分解析部を更に有する。
多重解像度連結成分解析部は、最初に、粗い画像に対して連結成分解析を実行し、次に、より精細な解像度の画像の系列において位置を精緻化する。これにより、時間のかかる作業である連結成分解析が、リアルタイムアプリケーションの場面でも適用できる程度に連結成分解析の効率及び頑健性を高めることができる。

請求項７に係る発明によれば、前記システムは、前記前景クラスタリング部に接続され、複数の対象物によって構成された前景領域を解明するアピアランスモデルを更に有する。アピアランスモデルは、トラック毎に、対象物が画像内でどのように見えるかを表わすことができる。また、アピアランスモデルは、例えば、画素に対応し、その画素で観察された対象物の尤度を記録する確率マスクが対応付けられる。例えば、対象物が重なり合うような状況では、最も前方にあるモデルから始めて、奥行きの順に、モデルの当てはめを進める。モデルの最尤位置を見つけた後、そのモデルに由来するように思われる画素（即ち、尤度が閾値を上回る画素）は、前景対象物から削除される。後続の当てはめ動作は、より奥行きの深いモデルを、未だ説明されていない残りの画素に当てはめることだけを試みる。最後に、奥行き順序を利用できない対象物がデータに当てはめられる。前のフレームに重なり合いがない場合、奥行き順序情報は利用できないが、重なり合いの程度は小さい可能性が高い。すべてのアピアランスモデルをこのように配置することにより、どの画素がどのモデルに由来するものであるかをより良く分類することができるようになる。

請求項８に係る発明によれば、前記システムは、前記パラメータ推定部に接続され、対象物の位置、向き、及び、サイズに関する情報を与える面積モーメントを計算する面積モーメント計算部を更に有する。面積モーメントを利用したパラメータ推定は、画像中の対象物の位置、向き、及び、サイズ変化を判定するために有効である。

請求項９に係る発明によれば、前記システムは、前記曲線パラメータ抽出部に接続され、円又は直線を検出し、円又は直線のパラメータを抽出するランダム化ハフ変換部を更に有する。ランダム化ハフ変換は曲線のパラメータ群を推定する際の計算量が、例えば、ＲＡＮＳＡＣ法よりも少ない、という点で有利である。例えば、本発明の一実施例における円検出の最後のステップでは、トラッカー線の輪郭素から円を見つけるため、ランダム化ハフ変換のアイデアに基づくモデルベース投票アルゴリズムが使用される。この投票アルゴリズムは、円を定義する式が最も適切な円輪郭を検出するため使用されるので、モデルベースで動く。

請求項１０に係る発明によれば、動画像の二つ以上のフレームを受け取り、フレーム間で差分を計算する機能と、前記動画像から背景画像を消去することにより前景画像を抽出し、前記前景画像内で曲線追跡を行うことにより前景画像から動き領域をクラスタリングする機能と、前記動き領域を表すパラメータを推定する機能と、前記動画像のフレームから所定の探索範囲内で所定の曲線を検出し、抽出された前記曲線の曲線パラメータを抽出する機能と、前記動き領域を表すパラメータと前記曲線パラメータの誤差を計算する機能と、前記誤差に基づいて前記所定の探索範囲を決定する機能と、前記誤差が所定の精度に達するまで、前記曲線パラメータを抽出する機能、前記誤差を計算する機能、及び、前記所定の探索範囲を決定する機能を繰り返す機能と、をコンピュータに実現させるためのプログラムが提供される。これにより、前記システムの様々な機能をコンピュータに実現させるためのプログラムを提供することができる。このプログラムは、通信回線や記録媒体を用いて前記システムに提供することが可能である。

また、請求項１１に係る発明によれば、請求項１０記載のプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

本発明による追跡方法及び追跡システムは、従来技術よりも計算量が削減されるので、従来技術よりも高い精度で動画像から複数の対象物を検出し追跡することができる。

以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。

［１］ はじめに
図１は本発明の一実施例による複数対象物追跡方法のフローチャートである。

本発明の実施例では、ステップ１０４においてパラメータ化された曲線のパラメータは、ステップ１０３において正確なモーメント計算方法（非特許文献３７）を用いて計算されたモーメントと、ステップ１０５において関連付けられ、ランダム化されたハフ変換（ＲＨＴ）の探索リングを推定するために使用される。

完全な円のリアルタイム追跡法は既に提案されている（非特許文献１及び非特許文献８）。カルマンフィルタは移動中の円のパラメータを追跡するため使用されるが（非特許文献１）、カルマンフィルタは、単一モードのガウス密度に基づいているので用途が制限され、同時・交互運動仮説をサポートできない（非特許文献１０）。

そこで、本発明の一実施例は、輪郭全体の動きを追跡するのではなく、移動領域動き計算によって計算されたパラメータ（ステップ１０３）と、ＲＨＴによって計算されたパラメータ（ステップ１０４）との間の誤差を追跡する（ステップ１０５）。動き自体はマルコフ過程であるが、動き検出によって近似することが可能であり、また、ＲＨＴによって検出されたパラメータは別の近似された動きであるとみなすことができるので、それらの間の誤差は測定ノイズである。本発明の実施例では、測定ノイズをモデル化するガウス過程を使用し、測定ノイズはオンラインフィルタによって簡単に追跡することができる（ステップ１０５）。

上述の相違点の他に、本発明の一実施例は、（１）移動領域を検出するため時間差分法を使用し、静止した円を取り扱うためテンプレート相関マッチング法を使用するので（ステップ１０１）、探索空間が著しく縮小され、カルマン予測器が状況の突然の変化（出現と消滅）を取り扱えないという制限（非特許文献１）を解決することができる。

また、本発明の一実施例によれば、（２）トラッカー線（追跡線）の長さはオンラインフィルタによって予測された誤差（ステップ１０５）に応じて決定され、これにより、エッジ検出を限定されたリングの範囲内に制限する（ステップ１０７）。

また、本発明の一実施例によれば、（３）オクルージョン状況と非剛体円が考慮される（ステップ１０２）。ここで、非剛体とは形が一定ではなく、変形してもよいことを意味する。オクルージョンは、ヒューリスティックなカルマンフィルタのグループを使用して取り扱われる。また、隠れた曲線を区分するために奥行き情報としてアピアランスモデルの尤度が使用される。

更に、本発明の一実施例では、曲線の正確なパラメータ群を抽出する投票ステップにおいて、ＲＡＮＳＡＣ方式のサンプリング（非特許文献９）ではなく、ランダム化ハフ変換（ＲＨＴ）が使用される（ステップ１０４）。なぜならば、ＲＡＮＳＡＣ法とＲＨＴ法の原理的な思想は類似しているとしても、ＲＡＮＳＡＣ方式サンプリングの計算は、ＲＨＴ法の計算よりも複雑であるからである。

このような本発明の複数対象物の追跡方法は、この追跡方法の各ステップをコンピュータに実現させるためのプログラムを、コンピュータに接続されるハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤ又はフレキシブルディスクなどの可搬型記憶媒体に格納し、本発明を実施する際にコンピュータにインストールし、又は、通信回線からコンピュータにダウンロードし、インストールして、コンピュータのＣＰＵ等でこのプログラムを実行することによって容易に実現される。

以下では、最初に、追跡システムの概要を説明する。次に、追跡システムの各機能を順次説明する。具体的には、動き領域検出を説明し、更に、多重解像度連結成分ラベリングによる前景クラスタリング、面積成分計算、及び、面積成分とパラメータの関係を説明する。続いて、ＲＨＴ法のための探索リング決定、ＲＨＴ概要、オンライン誤差フィルタを説明し、最後に、複数対象追跡スキーム及びオクルージョンのためのアピアランスモデルを説明する。

［２］ システム概要
図２は、本発明の一実施例による非剛体対象物追跡システムを、入力画像データとしてビデオに適用した場合のシステム構成を示す機能ブロック図である。カメラは固定され、背景の変化はシーン中の移動対象（物体）の動きよりも遅い場合を考える。

統計的背景モデル２０２は、照明、天候などをモデル化することが可能であり、背景差分部２０１で行われる背景差分法に使用され、セグメンテーション及び連結成分ラベリング中に「ホール（孔）」を除去するために必要な形態的フィリング法２１２は、移動対象毎に、更なる処理のための注目領域とみなされるマスクを生成する。また、面積モーメント計算部２２２により面積モーメントが輪郭のパラメータと関係付けられ、ＲＨＴ法の粗い探索空間を推定するために使用される。パラメータ推定部２２１で推定されたパラメータと、ＲＨＴ法によって曲線パラメータ計算部２３１で計算されたパラメータとの間の誤差を追跡するオンラインフィルタ２４１を用いることにより、探索リング決定部２５１での探索空間は狭い探索リングで制限される。

移動対象毎にアピアランスに基づく記述が生成され、一時的オクルージョン及び複数対象ミーティング(meeting)により移動対象を追跡できるようになる。カルマンフィルタのグループは、対象物位置、概略形状、及び速度を追跡するので、オクルージョン（隠れ）、マージ（併合）、スプリット（分裂）が発生しているかどうかを理由付けるため使用され、このような状況を別々に取り扱うためにアピアランスモデル２１４が使用される。

［３］ 背景差分法
図２に示す背景差分部２０１は以下の構成である。動き情報は目標追跡の際に重要な役割を果たし、適切な動き情報は、その後のマッチングの探索空間を縮小するために非常に有用である。殆どの目標追跡のためのシステムはカルマンフィルタに基づいているが、上述のようにカルマンフィルタは、単一モードガウス密度に基づき、同時・交互的運動仮説をサポートできないので、用途が制限される（非特許文献１０）。複数のデータ関連を取り扱うためのカルマンフィルタの拡張は、目標が点である簡単な場合には十分に機能するが、目標が非剛体である場合、当然には拡張できない。新しい確率論的アルゴリズムであるCondensation (Conditional Density Propagation)アルゴリズムは、従来のカルマンフィルタに基づくアプローチよりも優れた頑健な追跡を実現するが（非特許文献１０）、Condensationアルゴリズムは、計算が複雑であるため、リアルタイムアプリケーションへの適用が制限される。

上述のように、ＴＤ法は、基本的な目標追跡方法の一つである。ＴＤ法には多数の改良型が存在するが、最も簡単な改良型ＴＤ法は、連続的なビデオフレームを取得し、絶対差を判定する。変化を判定するために閾値関数が使用される。動き領域が判定された後、動き領域は動き領域R_n(i)にクラスタ化される。これは、通常、連結成分規準を用いて行われる。

背景差分法も動き検出の手法であるが、適応的な背景差分法の主な欠点は、動きを開始した静止対象物を考慮していないことである（非特許文献１８）。フレーム差分はこの影響を受けないが、移動対象物の形状全体を抽出する方法は効率的な方法ではない。フレーム差分の重要な問題点は、強度が一様である対象物の内側の画素は、移動画素の組に含まれない、ということである。しかし、移動画素を連結領域にクラスタリングした後、内側の画素は、領域のボックスR内のすべての移動画素を抽出するため、適応的な背景差分法を適用することによって埋めることが可能である。

静止（又は固定）カメラからのビデオストリームの場合を考える。画素位置(x,y)、時点t=nにおける強度値をI(x,y)とすると、画素に関する差分関数Δ_n(x,y)は、

で表され、動き画像M_nは、閾値化することによって、

として抽出できる。

３フレーム差分法を適応的な背景（非特許文献１９）と組み合わせることによって、現在画像と直前フレームの間、並びに、現在画像と直前の一つ前のフレームの間で画素の強度が著しく変化しているならば、その画素は動いていることが認められる。即ち、画素は、

であるならば、動いている。式中、T_n(x,y)は、位置(x,y)における統計的に有意な強度変化を記述する閾値である。B_n(x,y)は、長時間の観察によって学習された位置(x,y)における画素の現在背景強度値を表す。次に、背景モデルB_nとは有意な差があるR内の画素のすべてを選択することによってブロブb_nが膨らまされる。即ち、

である。背景モデルB_n(x,y)と差分閾値T_n(x,y)の両方は、画像の系列：
{I_k(x,y)} 但し、k<n
から観測された画素強度の統計的性質である。B₀(x,y)には第１の画像が初期設定され、即ち、
B₀(x,y)=I₀(x,y)
であり、T₀(x,y)はある所定の非零値が初期設定される。B_n(x,y)及びT_n(x,y)は、長期間に亘って、

として更新される。式中、αは新しい情報が旧い観測値を置き換える速さを表す時定数である。移動していると判定された画素に対する値だけが、即ち、静止した背景の一部だけが変更されることに注意する必要がある。移動していない（非移動）画素位置が時系列であると考えられるとき、B_n(x,y)は強度の局所時間平均と類似し、どちら有限インパルス応答ＩＩＲフィルタを使用して計算される。

［４］ 前景クラスタリング
次に、前景クラスタリング部２１１について説明する。

［４．１］ 多重解像度連結成分（コンポーネント）解析
連結成分解析は、リアルタイムアプリケーションの場面では、時間のかかる作業である。そこで、連結成分解析の効率及び頑健性を高めるため、多重解像度連結成分解析部２１２による多重解像度連結成分解析アルゴリズムを導入する。このアルゴリズムは、最初に、粗い画像に対して連結成分解析を実行し、次に、より精細な解像度の画像の系列において位置を精緻化する。

ダウンサンプリングによって画像を圧縮するのではなく、本発明の一実施例は、ブロック技術を使用する。圧縮解像度画像の各画素は、上位レベルにおけるＮ×Ｍのブロックに対応する。圧縮画素は、対応したブロックの画素の半分以上が白色である場合に限り白色である。即ち、多重解像度連結成分解析は、以下のステップ３０１〜３０６を含む。図３は多重解像度連結成分解析処理のフローチャートである。

ステップ３０１：原画像（２値）をサブブロックに分割する。各サブブロックのサイズはＮ×Ｍであり、各サブブロックは圧縮画像Ｉの１画素に対応する。

ステップ３０２：各サブブロック内の”０”の個数をカウントする。カウンタがＮ×Ｍ／２を超えた場合、圧縮画像Ｉの対応した画素に”０”をセットする。それ以外の場合には、”１”をセットする。

ステップ３０３：要求されたレベルまでステップ３０１とステップ３０２を繰り返す。

ステップ３０４：粗い画像で連結成分解析を実行し、ノイズを除去するためサイズフィルタを使用し、概略ラベリング結果を獲得する。

ステップ３０５：次のレベルのラベル付けされた領域でステップ３０４と同じ動作を実行する。

ステップ３０６：要求された解像度に達するまで処理を継続する。

ステップ３０２では、”０”の個数をカウントする。なぜならば、殆どの場合に、”０”の確率が”１”の確率よりも高く、時間を節約できるからである。

連結成分アルゴリズムの場合、６連結近傍構造が採用される。即ち、近傍として、Ｎ（上）、Ｅ（右）、ＳＥ（右下）、Ｓ（下）、Ｗ（左）、及びＮＷ（左上）の６方向のデータを考慮する。走査順序は、左から右、並びに、上から下である。図４は６連結構造と走査順序の説明図である。

ブロック処理は、画像の解像度を縮小するだけではなく、時間差分によって発生したノイズを除去する。前景画像中で小さい孤立スポットを除去し孔を埋めるために形態学的ステップが適用される。

図５はブロック処理のアルゴリズムを疑似ＰＡＳＣＡＬ言語で記述した例を表す図である。

１回の走査パスの後、同じ対象に属する画素には同じラベルが与えられる。２回目の走査はエリア再併合を実行するために必要であり、エリア再併合は、異なる対象には異なるラベルが与えられることを保証する。また、２回目の走査では、移動領域の面積及び重心を容易に得ることが可能である。これらの３個のパラメータは、円の予想状態を定義し、後続のエッジ検出に非常に有用である。

［４．２］ 面積モーメント計算に基づくパラメータ推定
次に、パラメータ推定部２２１について説明する。モーメント及びモーメントの分散は、画像中の対象物の位置、向き、及び、サイズ変化を判定するため、並びに、画像パターンをマッチングするために有効な特徴である。積分に異なる重み付けカーネルが使用されるとき、或いは、モーメントが異なるドメイン、例えば、空間ドメイン又は周波数ドメインから得られるとき、多種多様なモーメントを計算することが可能である。原則的に、画像は１種類のモーメントの完全な組から再生（再構築）することができる。しかし、高次モーメントは、ノイズや形状歪みの影響を非常に受けやすいので、モーメントを使用する再生システムの信頼性は非常に低い。しかし、低次モーメントは、画像情報を特徴付け、評価し、操作するためのある種の有効な画像特性を維持し、パターン認識において幅広く使用されている。

２次元有限関数C(x,y)の幾何学モーメントは次式（７）のように定義される。

ここで、x,y→±∞のとき、C(x,y)→0である。この幾何学モーメントは、モーメント{M_p,q}の集合が関数C(x,y)によって一意（ユニーク）に決定され、かつ、関数C(x,y)を一意に決定するという意味で情報保存的であるという望ましい性質がある。この一意性は以下のパラメータ推定の基礎である（非特許文献３８）。

［４．２．１］ 面積モーメント計算に基づくパラメータ推定
零次モーメントM₀₀は総画像エネルギー（パワー）を表現し、曲線C(x,y)の重心は以下の式（８）によって決定される。

式中、M₀₀、M₀₁及びM₁₀は、それぞれ、零次モーメント、１次モーメント及び１次モーメントである。曲線の重心

から、変換不変量である重心モーメントは次式のように定義される。

式（１０）、（１１）及び（１２）で表される２次重心モーメントは画像の方向を特徴付ける。

半長軸ａ及び半短軸ｂを有し、傾きがθであり、重心が

であるコンスタント楕円を考える。この楕円のパラメータはその重心モーメント、即ち、

から求めることができる。

一般的な画像関数C(x,y)に関して、その２次モーメントまでを考慮した場合、原画像は、有限サイズ、向き、及び偏心率を有し、画像重心に中心が置かれたコンスタント楕円と等価的である。この画像の向き及び位置は、円対称の対象物を指定するU₂₀=U₀₂かつU₁₁=0である場合を除いて、一意に決定される。図６は、２次までのモーメントによって近似された、画像関数の等価的なコンスタント楕円を表す図である。

［４．２．２］ 面積モーメントの厳密な計算
式（７）を使用して直接的にモーメントを計算するため、重要な計算を実行しなければならない。この計算は、画像がＮ×Ｎ画素を有する場合、ビックＯ記法でＮ²（Ｏ（Ｎ²））のオーダーの加算及び乗算を必要とする。更に、モーメント値は、通常、整数で表現し得ない程度に大きい値である。したがって、倍精度整数又は浮動小数点表現を使用しなければならないので、計算の速度がより低下する。モーメントの計算を高速化する多数のアルゴリズムが提案されている（例えば、非特許文献４０、４１、４２及び４３を参照。）。因果的空間フィルタ(causal spatial filter)を用いたモーメントの計算法も提案されている（非特許文献４４を参照。）。このフィルタリングは２次元画像に対しＯ（Ｎ²）の計算しか必要としない。画像のアダマール変換のモーメントと係数の関係も調べられた（非特許文献４５を参照。）。２値画像の場合、最高３次までの１０個のモーメントは、画像の４個の投影によって完全に決定される。

本発明の一実施例では、離散的なグリーンの定理を使用するアルゴリズムを用いる（非特許文献４０を参照。）。このアルゴリズムは、３つのステップを含む。

（１）輪郭追跡法適用ステップ
画素は４個のエッジを有する四角形であるとする。輪郭追跡法は、画素エッジの系列を検出する。各エッジは、背景と対象物画素によって共有される。背景から対象物への遷移は、このような画素エッジを横切るバグの動きと呼ばれる。かくして、遷移id（識別情報）は、点座標(x,y)及び方向情報を与える(Δx,Δy)により構成される４個１組によって表される。遷移の集合は次のように定義される。

所与のｙ座標に関して画像を行単位で取り扱うことにより、このy値に関して遷移の集合T'(y)を得ることができる。

次式：

としてv_i(y)を定義する。i=0,...,p、及び、すべてのｙ座標に関するv_i(y)の計算は、サイズNのp+1個の配列を用いて実現される。輪郭追跡中、配列エントリーは更新される。i=0,...,pに関して配列エントリーv_i(y)を累算する。

（２）幾何学的モーメント計算ステップ
幾何学的モーメント計算に使用される式は、

によって表される（非特許文献４３を参照）。式中、B_jはj番目のベルヌーイ数である。0≦j≦6に対し、ベルヌーイ数は、1、-1/2、1/6、0、-1/30、0、及び1/42である。式中、

である。式（２４）は、u_ijが１次元信号v_i(y)のj次モーメントであることを表す。１次元信号のモーメントを計算する高速アルゴリズムは知られている（非特許文献４４を参照。）。v_i ⁰(y)がv_i(y)のHatamianフィルタリングの結果を表すとすると、

が得られる。

（３）Hatamianフィルタの再帰的適用ステップ
Hatamianフィルタを再帰的に適用することにより、v_i ^j(1)が得られる。j≦3に対して、

が得られる。したがって、１次モーメントu_ijはv_i ^j(1)の線形結合である。j≦3に対して、

が得られる。

１次元信号のHatamianフィルタリングはN回の加算を必要とする。輪郭追跡のための演算の他に、１０個の低次モーメントの計算のため、Sが対象物の行セグメントの個数を表すとき、約10N+8S回の加算と6s回の乗算が必要である。

［５］ 探索リング決定
［５．１］ 関連技術
２値画像のパラメータ化された輪郭を検出する最も一般的な技術はハフ変換である（非特許文献２２を参照。）。他の技術と比較すると、ハフ変換はかなり頑健性がある。基本的な方法の変形版、例えば、ランダム化ハフ変換は、計算時間を短縮するため、多重ステップアプローチを使用し（非特許文献６）、２次元アキュムレータアレイを使用する修正ハフ変換（非特許文献１１）、又は、幾何学的対称性を使用する修正ハフ変換（非特許文献１２）も知られている。しかし、これらの方法を使用してもフレームレートは達成できない。時間は、エッジマップ内の画素数に非常に強く依存する。対象物を追跡するとき、アルゴリズムは、前の画像に対して対象物の輪郭を検出する効果を利用することができる。円を追跡するため考えられる一つの技術は、輪郭追跡器（トラッカー）を適用することである。アクティブ輪郭モデル（スネーク）というエレガントなアルゴリズムも提案されている（非特許文献１３を参照。）。このアルゴリズムは、スプライン曲線を曲線（円）に当てはめるため、画像から得られた内力及び外力をスプライン曲線に加える。この方法はリアルタイムで動作するが、対象物が雑然とした背景の前を移動するとき、輪郭の勾配が著しく変化し、符号を変えることもあるので、トラッキングの問題を生じる。近年、伝統的なスネークアルゴリズムは様々な態様で改良されている（非特許文献１４及び非特許文献１５を参照。）。領域に基づくトラッカー、例えば、ＳＳＤトラッキング（非特許文献１６を参照。）は、円が対象物のより広い表面の一部分である場合に限り、又は、円自体が優れたテクスチャーと妥当なサイズを有する場合に、頑健性を示す。

［５．２］ エッジ検出器
ＥＰＩＣの基本的な考え方（非特許文献１を参照。）は、輪郭エッジを高速かつ高信頼性で再検出するため、戦略的に配分されたトラッカー線で行われる低レベル１次元画像解析と、円の幾何学モデルと、を組み合わせることである。トラッカー線に沿ったエッジ画素検出はかなり高レートで実行できる。各サイクルでは以下の処理ステップが実行される。図７はエッジ検出の各サイクルの処理のフローチャートである。

ステップ７０１：輪郭の最後の状態から、新しい状態を予測し、ｎ本のトラッカー線を予測輪郭に沿って配置する。トラッカー線は、所定の長さと一定の幅を有する。

ステップ７０２：勾配及びモード値を使用して、トラッカー線毎に輪郭素(edgel)を検出する。

ステップ７０３：最後に、最大個数のエッジに当てはまる曲線を見つけるため、投票スキームが呼び出される。各トラッカー線は１個のエッジ点だけに寄与する。

ステップ７０１をより詳細に説明する。トラッカー線の状態は、位置、向き及びモード値を包含する。これらの値は、線を配置するときに更新される。曲線の状態は、曲線と、トラッカー線からの平均モード値のパラメータである。（予測）曲線パラメータから、トラッカー線を配置する位置が見つけられる。トラッカー線を配置する原理的な構成の例は図８に示されている。トラッカー線の本数は５よりも大きくする必要があり、トラッカー線の幅は１画素である（非特許文献１を参照。）。図８では、トラッカー線の本数は１４本であり、トラッカー線は、輪郭に対して垂直に向けられ、曲線の輪郭の周りに等角度で存在する。

ステップ７０２をより詳細に説明する。トラッカー線を配置した後、各トラッカー線の輪郭素を検出する。すべてのトラッカー線には、線中心の座標(x,y)と、向きαと、２個のモード値m_left及びm_rightを含む状態ベクトルが関連付けられる。位置及び向きは、配置手続によって決定される。前のトラッキングサイクルのモード値は、正しい輪郭素が見つけられたかどうかに依存して決定される。トラッカー線によって有効な輪郭素が見つけられた場合、モード値が前のサイクルから引き継がれる。さもなければ、楕円の最終的な輪郭に存在する輪郭素が決定され、この輪郭素のモード値が計算される。

第１のステップでは、サイズ８×１のPrewittフィルタを使用して、トラッカー線に沿った強度I(x)の１次微分gradI(x)を計算することによって輪郭素を見つける。極大値x_Mjの位置は、輪郭素と線に沿った間隔とを定める。トラッカー線の両端は、一番左側と一番右側の間隔の限界として使用される。

第２のステップでは、ヒストグラム技術を使用して各間隔に対するモード値を計算する。ビンは、５個の画素値の距離を有し、これにより頑健な結果を与える。間隔のモード値は、最大カウンタ値を収容するビンの値である。最大勾配ｘ_Mjに対する間隔の両側に依存して、モード値が輪郭素jのm_left又はm_rightに割り当てられる。トラッカー線の左側は常に曲線の中心に近く、右側の点は外側エリアに向いている。

輪郭素が対象物輪郭の正しい輪郭素である尤度l_jは、次式：

によって評価される。式中、w_iはキューC_jについての重みである。

次に、キューの機能を説明する。C₁は閾値を上回るすべてのエッジを実際に選択する。その役割はノイズによって生じたエッジを除去することである。C₃及びC₄は、前の輪郭素と類似したモード値を有する輪郭素を選択する。サイクルtとサイクルt-1における同一モード値及び類似モード値は、尤度に高い寄与を与えることが容易に認められる。

最後に、最大尤度を有する輪郭素は、円輪郭の新しい位置を示し、後続の円検出のための投票スキームで使用される。この手続はすべてのトラッカー線に対して実行される。即ち、各トラッカー線について１個のエッジ点しか検出されない。エッジ位置の新しい値及びモード値はそれぞれの状態ベクトルに格納される。

［６］ ランダム化ハフ変換
本発明の一実施例における円検出の最後のステップ（上述のステップ７０３）では、トラッカー線の輪郭素から円を見つけるため、モデルベース投票アルゴリズムが使用される。このアイデアはランダム化ハフ変換（ＲＨＴ）から取り入れられた。投票アルゴリズムは、円を定義する式が最も適切な円輪郭を検出するため使用されるので、モデルベースで動く。

その原理は、考えられるすべてのエッジの中で、円を決定するため使用されるｎ個の輪郭素をランダムに選択することである。円は３個のパラメータによって決定されるので、ｎ＝３である。全体的なランダム化ハフ変換（非特許文献６を参照。）アルゴリズムの実施例を以下に説明する。図９は本発明の一実施例におけるランダム化ハフ変換処理のフローチャートである。

初期化ステップ９０１：２値化されたエッジ画像を走査し、”１”画素のすべての座標d_i=(x_i,y_i)を画素データ集合Dに入れる。次に、パラメータデータ集合PをP=空集合に初期化する。

ステップ９０２：円候補を検出する。

ステップ９０３：その円がアキュムレータ内の円に類似しているならば、スコアに１を加える。

ステップ９０４：さもなければ、その円をスコア１と共にアキュムレータのエンプティ位置に挿入する。

ステップ９０５：一定回数反復する。

ステップ９０６：最高スコアの円を選択し、最良円テーブルに保存する。最良円の画素を画素データ集合Dから削除する。アキュムレータをクリアする。

ステップ９０７：円が見つからなくなるか、又は、最大エポックに達するまで、繰り返す。

このアルゴリズムは、エポックの回数だけ実行される。ここで、エポックとは、累計中に円を見つけるため行われる処理を表す。このアルゴリズムは、エポックの最大数に到達するか、又は、指定されたエポックの回数の間、円が見つからなかった場合に終了する。これにより、ユーザは、大きなエポック最大値を指定し、かつ、アルゴリズムが円の検出を停止した場合に計算時間の浪費を防ぐことが可能である。

処理の主要部は、円候補検出（ステップ９０２）と、スコア加算（ステップ９０３）と、円のエンプティ位置への挿入（ステップ９０４）である。このループの間に、検出された円は累計され、スコアが与えられる。反復回数が多くなると、多数の類似した円が一つの円に累計され、高スコアが与えられる確率が高くなる。

［７］ オンラインフィルタ
上記説明では、トラッカー線の長さは未決定のままである。オンラインフィルタは、トラッカー線の最適長さを見つけるために使用される。移動中の円のパラメータの粗い推定は、動き検出で行われている。円の正確なパラメータはランダム化ハフ変換によって計算することができる。これらの二つのパラメータ集合の間の誤差Eは、測定ノイズによる影響を受けた状態変数である。

本発明の一実施例では、ノイズの確率分布は白色ノイズであると仮定しているので、ノイズの確率分布を、カルマンフィルタを用いて効率的に予測することができる（非特許文献２０を参照。）。即ち、E: e₁, e₂, ... e_nの観測値が与えられた場合、次式（３４）を満たすe_n+1を予測する。

したがって、すべての円の３個のパラメータに対応した３個のスカラー形式カルマンフィルタが存在する。定速度モデルを仮定すると、状態方程式及びEの観測値は式（３５）及び（３６）のように表される。

式中、E_k、E_k-1、Z_k、及び、Z_k-1は時点kと時点k-1における状態ベクトル及びEの観測値である。w_k及びv_kは正規分布である。Eの要素は独立であるため、それらの共分散行列Q、Rは単位行列である。

時間更新方程式（３７）及び（３８）と、測定更新方程式（３９）、（４０）及び（４１）は簡単に導くことができる。

式中、K_kはカルマン利得である。P_k及びP_k ^-は、それぞれ、事前推定誤差共分散及び事後推定誤差共分散である。P₀=1及びx₀=30からフィルタを開始する。トラッカー線の現在長は、

によって決定される。図１０は本発明の一実施例によるカルマントラッカーの性能を示す図である。探索リング限界内の推定楕円のパラメータは、式（３５）、（３６）及び（３７）を用いて計算される。オンラインフィルタによって予測された誤差を使用して、外側と内側の楕円を簡単に計算することができ、外側の楕円と内側の楕円に囲まれた探索リングは、実際のパラメータ化された輪郭を投票するためのエッジ点を見つけるための範囲である。トラッカー線の長さも簡単に決定することができる。

［８］ 複数対象物の追跡
各フレームの前景領域は連結成分に分類され、サイズフィルタが小さい成分を除去するため使用される。各前景成分は円候補を示し、円候補は、重心位置、直径、及び、画像マスクの３個のパラメータによって記述される。連続したフレーム毎に、対応付け処理は、前景領域の、既存のトラック（軌道）のうちの一つへの関連付けを試みる。また、オクルージョン問題も考慮する必要がある。

オクルージョンは、移動対象物の検出及び追跡における重大な問題である。オクルージョン問題を解決する方法は既に提案されている（非特許文献２３、非特許文献２４、非特許文献２５、非特許文献２６及び非特許文献２７を参照。）。例えば、複数対象物の追跡の際のオクルージョンを解決するために、多数のカメラ入力が融合されている（非特許文献２３を参照。）。また、テンプレートマッチングと、対象物類別及び動き検出による時間的整合性と、に基づく簡単な方法が提案されている（非特許文献２４を参照。）。これらの方法は部分的オクルージョンを取り扱える。テンプレートマッチングは、アピアランスベースのモデルと類似した役割を果たすが（非特許文献２６を参照。）、照明変化、自己オクルージョン、及び、その他の複雑な３次元投影効果によって生じる対象物のアピアランスの変化を考慮していない。

頑健性のある追跡を実行するためにカルマンフィルタリング又は確率論的アプローチを使用するいくつかの方法は、ある種のオクルージョンを取り扱うことができる（非特許文献２７、非特許文献２８及び非特許文献２９を参照。）。これらの方法は、動き及びアピアランスをモデル化するため事後分布の推定を必要とする。例えば、アピアランスモデルに依拠したダイナミック・レイヤ・アプローチが使用される（非特許文献２７を参照。）。廊下を歩行中の人を一人ずつ追跡するシステムが構築されている（非特許文献２８を参照。）。各前景対象物は、一般化円筒物体モデルと、強度に基づくガウシアンモデルの混合を使用して統計的にモデル化される。時間的解析及び軌道予測を使用することによりオクルージョンを検出し予測するアプローチが提案されている（非特許文献２９を参照。）。

本発明の一実施例では、明示的なパラメータモデルをもち、カルマンフィルタを用いて簡単に追跡をすることができる円追跡に重点を置くと共に、いくつかの対象物によって構成された前景領域を解明するためアピアランスモデル２１４（図２）を使用してオクルージョンも考慮する。

［８．１］ カルマンフィルタによる追跡
フレーム間で連結成分の対応関係を確立することは、位置とサイズの両方を組み込み、多重仮説追跡と類似した線形予測多重仮説追跡アルゴリズム（非特許文献２５を参照。）を使用して実現される。各フレームで、利用可能なカルマンモデルのプールと、説明可能な連結成分の新しい利用可能なプールとが存在する。最初に、モデルは、説明可能な連結領域と確率論的にマッチングされる。次に、十分に説明できない連結領域が新しいカルマンモデルを見つけるために調べられる。最後に、（予測誤差の分散の逆数によって決定されるような）適合度が閾値を下回るモデルが除去される。

モデルを連結成分とマッチングするためには、既存の各モデルを、固定半径よりも大きい連結成分の利用可能なプールと対照する。誤差が比較的小さい一致した組が対応したモデルを更新するため使用される。更新されたモデルが十分な適合度を備えているならば、更新されたモデルは後続のフレームで使用される。一致する組が見つからなかった場合、一致する組は空であるという仮説が立てられ、モデルがそのまま伝達され、そのモデルの適合度は一定の率で減少させられる。対象物が一旦見失われた直後に、不確実な予測領域に再出現した場合、モデルは対象物を回復する。

現在フレームと過去の２フレームからの不一致モデルは、新しいモデルの仮説を立てるために使用される。過去の２フレームからの不一致連結成分のペアを使用して、モデルの仮説が立てられる。現在フレームが十分な適合度で一致する場合、更新されたモデルは既存モデルに追加される。ノイズを含む状況において起こり得る組合せ的爆発を回避するため、過剰なモデルが存在するときには、最も可能性の低いモデルを除去することにより、既存モデルの最大個数を制限することが望ましい。ノイズの多い状況では、屡々、ランダムな対応関係から生じた短いトラックを取り除くことが有効である。

［８．２］ オクルージョンの取扱
本発明の一実施例では、トラック毎に、対象物が画像内でどのように見えるかを表すアピアランスモデルを構築する。アピアランスモデルは、確率マスクが関連付けられているＲＧＢカラーモデルである。カラーモデルが照明変化に対して敏感に反応しないようにするため、カラーモデル内では、元のＲＧＢ空間ではなく、ＨＳＶカラー空間を使用する。カラーモデルM_HSV(x)は、対象物の各画素のアピアランスを表し、確率マスクP_c(x)はその画素で観察された対象物の尤度を記録する。

トラックが作成された後、対象物の楕円アピアランスモデルが前景領域の隣接楕円と同じサイズで作成される。このモデルは、トラッカーの前景成分の画素をカラーモデルにコピーすることによって初期化される。対象物の併合と分割の検出時に、アピアランスモデルは曖昧さを解明するために使用される。

アピアランスモデルは、ＲＧＢカラーモデルＭ_HSV(x)であり、従来使用されている確率マスク（非特許文献３０及び非特許文献２６を参照。）と類似した確率マスクP_c(x)を備え、トラックが構成されたとき、トラックに関連付けられた前景画素は、更新された割合（例えば、0.05）でアピアランスモデルに追加されるので、新しい情報は少しずつ追加され、旧い情報は徐々に捨てられる。このため、モデルは緩やかな変化を受け容れることができる。確率マスク部分は、次式（４２）に従って、所与の画素の観測確率を反映させるために更新される。

式中、Fは前景画素集合であり、α＝λ＝0.95である。対応付け確率は0.4に初期化される。

移動対象物のアピアランスモデルは、ガウス混合モデルによって近似され（非特許文献３１を参照。）、各画素に対し、次式（４３）のように表される。

式中、Kは分布の個数を表し、w_i,tは、時点tにおける混合のi番目のガウシアンの重み（このガウシアンによって考慮されたデータの部分）の推定値であり、u及びΣは、時点tにおける混合のi番目のガウシアンの平均値及び共分散行列であり、ηは、次式（４４）で表されるガウス確率密度関数である。

Kは利用可能なメモリ及び計算能力によって決定される。本実施例では、Ｋとして２又は３を使用する。また、計算上の理由から、共分散行列は、次式（４５）で表されるものとする。

式中、u_k,t及びσ_k,tとu_t及びσ_tは、それぞれ、混合のガウス分布の平均及び分散と、更新されたアピアランスモデルの平均及び分散である。すべての新しい画素値に対し、x_tが既存のK個のガウス分布と対照される。一致の定義は、画素値が分布の２．５標準偏差に収まることである。この閾値は、性能に殆ど影響を与えることなく変動させることができる。このことは、異なる領域では照明状態が変化するときに非常に有用である。K個の分布の中に現在値と一致する分布が存在しない場合、最も確率の低い分布は、現在値を平均値としてもち、初期の分散が大きく、かつ、事前確率重みの小さい分布によって置き換えられる。時点tにおけるK個の分布の事前確率重みは次式（４６）に従って調節される。

式中、M_k,tは、一致したモデルの場合に１であり、残りの不一致モデルの場合に０である。

対象物が重なり合い、多数の前景画素が画素の上に重なる数個のカルマントラッカーのうちの１個だけによって説明できるような状況では、最も前方にあるモデルから始めて、奥行きの順に、モデルの当てはめを進める。モデルの最尤位置を見つけた後、そのモデルに由来するように思われる画素（即ち、尤度が閾値を上回る画素）は、前景対象物から削除される。後続の当てはめ動作は、より奥行きの深いモデルを、未だ説明されていない残りの画素に当てはめることだけを試みる。最後に、奥行き順序を利用できない対象物がデータに当てはめられる。前のフレームに重なり合いがない場合、奥行き順序情報は利用できないが、重なり合いの程度は小さい可能性が高い。

すべてのアピアランスモデルをこのように配置することにより、このアルゴリズムは、どの画素がどのモデルに由来するものであるかをより良く分類することができる。これは、等事前確率を仮定することにより、対数尤度d_i(x)を用いて、最尤分類として次式（４７）のように定式化される。

対数尤度d_i(x)が最大となるトラックiを選択することにより、その画素に対する対象物ラベルが得られる。対象物は、争いのある画素の割り当て数が少ない対象物により深い奥行きが与えられるようにして順序付けされ、目に見える画素数の少ない対象物は「隠れ」としてマークされる。

後続のフレームに関して、位置測定（ローカライゼーション）ステップが奥行き順序で十区され、最も前方にある対象物が最初に当てはめられ、アピアランスモデルと一致する画素は、より奥行きの深い対象物の位置では、遮っていると考えられるので無視される。ローカライゼーションとオクルージョンの解決後、各トラックに関するアピアランスモデルは、そのトラックに割り当てられた画素だけを使用して更新される。

尚、以上で説明した実施例は本発明を実施するための最良の形態の一つにすぎず、本発明はその趣旨を逸脱しない限り種々変形して実施可能である。

本発明の一実施例による対象物追跡方法のフローチャートである。 本発明の一実施例による対象物追跡システムの機能ブロック図である。 本発明の一実施例による多重解像度連結成分解析処理のフローチャートである。 ６連結構造と走査順序の説明図である。 ブロック処理のアルゴリズムを疑似ＰＡＳＣＡＬ言語で記述した例を表す図である。 本発明の一実施例による２次までのモーメントによって近似された画像関数の等価的なコンスタント楕円を表す図である。 本発明の一実施例によるエッジ検出の各サイクルの処理のフローチャートである。 トラッカー線を配置する原理的な構成の例の説明図である。 本発明の一実施例におけるランダム化ハフ変換処理のフローチャートである。 本発明の一実施例によるカルマントラッカーの性能を示す図である。

符号の説明

２０１ 背景差分部
２０２ 適応背景モデル
２１１ 前景クラスタリング部
２１２ 多重解像度連結成分解析部
２１３ 曲線追跡部
２１４ オクルージョン用アピアランスモデル
２２１ パラメータ推定部
２２２ 面積モーメント計算部
２３１ 曲線パラメータ抽出部
２３２ ランダム化ハフ変換部
２４１ オンラインフィルタ部
２５１ 探索リング決定部

Claims (11)

1. 動画像から対象物を抽出し、抽出された対象物を追跡する方法であって、
   前記動画像の二つ以上のフレームを受け取り、フレーム間で差分を計算し、前記動画像から背景画像を消去することにより前景画像を抽出し、前記前景画像内で曲線追跡を行うことにより前景画像から動き領域をクラスタリングし、前記動き領域を表すパラメータを推定するステップと、
   前記動画像のフレームから所定の探索範囲内で所定の曲線を検出し、抽出された前記曲線の曲線パラメータを抽出するステップと、
   前記動き領域を表すパラメータと前記曲線パラメータの誤差を計算し、前記探索範囲を決定するステップと、
   前記誤差が所定の精度に達するまで、前記曲線パラメータを抽出するステップと、前記曲線パラメータの誤差を計算し、前記探索範囲を決定するステップを繰り返すステップと、
   を有する方法。
2. 前記動き領域を表すパラメータを推定するステップは、
   適応背景モデルを利用して背景差分を行うステップと、
   多重解像度連結成分解析及びオクルージョン用アピアランスモデルを利用して前景クラスタリングを行うステップと、
   面積モーメントを利用してパラメータ推定を行うステップと、
   を含む、
   請求項１記載の方法。
3. 前記曲線の曲線パラメータを抽出するステップはランダム化ハフ変換を用いて円又は直線のパラメータを抽出する、請求項１又は２記載の方法。
4. 動画像から対象物を抽出し、抽出された対象物を追跡するシステムであって、
   前記動画像の二つ以上のフレームを受け取り、フレーム間で差分を計算する背景差分部と、
   前記動画像から背景画像を消去することにより前景画像を抽出し、前記前景画像内で曲線追跡を行うことにより前景画像から動き領域をクラスタリングする前景クラスタリング部と、
   前記動き領域を表すパラメータを推定するパラメータ推定部と、
   前記動画像のフレームから所定の探索範囲内で所定の曲線を検出し、抽出された前記曲線の曲線パラメータを抽出する曲線パラメータ抽出部と、
   前記動き領域を表すパラメータと前記曲線パラメータの誤差を計算するオンラインフィルタ部と、
   前記誤差に基づいて前記探索範囲を決定する探索リング決定部と、
   を有し、
   前記探索リング決定部、前記曲線パラメータ抽出部及び前記オンラインフィルタ部は、前記誤差が所定の精度に達するまで、前記曲線パラメータを抽出し、前記誤差を計算し、前記所定の探索範囲を決定するループを構成する、
   システム。
5. 前記背景差分部に接続され、照明条件をモデル化する適応背景モデルを更に有する請求項４記載のシステム。
6. 前記前景クラスタリング部に接続され、粗い画像に対して連結成分解析を実行し、次に、より精細な解像度の画像の系列において位置を精緻化する多重解像度連結成分解析部を更に有する請求項４又は５記載のシステム。
7. 前記前景クラスタリング部に接続され、複数の対象物によって構成された前景領域を解明するアピアランスモデルを更に有する請求項４乃至６のうちいずれか１項記載のシステム。
8. 前記パラメータ推定部に接続され、対象物の位置、向き、及び、サイズに関する情報を与える面積モーメントを計算する面積モーメント計算部を更に有する請求項４乃至７のうちいずれか１項記載のシステム。
9. 前記曲線パラメータ抽出部に接続され、円又は直線を検出し、円又は直線のパラメータを抽出するランダム化ハフ変換部を更に有する請求項４乃至８のうちいずれか１項記載のシステム。
10. 動画像の二つ以上のフレームを受け取り、フレーム間で差分を計算する機能と、
    前記動画像から背景画像を消去することにより前景画像を抽出し、前記前景画像内で曲線追跡を行うことにより前景画像から動き領域をクラスタリングする機能と、
    前記動き領域を表すパラメータを推定する機能と、
    前記動画像のフレームから所定の探索範囲内で所定の曲線を検出し、抽出された前記曲線の曲線パラメータを抽出する機能と、
    前記動き領域を表すパラメータと前記曲線パラメータの誤差を計算する機能と、
    前記誤差に基づいて前記所定の探索範囲を決定する機能と、
    前記誤差が所定の精度に達するまで、前記曲線パラメータを抽出する機能、前記誤差を計算する機能、及び、前記所定の探索範囲を決定する機能を繰り返す機能と、
    をコンピュータに実現させるためのプログラム。
11. 請求項１０記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images