JP2018520435A - 歩行者の流動を求める方法及びシステム - Google Patents

Abstract

方法及びシステムが、最初に、カメラを用いて流動のビデオを取得することによって、流動を求める。流動はシーン内の歩行者であり、ビデオはフレームのセットを含む。モーションベクトルが、上記セット内の各フレームから抽出され、データ行列が、フレームのセット内のモーションベクトルから構築される。低ランクコープマン演算子がデータ行列から求められ、この低ランクコープマン演算子のスペクトルが解析されて、コープマンモードのセットが求められる。次に、フレームが、コープマンモードのクラスタリングに従って、独立した流動にセグメント化される。

Description

本発明は、包括的には、コンピュータービジョンに関し、より詳細には、ビデオに示さるような流動において歩行者をセグメント化することに関する。

ビデオにおける歩行者の密集した群集内のモーション（motion：動作）フローのセグメンテーションは、群集の安全確保及び雑踏警備の用途において不可欠なツールである。混雑シーンのビデオは、通常の状況下であっても複雑な群集の挙動を示す可能性がある。例えば、鉄道の駅等の大きな密集エリアにおける群集流動は、最初は無秩序に見える可能性がある。しかしながら、一定の構造を持たない流動から識別及びセグメント化することが望ましい低次元の動的構造が流動に存在することはよくあることである。その上、独立した群集流動の自動セグメンテーションは、混雑した環境における危険な状況のモニタリング及び予測に役立つ。

特に関心があることは、ビデオから抽出されたモーション情報を用いた群集流動の検出及び推定である。モーションベクトル（motion vector：動作ベクトル、動きベクトル）は、ビデオにおけるテクスチャ、すなわちピクセル強度に適用されるオプティカルフロー推定を用いて求めることもできるし、モーションベクトルは、ビットストリームから直接抽出することもできる。ビットストリームは、よく知られた符号化標準規格、例えば、ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣ等のうちの任意のものを用いて符号化することができる。

混雑シーンにおける歩行者を流動内の粒子とみなすと、ビデオフレームのモーションベクトルは、その流動における或る時刻の粒子の速度の観測値に対応する。ビデオテクスチャの代わりにモーションベクトルを処理することによって、監視ビデオにおいて観察される個人のプライバシーが保護される。

特許文献１は、監視ビデオにおいて独立したモーションを検出する方法を開示している。この方法は、テクスチャ勾配をモーションベクトルと比較することによってビデオのマクロブロックから線形システムを構築する。独立した流動は、モーションが線形システムに対して統計的異常値としてフラグ付けされるときに検出される。

特許文献２は、形状インデクシングを用いたビデオにおける群集セグメンテーションの方法を開示している。背景差分がビデオに対して実行され、前景シルエット形状が識別される。前景シルエット形状を、予め設定された前景シルエット形状のセットと照合することよって、人々の近似的な数及び位置が求められる。

ダイナミカルシステム（dynamical system：動的システム）のモデル化
歩行者の群集の密度が高いとき、群集内の個人のモーションは、流体流動としてモデル化することができる。群集解析に一般に用いられる１つのそのようなモデルは、ヒューズ（Hughes）モデルである。これについては、非特許文献１を参照されたい。

ヒューズは、以下の式のように、群集流動を密度ρ（ｘ，ｙ，ｔ）と、速度（ｕ（ｘ，ｙ，ｔ）及びｖ（ｘ，ｙ，ｔ））との関数としてモデル化する。

ここで、ｕ（ｘ，ｙ，ｔ）及びｖ（ｘ，ｙ，ｔ）は、あらゆる空間点（ｘ，ｙ）及び時刻ｔの水平方向及び垂直方向におけるそれぞれの速度である。グリーンシールド（Greenshields）モデルも、群集モデル化において密度場と速度場とを関係付けるのに用いることができる。グリーンシールドモデルは、以下のとおりである。

ここで、

及び

は、水平方向及び垂直方向における最大速度を決定するシステムパラメーターであり、

は、シーンにおける最大密度である。

（１）の解は、所与の初期条件及び境界条件を満たす全ての（ｘ，ｙ，ｔ）の群集密度マップρ及び速度場（ｕ，ｖ）を与える。ρ及び（ｕ，ｖ）の展開を律則する微分方程式の次元数は無限であり得るが、流動は低次元の挙動を示す場合が多い。

時刻ｔにおける低次元状態変数がｘ（ｔ）であり、このｘ（ｔ）について、可観測ベクトルｙ（ｔ）＝Ｇ（ｘ（ｔ））は、時刻ｔにおける全ての位置ｘ及びｙの密度場及び速度場のスタッキングに対応する。関数Ｇは、ｘが展開する低次元多様体から可観測値の空間へのマッピングである。その場合、（１）の解は、以下の式によって一般に特徴付けられる対応するダイナミカルシステムの過渡応答及び安定性を決定する。

ここで、Ｆ（・）は、ダイナミカルシステムが展開する低次元多様体における或るマッピングである。離散時間システムの場合、ダイナミカルシステムの展開は、以下の式によって特徴付けられる。

ここで、ｋは時間インデックスである。

コープマン演算子及び動的モード分解
コープマン演算子は、以下の式を満たす線形演算子Ｋである。

このダイナミカルシステムは非線形であり、有限次元多様体を展開させるが、コープマン演算子は線形であり、無限（infinitely）次元を有する。コープマン演算子のスペクトル解析は、コープマンモードと、対応するコープマンモードの時間的挙動を求める関連付けられたコープマン固有値との点から流動を分解するのに用いることができる。

動的モード分解（ＤＭＤ）は、コープマンモードを推定するのに用いることができる。ＤＭＤは、流体ダイナミクス（fluid dynamics：流体力学）において、システムダイナミクスを識別するデータ駆動型方程式フリー法として用いられてきた。以下のデータ行列を検討する。

ＤＭＤは、以下の関係を満たす最良適合行列Ｋを求める。

Ｋの固有ベクトル及び固有値は、コープマンモード及びコープマン固有値を近似する。本明細書において、コープマンモード及びＤＭＤモードという用語は、区別なく用いられる。

米国特許第８７７３５３６号 米国特許第８３５８８０６号

Hughes、「A continuum theory for the flow of pedestrians」、Transportation Research Part B: Methodological、Volume 36、Issue 6、Pages 507-535、July 2002

本発明の実施の形態は、ビデオカメラによってシーンから取得されたビデオ内のモーションベクトルに基づいて、シーン内の歩行者流動をセグメント化する方法及びシステムを提供する。これらのモーションベクトルは、入力データ行列に編成されたシーン内の流動を規定する基礎をなすダイナミカルシステムの可観測値として扱われる。本方法は、モーションベクトルを用いてダイナミカルシステムを特徴付ける低ランクコープマン演算子を求める。次に、コープマン演算子のスペクトルが解析されて、シーン内の独立した流動がセグメント化される。

本発明の１つの実施の形態では、低ランクコープマン演算子が、動的モード分解（ＤＭＤ）のワンステップ予測方程式による制約を受ける核ノルム最小化問題を解くことによって求められる。雑音の分布の近似的な正則化項を選択することによって、雑音の影響を最小化することができる。例えば、フロベニウスノルム正則化項又はユークリッドノルム正則化項は、ガウス分布雑音に用いることができる。絶対値和ノルム正則化項又は１ノルム正則化項は、スパースインパルス性雑音に用いることができる。双方のタイプの雑音が存在する場合、最適化中に２つの正則化項を用いることができる。

本発明の１つの実施の形態は、コープマン演算子の特異値分解（ＳＶＤ）を実行する。次に、非ゼロの特異値に対応する行空間（左側）特異ベクトルを用いて、ビデオ内のブロックが、独立した流動に対応するセグメントとしてクラスタリングされる。別の実施の形態では、コープマン演算子の固有ベクトルが求められ、入力データ行列がこれらの固有ベクトル上に射影される。次に、閾値よりも大きな大きさの射影係数を有する固有ベクトルを用いて、ブロックがクラスタリングされ、独立した流動がセグメント化される。

本発明の別の実施の形態は、各流動のダイナミクスを記述する固有ベクトルの固有値に従って動的レジーム（dynamical regime：動的領域、力学的状態）を識別することによって、セグメント化された歩行者流動を特徴付ける。セグメント化された流動データは、コープマン演算子の固有ベクトル上に射影され、閾値よりも大きな大きさの射影係数を有する固有ベクトルに関連付けられた固有値を用いて、動的レジームが規定される。動的レジームは、例えば、安定又は不安定として流動のタイプを特徴付ける。

本発明の実施形態による、シーンから取得されたビデオにおける歩行者流動をセグメント化するシステム及び方法の概略図である。 本発明の実施形態による、コープマンモードを求める方法のフロー図である。 本発明の実施形態による、コープマンモードを用いて独立した流動をセグメント化する方法のフロー図である。 セグメント化された独立した歩行者流動を特徴付ける方法のフロー図である。

図１に示すように、本発明の実施形態は、シーンから取得されたビデオにおける歩行者流動をセグメント化するシステム及び方法を提供する。これらの実施形態は、符号化ビットストリームから抽出されたモーションベクトルを用いることができる。ただし、モーションベクトルは、他の手段によって取得することもできる。モーションベクトルは、シーン内の流動を特徴付ける幾つかの独立したダイナミクスからなる基礎をなすダイナミカルシステムの可観測値として扱われる。本方法は、モーションベクトルを用いてダイナミカルシステムを特徴付ける低ランクコープマン演算子を求める。次に、コープマン演算子のスペクトルが、特異値分解（ＳＶＤ）又は固有値分解を用いて解析される。独立した群集流動は、用いられる分解に応じて、支配的な特異ベクトル又は支配的な固有ベクトルをクラスタリングすることによって求められる。

システム及び方法の概略
図１に示すように、ビデオ１０１は、ビデオカメラ１０３を用いてシーン１０２内の歩行者から取得される。このビデオは、フレームのセットを含む。各フレームは、通常はモーションベクトルを符号化したブロックのセットを含む。各フレームｋ １０４は、当該技術分野において知られているように、入力／出力バスによってメモリ及びカメラに接続されたプロセッサ１００において動作する方法によって処理される。ビデオは、符号化ビットストリームの形態にある。

一利点として、符号化ビットストリームは、通常、少なくとも２桁以上圧縮される。したがって、ビットストリームを処理するのに要する記憶量及び時間ははるかに少ない。加えて、ピクセルを取得するのにビットストリームを復号化する必要がないように、本方法はブロックレベルにおいて動作することができる。ただし、本方法は、カメラにおいて動作することもでき、他の手段によってモーションベクトルを取得することもできる。

本方法は、ビデオ、例えば、ビットストリーム内のブロックからモーションベクトル１０５を抽出し（１１０）、以下でより詳細に説明するように、これらのモーションベクトルをスタックすることによってデータ行列１１１を構築する。

低ランクコープマン演算子１２１が、データ行列１１１から求められる（１２０）。低ランクコープマン演算子のスペクトルが解析されて、支配的なコープマンモード１３１が求められる。次に、これらのコープマンモードを用いて、ビデオのフレーム内のブロックをセグメント化し（３００）、独立した流動１０９を取得することができる。

図２は、スペクトルを解析してコープマンモード１３１を求めるのに用いられるステップ２００を示している。これらのステップは、特異ベクトル２１１を取得するＳＶＤ２１０若しくは固有ベクトルを求める固有値分解、又は双方を含む。ステップ２４０は、射影係数を求め、次に、これらの射影係数が用いられて、固有ベクトルが選択される（２５０）。次に、特異ベクトル若しくは選択された固有ベクトル、又は双方を用いて、コープマンモード１３１を求めることができる。

図３は、ピクセルをセグメント化するステップ２００を示している。これらのステップは、入力としてコープマンモード１３１を取り込む。モーションベクトルが、ｋ平均クラスタリング３１０又はグラフスペクトルクラスタリング３２０を用いてクラスタリングされて、独立した流動１０９が取得される。

図４は、流動の動的レジームを求めることによって、各セグメント化された流動を特徴付けるステップ４００を示している。これらの動的レジームは、流動を本質的に特徴付ける。これらのステップは、入力として、コープマン固有ベクトル２２１と、データ行列１１１と、セグメント化された流動１０９とを取り込む。データ行列１１１の行のサブセット４０１が、セグメント化された流動１０９を用いて抽出される。行のサブセット４０１は、コープマン固有ベクトル２２１上に射影されて、射影係数４１１が求められる（４１０）。固有値選択ステップ４２０は、閾値よりも大きな大きさを有する射影係数を有する固有ベクトルに対応する固有値を選択する。これらの選択された固有値によって、流動の動的レジーム又は流動特性４２１が識別される。

次に、上記ステップの詳細を説明する。

モーションベクトル及び可観測データ行列
ビデオフレームｋ １０４内の全ての空間ブロックの水平モーションベクトル及び垂直モーションベクトルは、それぞれ、ｕ_ｋ及びｖ_ｋである。これらの水平モーションベクトル及び垂直モーションベクトルをデータ行列１１１にスタックすることによって、データ行列ｚ_ｋ＝［ｕ_ｋ，ｖ_ｋ］１１１が構築される。次に、コープマン演算子Ｋを用いて、このデータをワンステップ予測モデルに適合させることによって、これらのモーションベクトルの時間的展開（temporal evolution：時間発展）を以下の式のようにモデル化することができる。

（８）は、同じ演算子Ｋがモーションベクトルｕ_ｋ及びｖ_ｋの時間的展開をモデル化することを保証していることに注目されたい。

ｍ＋１個のビデオフレームからのモーションベクトルのｍ＋１個の観測値がある場合、（６）と同様のデータ行列Ｚ_１及びＺ_２を形成し、最小二乗適合を達成する演算子Ｋ_ｌｓ、すなわち以下の式を求めることによって、動的モード分解（ＤＭＤ）を用いて演算子Ｋを求めることができる。

ここで、上付き文字^†は、行列のムーア・ペンローズ（Moore-Penrose）擬似逆行列を示す。

モーションベクトルが、ビデオ内の歩行者の真のモーションに対応する場合、演算子Ｋ_ｌｓは、システムにおける流動の全ダイナミクスを特徴付ける。しかしながら、圧縮領域モーションベクトルは、一般に、非常に雑音が多く、多くの場合、真のモーションに対応していないモーションベクトルを含む。この雑音は、ビデオ符号器による特定のレート歪み最適化に依存する。

低ランクＤＭＤ
雑音のない速度観測値ｙ_ｋは、シーン内の歩行者の真のモーションを測定したものであり、モーションベクトルｚ_ｋは、雑音を有する観測値に対応し、これらは、以下のような関係となる。

ここで、ｅ_ｋは付加雑音である。（６）のようにｅ_ｋ及びｙ_ｋの代わりにそれぞれＥ_１、Ｅ_２及びＹ_１、Ｙ_２を用いることにする。その場合、雑音のないダイナミクスに対応するコープマン演算子は、以下のように全最小二乗制約によって与えられる。

しかしながら、問題（１１）は、非凸かつ不良設定である。なぜならば、Ｚ_１及びＺ_２しか観測されず、Ｋ、Ｅ_１及びＥ_２は未知であるからである。この状況を修復するために、本発明者らの問題に次の前提条件が与えられる。非常に複雑なシステムは、低次のダイナミクスによって正確にモデル化することができる。これは、換言すれば、雑音のないシステムの展開をモデル化する演算子Ｋが低ランクを有するという前提条件になる。

第２の前提条件は、行列Ｅ_１及びＥ_２の定義から派生するものである。サイズ（ｍ−１）×（ｍ−１）の単位行列をＩ_ｍ−１によって表し、ｍ個の列を有する行列の最初の列及び最後の列を除去する選択演算子を、それぞれ

及び

とすると、Ｅ_１及びＥ_２は以下の関係を満たす。

全最小二乗制約を有する低ランクＤＭＤ（ＬＲ−ＤＭＤｔｌｓ）は、以下のように定義される。

ここで、ｅ_０は、Ｅ_１における最初の列であり、γは、正則化パラメーターであり、||Ｋ||_＊は、行列Ｋの特異値の和に等しい核ノルムである。

ビデオフレーム内のモーションブロックの数がＮである場合、演算子ＫのサイズはＮ×Ｎであり、高解像度ビデオの演算子Ｋを記憶すること及び求めることが困難になる可能性がある。したがって、計算複雑度を低減するために、Ｋは、Ｋ＝ＬＲ^Ｔとなるようなランクｒの因数

及び

に置き換えられる。以下の式のように、行列の核ノルムを、その低ランク因数のフロベニウスノルムの二乗の平均に置き換える核ノルムプロキシ（nuclear norm proxy）が用いられる。

その結果、低ランクＤＭＤは、以下のように定式化することができる。

この式は、乗算器の交互方向法（ＡＤＭＭ）を用いて解かれる。

（１５）に規定された問題は、雑音がガウス分布である場合を取り扱う。測定値Ｚが異常値スパース雑音を含む場合、以下の式を用いて、問題が解かれる。

ここで、変数Ｓ_１及びＳ_２は、データ内の異常値雑音を表し、γ及びλは、正則化パラメーターである。（１６）の解は、ＡＤＭＭ手順を用いて取得することもできる。

流動セグメンテーション
独立したダイナミクスを有する種々の流動をセグメント化する（３００）ために、推定された低ランクコープマン演算子Ｋ＝ＬＲ^Ｔのスペクトルが評価される。ここで、セグメンテーションを実行する種々のシナリオを検討することにする。

特異値分解によるセグメンテーション
第１の手法では、コープマン演算子ＫのＳＶＤ２１０を実行して、Ｋ＝Ｕ_ｒΣ_ｒＶ_ｒ ^Ｔとなるような行空間特異ベクトルＵ_ｒ２１１を抽出することができる。行列Ｕ_ｒはＮ×ｒ行列であり、ここで、ｒは演算子Ｋのランクである。Ｕ_ｒの行は、ピクセルを予め設定された個数ｎのクラスターにセグメント化するために、図３に示すようなｋ平均クラスタリング３１０が適用されるビデオフレーム内のあらゆるピクセルの特徴ベクトルとして取り扱われる。次に、クラスタリングされたピクセルを用いて、ビデオ１０１に観測されるシーン１０２内の独立した流動１０９の空間セグメンテーションを求めることができる。

代替的に、スペクトルクラスタリングを行列Ｕ_ｒの行に適用することができる。このとき、Ｕ_ｒの行は正規化されて、行列

が生成され、アフィニティー行列

が構築される。ここで、指数は、この場合に要素ごとに適用される。次に、以下のステップが適用されて、対応するグラフラプラシアンの主要な固有ベクトルが求められる。

ここで、

は、全てが１のベクトルであり、最初のｄｉａｇ（・）は、Ａの対角エントリーのみを抽出し、２番目の

は、Ａの行を加算し、その結果を行列の対角に配置する。

次に、Ｌ_ＧのＳＶＤを求めて、最初のｎ個の行空間特異ベクトルＵ_Ｇが抽出される。Ｕ_Ｇの最初の特異ベクトルは全て１であり、そのため、このベクトルは除去され、次に、Ｕ_Ｇにおける残りのベクトルの行が正規化される。

最後に、ｋ平均クラスタリング３１０をＵ_Ｇの行に適用して、独立した流動１０９が求められる。スペクトルクラスタリング手法は、ｋ平均クラスタリングをＵ_ｒの行に直接適用するよりも良好な結果を提供するが、大きなＮ×Ｎアフィニティー行列を構築するには、より大きなものを必要とする。

固有値分解によるセグメンテーション
第２の手法では、Ｋの固有値分解２２０を求めて、Ｋ＝Ｕ_ｅΛ_ｅＵ_ｅ ^†となるような固有ベクトルＵ_ｅ２２１及び固有値Λ_ｅが取得される。Ｋの固有ベクトルはダイナミカルシステムのコープマンモードを推定することを想起されたい。データ行列Ｚ_２から、Ｚ_２をＵ_ｅ上に射影し、ベクトル

における射影係数の大きさを平均することによって、アクティブモードが識別される。これらのアクティブモードは、閾値よりも大きな大きさを有するαにおけるエントリーに対応するＵ_ｅの列である。

アクティブモードを含む行列はＵ_ａである。ｋ平均クラスタリングをＵ_ａの正規化された行に適用することによって、セグメンテーションが実行される。各クラスターを用いて識別されたピクセルは、ビデオ内の独立した流動に対応する。

流動特徴付け
各セグメント化された流動は、流動のタイプが、例えば、安定又は不安定としてラベル付けされるように、動的レジームに従って特徴付けることができる。動的レジームは、その流動内のモーションに最も大きく寄与するＫの固有値の位置に依存する。これらの固有値を求めるために、セグメント化された流動ｆに関連付けられたデータ行列の行のサブセットＺ_ｆが固有ベクトルＵ_ｅ上に射影され、射影係数

が求められる。閾値よりも大きな大きさを有する、α_ｆにおけるエントリーに対応する固有値は、流動に関連付けられる。

複素平面における固有値の位置を用いて、流動のレジーム（regime：様式）が求められる。例えば、安定した流動は、単位円に位置する固有値を有する一方、不安定な流動は、単位円の外部に位置する固有値を有する。その上、次第に減衰する過渡流動は、単位円の内部に位置する固有値を有する。また、固有値の複素位相は、流動内のモーションの発振周波数を示す。

Claims (12)

1. 流動を求める方法であって、
   カメラを用いて前記流動のビデオを取得するステップであって、前記流動はシーン内の歩行者であり、前記ビデオはフレームのセットを含む、ステップと、
   前記セット内の各フレームからモーションベクトルを抽出するステップと、
   前記フレームのセット内の前記モーションベクトルからデータ行列を構築するステップと、
   前記データ行列から低ランクコープマン演算子を求めるステップと、
   前記低ランクコープマン演算子のスペクトルを解析して、コープマンモードのセットを求めるステップと、
   前記コープマンモードのクラスタリングに従って前記フレームを前記流動にセグメント化するステップであって、前記流動は、独立した歩行者流動である、ステップと、
   を含み、前記ステップはプロセッサが実行する、方法。
2. 前記モーションベクトルは、ガウス分布雑音を含み、
   前記方法は、
   最小二乗制約又は全最小二乗制約を用いて、因数分解核ノルム最小化問題を解くことによって、前記低ランクコープマン演算子を求めることと、
   フロベニウスノルム正則化項によって前記ガウス分布雑音を最小化することと、
   を更に含む、請求項１に記載の方法。
3. 前記モーションベクトルは、スパース異常値雑音を含み、
   前記方法は、
   １ノルム正則化項によって前記スパース異常値雑音を最小化すること、
   を更に含む、請求項１に記載の方法。
4. 前記低ランクコープマン演算子の特異値分解（ＳＶＤ）を実行して、特異ベクトルを生成することと、
   ｋ平均クラスタリング又はグラフスペクトルクラスタリングを前記低ランクコープマン演算子の行空間特異ベクトルに適用することと、
   を更に含む、請求項１に記載の方法。
5. 前記低ランクコープマン演算子の固有値分解を実行して、固有ベクトルを生成することと、
   前記データ行列を前記固有ベクトル上に射影することによって射影係数ベクトルを求めることと、
   支配的なコープマンモードを、前記射影係数ベクトルにおいて閾値よりも大きな大きさを有する前記低ランクコープマン演算子の前記固有ベクトルとして求めることと、
   ｋ平均クラスタリングを前記支配的なコープマンモードに適用することによって前記セグメントを求めることと、
   を更に含む、請求項１に記載の方法。
6. 雑音の分布の正則化項を選択することによって前記雑音を最小化すること、
   を更に含み、
   前記正則化項は、フロベニウスノルム正則化項、ユークリッドノルム正則化項、絶対値和ノルム正則化項、１ノルム正則化項及びそれらの組み合わせからなる群から選択される、請求項１に記載の方法。
7. 各フレームは空間ブロックを含み、
   前記方法は、
   前記フレームのセットの全ての前記空間ブロックの水平モーションベクトル及び垂直モーションベクトルをスタックして、前記データ行列を構築すること、
   を更に含む、請求項１に記載の方法。
8. 前記コープマン演算子は、動的モード分解（ＤＭＤ）によって求められる、請求項１に記載の方法。
9. 各独立した歩行者流動におけるモーションが特徴付けられ、
   前記方法は、
   前記データ行列の行のサブセットを抽出することと、
   前記行のサブセットを前記コープマンモードのセット上に射影することによって射影係数ベクトルを求めることと、
   閾値よりも大きな大きさを有する前記射影係数ベクトル内のエントリーに関連付けられた前記低ランクコープマン演算子の固有値を求めることと、
   複素平面における前記固有値の位置に従って前記独立した歩行者流動を特徴付けることと、
   を更に含む、請求項１に記載の方法。
10. 前記ビデオは、圧縮ビットストリームの形態にある、請求項１に記載の方法。
11. 前記セグメント化することは、前記ビットストリーム内のブロックレベルで行われる、請求項１０に記載の方法。
12. 流動を求めるシステムであって、
    前記流動のビデオを取得するように構成されたカメラであって、前記流動はシーン内の歩行者であり、前記ビデオはフレームのセットを含む、カメラと、
    前記カメラに接続されたプロセッサであって、前記セット内の各フレームからモーションベクトルを抽出することと、前記フレームのセット内の前記モーションベクトルからデータ行列を構築することと、前記データ行列から低ランクコープマン演算子を求めることと、前記低ランクコープマン演算子のスペクトルを解析して、コープマンモードのセットを求めることと、前記コープマンモードのクラスタリングに従って前記フレームを前記流動にセグメント化することであって、前記流動は、独立した歩行者流動である、こととを行うように構成されている、プロセッサと、
    を備える、システム。

Images