JP2005243019A

JP2005243019A - 圧縮ビデオにおいて交通事象を検出する方法

Info

Publication number: JP2005243019A
Application number: JP2005044494A
Authority: JP
Inventors: Faith M Porikli; ファティー・エム・ポリクリ; Xiaokun Li; シャオクン・リ
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2004-02-26
Filing date: 2005-02-21
Publication date: 2005-09-08
Anticipated expiration: 2025-02-21
Also published as: US7403664B2; JP4451330B2; US20050190975A1

Abstract

【課題】圧縮ビデオにおいて交通事象を検出する方法。
【解決手段】圧縮ビデオから特徴ベクトルを抽出する。この特徴ベクトルをガウス混合隠れマルコフモデルに供給する。次に、ガウス混合隠れマルコフモデルの最尤値を求め、複数の特徴ベクトルを交通事象として分類する。
【選択図】図１

Description

本発明は、包括的にはビデオ中の事象の検出に関し、特に圧縮ビデオから抽出した特徴に基づく事象の分類に関する。

高度道路交通システムでは、コンピュータビジョンと人工知能技法を交通データに適用する。交通データは様々なセンサによって取得することができる。Masaki著「高度な道路交通のためのマシンビジョンシステム：オートスコープシステム（Machine-vision System for Intelligent Transportation: The Autoscope system）」（IEEE Transaction Vehicle Technology, Vol. 40, pp. 21-29, 1991）を参照のこと。交通の管理および管制は、リアルタイムで交通パラメータを推定するセンサにも頼っている。現在の交通管理システムの主要な技術は、道路の中または上に設置されて個々の通過車両をカウントするループ検出器および空気圧センサである。

ビデオ監視システムにはより多くの利点がある。Beymer等著「交通パラメータを測定するリアルタイムコンピュータビジョンシステム（A Real-time computer vision system for Measuring Traffic Parameters）」（CVPR, pp. 495-501, 1997）を参照のこと。第１に、より多くの交通パラメータを推定することができる。第２に、カメラの設置はループ検出器や空気圧センサよりも妨害的でなくコストが低い。視覚ベースの交通監視システムの場合、カメラは通常、道路を見下ろすポールや他の高い構造物に設置される。交通状態は圧縮ビデオ（例えばＭＰＥＧ）に取り込まれデジタル化される。この圧縮ビデオは交通管理センター（ＴＭＣ）に送信され、マルチチャネル統計解析と事象の検出が行われる。Beymerは、グループ化した副特徴セットを用いて、交通渋滞の中で車両を追跡するという問題を克服する。

交通を監視するほとんどのコンピュータビジョンベースのシステムは、定置カメラに頼っており、カメラの視野を通過する車両を追跡することによって交通を調べる。或るシステムでは、車両が地平面（ground plane）を移動している間に３Ｄで車両の位置を見つけ追跡する。シーンの静止部分や車両間の混雑（occlusion）により車両の混雑を考慮しながら軌跡を分類する。Sullivan著「地平面の制約を用いた交通シーンのモデルベースのビジョン（Model-based Vision for Traffic Scenes using the Ground-plane Constraint）」（Real-time Computer Vision, D. Terzopoulos and C. Brown (Eds.), Cambridge University Press, 1994）を参照のこと。

別のシステムでは、輪郭トラッカ（contour tracker）およびアフィン動きモデルベースのカルマンフィルタを用いて車両の軌跡を抽出する。動的信念ネットワークを用いて交通事象に関する推定を行う。Koller等著「頑強なリアルタイムの自動交通シーン解析に向けて（Towards Robust Automatic Traffic Scene Analysis in Real-time）」（ICPR, pp. 126-131, 1994）を参照のこと。

別のシステムでは、視覚データに対する規則ベースの推論（reasoning）により都市部の交通シーン中の車両を検出する。Cucchiara等著「交通監視システムのための画像解析および規則ベースの推論（Image Analysis and Rule-Based Reasoning for a Traffic Monitoring System）」（IEEE Transactions on Intelligent Transportation Systems, Vol. 1, No. 2, pp. 119-130, 2000）を参照のこと。Cucchiara等のシステムでは６タイプの交通事象を定義し試験する。

Kamijo等は、「交差点における交通の監視および事故の検出（Traffic Monitoring and Accident Detection at Intersections）」（IEEE Transactions on Intelligent Transportation Systems, Vol. 1, No. 2, pp. 108-118, 2000）において、交差点における交通検出のための拡張可能な交通監視システムを記載している。Kamijo等は３タイプの交通事象および離散ＨＭＭを用いる。

交通監視および車両追跡は、移動車に取り付けられたカメラを用いて行うこともできる。Ferryman等著「移動車の視覚的監視（Visual Surveillance for Moving Vehicles）」（International Journal of Computer Vision, pp. 187-197, 2000）、Dellaert等著「道路フォロワと一体化したモデルベースの車両追跡（Model-based car tracking integrated with a road follower）」（Proceedings International Conference on Robotics and Automation, pp. 1189-1194, 1998）、Dikmanns著「ダイナミックビジョンが可能な車両（Vehicles Capable of Dynamic Vision）」（Proceedings International Joint Conference on Artificial Intelligence, pp. 1577-1592, 1997）、およびZhao等著「距離画像からの定性的および定量的な車両追跡（Qualitative and Quantitative Car Tracking from a Range Image）」（CVPR, pp. 496-501, 1998）を参照のこと。Zhao等は、拡張カルマンフィルタに組み込まれる３つの動きモデルを構築して、カメラと車両の両方の定量的追跡および動き推定を行う。Dellaert等は、箱で車両をモデル化してフィルタを設計し、車両の位置や寸法、道路の湾曲や幅、車両の動き、方向および速度、ならびにカメラの動き等のパラメータを推定する。Ferryman等は、画像間で地平面の特徴を照合することによってカメラの動きを推定する。次に、テンプレート相関を用いて車両検出および仮説生成を行い、車両の３Ｄワイヤーフレームモデルを画像にフィッティングする。車両の検出および識別後、動的フィルタリングを用いて車両を追跡する。

追突防止システムでは方向−時間（directional-temporal）変換（ＤＴＴ）を用いる。このシステムは、時空間画像を方向−時間平面に変換する。Jung等著「自動交通監視のための意味的なシーン解釈を用いたコンテントベースの事象の取り出し（Content-Based Event Retrieval Using Semantic Scene Interpretation for Automated Traffic Surveillance）」（IEEE Transactions on Intelligent Transportation Systems, Vol. 2, No. 3, pp. 151-163, 2001）を参照のこと。

非パラメータ回帰（ＮＰＲ）法を用いて、移動領域（moving area）から抽出した信号曲線から交通事象を予想することができる。Shuming等著「非パラメータ回帰に基づく交通事象検出アルゴリズム（Traffic Incident Detection Algorithm Based on Non-parameter Regression）」（IEEE International Conference on Intelligent Transportation Systems (ITS), pp. 714-719, 2002）を参照のこと。

別のシステムでは、多重アプローチ、オプティカルフロー、カルマンフィルタリング、およびブロブ結合（blob merging）を交通監視に用いる。Maurin等著「混雑した交通シーンの監視（Monitoring Crowded Traffic Scenes）」（IEEE International Conference on ITS, pp. 19-24）を参照のこと。

別のシステムは、ＭＰＥＧ圧縮ビデオから交通情報を抽出し、移動ブロックと全ブロックの比を用いて交通状態を推定する。Yu等著「ＳｋｙｃａｍＭＰＥＧビデオからの幹線道路交通情報の抽出（Highway Traffic Information Extraction from Skycam MPEG Video）」（IEEE International Conference on ITS, pp. 37-41, 2002）を参照のこと。

大きな交通シーンを解析することが望ましい。このような解析では、単一の通過車両インスタンスのみを検出する従来のセンサベースのシステムよりも多くの情報を得ることができる。

車両交通における事象の検出は、交通の流れの監視および管理に重要である。本発明は、圧縮ビデオにおいて交通事象を自動検出するリアルタイムで低コストのシステムを提供する。

従来技術のシステムと異なり、本発明によるシステムは、ガウス混合隠れマルコフモデル（ＧＭＨＭＭ）を用いて交通事象を検出する。事象の特徴は、ＭＰＥＧ圧縮ビデオから直接抽出される。

本発明による方法は、符号化データから多次元特徴ベクトルを構築する。抽出した特徴には幾何補正を適用する。

１つの利点として、特徴ベクトルは、時間軸に沿って変化する動きエネルギーの分布を正確に記述する。特徴ベクトルは、フレームの基礎にあるマクロブロックのテクスチャ特性を効果的に取り込む。もう１つの重要な利点として、特徴ベクトルは、異なるシーン、すなわち、通り、道路、幹線道路、および照明の状態（例えば晴れ、曇り、および暗闇）に対して不変である。

ＧＭＨＭＭに基づくシステムでは、ＨＭＭ連鎖における複数の異なる交通事象パターンを学習する（例えば５つ）。最尤推定によりＨＭＭ連鎖の出力から事象を検出する。さらに、事象の信頼度スコアを求めて評価する。

本システムは計算負荷の点で効率的である。また、モデルベースのシステムは、訓練データセットに新たなパターンを加えることによって、さらなる事象を認識するように容易に拡張することができる。実験結果は、本システムが高精度の検出レートを有し、６チャネルより多い３０Ｈｚで３５２×２４０の解像度のビデオストリームを２．８ＧＨｚのＰｅｎｔｉｕｍ（登録商標）−Ｐ４のパーソナルコンピュータ（ＰＣ）においてリアルタイムで処理できることを示している。

本発明のシステムは、圧縮ＭＰＥＧビデオから抽出された特徴から交通事象をリアルタイムで直接検出する。本システムは一組のＧＭＨＭＭを用いて交通状態をモデル化する。事象はＭＬ分類器を用いて検出される。特徴ベクトルは、変化する照明に対して不変である。幾何補正を適用して、本システムを異なる信号源およびカメラ設定に対して不変にすることができる。本発明のリアルタイムで低コストのシステムは、交通事象を高精度で検出することができる。さらに信頼度スコアにより、本システムのユーザが結果を解釈するのを助ける。本発明のモデルベースのシステムは、様々なシーン中のさらなる交通事象の検出に容易に拡張することができる。

本発明によるシステムは、交通シーンのマルチチャネルビデオを様々な監視ポイントから取得する。圧縮ビデオは交通管理センターに送信される。交通エンジニアの負担を軽減するために、本発明では、交通事象（例えば重度の（heavy）渋滞、軽度の（light）渋滞、および正常な（open）道路）を圧縮ビデオから自動的に検出するためのリアルタイムで低コストのシステムを提供する。

従来技術のように個々の車両を検出または追跡する代わりに、本発明では、事象の特徴を圧縮ビデオから直接抽出し、事象モデルを構築する。圧縮ビデオを復号化せずに圧縮データ領域において事象の特徴を抽出するため、計算負荷が非常に低い。したがって、複数のビデオを従来のＰＣにおいてリアルタイムで同時処理することができる。

ほとんどの現在の交通ビデオはＭＰＥＧ−１規格により符号化されているため、本発明の方法はこの規格に基づく。しかし、ＭＰＥＧ−２規格およびＭＰＥＧ−４規格、Ｈ２６３規格ならびにＨ．２３ｘｘ規格のような他のビデオ符号化規格も使用できることを理解すべきである。

圧縮ビデオからの特徴の抽出は、圧縮ビデオを空間領域に復号化してから特徴の抽出および動きの検出を行う方法を上回るいくつかの利点を提供する。第１に、必要となる処理が実質的に少ない。第２に、圧縮ビデオは、空間エネルギー、テクスチャ、エッジ、平均色、動き情報のような多くの有用な情報を含むため、事象を検出する目的でビデオを復号化して空間領域で物体および動きの検出を行う必要がない。本発明では、圧縮ビデオ中で得ることのできる空間エネルギー、テクスチャ、エッジ、平均色および動き情報を組み合わせて、多次元の特徴ベクトルを構築する。また本発明では、７次元の特徴ベクトルフォーマットを提供する。

交通事象は、確率時間プロセスとしてモデル化することができる。複数の時間スケールにおけるモデルの特徴は確率プロセスのサンプルである。これらの特徴は、事象に関連する実験的な分布を構築するために用いることができる。

車両の交通のような確率プロセスには、交通事象の連続的な特性のために、隠れマルコフモデル（ＨＭＭ）が適している。具体的には、本発明のシステムでは、交通事象のモデル化にガウス混合ＨＭＭ（ＧＭＨＭＭ）を用いる。

システムの構造
図１に示すように、本発明のシステムへの入力はＭＰＥＧ圧縮ビデオのビットストリーム１０１である。このビットストリームを構文解析し１１０、関心領域（ＲＯＩ）１２５（すなわち道路と道路上の車両）の離散コサイン変換（ＤＣＴ）係数および動きベクトル（ＭＶ）のみを保持する。幾何補正１２０を適用して、カメラ座標から実世界の座標への変換を行う。ＩフレームのＤＣＴ係数の残差（residues）を求め１３０、ＭＶを処理する１４０。

ピクチャグループ（ＧＯＰ）毎に、処理されたＤＣＴ係数１３０およびＭＶ１４０から特徴ベクトル（Ｖ）１５１を生成する１５０。ＭＰＥＧ−１において、ＧＯＰレートは１秒当たり２ＧＯＰである。１ＧＯＰは各特徴ベクトルにつき１つの時間インスタンスに等しい。

訓練目的で、特徴ベクトルをラベル付けし、訓練シーケンス１６０として記憶してＧＭＨＭＭ１７０を訓練する。ラベル付けは、後述する事象の分類に従う。

検出目的で、ラベル付けされていない特徴ベクトルを訓練されたＧＭＨＭＭに送り、最尤分類器１８０を用いて交通事象１０２を検出する。

次に、上記のステップを詳細に説明する。

ＭＰＥＧパーサ
ＭＰＥＧ圧縮方式は、離散コサイン変換（ＤＣＴ）を用いることによって１つのフレーム内の空間的冗長性を減らすとともに、動き補償により連続するフレーム間の時間的冗長性を減らして、低ビットレートの圧縮を達成する。動き補償の結果は、ビデオ中に動きベクトルとして記憶される。

ＭＰＥＧビデオは、複数のフレーム内符号化ＩフレームといくつかのＢフレームおよびＰフレームのシーケンスからなり、Ｐフレームは直前のＩフレームまたはＰフレームから予測され、Ｂフレームは、その前後の２つのＩフレームまたはＰフレームを用いて双方向補間される。シーケンスの基本単位はピクチャグループ（ＧＯＰ）であり、通常の符号化順序はＩＢＢＰＢＢＰＢＢＰである。本発明では、Ｂフレーム情報がＩフレームおよびＰフレームに既に含まれているため、ＩフレームおよびＰフレームのみを用いる。

パーサは、バイナリビットストリームをＩフレームの対応するＤＣＴ係数およびＰフレームのＭＶに変換する。

空間エネルギー、テクスチャ、およびエッジ特徴
ＤＣＴ圧縮ビデオは、Ｎ×Ｎの画像領域｛Ｉ_ｘｙ，０≦ｘ＜Ｎ，０≦ｙ＜Ｎ｝のＤＣＴ係数｛Ｃ_ｕｖ｝を用いて、２Ｄ画像を次のように符号化する。

ここで、ｕおよびｖは水平周波数および垂直周波数（ｕ，ｖ＝０，１，．．．，Ｎ−１）であり、Ｎ＝８であり、

である。

ｕ＝ｖ＝０かつＫ_ｕ＝Ｋ_ｖ＝１であるとき、この係数は、ＤＣパラメータまたは画像エネルギーと呼ばれ、対応する色チャネル（すなわちＹ、Ｕ、またはＶ）の色平均であると見なされる。変数ＤＣ（ｉ，ｊ，ｔ）は、ＧＯＰｔのブロック（ｉ，ｊ）のＤＣパラメータを表す。ＤＣパラメータは実際には、空間画像の１／６４の縮小画像２００である。ｕ＝１，．．．，Ｎ−１である他のＤＣＴ係数、またはｕ＝１，．．．，Ｎ−１はＡＣ係数と呼ばれる。ＡＣ係数は、空間周波数および方向性を記述し、図２に示す８×８ブロックの、左上のブロック２００を除くＤＣＴブロックマトリクスに分布している。

主なテクスチャおよびエッジ情報は１列目の１行目にあるため、本発明では、指数の低い（lower indexed）所定数のＤＣＴ係数のみを用いてＡＣ平均値を次のように計算する。

ここで、Ｍ≦Ｎは最大の周波数である。本発明の方法において、Ｍ＝４である。本発明では、指向性ソーベルフィルタを用いて、同様に空間画像３００の１／６４のサイズを有するはっきりしたテクスチャおよびエッジマップを得る。

ＤＣおよびＡＣ平均値の特徴はＩフレームのみに存在することに留意されたい。ビデオの大部分のエネルギーおよびグレイ情報を含むＹチャネルデータのみを用いることも可能である。

動きベクトル
ＭＶはＰフレームとＢフレームのみに存在する。ブロック毎にＭＶが１つずつある。ＰフレームのＭＶは次のような特性を有する。第１に、ＭＶが０よりも大きいＰフレームの移動領域は、空間領域の移動物体に対応する。第２に、移動領域における大部分のＭＶの方向の平均はその物体の動きの方向を反映し、ＭＶの大きさの平均は物体の速度を示す。信頼できるＭＶを得るために、制約付き（constrained）平均値フィルタを用いてノイズを除去する。

ここで、ＳｏｒｔｅｄＭＶ（ｉ，ｊ，ｍ）∈｛ＭＶ（ｉ，ｊ）の８つの近傍｝であり、Ｌ＝９である。

画像エネルギー、テクスチャおよびエッジの特徴情報、ならびにＭＶを取得する前に、ＤＣＴ係数とＭＶに所定のＲＯＩマスクを適用することに留意されたい。１つのＲＯＩは１車線に対応する。カメラは定置型であるため、この領域の識別およびマーク付は最初に１度だけ行う。ＲＯＩ内の係数およびＭＶのみを用い、特徴ベクトルを抽出する際に他の係数は廃棄する。したがって、ＲＯＩ１２５内のＤＣＴ係数およびＭＶのみを処理し、他の係数はゼロに設定する。

幾何補正
特徴抽出をより正確で、異なるデータ源に対して不変なものとするために、特徴データに幾何補正１２０を適用して、スケールや視角に関係なく、全ての交通シーンに対して１つのユニバーサルなパラメータセットを可能にする。先ず、回転行列Ｒおよび並進ベクトルＴを用いたアフィン変換により、カメラ座標系の特徴データを基準座標系に変換する。

ここで、Ｖ_ｓ＝［ｘ／ｙ］は元の原データであり、Ｖ_ｅ＝［ｘ／ｙ］は変換したデータであり、Ｒ＝［ｃｏｓθ，−ｓｉｎθ／ｓｉｎθ，ｃｏｓθ］であり、θは道路の方向と基準座標系のＹ軸の間の角度であり、Ｔ＝［Ｄ_ｘ／Ｄ_ｙ］であり、ＴはＲＯＩの中心と基準座標系の間のユークリッド距離である。（なお、２行１列の行列を［ａ_１１／ａ_２１］、２行２列の行列を［ａ_１１，ａ_１２／ａ_２１，ａ_２２］と表記する。）この変換により、各ＲＯＩの動きベクトルの方向が同じになり、基準系の原点が中心になる。この変換を行う前は、２本の対向車線に対応する２つの別個のＲＯＩ内の動きベクトルの方向は反対であることに留意されたい。

次に、アフィン変換の前に、カメラ座標系のｚ軸に対応する基準座標系のｙ軸に沿って、領域ベースのスケーリングを空間エネルギー、テクスチャ、およびＭＶに適用する。透視投影の結果として、画像のマクロブロック内の可視の道路セグメントのサイズは小さくなり、当該ブロック内の車両の速度は遅くなる。したがって、対応する動きベクトルの大きさは小さくなる。この効果を補償するために、本発明では、ＭＶをスケーリングする。この補償では、ＲＯＩ内のブロックに重みパラメータを割り当て、ブロックの寄与がカメラの結像面からの距離に比例するようにする。例えば、道路の近い領域および遠い領域を示す２つのブロックのＭＶは、道路の対応する部分における交通の流れの速度が同じであれば一致するようになる。この補償を行う前は、遠くにある車両はより小さく見え、よって動きベクトルも小さくなるため、動きベクトルは異なる大きさを有することに留意されたい。

カメラ座標系のｚ軸を得るために、矩形の格子を用いることによってカメラの較正パラメータを繰り返し取得する。格子線の投影が実世界の道路標示と一致するまで格子を調節する。

特徴ベクトル
交通渋滞は、２つの重要な特性、すなわち交通の速度および交通の密度により定義される。したがって、本発明では、車両の速度および密度を正確に捉えるように特徴ベクトルを設計する。本発明の特徴抽出は、異なるデータ源および照明に対して変化する交通状況を正確に記述することを目的とする。ＲＯＩ毎に、７次元の密度特徴ベクトルを作成して、時間インスタンス毎の動きエネルギーの分布を記述する。

或るＧＯＰのＲＯＩ毎に、１つの特徴ベクトルを以下のように作成する。

移動エネルギー：本発明では、２つの近傍Ｉフレームから構文解析される２つの近傍ＤＣの残差率（rate of the residues）を求める１３０。

ここで、Ｐ_ｄｃは０より大きい残差を有する画素数であり、ＰはＲＯＩ内の全画素数である。この成分は、ＤＣパラメータの平均差を表し、交通の密度および速度を示す。この成分は、車両の速度が速くなり車両の数が多くなるほど大きくなる。

移動テクスチャおよびエッジ：本発明では、２つの近傍ＡＣ（−）の残差率を次のように求める。（なお、ＡＣ（−）は、ＡＣの上に−があることを表す。）

ここで、Ｐ_ａｃは残差がゼロよりも大きい画素数であり、ＰはＲＯＩ内の全画素数である。

ＭＶの平均および分散：１つのＧＯＰ中の４つのＰフレームからＭＶの平均および分散を求める１４０。

３つの帯域のＭＶの平均：また本発明では、ＭＶの大きさを３つの帯域（高、中、および低）に分類し、各帯域の平均を求める。

したがって、次のような７次元の特徴ベクトル１５１が得られる。

本発明の特徴ベクトルの１つの重要な利点として、時間方向に変化する動きエネルギー分布がある。動きエネルギー分布は、特徴ベクトル１５１によって正確に記述される。さらに、特徴ベクトルの全ての成分が密度パラメータであるため、ベクトルは関心領域のサイズに対して不変である。もう１つの利点として、密度パラメータは異なる照明の影響を受けない。

事象のモデル化および検出
交通事象は確率的な時間プロセスであり、ＨＭＭは時間の連続性を組み込むことができるため、多くのモデル化用途でＨＭＭが用いられる（例えば音声認識）。ＨＭＭは、ビデオシーケンスにおける画像の分類、物体の追跡および認識、ならびに人間行動理解のようなコンピュータビジョン用途にも用いられる。本発明では、交通事象のモデル化および検出にＧＭＨＭＭを用いる。

ガウス混合ＨＭＭ（ＧＭＨＭＭ）
ＨＭＭは一組の有限の状態を含む。各状態には通常、多次元の確率分布関数が関連付けられる。状態間の遷移は、一組の遷移確率関数によって支配される。特定の状態において、結果または観察は、関連する確率分布に応じて生成することができる。結果のみが観察でき、状態は隠れている。

本発明による交通事象は確率プロセスと見なされるため、本発明では連続ＨＭＭを用い、各状態における確率密度関数（ＰＤＦ）のプロファイルはガウス関数の混合となる。

ＧＭＨＭＭ
ＨＭＭのパラメータは次のように表すことができる。
λ＝｛Ａ，Ｂ，π｝
ここで、初期の状態分布はπ＝｛π_１．．．π_ｉ．．．π_Ｎ｝であり、１≦ｉ≦Ｎについてπ_ｉ＝Ｐ（ｑ_１＝ｉ）であり、Ｎは隠れた状態の数であり、ｑ_１＝Ｉ（時間ｔ＝１におけるｉ番目の状態）であり、状態遷移行列は次のように表される。

ここで、１≦ｉ，ｊ，≦Ｎについてａ_ｉｊ＝Ｐ（ｑ_ｔ＋１＝ｊ｜ｑ_ｔ＝ｉ）であり、観察確率分布はＢ＝［ｂ_１（ν）．．．ｂ_ｉ（ν）．．．ｂ_Ｎ（ν）］であり、状態ｊにおいて次式が成り立つ。

Ｖは特徴ベクトルであり、平均ベクトルは次式で表される。

ここで、Ｍは混合におけるガウス関数の数である。

期待値最大化
ＧＭＨＭＭの未知のパラメータは、期待値最大化（ＥＭ）プロセスを用いることによって学習される。ＥＭは、観察されたデータが不完全である場合に最尤推定値の計算を繰り返し行う。パラメータ学習の目的は、所与の観察データセットＶ１５１についてλ＝ａｒｇｍａｘ（ｌｏｇ［ｐ（Ｖ｜λ）］）を最大化するモデルパラメータλを見つけることである。具体的には、本発明では、よく知られたBaum-WelshのＥＭプロセスを用いて交通事象のモデルパラメータを学習する。

学習プロセスは、λの一連の推定値を生じる。所与の観察データセットＶについて、推定値λ_ｉのｌｏｇ［ｐ（Ｖ｜λ）］の値は前の推定値λ_ｉ−１よりも大きい。

ＥＭプロセスは２つの部分、すなわち予備段階（preliminaries）と更新規則を含む。予備段階は次式を含む。

ここで、Ｖ＝｛ｖ_１，．．．，ｖ_Ｔ｝は訓練シーケンス１６０であり、Ｔは訓練シーケンスの長さであり、ξ_ｔ（ｉ，ｊ）およびγ_ｔ（ｉ）は、前向き−後向き（forward-backward）プロセスによって効率的に求めることができる。Rabiner著「隠れマルコフモデルに関するチュートリアルおよび音声認識における選択された応用（A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition）」（Proceedings of The IEEE, pp. 257-286, 1989）を参照のこと。

更新規則は次の通りである。

λに初期値を設定した後、ｌｏｇ［ｐ（Ｖ｜λ）］が極大値に達するまでパラメータ推定において式（８）〜（１３）を繰り返す。

１つの利点として、ＥＭプロセスは常に比較的短時間で、例えば１０回以内の繰り返しで収束する。極大値は通常、データの適切なモデルである。

ＨＭＭトポロジ
図４に示すように、本発明では、Rabinerのｅｒｇｏｄｉｃモデルの代わりに例えば４つの状態１〜４を有するｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデル４００を用いる。本発明では、他のＨＭＭトポロジ、異なる数の状態、および混合における異なる数のガウスモデルを用いて、上述の特徴ベクトルおよび枠組みを用いた交通事象の検出を行うこともできる。１つの利点として、本発明のモデルは、かなり簡単な方法で時間をモデルの状態と関連付けるため、モデルの計算効率が高い。

事象の定義
交通パターンは、大まかに２つの状態、すなわち、正常と渋滞に分類することができる。しかし、より詳細に理解されるよう、本発明では５つの交通パターン、すなわち、大（super）渋滞（ＳＣ）、重度の渋滞（ＨＣ）、軽度の渋滞（ＬＣ）、正常、および疎ら（near empty）（ＮＥ）を設ける。

大渋滞：ＲＯＩの車両が延々とつながり、進みが非常に遅い（例えば３マイル／時未満）か、完全に止まっている。

重度の渋滞：ＲＯＩの車両が混雑しており、進みが遅く、１０マイル／時未満である。

軽度の渋滞：ほとんどの車両が通常の半分未満の速度で走行している。

正常：車両が通常速度で走行している。

疎ら：ＲＯＩ内にある車両が４〜５台未満である。

最尤（ＭＬ）分類器
図５に示すように、５つのＧＭＨＭＭ５０１〜５０５を５つの所定の事象クラスについてそれぞれ訓練する。ＳＣ、ＨＣ、ＬＣ、およびＮＥの場合、ＨＭＭは４つの状態および２つのガウス混合により訓練され、正常の場合のＨＭＭは８つの状態および３つのガウス混合により訓練される。ＭＬ分類器１８０は交通事象を検出するように設計される。

リアルタイムの特徴ベクトルの入力シーケンスＶ１５１が、訓練されたＨＭＭ５０１〜５０５に供給される。クラスｉ毎に、最も尤度の高い状態シーケンスと対応する尤度Ｐ（Ｖ｜λ_ｉ）５１０が、トレリスプロセスまたはビタビプロセスを用いて求められる。最後に、最も尤度の高いクラス５２０を選択して交通事象１０２を判定する。

トレリスプロセス
初期化：

帰納（Induction）：

終端（Termination）：

信頼度のスコア付け
交通状態の確率特性のために、検出プロセスにおいて、特に交通状態が急速に変化する場合にエラーが生じる可能性がある。さらに、交通の分類は完全に客観的ではない。したがって、本発明では信頼度スコアを設ける。この信頼度スコアは、誤った事象では低く、正しい事象では高い。

図６は、本発明による信頼度の値６００を示す。これらの値は、実際のデータに対する本発明のシステムの動作を観察することによって求めた。尤度の値Ｐは相対的な正確さを示す。値が高いほど正確さが増す。最尤値と２番目の最尤値（second highest likelihood）の間の距離Ｄも正確さの指標である。値Ｓは、一連の交通事象が連続的であるかどうかを反映する。

一組の重みを値セット６００に割り当てる。重みは、任意の既知のブースティング方法により求めることができる。Duda等著「パターン分類（Pattern Classification）」（WSE Wiley, 2000）を参照のこと。信頼度スコアは次式から得ることができる。

ここで、Ｗ＝（ｗ_１ｗ_２ｗ_３）はＷ←Ｗ／‖Ｗ‖によって正規化される重みの組であり、Ｖ_ｔ＝（Ｐ_ｔＤ_ｔＳ_ｔ−１）は時間ｔにおける信頼度の値のセットである。

結果
実際の交通シーンのビデオに基づく本発明の結果は、本発明のシステムが、人間の目よりも敏感であることを示す。正検出率は９７％を達成することができる。交通状態がゆっくりと変化する交通シーンの場合、正検出率は、最初の出力で９８％、中央値でフィルタリングした出力では９９％に改善される。また本発明では、偽アラームの場合に信頼度スコアが低くなり、不正確な推定を示すことも発見した。

本発明を好適な実施形態の例として記載してきたが、本発明の精神および範囲内で様々な他の適応および修正を行ってもよいことが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の精神および範囲に入る変形および修正をすべて網羅することである。

本発明による交通検出システムとその方法のブロック図である。交通ビデオの画像のＤＣＴブロックアレイである。交通ビデオの１つの空間画像、および１つの関心領域である。本発明によるガウス混合隠れマルコフモデルである。本発明による分類器のブロック図である。本発明による信頼度の値の表である。

Claims

圧縮ビデオにおいて交通事象を検出する方法であって、
前記圧縮ビデオから複数の特徴ベクトルを抽出すること、
前記複数の特徴ベクトルをガウス混合隠れマルコフモデルに供給すること、
及び
前記ガウス混合隠れマルコフモデルの最尤値を求めて、前記複数の特徴ベクトルを交通事象として分類すること
を含む圧縮ビデオにおいて交通事象を検出する方法。
前記圧縮ビデオのピクチャグループ毎に特徴ベクトルが１つずつある
請求項１記載の方法。
各ピクチャグループは、少なくとも１つのＩフレームと少なくとも１つのＰフレームを含み、
前記Ｉフレームは、ＤＣＴ係数を含み、
前記Ｐフレームは、動きベクトルを含む
請求項２記載の方法。
前記ＤＣＴ係数は、前記Ｉフレームの空間テクスチャ周波数を符号化し、
前記動きベクトルは、前記Ｐフレーム中の物体の動きの方向を符号化する
請求項３記載の方法。
前記動きベクトルに制約付き平均値フィルタを適用して、ノイズを除去することをさらに含む
請求項４記載の方法。
前記複数の特徴ベクトルは、ビデオ中の関心領域から抽出される
請求項１記載の方法。
前記特徴ベクトルをカメラ座標系から基準座標系に変換することをさらに含む
請求項１記載の方法。
各特徴ベクトルは、画像エネルギーに基づく動きエネルギー、空間周波数に基づく移動テクスチャ、前記動きベクトルの平均、前記動きベクトルの分散、複数の帯域に分類される前記動きベクトルの大きさの平均を含む
請求項４記載の方法。
各特徴ベクトルの各成分は、前記関心領域のサイズおよび照明に対して不変の密度パラメータである
請求項６記載の方法。
ラベル付けした特徴ベクトルにより前記ガウス混合隠れマルコフモデルを訓練することをさらに含む
請求項１記載の方法。
前記ガウス混合隠れマルコフモデルは、一組の有限の状態を含み、
各状態は、多次元の確率分布関数と関連付けられる
請求項１記載の方法。
前記ガウス混合隠れマルコフモデルの未知のパラメータが、期待値最大化プロセスによって学習される
請求項１０記載の方法。
前記ガウス混合隠れマルコフモデルは、ｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルである
請求項１記載の方法。
前記交通事象は、大渋滞、重度の渋滞、軽度の渋滞、正常、および疎らとして分類される
請求項１記載の方法。
前記交通事象のクラスは、トレリスプロセスを用いて判定される
請求項１４記載の方法。
検出した交通事象毎に信頼度スコアを求める
請求項１記載の方法。