JP2006506724A - 映像に固有の時間変動情報を介するオブジェクト分類 - Google Patents

Abstract

シーンにおけるオブジェクトを分類する方法を提供する。この方法は、シーンのビデオデータを捕捉する段階と、ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つける段階と、一連のビデオフレームにおいて見つけられた少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力する段階と、時間遅延ニューラルネットワークの結果に基づいて、少なくとも１つのオブジェクトを分類する段階とを有する。

Description

本発明は、一般的に、コンピュータビジョンに関わり、より具体的には、映像に固有の時間変動情報によるオブジェクト分類に係る。

一般的に、従来技術の識別システム及び分類システムは、それぞれ、静的又はビデオ映像のいずれかでオブジェクトを識別及び分類する。本開示では、オブジェクト分類は、オブジェクト識別及び／又は分類を包含する。従って、従来技術の分類システムは、静止画像か、又は、ビデオシーケンスにおけるフレームに作用して、その中にあるオブジェクトを分類する。当該技術において周知であるこれらの分類システムは、ビデオ映像に固有の時間と共に変動する情報を使用せず、むしろ、これらの分類システムは、一回に１フレームについてオブジェクトを識別することによりオブジェクトを分類することを試みている。

これらの分類システムは、利点はあるが、以下の不利点を有する。
（ａ）分類は、各フレームに独立して行われ、フレームに亘ってのオブジェクト間の任意の関係性が失われる。
（ｂ）フレームに亘っての画素依存性は、各フレームが独立に処理されることによって、もはや維持されないので、分類システムの全体的なパフォーマンスはもはやロバストでなくなる。
（ｃ）これらの分類システムは、映像に固有のノイズ及び照明変化によりグレースフルデグラレーションを示さない。

Bruton外による「On the Classification of Moving Objects in Image Sequences Using 3D Adaptive Recursive Tracking Filters and Neural Networks」（信号、システム、及びコンピュータに関する第２９回アシロマ会議）では、忙しい交差点を通過する車両の軌跡が分類される。具体的には、この研究論文は、４つの種類の車両の軌跡、即ち、「左に曲がる車両」、「左車線から直進する車両」、「右に曲がる車両」、及び「右車線から直進する車両」を分類することに特に関連する。このことを達成する方法は、以下の通りである。（ａ）ビデオフレームにおけるオブジェクトを見つけるために再帰形フィルタを使用し、（ｂ）一連のフレームでのオブジェクトを追跡するために同じフィルタを使用し、（ｃ）次に、各フレームからオブジェクトの中心軌跡と速度を抽出し、（ｄ）抽出した速度を使用し、それを、時間遅延ニューラルネットワーク（ＴＤＮＮ）に渡し、それにより、静的速度プロファイルを得、（ｅ）静的速度プロファイルを使用して多層パーセプトロン（ＭＬＰ）を訓練し、最終的に軌跡を分類する。この分類方法では、２つの主要な問題がある。従来技術は、オブジェクトを見つけ且つ追跡するために特に通過帯域フィルタといったフィルタを使用する。通過帯域フィルタのパラメータは、アドホックに設定される。しかし、オブジェクトを見つけ且つ追跡するために、フレームに亘る画素の相互関係が考慮に入れられていないので、そのようなシステムの全体的なパフォーマンスは低下する。というのは、フレームに亘るノイズが一貫しないからである。従って、フレームのセット全体のバックグランドモデルを学習することは、効率のよい関心のオブジェクトの発見及び追跡のための代わりの方法を与える。更に、モデルを学習することは、ビデオ映像が異なる時間の間に捕捉される場合は常にそのビデオ映像において照明に変化があることがしばしばであるので、特に重要である。第２に、照明変化により、速度計算が効率的ではない。このことにより、ニューラルネットワーク自体の精度が悪くなる。

従って、本発明は、従来技術に関連付けられる不利点を解決するオブジェクト分類のための方法及び装置を提供することを目的とする。

従って、シーンにおけるオブジェクトを分類する方法が提供される。この方法は、シーンのビデオデータを捕捉する段階と、ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つける段階と、一連のビデオフレームにおいて見つけられた少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力する段階と、時間遅延ニューラルネットワークの結果に基づいて、少なくとも１つのオブジェクトを分類する段階を有する。

少なくとも１つのオブジェクトを見つける段階は、一連のビデオフレームにバックグランドサブトラクションを行う段階を有することが好適である。

時間遅延ニューラルネットワークは、エルマンネットワークであることが好適である。エルマンネットワークは、フィードバックとして前の時間ステップにおける隠れレイヤからの活性化のコピーを受信する追加の入力状態レイヤを有する多層パーセプトロンを有することが好適である。その場合、少なくとも１つのオブジェクトを分類する段階は、モデル空間に適合する状態の数を決定することにより、全体のアイデンティティを確認するよう状態レイヤをトラバースする段階を有する。

更に、シーンにおけるオブジェクトを分類する装置も提供する。この装置は、シーンのビデオデータを捕捉するための少なくとも１つのカメラと、ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つけ、一連のビデオフレームにおいて見つけられた少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力するための検出システムと、時間遅延ニューラルネットワークの結果に基づいて、少なくとも１つのオブジェクトを分類するためのプロセッサとを有する。

検出システムは、一連のビデオフレームにバックグランドサブトラクションを行うことが好適である。

時間遅延ニューラルネットワークは、エルマンネットワークであることが好適である。エルマンネットワークは、フィードバックとして前の時間ステップにおける隠れレイヤからの活性化のコピーを受信する追加の入力状態レイヤを有する多層パーセプトロンを有することが好適である。その場合、プロセッサは、モデル空間に適合する状態の数を決定することにより、全体のアイデンティティを確認するよう状態レイヤをトラバースすることにより少なくとも１つのオブジェクトを分類する。

更に、本発明の方法を実行するためのコンピュータプログラムプロダクト及びその中にコンピュータプログラムプロダクトを格納するためのプログラム記憶装置も提供する。

本発明の装置及び方法のこれらの及び他の特徴、面、及び利点は、以下の説明、請求項、及び添付図面を参照することによってより良好に理解されるであろう。

本発明は、多数の及び様々なタイプのニューラルネットワークに適用可能であるが、エルマン（Elman）ニューラルネットワークの環境において特に有用であることが分かっている。従って、本発明の適用可能性をエルマンニューラルネットワークに限定することなく、本発明をそのような環境で説明する。

一回に１フレームでのビデオ映像におけるオブジェクトの分類とは対照的に、本発明の方法は、ビデオシーケンスをその全体においてラベル付けする。このことは、決定に達するために過去及び現在のデータと、それらの固有の関係を見ることによって分類することを学習するエルマンニューラルネットワークといった時間遅延ニューラルネットワーク（ＴＤＮＮ）を使用することにより達成される。従って、本発明の方法は、ビデオシーケンスにおける別々のフレームから学習するのではなくてビデオシーケンスを学習することによりオブジェクトを識別／分類する能力を有する。更に、上述した従来技術において行われるようにビデオデータから特徴測定値を抽出するのではなく、本発明の方法は、追跡したオブジェクトを、ＴＤＮＮへの入力として直接的に使用する。つまり、従来技術は、その入力は、追跡したオブジェクトから抽出された特徴であるＴＤＮＮを使用した。従来技術とは対照的に、本発明の方法は、追跡したオブジェクト自体をＴＤＮＮに入力する。

従来技術の方法を、図１を参照して説明する。図１は、本発明の方法の好適な実施を説明するフローチャートを示す。ここでは、参照番号１００として示す。この方法では、段階１０２において、ビデオ入力が、シーンからビデオ映像を捕捉する少なくとも１つのカメラから受信される。段階１０４において、バックグランドモデルを使用して、カメラの視野全体に亘るビデオ映像においてオブジェクトを見つけ追跡する。ビデオデータにおけるオブジェクトを追跡且つ見つけるためのバックグランドモデリングは、当該技術において周知であり、例えば、その内容を本願に参照として組み込む「Classification Of Objects Through Model Ensembles」なる名称のGutta外への米国特許出願番号０９／７９４，４４３、Elgammal外による「Non-parametric Model for Background Subtraction」（コンピュータビジョン欧州会議（ＥＣＣＶ）２０００、２０００年６月アイルランド、ダブリン）、及びRaja外による「Segmentation and Tracking Using Color Mixture Models」（第３回コンピュータビジョンアジア会議の議事録、第１刊６０６−６１４ページ、１９９８年１月中国、香港）に開示される。

シーンのビデオデータにおいて動くオブジェクトが見つからない場合、方法は、段階１０６のノーから段階１０２に進み、段階１０２では、ビデオ入力が連続的にモニタリングされる。シーンのビデオデータにおいて動くオブジェクトが見つかると、方法は、段階１０６のイエスから段階１０８に進み、段階１０８では、見つけられたオブジェクトが、好適にはエルマンニューラルネットワーク（ＥＮＮ）である時間遅延ニューラルネットワーク（ＴＤＮＮ）に直接入力される。このことを達成する１つの好適な方法は、エルマンニューラルネットワークを使用することである［Dorffner Gによる「Neural Networks for Time Series Processing」（Neural Networks 3(4)）、１９９８年］。エルマンネットワークは、個々のフレームでの処理とは対照的に、２つ以上のビデオフレーム、好適には、シーケンス全体を入力として取る。基本的な仮定は、時間と共に変化する映像は、状態ベクトル

により与えられる、時間に依存する状態の線形変換：

として記述可能であるということである。ここでは、Ｃは、変換マトリクスである。時間依存状態ベクトルも、線形モデル：

によっても記述可能であり、Ａ及びＢはマトリクスであり、

は、ノイズ処理であり、上述の

と同様である。このモデルの基礎をなす仮定はマルコフ仮定であり、状態は、その状態がどのように達されたかに関わらず識別可能である。更に、状態は、過去のシーケンスベクトルにも依存し、動き平均項

を無視すると仮定される。

そして、エルマンネットワークとして知られる再帰的ニューラルネットワークタイプを記述する式が得られる。エルマンネットワークは、状態レイヤと称し、前の時間ステップにおける隠れレイヤからの活性化のコピーをフィードバックとして受信する追加の入力レイヤを有する多層パーセプトロン（ＭＬＰ）である。

モデルが一旦学習されると、認識は、非線形状態のモデル空間に適合する状態の数を見つけることにより、全体のアイデンティティを確認するようその空間モデルをトラバースすることが関連する。このようなアプローチは、例えば、小売店における滑って転ぶイベントの検出、音楽の特定のビート／リズムの認識、及び、住居／小売店環境におけるオブジェクトの分類といった幾つかの領域で使用可能である。

図２を参照するに、本発明の方法１００を実行する装置を示す。装置は、参照番号２００として示す。装置２００は、分類されるべきシーン２０４のビデオ画像データを捕捉する少なくとも１つのビデオカメラ２０２を有する。ビデオカメラ２０２は、好適にはシーン２０４のデジタル画像データを捕捉するが、装置２００は更に、ビデオ画像データをデジタル形式に変換するためにアナログ−デジタル変換器（図示せず）を有し得る。デジタルビデオ画像データは、その中の動くオブジェクトの検出のために検出システム２０６に入力される。検出システム２０６により検出される任意の動くオブジェクトは、動くオブジェクトの画像データを解析し、上述した方法１００に従って抽出された特徴のそれぞれに分類解析を行うパーソナルコンピュータといったプロセッサ２０８に入力されることが好適である。

本発明の方法は、コンピュータソフトウェアプログラムにより実行されることが特に適している。このようなコンピュータソフトウェアプログラムは、方法の各段階に対応するモジュールを含むことが好適である。このようなソフトウェアは、集積チップ又は周辺装置といったコンピュータ可読媒体に具現化可能である。

本発明の好適な実施例と考えられるものを示し及び説明したが、当然ながら、本発明の精神から逸脱することなく様々な変形及び変更を形式又は細部において容易に行うことが可能であることを理解するものとする。従って、本発明は、記載及び説明した形式に厳しく制限されるものではなく、請求項の範囲内のすべての変更を包含すると理解すべきである。

本発明の方法の好適な実施のフローチャートを示す図である。 本発明の方法を実行するシステムを示す図である。

Claims (20)

1. シーンにおけるオブジェクトを分類する方法であって、
   前記シーンのビデオデータを捕捉する段階と、
   前記ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つける段階と、
   前記一連のビデオフレームにおいて見つけられた前記少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力する段階と、
   前記時間遅延ニューラルネットワークの結果に基づいて、前記少なくとも１つのオブジェクトを分類する段階と、
   を有する方法。
2. 前記少なくとも１つのオブジェクトを見つける段階は、前記一連のビデオフレームにバックグランドサブトラクションを行う段階を有する請求項１記載の方法。
3. 前記時間遅延ニューラルネットワークは、エルマンネットワークである請求項１記載の方法。
4. 前記エルマンネットワークは、フィードバックとして前の時間ステップにおける隠れレイヤからの活性化のコピーを受信する追加の入力状態レイヤを有する多層パーセプトロンを有する請求項３記載の方法。
5. 前記少なくとも１つのオブジェクトを分類する段階は、モデル空間に適合する状態の数を決定することにより、全体のアイデンティティを確認するよう前記状態レイヤをトラバースする段階を有する請求項４記載の方法。
6. 機械により可読であり、シーンにおけるオブジェクトを分類するための方法段階を前記機械が行うよう実行可能である命令のプログラムを明白に具現化するプログラム記憶装置であって、
   前記方法段階は、
   前記シーンのビデオデータを捕捉する段階と、
   前記ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つける段階と、
   前記一連のビデオフレームにおいて見つけられた前記少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力する段階と、
   前記時間遅延ニューラルネットワークの結果に基づいて前記少なくとも１つのオブジェクトを分類する段階と、
   を有するプログラム記憶装置。
7. 前記少なくとも１つのオブジェクトを見つける段階は、前記一連のビデオフレームにバックグランドサブトラクションを行う段階を有する請求項６記載のプログラム記憶装置。
8. 前記時間遅延ニューラルネットワークは、エルマンネットワークである請求項６記載のプログラム記憶装置。
9. 前記エルマンネットワークは、フィードバックとして前の時間ステップにおける隠れレイヤからの活性化のコピーを受信する追加の入力状態レイヤを有する多層パーセプトロンを有する請求項８記載のプログラム記憶装置。
10. 前記少なくとも１つのオブジェクトを分類する段階は、モデル空間に適合する状態の数を決定することにより、全体のアイデンティティを確認するよう前記状態レイヤをトラバースする段階を有する請求項９記載のプログラム記憶装置。
11. シーンにおけるオブジェクトを分類するためにコンピュータ可読媒体内に具現化されるコンピュータプログラムプロダクトであって、
    前記シーンのビデオデータを捕捉するためのコンピュータ可読プログラムコード手段と、
    前記ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つけるためのコンピュータ可読プログラムコード手段と、
    前記一連のビデオフレームにおいて見つけられた前記少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力するためのコンピュータ可読プログラムコード手段と、
    前記時間遅延ニューラルネットワークの結果に基づいて、前記少なくとも１つのオブジェクトを分類するためのコンピュータ可読プログラムコード手段と、
    を有するコンピュータプログラムプロダクト。
12. 前記少なくとも１つのオブジェクトを見つけるためのコンピュータ可読プログラムコード手段は、前記一連のビデオフレームにバックグランドサブトラクションを行うためのコンピュータ可読プログラムコード手段を有する請求項１１記載のコンピュータプログラムプロダクト。
13. 前記時間遅延ニューラルネットワークは、エルマンネットワークである請求項１１記載のコンピュータプログラムプロダクト。
14. 前記エルマンネットワークは、フィードバックとして前の時間ステップにおける隠れレイヤからの活性化のコピーを受信する追加の入力状態レイヤを有する多層パーセプトロンを有する請求項１３記載のコンピュータプログラムプロダクト。
15. 前記少なくとも１つのオブジェクトを分類するためのコンピュータ可読プログラムコード手段は、モデル空間に適合する状態の数を決定することにより、全体のアイデンティティを確認するよう前記状態レイヤをトラバースするためのコンピュータ可読プログラムコード手段を有する請求項１４記載のコンピュータプログラムプロダクト。
16. シーンにおけるオブジェクトを分類する装置であって、
    前記シーンのビデオデータを捕捉するための少なくとも１つのカメラと、
    前記ビデオデータの一連のビデオフレームにおいて少なくとも１つのオブジェクトを見つけ、前記一連のビデオフレームにおいて見つけられた前記少なくとも１つのオブジェクトを時間遅延ニューラルネットワークに入力するための検出システムと、
    前記時間遅延ニューラルネットワークの結果に基づいて、前記少なくとも１つのオブジェクトを分類するためのプロセッサと、
    を有する装置。
17. 前記検出システムは、前記一連のビデオフレームにバックグランドサブトラクションを行う請求項１６記載の装置。
18. 前記時間遅延ニューラルネットワークは、エルマンネットワークである請求項１６記載の装置。
19. 前記エルマンネットワークは、フィードバックとして前の時間ステップにおける隠れレイヤからの活性化のコピーを受信する追加の入力状態レイヤを有する多層パーセプトロンを有する請求項１８記載の装置。
20. 前記プロセッサは、モデル空間に適合する状態の数を決定することにより、全体のアイデンティティを確認するよう前記状態レイヤをトラバースすることにより前記少なくとも１つのオブジェクトを分類する請求項１９記載の装置。

Images