JP2004534315A - 移動対象物を監視する方法およびシステム - Google Patents
移動対象物を監視する方法およびシステム Download PDFInfo
- Publication number
- JP2004534315A JP2004534315A JP2003509404A JP2003509404A JP2004534315A JP 2004534315 A JP2004534315 A JP 2004534315A JP 2003509404 A JP2003509404 A JP 2003509404A JP 2003509404 A JP2003509404 A JP 2003509404A JP 2004534315 A JP2004534315 A JP 2004534315A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- time
- distribution
- search area
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
- G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
捜索領域を監視する際に使用する方法およびシステムは、捜索領域を表す画像データの各ピクセルに複数の経時的に変化する分布を提供することを含む。各ピクセルに対する複数の経時的に変化する分布は、経時的に変化する分布が捜索領域の背景情報または前景情報を表す確率に基づいて順序付けられる。更新ピクセル値データが捜索領域の背景情報と前景情報のどちらを表すかを判定するために、ピクセルごとに、更新ピクセル値データの、対応するピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれとの照合が試みられる。
【選択図】図１
【選択図】図１
Description
【技術分野】
【０００１】
本願は、参照により本明細書に組み込んだ２００１年６月２９日出願の「ＳＵＲＶＥＩＬＬＡＮＣＥ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＲＥＧＡＲＤＩＮＧ ＳＡＭＥ」という名称の米国仮出願第６０／３０２，０２０号の特典を請求する。
【背景技術】
【０００２】
本発明は、一般に、捜索領域を監視するためのシステムおよび方法に関する。より詳細には、本発明は、移動対象物の追跡、サーベイランスなど、様々な用途における捜索領域を監視することに関する。
【０００３】
様々な状況におけるセキュリティの提供は長い間に発展してきた。従来、セキュリティ産業は主としてその人的資源に頼っている。科学技術は常に高く評価されるわけではなく、時には疑念を以って見られることがある。例えば、セキュリティ産業で最新の普遍的に受け入れられている技術変化の一つに、警備保障員間の無線通信の採用があった。
【０００４】
セキュリティ産業では既にビデオ記録が用いられているが、一般に、そのような記録はまだ普遍的には採用されていない。例えば、ビデオ記録を全く使用せず専ら人間の労力に依存する部分がセキュリティ市場の大部分を占めている。人間の労力を使用する一例としては、司法当局が実行する監視操作の大部分がある。
【０００５】
一般に、セキュリティ産業のインフラストラクチャは次のように要約することができる。第１に、セキュリティシステムは、通常、局所的に働き、効果的に協力することはない。さらに、非常に価値の高い資産は、旧式の技術システムにより不十分な保護しか受けていない。最後に、セキュリティ産業は、脅威の状況を検出し評価するために徹底的な人間集中に依存する。
【０００６】
ビデオベースの監視を実現するために、近年ではコンピュータビジョンが採用されるようになった。コンピュータビジョンは、監視画像、画像セット、またはコンピューティング装置で行った計算からの画像シーケンスから世界に関する有用な情報を自動的に抽出し、解析することのできる理論的でアルゴリズムによる基準を開発する科学である。例えば、コンピュータビジョンは、クラッターのある環境における対象物の位置識別、構成要素が確実に存在し、または仕様通りに正確に位置することを保証するための対象物の検査または測定、および／または移動対象物の位置を大域座標系に対して決定するよう移動対象物を追跡するための対象物のナビゲーションおよびローカリゼーションに使用することができる。多くの場合、コンピュータビジョンの使用法は、軍事的用途に集中され、赤外線、レーザ、およびレーダなど、非可視帯カメラを使用してきた。例えば、軍事目標の識別に重点が置かれた。
【０００７】
しかし、コンピュータビジョンは、可視帯カメラを使用した非軍事設定におけるサーベイランス用途でも使用されてきた。例えば、このようなサーベイランスシステムは、人間および車両の動きを追跡するよう対象物認識を実行するために使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
様々なコンピュータビジョンシステムが当技術分野では知られている。例えば、コンピュータビジョン追跡は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混成モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）の記事に記載されている。しかし、このような追跡または監視システムおよび方法にはさらに高度な精度が要求される。
【０００９】
さらに、監視されるべきエリアで対象物を追跡するために対象物移動検出方法が使用可能だが、一般に、このようなシステムは、脅威の状況と脅威でない状況というような正常状況と異常状況を適切に評価する方法は提供しない。一般に、既存の民間セキュリティシステムはそのような評価を実行するために主として人間の注意力と労力に依存する。
【課題を解決するための手段】
【００１０】
以下の構成要素の１つまたは複数を含む監視方法およびシステムが本明細書に記載されている。例えば、このような構成要素は、光学構成要素、コンピュータビジョン構成要素、および／または脅威評価構成要素を含むことができる。
【００１１】
例えば、光学構成要素は、撮像装置の配置、較正シーン（例えば、単一画像）への撮像装置視野の融合、および／またはそれぞれのコンピュータ支援設計またはファイルに対する較正シーンの照合を含むことができる。さらに、例えば、コンピュータビジョン構成要素は、光学構成要素によって提供された較正シーンを対象に処理される移動対象物のセグメント化および追跡を含むことができる。さらにまた、脅威査定官は、コンピュータビジョン構成要素によって提供された注釈付き軌道データから推論することができる。
【００１２】
捜索領域を監視する際に使用する方法は、捜索領域を表す画像データのフレームを提供することを含む。画像データは、複数のピクセルに対するピクセル値データを含む。複数の経時的に変化する分布は、ピクセル値データに基づいてピクセルごとに提供される。捜索領域を表す更新画像データの少なくとも１つのフレームは、更新周期で提供される。画像データのフレームは、複数のピクセルのそれぞれに対する更新ピクセル値データを含む。方法は、各ピクセルに対する更新ピクセル値データの、ピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれとの照合を試みること、更新ピクセル値データがピクセルに提供された複数の経時的に変化する分布の１つと一致するか否かに基づいて各ピクセルに対する複数の経時的に変化する分布を更新することをさらに含む。各ピクセルに対する更新された複数の経時的に変化する分布は、ピクセルを背景情報と前景情報のどちらと見なすべきかを決定する際に使用するための捜索領域の背景情報または前景情報をその中の経時的に変化する分布が表す確率に基づいて順序付けられる。
【００１３】
方法の一実施形態では、各ピクセルに対する更新ピクセル値データの、複数の経時的に変化する分布のすべてのそれぞれとの照合を試みることは、ピクセルに狭い分布を提供すること、およびその狭い分布を、ピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれと比較すること（例えば、ピクセルに対して作成された狭い分布とピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれとの間の発散を計算すること）を含む。
【００１４】
方法の別の実施形態では、各ピクセルに対する複数の経時的に変化する分布は、狭い分布と、狭い分布が複数の経時的に変化する分布の１つと一致する場合は一致した分布とに基づいてプールされた分布を生成することによって更新される。方法は、更新された複数の経時的に変化する分布の順序内のプールされた分布の位置に基づいてピクセルが捜索領域の背景情報と前景情報のどちらを表すかを決定することも含むことができる。
【００１５】
方法のさらに別の実施形態では、各ピクセルに対する複数の経時的に変化する分布は、狭い分布が複数の経時的に変化する分布の１つと一致しない場合は、複数の経時的に変化する分布の１つを新しい分布で置き換えることによって更新される。さらに、その新しい分布が捜索領域の前景情報を表すことを保証することもできる。
【００１６】
さらに、方法は、１つまたは複数の移動対象物に対する対象物経路を決定するために捜索領域の１つまたは複数の移動対象物（例えば、前景情報に基づく移動対象物）を追跡することを含むことができる。追跡することは、前景情報を表すピクセル値データを有するピクセルに基づいてブロブを計算すること、および所定のピクセルエリアサイズよりも小さいブロブを除去することを含むことができる。さらに、追跡することは、複数の仮説追跡アルゴリズムを使用するなどして、１つまたは複数の移動対象物を表す対象物経路にブロブをグループ化することを含むことができる。
【００１７】
本発明による捜索領域を監視する際に使用するためのシステムも記載されている。システムは、捜索領域を表す画像データのフレームを提供するよう動作可能な１つまたは複数の撮像装置を含む。画像データは複数のピクセルに対するピクセル値データを含む。画像データのフレームは、更新周期で捜索領域を表す更新画像データの少なくとも１つのフレームを含み、更新画像データのフレームは、複数のピクセルのそれぞれに対する更新ピクセル値データを含む。システムは、上記の方法の様々な実施形態の特徴の１つまたは複数を実行するよう動作可能なコンピュータ装置をさらに含む。
【発明を実施するための最良の形態】
【００１８】
本発明による様々なシステムおよび方法を、図１〜２０を参照して説明する。一般に、本発明は、１つまたは複数の異なるタイプのアプリケーションモジュール１４が使用することができるデータを提供するコンピュータビジョンシステム１２を一般的に含む監視／検出システム１０を提供する。
【００１９】
本発明は、明確に限定はしないが、監視システム（例えば、セキュリティ市場を対象とした都市監視システム）を含む様々な目的に使用することができる。例えば、このような監視システムおよびそれに関連する方法は、大きなオープンスペースの監視および不規則または不審な行動パターンのピンポイントに特に有益である。例えば、このようなセキュリティシステムは、分離された事象を報告する現在使用可能なシステムと、例えば現在は一般に人間によって実行される機能である脅威を推論し、報告することのできる自動制御された共働ネットワークとの間のギャップを埋めることができる。
【００２０】
本発明のシステム１０は、駐車場などにおける歩行者と車両の追跡など、捜索領域で移動対象物を追跡し、そのような移動対象物に関する情報を、そのような情報を受け取り、解析するよう構成された１つまたは複数のアプリケーションモジュールに提供するように動作可能なコンピュータビジョンシステム１２を含む。例えば、図２に全体的に示され、図２を参照して説明される監視システムで、コンピュータビジョンシステムは、注釈付き軌道または移動対象物経路など、特定の特徴の報告を、例えば対象物経路は正常か異常か、すなわち対象物経路が強盗またはテロリストなどのような潜在的な脅威または脅威でない事象の特徴を示すか否かの解析など、報告されたデータを評価するための脅威評価モジュールに提供することができる。
【００２１】
本明細書に記載のシステムおよび方法の様々な別個の部分は、システムまたは方法の一実施形態を形成するよう別個に、または組合わせて共に使用することができるということに留意されたい。例えば、コンピュータビジョンシステム１２は、そのシステムによって生成された情報を、セキュリティ分野を超えて様々な目的のために１つまたは複数のアプリケーションモジュール１４によって使用することができるような方法で実施される。例えば、コンピュータビジョンシステム１２を使用して収集された交通統計を、建築工事のためにアプリケーションモジュール１４によって使用することができる。
【００２２】
そのような使用例の１つとして、一年のうちの様々な日時の駐車場の利用に洞察を与えるために交通統計を使用することがある。このような洞察は、輸送手段およびセキュリティの必要性により役立つよう、監視中のオープンスペース（例えば、駐車場、道路、車庫、歩行者専用区域など）の機能上の再デザインをサポートすることができる。
【００２３】
さらに、例えば、このようなデータを、交通パターン解析、歩行者解析、ターゲット識別、および／または任意の他のタイプの対象物認識および／または追跡アプリケーションのためのモジュール１４において使用することができる。例えば、別のアプリケーションは、販売促進を目的として百貨店の顧客の道程統計を提供することを含むことができる。
【００２４】
さらに、例えば、本発明の脅威評価モジュールを、コンピュータビジョンシステム以外のデータ獲得など、完全に異なる別個のデータ獲得システムによって提供されるデータとは別個に使用することができる。例えば、脅威評価モジュールは、レーダーシステム（例えば、飛行機パターンの提供、鳥の往来の提供など）、赤外線撮像システム（例えば、それによって検出された人間の追跡の提供など）のような、捜索領域の移動対象物の対象物経路またはそれに関する他の情報を提供することのできるいかなる他のタイプのシステムによっても利用することができる。
【００２５】
本明細書において使用するように、捜索領域は、本発明によって監視されるいかなる領域であってもよい。このような捜索領域は、いかなる特定のエリアにも限定されるものではなく、その中にあるいかなる周知の対象物をも含むことができる。例えば、このような捜索領域は屋内でも屋外でも、照明されていても照明されていなくても、地上であっても空中であってもよい。捜索領域の様々な実例は、部屋、車庫、駐車場、ロビー、銀行、上空の一領域、運動場、歩行者専用区域などのような画定されたエリアを含むことができる。
【００２６】
本明細書において使用するように、移動対象物は、捜索領域内で位置を変更することができる生物または無生物の如何なるものも意味する。例えば、移動対象物は、人間（例えば、歩行者、顧客など）、飛行機、自動車、自転車、動物などを含むことができる。
【００２７】
図１に全体的に示されている監視／検出システム１０の説明的な一実施形態では、監視／検出システム１０は、図２に示される監視システム２０として使用される。監視システム２０は、場面など捜索領域の画像データを獲得し、その中の前景データなど移動対象物を識別するためにそのような画像データを処理するコンピュータビジョンシステム２２を含む。脅威評価モジュールなど評価モジュール２４に提供される画像データの少なくとも一部として対象物経路または軌道を提供するために移動対象物が追跡される。
【００２８】
一般に、コンピュータビジョンシステム２２は、捜索領域の少なくとも一部、好適には外周縁によって範囲の定められた画定された捜索領域全体の有効範囲を可視帯カメラなど複数の撮像装置３０を使用して規定する光学デザイン２８を含む。複数の撮像装置のそれぞれは、コンピュータビジョンソフトウェアモジュール３２の１つまたは複数のルーチンを実施するために、対応する視野（ＦＯＶ）の画像ピクセルデータを、画像ピクセルデータを処理することができる１つまたは複数のコンピュータ処理装置３１に提供する。
【００２９】
一般に、図３のコンピュータビジョン方法１００に示すように、捜索領域内の複数の視野に関する画像ピクセルデータを獲得するために撮像装置を設置する際（ブロック１０２）に、コンピュータビジョンモジュール３２は、複数の撮像装置の様々な視野から形成されたグローバル座標系の複合画像など、単一画像を表す画像データを獲得するために（ブロック１０４）、複数の撮像装置の複数の視野（例えば、様々なローカル座標系の視野）の画像ピクセルデータを融合させるようそのような画像データを処理する。
【００３０】
その後、捜索領域内の移動対象物（例えば、前景ピクセル）を決定するために単一画像を前景と背景にセグメント化することができる（ブロック１０６）。次いで、移動対象物経路または軌道、および関連情報（例えば、対象物経路の長さ、移動対象物の検出回数のような計算された情報など）を提供するためにそのような移動対象物を追跡することができる（ブロック１０８）。
【００３１】
光学デザイン２８は、画定された捜索領域を最適に有効範囲とする撮像装置の配列の仕様を含むことが好ましい。光学システムデザインは、リアルタイムでコンピュータビジョンアルゴリズムを実行するために必須の計算資源の仕様も含む。このようなアルゴリズムは、画像を融合するために上記のような必須のものを含み、前景情報と背景情報のセグメント化、追跡などを規定する。さらに、最適システムデザインは、システムのユーザに情報を中継するための表示ハードウェアおよびソフトウェアを含む。例えば、コンピュータビジョンアルゴリズムは、捜索領域を完全に有効範囲とするために十分な計算能力を必要とする。したがって、そのようなアルゴリズムを実行するために５００ＭＨｚのプロセッサなど、少なくともミッドエンドのプロセッサが使用されることが好ましい。
【００３２】
市販のハードウェアおよびソフトウェア開発構成要素が使用され、オープンアーキテクチャ戦略が可能になることが好ましい。例えば、市販のパーソナルコンピュータ、カメラ、および組込み型でないソフトウェアツールが使用される。
【００３３】
例えば、コンピューティング装置３１は、本発明によるコンピュータビジョンアルゴリズムおよび／または評価アルゴリズムを実行するために使用される１つまたは複数のプロセッサベースのシステム、または他の専用ハードウェアであってよい。コンピューティング装置３１は、例えば、パーソナルコンピュータなど、１つまたは複数の固定式または移動式コンピュータシステムであってよい。コンピュータシステム構成は厳密にこの通りであるよう限定するものではなく、適切な計算機能を提供することができるいかなる１つまたは複数の装置の大部分が本発明によって使用することができる。さらに、コンピュータディスプレイ、マウス、キーボード、プリンタなどのような様々な周辺装置は、コンピューティング装置３１のプロセッサと組み合わせて使用されることを意図している。コンピュータビジョンアルゴリズムを実施するために使用されるコンピュータ装置は、脅威評価など、そのアルゴリズムから得られる特性データの評価を実行するために使用される装置と同じであっても、異なっていてもよい。
【００３４】
以下で詳述するコンピュータビジョン方法１００の好ましい一実施形態では、本発明は、ピクセルレベルでマルチノーマル表示を通しての移動対象物セグメント化を実行することが好ましい。このセグメント化方法は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡に使用する活動のパターン学習動作（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７４７〜７６７頁、２０００年、並びにＣ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混合モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）に様々な有利な変形と共に記載されているセグメント化方法と類似している。この方法は、各ピクセルの混合モデルの記述を更新しながら、画像データの各新フレームの前景ピクセルを識別する。
【００３５】
次いで、ラベリングされた、または識別された前景ピクセルを、好適には結合構成要素アルゴリズムを使用して対象物として組み立てることができる。フレーム間の対象物の対応を確立すること（すなわち、追跡）は、位置とサイズの両方を組み込む線形予測の複数仮定追跡アルゴリズムを使用して達成することが好ましい。
【００３６】
カメラなど単一の撮像装置は駐車場のような大きなオープンスペース全体を有効範囲とすることができないので、全般的な認識を維持するために一貫した単一画像に様々なカメラの視野が融合される。カメラなど複数の撮像装置のこのような融合（または一般的に較正と称される）は、コンピューティングホモグラフィ行列によって達成されることが好ましい。計算は、数対のカメラの間で共通してオーバーラップする視野領域にある複数の標識点の識別に基づく。
【００３７】
脅威評価モジュール２４は、脅威分類子４８が従うフィーチャー・アセンブリ・モジュール４２を含むことが好ましい。フィーチャー・アセンブリ・モジュール４２は、対象物経路、すなわち対象物トラック、または群の経路から様々なセキュリティ関連統計を抽出する。脅威分類子４８は、特徴となる捜索領域の移動対象物など特定の対象物経路が脅威を構成するか否かを、好適にはリアルタイムで決定する。脅威分類子４８は、脅威の対象物経路と脅威でない対象物経路、もしくは脅威の事象または脅威でない事象に関する対象物経路情報を定義するために使用することができる脅威モデリング訓練モジュール４４によって支持することができる。
【００３８】
図面をさらに参照すると、本発明は、図３のコンピュータビジョン方法における画像装置の設置によって全体的に示される（ブロック１０２）異なる光学撮像デザイン２８（図２を参照のこと）をいくつでも使用することができる。しかし、本発明は、複数の撮像装置３０が他のマルチ撮像装置システムより優れた利点を得るために慎重に設置される光学デザイン２８を提供することが好ましい。本発明による好ましいカメラ設置デザインにより、セキュリティ中断の脅威の原因となりうる死角ができないようにするために監視中のオープンスペースが完全に有効範囲となるよう保証される。
【００３９】
ビデオセンサおよび複数の画像装置からのデータを処理するための計算能力は安価になりつつあり、したがってオープンスペースに対する有効範囲を提供するために大量に使用することができるが、大部分の安価なビデオセンサは高品質の対象物追跡に対処するために要求される解像度を有しない。したがって、遠方監視用途のビデオ画像装置は依然としてやや高額であり、撮像装置の数を減らすことによってシステム費用の大幅な削減を実現している。使用されるカメラは、屋外エリアで使用するために全天候型であることが好ましい。しかし、これは追加費用を生じる。
【００４０】
さらに、時には処理設備から非常に遠距離への電力供給およびビデオ信号伝送を含む据付費により、システムは最小台数のカメラの使用を余儀なくされる。例えば、各カメラの据付費は、通常、カメラ原始価格の数倍にのぼる。
【００４１】
さらに、エリアの地形（例えば、道路、並木）により、また市および建築物の条例（例えば、美観）など、他の理由により使用されるカメラの台数に制約が課せられる場合もある。
【００４２】
要約すると、上記の考慮事項に鑑みて、監視システムに許可されるカメラ台数を最低限に抑えることが好ましい。さらに、他の光学システムデザイン考慮事項は、計算資源のタイプ、コンピュータネットワーク帯域幅、およびシステムに関連する表示機能を含むことができる。
【００４３】
光学デザイン２８は、図３のブロック１０２に全体的に示され、図４に示される光学デザイン２８を提供するさらに詳細な説明的な一実施形態にある撮像装置３０の選択的な設置によって提供されることが好ましい。本明細書で使用される光学デザインは撮像装置の実際の物理的な配置、並びにそのような撮像装置のデザインプランのシミュレーションおよび提示を意味することを理解されたい。
【００４４】
光学デザインプロセス（ブロック１０２）は、捜索領域を最初に定義することによって（ブロック１２０）開始される。例えば、本明細書で既に説明した捜索領域は、駐車場、ロビー、車道、上空の一部などのような監視されるべき様々な領域のどれでも含むことができる。
【００４５】
定義された捜索領域を有効範囲とする際に使用するために複数の撮像装置が提供される（ブロック１２２）。複数の撮像装置のそれぞれは、視野を有し、以下で詳述するようにそれを表す画像ピクセルデータを提供する。
【００４６】
複数の撮像装置は、本発明で使用するための画像ピクセルデータを提供することができるいかなるタイプのカメラでも含むことができる。例えば、単一または二重チャネルカメラシステムを使用することができる。昼間は中解像度カラーカメラとして機能し、夜間は高解像度グレイスケールカメラとして機能する二重チャネルカメラシステムが使用されることが好ましい。昼間動作から夜間動作への切り替えは、光センサによって自動的に制御される。二重チャネル技術は、夜間の低光条件ではカラー情報が失われるという事実を利用している。したがって、夜間の条件においてカラーカメラを使用する理由はない。代わりに、カラー情報の損失を補うために、より安価でより解像度の高いグレイスケールカメラを使用することができる。
【００４７】
例えば、撮像装置は、Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（Ｔｒｏｙ、Ｍｉｃｈｉｇａｎ）から市販されているＤＳＥ ＤＳ−５０００二重チャネルシステムであってよい。昼間用カラーカメラは、フレーム当たりＨσ＝４８０走査線の解像度を有する。夜間用グレイスケールカメラは、フレーム当たりＨｎ＝５７０走査線の解像度を有する。ＤＳＥ ＤＳ−５０００カメラシステムは、昼間用カメラと夜間用カメラの両方のために２．８〜６ミリメートルｆ／１．４可変焦点自動絞りレンズを有する。これは、カメラの視野を４４．４度から８２．４度の範囲で変更することを可能にする。
【００４８】
デザイン上の考慮事項のために、必須の計算を実行する際に使用するのに適した視野が選択される。例えば、そのような計算に対してはＦＯＶ＝６０度の中間値を選択することができる。以下で詳述するオーバーラップに関する制約を満たすために、この値からカメラの１つまたは複数のＦＯＶを増減させることができる。
【００４９】
光学デザイン２８は、上記のように費用を削減するために、駐車場、上空など、画定された捜索領域全体の有効範囲に最低台数のカメラを提供することが好ましい。しかし、多くの環境では、カメラを設置するための据付空間は捜索領域の地形によって限定される。例えば、道路の中央にカメラのポールを置くことはできない。しかし、可能な限り既存の電柱および屋上を使用することができる。
【００５０】
このような地形的考慮事項に鑑みて、画定された捜索領域のコンピュータ支援設計の様々な可能なカメラ据付場所を図示することができる。しかし、据付探索空間は、コンピュータビジョンアルゴリズムによってそれに課された制約によってさらに縮小することができる。例えば、都市監視システムは、車両と人間という２種類の対象物を監視することができる。サイズの点では、人間が監視対象としては最も小さい対象物である。したがって、人間のフットプリントは、以下で詳述するようにカメラの限定範囲に対する要求を助長する。このような限定範囲は、監視されている最少の対象物に少なくとも一部には基づく。反対に、限定範囲の決定は、駐車場に所与のカメラ構成では有効範囲とならない空間があることを確認する際に役立つ。
【００５１】
カメラなど、各撮像装置は、少なくとも１つの他の撮像装置とオーバーラップする視野を有することが好ましい。オーバーラップするエリアの索引付けによって１つのカメラから別のカメラへの遷移が容易に達成され、中断なしに単向移動ですべてのカメラの前を通過できるように、オーバーラップする配列を構成することが好ましい。このような索引付けは、撮像装置の視野を、以下で詳述するような有効な方法で既に融合されている他の撮像装置の視野と融合することを可能にする。
【００５２】
視野のオーバーラップは、好適には２５パーセントより大きくすべきであり、より好適には３５パーセントよりも大きくすべきである。さらに、このようなオーバーラップは、カメラの使用可能な視野を有効活用するためには好適には８５パーセントよりも少なく、より好適には５０パーセントよりも少ない。このようなパーセンテージの要求は、マルチカメラ較正アルゴリズム（すなわち、融合アルゴリズム）が確実に実行することを可能にする。正確なホモグラフィ用の共通の視野で良好に分散した複数の標識点を獲得するためにこのオーバーラップのパーセントが必要とされる。例えば、通常、オーバーラップするエリアの複数部分は、目標を提供するために利用することはできない。何故ならば、オーバーラップするエリアは、並木など、平面的でない構造によって覆われているからである。したがって、２つのカメラの間の共通エリアにはそれぞれの視野の半分を有効範囲とすることを要求することができる。
【００５３】
したがって、図４に示すように、各撮像装置の視野の少なくとも２５％が少なくとも１つの他の撮像装置の視野とオーバーラップするように各撮像装置が設置される（ブロック１２４）。捜索領域が設置された撮像装置の有効範囲とされる場合、撮像装置の構成の配列は完成する（ブロック１２８）。しかし、捜索領域が完全に有効範囲とされていない場合（ブロック１２６）、追加の撮像装置が設置される（ブロック１２４）。
【００５４】
さらに詳細なカメラ配置プロセス２０２の説明を図５に示す。カメラ配置アルゴリズムまたはプロセス２０２では、捜索領域が画定されている（ブロック２０４）。例えば、捜索領域は、外周縁を有する縁によって画定することができる。駐車場２２４が捜索領域に画定された一例を図６に示す。図から分かるように、道路７１は、外周縁の少なくとも一部として機能する。
【００５５】
また、カメラ配置アルゴリズムまたはプロセスにさらに従い、それぞれが視野を有する複数のカメラが設置される（ブロック２０６）。第１に、１つの据付場所では、その視野が捜索領域の外周縁の少なくとも一部と接するように最初のカメラが配置される（ブロック２０８）。すなわち、視野は、外周縁の少なくとも一部に沿った領域を有効範囲とする。
【００５６】
したがって、最初の据付場所の最初のカメラによって有効範囲とされるエリアに隣接した領域を有効範囲とするために、適宜、カメラが最初のカメラの周囲に追加される（ブロック２１０）。例えば、外周縁の別の部分に達するまでカメラを配置することができる。このような有効範囲の導入を図６に示す。図に示すように、図面下部の外周縁の領域を有効範囲とするように最初のカメラが据付場所３３に配置され、駐車場に隣接する道路７１など、図面上部の外周縁に沿った領域をカメラが有効範囲とするまでカメラが配置され続ける。
【００５７】
各カメラが配置されると、オーバーラップ量を決定する必要がある。好適には、隣接視野の少なくとも約２５パーセントのオーバーラップが達成されていることを確認すべきである（ブロック２１４）。さらに、据え付けられたカメラのそれぞれに対して限定範囲が計算される（ブロック２１２）。視野と限定範囲を認識することによって、以下で詳述するように各カメラに対する完全に有用な有効範囲エリアが達成される。これらに鑑みて、カメラまたはカメラの視野の位置に対して調整を行うことができる。
【００５８】
最初の据付場所でのカメラの設置が完了すると、捜索領域全体が有効範囲とされているか否かが決定される（ブロック２１６）。捜索領域が有効範囲とされている場合、限定された平面空間によるなど、地形上の制約のために必要とされる可能性があるような最後の調節がなされる（ブロック２２０）。
【００５９】
捜索領域全体が有効範囲とされていない場合、カメラは１つまたは複数の他の据付場所に同様の方法で設置される（ブロック２１８）。例えば、最初の据付場所でカメラが有効範囲としたエリアの直ぐ外側である次の据付場所にこのようなカメラが配置され続ける。しかし、追加の据付場所の追加のカメラの少なくとも１つの視野は、最初の据付場所のカメラの視野の１つと少なくとも２５パーセントはオーバーラップすることが好ましい。追加の据付場所の使用は、捜索領域全体が有効範囲とされるまで反復される。
【００６０】
上記から分かるように、様々な他の配置後調節が必要とされる場合がある（ブロック２２０）。これらは、通常、カメラの１つまたは複数の視野の増減を伴う。視野の調節は、平面空間がほとんどない場合（例えば、樹木が多い場合など）、幾分かの余分なオーバーラップを切り捨てるか、エリアに幾分かの特別なオーバーラップを追加することになる。
【００６１】
特に、このような調節を行う際に役立つようにカメラの限定範囲Ｒｃの計算が使用される。これは、次の等式から計算される。
Ｒｃ＝Ｐｆ／ｔａｎ(ＩＦＯＶ)
上式で、Ｐｆは、人間など監視されている対象物の最小の許容可能なピクセルフットプリントであり、ＩＦＯＶは瞬間視野である。
【００６２】
例えば、人体のシグネチャは、焦点面配列（ＦＰＡ）のｗ×ｈ＝３×９＝２７ピクセルの長方形よりも小さくなるべきではない。２７ピクセルより少ないピクセルを有するクラスタは雑音レベル以下になる可能性がある。平均的な人間の身体の幅を約Ｗｐ＝６１ｃｍ（２４インチ）とすると、ピクセルフットプリントＰｆ＝２４／３＝８である。ＩＦＯＶは次の公式から計算される。
ＩＦＯＶ＝ＦＯＶ／ＬＦＰＡ
上式で、ＬＦＰＡはカメラの解像度である。
【００６３】
例えば、ＦＯＶ＝６０度、およびＬＦＰＡ＝４８０ピクセル（昼間用カラーカメラ）の場合、限定範囲はＲｃ＝９２．９６ｍ（３０５フィート）である。ＦＯＶ＝６０度、およびＬＦＰＡ＝５７０ピクセル（夜間用グレイスケールカメラ）の場合、限定範囲はＲｃ＝１１０．３ｍ（３６２フィート）である。すなわち、同じＦＯＶの２台のカメラでは、解像度の高いカメラの方が有効範囲が大きい。反対に、２台のカメラが同じ解像度を有する場合、ＦＯＶの小さい方が有効範囲が大きい。したがって、配置後調節中（ブロック２２０）、カメラの有効範囲限界を増やすために、カメラの視野を、例えば６０度のＦＯＶから、昼間用の解像度の低いカメラチャネルのいくつかでＦＯＶ＝５２度にするなど、減らすことができる。
【００６４】
光学デザイン２８は、監視システム２０の有効性にとって重要である。光学デザインに使用される原理、アルゴリズム、および計算は、駐車場またはオープンスペースなど、任意の他の定義された捜索領域での撮像装置に対する光学デザインを提供する際に使用するように自動制御とすることができる。
【００６５】
１つの説明的な光学デザイン２２２の少なくとも一部を図６に示す。道路７１および建物２２６によって少なくとも部分的に画定された駐車場である捜索領域２２４全体を有効範囲とするよう７台のカメラが設置される。
【００６６】
複数のパーソナルコンピュータの１つを、以下で詳述するように、７台すべてのカメラからの画像ピクセルデータの融合を実行することができるサーバに指定して、各カメラは情報を処理するために１台の専用標準型パーソナルコンピュータを有することができる。当業者ならば、すべての処理が十分な計算能力を有する単一または複数のコンピュータシステムによって実際に実行されるようにして、いかなるコンピュータセットアップでも使用することができることを理解するだろう。
【００６７】
図６に示すように、有効範囲は、３つの据付場所３３、３５、および３７に設置されたカメラ３０によって提供される。簡約化のため、４台のカメラ３０を第１の据付場所３３に設置し、追加のカメラ３０を据付場所３５に設置し、他の２台の追加のカメラ３０を第３の据付場所３７に設置する。図６に示すような視野７０により、またカメラ３０相互の視野７０間の少なくとも２５％のオーバーラップ７２により、駐車場２２４全体を撮像することができる。
【００６８】
さらに図３を参照すると、複数の視野に関して画像ピクセルを獲得するように撮像装置３０を設置することにより、画像ピクセルデータは好適に融合される（ブロック１０４）。融合された画像情報は、例えば任意の注釈（例えば、画像の取得時刻のような画像の関連情報）と共に、複数の断片化された風景に注意を散らすことなくユーザが即座に気付くことができるようにするいかなるディスプレイ上にでも表示することができる。画像融合方法１０４の説明的な一実施形態を図７の図面に示す。
【００６９】
図７に示すように、複数のオーバーラップする視野に対する画像ピクセルデータが提供される（ブロック２３０）。一般に、広大な捜索領域の監視は、複数のカメラ撮像装置を調整して使用することによってのみ達成することができる。好適には、すべての撮像装置の有効範囲とされる地理的捜索領域全体を通した人間と車両のシームレスな追跡が望まれる。捜索領域の単一画像を提供するために、局所座標系を有する個々の撮像装置の視野を融合するか、またはこれを大域座標系と結合する必要がある。この場合、移動対象物の対象物経路は、複数の断片化された風景とは反対に大域座標系に対して登録することができる。
【００７０】
複数の撮像装置登録または融合（一般的に較正とも呼ばれる）を達成するために、第１の対の撮像装置に対してホモグラフィ変換が計算される。その後、以前に計算されたホモグラフィ変換に追加撮像装置の視野を追加するためにホモグラフィ計算を実行することができる。この方法は、隣接する数対の撮像装置の視野の間に存在するオーバーラップ部分を利用する。さらに、上述のように１台の撮像装置の視野から次の撮像装置の視野へ、さらにその次へと索引付けすることができるように視野が好適に設定されているので、追加の撮像装置は系統的で有効な方法でホモグラフィ変換に連続的に追加される。
【００７１】
すなわち、第１のホモグラフィ変換行列が、オーバーラップ部分を有する第１と第２の撮像装置に対して計算される。この結果、第１と第２の撮像装置の両方に対する大域座標系が得られる。その後、第１と第２の撮像装置に関して計算されたホモグラフィ行列に加え、第２と第３の撮像装置の視野のオーバーラップする部分の標識点を用いてホモグラフィ変換行列を計算することにより、第２の撮像装置とオーバーラップする第３の撮像装置が第１と第２の撮像装置に融合される。この結果、３台の撮像装置すべて、すなわち第１、第２、および第３の撮像装置に対するホモグラフィ変換、つまり３台の撮像装置すべてに対する大域座標系が得られる。このプロセスは、撮像装置すべてに対して単一の大域座標系を得るために、すべての撮像装置が追加されるまで続けられる。
【００７２】
撮像装置に対するホモグラフィ変換を計算する際（ブロック２３４）に使用するために、一対の撮像装置に対する一対の視野のオーバーラップする部分の複数の標識ピクセル座標が特定される（ブロック２３２）。１つの撮像装置が１つまたは複数の他の撮像装置に融合される時、オーバーラップする部分の少なくとも４つの点のピクセル座標が使用される（ブロック２３４）。
【００７３】
オーバーラップする部分の点は、それに対して１つの行列を計算中の２つの撮像装置の視野の間のオーバーラップする部分に入る物理的な地面上の点の投影である。これらの点は、撮像装置３０の据付中に選択され、地面に物理的にマーク付けされる。その後、変換行列を計算する際に対応する投影された画像点を使用することができるように、対応する投影された画像点をユーザがグラフィカルユーザインターフェースによってサンプリングすることができる。
【００７４】
この物理的なマーキングプロセスは、光学デザイン２８の導入開始時にのみ必要とされる。撮像装置の相互登録は一度完了すると繰り返す必要はない。
【００７５】
ホモグラフィ計算は、いかなる周知の方法でも実行することができる。ホモグラフィ変換行列を計算するための１つの方法は、Ｌ．Ｌｅｅ、Ｒ．Ｒｏｍａｎｏ、およびＧ．Ｓｔｅｉｎ著、「複数ビデオストリームからアクティビティを監視（Ｍｏｎｉｔｏｒｉｎｇ ａｃｔｉｖｉｔｉｅｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｖｉｄｅｏ ｓｔｒｅａｍｓ）：共通座標フレームを確立（Ｅｓｔａｂｌｉｓｈｉｎｇ ａ ｃｏｍｍｏｎ ｃｏｏｒｄｉｎａｔｅ ｆｒａｍｅ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７５８〜７６７頁（２０００年）に記載のいわゆる最小二乗法である。しかし、使用はできるが、この方法は、通常は偏った推定のために等式の制約を受けたシステムに対して不十分な解決策しか提供しない。さらに、特別な事象が発生している時には、一般的なホモグラフィ計算を有効に特化することができない可能性がある。
【００７６】
好適には、Ｋ．Ｋａｎａｔａｎｉ著、「信頼性測定のある最適ホモグラフィ計算（Ｏｐｔｉｍａｌ ｈｏｍｏｇｒａｐｈｙ ｃｏｍｐｕｔａｔｉｏｎ ｗｉｔｈ ａ ｒｅｌｉａｂｉｌｉｔｙ ｍｅａｓｕｒｅ）」、ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ議事録、日本国、千葉、幕張、４２６〜４２９頁（１９９８年１１月）に記載のアルゴリズムがホモグラフィ行列を計算するために使用される。このアルゴリズムは、Ｋ．Ｋａｎａｔａｎｉ著、「幾何学的コンピュータビジョンに対する統計的最適化（Ｓｔａｔｉｓｔｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｇｅｏｍｅｔｒｉｃ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」、Ｅｌｓｅｖｉｅｒ Ｓｃｉｅｎｃｅ、オランダ、アムステルダム（１９９６年）に記載の幾何学コンピュータビジョンのための統計的最適化理論に基づいている。このアルゴリズムは、最小二乗法が呈する不備を解決するものと考えられる。
【００７７】
Ｋａｎａｔａｎｉの著書に記載されているアルゴリズムの基本前提は、撮像問題の統計的な性質により、エピポーラ制約は様々な雑音源によって破られる可能性がある。図８の図面２４０に示すように、撮像問題の統計的性質はエピポーラ制約に影響を与える。Ｏ１およびＯ２は、対応する撮像装置２４２と２４４の光心である。Ｐ（Ｘ，Ｙ，Ｚ）は、共通エリア２４６、すなわち一対の撮像装置の２つの視野の間のオーバーラップする部分に入る捜索領域内の１点である。ベクトル
【００７８】
【数１】
【００７９】
は共面であると理想的である。しかし雑音のある撮像プロセスのため、実際のベクトル
【００８０】
【数２】
【００８１】
は共面ではない。ホモグラフィ変換の計算は当技術分野では周知なので、本明細書で提供する情報は簡約化した。Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎ著、「コンピュータビジョンにおける複数ビュー幾何学（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」、ケンブリッジ大学出版、６９〜１１２頁（２０００年）から、より詳細な情報を得ることができる。
【００８２】
上記のように、また決定ブロック２３６およびループブロック２３９によって示されるように、撮像装置のＦＯＶのすべてを融合するために、ホモグラフィ変換が計算される。そこに示されているように、ＦＯＶのすべてがまだ融合済みでない場合、追加のＦＯＶを融合すべきである（ブロック２３９）。すべてのＦＯＶが一度他に登録されると、画像ピクセルデータを大域座標系の単一画像に融合するためにホモグラフィ変換行列が使用される（ブロック２３８）。
【００８３】
ホモグラフィ変換行列は、対応する一対の撮像装置に対して１つの視野の複数の点と別の視野の複数の点との間の関係を完全に記述しているので、様々な撮像装置の画像ピクセルデータのこのような融合が可能である。このような融合は撮像装置の較正と呼ぶこともできる。
【００８４】
様々な視野のピクセルが大域座標系の座標に提供される。ピクセルが特定の一組の座標に対して存在する場合、当該特定の一組の座標に対するピクセル値を提供するために平均化技法が使用される。例えば、視野のオーバーラップ部分にピクセル値を割り当てる際にこのような平均化が使用される。カメラのそれぞれからのオーバーラップ部分の特定の一組の座標に対するピクセル値が同じになるように、このシステムでは同等のカメラを使用することが好ましい。
【００８５】
図３をさらに参照すると、画像ピクセルデータが複数の視野に対して一度融合されると（ブロック１０４）、前景情報を背景情報からセグメント化するなど、捜索領域での移動対象物のセグメント化が実行される（ブロック１０６）。様々な移動対象物セグメントの任意の１つを使用することができる。しかし、以下で詳述するように、画像の各ピクセルに対して複数の経時的に変化する正規分布を使用する方法が好ましい。
【００８６】
静止したカメラに関して移動対象物のセグメント化のために使用することができる２つの従来の方法は、Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ、Ｐ．Ｊ．Ｂｕｒｔ、およびＧ．Ｓ．Ｖａｎ Ｄｅｒ Ｗａｌ著、「角錐変換技術を用いた変化検出および追跡（Ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐｙｒａｍｉｄ ｔｒａｎｓｆｏｒｍ ｔｅｃｈｎｉｑｕｅｓ）」、ＳＰＩＥ−ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ議事録、マサチューセッツ州、ケンブリッジ、第５７９巻、７２〜７８頁（１９８５年９月１６〜２０日）に記載の時間差と、Ｉ．Ｈａｒｉｔａｏｇｌｕ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｓ．Ｄａｖｉｓ著、「Ｗ／ｓｕｐ ４／ｓ：２ １／２で人を検出し且つ追跡する実時間システム（Ａ ｒｅａｌ−ｔｉｍｅ ｓｙｓｔｅｍ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｎｄ ｔｒａｃｋｉｎｇ ｐｅｏｐｌｅ ｉｎ ２ １／２ｄ）」、５ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ議事録、ドイツ、フライブルク、第１巻、８７７〜８９２頁（１９９８年６月２〜６日）に記載の背景の差し引きとを含む。時間差は、動的な環境には非常に順応性があるが、すべての関連する対象物のピクセルを抽出する適切な機能は提供しない場合がある。背景の差し引きは、最も完全な対象物データを提供するが、照明および無関係な事象による動的な場面の変化には非常に影響されやすい。
【００８７】
他の順応性のある背景化方法は、Ｔ．Ｋａｎａｄｅ、Ｒ．Ｔ．Ｃｏｌｌｉｎｓ、Ａ．Ｊ．Ｌｉｐｔｏｎ、Ｐ．Ｂｕｒｔ、およびＬ．Ｗｉｘｓｏｎ著、「共働マルチセンサビデオ監視における進展（Ａｄｖａｎｃｅｓ ｉｎ ｃｏｏｐｅｒａｔｉｖｅ ｍｕｌｔｉ−ｓｅｎｓｏｒ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ）」、ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ議事録、カリフォルニア州、モンテレー、３〜２４頁（１９９８年１１月）に記載されており、環境のダイナミズムにより有効に対応することができる。しかし、これらは依然としてバイモーダル背景を処理するには不十分な場合があり、多くの移動対象物のある場面では問題がある。
【００８８】
Ｓｔａｕｆｆｅｒ他の著書は、ピクセルレベルでの法線混合表現に基づくより高度な対象物検出方法を記載している。この方法は、遥かに順応性に富み、バイモーダル背景（例えば、揺れる木の枝）を処理することができるという特徴を有する。この方法は強力な表現方式を提供する。各ピクセルに対する法線混合の各法線は、同じ場面ポイントのサンプルがガウス雑音分布を表示する可能性がある期待値を反映する。法線混合は、複数のプロセスを経時的に観察することができる期待値を反映する。さらに、Ａ．Ｅｌｇａｍｍａｌ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｄａｖｉｓ著、「背景減法のための非パラメトリックモード（Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ ＦＲＡＭＥ−ＲＡＴＥ Ｗｏｒｋｓｈｏｐ議事録、ギリシャ、コルフ、ｗｗｗ．ｅｅｃｓ．ｌｅｈｉｇｈ．ｅｄｕ／ＦＲＡＭＥ（２０００年９月）は、正常の核関数によって密度推定が達成される法線混合モデルの一般化を提案している。
【００８９】
一般に、法線混合パラダイムは、厄介な屋外の状況で適切な結果を提供する。これは、本発明による好ましい移動対象物セグメンターに対するベースラインアルゴリズムである。この方法は、本発明の１つまたは複数の実施形態に従って、Ｓｔａｕｆｆｅｒ他によって記載の形式で、もしくは好適には本明細書に記載のように変更されて使用することができる。
【００９０】
上記のように、Ｓｔａｕｆｆｅｒ他の著書に記載のプロセスに類似のセグメント化プロセス１０６が本発明に従って使用されることが好ましい。しかし、Ｓｔａｕｆｆｅｒによるプロセスは、以下で特に図１２Ａと１２Ｂの比較を参照して詳述するように変更される。
【００９１】
一般に、図９の流れ図と図１０のブロック図の両方に示されるようなセグメント化プロセス１０６は、捜索領域に対応するピクセルに対する統計値を提供するために使用される初期化の段階２５０を含む。その後、着信更新ピクセル値データが受け取られ（ブロック２５６）、セグメント化プロセス１０６の更新周期段階２５８で使用される。
【００９２】
図９および１０に示され、これらを参照して説明されるように、初期化段階２５０の目標は、場面に対応するピクセルに対して統計的に有効な値を提供することである。この場合、これらの値は前景および背景認識の動的処理の開始点として使用される。初期化段階２５０は一度だけ行われ、リアルタイムで実行する必要はない。初期化段階２５０で、ピクセル値データの特定数のフレームＮ（例えば、Ｎ＝７０）が捜索領域の複数のピクセルに提供され（ブロック２５１）、オンラインまたはオフラインで処理される。
【００９３】
図１０に説明のために示した複数の経時的に変化する正規分布２６４は、少なくともピクセル値データに基づいて捜索領域の各ピクセルに提供される（ブロック２５２）。例えば、各ピクセルｘは、５つの経時的に変化する三変数正規分布の混合と見なされる（但し、分布は幾つでも使用することができる）。
【００９４】
【数３】
【００９５】
上式で、
【００９６】
【数４】
【００９７】
は混合割合（重み付け）であり、Ｎ３（μ、Σ）はベクトル平均μと分散−共分散行列Σによる三変数正規分布を示す。この分布は、カラーカメラの一般的な事例での各ピクセルの３つの成分色（赤、緑、および青）に相当する三変数である。次に留意されたい。
【００９８】
【数５】
【００９９】
上式で、ｘＲ、ｘＧ、およびｘＢは、特定ピクセルに対してカメラの赤、緑、および青のチャネルから受け取られた測定値を表している。
【０１００】
簡約化のために、分散−共分散行列は、すべての成分は横断しないが、各法線成分内に同一の分散を有するｘＲ、ｘＧ、およびｘＢと対角であると仮定される（すなわち、ｋ≠１成分の場合、σ２ ｋ≠σ２ ｌ）。したがって、
【０１０１】
【数６】
【０１０２】
である。
複数の経時的に変化する正規分布は、その経時的に変化する正規分布が捜索領域の背景または前景を表す確率に基づいて各ピクセルに対して最初に順序付けされる。複数の経時的に変化する正規分布２６４のそれぞれは前景または背景とラベリングされる。そのような順序付け、および背景２８０または前景２８２でのラベリングは、全体的に図１２Ａに示され、以下で更新周期段階２５８に関して詳述される。
【０１０３】
文献で報告されている他の使用できる方法は、ランダムに、またはＫ平均アルゴリズムによってピクセル分布を初期化する。しかし、ランダムな初期化は、動的混合モデル更新段階での学習を遅らせることがあり、不安定さの原因とさえなる場合がある。Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎ著、「ＥＭアルゴリズム（吟味した）を経た不完全データからの最尤度（Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ ｉｎｃoｍｐｌｅｔｅ ｄａｔａ ｖｉａ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ（ｗｉｔｈ ｄｉｓｃｕｓｓｉｏｎ））」、Ｊｏｕｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｂ、第３９巻、１〜３８頁（１９７７年）に記載のＫ平均または期待値−最大化（ＥＭ）法による初期化からはよりよい結果が得られる。ＥＭアルゴリズムは、計算集約的でありオフラインの初期化プロセスには約１分が掛かる。人間と車両の交通量が少ない上記の説明のための駐車場の応用例では、短期間のオフライン間隔は問題ではない。ＥＭ初期化アルゴリズムは、天候条件が動的な場合（例えば、速く移動する雲）はより有効に機能することができるが、監督下にあるエリアが往来の激しいオープンスペース（多くの移動する人間と車両）の場合はオンラインによるＫ平均初期化が好ましい場合がある。
【０１０４】
各ピクセルに対する初期の混合モデルは、初期化段階２５０の後で動的に更新される。更新機構は、更新画像データまたは着信証拠（例えば、更新ピクセル値データを提供する新しいカメラフレーム）の提示に基づいている（ブロック２５６）。セグメント化プロセスのいくつかの構成要素は、更新周期段階２５８の更新周期中に変更または更新される場合がある。例えば、いくつかの分布の形式を変更することができる（例えば、変更重み付けπｉ、変更平均μｉ、および／または変更分散σ２ ｉ）。いくつかの前景状態は背景に戻ることができ、またその反対も可能である。さらに、例えば、既存の分布の１つは破棄され、新しい分布がこれに取って代わることができる。
【０１０５】
どの時点でも、最強の証拠を有する分布は、ピクセルの最も確率の高い背景状態を表すものと見なされる。図１１は法線混合モデルを視覚化したものであり、図１０は混合モデルの更新機構を示している。図１１は、複数時点（ｔ０〜ｔ２）で簡約化のために一色だけで表示される複数の法線２６４を示している。画像２６６、２６８、および２７０のピクセル２６３に対して図示するように、より強力な証拠による分布、すなわち分布２７１は、画像２６６では夜間、画像２６８では昼間の道路であるピクセルを示している。しかし、ピクセル２６３が画像２７０に示すように移動中の自動車２６７を表す場合、ピクセル２６３は遥かに弱い分布２７３によって表される。
【０１０６】
図９にさらに示すように、各ピクセルに対する更新周期２５８は以下のように進み、そのピクセルが背景か前景かを決定することを含む（ブロック２６０）。第１に、アルゴリズムは、ピクセルに対する少なくとも更新ピクセル値データに基づいて各ピクセルに対して経時的に変化する正規分布とそれらのパラメータとの混合を更新する（ブロック２５７）。更新の性質は、照合オペレーションおよび／またはピクセル値データの結果に基づくことができる。
【０１０７】
例えば、更新ピクセル値に対して狭い分布を生成することができ、その狭い分布をそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合することを試みることができる。一致が見られると、以下で詳述する積率法を使用して更新を実行することができる。さらに、例えば、一致が見られない場合、最も弱い分布を新しい分布で置き換えることができる。以下で詳述するように前景セットに新しい分布が含まれることを保証するために更新プロセスのこの種の置き換えを使用することができる。
【０１０８】
その後、ピクセルごとに更新された複数の正規分布が、分布が前景または背景ピクセルデータである確率を示すそれらの重み付け値に基づいて降順などに再度順序付けられ、ラベリングされる（ブロック２５９）。次いでそれぞれのピクセルの状態は、更新され照合された分布（例えば、それぞれの更新ピクセル値を表す狭い分布によって照合された分布）が前景とラベリングさているか、背景とラベリングされているか、更新された分布が前景を表す新しい分布を含むか否か（例えば、一致しないために生成された新しい分布）など、順序付けられ、ラベリングされて更新された分布に基づいて前景または背景の状態とすることができる（ブロック２６０）。
【０１０９】
更新周期の順序付けプロセスの一実施形態では（ブロック２５９）、順序付けアルゴリズムが、割り当てられた重み付けに基づいて複数の正規分布を順序付ける。例えば、順序付けアルゴリズムは、証拠７の事前定義された断片に相当する複数の経時的に変化する正規分布の最初のＢ分布を選択する。
【０１１０】
【数７】
【０１１１】
上式で、ｗｊ，ｉ＝１，．．．，ｂは分布の重み付けを表している。これらのＢ分布は、すなわち背景分布とラベリングされているものと見なされ、残りの５−Ｂ分布は、すなわち前景分布とラベリングされているものと見なされる。例えば、順序付けられた分布２５４を図１２Ａに示す。分布２８０は背景分布であり、分布２８２は前景分布である。
【０１１２】
すなわち、更新周期段階２５８の更新周期中、更新周期に捜索領域の各ピクセルに対して更新ピクセル値データが受け取られると、それぞれのピクセルに対する更新ピクセル値を考慮する更新されて再度順序付けられた複数の経時的に変化する正規分布に基づいてそのピクセルが背景か前景かが決定される。例えば、アルゴリズムは、評価中のピクセルに対して着信ピクセル値を、既存の正規分布のどれかに属するものとする、すなわち一致させることができるか否かをチェックすることが好ましい。例えば、使用される一致基準は、以下で詳述するＪｅｆｆｒｅｙｓ（Ｊ）発散測度であってよい。このような評価がピクセルごとに実行される。その後、アルゴリズムは経時的に変化する正規分布と各ピクセルに対するそれらのパラメータの混合を更新し、更新された経時的に変化する正規分布の混合は再度順序付けられ、ラベリングされる。次いで、ピクセルは、この再度順序付けられ、ラベリングされた混合に基づいて前景状態か背景状態とされる。
【０１１３】
更新周期段階２５８の一実施形態を図１３にさらに示す。更新ピクセル値データは、捜索領域を表す複数のピクセルのそれぞれに対する更新周期で受け取られる（ブロック３００）。狭い分布などの分布が更新ピクセル値を表す各ピクセルに対して作成される（ブロック３０２）。
【０１１４】
その後、この発散が、１つのピクセルに対する更新ピクセル値を表す狭い分布と、それぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で計算される（ブロック３０４）。それぞれのピクセルに対する複数の経時的に変化する正規分布は、図１４を参照して以下で詳述する照合オペレーションに基づく方法で更新される（ブロック３０５）。例えば、照合オペレーションは、狭い分布とそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で発散測定のすべてが計算された後で、狭い分布に対して最小の発散を有する経時的に変化する正規分布を求めて実行される。
【０１１５】
この場合、それぞれのピクセルに対する更新された複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序付けられ、ラベリングされる（ブロック３０６）。それぞれのピクセルの状態は、ブロック２６０を参照して上述したように再度順序付けられ、ラベリングされて更新された分布（ブロック３０７）に基づいて前景または背景とされる。
【０１１６】
所望のピクセルのそれぞれは、決定ブロック３０８によって全体的に示された上記の方法で処理される。すべてのピクセルが一度処理されると、背景および／または前景をユーザに表示することができ（ブロック３１０）、または追跡、脅威評価など、本明細書で詳述するように使用することができる。
【０１１７】
図１３に全体的に示される更新ブロック３０５の照合オペレーションおよび更新周期段階２５８の他の部分は、図１２Ａ〜１２Ｂと図１４を参照して以下の節で説明するように各ピクセルに対して以下の方法で実施することができる。
【０１１８】
照合オペレーション
このプロセスは、１つのピクセルに対して更新ピクセル値を表す狭い分布を、評価中のピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合する試みを含む（ブロック３０１）。着信データ点が既存の５つの分布の１つに属するか否か（すなわち、一致するか否か）を決定するために、Ｈ．Ｊｅｆｆｒｅｙｓ著、「確率の理論（Ｔｈｅｏｒｙ ｏｆ Ｐｒｏｂａｂｉｌｉｔｙ）」Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、イギリス、オックスフォード１９４８年に記載のＪｅｆｆｒｅｙｓ発散測度Ｊ（ｆ，ｇ）が使用される。
【０１１９】
Ｊｅｆｆｒｅｙｓ数値測度は、更新ピクセル値を表す狭い分布など、１つの分布（ｇ）が、複数の経時的に変化する正規分布の１つなど、他の（ｆ）によって表される母集団から導かれた可能性のなさである。Ｊｅｆｆｒｅｙｓ発散測度の理論的特性は、Ｊ．Ｌｉｎ著、「シャノン・エントロピーに基づく発散測度（Ｄｉｖｅｒｇｅｎｃｅ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｈａｎｎｏｎ ｅｎｔｒｏｐｙ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第３７巻、第１号、１４５〜１５１頁（１９９１年）に記載されており、簡約化のため本明細書では詳述しない。
【０１２０】
一実施形態によれば、ｆｉ〜Ｎ３（μｉ，σ２ ｉＩ），ｉ＝１，．．．，５という５つの既存の正規分布が使用される。しかし、既に指摘したように５より多くても少なくても適切な場合がある。Ｊ（ｆ．ｇ）がデータ点ではなく分布を示すものなので、着信データ点２８１は、上述し、図１２Ａに示した狭い分布など、分布２８４に関連付けられる必要がある。着信分布はｇ〜Ｎ３（μｇ，σ２ ｇＩ）のように構築される。それは次のように仮定される。
μｇ-＝ｘｔ および σ２ ｇ＝２５
上式で、ｘｔは着信データ点である。σ２ ｇ＝２５の選択は、小さい時間窓での連続的なピクセル値の典型的な拡散に関する実験的観察の結果である。ｇとｆｉ，ｉ＝１，．．．，５の間の５つの発散測度は次の公式によって計算される。
【０１２１】
【数８】
【０１２２】
５つの発散測度が一度計算されると、分布ｆｊ（１≦ｊ≦５）を見つけることができる。これは、
【０１２３】
【数９】
【０１２４】
であり、ｆｊとｇの間の一致は、
【０１２５】
【数１０】
【０１２６】
の場合にのみ行われる。上式で、Ｋ＊は事前に指示した切り捨て値である。Ｊ（ｆｊ，ｇ）＞Ｋ＊の場合、着信分布ｇは既存の分布のどれとも一致する可能性はない。
相違点がすべての使用可能な分布に対して測定されることに特に留意されたい。Ｓｔａｕｆｆｅｒ他のような他の方法は、特定順序で既存の分布に対して相違点を測定する。特定状況の満足度に基づいて、Ｓｔａｕｆｆｅｒ他のプロセスは、５つすべての測定値が取られて、比較される前に停止することができる。これは、異なるタイプの天候など、特定状況下でのセグメンターの性能を弱める可能性がある。
【０１２７】
上記に鑑みて、狭い分布（ｇ）がピクセルに対する複数の経時的に変化する正規分布の１つと一致するか否かが決定される（ブロック３０３）。
【０１２８】
一致が見られた場合に実行されるプロセス
着信分布が既存の分布の１つと一致する場合、以下に記載する積率法を使用して、新しくプールされた正規分布を形成するために着信分布および一致した既存の分布を共にプールすることによって複数の正規分布が更新される（ブロック３０５Ａ）。新しくプールされた分布を含む複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序づけられ、前景または背景分布とラベリングされる（ブロック３０６Ａ）。プールされた分布は、評価中ピクセルの現在の状態を表すものと見なされ、したがってピクセルの状態は、再度順序付けられた分布リストのプールされた分布の位置に応じて背景または前景とされる（ブロック３０７Ａ）。
【０１２９】
例えば、図１２Ａに示すように、狭い分布２８４が分布と一致すると仮定し、複数の経時的に変化する正規分布の更新と、それに続く再順序付け／ラベリングのプロセスの後で、一致の結果プールされた分布が分布２８０である場合、点２８１によって表される着信ピクセルは背景とラベリングされる。同様に、一致の結果プールされた分布が分布２８２である場合、点２８１によって表される着信ピクセルは、移動対象物を表す可能性があるなど、前景とラベリングされる。
【０１３０】
一実施形態では、積率法を使用して新しくプールされた分布が生成されるなど、正規分布の混合のパラメータが更新される（ブロック３０５Ａ）。第１に、既存の分布重み付けに重み付けするある学習パラメータαが採用される。したがって、５つの既存の重み付けのそれぞれから１００α％重み付けが引かれ、１００α％が着信分布の（すなわち、狭い分布の）重み付けに加えられる。すなわち、
【０１３１】
【数１１】
【０１３２】
なので、着信分布は重み付けαを有し、５つの既存の分布は重み付け、πｊ（１−α），ｊ＝１，．．．，５を有する。
【０１３３】
明らかに、αは０＜α＜１の範囲内にある。αの選択は、主としてＫ＊の選択に依存する。この２つの数量は逆関係にある。Ｋ＊の値が小さいほど、αの値は高くなり、またこの逆の場合も同様である。Ｋ＊とαの値も監視エリア内の雑音量に影響を受ける。したがって、例えば、屋外領域が監視されており、環境条件（すなわち、雨、雪など）による雑音が多い場合、高いＫ＊値、すなわち「低い」α値が要求される。これは、分布の１つとの不一致が背景雑音によって引き起こされる可能性が非常に大きいからである。一方、雑音がほとんど存在しない屋内領域が監視されている場合、好適には「低い」Ｋ＊値、すなわち「より高い」α値が要求される。何故ならば、既存の５つの分布の１つとの一致が達成されない時はいつでも、この不一致が何らかの前景の動きによって発生する可能性が非常に大きいからである（背景にはほとんど雑音がないので）。
【０１３４】
１≦ｊ≦５として、新しい分布ｇと既存の分布ｆｊの１つとの間で照合が行われる場合、混合モデルの重み付けは次のように更新される。
【０１３５】
【数１２】
【０１３６】
平均ベクトルとその分散も更新される。ｗ１が（１−α）πｊ，ｔ−１（すなわち、ｗ１は、新しい分布ｇと一致した分布をプールする前の照合の勝者であるｆ番目の成分の重み付けである）であり、ｗ２＝プールされた分布の重み付けであるαである場合、因数（ｐ）は次のように定義される。
【０１３７】
【数１３】
【０１３８】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎおよびＫ．Ｅ．Ｂａｓｆｏｒｄ著、「クラスタリングに対する混合モデル推論および応用（Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｃｌｕｓｔｅｒｉｎｇ）」、Ｍａｒｃｅｌ Ｄｅｋｋｅｒ、ニューヨーク州、ニューヨーク（１９８８年）に記載の積率法を使用すると、次の結果が得られる。
【０１３９】
【数１４】
【０１４０】
ここで、他の４つ（不一致）の分布は、ｔ−１の時点で有したのと同じ平均値と分散とを維持する。
【０１４１】
一致が見られない場合に実行されるプロセス
一致が見られない場合（すなわち、ｍｉｎ１≦ｉ≦５Ｋ（ｆｊ，ｇ）＞Ｋ＊）、順序付けられたリストの最後の分布（すなわち、前景の状態を最もよく表している分布）を更新ピクセル値に基づく新しい分布で置き換える（ブロック３０５Ｂ）ことによって複数の正規分布が更新されるが、これはこのピクセルが前景の状態に関わっていることを保証する（例えば、それが前景にならなければならないように重み付けが分布に割り当てられる）。（例えば、ブロック２５９を参照して上述したように）新しい分布を含む複数の経時的に変化する正規分布が再度順序付けられて、前景を表す新しい分布でラベリングされ（ブロック３０６Ｂ）、ピクセルの状態は前景の状態とされる（ブロック３０７Ｂ）。
【０１４２】
順序付けられたリストの最後の分布に取って代わる新しい分布のパラメータは次のように計算される。平均ベクトルμ５は着信ピクセル値で置き換えられる。分散σ２ ５は分布リストの最小分散で置き換えられる。したがって、新しい分布の重み付けは次のように計算することができる。
【０１４３】
【数１５】
【０１４４】
上式で、Ｔは背景閾値指標である。この計算により、現在のピクセルの状態を前景に分類することが保証される。残り４つの分布の重み付けは次の公式に従って更新される。
【０１４５】
【数１６】
【０１４６】
上記の照合方式は少なくとも一部で使用される。何故ならば、Ｓｔａｕｆｆｅｒ他の著書で報告された法線混合モデリングによって実施されるこの方式は、湖水の蒸発が増加し、冷たい風が吹いたために雲が切れ切れになった環境の屋外で監視が行われ、様々な密度の細切れの雲が頻繁にカメラの視野を足早に横切るなどの多くの状況では適切でないからである。
【０１４７】
Ｓｔａｕｆｆｅｒ他の著書では、図１２Ｂに示すような混合モデルの分布は、ｗを重み付け、αを各分布の分散として、ｗ／αに従い常に降順に維持される。この場合、着信ピクセルは、リストの一番上から一番下に（矢印２８３参照のこと）順に順序付けられた分布に対して照合される。着信ピクセル値が分布の２．５標準偏差内にある場合、一致が宣言されてプロセスは停止する。
【０１４８】
しかし、例えば、この方法は、少なくとも次のシナリオでは脆弱である（例えば、ピクセル誤認）。着信ピクセル値が、例えば分布４に属する可能性が高いが、依然としてキューのそれ以前の分布（例えば、２）に対する２．５標準偏差の基準を満たしている場合、プロセスは正しい分布に達する前に停止し、一致には早すぎることが宣言される（図１２Ｂ参照のこと）。この照合に引き続き、不正分布を不当に支持するモデル更新が行われる。これらの累積的な誤りは、一定期間後にシステム性能に影響を与える危険性がある。１つの分布（例えば、２）が偶然背景であり、他（例えば、４）が前景である場合に、これは直接的で重大な影響を有することさえある可能性がある。
【０１４９】
例えば、上記のシナリオは、速く移動する雲によって始めることができる。Ｓｔａｕｆｆｅｒ他の著書では、新しい分布は、システムに導入される時、着信ピクセル値２８１を中心に配置され、最初に高い分散と小さい重み付けが与えられる。より多くの証拠が蓄積するにつれ、分布の分散は落ち、その重み付けは増加する。この結果、この分布は順序付けられた分布リストの中で上昇する。
【０１５０】
しかし、天候パターンは非常に活発なので、支持する証拠は頻繁にオンオフ切り換えされるため分布の分散は比較的高いまま維持される。この結果、分布が比較的拡散した混合モデルが生じる。この期間に特定の色の対象物が偶然に場面内で移動すると、複数の分布と僅かに一致することのできる着信ピクセル値がキューの一番上に生成され、したがってこれは背景であると解釈される。移動する雲はカメラの視野の広いエリアに影響を与えるので、処理後技法はそのような欠陥を解消するには一般に無効である。
【０１５１】
反対に、上記の本発明による好ましいセグメント化の方法は、順序付けられた分布リストの一番上から一番下まで着信ピクセル値を照合することは試みない。そうではなく、この方法は、着信データ点２８１を表す狭い分布２８４を作成することが好ましい。この場合、この方法は、着信した狭い分布２８４と混合モデルの「全」分布２８０、２８２との間の最小発散値を見つけることによって分布を照合するよう試みる。この方法で、着信データ点２８１が正確な分布と一致する機会は高まる。
【０１５２】
さらに、図３を参照すると、上記のように、背景からの前景ピクセルのオンラインセグメント化を実行するために統計手続きが使用され、前景は、人間および車両など、対象となる移動対象物に対応する可能性がある（ブロック１０６）。セグメント化に引き続き、対象となる移動対象物が追跡される（ブロック１０８）。すなわち、監視されている捜索領域で検出された１つまたは複数の移動対象物が辿った軌道または対象物経路を形成するために、図１５に説明的に示すような追跡方法が使用される。
【０１５３】
他の適切な追跡方法を使用することはできるが、追跡方法は、数群の相互に隣接する前景ピクセルなど、ブロブ（すなわち、数群の連結ピクセル）または捜索領域で検出された移動対象物に関する対象物トラックまたは対象物経路を提供する際に使用するために前景対象物に対応しても対応しなくてもよいそのブロブの中心トラック（ブロック１４０）の計算を含むことが好ましい。このようなブロブの中心トラックは、画像データの背景からセグメント化された前景ピクセルに連結成分解析アルゴリズムを適用後に形成することができる。
【０１５４】
例えば、標準８連結成分解析アルゴリズムを使用することができる。この連結成分アルゴリズムは、面積が一定数のピクセルよりも少ないブロブ、すなわち数群の連結ピクセルを除去する。通常は１エリア内のこのような少数ピクセルが前景対象物に対する雑音を表すので、このような除去が実行される。例えば、連結成分アルゴリズムは、α＝３×９＝２７ピクセルよりも面積の小さいブロブを除去する。例えば、２７ピクセルは撮像装置の視野の最少の対象となる最小対象物の最小ピクセルフットプリントであってよく、例えば２７ピクセルは人間のフットプリントであってよい。
【０１５５】
数群のピクセルなど、いくつかのブロブが捜索領域の前景対象物を表していると一度識別されると、複数のフレームの前景対象物として識別されるブロブの中心トラックを別個の軌道または対象物経路にグループ化するために使用されるアルゴリズムが提供される。前景対象物を表す識別されたブロブ中心トラックを別の軌道にグループ化するには、複数の仮説追跡（ＭＨＴ）アルゴリズム１４１を使用することが好ましい。
【０１５６】
ＭＨＴはマルチターゲット追跡アプリケーションへの好ましい方式と考えられるが、他の方法を使用することもできる。ＭＨＴは、入力データをトラックに正確に関連付ける確率を最大に高める帰納的なベイズの確率論的方法である。早期に特定のトラックを付けないので、他の追跡アルゴリズムが好ましい。このように早期にある経路またはトラックを付けることは誤りの原因となる場合がある。ＭＨＴは、十分な情報が収集され、処理された後でのみ入力データをトラックにグループ化する。
【０１５７】
この状況で、ＭＨＴは、前景対象物を表す識別されたブロブなど、入力データの関連付けに関する複数の候補仮説を、データの以前のフレームを使用して確立された対象物経路など、既存のトラックによって形成する（ブロック１４４）。ＭＨＴは、ひどい擾乱と高密度のトラフィックがある応用例には特に有益である。軌道が交差している難しいマルチターゲット追跡問題では、Ｓ．Ｓ．Ｂｌａｃｋｍａｎ著、「レーダーアプリケーションを備えた多重目標追跡（Ｍｕｌｔｉｐｌｅ−Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｒａｄａｒ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ａｒｔｅｃｈ Ｈｏｕｓｅ、マサチューセッツ州、ノーウッド（１９８６年）に記載の最近接（ＮＮ）相関および結合確率論的データ関連付け（ＪＰＤＡ）のような他の追跡方法とは対照的にＭＨＴは有効に機能する。
【０１５８】
図１５は、本発明による移動対象物を追跡するために使用されるＭＨＴアルゴリズム１４１のアーキテクチャの一実施形態を示している。いかなる追跡システムにおいても必須の部分は予測モジュールである（ブロック１４８）。予測は移動対象物の状態の推定値を提供し、カルマンフィルタとして実施されることが好ましい。カルマンフィルタの予測は、ターゲットの動力学と測定雑音に対する先験モデルに基づいて行われる。
【０１５９】
検証（ブロック１４２）は、入力データ（例えば、ブロブの中心トラック）と現在の軌道のセット（例えば、以前の画像データに基づくトラック）の間の関連付けに関する仮説（ブロック１４４）の生成に先行するプロセスである。検証（ブロック１４２）の関数は、発生する見込みのない関連付けを早期に除外し、したがって生成されるべき可能な仮説の数を限定することである。
【０１６０】
ＭＨＴアルゴリズム１４１の実施態様の中心となるのは、トラックの仮説の生成と表現である（ブロック１４４）。トラック、すなわち対象物経路は、識別されたブロブなど新しい測定値が、（１）既存のトラックに属し、（２）新しいトラックの出発点であり、（３）誤認警報または前景対象物であると誤って識別されている可能性があるという仮定に基づいて生成される。仮定は、仮説構造に組み込まれる前に、検証プロセスによって検証される（ブロック１４２）。
【０１６１】
例えば、トラック仮説の完全なセットは、図１６の表１５０で示すように仮説行列によって表すことができる。表で表される仮設状態は、フレームｋ＝１およびｋ＋１＝２でそれぞれに作られた２と１の測定値の２つの走査セットに対応する。
【０１６２】
表に関する表記法は次のように分類することができる。測定値Ｚｊ（ｋ）はフレームｋに対してなされるｊ番目の観察（例えば、ブロブの中心トラック）である。さらに、誤認警報は０で示し、古いトラック（ＴｏｌｄＩＤ）から生成される新しいトラック（ＴｎｅｗＩＤ）の構成はＴｎｅｗＩＤ（ＴｏｌｄＩＤ）で示す。この表の最初の列は仮説の指標である。
【０１６３】
この典型的な状況では、走査１の間に合計４つの仮説が生成され、走査２の間にさらに８つの仮説が生成される。最後の列は、特定の仮説が含んでいるトラックを列挙する（例えば、仮説Ｈ８はトラックｎｏ．１とｎｏ．４を含んでいる）。仮説表の行のセルは、特定の測定値ｚｊ（ｋ）が属するトラックを示している（例えば、仮説Ｈ１０の下で、測定値ｚ１（２）はトラックｎｏ．５に属する）。
【０１６４】
仮説行列は、図１７に系統的に示すようなツリー構造１５２によって計算上表される。ツリーの分岐１５２は、本質的に、測定値とトラックの関連付けに関する仮説である。上記の典型的な状況から明らかなように、図１７の仮説ツリー１５２は測定値数に伴い指数関数的に増加させることができる。
【０１６５】
仮説の数を減らすために、異なる方策を適用することができる。例えば、第１の測定は、Ｄ．Ｂ．Ｒｅｉｄ著、「複数目標を追跡するためのアルゴリズム（Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒａｃｋｉｎｇ ｍｕｌｔｉｐｌｅ ｔａｒｇｅｔｓ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｒｏｌ、第２４巻、８４３〜８５４頁（１９７９年）にあるように、仮説を互いに素な集合に集積することである。この意味で、同じ測定値に対して競合しないトラックは、互いに素な仮説ツリーに関連付けられた互いに素な集合を構成する。本発明者らの第２の方策は、仮説ツリーのすべての分岐に確率を割り当てることである。Ｎｈｙｐｏ最も高い確率を有する分岐の集合は考慮されるのみである。ＭＨＴアルゴリズムの様々な他の実施態様は、Ｉ．Ｊ．ＣｏｘおよびＳ．Ｌ．Ｈｉｎｇｏｒａｎｉ著、「アルゴリズムを追跡するリードの複数仮説の有効な実現および可視追跡のためのその評価（Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｒｅｉｄ’ｓ ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｉｓ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ ｅｖａｌｕａｔｉｏｎ ｆｏｒ ｔｈｅ ｐｕｒｐｏｓｅ ｏｆ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第１８巻、第２号、１３８〜１５０頁（１９９６年）に記載されている。
【０１６６】
コンピュータビジョンシステム２２を使用して対象物トラック、すなわち軌道を提供することにより、図２に示すような評価モジュール２４は、そのようなコンピュータビジョン情報を処理し、移動対象物が、脅威か脅威でないかなど、正常か異常かを決定するために提供することができる。評価モジュール２４を使用して実行される評価解析は、対象物トラックのピクセル座標を捜索領域のＣＡＤ描画による現実の座標系設定に変換後に実行することができる。したがって、移動対象物の評価目的に内容を提供するために捜索領域の周知の目標を使用することができる。例えば、駐車場に関するこのような目標には、一台一台の駐車場所、駐車場の外周、電柱、および並木を含めることができる。このような座標変換は、Ｏｐｔｉｃａｌ Ｒｅｓｅａｒｃｈ Ａｓｓｏｃｉａｔｅ（カリフォルニア州、パサディナ）社製のＣＯＤＥ Ｖソフトウェアアプリケーションのような光学計算パッケージを使用して達成することができる。しかし、評価解析を実行する他のアプリケーションはこのような設定を要求しない場合がある。
【０１６７】
図２に示される一実施形態では、評価モジュール２４は、フィーチャー・アセンブリ・モジュール４２と分類ステージ４８とを含む。評価モジュール２４は、図１８に示すような評価方法１６０を実行するために使用することが好ましい。
【０１６８】
上記のような評価方法１６０は、移動対象物のトラックが、目標を含む捜索領域の描画など、捜索領域の座標系に変換された後で使用することが好ましい（ブロック１６２）。さらに、正常な移動対象物および／または異常な移動対象物を特徴とする事前定義された特性モジュール５７が分類ステージ４８に提供される（ブロック１６４）。脅威分類ステージなど、分類状態４８は、正常な特性モジュール５８と異常な特性モジュール５９とを含む。
【０１６９】
本明細書で使用されるように、特徴モデルは、正常な対象物経路または異常な対象物経路の任意の特徴またはその関連情報であってよい。例えば、監視中の上空空間に飛行機が飛行する予定がない場合、ブロブの検出はその上空空間では異常であるなど、その上空空間に飛行機がいるという指摘は異常と見なすことができる。さらに、例えば、駐車場のある期間にブロブが検出される予定がない場合、この静かな期間中のある時点でブロブを検出することを特徴モデルとすることができる。明らかに認識できようが、特徴モデルのリストは数が多すぎて列挙できず、脅威の特徴モデルおよび／または脅威でない特徴モデルを包含するだけではなく、彫刻の前を通過する人数と鑑賞するために一定期間立ち止まっている人数を数えるためなど、特定位置の前を通過する対象物を数えるための特徴モデルのような様々な他のタイプの特徴モデルを含めることができる。
【０１７０】
評価モジュール２４のフィーチャー・アセンブリ・モジュール４２は、例えば、対象物経路を表す軌道情報、対象物経路に関して収集された情報（例えば、獲得時刻のような他のデータ）、または対象物経路の長さ（例えば、車両／歩行者当たりベース）のような対象物ベースに対する関連するより高レベルな特性など、コンピュータビジョンモジュール３２によって提供された軌道情報を使用して計算され、または収集される情報を含むことができる特性４３のような対象物経路情報を提供する（ブロック１６６）。すなわち、特性のような対象物経路データには、明確に限定はしないが、移動対象物軌道情報、対象物経路に関して収集される他の情報、対象物経路情報を使用して演算された計算済みの特性、もしくは捜索領域およびその中の移動対象物に関するいかなる他のパラメータ、特徴、または関連情報を含めることができる。
【０１７１】
計算済みの特性は、正常な移動対象物または異常な移動対象物に関する常識的な意見を取り込むようデザインすることができる。例えば、脅威の状況と脅威でない状況の決定に関して、特性は、無害の合法的な軌道および侵入者の周知のまたは仮定のパターンに関する常識的な意見を取り込むようデザインされる。
【０１７２】
一実施形態では、駐車場または脅威の事象（例えば、強盗）の評価が実行されるべき他の捜索領域のような捜索領域に対して計算された特性には、例えば次のものを含めることができる。
・サンプル点の数
・出発点（ｘ、ｙ）
・終了点（ｘ、ｙ）
・経路の長さ
・有効範囲とされる距離（直線）
・距離の比率（経路の長さ／有効範囲とされる距離）
・出発時刻（局所壁時計）
・終了時刻（局所壁時計）
・所要時間
・平均速度
・最高速度
・速度比（平均／最高）
・合計回転角度（ラジアン）
・平均回転角度
・「Ｍ」交差数
【０１７３】
特性の大部分は自明であるが、いくつかは明らかでない場合がある。いくつかの対象物経路の活動は、深夜および早朝など一日の特定の時間では自動的に推測がつくので、壁時計が適切である。
【０１７４】
回転角度および距離の比率の特性は、経路がどれだけ遠回りしたかという解釈を取り込む。例えば、駐車場など施設の合法的ユーザは、車線によって可能となる最も直接的な経路を辿る傾向がある（例えば、直接的な経路を図２０Ｂに示す）。反対に、「うろついている人間」はより蛇行した経路を取る可能性がある。図２０Ｂは、追跡中の脅威でない車両の経路４１８が示された駐車場４１２という脅威でない状況４１０を示している。
【０１７５】
「Ｍ」交差特性は、自動車のドアをよく確認し、または施錠確認するために反復的にループしながら（例えば、２回のループは「Ｍ」字型をとる）、車線に沿って駐車場の複数の区画を系統的に確認するために自動車泥棒の周知の傾向の監視を試みる。これは、駐車場の複数の区画に対して複数の基準線を維持し、複数の区画への出入り回数を数えることによって監視することができる。歩行者の「Ｍ」字型の横断が図２０Ａに示すように捕らえられている。図２０Ａは、脅威の人物経路４０４が示された駐車場４０２という脅威の状況４００を具体的に示している。
【０１７６】
提供された特性（例えば、対象物トラックに関連付けられた特性）は、分類子ステージの正常な移動対象物と異常な移動対象物を特徴とする事前定義された特徴モデル５７と比較することなどによって評価される（ブロック１６８）。移動対象物が正常であるか異常であるかが、フィーチャー・アセンブリ・モジュール４２によって１つまたは複数の対象物経路に対して計算された特性４３と、分類ステージ４８でアクセス可能な（例えば、記憶された）事前定義された特徴モデル５７との間の比較に基づいて決定される（ブロック１７０）。さらに、例えば、対象物経路が脅威であると識別されると、警報６０をユーザに提供することができる。無音、可聴、ビデオなど、いかなるタイプの警報でも使用することができる。
【０１７７】
常識および、例えばユーザがグラフィカルユーザインターフェースで定義した周知の正常な特徴と異常な特徴によって特徴付けられる事前定義された特徴モデル５７に加えて、さらなる特徴モデルを提供するための訓練モジュール４４が提供される。訓練モジュール４４はオンラインでもオフラインでも使用することができる。
【０１７８】
一般に、訓練モジュール４４は、一定期間に亘って特定捜索領域について記録された対象物経路に対するフィーチャー・アセンブリ・モジュール４２の出力を受け取る。対象物経路軌道、および対象物経路に関する計算された情報を含む関連情報（図面では総合してラベリングされたケースと称される）など、このような特性は、データベース構造を使用して収集し、かつ／または編成することができる。次いで、分類ステージ４８での潜在的な使用のためにそのようなデータベース特性に基づいて１つまたは複数の正常な特徴モデルおよび／または異常な特徴モデルを生成するために訓練モジュール４４が使用される。
【０１７９】
そのような訓練モジュール４４とそれに関連付けられたプロセスの説明的な一実施形態を、図１９を参照して説明する。一般に、トレーニングプロセス３５０は、特徴モデル開発モジュール５４によって、定義された特徴モデルなど、対象物の挙動のより明確な説明を生成する際に役立つクラスタ化アルゴリズム５２を提供する。例えば、トレーニングプロセスのために使用されるトレーニングデータには、明確に限定はしないが、ラベリングされた軌道５０および対応する特性ベクトルが含まれる。このようなデータは、Ｗ．Ｂｕｎｔｉｎｅ著、「分類ツリーを学習する（Ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｒｅｅｓ）」、Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｉｎｇ、第２巻、第２号、６３〜７３頁（１９９２年）に基づくアルゴリズムのような分類ツリー誘導アルゴリズムによって一緒に処理することができる。
【０１８０】
より具体的には、図１９を参照して説明したように、長期に亘る１つまたは複数の移動対象物を表す対象物経路とそのような対象物経路に関連する計算された特性が得られる（ブロック３５２）。例えば、このような対象物経路とそれに関連する計算された特性は、数週間、数ヶ月などに亘って得られる。
【０１８１】
対象物経路と関連する計算された特性は、そのような情報の特定の特徴に基づいてグループ化される（ブロック３５４）。このような対象物トラックは複数のクラスタに分類される。例えば、特定レベルの迂遠性を有する対象物経路を１つのクラスタにグループ化することができ、所定の長さより長い対象物経路を１つのクラスタにグループ化することができる、などである。すなわち、特定の特徴に基づく共通性を有する対象物経路が同じグループにグループ化される（ブロック３５４）。
【０１８２】
次いでそれらのクラスタが比較的大きなクラスタか比較的小さなクラスタかを決定するために、これらのクラスタが解析される。すなわち、これらのクラスタは、それが含んでいる対象物トラックの数に基づいてある程度順序付けられ、大きいか小さいかが判断される。一般に、大きなクラスタは、小さなクラスタと比較して、そこにグループ化された対象物トラックの数が特に多く、比較的正常な対象物トラックであると識別することができる（ブロック３５８）。すなわち、移動対象物が一般的に特定期間に亘り何度も同じ経路をとる場合、その移動対象物に対応する対象物経路は、脅威でない移動対象物を表す対象物経路など、一般的に正常な経路である。次いで対象物経路またはそれに関連付けられた特性は、脅威分類ステージにおいてなど、後で対象物トラックを正常か異常か識別するために事前定義された特徴モデルの一部として使用される（ブロック３６０）。すなわち、大きなクラスタに基づいて分類ステージ４８に含めるために新しい特徴モデルを定義することができる。
【０１８３】
単一対象物トラックを含むことができる比較的小さなクラスタの対象物経路を解析する必要がある（ブロック３６２）。このような解析は、比較的小さなクラスタの対象物トラックまたは単一対象物トラックが、脅威であるなど、異常であるか否かを人間が判断するためにグラフィカルユーザインターフェースによって対象物経路を再検討するシステムのユーザによって実行することができる（ブロック３６４）。
【０１８４】
小さいクラスタの１つまたは複数の対象物トラックが異常である場合、分類ステージ４８で特徴モデルとして使用されるなど、異常な対象物経路を識別するために特性を事前定義された特徴モデルの一部として使用することができる（ブロック３６６）。しかし、１つまたは複数の対象物経路が、そのような対象物経路の他の出現と同時発生せず、もしくはそのような対象物経路がほとんどなく、単なる正常な出現であると判断された場合、解析中のその１つまたは複数の対象物経路を無視することができる（ブロック３６８）。
【０１８５】
そのような対象物トラックがどのようにして生成されたかと関係なく、移動対象物に関して正常な対象物トラックと異常な対象物トラックを識別するためにクラスタ化方法を使用することができる。例えば、図２に示すように、そのような対象物トラックは、複数の撮像装置３０から情報を受け取るコンピュータビジョンモジュール３２によって提供される。しかし、レーダーシステムによって生成された対象物トラックは、訓練モジュール４４に関して説明されるように評価モジュール２４および／またはクラスタ解析ツールを使用して評価し、解析することもできる。
【０１８６】
本明細書で引用するすべての参照文献は、その全体をそれぞれが別個に組み込まれているように組み込まれる。以上、本発明を説明的な実施形態を参照して説明したが、これは限定的な意味で解釈されることを意図するものではない。説明的な実施形態に対する様々な修正形態、並びに本発明の追加の実施形態は、本明細書を参照すれば当業者には明らかになろう。
【図面の簡単な説明】
【０１８７】
【図１】本発明によるコンピュータビジョンシステムからの出力を使用するように動作可能なコンピュータビジョンシステムおよびアプリケーションモジュールを含む監視／検出システムの全体的なブロック図である。
【図２】本発明によるコンピュータビジョンシステムおよび評価モジュールを含む監視システムの全体的なブロック図である。
【図３】図２に全体的に示されたコンピュータビジョンシステムによって実行することができるコンピュータビジョン方法の説明的な一実施形態を一般化した流れ図である。
【図４】図３に全体的に示された光学システムデザインプロセスの説明的な一実施形態を示す流れ図である。
【図５】図３に全体的に示された光学システムデザインプロセスのさらに詳細な説明的一実施形態の流れ図である。
【図６】図５に全体的に示されたデザインプロセスを示す際に使用するための光学システム配置の説明図である。
【図７】図３のコンピュータビジョン方法の部分として全体的に示された画像融合方法の説明的な一実施形態の流れ図である。
【図８】図７に全体的に示された画像融合方法を説明する際に使用する図である。
【図９】図３のコンピュータビジョン方法の部分として全体的に示されたセグメント化プロセスの説明的な一実施形態の流れ図である。
【図１０】図９に示されたセグメント化プロセスを説明する際に使用する略図である。
【図１１】本発明による、図９を参照して説明されるピクセルに対する複数の経時的に変化する正常な分布を示す図である。
【図１２Ａ】本発明による、図９を参照して説明される、複数の経時的に変化する正常な分布の順序付けと、更新データを複数の経時的に変化する正常な分布に照合することを示す図である。
【図１２Ｂ】更新データを複数の経時的に変化する正常な分布に照合する従来技術による方法を示す図である。
【図１３】図９に示されたセグメント化プロセスの更新周期の一実施形態を示す流れ図である。
【図１４】図１３に示された更新周期の一部の説明的な一実施形態のさらに詳細な流れ図である。
【図１５】図３に全体的に示された移動対象物追跡の説明的な一実施形態を示すブロック図である。
【図１６】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１７】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１８】図２に示された監視システムの評価モジュールによる図２に全体的に示された評価方法のさらに詳細な説明的一実施形態を示す流れ図である。
【図１９】図１８に全体的に示された評価方法を支援するために使用することができるクラスタ化プロセスの説明的な一実施形態を示す流れ図である。
【図２０】図２０Ａは、本発明により表示することができる図面で脅威の対象物経路を示す図である。図２０Ｂは、本発明により表示することができる図面で脅威でない対象物経路を示す図である。
【０００１】
本願は、参照により本明細書に組み込んだ２００１年６月２９日出願の「ＳＵＲＶＥＩＬＬＡＮＣＥ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＲＥＧＡＲＤＩＮＧ ＳＡＭＥ」という名称の米国仮出願第６０／３０２，０２０号の特典を請求する。
【背景技術】
【０００２】
本発明は、一般に、捜索領域を監視するためのシステムおよび方法に関する。より詳細には、本発明は、移動対象物の追跡、サーベイランスなど、様々な用途における捜索領域を監視することに関する。
【０００３】
様々な状況におけるセキュリティの提供は長い間に発展してきた。従来、セキュリティ産業は主としてその人的資源に頼っている。科学技術は常に高く評価されるわけではなく、時には疑念を以って見られることがある。例えば、セキュリティ産業で最新の普遍的に受け入れられている技術変化の一つに、警備保障員間の無線通信の採用があった。
【０００４】
セキュリティ産業では既にビデオ記録が用いられているが、一般に、そのような記録はまだ普遍的には採用されていない。例えば、ビデオ記録を全く使用せず専ら人間の労力に依存する部分がセキュリティ市場の大部分を占めている。人間の労力を使用する一例としては、司法当局が実行する監視操作の大部分がある。
【０００５】
一般に、セキュリティ産業のインフラストラクチャは次のように要約することができる。第１に、セキュリティシステムは、通常、局所的に働き、効果的に協力することはない。さらに、非常に価値の高い資産は、旧式の技術システムにより不十分な保護しか受けていない。最後に、セキュリティ産業は、脅威の状況を検出し評価するために徹底的な人間集中に依存する。
【０００６】
ビデオベースの監視を実現するために、近年ではコンピュータビジョンが採用されるようになった。コンピュータビジョンは、監視画像、画像セット、またはコンピューティング装置で行った計算からの画像シーケンスから世界に関する有用な情報を自動的に抽出し、解析することのできる理論的でアルゴリズムによる基準を開発する科学である。例えば、コンピュータビジョンは、クラッターのある環境における対象物の位置識別、構成要素が確実に存在し、または仕様通りに正確に位置することを保証するための対象物の検査または測定、および／または移動対象物の位置を大域座標系に対して決定するよう移動対象物を追跡するための対象物のナビゲーションおよびローカリゼーションに使用することができる。多くの場合、コンピュータビジョンの使用法は、軍事的用途に集中され、赤外線、レーザ、およびレーダなど、非可視帯カメラを使用してきた。例えば、軍事目標の識別に重点が置かれた。
【０００７】
しかし、コンピュータビジョンは、可視帯カメラを使用した非軍事設定におけるサーベイランス用途でも使用されてきた。例えば、このようなサーベイランスシステムは、人間および車両の動きを追跡するよう対象物認識を実行するために使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
様々なコンピュータビジョンシステムが当技術分野では知られている。例えば、コンピュータビジョン追跡は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混成モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）の記事に記載されている。しかし、このような追跡または監視システムおよび方法にはさらに高度な精度が要求される。
【０００９】
さらに、監視されるべきエリアで対象物を追跡するために対象物移動検出方法が使用可能だが、一般に、このようなシステムは、脅威の状況と脅威でない状況というような正常状況と異常状況を適切に評価する方法は提供しない。一般に、既存の民間セキュリティシステムはそのような評価を実行するために主として人間の注意力と労力に依存する。
【課題を解決するための手段】
【００１０】
以下の構成要素の１つまたは複数を含む監視方法およびシステムが本明細書に記載されている。例えば、このような構成要素は、光学構成要素、コンピュータビジョン構成要素、および／または脅威評価構成要素を含むことができる。
【００１１】
例えば、光学構成要素は、撮像装置の配置、較正シーン（例えば、単一画像）への撮像装置視野の融合、および／またはそれぞれのコンピュータ支援設計またはファイルに対する較正シーンの照合を含むことができる。さらに、例えば、コンピュータビジョン構成要素は、光学構成要素によって提供された較正シーンを対象に処理される移動対象物のセグメント化および追跡を含むことができる。さらにまた、脅威査定官は、コンピュータビジョン構成要素によって提供された注釈付き軌道データから推論することができる。
【００１２】
捜索領域を監視する際に使用する方法は、捜索領域を表す画像データのフレームを提供することを含む。画像データは、複数のピクセルに対するピクセル値データを含む。複数の経時的に変化する分布は、ピクセル値データに基づいてピクセルごとに提供される。捜索領域を表す更新画像データの少なくとも１つのフレームは、更新周期で提供される。画像データのフレームは、複数のピクセルのそれぞれに対する更新ピクセル値データを含む。方法は、各ピクセルに対する更新ピクセル値データの、ピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれとの照合を試みること、更新ピクセル値データがピクセルに提供された複数の経時的に変化する分布の１つと一致するか否かに基づいて各ピクセルに対する複数の経時的に変化する分布を更新することをさらに含む。各ピクセルに対する更新された複数の経時的に変化する分布は、ピクセルを背景情報と前景情報のどちらと見なすべきかを決定する際に使用するための捜索領域の背景情報または前景情報をその中の経時的に変化する分布が表す確率に基づいて順序付けられる。
【００１３】
方法の一実施形態では、各ピクセルに対する更新ピクセル値データの、複数の経時的に変化する分布のすべてのそれぞれとの照合を試みることは、ピクセルに狭い分布を提供すること、およびその狭い分布を、ピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれと比較すること（例えば、ピクセルに対して作成された狭い分布とピクセルに提供された複数の経時的に変化する分布のすべてのそれぞれとの間の発散を計算すること）を含む。
【００１４】
方法の別の実施形態では、各ピクセルに対する複数の経時的に変化する分布は、狭い分布と、狭い分布が複数の経時的に変化する分布の１つと一致する場合は一致した分布とに基づいてプールされた分布を生成することによって更新される。方法は、更新された複数の経時的に変化する分布の順序内のプールされた分布の位置に基づいてピクセルが捜索領域の背景情報と前景情報のどちらを表すかを決定することも含むことができる。
【００１５】
方法のさらに別の実施形態では、各ピクセルに対する複数の経時的に変化する分布は、狭い分布が複数の経時的に変化する分布の１つと一致しない場合は、複数の経時的に変化する分布の１つを新しい分布で置き換えることによって更新される。さらに、その新しい分布が捜索領域の前景情報を表すことを保証することもできる。
【００１６】
さらに、方法は、１つまたは複数の移動対象物に対する対象物経路を決定するために捜索領域の１つまたは複数の移動対象物（例えば、前景情報に基づく移動対象物）を追跡することを含むことができる。追跡することは、前景情報を表すピクセル値データを有するピクセルに基づいてブロブを計算すること、および所定のピクセルエリアサイズよりも小さいブロブを除去することを含むことができる。さらに、追跡することは、複数の仮説追跡アルゴリズムを使用するなどして、１つまたは複数の移動対象物を表す対象物経路にブロブをグループ化することを含むことができる。
【００１７】
本発明による捜索領域を監視する際に使用するためのシステムも記載されている。システムは、捜索領域を表す画像データのフレームを提供するよう動作可能な１つまたは複数の撮像装置を含む。画像データは複数のピクセルに対するピクセル値データを含む。画像データのフレームは、更新周期で捜索領域を表す更新画像データの少なくとも１つのフレームを含み、更新画像データのフレームは、複数のピクセルのそれぞれに対する更新ピクセル値データを含む。システムは、上記の方法の様々な実施形態の特徴の１つまたは複数を実行するよう動作可能なコンピュータ装置をさらに含む。
【発明を実施するための最良の形態】
【００１８】
本発明による様々なシステムおよび方法を、図１〜２０を参照して説明する。一般に、本発明は、１つまたは複数の異なるタイプのアプリケーションモジュール１４が使用することができるデータを提供するコンピュータビジョンシステム１２を一般的に含む監視／検出システム１０を提供する。
【００１９】
本発明は、明確に限定はしないが、監視システム（例えば、セキュリティ市場を対象とした都市監視システム）を含む様々な目的に使用することができる。例えば、このような監視システムおよびそれに関連する方法は、大きなオープンスペースの監視および不規則または不審な行動パターンのピンポイントに特に有益である。例えば、このようなセキュリティシステムは、分離された事象を報告する現在使用可能なシステムと、例えば現在は一般に人間によって実行される機能である脅威を推論し、報告することのできる自動制御された共働ネットワークとの間のギャップを埋めることができる。
【００２０】
本発明のシステム１０は、駐車場などにおける歩行者と車両の追跡など、捜索領域で移動対象物を追跡し、そのような移動対象物に関する情報を、そのような情報を受け取り、解析するよう構成された１つまたは複数のアプリケーションモジュールに提供するように動作可能なコンピュータビジョンシステム１２を含む。例えば、図２に全体的に示され、図２を参照して説明される監視システムで、コンピュータビジョンシステムは、注釈付き軌道または移動対象物経路など、特定の特徴の報告を、例えば対象物経路は正常か異常か、すなわち対象物経路が強盗またはテロリストなどのような潜在的な脅威または脅威でない事象の特徴を示すか否かの解析など、報告されたデータを評価するための脅威評価モジュールに提供することができる。
【００２１】
本明細書に記載のシステムおよび方法の様々な別個の部分は、システムまたは方法の一実施形態を形成するよう別個に、または組合わせて共に使用することができるということに留意されたい。例えば、コンピュータビジョンシステム１２は、そのシステムによって生成された情報を、セキュリティ分野を超えて様々な目的のために１つまたは複数のアプリケーションモジュール１４によって使用することができるような方法で実施される。例えば、コンピュータビジョンシステム１２を使用して収集された交通統計を、建築工事のためにアプリケーションモジュール１４によって使用することができる。
【００２２】
そのような使用例の１つとして、一年のうちの様々な日時の駐車場の利用に洞察を与えるために交通統計を使用することがある。このような洞察は、輸送手段およびセキュリティの必要性により役立つよう、監視中のオープンスペース（例えば、駐車場、道路、車庫、歩行者専用区域など）の機能上の再デザインをサポートすることができる。
【００２３】
さらに、例えば、このようなデータを、交通パターン解析、歩行者解析、ターゲット識別、および／または任意の他のタイプの対象物認識および／または追跡アプリケーションのためのモジュール１４において使用することができる。例えば、別のアプリケーションは、販売促進を目的として百貨店の顧客の道程統計を提供することを含むことができる。
【００２４】
さらに、例えば、本発明の脅威評価モジュールを、コンピュータビジョンシステム以外のデータ獲得など、完全に異なる別個のデータ獲得システムによって提供されるデータとは別個に使用することができる。例えば、脅威評価モジュールは、レーダーシステム（例えば、飛行機パターンの提供、鳥の往来の提供など）、赤外線撮像システム（例えば、それによって検出された人間の追跡の提供など）のような、捜索領域の移動対象物の対象物経路またはそれに関する他の情報を提供することのできるいかなる他のタイプのシステムによっても利用することができる。
【００２５】
本明細書において使用するように、捜索領域は、本発明によって監視されるいかなる領域であってもよい。このような捜索領域は、いかなる特定のエリアにも限定されるものではなく、その中にあるいかなる周知の対象物をも含むことができる。例えば、このような捜索領域は屋内でも屋外でも、照明されていても照明されていなくても、地上であっても空中であってもよい。捜索領域の様々な実例は、部屋、車庫、駐車場、ロビー、銀行、上空の一領域、運動場、歩行者専用区域などのような画定されたエリアを含むことができる。
【００２６】
本明細書において使用するように、移動対象物は、捜索領域内で位置を変更することができる生物または無生物の如何なるものも意味する。例えば、移動対象物は、人間（例えば、歩行者、顧客など）、飛行機、自動車、自転車、動物などを含むことができる。
【００２７】
図１に全体的に示されている監視／検出システム１０の説明的な一実施形態では、監視／検出システム１０は、図２に示される監視システム２０として使用される。監視システム２０は、場面など捜索領域の画像データを獲得し、その中の前景データなど移動対象物を識別するためにそのような画像データを処理するコンピュータビジョンシステム２２を含む。脅威評価モジュールなど評価モジュール２４に提供される画像データの少なくとも一部として対象物経路または軌道を提供するために移動対象物が追跡される。
【００２８】
一般に、コンピュータビジョンシステム２２は、捜索領域の少なくとも一部、好適には外周縁によって範囲の定められた画定された捜索領域全体の有効範囲を可視帯カメラなど複数の撮像装置３０を使用して規定する光学デザイン２８を含む。複数の撮像装置のそれぞれは、コンピュータビジョンソフトウェアモジュール３２の１つまたは複数のルーチンを実施するために、対応する視野（ＦＯＶ）の画像ピクセルデータを、画像ピクセルデータを処理することができる１つまたは複数のコンピュータ処理装置３１に提供する。
【００２９】
一般に、図３のコンピュータビジョン方法１００に示すように、捜索領域内の複数の視野に関する画像ピクセルデータを獲得するために撮像装置を設置する際（ブロック１０２）に、コンピュータビジョンモジュール３２は、複数の撮像装置の様々な視野から形成されたグローバル座標系の複合画像など、単一画像を表す画像データを獲得するために（ブロック１０４）、複数の撮像装置の複数の視野（例えば、様々なローカル座標系の視野）の画像ピクセルデータを融合させるようそのような画像データを処理する。
【００３０】
その後、捜索領域内の移動対象物（例えば、前景ピクセル）を決定するために単一画像を前景と背景にセグメント化することができる（ブロック１０６）。次いで、移動対象物経路または軌道、および関連情報（例えば、対象物経路の長さ、移動対象物の検出回数のような計算された情報など）を提供するためにそのような移動対象物を追跡することができる（ブロック１０８）。
【００３１】
光学デザイン２８は、画定された捜索領域を最適に有効範囲とする撮像装置の配列の仕様を含むことが好ましい。光学システムデザインは、リアルタイムでコンピュータビジョンアルゴリズムを実行するために必須の計算資源の仕様も含む。このようなアルゴリズムは、画像を融合するために上記のような必須のものを含み、前景情報と背景情報のセグメント化、追跡などを規定する。さらに、最適システムデザインは、システムのユーザに情報を中継するための表示ハードウェアおよびソフトウェアを含む。例えば、コンピュータビジョンアルゴリズムは、捜索領域を完全に有効範囲とするために十分な計算能力を必要とする。したがって、そのようなアルゴリズムを実行するために５００ＭＨｚのプロセッサなど、少なくともミッドエンドのプロセッサが使用されることが好ましい。
【００３２】
市販のハードウェアおよびソフトウェア開発構成要素が使用され、オープンアーキテクチャ戦略が可能になることが好ましい。例えば、市販のパーソナルコンピュータ、カメラ、および組込み型でないソフトウェアツールが使用される。
【００３３】
例えば、コンピューティング装置３１は、本発明によるコンピュータビジョンアルゴリズムおよび／または評価アルゴリズムを実行するために使用される１つまたは複数のプロセッサベースのシステム、または他の専用ハードウェアであってよい。コンピューティング装置３１は、例えば、パーソナルコンピュータなど、１つまたは複数の固定式または移動式コンピュータシステムであってよい。コンピュータシステム構成は厳密にこの通りであるよう限定するものではなく、適切な計算機能を提供することができるいかなる１つまたは複数の装置の大部分が本発明によって使用することができる。さらに、コンピュータディスプレイ、マウス、キーボード、プリンタなどのような様々な周辺装置は、コンピューティング装置３１のプロセッサと組み合わせて使用されることを意図している。コンピュータビジョンアルゴリズムを実施するために使用されるコンピュータ装置は、脅威評価など、そのアルゴリズムから得られる特性データの評価を実行するために使用される装置と同じであっても、異なっていてもよい。
【００３４】
以下で詳述するコンピュータビジョン方法１００の好ましい一実施形態では、本発明は、ピクセルレベルでマルチノーマル表示を通しての移動対象物セグメント化を実行することが好ましい。このセグメント化方法は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡に使用する活動のパターン学習動作（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７４７〜７６７頁、２０００年、並びにＣ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混合モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）に様々な有利な変形と共に記載されているセグメント化方法と類似している。この方法は、各ピクセルの混合モデルの記述を更新しながら、画像データの各新フレームの前景ピクセルを識別する。
【００３５】
次いで、ラベリングされた、または識別された前景ピクセルを、好適には結合構成要素アルゴリズムを使用して対象物として組み立てることができる。フレーム間の対象物の対応を確立すること（すなわち、追跡）は、位置とサイズの両方を組み込む線形予測の複数仮定追跡アルゴリズムを使用して達成することが好ましい。
【００３６】
カメラなど単一の撮像装置は駐車場のような大きなオープンスペース全体を有効範囲とすることができないので、全般的な認識を維持するために一貫した単一画像に様々なカメラの視野が融合される。カメラなど複数の撮像装置のこのような融合（または一般的に較正と称される）は、コンピューティングホモグラフィ行列によって達成されることが好ましい。計算は、数対のカメラの間で共通してオーバーラップする視野領域にある複数の標識点の識別に基づく。
【００３７】
脅威評価モジュール２４は、脅威分類子４８が従うフィーチャー・アセンブリ・モジュール４２を含むことが好ましい。フィーチャー・アセンブリ・モジュール４２は、対象物経路、すなわち対象物トラック、または群の経路から様々なセキュリティ関連統計を抽出する。脅威分類子４８は、特徴となる捜索領域の移動対象物など特定の対象物経路が脅威を構成するか否かを、好適にはリアルタイムで決定する。脅威分類子４８は、脅威の対象物経路と脅威でない対象物経路、もしくは脅威の事象または脅威でない事象に関する対象物経路情報を定義するために使用することができる脅威モデリング訓練モジュール４４によって支持することができる。
【００３８】
図面をさらに参照すると、本発明は、図３のコンピュータビジョン方法における画像装置の設置によって全体的に示される（ブロック１０２）異なる光学撮像デザイン２８（図２を参照のこと）をいくつでも使用することができる。しかし、本発明は、複数の撮像装置３０が他のマルチ撮像装置システムより優れた利点を得るために慎重に設置される光学デザイン２８を提供することが好ましい。本発明による好ましいカメラ設置デザインにより、セキュリティ中断の脅威の原因となりうる死角ができないようにするために監視中のオープンスペースが完全に有効範囲となるよう保証される。
【００３９】
ビデオセンサおよび複数の画像装置からのデータを処理するための計算能力は安価になりつつあり、したがってオープンスペースに対する有効範囲を提供するために大量に使用することができるが、大部分の安価なビデオセンサは高品質の対象物追跡に対処するために要求される解像度を有しない。したがって、遠方監視用途のビデオ画像装置は依然としてやや高額であり、撮像装置の数を減らすことによってシステム費用の大幅な削減を実現している。使用されるカメラは、屋外エリアで使用するために全天候型であることが好ましい。しかし、これは追加費用を生じる。
【００４０】
さらに、時には処理設備から非常に遠距離への電力供給およびビデオ信号伝送を含む据付費により、システムは最小台数のカメラの使用を余儀なくされる。例えば、各カメラの据付費は、通常、カメラ原始価格の数倍にのぼる。
【００４１】
さらに、エリアの地形（例えば、道路、並木）により、また市および建築物の条例（例えば、美観）など、他の理由により使用されるカメラの台数に制約が課せられる場合もある。
【００４２】
要約すると、上記の考慮事項に鑑みて、監視システムに許可されるカメラ台数を最低限に抑えることが好ましい。さらに、他の光学システムデザイン考慮事項は、計算資源のタイプ、コンピュータネットワーク帯域幅、およびシステムに関連する表示機能を含むことができる。
【００４３】
光学デザイン２８は、図３のブロック１０２に全体的に示され、図４に示される光学デザイン２８を提供するさらに詳細な説明的な一実施形態にある撮像装置３０の選択的な設置によって提供されることが好ましい。本明細書で使用される光学デザインは撮像装置の実際の物理的な配置、並びにそのような撮像装置のデザインプランのシミュレーションおよび提示を意味することを理解されたい。
【００４４】
光学デザインプロセス（ブロック１０２）は、捜索領域を最初に定義することによって（ブロック１２０）開始される。例えば、本明細書で既に説明した捜索領域は、駐車場、ロビー、車道、上空の一部などのような監視されるべき様々な領域のどれでも含むことができる。
【００４５】
定義された捜索領域を有効範囲とする際に使用するために複数の撮像装置が提供される（ブロック１２２）。複数の撮像装置のそれぞれは、視野を有し、以下で詳述するようにそれを表す画像ピクセルデータを提供する。
【００４６】
複数の撮像装置は、本発明で使用するための画像ピクセルデータを提供することができるいかなるタイプのカメラでも含むことができる。例えば、単一または二重チャネルカメラシステムを使用することができる。昼間は中解像度カラーカメラとして機能し、夜間は高解像度グレイスケールカメラとして機能する二重チャネルカメラシステムが使用されることが好ましい。昼間動作から夜間動作への切り替えは、光センサによって自動的に制御される。二重チャネル技術は、夜間の低光条件ではカラー情報が失われるという事実を利用している。したがって、夜間の条件においてカラーカメラを使用する理由はない。代わりに、カラー情報の損失を補うために、より安価でより解像度の高いグレイスケールカメラを使用することができる。
【００４７】
例えば、撮像装置は、Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（Ｔｒｏｙ、Ｍｉｃｈｉｇａｎ）から市販されているＤＳＥ ＤＳ−５０００二重チャネルシステムであってよい。昼間用カラーカメラは、フレーム当たりＨσ＝４８０走査線の解像度を有する。夜間用グレイスケールカメラは、フレーム当たりＨｎ＝５７０走査線の解像度を有する。ＤＳＥ ＤＳ−５０００カメラシステムは、昼間用カメラと夜間用カメラの両方のために２．８〜６ミリメートルｆ／１．４可変焦点自動絞りレンズを有する。これは、カメラの視野を４４．４度から８２．４度の範囲で変更することを可能にする。
【００４８】
デザイン上の考慮事項のために、必須の計算を実行する際に使用するのに適した視野が選択される。例えば、そのような計算に対してはＦＯＶ＝６０度の中間値を選択することができる。以下で詳述するオーバーラップに関する制約を満たすために、この値からカメラの１つまたは複数のＦＯＶを増減させることができる。
【００４９】
光学デザイン２８は、上記のように費用を削減するために、駐車場、上空など、画定された捜索領域全体の有効範囲に最低台数のカメラを提供することが好ましい。しかし、多くの環境では、カメラを設置するための据付空間は捜索領域の地形によって限定される。例えば、道路の中央にカメラのポールを置くことはできない。しかし、可能な限り既存の電柱および屋上を使用することができる。
【００５０】
このような地形的考慮事項に鑑みて、画定された捜索領域のコンピュータ支援設計の様々な可能なカメラ据付場所を図示することができる。しかし、据付探索空間は、コンピュータビジョンアルゴリズムによってそれに課された制約によってさらに縮小することができる。例えば、都市監視システムは、車両と人間という２種類の対象物を監視することができる。サイズの点では、人間が監視対象としては最も小さい対象物である。したがって、人間のフットプリントは、以下で詳述するようにカメラの限定範囲に対する要求を助長する。このような限定範囲は、監視されている最少の対象物に少なくとも一部には基づく。反対に、限定範囲の決定は、駐車場に所与のカメラ構成では有効範囲とならない空間があることを確認する際に役立つ。
【００５１】
カメラなど、各撮像装置は、少なくとも１つの他の撮像装置とオーバーラップする視野を有することが好ましい。オーバーラップするエリアの索引付けによって１つのカメラから別のカメラへの遷移が容易に達成され、中断なしに単向移動ですべてのカメラの前を通過できるように、オーバーラップする配列を構成することが好ましい。このような索引付けは、撮像装置の視野を、以下で詳述するような有効な方法で既に融合されている他の撮像装置の視野と融合することを可能にする。
【００５２】
視野のオーバーラップは、好適には２５パーセントより大きくすべきであり、より好適には３５パーセントよりも大きくすべきである。さらに、このようなオーバーラップは、カメラの使用可能な視野を有効活用するためには好適には８５パーセントよりも少なく、より好適には５０パーセントよりも少ない。このようなパーセンテージの要求は、マルチカメラ較正アルゴリズム（すなわち、融合アルゴリズム）が確実に実行することを可能にする。正確なホモグラフィ用の共通の視野で良好に分散した複数の標識点を獲得するためにこのオーバーラップのパーセントが必要とされる。例えば、通常、オーバーラップするエリアの複数部分は、目標を提供するために利用することはできない。何故ならば、オーバーラップするエリアは、並木など、平面的でない構造によって覆われているからである。したがって、２つのカメラの間の共通エリアにはそれぞれの視野の半分を有効範囲とすることを要求することができる。
【００５３】
したがって、図４に示すように、各撮像装置の視野の少なくとも２５％が少なくとも１つの他の撮像装置の視野とオーバーラップするように各撮像装置が設置される（ブロック１２４）。捜索領域が設置された撮像装置の有効範囲とされる場合、撮像装置の構成の配列は完成する（ブロック１２８）。しかし、捜索領域が完全に有効範囲とされていない場合（ブロック１２６）、追加の撮像装置が設置される（ブロック１２４）。
【００５４】
さらに詳細なカメラ配置プロセス２０２の説明を図５に示す。カメラ配置アルゴリズムまたはプロセス２０２では、捜索領域が画定されている（ブロック２０４）。例えば、捜索領域は、外周縁を有する縁によって画定することができる。駐車場２２４が捜索領域に画定された一例を図６に示す。図から分かるように、道路７１は、外周縁の少なくとも一部として機能する。
【００５５】
また、カメラ配置アルゴリズムまたはプロセスにさらに従い、それぞれが視野を有する複数のカメラが設置される（ブロック２０６）。第１に、１つの据付場所では、その視野が捜索領域の外周縁の少なくとも一部と接するように最初のカメラが配置される（ブロック２０８）。すなわち、視野は、外周縁の少なくとも一部に沿った領域を有効範囲とする。
【００５６】
したがって、最初の据付場所の最初のカメラによって有効範囲とされるエリアに隣接した領域を有効範囲とするために、適宜、カメラが最初のカメラの周囲に追加される（ブロック２１０）。例えば、外周縁の別の部分に達するまでカメラを配置することができる。このような有効範囲の導入を図６に示す。図に示すように、図面下部の外周縁の領域を有効範囲とするように最初のカメラが据付場所３３に配置され、駐車場に隣接する道路７１など、図面上部の外周縁に沿った領域をカメラが有効範囲とするまでカメラが配置され続ける。
【００５７】
各カメラが配置されると、オーバーラップ量を決定する必要がある。好適には、隣接視野の少なくとも約２５パーセントのオーバーラップが達成されていることを確認すべきである（ブロック２１４）。さらに、据え付けられたカメラのそれぞれに対して限定範囲が計算される（ブロック２１２）。視野と限定範囲を認識することによって、以下で詳述するように各カメラに対する完全に有用な有効範囲エリアが達成される。これらに鑑みて、カメラまたはカメラの視野の位置に対して調整を行うことができる。
【００５８】
最初の据付場所でのカメラの設置が完了すると、捜索領域全体が有効範囲とされているか否かが決定される（ブロック２１６）。捜索領域が有効範囲とされている場合、限定された平面空間によるなど、地形上の制約のために必要とされる可能性があるような最後の調節がなされる（ブロック２２０）。
【００５９】
捜索領域全体が有効範囲とされていない場合、カメラは１つまたは複数の他の据付場所に同様の方法で設置される（ブロック２１８）。例えば、最初の据付場所でカメラが有効範囲としたエリアの直ぐ外側である次の据付場所にこのようなカメラが配置され続ける。しかし、追加の据付場所の追加のカメラの少なくとも１つの視野は、最初の据付場所のカメラの視野の１つと少なくとも２５パーセントはオーバーラップすることが好ましい。追加の据付場所の使用は、捜索領域全体が有効範囲とされるまで反復される。
【００６０】
上記から分かるように、様々な他の配置後調節が必要とされる場合がある（ブロック２２０）。これらは、通常、カメラの１つまたは複数の視野の増減を伴う。視野の調節は、平面空間がほとんどない場合（例えば、樹木が多い場合など）、幾分かの余分なオーバーラップを切り捨てるか、エリアに幾分かの特別なオーバーラップを追加することになる。
【００６１】
特に、このような調節を行う際に役立つようにカメラの限定範囲Ｒｃの計算が使用される。これは、次の等式から計算される。
Ｒｃ＝Ｐｆ／ｔａｎ(ＩＦＯＶ)
上式で、Ｐｆは、人間など監視されている対象物の最小の許容可能なピクセルフットプリントであり、ＩＦＯＶは瞬間視野である。
【００６２】
例えば、人体のシグネチャは、焦点面配列（ＦＰＡ）のｗ×ｈ＝３×９＝２７ピクセルの長方形よりも小さくなるべきではない。２７ピクセルより少ないピクセルを有するクラスタは雑音レベル以下になる可能性がある。平均的な人間の身体の幅を約Ｗｐ＝６１ｃｍ（２４インチ）とすると、ピクセルフットプリントＰｆ＝２４／３＝８である。ＩＦＯＶは次の公式から計算される。
ＩＦＯＶ＝ＦＯＶ／ＬＦＰＡ
上式で、ＬＦＰＡはカメラの解像度である。
【００６３】
例えば、ＦＯＶ＝６０度、およびＬＦＰＡ＝４８０ピクセル（昼間用カラーカメラ）の場合、限定範囲はＲｃ＝９２．９６ｍ（３０５フィート）である。ＦＯＶ＝６０度、およびＬＦＰＡ＝５７０ピクセル（夜間用グレイスケールカメラ）の場合、限定範囲はＲｃ＝１１０．３ｍ（３６２フィート）である。すなわち、同じＦＯＶの２台のカメラでは、解像度の高いカメラの方が有効範囲が大きい。反対に、２台のカメラが同じ解像度を有する場合、ＦＯＶの小さい方が有効範囲が大きい。したがって、配置後調節中（ブロック２２０）、カメラの有効範囲限界を増やすために、カメラの視野を、例えば６０度のＦＯＶから、昼間用の解像度の低いカメラチャネルのいくつかでＦＯＶ＝５２度にするなど、減らすことができる。
【００６４】
光学デザイン２８は、監視システム２０の有効性にとって重要である。光学デザインに使用される原理、アルゴリズム、および計算は、駐車場またはオープンスペースなど、任意の他の定義された捜索領域での撮像装置に対する光学デザインを提供する際に使用するように自動制御とすることができる。
【００６５】
１つの説明的な光学デザイン２２２の少なくとも一部を図６に示す。道路７１および建物２２６によって少なくとも部分的に画定された駐車場である捜索領域２２４全体を有効範囲とするよう７台のカメラが設置される。
【００６６】
複数のパーソナルコンピュータの１つを、以下で詳述するように、７台すべてのカメラからの画像ピクセルデータの融合を実行することができるサーバに指定して、各カメラは情報を処理するために１台の専用標準型パーソナルコンピュータを有することができる。当業者ならば、すべての処理が十分な計算能力を有する単一または複数のコンピュータシステムによって実際に実行されるようにして、いかなるコンピュータセットアップでも使用することができることを理解するだろう。
【００６７】
図６に示すように、有効範囲は、３つの据付場所３３、３５、および３７に設置されたカメラ３０によって提供される。簡約化のため、４台のカメラ３０を第１の据付場所３３に設置し、追加のカメラ３０を据付場所３５に設置し、他の２台の追加のカメラ３０を第３の据付場所３７に設置する。図６に示すような視野７０により、またカメラ３０相互の視野７０間の少なくとも２５％のオーバーラップ７２により、駐車場２２４全体を撮像することができる。
【００６８】
さらに図３を参照すると、複数の視野に関して画像ピクセルを獲得するように撮像装置３０を設置することにより、画像ピクセルデータは好適に融合される（ブロック１０４）。融合された画像情報は、例えば任意の注釈（例えば、画像の取得時刻のような画像の関連情報）と共に、複数の断片化された風景に注意を散らすことなくユーザが即座に気付くことができるようにするいかなるディスプレイ上にでも表示することができる。画像融合方法１０４の説明的な一実施形態を図７の図面に示す。
【００６９】
図７に示すように、複数のオーバーラップする視野に対する画像ピクセルデータが提供される（ブロック２３０）。一般に、広大な捜索領域の監視は、複数のカメラ撮像装置を調整して使用することによってのみ達成することができる。好適には、すべての撮像装置の有効範囲とされる地理的捜索領域全体を通した人間と車両のシームレスな追跡が望まれる。捜索領域の単一画像を提供するために、局所座標系を有する個々の撮像装置の視野を融合するか、またはこれを大域座標系と結合する必要がある。この場合、移動対象物の対象物経路は、複数の断片化された風景とは反対に大域座標系に対して登録することができる。
【００７０】
複数の撮像装置登録または融合（一般的に較正とも呼ばれる）を達成するために、第１の対の撮像装置に対してホモグラフィ変換が計算される。その後、以前に計算されたホモグラフィ変換に追加撮像装置の視野を追加するためにホモグラフィ計算を実行することができる。この方法は、隣接する数対の撮像装置の視野の間に存在するオーバーラップ部分を利用する。さらに、上述のように１台の撮像装置の視野から次の撮像装置の視野へ、さらにその次へと索引付けすることができるように視野が好適に設定されているので、追加の撮像装置は系統的で有効な方法でホモグラフィ変換に連続的に追加される。
【００７１】
すなわち、第１のホモグラフィ変換行列が、オーバーラップ部分を有する第１と第２の撮像装置に対して計算される。この結果、第１と第２の撮像装置の両方に対する大域座標系が得られる。その後、第１と第２の撮像装置に関して計算されたホモグラフィ行列に加え、第２と第３の撮像装置の視野のオーバーラップする部分の標識点を用いてホモグラフィ変換行列を計算することにより、第２の撮像装置とオーバーラップする第３の撮像装置が第１と第２の撮像装置に融合される。この結果、３台の撮像装置すべて、すなわち第１、第２、および第３の撮像装置に対するホモグラフィ変換、つまり３台の撮像装置すべてに対する大域座標系が得られる。このプロセスは、撮像装置すべてに対して単一の大域座標系を得るために、すべての撮像装置が追加されるまで続けられる。
【００７２】
撮像装置に対するホモグラフィ変換を計算する際（ブロック２３４）に使用するために、一対の撮像装置に対する一対の視野のオーバーラップする部分の複数の標識ピクセル座標が特定される（ブロック２３２）。１つの撮像装置が１つまたは複数の他の撮像装置に融合される時、オーバーラップする部分の少なくとも４つの点のピクセル座標が使用される（ブロック２３４）。
【００７３】
オーバーラップする部分の点は、それに対して１つの行列を計算中の２つの撮像装置の視野の間のオーバーラップする部分に入る物理的な地面上の点の投影である。これらの点は、撮像装置３０の据付中に選択され、地面に物理的にマーク付けされる。その後、変換行列を計算する際に対応する投影された画像点を使用することができるように、対応する投影された画像点をユーザがグラフィカルユーザインターフェースによってサンプリングすることができる。
【００７４】
この物理的なマーキングプロセスは、光学デザイン２８の導入開始時にのみ必要とされる。撮像装置の相互登録は一度完了すると繰り返す必要はない。
【００７５】
ホモグラフィ計算は、いかなる周知の方法でも実行することができる。ホモグラフィ変換行列を計算するための１つの方法は、Ｌ．Ｌｅｅ、Ｒ．Ｒｏｍａｎｏ、およびＧ．Ｓｔｅｉｎ著、「複数ビデオストリームからアクティビティを監視（Ｍｏｎｉｔｏｒｉｎｇ ａｃｔｉｖｉｔｉｅｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｖｉｄｅｏ ｓｔｒｅａｍｓ）：共通座標フレームを確立（Ｅｓｔａｂｌｉｓｈｉｎｇ ａ ｃｏｍｍｏｎ ｃｏｏｒｄｉｎａｔｅ ｆｒａｍｅ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７５８〜７６７頁（２０００年）に記載のいわゆる最小二乗法である。しかし、使用はできるが、この方法は、通常は偏った推定のために等式の制約を受けたシステムに対して不十分な解決策しか提供しない。さらに、特別な事象が発生している時には、一般的なホモグラフィ計算を有効に特化することができない可能性がある。
【００７６】
好適には、Ｋ．Ｋａｎａｔａｎｉ著、「信頼性測定のある最適ホモグラフィ計算（Ｏｐｔｉｍａｌ ｈｏｍｏｇｒａｐｈｙ ｃｏｍｐｕｔａｔｉｏｎ ｗｉｔｈ ａ ｒｅｌｉａｂｉｌｉｔｙ ｍｅａｓｕｒｅ）」、ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ議事録、日本国、千葉、幕張、４２６〜４２９頁（１９９８年１１月）に記載のアルゴリズムがホモグラフィ行列を計算するために使用される。このアルゴリズムは、Ｋ．Ｋａｎａｔａｎｉ著、「幾何学的コンピュータビジョンに対する統計的最適化（Ｓｔａｔｉｓｔｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｇｅｏｍｅｔｒｉｃ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」、Ｅｌｓｅｖｉｅｒ Ｓｃｉｅｎｃｅ、オランダ、アムステルダム（１９９６年）に記載の幾何学コンピュータビジョンのための統計的最適化理論に基づいている。このアルゴリズムは、最小二乗法が呈する不備を解決するものと考えられる。
【００７７】
Ｋａｎａｔａｎｉの著書に記載されているアルゴリズムの基本前提は、撮像問題の統計的な性質により、エピポーラ制約は様々な雑音源によって破られる可能性がある。図８の図面２４０に示すように、撮像問題の統計的性質はエピポーラ制約に影響を与える。Ｏ１およびＯ２は、対応する撮像装置２４２と２４４の光心である。Ｐ（Ｘ，Ｙ，Ｚ）は、共通エリア２４６、すなわち一対の撮像装置の２つの視野の間のオーバーラップする部分に入る捜索領域内の１点である。ベクトル
【００７８】
【数１】
は共面であると理想的である。しかし雑音のある撮像プロセスのため、実際のベクトル
【００８０】
【数２】
は共面ではない。ホモグラフィ変換の計算は当技術分野では周知なので、本明細書で提供する情報は簡約化した。Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎ著、「コンピュータビジョンにおける複数ビュー幾何学（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」、ケンブリッジ大学出版、６９〜１１２頁（２０００年）から、より詳細な情報を得ることができる。
【００８２】
上記のように、また決定ブロック２３６およびループブロック２３９によって示されるように、撮像装置のＦＯＶのすべてを融合するために、ホモグラフィ変換が計算される。そこに示されているように、ＦＯＶのすべてがまだ融合済みでない場合、追加のＦＯＶを融合すべきである（ブロック２３９）。すべてのＦＯＶが一度他に登録されると、画像ピクセルデータを大域座標系の単一画像に融合するためにホモグラフィ変換行列が使用される（ブロック２３８）。
【００８３】
ホモグラフィ変換行列は、対応する一対の撮像装置に対して１つの視野の複数の点と別の視野の複数の点との間の関係を完全に記述しているので、様々な撮像装置の画像ピクセルデータのこのような融合が可能である。このような融合は撮像装置の較正と呼ぶこともできる。
【００８４】
様々な視野のピクセルが大域座標系の座標に提供される。ピクセルが特定の一組の座標に対して存在する場合、当該特定の一組の座標に対するピクセル値を提供するために平均化技法が使用される。例えば、視野のオーバーラップ部分にピクセル値を割り当てる際にこのような平均化が使用される。カメラのそれぞれからのオーバーラップ部分の特定の一組の座標に対するピクセル値が同じになるように、このシステムでは同等のカメラを使用することが好ましい。
【００８５】
図３をさらに参照すると、画像ピクセルデータが複数の視野に対して一度融合されると（ブロック１０４）、前景情報を背景情報からセグメント化するなど、捜索領域での移動対象物のセグメント化が実行される（ブロック１０６）。様々な移動対象物セグメントの任意の１つを使用することができる。しかし、以下で詳述するように、画像の各ピクセルに対して複数の経時的に変化する正規分布を使用する方法が好ましい。
【００８６】
静止したカメラに関して移動対象物のセグメント化のために使用することができる２つの従来の方法は、Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ、Ｐ．Ｊ．Ｂｕｒｔ、およびＧ．Ｓ．Ｖａｎ Ｄｅｒ Ｗａｌ著、「角錐変換技術を用いた変化検出および追跡（Ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐｙｒａｍｉｄ ｔｒａｎｓｆｏｒｍ ｔｅｃｈｎｉｑｕｅｓ）」、ＳＰＩＥ−ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ議事録、マサチューセッツ州、ケンブリッジ、第５７９巻、７２〜７８頁（１９８５年９月１６〜２０日）に記載の時間差と、Ｉ．Ｈａｒｉｔａｏｇｌｕ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｓ．Ｄａｖｉｓ著、「Ｗ／ｓｕｐ ４／ｓ：２ １／２で人を検出し且つ追跡する実時間システム（Ａ ｒｅａｌ−ｔｉｍｅ ｓｙｓｔｅｍ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｎｄ ｔｒａｃｋｉｎｇ ｐｅｏｐｌｅ ｉｎ ２ １／２ｄ）」、５ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ議事録、ドイツ、フライブルク、第１巻、８７７〜８９２頁（１９９８年６月２〜６日）に記載の背景の差し引きとを含む。時間差は、動的な環境には非常に順応性があるが、すべての関連する対象物のピクセルを抽出する適切な機能は提供しない場合がある。背景の差し引きは、最も完全な対象物データを提供するが、照明および無関係な事象による動的な場面の変化には非常に影響されやすい。
【００８７】
他の順応性のある背景化方法は、Ｔ．Ｋａｎａｄｅ、Ｒ．Ｔ．Ｃｏｌｌｉｎｓ、Ａ．Ｊ．Ｌｉｐｔｏｎ、Ｐ．Ｂｕｒｔ、およびＬ．Ｗｉｘｓｏｎ著、「共働マルチセンサビデオ監視における進展（Ａｄｖａｎｃｅｓ ｉｎ ｃｏｏｐｅｒａｔｉｖｅ ｍｕｌｔｉ−ｓｅｎｓｏｒ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ）」、ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ議事録、カリフォルニア州、モンテレー、３〜２４頁（１９９８年１１月）に記載されており、環境のダイナミズムにより有効に対応することができる。しかし、これらは依然としてバイモーダル背景を処理するには不十分な場合があり、多くの移動対象物のある場面では問題がある。
【００８８】
Ｓｔａｕｆｆｅｒ他の著書は、ピクセルレベルでの法線混合表現に基づくより高度な対象物検出方法を記載している。この方法は、遥かに順応性に富み、バイモーダル背景（例えば、揺れる木の枝）を処理することができるという特徴を有する。この方法は強力な表現方式を提供する。各ピクセルに対する法線混合の各法線は、同じ場面ポイントのサンプルがガウス雑音分布を表示する可能性がある期待値を反映する。法線混合は、複数のプロセスを経時的に観察することができる期待値を反映する。さらに、Ａ．Ｅｌｇａｍｍａｌ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｄａｖｉｓ著、「背景減法のための非パラメトリックモード（Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ ＦＲＡＭＥ−ＲＡＴＥ Ｗｏｒｋｓｈｏｐ議事録、ギリシャ、コルフ、ｗｗｗ．ｅｅｃｓ．ｌｅｈｉｇｈ．ｅｄｕ／ＦＲＡＭＥ（２０００年９月）は、正常の核関数によって密度推定が達成される法線混合モデルの一般化を提案している。
【００８９】
一般に、法線混合パラダイムは、厄介な屋外の状況で適切な結果を提供する。これは、本発明による好ましい移動対象物セグメンターに対するベースラインアルゴリズムである。この方法は、本発明の１つまたは複数の実施形態に従って、Ｓｔａｕｆｆｅｒ他によって記載の形式で、もしくは好適には本明細書に記載のように変更されて使用することができる。
【００９０】
上記のように、Ｓｔａｕｆｆｅｒ他の著書に記載のプロセスに類似のセグメント化プロセス１０６が本発明に従って使用されることが好ましい。しかし、Ｓｔａｕｆｆｅｒによるプロセスは、以下で特に図１２Ａと１２Ｂの比較を参照して詳述するように変更される。
【００９１】
一般に、図９の流れ図と図１０のブロック図の両方に示されるようなセグメント化プロセス１０６は、捜索領域に対応するピクセルに対する統計値を提供するために使用される初期化の段階２５０を含む。その後、着信更新ピクセル値データが受け取られ（ブロック２５６）、セグメント化プロセス１０６の更新周期段階２５８で使用される。
【００９２】
図９および１０に示され、これらを参照して説明されるように、初期化段階２５０の目標は、場面に対応するピクセルに対して統計的に有効な値を提供することである。この場合、これらの値は前景および背景認識の動的処理の開始点として使用される。初期化段階２５０は一度だけ行われ、リアルタイムで実行する必要はない。初期化段階２５０で、ピクセル値データの特定数のフレームＮ（例えば、Ｎ＝７０）が捜索領域の複数のピクセルに提供され（ブロック２５１）、オンラインまたはオフラインで処理される。
【００９３】
図１０に説明のために示した複数の経時的に変化する正規分布２６４は、少なくともピクセル値データに基づいて捜索領域の各ピクセルに提供される（ブロック２５２）。例えば、各ピクセルｘは、５つの経時的に変化する三変数正規分布の混合と見なされる（但し、分布は幾つでも使用することができる）。
【００９４】
【数３】
上式で、
【００９６】
【数４】
は混合割合（重み付け）であり、Ｎ３（μ、Σ）はベクトル平均μと分散−共分散行列Σによる三変数正規分布を示す。この分布は、カラーカメラの一般的な事例での各ピクセルの３つの成分色（赤、緑、および青）に相当する三変数である。次に留意されたい。
【００９８】
【数５】
上式で、ｘＲ、ｘＧ、およびｘＢは、特定ピクセルに対してカメラの赤、緑、および青のチャネルから受け取られた測定値を表している。
【０１００】
簡約化のために、分散−共分散行列は、すべての成分は横断しないが、各法線成分内に同一の分散を有するｘＲ、ｘＧ、およびｘＢと対角であると仮定される（すなわち、ｋ≠１成分の場合、σ２ ｋ≠σ２ ｌ）。したがって、
【０１０１】
【数６】
である。
複数の経時的に変化する正規分布は、その経時的に変化する正規分布が捜索領域の背景または前景を表す確率に基づいて各ピクセルに対して最初に順序付けされる。複数の経時的に変化する正規分布２６４のそれぞれは前景または背景とラベリングされる。そのような順序付け、および背景２８０または前景２８２でのラベリングは、全体的に図１２Ａに示され、以下で更新周期段階２５８に関して詳述される。
【０１０３】
文献で報告されている他の使用できる方法は、ランダムに、またはＫ平均アルゴリズムによってピクセル分布を初期化する。しかし、ランダムな初期化は、動的混合モデル更新段階での学習を遅らせることがあり、不安定さの原因とさえなる場合がある。Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎ著、「ＥＭアルゴリズム（吟味した）を経た不完全データからの最尤度（Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ ｉｎｃoｍｐｌｅｔｅ ｄａｔａ ｖｉａ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ（ｗｉｔｈ ｄｉｓｃｕｓｓｉｏｎ））」、Ｊｏｕｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｂ、第３９巻、１〜３８頁（１９７７年）に記載のＫ平均または期待値−最大化（ＥＭ）法による初期化からはよりよい結果が得られる。ＥＭアルゴリズムは、計算集約的でありオフラインの初期化プロセスには約１分が掛かる。人間と車両の交通量が少ない上記の説明のための駐車場の応用例では、短期間のオフライン間隔は問題ではない。ＥＭ初期化アルゴリズムは、天候条件が動的な場合（例えば、速く移動する雲）はより有効に機能することができるが、監督下にあるエリアが往来の激しいオープンスペース（多くの移動する人間と車両）の場合はオンラインによるＫ平均初期化が好ましい場合がある。
【０１０４】
各ピクセルに対する初期の混合モデルは、初期化段階２５０の後で動的に更新される。更新機構は、更新画像データまたは着信証拠（例えば、更新ピクセル値データを提供する新しいカメラフレーム）の提示に基づいている（ブロック２５６）。セグメント化プロセスのいくつかの構成要素は、更新周期段階２５８の更新周期中に変更または更新される場合がある。例えば、いくつかの分布の形式を変更することができる（例えば、変更重み付けπｉ、変更平均μｉ、および／または変更分散σ２ ｉ）。いくつかの前景状態は背景に戻ることができ、またその反対も可能である。さらに、例えば、既存の分布の１つは破棄され、新しい分布がこれに取って代わることができる。
【０１０５】
どの時点でも、最強の証拠を有する分布は、ピクセルの最も確率の高い背景状態を表すものと見なされる。図１１は法線混合モデルを視覚化したものであり、図１０は混合モデルの更新機構を示している。図１１は、複数時点（ｔ０〜ｔ２）で簡約化のために一色だけで表示される複数の法線２６４を示している。画像２６６、２６８、および２７０のピクセル２６３に対して図示するように、より強力な証拠による分布、すなわち分布２７１は、画像２６６では夜間、画像２６８では昼間の道路であるピクセルを示している。しかし、ピクセル２６３が画像２７０に示すように移動中の自動車２６７を表す場合、ピクセル２６３は遥かに弱い分布２７３によって表される。
【０１０６】
図９にさらに示すように、各ピクセルに対する更新周期２５８は以下のように進み、そのピクセルが背景か前景かを決定することを含む（ブロック２６０）。第１に、アルゴリズムは、ピクセルに対する少なくとも更新ピクセル値データに基づいて各ピクセルに対して経時的に変化する正規分布とそれらのパラメータとの混合を更新する（ブロック２５７）。更新の性質は、照合オペレーションおよび／またはピクセル値データの結果に基づくことができる。
【０１０７】
例えば、更新ピクセル値に対して狭い分布を生成することができ、その狭い分布をそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合することを試みることができる。一致が見られると、以下で詳述する積率法を使用して更新を実行することができる。さらに、例えば、一致が見られない場合、最も弱い分布を新しい分布で置き換えることができる。以下で詳述するように前景セットに新しい分布が含まれることを保証するために更新プロセスのこの種の置き換えを使用することができる。
【０１０８】
その後、ピクセルごとに更新された複数の正規分布が、分布が前景または背景ピクセルデータである確率を示すそれらの重み付け値に基づいて降順などに再度順序付けられ、ラベリングされる（ブロック２５９）。次いでそれぞれのピクセルの状態は、更新され照合された分布（例えば、それぞれの更新ピクセル値を表す狭い分布によって照合された分布）が前景とラベリングさているか、背景とラベリングされているか、更新された分布が前景を表す新しい分布を含むか否か（例えば、一致しないために生成された新しい分布）など、順序付けられ、ラベリングされて更新された分布に基づいて前景または背景の状態とすることができる（ブロック２６０）。
【０１０９】
更新周期の順序付けプロセスの一実施形態では（ブロック２５９）、順序付けアルゴリズムが、割り当てられた重み付けに基づいて複数の正規分布を順序付ける。例えば、順序付けアルゴリズムは、証拠７の事前定義された断片に相当する複数の経時的に変化する正規分布の最初のＢ分布を選択する。
【０１１０】
【数７】
上式で、ｗｊ，ｉ＝１，．．．，ｂは分布の重み付けを表している。これらのＢ分布は、すなわち背景分布とラベリングされているものと見なされ、残りの５−Ｂ分布は、すなわち前景分布とラベリングされているものと見なされる。例えば、順序付けられた分布２５４を図１２Ａに示す。分布２８０は背景分布であり、分布２８２は前景分布である。
【０１１２】
すなわち、更新周期段階２５８の更新周期中、更新周期に捜索領域の各ピクセルに対して更新ピクセル値データが受け取られると、それぞれのピクセルに対する更新ピクセル値を考慮する更新されて再度順序付けられた複数の経時的に変化する正規分布に基づいてそのピクセルが背景か前景かが決定される。例えば、アルゴリズムは、評価中のピクセルに対して着信ピクセル値を、既存の正規分布のどれかに属するものとする、すなわち一致させることができるか否かをチェックすることが好ましい。例えば、使用される一致基準は、以下で詳述するＪｅｆｆｒｅｙｓ（Ｊ）発散測度であってよい。このような評価がピクセルごとに実行される。その後、アルゴリズムは経時的に変化する正規分布と各ピクセルに対するそれらのパラメータの混合を更新し、更新された経時的に変化する正規分布の混合は再度順序付けられ、ラベリングされる。次いで、ピクセルは、この再度順序付けられ、ラベリングされた混合に基づいて前景状態か背景状態とされる。
【０１１３】
更新周期段階２５８の一実施形態を図１３にさらに示す。更新ピクセル値データは、捜索領域を表す複数のピクセルのそれぞれに対する更新周期で受け取られる（ブロック３００）。狭い分布などの分布が更新ピクセル値を表す各ピクセルに対して作成される（ブロック３０２）。
【０１１４】
その後、この発散が、１つのピクセルに対する更新ピクセル値を表す狭い分布と、それぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で計算される（ブロック３０４）。それぞれのピクセルに対する複数の経時的に変化する正規分布は、図１４を参照して以下で詳述する照合オペレーションに基づく方法で更新される（ブロック３０５）。例えば、照合オペレーションは、狭い分布とそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で発散測定のすべてが計算された後で、狭い分布に対して最小の発散を有する経時的に変化する正規分布を求めて実行される。
【０１１５】
この場合、それぞれのピクセルに対する更新された複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序付けられ、ラベリングされる（ブロック３０６）。それぞれのピクセルの状態は、ブロック２６０を参照して上述したように再度順序付けられ、ラベリングされて更新された分布（ブロック３０７）に基づいて前景または背景とされる。
【０１１６】
所望のピクセルのそれぞれは、決定ブロック３０８によって全体的に示された上記の方法で処理される。すべてのピクセルが一度処理されると、背景および／または前景をユーザに表示することができ（ブロック３１０）、または追跡、脅威評価など、本明細書で詳述するように使用することができる。
【０１１７】
図１３に全体的に示される更新ブロック３０５の照合オペレーションおよび更新周期段階２５８の他の部分は、図１２Ａ〜１２Ｂと図１４を参照して以下の節で説明するように各ピクセルに対して以下の方法で実施することができる。
【０１１８】
照合オペレーション
このプロセスは、１つのピクセルに対して更新ピクセル値を表す狭い分布を、評価中のピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合する試みを含む（ブロック３０１）。着信データ点が既存の５つの分布の１つに属するか否か（すなわち、一致するか否か）を決定するために、Ｈ．Ｊｅｆｆｒｅｙｓ著、「確率の理論（Ｔｈｅｏｒｙ ｏｆ Ｐｒｏｂａｂｉｌｉｔｙ）」Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、イギリス、オックスフォード１９４８年に記載のＪｅｆｆｒｅｙｓ発散測度Ｊ（ｆ，ｇ）が使用される。
【０１１９】
Ｊｅｆｆｒｅｙｓ数値測度は、更新ピクセル値を表す狭い分布など、１つの分布（ｇ）が、複数の経時的に変化する正規分布の１つなど、他の（ｆ）によって表される母集団から導かれた可能性のなさである。Ｊｅｆｆｒｅｙｓ発散測度の理論的特性は、Ｊ．Ｌｉｎ著、「シャノン・エントロピーに基づく発散測度（Ｄｉｖｅｒｇｅｎｃｅ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｈａｎｎｏｎ ｅｎｔｒｏｐｙ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第３７巻、第１号、１４５〜１５１頁（１９９１年）に記載されており、簡約化のため本明細書では詳述しない。
【０１２０】
一実施形態によれば、ｆｉ〜Ｎ３（μｉ，σ２ ｉＩ），ｉ＝１，．．．，５という５つの既存の正規分布が使用される。しかし、既に指摘したように５より多くても少なくても適切な場合がある。Ｊ（ｆ．ｇ）がデータ点ではなく分布を示すものなので、着信データ点２８１は、上述し、図１２Ａに示した狭い分布など、分布２８４に関連付けられる必要がある。着信分布はｇ〜Ｎ３（μｇ，σ２ ｇＩ）のように構築される。それは次のように仮定される。
μｇ-＝ｘｔ および σ２ ｇ＝２５
上式で、ｘｔは着信データ点である。σ２ ｇ＝２５の選択は、小さい時間窓での連続的なピクセル値の典型的な拡散に関する実験的観察の結果である。ｇとｆｉ，ｉ＝１，．．．，５の間の５つの発散測度は次の公式によって計算される。
【０１２１】
【数８】
５つの発散測度が一度計算されると、分布ｆｊ（１≦ｊ≦５）を見つけることができる。これは、
【０１２３】
【数９】
であり、ｆｊとｇの間の一致は、
【０１２５】
【数１０】
の場合にのみ行われる。上式で、Ｋ＊は事前に指示した切り捨て値である。Ｊ（ｆｊ，ｇ）＞Ｋ＊の場合、着信分布ｇは既存の分布のどれとも一致する可能性はない。
相違点がすべての使用可能な分布に対して測定されることに特に留意されたい。Ｓｔａｕｆｆｅｒ他のような他の方法は、特定順序で既存の分布に対して相違点を測定する。特定状況の満足度に基づいて、Ｓｔａｕｆｆｅｒ他のプロセスは、５つすべての測定値が取られて、比較される前に停止することができる。これは、異なるタイプの天候など、特定状況下でのセグメンターの性能を弱める可能性がある。
【０１２７】
上記に鑑みて、狭い分布（ｇ）がピクセルに対する複数の経時的に変化する正規分布の１つと一致するか否かが決定される（ブロック３０３）。
【０１２８】
一致が見られた場合に実行されるプロセス
着信分布が既存の分布の１つと一致する場合、以下に記載する積率法を使用して、新しくプールされた正規分布を形成するために着信分布および一致した既存の分布を共にプールすることによって複数の正規分布が更新される（ブロック３０５Ａ）。新しくプールされた分布を含む複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序づけられ、前景または背景分布とラベリングされる（ブロック３０６Ａ）。プールされた分布は、評価中ピクセルの現在の状態を表すものと見なされ、したがってピクセルの状態は、再度順序付けられた分布リストのプールされた分布の位置に応じて背景または前景とされる（ブロック３０７Ａ）。
【０１２９】
例えば、図１２Ａに示すように、狭い分布２８４が分布と一致すると仮定し、複数の経時的に変化する正規分布の更新と、それに続く再順序付け／ラベリングのプロセスの後で、一致の結果プールされた分布が分布２８０である場合、点２８１によって表される着信ピクセルは背景とラベリングされる。同様に、一致の結果プールされた分布が分布２８２である場合、点２８１によって表される着信ピクセルは、移動対象物を表す可能性があるなど、前景とラベリングされる。
【０１３０】
一実施形態では、積率法を使用して新しくプールされた分布が生成されるなど、正規分布の混合のパラメータが更新される（ブロック３０５Ａ）。第１に、既存の分布重み付けに重み付けするある学習パラメータαが採用される。したがって、５つの既存の重み付けのそれぞれから１００α％重み付けが引かれ、１００α％が着信分布の（すなわち、狭い分布の）重み付けに加えられる。すなわち、
【０１３１】
【数１１】
なので、着信分布は重み付けαを有し、５つの既存の分布は重み付け、πｊ（１−α），ｊ＝１，．．．，５を有する。
【０１３３】
明らかに、αは０＜α＜１の範囲内にある。αの選択は、主としてＫ＊の選択に依存する。この２つの数量は逆関係にある。Ｋ＊の値が小さいほど、αの値は高くなり、またこの逆の場合も同様である。Ｋ＊とαの値も監視エリア内の雑音量に影響を受ける。したがって、例えば、屋外領域が監視されており、環境条件（すなわち、雨、雪など）による雑音が多い場合、高いＫ＊値、すなわち「低い」α値が要求される。これは、分布の１つとの不一致が背景雑音によって引き起こされる可能性が非常に大きいからである。一方、雑音がほとんど存在しない屋内領域が監視されている場合、好適には「低い」Ｋ＊値、すなわち「より高い」α値が要求される。何故ならば、既存の５つの分布の１つとの一致が達成されない時はいつでも、この不一致が何らかの前景の動きによって発生する可能性が非常に大きいからである（背景にはほとんど雑音がないので）。
【０１３４】
１≦ｊ≦５として、新しい分布ｇと既存の分布ｆｊの１つとの間で照合が行われる場合、混合モデルの重み付けは次のように更新される。
【０１３５】
【数１２】
平均ベクトルとその分散も更新される。ｗ１が（１−α）πｊ，ｔ−１（すなわち、ｗ１は、新しい分布ｇと一致した分布をプールする前の照合の勝者であるｆ番目の成分の重み付けである）であり、ｗ２＝プールされた分布の重み付けであるαである場合、因数（ｐ）は次のように定義される。
【０１３７】
【数１３】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎおよびＫ．Ｅ．Ｂａｓｆｏｒｄ著、「クラスタリングに対する混合モデル推論および応用（Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｃｌｕｓｔｅｒｉｎｇ）」、Ｍａｒｃｅｌ Ｄｅｋｋｅｒ、ニューヨーク州、ニューヨーク（１９８８年）に記載の積率法を使用すると、次の結果が得られる。
【０１３９】
【数１４】
ここで、他の４つ（不一致）の分布は、ｔ−１の時点で有したのと同じ平均値と分散とを維持する。
【０１４１】
一致が見られない場合に実行されるプロセス
一致が見られない場合（すなわち、ｍｉｎ１≦ｉ≦５Ｋ（ｆｊ，ｇ）＞Ｋ＊）、順序付けられたリストの最後の分布（すなわち、前景の状態を最もよく表している分布）を更新ピクセル値に基づく新しい分布で置き換える（ブロック３０５Ｂ）ことによって複数の正規分布が更新されるが、これはこのピクセルが前景の状態に関わっていることを保証する（例えば、それが前景にならなければならないように重み付けが分布に割り当てられる）。（例えば、ブロック２５９を参照して上述したように）新しい分布を含む複数の経時的に変化する正規分布が再度順序付けられて、前景を表す新しい分布でラベリングされ（ブロック３０６Ｂ）、ピクセルの状態は前景の状態とされる（ブロック３０７Ｂ）。
【０１４２】
順序付けられたリストの最後の分布に取って代わる新しい分布のパラメータは次のように計算される。平均ベクトルμ５は着信ピクセル値で置き換えられる。分散σ２ ５は分布リストの最小分散で置き換えられる。したがって、新しい分布の重み付けは次のように計算することができる。
【０１４３】
【数１５】
上式で、Ｔは背景閾値指標である。この計算により、現在のピクセルの状態を前景に分類することが保証される。残り４つの分布の重み付けは次の公式に従って更新される。
【０１４５】
【数１６】
上記の照合方式は少なくとも一部で使用される。何故ならば、Ｓｔａｕｆｆｅｒ他の著書で報告された法線混合モデリングによって実施されるこの方式は、湖水の蒸発が増加し、冷たい風が吹いたために雲が切れ切れになった環境の屋外で監視が行われ、様々な密度の細切れの雲が頻繁にカメラの視野を足早に横切るなどの多くの状況では適切でないからである。
【０１４７】
Ｓｔａｕｆｆｅｒ他の著書では、図１２Ｂに示すような混合モデルの分布は、ｗを重み付け、αを各分布の分散として、ｗ／αに従い常に降順に維持される。この場合、着信ピクセルは、リストの一番上から一番下に（矢印２８３参照のこと）順に順序付けられた分布に対して照合される。着信ピクセル値が分布の２．５標準偏差内にある場合、一致が宣言されてプロセスは停止する。
【０１４８】
しかし、例えば、この方法は、少なくとも次のシナリオでは脆弱である（例えば、ピクセル誤認）。着信ピクセル値が、例えば分布４に属する可能性が高いが、依然としてキューのそれ以前の分布（例えば、２）に対する２．５標準偏差の基準を満たしている場合、プロセスは正しい分布に達する前に停止し、一致には早すぎることが宣言される（図１２Ｂ参照のこと）。この照合に引き続き、不正分布を不当に支持するモデル更新が行われる。これらの累積的な誤りは、一定期間後にシステム性能に影響を与える危険性がある。１つの分布（例えば、２）が偶然背景であり、他（例えば、４）が前景である場合に、これは直接的で重大な影響を有することさえある可能性がある。
【０１４９】
例えば、上記のシナリオは、速く移動する雲によって始めることができる。Ｓｔａｕｆｆｅｒ他の著書では、新しい分布は、システムに導入される時、着信ピクセル値２８１を中心に配置され、最初に高い分散と小さい重み付けが与えられる。より多くの証拠が蓄積するにつれ、分布の分散は落ち、その重み付けは増加する。この結果、この分布は順序付けられた分布リストの中で上昇する。
【０１５０】
しかし、天候パターンは非常に活発なので、支持する証拠は頻繁にオンオフ切り換えされるため分布の分散は比較的高いまま維持される。この結果、分布が比較的拡散した混合モデルが生じる。この期間に特定の色の対象物が偶然に場面内で移動すると、複数の分布と僅かに一致することのできる着信ピクセル値がキューの一番上に生成され、したがってこれは背景であると解釈される。移動する雲はカメラの視野の広いエリアに影響を与えるので、処理後技法はそのような欠陥を解消するには一般に無効である。
【０１５１】
反対に、上記の本発明による好ましいセグメント化の方法は、順序付けられた分布リストの一番上から一番下まで着信ピクセル値を照合することは試みない。そうではなく、この方法は、着信データ点２８１を表す狭い分布２８４を作成することが好ましい。この場合、この方法は、着信した狭い分布２８４と混合モデルの「全」分布２８０、２８２との間の最小発散値を見つけることによって分布を照合するよう試みる。この方法で、着信データ点２８１が正確な分布と一致する機会は高まる。
【０１５２】
さらに、図３を参照すると、上記のように、背景からの前景ピクセルのオンラインセグメント化を実行するために統計手続きが使用され、前景は、人間および車両など、対象となる移動対象物に対応する可能性がある（ブロック１０６）。セグメント化に引き続き、対象となる移動対象物が追跡される（ブロック１０８）。すなわち、監視されている捜索領域で検出された１つまたは複数の移動対象物が辿った軌道または対象物経路を形成するために、図１５に説明的に示すような追跡方法が使用される。
【０１５３】
他の適切な追跡方法を使用することはできるが、追跡方法は、数群の相互に隣接する前景ピクセルなど、ブロブ（すなわち、数群の連結ピクセル）または捜索領域で検出された移動対象物に関する対象物トラックまたは対象物経路を提供する際に使用するために前景対象物に対応しても対応しなくてもよいそのブロブの中心トラック（ブロック１４０）の計算を含むことが好ましい。このようなブロブの中心トラックは、画像データの背景からセグメント化された前景ピクセルに連結成分解析アルゴリズムを適用後に形成することができる。
【０１５４】
例えば、標準８連結成分解析アルゴリズムを使用することができる。この連結成分アルゴリズムは、面積が一定数のピクセルよりも少ないブロブ、すなわち数群の連結ピクセルを除去する。通常は１エリア内のこのような少数ピクセルが前景対象物に対する雑音を表すので、このような除去が実行される。例えば、連結成分アルゴリズムは、α＝３×９＝２７ピクセルよりも面積の小さいブロブを除去する。例えば、２７ピクセルは撮像装置の視野の最少の対象となる最小対象物の最小ピクセルフットプリントであってよく、例えば２７ピクセルは人間のフットプリントであってよい。
【０１５５】
数群のピクセルなど、いくつかのブロブが捜索領域の前景対象物を表していると一度識別されると、複数のフレームの前景対象物として識別されるブロブの中心トラックを別個の軌道または対象物経路にグループ化するために使用されるアルゴリズムが提供される。前景対象物を表す識別されたブロブ中心トラックを別の軌道にグループ化するには、複数の仮説追跡（ＭＨＴ）アルゴリズム１４１を使用することが好ましい。
【０１５６】
ＭＨＴはマルチターゲット追跡アプリケーションへの好ましい方式と考えられるが、他の方法を使用することもできる。ＭＨＴは、入力データをトラックに正確に関連付ける確率を最大に高める帰納的なベイズの確率論的方法である。早期に特定のトラックを付けないので、他の追跡アルゴリズムが好ましい。このように早期にある経路またはトラックを付けることは誤りの原因となる場合がある。ＭＨＴは、十分な情報が収集され、処理された後でのみ入力データをトラックにグループ化する。
【０１５７】
この状況で、ＭＨＴは、前景対象物を表す識別されたブロブなど、入力データの関連付けに関する複数の候補仮説を、データの以前のフレームを使用して確立された対象物経路など、既存のトラックによって形成する（ブロック１４４）。ＭＨＴは、ひどい擾乱と高密度のトラフィックがある応用例には特に有益である。軌道が交差している難しいマルチターゲット追跡問題では、Ｓ．Ｓ．Ｂｌａｃｋｍａｎ著、「レーダーアプリケーションを備えた多重目標追跡（Ｍｕｌｔｉｐｌｅ−Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｒａｄａｒ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ａｒｔｅｃｈ Ｈｏｕｓｅ、マサチューセッツ州、ノーウッド（１９８６年）に記載の最近接（ＮＮ）相関および結合確率論的データ関連付け（ＪＰＤＡ）のような他の追跡方法とは対照的にＭＨＴは有効に機能する。
【０１５８】
図１５は、本発明による移動対象物を追跡するために使用されるＭＨＴアルゴリズム１４１のアーキテクチャの一実施形態を示している。いかなる追跡システムにおいても必須の部分は予測モジュールである（ブロック１４８）。予測は移動対象物の状態の推定値を提供し、カルマンフィルタとして実施されることが好ましい。カルマンフィルタの予測は、ターゲットの動力学と測定雑音に対する先験モデルに基づいて行われる。
【０１５９】
検証（ブロック１４２）は、入力データ（例えば、ブロブの中心トラック）と現在の軌道のセット（例えば、以前の画像データに基づくトラック）の間の関連付けに関する仮説（ブロック１４４）の生成に先行するプロセスである。検証（ブロック１４２）の関数は、発生する見込みのない関連付けを早期に除外し、したがって生成されるべき可能な仮説の数を限定することである。
【０１６０】
ＭＨＴアルゴリズム１４１の実施態様の中心となるのは、トラックの仮説の生成と表現である（ブロック１４４）。トラック、すなわち対象物経路は、識別されたブロブなど新しい測定値が、（１）既存のトラックに属し、（２）新しいトラックの出発点であり、（３）誤認警報または前景対象物であると誤って識別されている可能性があるという仮定に基づいて生成される。仮定は、仮説構造に組み込まれる前に、検証プロセスによって検証される（ブロック１４２）。
【０１６１】
例えば、トラック仮説の完全なセットは、図１６の表１５０で示すように仮説行列によって表すことができる。表で表される仮設状態は、フレームｋ＝１およびｋ＋１＝２でそれぞれに作られた２と１の測定値の２つの走査セットに対応する。
【０１６２】
表に関する表記法は次のように分類することができる。測定値Ｚｊ（ｋ）はフレームｋに対してなされるｊ番目の観察（例えば、ブロブの中心トラック）である。さらに、誤認警報は０で示し、古いトラック（ＴｏｌｄＩＤ）から生成される新しいトラック（ＴｎｅｗＩＤ）の構成はＴｎｅｗＩＤ（ＴｏｌｄＩＤ）で示す。この表の最初の列は仮説の指標である。
【０１６３】
この典型的な状況では、走査１の間に合計４つの仮説が生成され、走査２の間にさらに８つの仮説が生成される。最後の列は、特定の仮説が含んでいるトラックを列挙する（例えば、仮説Ｈ８はトラックｎｏ．１とｎｏ．４を含んでいる）。仮説表の行のセルは、特定の測定値ｚｊ（ｋ）が属するトラックを示している（例えば、仮説Ｈ１０の下で、測定値ｚ１（２）はトラックｎｏ．５に属する）。
【０１６４】
仮説行列は、図１７に系統的に示すようなツリー構造１５２によって計算上表される。ツリーの分岐１５２は、本質的に、測定値とトラックの関連付けに関する仮説である。上記の典型的な状況から明らかなように、図１７の仮説ツリー１５２は測定値数に伴い指数関数的に増加させることができる。
【０１６５】
仮説の数を減らすために、異なる方策を適用することができる。例えば、第１の測定は、Ｄ．Ｂ．Ｒｅｉｄ著、「複数目標を追跡するためのアルゴリズム（Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒａｃｋｉｎｇ ｍｕｌｔｉｐｌｅ ｔａｒｇｅｔｓ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｒｏｌ、第２４巻、８４３〜８５４頁（１９７９年）にあるように、仮説を互いに素な集合に集積することである。この意味で、同じ測定値に対して競合しないトラックは、互いに素な仮説ツリーに関連付けられた互いに素な集合を構成する。本発明者らの第２の方策は、仮説ツリーのすべての分岐に確率を割り当てることである。Ｎｈｙｐｏ最も高い確率を有する分岐の集合は考慮されるのみである。ＭＨＴアルゴリズムの様々な他の実施態様は、Ｉ．Ｊ．ＣｏｘおよびＳ．Ｌ．Ｈｉｎｇｏｒａｎｉ著、「アルゴリズムを追跡するリードの複数仮説の有効な実現および可視追跡のためのその評価（Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｒｅｉｄ’ｓ ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｉｓ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ ｅｖａｌｕａｔｉｏｎ ｆｏｒ ｔｈｅ ｐｕｒｐｏｓｅ ｏｆ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第１８巻、第２号、１３８〜１５０頁（１９９６年）に記載されている。
【０１６６】
コンピュータビジョンシステム２２を使用して対象物トラック、すなわち軌道を提供することにより、図２に示すような評価モジュール２４は、そのようなコンピュータビジョン情報を処理し、移動対象物が、脅威か脅威でないかなど、正常か異常かを決定するために提供することができる。評価モジュール２４を使用して実行される評価解析は、対象物トラックのピクセル座標を捜索領域のＣＡＤ描画による現実の座標系設定に変換後に実行することができる。したがって、移動対象物の評価目的に内容を提供するために捜索領域の周知の目標を使用することができる。例えば、駐車場に関するこのような目標には、一台一台の駐車場所、駐車場の外周、電柱、および並木を含めることができる。このような座標変換は、Ｏｐｔｉｃａｌ Ｒｅｓｅａｒｃｈ Ａｓｓｏｃｉａｔｅ（カリフォルニア州、パサディナ）社製のＣＯＤＥ Ｖソフトウェアアプリケーションのような光学計算パッケージを使用して達成することができる。しかし、評価解析を実行する他のアプリケーションはこのような設定を要求しない場合がある。
【０１６７】
図２に示される一実施形態では、評価モジュール２４は、フィーチャー・アセンブリ・モジュール４２と分類ステージ４８とを含む。評価モジュール２４は、図１８に示すような評価方法１６０を実行するために使用することが好ましい。
【０１６８】
上記のような評価方法１６０は、移動対象物のトラックが、目標を含む捜索領域の描画など、捜索領域の座標系に変換された後で使用することが好ましい（ブロック１６２）。さらに、正常な移動対象物および／または異常な移動対象物を特徴とする事前定義された特性モジュール５７が分類ステージ４８に提供される（ブロック１６４）。脅威分類ステージなど、分類状態４８は、正常な特性モジュール５８と異常な特性モジュール５９とを含む。
【０１６９】
本明細書で使用されるように、特徴モデルは、正常な対象物経路または異常な対象物経路の任意の特徴またはその関連情報であってよい。例えば、監視中の上空空間に飛行機が飛行する予定がない場合、ブロブの検出はその上空空間では異常であるなど、その上空空間に飛行機がいるという指摘は異常と見なすことができる。さらに、例えば、駐車場のある期間にブロブが検出される予定がない場合、この静かな期間中のある時点でブロブを検出することを特徴モデルとすることができる。明らかに認識できようが、特徴モデルのリストは数が多すぎて列挙できず、脅威の特徴モデルおよび／または脅威でない特徴モデルを包含するだけではなく、彫刻の前を通過する人数と鑑賞するために一定期間立ち止まっている人数を数えるためなど、特定位置の前を通過する対象物を数えるための特徴モデルのような様々な他のタイプの特徴モデルを含めることができる。
【０１７０】
評価モジュール２４のフィーチャー・アセンブリ・モジュール４２は、例えば、対象物経路を表す軌道情報、対象物経路に関して収集された情報（例えば、獲得時刻のような他のデータ）、または対象物経路の長さ（例えば、車両／歩行者当たりベース）のような対象物ベースに対する関連するより高レベルな特性など、コンピュータビジョンモジュール３２によって提供された軌道情報を使用して計算され、または収集される情報を含むことができる特性４３のような対象物経路情報を提供する（ブロック１６６）。すなわち、特性のような対象物経路データには、明確に限定はしないが、移動対象物軌道情報、対象物経路に関して収集される他の情報、対象物経路情報を使用して演算された計算済みの特性、もしくは捜索領域およびその中の移動対象物に関するいかなる他のパラメータ、特徴、または関連情報を含めることができる。
【０１７１】
計算済みの特性は、正常な移動対象物または異常な移動対象物に関する常識的な意見を取り込むようデザインすることができる。例えば、脅威の状況と脅威でない状況の決定に関して、特性は、無害の合法的な軌道および侵入者の周知のまたは仮定のパターンに関する常識的な意見を取り込むようデザインされる。
【０１７２】
一実施形態では、駐車場または脅威の事象（例えば、強盗）の評価が実行されるべき他の捜索領域のような捜索領域に対して計算された特性には、例えば次のものを含めることができる。
・サンプル点の数
・出発点（ｘ、ｙ）
・終了点（ｘ、ｙ）
・経路の長さ
・有効範囲とされる距離（直線）
・距離の比率（経路の長さ／有効範囲とされる距離）
・出発時刻（局所壁時計）
・終了時刻（局所壁時計）
・所要時間
・平均速度
・最高速度
・速度比（平均／最高）
・合計回転角度（ラジアン）
・平均回転角度
・「Ｍ」交差数
【０１７３】
特性の大部分は自明であるが、いくつかは明らかでない場合がある。いくつかの対象物経路の活動は、深夜および早朝など一日の特定の時間では自動的に推測がつくので、壁時計が適切である。
【０１７４】
回転角度および距離の比率の特性は、経路がどれだけ遠回りしたかという解釈を取り込む。例えば、駐車場など施設の合法的ユーザは、車線によって可能となる最も直接的な経路を辿る傾向がある（例えば、直接的な経路を図２０Ｂに示す）。反対に、「うろついている人間」はより蛇行した経路を取る可能性がある。図２０Ｂは、追跡中の脅威でない車両の経路４１８が示された駐車場４１２という脅威でない状況４１０を示している。
【０１７５】
「Ｍ」交差特性は、自動車のドアをよく確認し、または施錠確認するために反復的にループしながら（例えば、２回のループは「Ｍ」字型をとる）、車線に沿って駐車場の複数の区画を系統的に確認するために自動車泥棒の周知の傾向の監視を試みる。これは、駐車場の複数の区画に対して複数の基準線を維持し、複数の区画への出入り回数を数えることによって監視することができる。歩行者の「Ｍ」字型の横断が図２０Ａに示すように捕らえられている。図２０Ａは、脅威の人物経路４０４が示された駐車場４０２という脅威の状況４００を具体的に示している。
【０１７６】
提供された特性（例えば、対象物トラックに関連付けられた特性）は、分類子ステージの正常な移動対象物と異常な移動対象物を特徴とする事前定義された特徴モデル５７と比較することなどによって評価される（ブロック１６８）。移動対象物が正常であるか異常であるかが、フィーチャー・アセンブリ・モジュール４２によって１つまたは複数の対象物経路に対して計算された特性４３と、分類ステージ４８でアクセス可能な（例えば、記憶された）事前定義された特徴モデル５７との間の比較に基づいて決定される（ブロック１７０）。さらに、例えば、対象物経路が脅威であると識別されると、警報６０をユーザに提供することができる。無音、可聴、ビデオなど、いかなるタイプの警報でも使用することができる。
【０１７７】
常識および、例えばユーザがグラフィカルユーザインターフェースで定義した周知の正常な特徴と異常な特徴によって特徴付けられる事前定義された特徴モデル５７に加えて、さらなる特徴モデルを提供するための訓練モジュール４４が提供される。訓練モジュール４４はオンラインでもオフラインでも使用することができる。
【０１７８】
一般に、訓練モジュール４４は、一定期間に亘って特定捜索領域について記録された対象物経路に対するフィーチャー・アセンブリ・モジュール４２の出力を受け取る。対象物経路軌道、および対象物経路に関する計算された情報を含む関連情報（図面では総合してラベリングされたケースと称される）など、このような特性は、データベース構造を使用して収集し、かつ／または編成することができる。次いで、分類ステージ４８での潜在的な使用のためにそのようなデータベース特性に基づいて１つまたは複数の正常な特徴モデルおよび／または異常な特徴モデルを生成するために訓練モジュール４４が使用される。
【０１７９】
そのような訓練モジュール４４とそれに関連付けられたプロセスの説明的な一実施形態を、図１９を参照して説明する。一般に、トレーニングプロセス３５０は、特徴モデル開発モジュール５４によって、定義された特徴モデルなど、対象物の挙動のより明確な説明を生成する際に役立つクラスタ化アルゴリズム５２を提供する。例えば、トレーニングプロセスのために使用されるトレーニングデータには、明確に限定はしないが、ラベリングされた軌道５０および対応する特性ベクトルが含まれる。このようなデータは、Ｗ．Ｂｕｎｔｉｎｅ著、「分類ツリーを学習する（Ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｒｅｅｓ）」、Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｉｎｇ、第２巻、第２号、６３〜７３頁（１９９２年）に基づくアルゴリズムのような分類ツリー誘導アルゴリズムによって一緒に処理することができる。
【０１８０】
より具体的には、図１９を参照して説明したように、長期に亘る１つまたは複数の移動対象物を表す対象物経路とそのような対象物経路に関連する計算された特性が得られる（ブロック３５２）。例えば、このような対象物経路とそれに関連する計算された特性は、数週間、数ヶ月などに亘って得られる。
【０１８１】
対象物経路と関連する計算された特性は、そのような情報の特定の特徴に基づいてグループ化される（ブロック３５４）。このような対象物トラックは複数のクラスタに分類される。例えば、特定レベルの迂遠性を有する対象物経路を１つのクラスタにグループ化することができ、所定の長さより長い対象物経路を１つのクラスタにグループ化することができる、などである。すなわち、特定の特徴に基づく共通性を有する対象物経路が同じグループにグループ化される（ブロック３５４）。
【０１８２】
次いでそれらのクラスタが比較的大きなクラスタか比較的小さなクラスタかを決定するために、これらのクラスタが解析される。すなわち、これらのクラスタは、それが含んでいる対象物トラックの数に基づいてある程度順序付けられ、大きいか小さいかが判断される。一般に、大きなクラスタは、小さなクラスタと比較して、そこにグループ化された対象物トラックの数が特に多く、比較的正常な対象物トラックであると識別することができる（ブロック３５８）。すなわち、移動対象物が一般的に特定期間に亘り何度も同じ経路をとる場合、その移動対象物に対応する対象物経路は、脅威でない移動対象物を表す対象物経路など、一般的に正常な経路である。次いで対象物経路またはそれに関連付けられた特性は、脅威分類ステージにおいてなど、後で対象物トラックを正常か異常か識別するために事前定義された特徴モデルの一部として使用される（ブロック３６０）。すなわち、大きなクラスタに基づいて分類ステージ４８に含めるために新しい特徴モデルを定義することができる。
【０１８３】
単一対象物トラックを含むことができる比較的小さなクラスタの対象物経路を解析する必要がある（ブロック３６２）。このような解析は、比較的小さなクラスタの対象物トラックまたは単一対象物トラックが、脅威であるなど、異常であるか否かを人間が判断するためにグラフィカルユーザインターフェースによって対象物経路を再検討するシステムのユーザによって実行することができる（ブロック３６４）。
【０１８４】
小さいクラスタの１つまたは複数の対象物トラックが異常である場合、分類ステージ４８で特徴モデルとして使用されるなど、異常な対象物経路を識別するために特性を事前定義された特徴モデルの一部として使用することができる（ブロック３６６）。しかし、１つまたは複数の対象物経路が、そのような対象物経路の他の出現と同時発生せず、もしくはそのような対象物経路がほとんどなく、単なる正常な出現であると判断された場合、解析中のその１つまたは複数の対象物経路を無視することができる（ブロック３６８）。
【０１８５】
そのような対象物トラックがどのようにして生成されたかと関係なく、移動対象物に関して正常な対象物トラックと異常な対象物トラックを識別するためにクラスタ化方法を使用することができる。例えば、図２に示すように、そのような対象物トラックは、複数の撮像装置３０から情報を受け取るコンピュータビジョンモジュール３２によって提供される。しかし、レーダーシステムによって生成された対象物トラックは、訓練モジュール４４に関して説明されるように評価モジュール２４および／またはクラスタ解析ツールを使用して評価し、解析することもできる。
【０１８６】
本明細書で引用するすべての参照文献は、その全体をそれぞれが別個に組み込まれているように組み込まれる。以上、本発明を説明的な実施形態を参照して説明したが、これは限定的な意味で解釈されることを意図するものではない。説明的な実施形態に対する様々な修正形態、並びに本発明の追加の実施形態は、本明細書を参照すれば当業者には明らかになろう。
【図面の簡単な説明】
【０１８７】
【図１】本発明によるコンピュータビジョンシステムからの出力を使用するように動作可能なコンピュータビジョンシステムおよびアプリケーションモジュールを含む監視／検出システムの全体的なブロック図である。
【図２】本発明によるコンピュータビジョンシステムおよび評価モジュールを含む監視システムの全体的なブロック図である。
【図３】図２に全体的に示されたコンピュータビジョンシステムによって実行することができるコンピュータビジョン方法の説明的な一実施形態を一般化した流れ図である。
【図４】図３に全体的に示された光学システムデザインプロセスの説明的な一実施形態を示す流れ図である。
【図５】図３に全体的に示された光学システムデザインプロセスのさらに詳細な説明的一実施形態の流れ図である。
【図６】図５に全体的に示されたデザインプロセスを示す際に使用するための光学システム配置の説明図である。
【図７】図３のコンピュータビジョン方法の部分として全体的に示された画像融合方法の説明的な一実施形態の流れ図である。
【図８】図７に全体的に示された画像融合方法を説明する際に使用する図である。
【図９】図３のコンピュータビジョン方法の部分として全体的に示されたセグメント化プロセスの説明的な一実施形態の流れ図である。
【図１０】図９に示されたセグメント化プロセスを説明する際に使用する略図である。
【図１１】本発明による、図９を参照して説明されるピクセルに対する複数の経時的に変化する正常な分布を示す図である。
【図１２Ａ】本発明による、図９を参照して説明される、複数の経時的に変化する正常な分布の順序付けと、更新データを複数の経時的に変化する正常な分布に照合することを示す図である。
【図１２Ｂ】更新データを複数の経時的に変化する正常な分布に照合する従来技術による方法を示す図である。
【図１３】図９に示されたセグメント化プロセスの更新周期の一実施形態を示す流れ図である。
【図１４】図１３に示された更新周期の一部の説明的な一実施形態のさらに詳細な流れ図である。
【図１５】図３に全体的に示された移動対象物追跡の説明的な一実施形態を示すブロック図である。
【図１６】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１７】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１８】図２に示された監視システムの評価モジュールによる図２に全体的に示された評価方法のさらに詳細な説明的一実施形態を示す流れ図である。
【図１９】図１８に全体的に示された評価方法を支援するために使用することができるクラスタ化プロセスの説明的な一実施形態を示す流れ図である。
【図２０】図２０Ａは、本発明により表示することができる図面で脅威の対象物経路を示す図である。図２０Ｂは、本発明により表示することができる図面で脅威でない対象物経路を示す図である。
Claims (26)
- 捜索領域の監視に使用する方法において、
捜索領域を表す画像データのフレームを提供するステップと、前記画像データが複数のピクセルに対するピクセル値データを含み、
複数の経時的に変化する分布を前記ピクセル値データに基づいてピクセルごとに提供するステップと、
前記捜索領域を表す更新画像データの少なくとも１つのフレームを更新周期で提供するステップと、画像データの前記フレームは前記複数のピクセルのそれぞれに対する更新ピクセル値データを含み、
各ピクセルに対する前記更新ピクセル値データの、前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれとの照合を試みるステップと、
前記更新ピクセル値データが前記ピクセルに提供された前記複数の経時的に変化する分布の１つと一致するか否かに基づいて各ピクセルに対する前記複数の経時的に変化する分布を更新するステップと、
各ピクセルに対する前記更新された複数の経時的に変化する分布を、前記ピクセルを背景情報と前景情報のどちらと見なすべきかを決定する際に使用するため、前記捜索領域の背景情報または前景情報を表す前記経時的変化分布の確率に基づいて順序付けるステップと
を含む方法。 - 各ピクセルに対する前記更新ピクセル値データの、前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれとの照合を試みるステップは、
前記ピクセルに狭い分布を提供するステップと、
前記狭い分布を、前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれと比較するステップと、
を含む、請求項１に記載の方法。 - 前記狭い分布を前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれと比較するステップは、前記ピクセルに対して作成された前記狭い分布と前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれとの間の発散を計算するステップを含む、請求項２に記載の方法。
- 各ピクセルに対する前記複数の経時的に変化する分布を更新するステップは、前記狭い分布と、前記狭い分布が前記複数の経時的に変化する分布の１つと一致する場合は一致した分布とに基づいてプールされた分布を生成するステップを含み、さらに前記更新された複数の経時的に変化する分布を順序付けるステップが、前記更新された複数の経時的に変化する分布の前記順序内の前記プールされた分布の位置に基づいて前記ピクセルが前記捜索領域の背景情報と前景情報のどちらを表すかを決定するステップを含む、請求項２に記載の方法。
- 各ピクセルに対する前記複数の経時的に変化する分布を更新するステップは、前記狭い分布が前記複数の経時的に変化する分布の１つと一致しない場合は、前記複数の経時的に変化する分布の１つを新しい分布で置き換えるステップを含み、さらに前記更新された複数の経時的に変化する分布を順序付けるステップは、前記新しい分布が前記捜索領域の前景情報を表すことを保証するステップを含む、請求項２に記載の方法。
- 各ピクセルに対する前記更新された複数の経時的に変化する分布を順序付けるステップが、前記複数の経時的に変化する分布に関連付けられた重み付けに基づく、請求項１に記載の方法。
- 前記前景情報の少なくとも一部が１つまたは複数の移動対象物に対応し、さらに前記１つまたは複数の移動対象物に対する対象物経路を決定するために前記捜索領域の前記１つまたは複数の移動対象物を追跡するステップを含む、請求項１に記載の方法。
- 前記捜索領域の前記１つまたは複数の移動対象物を追跡するステップは、
前景情報を表すピクセルに基づいてブロブを計算するステップと、
所定のピクセルエリアサイズよりも小さいブロブを除去するステップと
を含む、請求項７に記載の方法。 - １つまたは複数の移動対象物を表す対象物経路に前記ブロブをグループ化するステップをさらに含む、請求項８に記載の方法。
- 対象物経路に前記ブロブをグループ化するステップは、複数の仮説追跡アルゴリズムを使用して対象物経路に前記ブロブをグループ化するステップを含む、請求項９に記載の方法。
- 正常な事象または異常な事象に関連付けられた１つまたは複数の特徴に基づいて１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供するステップと、
前記１つまたは複数の対象物経路が正常か異常かを決定するために、前記１つまたは複数の対象物経路を前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するステップと
をさらに含む、請求項７に記載の方法。 - １つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供するステップが、脅威の事象に関連付けられた１つまたは複数の特徴に基づいて１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを提供するステップを含み、
前記１つまたは複数の対象物経路を前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するステップが、前記１つまたは複数の対象物経路が脅威の事象が発生していることを示すように見えるか否かを決定するために、少なくとも前記１つまたは複数の対象物経路、またはそれに関連付けられたデータを、前記１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルと比較するステップを含む、請求項１１に記載の方法。 - 定義された捜索領域全体を有効範囲とするために複数の撮像装置を設置するステップをさらに含み、各撮像装置の各視野が、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、オーバーラップする視野部分が、前記撮像装置の前記視野の約２５パーセント装置よりも大きく、約８５パーセントよりも小さい、請求項１に記載の方法。
- 捜索領域の監視に使用するためのシステムにおいて、
前記捜索領域を表す、複数のピクセルに対するピクセル値データを含む画像データのフレームを提供するよう動作可能な１つまたは複数の撮像装置と、コンピュータ装置を備え、
画像データの前記フレームは、更新周期で前記捜索領域を表す更新画像データの少なくとも１つのフレームを含み、更新画像データの前記フレームは、前記複数のピクセルのそれぞれに対する更新ピクセル値データを含み、
前記コンピュータ装置は、
各ピクセルに対する前記更新ピクセル値データの、前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれとの照合を試み、
前記更新ピクセル値データが前記ピクセルに提供された前記複数の経時的に変化する分布の１つと一致するか否かに基づいて各ピクセルに対する前記複数の経時的に変化する分布を更新し、
各ピクセルに対する前記更新された複数の経時的に変化する分布を、前記ピクセルを背景情報と前景情報のどちらと見なすべきかの決定に使用するために前記捜索領域の背景情報または前景情報を表している経時的に変化する分布の確率に基づいて順序付けるよう動作可能である、システム。 - 前記コンピュータ装置は、各ピクセルに対して、
前記ピクセルに狭い分布を提供し、
前記狭い分布を、前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれと比較するようさらに動作可能である、請求項１４に記載のシステム。 - 前記コンピュータ装置は、各ピクセルに対し、前記ピクセルに提供された前記狭い分布と前記ピクセルに提供された前記複数の経時的に変化する分布のすべてのそれぞれとの間の発散を計算するようさらに動作可能である、請求項１５に記載のシステム。
- 前記コンピュータ装置は、各ピクセルに対し、
前記狭い分布と、前記狭い分布が前記複数の経時的に変化する分布の１つと一致する場合は一致した分布とに基づいてプールされた分布を生成することにより前記複数の経時的に変化する分布を更新し、
前記更新された複数の経時的に変化する分布の前記順序内の前記プールされた分布の位置に基づいて前記ピクセルが前記捜索領域の背景情報と前景情報のどちらを表すかを決定する、ようさらに動作可能である、請求項１５に記載のシステム。 - 前記コンピュータ装置は、各ピクセルに対し、
前記狭い分布が前記複数の経時的に変化する分布の１つと一致しない場合は、前記複数の経時的に変化する分布の１つを新しい分布で置き換えることによって、前記複数の経時的に変化する分布を更新し、
前記新しい分布が前記捜索領域の前景情報を表すことを保証するようさらに動作可能である、請求項１５に記載のシステム。 - 前記コンピュータ装置は、前記複数の経時的に変化する分布に関連付けられた重み付けに基づいて各ピクセルに対する前記更新された複数の経時的に変化する分布を順序付けるようさらに動作可能である、請求項１４に記載のシステム。
- 前記前景情報の少なくとも一部が１つまたは複数の移動対象物に対応し、さらに前記コンピュータ装置は、前記１つまたは複数の移動対象物に対する対象物経路を決定するために前記捜索領域の前記１つまたは複数の移動対象物を追跡するよう動作可能である、請求項１４に記載のシステム。
- 前記コンピュータ装置は、
前景情報を表すピクセルに基づいてブロブを計算し、
所定のピクセルエリアサイズよりも小さいブロブを除去するようさらに動作可能である、請求項２０に記載のシステム。 - 前記コンピュータ装置は、
１つまたは複数の移動対象物を表す対象物経路に前記ブロブをグループ化するようさらに動作可能である、請求項２１に記載のシステム。 - 前記コンピュータ装置は、
複数の仮説追跡アルゴリズムを使用して対象物経路に前記ブロブをグループ化するようさらに動作可能である、請求項２２に記載のシステム。 - 前記コンピュータ装置は、
正常な事象または異常な事象に関連付けられた１つまたは複数の特徴に基づいて１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供し、
前記１つまたは複数の対象物経路が正常か異常かを決定するために、前記１つまたは複数の対象物経路を前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するようさらに動作可能である、請求項２０に記載のシステム。 - 前記コンピュータ装置は、
脅威の事象に関連付けられた１つまたは複数の特徴に基づいて１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを提供し、
前記１つまたは複数の対象物経路が脅威の事象が発生していることを示すように見えるか否かを決定するために、少なくとも前記１つまたは複数の対象物経路、またはそれに関連付けられたデータを、前記１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルと比較するようさらに動作可能である、請求項２０に記載のシステム。 - 前記１つまたは複数の撮像装置は、定義された捜索領域全体を有効範囲とするように設置された複数の撮像装置を含み、各撮像装置の各視野が、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、オーバーラップする視野部分が、前記撮像装置の前記視野の約２５パーセントよりも大きく、約８５パーセントよりも小さい、請求項１４に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US30202001P | 2001-06-29 | 2001-06-29 | |
| US10/034,780 US20030123703A1 (en) | 2001-06-29 | 2001-12-27 | Method for monitoring a moving object and system regarding same |
| PCT/US2002/020329 WO2003003309A1 (en) | 2001-06-29 | 2002-06-27 | Method for monitoring a moving object and system regarding same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004534315A true JP2004534315A (ja) | 2004-11-11 |
Family
ID=26711347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003509404A Pending JP2004534315A (ja) | 2001-06-29 | 2002-06-27 | 移動対象物を監視する方法およびシステム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20030123703A1 (ja) |
| EP (1) | EP1399889A1 (ja) |
| JP (1) | JP2004534315A (ja) |
| CN (1) | CN1302438C (ja) |
| CA (1) | CA2451660A1 (ja) |
| WO (1) | WO2003003309A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006331347A (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corp | 画像処理装置及び対象領域追跡プログラム |
| KR101163453B1 (ko) | 2010-12-07 | 2012-07-18 | 현대자동차주식회사 | 레이저 센서와 비전 센서를 이용한 물체거리 측정방법 |
| KR101611427B1 (ko) | 2014-12-26 | 2016-04-12 | 전자부품연구원 | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6985179B2 (en) * | 2001-03-30 | 2006-01-10 | Intel Corporaiton | Determining image quality for improving object trackability |
| US6909790B2 (en) * | 2002-02-15 | 2005-06-21 | Inventec Corporation | System and method of monitoring moving objects |
| JP2005537608A (ja) * | 2002-09-02 | 2005-12-08 | サムスン エレクトロニクス カンパニー リミテッド | 光情報保存媒体、光情報保存媒体に及び／または光情報保存媒体から情報を記録及び／または再生する方法及び装置 |
| US7221775B2 (en) * | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
| US8547437B2 (en) * | 2002-11-12 | 2013-10-01 | Sensormatic Electronics, LLC | Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view |
| US7286157B2 (en) * | 2003-09-11 | 2007-10-23 | Intellivid Corporation | Computerized method and apparatus for determining field-of-view relationships among multiple image sensors |
| US7346187B2 (en) * | 2003-10-10 | 2008-03-18 | Intellivid Corporation | Method of counting objects in a monitored environment and apparatus for the same |
| US7280673B2 (en) * | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
| US20050285941A1 (en) * | 2004-06-28 | 2005-12-29 | Haigh Karen Z | Monitoring devices |
| CN101344923B (zh) * | 2004-08-03 | 2012-05-23 | 松下电器产业株式会社 | 人物搜索跟踪装置 |
| US7606425B2 (en) * | 2004-09-09 | 2009-10-20 | Honeywell International Inc. | Unsupervised learning of events in a video sequence |
| JP2006133937A (ja) * | 2004-11-04 | 2006-05-25 | Fuji Xerox Co Ltd | 動作識別装置 |
| US7583819B2 (en) * | 2004-11-05 | 2009-09-01 | Kyprianos Papademetriou | Digital signal processing methods, systems and computer program products that identify threshold positions and values |
| US7602942B2 (en) * | 2004-11-12 | 2009-10-13 | Honeywell International Inc. | Infrared and visible fusion face recognition system |
| US7469060B2 (en) * | 2004-11-12 | 2008-12-23 | Honeywell International Inc. | Infrared face detection and recognition system |
| US20060182339A1 (en) * | 2005-02-17 | 2006-08-17 | Connell Jonathan H | Combining multiple cues in a visual object detection system |
| US8174572B2 (en) * | 2005-03-25 | 2012-05-08 | Sensormatic Electronics, LLC | Intelligent camera selection and object tracking |
| US7760908B2 (en) * | 2005-03-31 | 2010-07-20 | Honeywell International Inc. | Event packaged video sequence |
| US7720257B2 (en) * | 2005-06-16 | 2010-05-18 | Honeywell International Inc. | Object tracking system |
| US9036028B2 (en) * | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
| US20070071404A1 (en) * | 2005-09-29 | 2007-03-29 | Honeywell International Inc. | Controlled video event presentation |
| US7806604B2 (en) * | 2005-10-20 | 2010-10-05 | Honeywell International Inc. | Face detection and tracking in a wide field of view |
| US7881537B2 (en) | 2006-01-31 | 2011-02-01 | Honeywell International Inc. | Automated activity detection using supervised learning |
| US7825792B2 (en) | 2006-06-02 | 2010-11-02 | Sensormatic Electronics Llc | Systems and methods for distributed monitoring of remote sites |
| US7671728B2 (en) * | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
| US20080154555A1 (en) * | 2006-10-13 | 2008-06-26 | Motorola, Inc. | Method and apparatus to disambiguate state information for multiple items tracking |
| US9172918B2 (en) * | 2007-02-02 | 2015-10-27 | Honeywell International Inc. | Systems and methods for managing live video data |
| JP5121258B2 (ja) * | 2007-03-06 | 2013-01-16 | 株式会社東芝 | 不審行動検知システム及び方法 |
| WO2008154003A2 (en) * | 2007-06-09 | 2008-12-18 | Sensormatic Electronics Corporation | System and method for integrating video analytics and data analytics/mining |
| US8390685B2 (en) | 2008-02-06 | 2013-03-05 | International Business Machines Corporation | Virtual fence |
| GB0818561D0 (en) * | 2008-10-09 | 2008-11-19 | Isis Innovation | Visual tracking of objects in images, and segmentation of images |
| TWI492188B (zh) * | 2008-12-25 | 2015-07-11 | Univ Nat Chiao Tung | 利用多攝影機自動偵測與追蹤多目標的方法及系統 |
| SG172972A1 (en) * | 2009-01-28 | 2011-08-29 | Bae Systems Plc | Detecting potential changed objects in images |
| US8180107B2 (en) * | 2009-02-13 | 2012-05-15 | Sri International | Active coordinated tracking for multi-camera systems |
| US8878931B2 (en) | 2009-03-04 | 2014-11-04 | Honeywell International Inc. | Systems and methods for managing video data |
| US8577083B2 (en) | 2009-11-25 | 2013-11-05 | Honeywell International Inc. | Geolocating objects of interest in an area of interest with an imaging system |
| AT509438A1 (de) * | 2010-01-18 | 2011-08-15 | Zeno Track Gmbh | Verfahren und system zum erfassen der position eines fahrzeuges in einem definierten bereich |
| BR112012024415A2 (pt) * | 2010-03-26 | 2017-08-08 | Fortem Solutions Inc | método e sistema para navegar por uma pluralidade de câmeras e controle cooperativo de câmeras |
| US8607353B2 (en) * | 2010-07-29 | 2013-12-10 | Accenture Global Services Gmbh | System and method for performing threat assessments using situational awareness |
| TWI451342B (zh) * | 2010-10-29 | 2014-09-01 | Univ Nat Chiao Tung | Shadow Removal Method in Mobile Light Source Environment |
| CN102073689B (zh) * | 2010-12-27 | 2012-11-07 | 东北大学 | 一种基于区域覆盖的动态最近邻查询方法 |
| US9225944B2 (en) * | 2011-09-08 | 2015-12-29 | Schneider Electric It Corporation | Method and system for displaying a coverage area of a camera in a data center |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US20150253428A1 (en) | 2013-03-15 | 2015-09-10 | Leap Motion, Inc. | Determining positional information for an object in space |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| GB2507574B (en) * | 2012-11-06 | 2015-05-27 | F Secure Corp | Malicious object detection |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US10042510B2 (en) | 2013-01-15 | 2018-08-07 | Leap Motion, Inc. | Dynamic user interactions for display control and measuring degree of completeness of user gestures |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US9224062B2 (en) * | 2013-08-09 | 2015-12-29 | Xerox Corporation | Hybrid method and system of video and vision based access control for parking stall occupancy determination |
| US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
| US9716837B2 (en) | 2013-09-16 | 2017-07-25 | Conduent Business Services, Llc | Video/vision based access control method and system for parking occupancy determination, which is robust against abrupt camera field of view changes |
| US9736374B2 (en) | 2013-09-19 | 2017-08-15 | Conduent Business Services, Llc | Video/vision based access control method and system for parking occupancy determination, which is robust against camera shake |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| FR3015096A1 (fr) * | 2013-12-12 | 2015-06-19 | Rizze | Systeme et procede de suivi d'objets mouvants et de personnes permettant d'en retracer l'itineraire sur une carte |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| EP2957861A1 (en) * | 2014-06-17 | 2015-12-23 | Expert Ymaging, SL | Device and method for automated parameters calculation of an object |
| DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
| US10078898B2 (en) * | 2014-11-07 | 2018-09-18 | National Institute Of Standards And Technology | Noncontact metrology probe, process for making and using same |
| US9472098B2 (en) * | 2015-01-15 | 2016-10-18 | International Business Machines Corporation | Vehicle-based abnormal travel event detecting and reporting |
| US11087228B2 (en) * | 2015-08-12 | 2021-08-10 | Bae Systems Information And Electronic Systems Integration Inc. | Generic probabilistic approximate computational inference model for streaming data processing |
| KR101732981B1 (ko) * | 2015-10-29 | 2017-05-08 | 삼성에스디에스 주식회사 | 개인화 특성 분석 시스템 및 방법 |
| MY174684A (en) * | 2015-11-27 | 2020-05-07 | Mimos Berhad | A system and method for detecting objects from image |
| CN105654238B (zh) * | 2015-12-30 | 2021-02-02 | 中国建筑科学研究院 | 一种公共机构能耗监测平台数据管理方法及装置 |
| US10102635B2 (en) | 2016-03-10 | 2018-10-16 | Sony Corporation | Method for moving object detection by a Kalman filter-based approach |
| SG11201808494TA (en) * | 2016-03-31 | 2018-10-30 | Agency Science Tech & Res | Signal light detection |
| US10956481B2 (en) * | 2016-07-29 | 2021-03-23 | Splunk Inc. | Event-based correlation of non-text machine data |
| US10552728B2 (en) | 2016-07-29 | 2020-02-04 | Splunk Inc. | Automated anomaly detection for event-based system |
| US11314799B2 (en) | 2016-07-29 | 2022-04-26 | Splunk Inc. | Event-based data intake and query system employing non-text machine data |
| CN106227889A (zh) * | 2016-08-15 | 2016-12-14 | 华云科技有限公司 | 一种轨迹停留点分析提取方法 |
| DE102017200196B3 (de) * | 2017-01-09 | 2018-04-05 | Ford Global Technologies, Llc | Steuern von Parkraum für Fahrzeuge |
| US10810414B2 (en) | 2017-07-06 | 2020-10-20 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| US10482613B2 (en) | 2017-07-06 | 2019-11-19 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| US11450148B2 (en) | 2017-07-06 | 2022-09-20 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| US11061132B2 (en) * | 2018-05-21 | 2021-07-13 | Johnson Controls Technology Company | Building radar-camera surveillance system |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| US11188763B2 (en) * | 2019-10-25 | 2021-11-30 | 7-Eleven, Inc. | Topview object tracking using a sensor array |
| US11587361B2 (en) | 2019-11-08 | 2023-02-21 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| CN111741256B (zh) * | 2020-05-20 | 2021-03-12 | 西安交通大学 | 一种用于输电线路防外破可视化装置的运动目标检测方法 |
| CN113109651B (zh) * | 2021-04-15 | 2022-11-04 | 云南电网有限责任公司电力科学研究院 | 一种适用于不同微地形对雷电活动的定量分析方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4739401A (en) * | 1985-01-25 | 1988-04-19 | Hughes Aircraft Company | Target acquisition system and method |
| EP0924671B1 (en) * | 1991-09-12 | 2006-07-05 | Electronic Data Systems Corporation | Image analyser |
| EP0878963A1 (en) * | 1992-10-09 | 1998-11-18 | Sony Corporation | Producing and recording images |
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| US5537488A (en) * | 1993-09-16 | 1996-07-16 | Massachusetts Institute Of Technology | Pattern recognition system with statistical classification |
| US6800452B1 (en) * | 1994-08-08 | 2004-10-05 | Science Applications International Corporation | Automated methods for simultaneously performing a plurality of signal-based assays |
| US5657073A (en) * | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
| US5966074A (en) * | 1996-12-17 | 1999-10-12 | Baxter; Keith M. | Intruder alarm with trajectory display |
| JP2000090277A (ja) * | 1998-09-10 | 2000-03-31 | Hitachi Denshi Ltd | 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置 |
| AU1634000A (en) * | 1998-11-24 | 2000-06-19 | Synapix, Inc. | Viewer for optical flow through a 3d time sequence |
| US6184792B1 (en) * | 2000-04-19 | 2001-02-06 | George Privalov | Early fire detection method and apparatus |
| US6701030B1 (en) * | 2000-07-07 | 2004-03-02 | Microsoft Corporation | Deghosting panoramic video |
-
2001
- 2001-12-27 US US10/034,780 patent/US20030123703A1/en not_active Abandoned
-
2002
- 2002-06-27 WO PCT/US2002/020329 patent/WO2003003309A1/en not_active Application Discontinuation
- 2002-06-27 EP EP02749669A patent/EP1399889A1/en not_active Withdrawn
- 2002-06-27 CN CNB02816606XA patent/CN1302438C/zh not_active Expired - Fee Related
- 2002-06-27 JP JP2003509404A patent/JP2004534315A/ja active Pending
- 2002-06-27 CA CA002451660A patent/CA2451660A1/en not_active Abandoned
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006331347A (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corp | 画像処理装置及び対象領域追跡プログラム |
| JP4515332B2 (ja) * | 2005-05-30 | 2010-07-28 | オリンパス株式会社 | 画像処理装置及び対象領域追跡プログラム |
| US8019143B2 (en) | 2005-05-30 | 2011-09-13 | Olympus Corporation | Image processing apparatus and computer program product |
| KR101163453B1 (ko) | 2010-12-07 | 2012-07-18 | 현대자동차주식회사 | 레이저 센서와 비전 센서를 이용한 물체거리 측정방법 |
| KR101611427B1 (ko) | 2014-12-26 | 2016-04-12 | 전자부품연구원 | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2451660A1 (en) | 2003-01-09 |
| WO2003003309A1 (en) | 2003-01-09 |
| US20030123703A1 (en) | 2003-07-03 |
| EP1399889A1 (en) | 2004-03-24 |
| CN1547726A (zh) | 2004-11-17 |
| CN1302438C (zh) | 2007-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004534315A (ja) | 移動対象物を監視する方法およびシステム | |
| JP2004531842A (ja) | サーベイランスシステムおよび監視システムに関する方法 | |
| JP2004537790A (ja) | 移動対象物評価システムおよび方法 | |
| Pavlidis et al. | Urban surveillance systems: from the laboratory to the commercial world | |
| US11733370B2 (en) | Building radar-camera surveillance system | |
| US10055979B2 (en) | Roadway sensing systems | |
| US8744125B2 (en) | Clustering-based object classification | |
| US7149325B2 (en) | Cooperative camera network | |
| Albiol et al. | Detection of parked vehicles using spatiotemporal maps | |
| EP2131328A2 (en) | Method for automatic detection and tracking of multiple objects | |
| Nam et al. | Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata | |
| Delibaltov et al. | Parking lot occupancy determination from lamp-post camera images | |
| Morellas et al. | DETER: Detection of events for threat evaluation and recognition | |
| Andersson et al. | Activity recognition and localization on a truck parking lot | |
| Bravo et al. | Outdoor vacant parking space detector for improving mobility in smart cities | |
| Zhang et al. | A robust human detection and tracking system using a human-model-based camera calibration | |
| Tang | Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections | |
| Pless et al. | Road extraction from motion cues in aerial video | |
| Velesaca et al. | Video Analytics in Urban Environments: Challenges and Approaches | |
| Salih et al. | Visual surveillance for hajj and umrah: a review | |
| Rueß et al. | leave a trace-A People Tracking System Meets Anomaly Detection | |
| Dimou et al. | GIS-supported people tracking re-acquisition in a multi-camera environment | |
| Hassan | Video analytics for security systems | |
| Hung | Image-based Traffic Monitoring System | |
| Bloisi | Visual Tracking and Data Fusion for Automatic Video Surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070124 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070131 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070920 |