JP2004537790A - 移動対象物評価システムおよび方法 - Google Patents
移動対象物評価システムおよび方法 Download PDFInfo
- Publication number
- JP2004537790A JP2004537790A JP2003509405A JP2003509405A JP2004537790A JP 2004537790 A JP2004537790 A JP 2004537790A JP 2003509405 A JP2003509405 A JP 2003509405A JP 2003509405 A JP2003509405 A JP 2003509405A JP 2004537790 A JP2004537790 A JP 2004537790A
- Authority
- JP
- Japan
- Prior art keywords
- object path
- path
- normal
- threat
- paths
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000011156 evaluation Methods 0.000 title description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 55
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims description 72
- 230000008569 process Effects 0.000 abstract description 37
- 238000010586 diagram Methods 0.000 abstract description 15
- 238000009826 distribution Methods 0.000 description 152
- 238000004422 calculation algorithm Methods 0.000 description 44
- 230000003287 optical effect Effects 0.000 description 26
- 238000009434 installation Methods 0.000 description 22
- 238000013461 design Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 20
- 230000011218 segmentation Effects 0.000 description 17
- 238000005259 measurement Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 241000282412 Homo Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012938 design process Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000002902 bimodal effect Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 241000408659 Darpa Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000032005 Spinocerebellar ataxia with axonal neuropathy type 2 Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000033361 autosomal recessive with axonal neuropathy 2 spinocerebellar ataxia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012109 statistical procedure Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19641—Multiple cameras having overlapping views on a single scene
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Gerontology & Geriatric Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
捜索領域を監視する際に使用する方法およびシステムは、捜索領域での１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供することを含む。捜索領域の移動対象物の正常な対象物経路および／または異常な対象物経路に関する１つまたは複数の特徴に基づいて、定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルが提供される。特徴モデルはクラスタ化のプロセスに基づくことができる。対象物経路データは、対象物経路が正常か異常かを決定する際に使用するための１つまたは複数の定義された正常な、および／または異常な対象物経路特徴モデルと比較される。
【選択図】図１
【選択図】図１
Description
【技術分野】
【０００１】
本願は、参照により本明細書に組み込んだ２００１年６月２９日出願の「ＳＵＲＶＥＩＬＬＡＮＣＥ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＲＥＧＡＲＤＩＮＧ ＳＡＭＥ」という名称の米国仮出願第６０／３０２，０２０号の特典を請求する。
【背景技術】
【０００２】
本発明は、一般に、捜索領域を監視するためのシステムおよび方法に関する。より詳細には、本発明は、移動対象物の追跡、サーベイランスなど、様々な用途における捜索領域を監視することに関する。
【０００３】
様々な状況におけるセキュリティの提供は長い間に発展してきた。従来、セキュリティ産業は主としてその人的資源に頼っている。科学技術は常に高く評価されるわけではなく、時には疑念を以って見られることがある。例えば、セキュリティ産業で最新の普遍的に受け入れられている技術変化の一つに、警備保障員間の無線通信の採用があった。
【０００４】
セキュリティ産業では既にビデオ記録が用いられているが、一般に、そのような記録はまだ普遍的には採用されていない。例えば、ビデオ記録を全く使用せず専ら人間の労力に依存する部分がセキュリティ市場の大部分を占めている。人間の労力を使用する一例としては、司法当局が実行する監視操作の大部分がある。
【０００５】
一般に、セキュリティ産業のインフラストラクチャは次のように要約することができる。第１に、セキュリティシステムは、通常、局所的に働き、効果的に協力することはない。さらに、非常に価値の高い資産は、旧式の技術システムにより不十分な保護しか受けていない。最後に、セキュリティ産業は、脅威の状況を検出し評価するために徹底的な人間集中に依存する。
【０００６】
ビデオベースの監視を実現するために、近年ではコンピュータビジョンが採用されるようになった。コンピュータビジョンは、監視画像、画像セット、またはコンピューティング装置で行った計算からの画像シーケンスから世界に関する有用な情報を自動的に抽出し、解析することのできる理論的でアルゴリズムによる基準を開発する科学である。例えば、コンピュータビジョンは、クラッターのある環境における対象物の位置識別、構成要素が確実に存在し、または仕様通りに正確に位置することを保証するための対象物の検査または測定、および／または移動対象物の位置を大域座標系に対して決定するよう移動対象物を追跡するための対象物のナビゲーションおよびローカリゼーションに使用することができる。多くの場合、コンピュータビジョンの使用法は、軍事的用途に集中され、赤外線、レーザ、およびレーダなど、非可視帯カメラを使用してきた。例えば、軍事目標の識別に重点が置かれた。
【０００７】
しかし、コンピュータビジョンは、可視帯カメラを使用した非軍事設定におけるサーベイランス用途でも使用されてきた。例えば、このようなサーベイランスシステムは、人間および車両の動きを追跡するよう対象物認識を実行するために使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
様々なコンピュータビジョンシステムが当技術分野では知られている。例えば、コンピュータビジョン追跡は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混成モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）の記事に記載されている。しかし、このような追跡または監視システムおよび方法にはさらに高度な精度が要求される。
【０００９】
さらに、監視されるべきエリアで対象物を追跡するために対象物移動検出方法が使用可能だが、一般に、このようなシステムは、脅威の状況と脅威でない状況というような正常状況と異常状況を適切に評価する方法は提供しない。一般に、既存の民間セキュリティシステムはそのような評価を実行するために主として人間の注意力と労力に依存する。
【課題を解決するための手段】
【００１０】
以下の構成要素の１つまたは複数を含む監視方法およびシステムが本明細書に記載されている。例えば、このような構成要素は、光学構成要素、コンピュータビジョン構成要素、および／または脅威評価構成要素を含むことができる。
【００１１】
例えば、光学構成要素は、撮像装置の配置、較正シーン（例えば、単一画像）への撮像装置視野の融合、および／またはそれぞれのコンピュータ支援設計またはファイルに対する較正シーンの照合を含むことができる。さらに、例えば、コンピュータビジョン構成要素は、光学構成要素によって提供された較正シーンを対象に処理される移動対象物のセグメント化および追跡を含むことができる。さらにまた、脅威査定官は、コンピュータビジョン構成要素によって提供された注釈付き軌道データから推論することができる。
【００１２】
本発明による捜索領域を監視する際に使用する方法は、捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供すること、および移動対象物の正常または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供することを含む。対象物経路データは、少なくとも１つの対象物経路が正常か異常かを決定する際に使用するための１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較される。
【００１３】
本発明による捜索領域を監視する際に使用するためのシステムも記載されている。このシステムは、捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを認識し、移動対象物の正常または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを認識し、対象物経路データを、少なくとも１つの対象物経路が正常か異常かを決定する際に使用するための１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するよう動作可能なコンピュータ装置を含む。
【００１４】
方法またはシステムの一実施形態では、１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルは、脅威の、および／または脅威でない対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを含む。計算された特性など、対象物経路データは、少なくとも１つの対象物経路が脅威の事象の出現を示すか否かを決定する際に使用するための１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルと比較される。
【００１５】
方法またはシステムの別の実施形態では、対象物経路特徴モデルの定義にクラスタ化が使用される。
【００１６】
捜索領域の１つまたは複数の移動対象物経路を解析する際に使用するためのコンピュータによって実現される方法も記載される。この方法は、ある期間に亘って捜索領域で複数の移動対象物に対応する複数の対象物経路を表す対象物経路データを提供することを含む。複数の対象物経路は、その１つまたは複数の特徴の共通性に基づいて１つまたは複数のクラスタにグループ化される。１つまたは複数のクラスタのそれぞれは、正常な対象物経路クラスタ（すなわち、複数の対象物経路を含むクラスタ）または小クラスタ（すなわち、単一対象物経路、または正常な対象物経路クラスタの対象物経路数よりも少ない数の対象物経路を含むクラスタ）であると識別される。正常な対象物経路クラスタの対象物経路のそれぞれは、捜索領域の移動対象物の正常な対象物経路を表す。
【００１７】
コンピュータによって実現される方法の一実施形態では、１つまたは複数のクラスタのそれぞれを正常な対象物経路クラスタか小クラスタかに識別することは、１つまたは複数のクラスタを、クラスタ内の対象物経路数に基づいて脅威でない対象物経路クラスタか潜在的な脅威の対象物経路クラスタかに識別することを含む。
【００１８】
コンピュータによって実現される方法の別の一実施形態では、方法は、対象物経路が脅威の事象の出現を示すか否かを決定するために潜在的な脅威の対象物経路クラスタ内の対象物経路のそれぞれを解析することをさらに含む。
【００１９】
コンピュータによって実現される方法の別の一実施形態では、方法は、正常および／または異常な対象物経路を示す少なくとも１つの特徴モデルを定義するために、識別された正常な対象物経路クラスタまたは小クラスタの１つまたは複数の対象物経路に関する情報を使用すること、移動対象物の少なくとも１つの対象物経路を表す追加の対象物経路データを獲得すること、および少なくとも１つの対象物経路が正常か異常かを決定するために追加の対象物経路データを少なくとも１つの定義された特徴モデルと比較することをさらに含む。
【００２０】
本発明による捜索領域の移動対象物を監視する別の方法は、定義された捜索領域を有効範囲とする画像データを提供するために複数の撮像装置を設置することを含む。各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含む。この方法は、複数の撮像装置からのすべての画像データを単一画像に融合すること、および融合された画像データの背景情報から融合された画像データの前景情報をセグメント化することをさらに含む。捜索領域の１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するために前景情報が使用される。１つまたは複数の定義された脅威でない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルが、捜索領域の移動対象物の脅威でない対象物経路および／または脅威の対象物経路に関する１つまたは複数の特徴に基づいて提供される。対象物経路データは、少なくとも１つの対象物経路が脅威の事象を示しているか否かを決定する際に使用するための定義された脅威でない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルと比較される。このような監視を実施する際に使用するためのシステムも記載されている。
【発明を実施するための最良の形態】
【００２１】
本発明による様々なシステムおよび方法を、図１〜２０を参照して説明する。一般に、本発明は、１つまたは複数の異なるタイプのアプリケーションモジュール１４が使用することができるデータを提供するコンピュータビジョンシステム１２を一般的に含む監視／検出システム１０を提供する。
【００２２】
本発明は、明確に限定はしないが、監視システム（例えば、セキュリティ市場を対象とした都市監視システム）を含む様々な目的に使用することができる。例えば、このような監視システムおよびそれに関連する方法は、大きなオープンスペースの監視および不規則または不審な行動パターンのピンポイントに特に有益である。例えば、このようなセキュリティシステムは、分離された事象を報告する現在使用可能なシステムと、例えば現在は一般に人間によって実行される機能である脅威を推論し、報告することのできる自動制御された共働ネットワークとの間のギャップを埋めることができる。
【００２３】
本発明のシステム１０は、駐車場などにおける歩行者と車両の追跡など、捜索領域で移動対象物を追跡し、そのような移動対象物に関する情報を、そのような情報を受け取り、解析するよう構成された１つまたは複数のアプリケーションモジュールに提供するように動作可能なコンピュータビジョンシステム１２を含む。例えば、図２に全体的に示され、図２を参照して説明される監視システムで、コンピュータビジョンシステムは、注釈付き軌道または移動対象物経路など、特定の特徴の報告を、例えば対象物経路は正常か異常か、すなわち対象物経路が強盗またはテロリストなどのような潜在的な脅威または脅威でない事象の特徴を示すか否かの解析など、報告されたデータを評価するための脅威評価モジュールに提供することができる。
【００２４】
本明細書に記載のシステムおよび方法の様々な別個の部分は、システムまたは方法の一実施形態を形成するよう別個に、または組合わせて共に使用することができるということに留意されたい。例えば、コンピュータビジョンシステム１２は、そのシステムによって生成された情報を、セキュリティ分野を超えて様々な目的のために１つまたは複数のアプリケーションモジュール１４によって使用することができるような方法で実施される。例えば、コンピュータビジョンシステム１２を使用して収集された交通統計を、建築工事のためにアプリケーションモジュール１４によって使用することができる。
【００２５】
そのような使用例の１つとして、一年のうちの様々な日時の駐車場の利用に洞察を与えるために交通統計を使用することがある。このような洞察は、輸送手段およびセキュリティの必要性により役立つよう、監視中のオープンスペース（例えば、駐車場、道路、車庫、歩行者専用区域など）の機能上の再デザインをサポートすることができる。
【００２６】
さらに、例えば、このようなデータを、交通パターン解析、歩行者解析、ターゲット識別、および／または任意の他のタイプの対象物認識および／または追跡アプリケーションのためのモジュール１４において使用することができる。例えば、別のアプリケーションは、販売促進を目的として百貨店の顧客の道程統計を提供することを含むことができる。
【００２７】
さらに、例えば、本発明の脅威評価モジュールを、コンピュータビジョンシステム以外のデータ獲得など、完全に異なる別個のデータ獲得システムによって提供されるデータとは別個に使用することができる。例えば、脅威評価モジュールは、レーダーシステム（例えば、飛行機パターンの提供、鳥の往来の提供など）、赤外線撮像システム（例えば、それによって検出された人間の追跡の提供など）のような、捜索領域の移動対象物の対象物経路またはそれに関する他の情報を提供することのできるいかなる他のタイプのシステムによっても利用することができる。
【００２８】
本明細書において使用するように、捜索領域は、本発明によって監視されるいかなる領域であってもよい。このような捜索領域は、いかなる特定のエリアにも限定されるものではなく、その中にあるいかなる周知の対象物をも含むことができる。例えば、このような捜索領域は屋内でも屋外でも、照明されていても照明されていなくても、地上であっても空中であってもよい。捜索領域の様々な実例は、部屋、車庫、駐車場、ロビー、銀行、上空の一領域、運動場、歩行者専用区域などのような画定されたエリアを含むことができる。
【００２９】
本明細書において使用するように、移動対象物は、捜索領域内で位置を変更することができる生物または無生物の如何なるものも意味する。例えば、移動対象物は、人間（例えば、歩行者、顧客など）、飛行機、自動車、自転車、動物などを含むことができる。
【００３０】
図１に全体的に示されている監視／検出システム１０の説明的な一実施形態では、監視／検出システム１０は、図２に示される監視システム２０として使用される。監視システム２０は、場面など捜索領域の画像データを獲得し、その中の前景データなど移動対象物を識別するためにそのような画像データを処理するコンピュータビジョンシステム２２を含む。脅威評価モジュールなど評価モジュール２４に提供される画像データの少なくとも一部として対象物経路または軌道を提供するために移動対象物が追跡される。
【００３１】
一般に、コンピュータビジョンシステム２２は、捜索領域の少なくとも一部、好適には外周縁によって範囲の定められた画定された捜索領域全体の有効範囲を可視帯カメラなど複数の撮像装置３０を使用して規定する光学デザイン２８を含む。複数の撮像装置のそれぞれは、コンピュータビジョンソフトウェアモジュール３２の１つまたは複数のルーチンを実施するために、対応する視野（ＦＯＶ）の画像ピクセルデータを、画像ピクセルデータを処理することができる１つまたは複数のコンピュータ処理装置３１に提供する。
【００３２】
一般に、図３のコンピュータビジョン方法１００に示すように、捜索領域内の複数の視野に関する画像ピクセルデータを獲得するために撮像装置を設置する際（ブロック１０２）に、コンピュータビジョンモジュール３２は、複数の撮像装置の様々な視野から形成されたグローバル座標系の複合画像など、単一画像を表す画像データを獲得するために（ブロック１０４）、複数の撮像装置の複数の視野（例えば、様々なローカル座標系の視野）の画像ピクセルデータを融合させるようそのような画像データを処理する。
【００３３】
その後、捜索領域内の移動対象物（例えば、前景ピクセル）を決定するために単一画像を前景と背景にセグメント化することができる（ブロック１０６）。次いで、移動対象物経路または軌道、および関連情報（例えば、対象物経路の長さ、移動対象物の検出回数のような計算された情報など）を提供するためにそのような移動対象物を追跡することができる（ブロック１０８）。
【００３４】
光学デザイン２８は、画定された捜索領域を最適に有効範囲とする撮像装置の配列の仕様を含むことが好ましい。光学システムデザインは、リアルタイムでコンピュータビジョンアルゴリズムを実行するために必須の計算資源の仕様も含む。このようなアルゴリズムは、画像を融合するために上記のような必須のものを含み、前景情報と背景情報のセグメント化、追跡などを規定する。さらに、最適システムデザインは、システムのユーザに情報を中継するための表示ハードウェアおよびソフトウェアを含む。例えば、コンピュータビジョンアルゴリズムは、捜索領域を完全に有効範囲とするために十分な計算能力を必要とする。したがって、そのようなアルゴリズムを実行するために５００ＭＨｚのプロセッサなど、少なくともミッドエンドのプロセッサが使用されることが好ましい。
【００３５】
市販のハードウェアおよびソフトウェア開発構成要素が使用され、オープンアーキテクチャ戦略が可能になることが好ましい。例えば、市販のパーソナルコンピュータ、カメラ、および組込み型でないソフトウェアツールが使用される。
【００３６】
例えば、コンピューティング装置３１は、本発明によるコンピュータビジョンアルゴリズムおよび／または評価アルゴリズムを実行するために使用される１つまたは複数のプロセッサベースのシステム、または他の専用ハードウェアであってよい。コンピューティング装置３１は、例えば、パーソナルコンピュータなど、１つまたは複数の固定式または移動式コンピュータシステムであってよい。コンピュータシステム構成は厳密にこの通りであるよう限定するものではなく、適切な計算機能を提供することができるいかなる１つまたは複数の装置の大部分が本発明によって使用することができる。さらに、コンピュータディスプレイ、マウス、キーボード、プリンタなどのような様々な周辺装置は、コンピューティング装置３１のプロセッサと組み合わせて使用されることを意図している。コンピュータビジョンアルゴリズムを実施するために使用されるコンピュータ装置は、脅威評価など、そのアルゴリズムから得られる特性データの評価を実行するために使用される装置と同じであっても、異なっていてもよい。
【００３７】
以下で詳述するコンピュータビジョン方法１００の好ましい一実施形態では、本発明は、ピクセルレベルでマルチノーマル表示を通しての移動対象物セグメント化を実行することが好ましい。このセグメント化方法は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡に使用する活動のパターン学習動作（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７４７〜７６７頁、２０００年、並びにＣ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混合モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）に様々な有利な変形と共に記載されているセグメント化方法と類似している。この方法は、各ピクセルの混合モデルの記述を更新しながら、画像データの各新フレームの前景ピクセルを識別する。
【００３８】
次いで、ラベリングされた、または識別された前景ピクセルを、好適には結合構成要素アルゴリズムを使用して対象物として組み立てることができる。フレーム間の対象物の対応を確立すること（すなわち、追跡）は、位置とサイズの両方を組み込む線形予測の複数仮定追跡アルゴリズムを使用して達成することが好ましい。
【００３９】
カメラなど単一の撮像装置は駐車場のような大きなオープンスペース全体を有効範囲とすることができないので、全般的な認識を維持するために一貫した単一画像に様々なカメラの視野が融合される。カメラなど複数の撮像装置のこのような融合（または一般的に較正と称される）は、コンピューティングホモグラフィ行列によって達成されることが好ましい。計算は、数対のカメラの間で共通してオーバーラップする視野領域にある複数の目標点の識別に基づく。
【００４０】
脅威評価モジュール２４は、脅威分類子４８が従うフィーチャー・アセンブリ・モジュール４２を含むことが好ましい。フィーチャー・アセンブリ・モジュール４２は、対象物経路、すなわち対象物トラック、または群の経路から様々なセキュリティ関連統計を抽出する。脅威分類子４８は、特徴となる捜索領域の移動対象物など特定の対象物経路が脅威を構成するか否かを、好適にはリアルタイムで決定する。脅威分類子４８は、脅威の対象物経路と脅威でない対象物経路、もしくは脅威の事象または脅威でない事象に関する対象物経路情報を定義するために使用することができる脅威モデリング訓練モジュール４４によって支持することができる。
【００４１】
図面をさらに参照すると、本発明は、図３のコンピュータビジョン方法における画像装置の設置によって全体的に示される（ブロック１０２）異なる光学撮像デザイン２８（図２を参照のこと）をいくつでも使用することができる。しかし、本発明は、複数の撮像装置３０が他のマルチ撮像装置システムより優れた利点を得るために慎重に設置される光学デザイン２８を提供することが好ましい。本発明による好ましいカメラ設置デザインにより、セキュリティ中断の脅威の原因となりうる死角ができないようにするために監視中のオープンスペースが完全に有効範囲となるよう保証される。
【００４２】
ビデオセンサおよび複数の画像装置からのデータを処理するための計算能力は安価になりつつあり、したがってオープンスペースに対する有効範囲を提供するために大量に使用することができるが、大部分の安価なビデオセンサは高品質の対象物追跡に対処するために要求される解像度を有しない。したがって、遠方監視用途のビデオ画像装置は依然としてやや高額であり、撮像装置の数を減らすことによってシステム費用の大幅な削減を実現している。使用されるカメラは、屋外エリアで使用するために全天候型であることが好ましい。しかし、これは追加費用を生じる。
【００４３】
さらに、時には処理設備から非常に遠距離への電力供給およびビデオ信号伝送を含む据付費により、システムは最小台数のカメラの使用を余儀なくされる。例えば、各カメラの据付費は、通常、カメラ原始価格の数倍にのぼる。
【００４４】
さらに、エリアの地形（例えば、道路、並木）により、また市および建築物の条例（例えば、美観）など、他の理由により使用されるカメラの台数に制約が課せられる場合もある。
【００４５】
要約すると、上記の考慮事項に鑑みて、監視システムに許可されるカメラ台数を最低限に抑えることが好ましい。さらに、他の光学システムデザイン考慮事項は、計算資源のタイプ、コンピュータネットワーク帯域幅、およびシステムに関連する表示機能を含むことができる。
【００４６】
光学デザイン２８は、図３のブロック１０２に全体的に示され、図４に示される光学デザイン２８を提供するさらに詳細な説明的な一実施形態にある撮像装置３０の選択的な設置によって提供されることが好ましい。本明細書で使用される光学デザインは撮像装置の実際の物理的な配置、並びにそのような撮像装置のデザインプランのシミュレーションおよび提示を意味することを理解されたい。
【００４７】
光学デザインプロセス（ブロック１０２）は、捜索領域を最初に定義することによって（ブロック１２０）開始される。例えば、本明細書で既に説明した捜索領域は、駐車場、ロビー、車道、上空の一部などのような監視されるべき様々な領域のどれでも含むことができる。
【００４８】
定義された捜索領域を有効範囲とする際に使用するために複数の撮像装置が提供される（ブロック１２２）。複数の撮像装置のそれぞれは、視野を有し、以下で詳述するようにそれを表す画像ピクセルデータを提供する。
【００４９】
複数の撮像装置は、本発明で使用するための画像ピクセルデータを提供することができるいかなるタイプのカメラでも含むことができる。例えば、単一または二重チャネルカメラシステムを使用することができる。昼間は中解像度カラーカメラとして機能し、夜間は高解像度グレイスケールカメラとして機能する二重チャネルカメラシステムが使用されることが好ましい。昼間動作から夜間動作への切り替えは、光センサによって自動的に制御される。二重チャネル技術は、夜間の低光条件ではカラー情報が失われるという事実を利用している。したがって、夜間の条件においてカラーカメラを使用する理由はない。代わりに、カラー情報の損失を補うために、より安価でより解像度の高いグレイスケールカメラを使用することができる。
【００５０】
例えば、撮像装置は、Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（Ｔｒｏｙ、Ｍｉｃｈｉｇａｎ）から市販されているＤＳＥ ＤＳ−５０００二重チャネルシステムであってよい。昼間用カラーカメラは、フレーム当たりＨσ＝４８０走査線の解像度を有する。夜間用グレイスケールカメラは、フレーム当たりＨｎ＝５７０走査線の解像度を有する。ＤＳＥ ＤＳ−５０００カメラシステムは、昼間用カメラと夜間用カメラの両方のために２．８〜６ミリメートルｆ／１．４可変焦点自動絞りレンズを有する。これは、カメラの視野を４４．４度から８２．４度の範囲で変更することを可能にする。
【００５１】
デザイン上の考慮事項のために、必須の計算を実行する際に使用するのに適した視野が選択される。例えば、そのような計算に対してはＦＯＶ＝６０度の中間値を選択することができる。以下で詳述するオーバーラップに関する制約を満たすために、この値からカメラの１つまたは複数のＦＯＶを増減させることができる。
【００５２】
光学デザイン２８は、上記のように費用を削減するために、駐車場、上空など、画定された捜索領域全体の有効範囲に最低台数のカメラを提供することが好ましい。しかし、多くの環境では、カメラを設置するための据付空間は捜索領域の地形によって限定される。例えば、道路の中央にカメラのポールを置くことはできない。しかし、可能な限り既存の電柱および屋上を使用することができる。
【００５３】
このような地形的考慮事項に鑑みて、画定された捜索領域のコンピュータ支援設計の様々な可能なカメラ据付場所を図示することができる。しかし、据付探索空間は、コンピュータビジョンアルゴリズムによってそれに課された制約によってさらに縮小することができる。例えば、都市監視システムは、車両と人間という２種類の対象物を監視することができる。サイズの点では、人間が監視対象としては最も小さい対象物である。したがって、人間のフットプリントは、以下で詳述するようにカメラの限定範囲に対する要求を助長する。このような限定範囲は、監視されている最少の対象物に少なくとも一部には基づく。反対に、限定範囲の決定は、駐車場に所与のカメラ構成では有効範囲とならない空間があることを確認する際に役立つ。
【００５４】
カメラなど、各撮像装置は、少なくとも１つの他の撮像装置とオーバーラップする視野を有することが好ましい。オーバーラップするエリアの索引付けによって１つのカメラから別のカメラへの遷移が容易に達成され、中断なしに単向移動ですべてのカメラの前を通過できるように、オーバーラップする配列を構成することが好ましい。このような索引付けは、撮像装置の視野を、以下で詳述するような有効な方法で既に融合されている他の撮像装置の視野と融合することを可能にする。
【００５５】
視野のオーバーラップは、好適には２５パーセントより大きくすべきであり、より好適には３５パーセントよりも大きくすべきである。さらに、このようなオーバーラップは、カメラの使用可能な視野を有効活用するためには好適には８５パーセントよりも少なく、より好適には５０パーセントよりも少ない。このようなパーセンテージの要求は、マルチカメラ較正アルゴリズム（すなわち、融合アルゴリズム）が確実に実行することを可能にする。正確なホモグラフィ用の共通の視野で良好に分散した複数の目標点を獲得するためにこのオーバーラップのパーセントが必要とされる。例えば、通常、オーバーラップするエリアの複数部分は、目標を提供するために利用することはできない。何故ならば、オーバーラップするエリアは、並木など、平面的でない構造によって覆われているからである。したがって、２つのカメラの間の共通エリアにはそれぞれの視野の半分を有効範囲とすることを要求することができる。
【００５６】
したがって、図４に示すように、各撮像装置の視野の少なくとも２５％が少なくとも１つの他の撮像装置の視野とオーバーラップするように各撮像装置が設置される（ブロック１２４）。捜索領域が設置された撮像装置の有効範囲とされる場合、撮像装置の構成の配列は完成する（ブロック１２８）。しかし、捜索領域が完全に有効範囲とされていない場合（ブロック１２６）、追加の撮像装置が設置される（ブロック１２４）。
【００５７】
さらに詳細なカメラ配置プロセス２０２の説明を図５に示す。カメラ配置アルゴリズムまたはプロセス２０２では、捜索領域が画定されている（ブロック２０４）。例えば、捜索領域は、外周縁を有する縁によって画定することができる。駐車場２２４が捜索領域に画定された一例を図６に示す。図から分かるように、道路７１は、外周縁の少なくとも一部として機能する。
【００５８】
また、カメラ配置アルゴリズムまたはプロセスにさらに従い、それぞれが視野を有する複数のカメラが設置される（ブロック２０６）。第１に、１つの据付場所では、その視野が捜索領域の外周縁の少なくとも一部と接するように最初のカメラが配置される（ブロック２０８）。すなわち、視野は、外周縁の少なくとも一部に沿った領域を有効範囲とする。
【００５９】
したがって、最初の据付場所の最初のカメラによって有効範囲とされるエリアに隣接した領域を有効範囲とするために、適宜、カメラが最初のカメラの周囲に追加される（ブロック２１０）。例えば、外周縁の別の部分に達するまでカメラを配置することができる。このような有効範囲の導入を図６に示す。図に示すように、図面下部の外周縁の領域を有効範囲とするように最初のカメラが据付場所３３に配置され、駐車場に隣接する道路７１など、図面上部の外周縁に沿った領域をカメラが有効範囲とするまでカメラが配置され続ける。
【００６０】
各カメラが配置されると、オーバーラップ量を決定する必要がある。好適には、隣接視野の少なくとも約２５パーセントのオーバーラップが達成されていることを確認すべきである（ブロック２１４）。さらに、据え付けられたカメラのそれぞれに対して限定範囲が計算される（ブロック２１２）。視野と限定範囲を認識することによって、以下で詳述するように各カメラに対する完全に有用な有効範囲エリアが達成される。これらに鑑みて、カメラまたはカメラの視野の位置に対して調整を行うことができる。
【００６１】
最初の据付場所でのカメラの設置が完了すると、捜索領域全体が有効範囲とされているか否かが決定される（ブロック２１６）。捜索領域が有効範囲とされている場合、限定された平面空間によるなど、地形上の制約のために必要とされる可能性があるような最後の調節がなされる（ブロック２２０）。
【００６２】
捜索領域全体が有効範囲とされていない場合、カメラは１つまたは複数の他の据付場所に同様の方法で設置される（ブロック２１８）。例えば、最初の据付場所でカメラが有効範囲としたエリアの直ぐ外側である次の据付場所にこのようなカメラが配置され続ける。しかし、追加の据付場所の追加のカメラの少なくとも１つの視野は、最初の据付場所のカメラの視野の１つと少なくとも２５パーセントはオーバーラップすることが好ましい。追加の据付場所の使用は、捜索領域全体が有効範囲とされるまで反復される。
【００６３】
上記から分かるように、様々な他の配置後調節が必要とされる場合がある（ブロック２２０）。これらは、通常、カメラの１つまたは複数の視野の増減を伴う。視野の調節は、平面空間がほとんどない場合（例えば、樹木が多い場合など）、幾分かの余分なオーバーラップを切り捨てるか、エリアに幾分かの特別なオーバーラップを追加することになる。
【００６４】
特に、このような調節を行う際に役立つようにカメラの限定範囲Ｒｃの計算が使用される。これは、次の等式から計算される。
Ｒｃ＝Ｐｆ／ｔａｎ(ＩＦＯＶ)
上式で、Ｐｆは、人間など監視されている対象物の最小の許容可能なピクセルフットプリントであり、ＩＦＯＶは瞬間視野である。
【００６５】
例えば、人体のシグネチャは、焦点面配列（ＦＰＡ）のｗ×ｈ＝３×９＝２７ピクセルの長方形よりも小さくなるべきではない。２７ピクセルより少ないピクセルを有するクラスタは雑音レベル以下になる可能性がある。平均的な人間の身体の幅を約Ｗｐ＝６１ｃｍ（２４インチ）とすると、ピクセルフットプリントＰｆ＝２４／３＝８である。ＩＦＯＶは次の公式から計算される。
ＩＦＯＶ＝ＦＯＶ／ＬＦＰＡ
上式で、ＬＦＰＡはカメラの解像度である。
【００６６】
例えば、ＦＯＶ＝６０度、およびＬＦＰＡ＝４８０ピクセル（昼間用カラーカメラ）の場合、限定範囲はＲｃ＝９２．９６ｍ（３０５フィート）である。ＦＯＶ＝６０度、およびＬＦＰＡ＝５７０ピクセル（夜間用グレイスケールカメラ）の場合、限定範囲はＲｃ＝１１０．３ｍ（３６２フィート）である。すなわち、同じＦＯＶの２台のカメラでは、解像度の高いカメラの方が有効範囲が大きい。反対に、２台のカメラが同じ解像度を有する場合、ＦＯＶの小さい方が有効範囲が大きい。したがって、配置後調節中（ブロック２２０）、カメラの有効範囲限界を増やすために、カメラの視野を、例えば６０度のＦＯＶから、昼間用の解像度の低いカメラチャネルのいくつかでＦＯＶ＝５２度にするなど、減らすことができる。
【００６７】
光学デザイン２８は、監視システム２０の有効性にとって重要である。光学デザインに使用される原理、アルゴリズム、および計算は、駐車場またはオープンスペースなど、任意の他の定義された捜索領域での撮像装置に対する光学デザインを提供する際に使用するように自動制御とすることができる。
【００６８】
１つの説明的な光学デザイン２２２の少なくとも一部を図６に示す。道路７１および建物２２６によって少なくとも部分的に画定された駐車場である捜索領域２２４全体を有効範囲とするよう７台のカメラが設置される。
【００６９】
複数のパーソナルコンピュータの１つを、以下で詳述するように、７台すべてのカメラからの画像ピクセルデータの融合を実行することができるサーバに指定して、各カメラは情報を処理するために１台の専用標準型パーソナルコンピュータを有することができる。当業者ならば、すべての処理が十分な計算能力を有する単一または複数のコンピュータシステムによって実際に実行されるようにして、いかなるコンピュータセットアップでも使用することができることを理解するだろう。
【００７０】
図６に示すように、有効範囲は、３つの据付場所３３、３５、および３７に設置されたカメラ３０によって提供される。簡約化のため、４台のカメラ３０を第１の据付場所３３に設置し、追加のカメラ３０を据付場所３５に設置し、他の２台の追加のカメラ３０を第３の据付場所３７に設置する。図６に示すような視野７０により、またカメラ３０相互の視野７０間の少なくとも２５％のオーバーラップ７２により、駐車場２２４全体を撮像することができる。
【００７１】
さらに図３を参照すると、複数の視野に関して画像ピクセルを獲得するように撮像装置３０を設置することにより、画像ピクセルデータは好適に融合される（ブロック１０４）。融合された画像情報は、例えば任意の注釈（例えば、画像の取得時刻のような画像の関連情報）と共に、複数の断片化された風景に注意を散らすことなくユーザが即座に気付くことができるようにするいかなるディスプレイ上にでも表示することができる。画像融合方法１０４の説明的な一実施形態を図７の図面に示す。
【００７２】
図７に示すように、複数のオーバーラップする視野に対する画像ピクセルデータが提供される（ブロック２３０）。一般に、広大な捜索領域の監視は、複数のカメラ撮像装置を調整して使用することによってのみ達成することができる。好適には、すべての撮像装置の有効範囲とされる地理的捜索領域全体を通した人間と車両のシームレスな追跡が望まれる。捜索領域の単一画像を提供するために、局所座標系を有する個々の撮像装置の視野を融合するか、またはこれを大域座標系と結合する必要がある。この場合、移動対象物の対象物経路は、複数の断片化された風景とは反対に大域座標系に対して登録することができる。
【００７３】
複数の撮像装置登録または融合（一般的に較正とも呼ばれる）を達成するために、第１の対の撮像装置に対してホモグラフィ変換が計算される。その後、以前に計算されたホモグラフィ変換に追加撮像装置の視野を追加するためにホモグラフィ計算を実行することができる。この方法は、隣接する数対の撮像装置の視野の間に存在するオーバーラップ部分を利用する。さらに、上述のように１台の撮像装置の視野から次の撮像装置の視野へ、さらにその次へと索引付けすることができるように視野が好適に設定されているので、追加の撮像装置は系統的で有効な方法でホモグラフィ変換に連続的に追加される。
【００７４】
すなわち、第１のホモグラフィ変換行列が、オーバーラップ部分を有する第１と第２の撮像装置に対して計算される。この結果、第１と第２の撮像装置の両方に対する大域座標系が得られる。その後、第１と第２の撮像装置に関して計算されたホモグラフィ行列に加え、第２と第３の撮像装置の視野のオーバーラップする部分の目標点を用いてホモグラフィ変換行列を計算することにより、第２の撮像装置とオーバーラップする第３の撮像装置が第１と第２の撮像装置に融合される。この結果、３台の撮像装置すべて、すなわち第１、第２、および第３の撮像装置に対するホモグラフィ変換、つまり３台の撮像装置すべてに対する大域座標系が得られる。このプロセスは、撮像装置すべてに対して単一の大域座標系を得るために、すべての撮像装置が追加されるまで続けられる。
【００７５】
撮像装置に対するホモグラフィ変換を計算する際（ブロック２３４）に使用するために、一対の撮像装置に対する一対の視野のオーバーラップする部分の複数の標識ピクセル座標が特定される（ブロック２３２）。１つの撮像装置が１つまたは複数の他の撮像装置に融合される時、オーバーラップする部分の少なくとも４つの点のピクセル座標が使用される（ブロック２３４）。
【００７６】
オーバーラップする部分の点は、それに対して１つの行列を計算中の２つの撮像装置の視野の間のオーバーラップする部分に入る物理的な地面上の点の投影である。これらの点は、撮像装置３０の据付中に選択され、地面に物理的にマーク付けされる。その後、変換行列を計算する際に対応する投影された画像点を使用することができるように、対応する投影された画像点をユーザがグラフィカルユーザインターフェースによってサンプリングすることができる。
【００７７】
この物理的なマーキングプロセスは、光学デザイン２８の導入開始時にのみ必要とされる。撮像装置の相互登録は一度完了すると繰り返す必要はない。
ホモグラフィ計算は、いかなる周知の方法でも実行することができる。ホモグラフィ変換行列を計算するための１つの方法は、Ｌ．Ｌｅｅ、Ｒ．Ｒｏｍａｎｏ、およびＧ．Ｓｔｅｉｎ著、「複数ビデオストリームからアクティビティを監視（Ｍｏｎｉｔｏｒｉｎｇ ａｃｔｉｖｉｔｉｅｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｖｉｄｅｏ ｓｔｒｅａｍｓ）：共通座標フレームを確立（Ｅｓｔａｂｌｉｓｈｉｎｇ ａ ｃｏｍｍｏｎ ｃｏｏｒｄｉｎａｔｅ ｆｒａｍｅ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７５８〜７６７頁（２０００年）に記載のいわゆる最小二乗法である。しかし、使用はできるが、この方法は、通常は偏った推定のために等式の制約を受けたシステムに対して不十分な解決策しか提供しない。さらに、特別な事象が発生している時には、一般的なホモグラフィ計算を有効に特化することができない可能性がある。
【００７８】
好適には、Ｋ．Ｋａｎａｔａｎｉ著、「信頼性測定のある最適ホモグラフィ計算（Ｏｐｔｉｍａｌ ｈｏｍｏｇｒａｐｈｙ ｃｏｍｐｕｔａｔｉｏｎ ｗｉｔｈ ａ ｒｅｌｉａｂｉｌｉｔｙ ｍｅａｓｕｒｅ）」、ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ議事録、日本国、千葉、幕張、４２６〜４２９頁（１９９８年１１月）に記載のアルゴリズムがホモグラフィ行列を計算するために使用される。このアルゴリズムは、Ｋ．Ｋａｎａｔａｎｉ著、「幾何学的コンピュータビジョンに対する統計的最適化（Ｓｔａｔｉｓｔｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｇｅｏｍｅｔｒｉｃ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」、Ｅｌｓｅｖｉｅｒ Ｓｃｉｅｎｃｅ、オランダ、アムステルダム（１９９６年）に記載の幾何学コンピュータビジョンのための統計的最適化理論に基づいている。このアルゴリズムは、最小二乗法が呈する不備を解決するものと考えられる。
【００７９】
Ｋａｎａｔａｎｉの著書に記載されているアルゴリズムの基本前提は、撮像問題の統計的な性質により、エピポーラ制約は様々な雑音源によって破られる可能性がある。図８の図面２４０に示すように、撮像問題の統計的性質はエピポーラ制約に影響を与える。Ｏ１およびＯ２は、対応する撮像装置２４２と２４４の光心である。Ｐ（Ｘ，Ｙ，Ｚ）は、共通エリア２４６、すなわち一対の撮像装置の２つの視野の間のオーバーラップする部分に入る捜索領域内の１点である。ベクトル
【００８０】
【数１】
【００８１】
は共面であると理想的である。しかし雑音のある撮像プロセスのため、実際のベクトル
【００８２】
【数２】
【００８３】
は共面ではない。ホモグラフィ変換の計算は当技術分野では周知なので、本明細書で提供する情報は簡約化した。Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎ著、「コンピュータビジョンにおける複数ビュー幾何学（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」、ケンブリッジ大学出版、６９〜１１２頁（２０００年）から、より詳細な情報を得ることができる。
【００８４】
上記のように、また決定ブロック２３６およびループブロック２３９によって示されるように、撮像装置のＦＯＶのすべてを融合するために、ホモグラフィ変換が計算される。そこに示されているように、ＦＯＶのすべてがまだ融合済みでない場合、追加のＦＯＶを融合すべきである（ブロック２３９）。すべてのＦＯＶが一度他に登録されると、画像ピクセルデータを大域座標系の単一画像に融合するためにホモグラフィ変換行列が使用される（ブロック２３８）。
【００８５】
ホモグラフィ変換行列は、対応する一対の撮像装置に対して１つの視野の複数の点と別の視野の複数の点との間の関係を完全に記述しているので、様々な撮像装置の画像ピクセルデータのこのような融合が可能である。このような融合は撮像装置の較正と呼ぶこともできる。
【００８６】
様々な視野のピクセルが大域座標系の座標に提供される。ピクセルが特定の一組の座標に対して存在する場合、当該特定の一組の座標に対するピクセル値を提供するために平均化技法が使用される。例えば、視野のオーバーラップ部分にピクセル値を割り当てる際にこのような平均化が使用される。カメラのそれぞれからのオーバーラップ部分の特定の一組の座標に対するピクセル値が同じになるように、このシステムでは同等のカメラを使用することが好ましい。
【００８７】
図３をさらに参照すると、画像ピクセルデータが複数の視野に対して一度融合されると（ブロック１０４）、前景情報を背景情報からセグメント化するなど、捜索領域での移動対象物のセグメント化が実行される（ブロック１０６）。様々な移動対象物セグメントの任意の１つを使用することができる。しかし、以下で詳述するように、画像の各ピクセルに対して複数の経時的に変化する正規分布を使用する方法が好ましい。
【００８８】
静止したカメラに関して移動対象物のセグメント化のために使用することができる２つの従来の方法は、Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ、Ｐ．Ｊ．Ｂｕｒｔ、およびＧ．Ｓ．Ｖａｎ Ｄｅｒ Ｗａｌ著、「角錐変換技術を用いた変化検出および追跡（Ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐｙｒａｍｉｄ ｔｒａｎｓｆｏｒｍ ｔｅｃｈｎｉｑｕｅｓ）」、ＳＰＩＥ−ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ議事録、マサチューセッツ州、ケンブリッジ、第５７９巻、７２〜７８頁（１９８５年９月１６〜２０日）に記載の時間差と、Ｉ．Ｈａｒｉｔａｏｇｌｕ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｓ．Ｄａｖｉｓ著、「Ｗ／ｓｕｐ ４／ｓ：２ １／２で人を検出し且つ追跡する実時間システム（Ａ ｒｅａｌ−ｔｉｍｅ ｓｙｓｔｅｍ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｎｄ ｔｒａｃｋｉｎｇ ｐｅｏｐｌｅ ｉｎ ２ １／２ｄ）」、５ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ議事録、ドイツ、フライブルク、第１巻、８７７〜８９２頁（１９９８年６月２〜６日）に記載の背景の差し引きとを含む。時間差は、動的な環境には非常に順応性があるが、すべての関連する対象物のピクセルを抽出する適切な機能は提供しない場合がある。背景の差し引きは、最も完全な対象物データを提供するが、照明および無関係な事象による動的な場面の変化には非常に影響されやすい。
【００８９】
他の順応性のある背景化方法は、Ｔ．Ｋａｎａｄｅ、Ｒ．Ｔ．Ｃｏｌｌｉｎｓ、Ａ．Ｊ．Ｌｉｐｔｏｎ、Ｐ．Ｂｕｒｔ、およびＬ．Ｗｉｘｓｏｎ著、「共働マルチセンサビデオ監視における進展（Ａｄｖａｎｃｅｓ ｉｎ ｃｏｏｐｅｒａｔｉｖｅ ｍｕｌｔｉ−ｓｅｎｓｏｒ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ）」、ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ議事録、カリフォルニア州、モンテレー、３〜２４頁（１９９８年１１月）に記載されており、環境のダイナミズムにより有効に対応することができる。しかし、これらは依然としてバイモーダル背景を処理するには不十分な場合があり、多くの移動対象物のある場面では問題がある。
【００９０】
Ｓｔａｕｆｆｅｒ他の著書は、ピクセルレベルでの法線混合表現に基づくより高度な対象物検出方法を記載している。この方法は、遥かに順応性に富み、バイモーダル背景（例えば、揺れる木の枝）を処理することができるという特徴を有する。この方法は強力な表現方式を提供する。各ピクセルに対する法線混合の各法線は、同じ場面ポイントのサンプルがガウス雑音分布を表示する可能性がある期待値を反映する。法線混合は、複数のプロセスを経時的に観察することができる期待値を反映する。さらに、Ａ．Ｅｌｇａｍｍａｌ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｄａｖｉｓ著、「背景減法のための非パラメトリックモード（Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ ＦＲＡＭＥ−ＲＡＴＥ Ｗｏｒｋｓｈｏｐ議事録、ギリシャ、コルフ、ｗｗｗ．ｅｅｃｓ．ｌｅｈｉｇｈ．ｅｄｕ／ＦＲＡＭＥ（２０００年９月）は、正常の核関数によって密度推定が達成される法線混合モデルの一般化を提案している。
【００９１】
一般に、法線混合パラダイムは、厄介な屋外の状況で適切な結果を提供する。これは、本発明による好ましい移動対象物セグメンターに対するベースラインアルゴリズムである。この方法は、本発明の１つまたは複数の実施形態に従って、Ｓｔａｕｆｆｅｒ他によって記載の形式で、もしくは好適には本明細書に記載のように変更されて使用することができる。
【００９２】
上記のように、Ｓｔａｕｆｆｅｒ他の著書に記載のプロセスに類似のセグメント化プロセス１０６が本発明に従って使用されることが好ましい。しかし、Ｓｔａｕｆｆｅｒによるプロセスは、以下で特に図１２Ａと１２Ｂの比較を参照して詳述するように変更される。
【００９３】
一般に、図９の流れ図と図１０のブロック図の両方に示されるようなセグメント化プロセス１０６は、捜索領域に対応するピクセルに対する統計値を提供するために使用される初期化の段階２５０を含む。その後、着信更新ピクセル値データが受け取られ（ブロック２５６）、セグメント化プロセス１０６の更新周期段階２５８で使用される。
【００９４】
図９および１０に示され、これらを参照して説明されるように、初期化段階２５０の目標は、場面に対応するピクセルに対して統計的に有効な値を提供することである。この場合、これらの値は前景および背景認識の動的処理の開始点として使用される。初期化段階２５０は一度だけ行われ、リアルタイムで実行する必要はない。初期化段階２５０で、ピクセル値データの特定数のフレームＮ（例えば、Ｎ＝７０）が捜索領域の複数のピクセルに提供され（ブロック２５１）、オンラインまたはオフラインで処理される。
【００９５】
図１０に説明のために示した複数の経時的に変化する正規分布２６４は、少なくともピクセル値データに基づいて捜索領域の各ピクセルに提供される（ブロック２５２）。例えば、各ピクセルｘは、５つの経時的に変化する三変数正規分布の混合と見なされる（但し、分布は幾つでも使用することができる）。
【００９６】
【数３】
【００９７】
上式で、
【００９８】
【数４】
【００９９】
は混合割合（重み付け）であり、Ｎ３（μ、Σ）はベクトル平均μと分散−共分散行列Σによる三変数正規分布を示す。この分布は、カラーカメラの一般的な事例での各ピクセルの３つの成分色（赤、緑、および青）に相当する三変数である。次に留意されたい。
【０１００】
【数５】
【０１０１】
上式で、ｘＲ、ｘＧ、およびｘＢは、特定ピクセルに対してカメラの赤、緑、および青のチャネルから受け取られた測定値を表している。
簡約化のために、分散−共分散行列は、すべての成分は横断しないが、各法線成分内に同一の分散を有するｘＲ、ｘＧ、およびｘＢと対角であると仮定される（すなわち、ｋ≠１成分の場合、σ２ ｋ≠σ２ ｌ）。したがって、
【０１０２】
【数６】
【０１０３】
である。
複数の経時的に変化する正規分布は、その経時的に変化する正規分布が捜索領域の背景または前景を表す確率に基づいて各ピクセルに対して最初に順序付けされる。複数の経時的に変化する正規分布２６４のそれぞれは前景または背景とラベリングされる。そのような順序付け、および背景２８０または前景２８２でのラベリングは、全体的に図１２Ａに示され、以下で更新周期段階２５８に関して詳述される。
【０１０４】
文献で報告されている他の使用できる方法は、ランダムに、またはＫ平均アルゴリズムによってピクセル分布を初期化する。しかし、ランダムな初期化は、動的混合モデル更新段階での学習を遅らせることがあり、不安定さの原因とさえなる場合がある。Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎ著、「ＥＭアルゴリズム（吟味した）を経た不完全データからの最尤度（Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ ｉｎｃoｍｐｌｅｔｅ ｄａｔａ ｖｉａ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ（ｗｉｔｈ ｄｉｓｃｕｓｓｉｏｎ））」、Ｊｏｕｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｂ、第３９巻、１〜３８頁（１９７７年）に記載のＫ平均または期待値−最大化（ＥＭ）法による初期化からはよりよい結果が得られる。ＥＭアルゴリズムは、計算集約的でありオフラインの初期化プロセスには約１分が掛かる。人間と車両の交通量が少ない上記の説明のための駐車場の応用例では、短期間のオフライン間隔は問題ではない。ＥＭ初期化アルゴリズムは、天候条件が動的な場合（例えば、速く移動する雲）はより有効に機能することができるが、監督下にあるエリアが往来の激しいオープンスペース（多くの移動する人間と車両）の場合はオンラインによるＫ平均初期化が好ましい場合がある。
【０１０５】
各ピクセルに対する初期の混合モデルは、初期化段階２５０の後で動的に更新される。更新機構は、更新画像データまたは着信証拠（例えば、更新ピクセル値データを提供する新しいカメラフレーム）の提示に基づいている（ブロック２５６）。セグメント化プロセスのいくつかの構成要素は、更新周期段階２５８の更新周期中に変更または更新される場合がある。例えば、いくつかの分布の形式を変更することができる（例えば、変更重み付けπｉ、変更平均μｉ、および／または変更分散σ２ ｉ）。いくつかの前景状態は背景に戻ることができ、またその反対も可能である。さらに、例えば、既存の分布の１つは破棄され、新しい分布がこれに取って代わることができる。
【０１０６】
どの時点でも、最強の証拠を有する分布は、ピクセルの最も確率の高い背景状態を表すものと見なされる。図１１は法線混合モデルを視覚化したものであり、図１０は混合モデルの更新機構を示している。図１１は、複数時点（ｔ０〜ｔ２）で簡約化のために一色だけで表示される複数の法線２６４を示している。画像２６６、２６８、および２７０のピクセル２６３に対して図示するように、より強力な証拠による分布、すなわち分布２７１は、画像２６６では夜間、画像２６８では昼間の道路であるピクセルを示している。しかし、ピクセル２６３が画像２７０に示すように移動中の自動車２６７を表す場合、ピクセル２６３は遥かに弱い分布２７３によって表される。
【０１０７】
図９にさらに示すように、各ピクセルに対する更新周期２５８は以下のように進み、そのピクセルが背景か前景かを決定することを含む（ブロック２６０）。第１に、アルゴリズムは、ピクセルに対する少なくとも更新ピクセル値データに基づいて各ピクセルに対して経時的に変化する正規分布とそれらのパラメータとの混合を更新する（ブロック２５７）。更新の性質は、照合オペレーションおよび／またはピクセル値データの結果に基づくことができる。
【０１０８】
例えば、更新ピクセル値に対して狭い分布を生成することができ、その狭い分布をそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合することを試みることができる。一致が見られると、以下で詳述する積率法を使用して更新を実行することができる。さらに、例えば、一致が見られない場合、最も弱い分布を新しい分布で置き換えることができる。以下で詳述するように前景セットに新しい分布が含まれることを保証するために更新プロセスのこの種の置き換えを使用することができる。
【０１０９】
その後、ピクセルごとに更新された複数の正規分布が、分布が前景または背景ピクセルデータである確率を示すそれらの重み付け値に基づいて降順などに再度順序付けられ、ラベリングされる（ブロック２５９）。次いでそれぞれのピクセルの状態は、更新され照合された分布（例えば、それぞれの更新ピクセル値を表す狭い分布によって照合された分布）が前景とラベリングさているか、背景とラベリングされているか、更新された分布が前景を表す新しい分布を含むか否か（例えば、一致しないために生成された新しい分布）など、順序付けられ、ラベリングされて更新された分布に基づいて前景または背景の状態とすることができる（ブロック２６０）。
【０１１０】
更新周期の順序付けプロセスの一実施形態では（ブロック２５９）、順序付けアルゴリズムが、割り当てられた重み付けに基づいて複数の正規分布を順序付ける。例えば、順序付けアルゴリズムは、証拠７の事前定義された断片に相当する複数の経時的に変化する正規分布の最初のＢ分布を選択する。
【０１１１】
【数７】
【０１１２】
上式で、ｗｊ，ｉ＝１，．．．，ｂは分布の重み付けを表している。これらのＢ分布は、すなわち背景分布とラベリングされているものと見なされ、残りの５−Ｂ分布は、すなわち前景分布とラベリングされているものと見なされる。例えば、順序付けられた分布２５４を図１２Ａに示す。分布２８０は背景分布であり、分布２８２は前景分布である。
【０１１３】
すなわち、更新周期段階２５８の更新周期中、更新周期に捜索領域の各ピクセルに対して更新ピクセル値データが受け取られると、それぞれのピクセルに対する更新ピクセル値を考慮する更新されて再度順序付けられた複数の経時的に変化する正規分布に基づいてそのピクセルが背景か前景かが決定される。例えば、アルゴリズムは、評価中のピクセルに対して着信ピクセル値を、既存の正規分布のどれかに属するものとする、すなわち一致させることができるか否かをチェックすることが好ましい。例えば、使用される一致基準は、以下で詳述するＪｅｆｆｒｅｙｓ（Ｊ）発散測度であってよい。このような評価がピクセルごとに実行される。その後、アルゴリズムは経時的に変化する正規分布と各ピクセルに対するそれらのパラメータの混合を更新し、更新された経時的に変化する正規分布の混合は再度順序付けられ、ラベリングされる。次いで、ピクセルは、この再度順序付けられ、ラベリングされた混合に基づいて前景状態か背景状態とされる。
【０１１４】
更新周期段階２５８の一実施形態を図１３にさらに示す。更新ピクセル値データは、捜索領域を表す複数のピクセルのそれぞれに対する更新周期で受け取られる（ブロック３００）。狭い分布などの分布が更新ピクセル値を表す各ピクセルに対して作成される（ブロック３０２）。
【０１１５】
その後、この発散が、１つのピクセルに対する更新ピクセル値を表す狭い分布と、それぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で計算される（ブロック３０４）。それぞれのピクセルに対する複数の経時的に変化する正規分布は、図１４を参照して以下で詳述する照合オペレーションに基づく方法で更新される（ブロック３０５）。例えば、照合オペレーションは、狭い分布とそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で発散測定のすべてが計算された後で、狭い分布に対して最小の発散を有する経時的に変化する正規分布を求めて実行される。
【０１１６】
この場合、それぞれのピクセルに対する更新された複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序付けられ、ラベリングされる（ブロック３０６）。それぞれのピクセルの状態は、ブロック２６０を参照して上述したように再度順序付けられ、ラベリングされて更新された分布（ブロック３０７）に基づいて前景または背景とされる。
【０１１７】
所望のピクセルのそれぞれは、決定ブロック３０８によって全体的に示された上記の方法で処理される。すべてのピクセルが一度処理されると、背景および／または前景をユーザに表示することができ（ブロック３１０）、または追跡、脅威評価など、本明細書で詳述するように使用することができる。
【０１１８】
図１３に全体的に示される更新ブロック３０５の照合オペレーションおよび更新周期段階２５８の他の部分は、図１２Ａ〜１２Ｂと図１４を参照して以下の節で説明するように各ピクセルに対して以下の方法で実施することができる。
【０１１９】
照合オペレーション
このプロセスは、１つのピクセルに対して更新ピクセル値を表す狭い分布を、評価中のピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合する試みを含む（ブロック３０１）。着信データ点が既存の５つの分布の１つに属するか否か（すなわち、一致するか否か）を決定するために、Ｈ．Ｊｅｆｆｒｅｙｓ著、「確率の理論（Ｔｈｅｏｒｙ ｏｆ Ｐｒｏｂａｂｉｌｉｔｙ）」Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、イギリス、オックスフォード１９４８年に記載のＪｅｆｆｒｅｙｓ発散測度Ｊ（ｆ，ｇ）が使用される。
【０１２０】
Ｊｅｆｆｒｅｙｓ数値測度は、更新ピクセル値を表す狭い分布など、１つの分布（ｇ）が、複数の経時的に変化する正規分布の１つなど、他の（ｆ）によって表される母集団から導かれた可能性のなさである。Ｊｅｆｆｒｅｙｓ発散測度の理論的特性は、Ｊ．Ｌｉｎ著、「シャノン・エントロピーに基づく発散測度（Ｄｉｖｅｒｇｅｎｃｅ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｈａｎｎｏｎ ｅｎｔｒｏｐｙ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第３７巻、第１号、１４５〜１５１頁（１９９１年）に記載されており、簡約化のため本明細書では詳述しない。
【０１２１】
一実施形態によれば、ｆｉ〜Ｎ３（μｉ，σ２ ｉＩ），ｉ＝１，．．．，５という５つの既存の正規分布が使用される。しかし、既に指摘したように５より多くても少なくても適切な場合がある。Ｊ（ｆ．ｇ）がデータ点ではなく分布を示すものなので、着信データ点２８１は、上述し、図１２Ａに示した狭い分布など、分布２８４に関連付けられる必要がある。着信分布はｇ〜Ｎ３（μｇ，σ２ ｇＩ）のように構築される。それは次のように仮定される。
μｇ-＝ｘｔ および σ２ ｇ＝２５
上式で、ｘｔは着信データ点である。σ２ ｇ＝２５の選択は、小さい時間窓での連続的なピクセル値の典型的な拡散に関する実験的観察の結果である。ｇとｆｉ，ｉ＝１，．．．，５の間の５つの発散測度は次の公式によって計算される。
【０１２２】
【数８】
【０１２３】
５つの発散測度が一度計算されると、分布ｆｊ（１≦ｊ≦５）を見つけることができる。これは、
【０１２４】
【数９】
【０１２５】
であり、ｆｊとｇの間の一致は、
【０１２６】
【数１０】
【０１２７】
の場合にのみ行われる。上式で、Ｋ＊は事前に指示した切り捨て値である。Ｊ（ｆｊ，ｇ）＞Ｋ＊の場合、着信分布ｇは既存の分布のどれとも一致する可能性はない。
【０１２８】
相違点がすべての使用可能な分布に対して測定されることに特に留意されたい。Ｓｔａｕｆｆｅｒ他のような他の方法は、特定順序で既存の分布に対して相違点を測定する。特定状況の満足度に基づいて、Ｓｔａｕｆｆｅｒ他のプロセスは、５つすべての測定値が取られて、比較される前に停止することができる。これは、異なるタイプの天候など、特定状況下でのセグメンターの性能を弱める可能性がある。
【０１２９】
上記に鑑みて、狭い分布（ｇ）がピクセルに対する複数の経時的に変化する正規分布の１つと一致するか否かが決定される（ブロック３０３）。
【０１３０】
一致が見られた場合に実行されるプロセス
着信分布が既存の分布の１つと一致する場合、以下に記載する積率法を使用して、新しくプールされた正規分布を形成するために着信分布および一致した既存の分布を共にプールすることによって複数の正規分布が更新される（ブロック３０５Ａ）。新しくプールされた分布を含む複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序づけられ、前景または背景分布とラベリングされる（ブロック３０６Ａ）。プールされた分布は、評価中ピクセルの現在の状態を表すものと見なされ、したがってピクセルの状態は、再度順序付けられた分布リストのプールされた分布の位置に応じて背景または前景とされる（ブロック３０７Ａ）。
【０１３１】
例えば、図１２Ａに示すように、狭い分布２８４が分布と一致すると仮定し、複数の経時的に変化する正規分布の更新と、それに続く再順序付け／ラベリングのプロセスの後で、一致の結果プールされた分布が分布２８０である場合、点２８１によって表される着信ピクセルは背景とラベリングされる。同様に、一致の結果プールされた分布が分布２８２である場合、点２８１によって表される着信ピクセルは、移動対象物を表す可能性があるなど、前景とラベリングされる。
【０１３２】
一実施形態では、積率法を使用して新しくプールされた分布が生成されるなど、正規分布の混合のパラメータが更新される（ブロック３０５Ａ）。第１に、既存の分布重み付けに重み付けするある学習パラメータαが採用される。したがって、５つの既存の重み付けのそれぞれから１００α％重み付けが引かれ、１００α％が着信分布の（すなわち、狭い分布の）重み付けに加えられる。すなわち、
【０１３３】
【数１１】
【０１３４】
なので、着信分布は重み付けαを有し、５つの既存の分布は重み付け、πｊ（１−α），ｊ＝１，．．．，５を有する。
【０１３５】
明らかに、αは０＜α＜１の範囲内にある。αの選択は、主としてＫ＊の選択に依存する。この２つの数量は逆関係にある。Ｋ＊の値が小さいほど、αの値は高くなり、またこの逆の場合も同様である。Ｋ＊とαの値も監視エリア内の雑音量に影響を受ける。したがって、例えば、屋外領域が監視されており、環境条件（すなわち、雨、雪など）による雑音が多い場合、高いＫ＊値、すなわち「低い」α値が要求される。これは、分布の１つとの不一致が背景雑音によって引き起こされる可能性が非常に大きいからである。一方、雑音がほとんど存在しない屋内領域が監視されている場合、好適には「低い」Ｋ＊値、すなわち「より高い」α値が要求される。何故ならば、既存の５つの分布の１つとの一致が達成されない時はいつでも、この不一致が何らかの前景の動きによって発生する可能性が非常に大きいからである（背景にはほとんど雑音がないので）。
【０１３６】
１≦ｊ≦５として、新しい分布ｇと既存の分布ｆｊの１つとの間で照合が行われる場合、混合モデルの重み付けは次のように更新される。
【０１３７】
【数１２】
【０１３８】
平均ベクトルとその分散も更新される。ｗ１が（１−α）πｊ，ｔ−１（すなわち、ｗ１は、新しい分布ｇと一致した分布をプールする前の照合の勝者であるｆ番目の成分の重み付けである）であり、ｗ２＝プールされた分布の重み付けであるαである場合、因数（ｐ）は次のように定義される。
【０１３９】
【数１３】
【０１４０】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎおよびＫ．Ｅ．Ｂａｓｆｏｒｄ著、「クラスタリングに対する混合モデル推論および応用（Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｃｌｕｓｔｅｒｉｎｇ）」、Ｍａｒｃｅｌ Ｄｅｋｋｅｒ、ニューヨーク州、ニューヨーク（１９８８年）に記載の積率法を使用すると、次の結果が得られる。
【０１４１】
【数１４】
【０１４２】
ここで、他の４つ（不一致）の分布は、ｔ−１の時点で有したのと同じ平均値と分散とを維持する。
【０１４３】
一致が見られない場合に実行されるプロセス
一致が見られない場合（すなわち、ｍｉｎ１≦ｉ≦５Ｋ（ｆｊ，ｇ）＞Ｋ＊）、順序付けられたリストの最後の分布（すなわち、前景の状態を最もよく表している分布）を更新ピクセル値に基づく新しい分布で置き換える（ブロック３０５Ｂ）ことによって複数の正規分布が更新されるが、これはこのピクセルが前景の状態に関わっていることを保証する（例えば、それが前景にならなければならないように重み付けが分布に割り当てられる）。（例えば、ブロック２５９を参照して上述したように）新しい分布を含む複数の経時的に変化する正規分布が再度順序付けられて、前景を表す新しい分布でラベリングされ（ブロック３０６Ｂ）、ピクセルの状態は前景の状態とされる（ブロック３０７Ｂ）。
【０１４４】
順序付けられたリストの最後の分布に取って代わる新しい分布のパラメータは次のように計算される。平均ベクトルμ５は着信ピクセル値で置き換えられる。分散σ２ ５は分布リストの最小分散で置き換えられる。したがって、新しい分布の重み付けは次のように計算することができる。
【０１４５】
【数１５】
【０１４６】
上式で、Ｔは背景閾値指標である。この計算により、現在のピクセルの状態を前景に分類することが保証される。残り４つの分布の重み付けは次の公式に従って更新される。
【０１４７】
【数１６】
【０１４８】
上記の照合方式は少なくとも一部で使用される。何故ならば、Ｓｔａｕｆｆｅｒ他の著書で報告された法線混合モデリングによって実施されるこの方式は、湖水の蒸発が増加し、冷たい風が吹いたために雲が切れ切れになった環境の屋外で監視が行われ、様々な密度の細切れの雲が頻繁にカメラの視野を足早に横切るなどの多くの状況では適切でないからである。
【０１４９】
Ｓｔａｕｆｆｅｒ他の著書では、図１２Ｂに示すような混合モデルの分布は、ｗを重み付け、αを各分布の分散として、ｗ／αに従い常に降順に維持される。この場合、着信ピクセルは、リストの一番上から一番下に（矢印２８３参照のこと）順に順序付けられた分布に対して照合される。着信ピクセル値が分布の２．５標準偏差内にある場合、一致が宣言されてプロセスは停止する。
【０１５０】
しかし、例えば、この方法は、少なくとも次のシナリオでは脆弱である（例えば、ピクセル誤認）。着信ピクセル値が、例えば分布４に属する可能性が高いが、依然としてキューのそれ以前の分布（例えば、２）に対する２．５標準偏差の基準を満たしている場合、プロセスは正しい分布に達する前に停止し、一致には早すぎることが宣言される（図１２Ｂ参照のこと）。この照合に引き続き、不正分布を不当に支持するモデル更新が行われる。これらの累積的な誤りは、一定期間後にシステム性能に影響を与える危険性がある。１つの分布（例えば、２）が偶然背景であり、他（例えば、４）が前景である場合に、これは直接的で重大な影響を有することさえある可能性がある。
【０１５１】
例えば、上記のシナリオは、速く移動する雲によって始めることができる。Ｓｔａｕｆｆｅｒ他の著書では、新しい分布は、システムに導入される時、着信ピクセル値２８１を中心に配置され、最初に高い分散と小さい重み付けが与えられる。より多くの証拠が蓄積するにつれ、分布の分散は落ち、その重み付けは増加する。この結果、この分布は順序付けられた分布リストの中で上昇する。
【０１５２】
しかし、天候パターンは非常に活発なので、支持する証拠は頻繁にオンオフ切り換えされるため分布の分散は比較的高いまま維持される。この結果、分布が比較的拡散した混合モデルが生じる。この期間に特定の色の対象物が偶然に場面内で移動すると、複数の分布と僅かに一致することのできる着信ピクセル値がキューの一番上に生成され、したがってこれは背景であると解釈される。移動する雲はカメラの視野の広いエリアに影響を与えるので、処理後技法はそのような欠陥を解消するには一般に無効である。
【０１５３】
反対に、上記の本発明による好ましいセグメント化の方法は、順序付けられた分布リストの一番上から一番下まで着信ピクセル値を照合することは試みない。そうではなく、この方法は、着信データ点２８１を表す狭い分布２８４を作成することが好ましい。この場合、この方法は、着信した狭い分布２８４と混合モデルの「全」分布２８０、２８２との間の最小発散値を見つけることによって分布を照合するよう試みる。この方法で、着信データ点２８１が正確な分布と一致する機会は高まる。
【０１５４】
さらに、図３を参照すると、上記のように、背景からの前景ピクセルのオンラインセグメント化を実行するために統計手続きが使用され、前景は、人間および車両など、対象となる移動対象物に対応する可能性がある（ブロック１０６）。セグメント化に引き続き、対象となる移動対象物が追跡される（ブロック１０８）。すなわち、監視されている捜索領域で検出された１つまたは複数の移動対象物が辿った軌道または対象物経路を形成するために、図１５に説明的に示すような追跡方法が使用される。
【０１５５】
他の適切な追跡方法を使用することはできるが、追跡方法は、数群の相互に隣接する前景ピクセルなど、ブロブ（すなわち、数群の連結ピクセル）または捜索領域で検出された移動対象物に関する対象物トラックまたは対象物経路を提供する際に使用するために前景対象物に対応しても対応しなくてもよいそのブロブの中心トラック（ブロック１４０）の計算を含むことが好ましい。このようなブロブの中心トラックは、画像データの背景からセグメント化された前景ピクセルに連結成分解析アルゴリズムを適用後に形成することができる。
【０１５６】
例えば、標準８連結成分解析アルゴリズムを使用することができる。この連結成分アルゴリズムは、面積が一定数のピクセルよりも少ないブロブ、すなわち数群の連結ピクセルを除去する。通常は１エリア内のこのような少数ピクセルが前景対象物に対する雑音を表すので、このような除去が実行される。例えば、連結成分アルゴリズムは、α＝３×９＝２７ピクセルよりも面積の小さいブロブを除去する。例えば、２７ピクセルは撮像装置の視野の最少の対象となる最小対象物の最小ピクセルフットプリントであってよく、例えば２７ピクセルは人間のフットプリントであってよい。
【０１５７】
数群のピクセルなど、いくつかのブロブが捜索領域の前景対象物を表していると一度識別されると、複数のフレームの前景対象物として識別されるブロブの中心トラックを別個の軌道または対象物経路にグループ化するために使用されるアルゴリズムが提供される。前景対象物を表す識別されたブロブ中心トラックを別の軌道にグループ化するには、複数の仮説追跡（ＭＨＴ）アルゴリズム１４１を使用することが好ましい。
【０１５８】
ＭＨＴはマルチターゲット追跡アプリケーションへの好ましい方式と考えられるが、他の方法を使用することもできる。ＭＨＴは、入力データをトラックに正確に関連付ける確率を最大に高める帰納的なベイズの確率論的方法である。早期に特定のトラックを付けないので、他の追跡アルゴリズムが好ましい。このように早期にある経路またはトラックを付けることは誤りの原因となる場合がある。ＭＨＴは、十分な情報が収集され、処理された後でのみ入力データをトラックにグループ化する。
【０１５９】
この状況で、ＭＨＴは、前景対象物を表す識別されたブロブなど、入力データの関連付けに関する複数の候補仮説を、データの以前のフレームを使用して確立された対象物経路など、既存のトラックによって形成する（ブロック１４４）。ＭＨＴは、ひどい擾乱と高密度のトラフィックがある応用例には特に有益である。軌道が交差している難しいマルチターゲット追跡問題では、Ｓ．Ｓ．Ｂｌａｃｋｍａｎ著、「レーダーアプリケーションを備えた多重目標追跡（Ｍｕｌｔｉｐｌｅ−Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｒａｄａｒ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ａｒｔｅｃｈ Ｈｏｕｓｅ、マサチューセッツ州、ノーウッド（１９８６年）に記載の最近接（ＮＮ）相関および結合確率論的データ関連付け（ＪＰＤＡ）のような他の追跡方法とは対照的にＭＨＴは有効に機能する。
【０１６０】
図１５は、本発明による移動対象物を追跡するために使用されるＭＨＴアルゴリズム１４１のアーキテクチャの一実施形態を示している。いかなる追跡システムにおいても必須の部分は予測モジュールである（ブロック１４８）。予測は移動対象物の状態の推定値を提供し、カルマンフィルタとして実施されることが好ましい。カルマンフィルタの予測は、ターゲットの動力学と測定雑音に対する先験モデルに基づいて行われる。
【０１６１】
検証（ブロック１４２）は、入力データ（例えば、ブロブの中心トラック）と現在の軌道のセット（例えば、以前の画像データに基づくトラック）の間の関連付けに関する仮説（ブロック１４４）の生成に先行するプロセスである。検証（ブロック１４２）の関数は、発生する見込みのない関連付けを早期に除外し、したがって生成されるべき可能な仮説の数を限定することである。
【０１６２】
ＭＨＴアルゴリズム１４１の実施態様の中心となるのは、トラックの仮説の生成と表現である（ブロック１４４）。トラック、すなわち対象物経路は、識別されたブロブなど新しい測定値が、（１）既存のトラックに属し、（２）新しいトラックの出発点であり、（３）誤認警報または前景対象物であると誤って識別されている可能性があるという仮定に基づいて生成される。仮定は、仮説構造に組み込まれる前に、検証プロセスによって検証される（ブロック１４２）。
【０１６３】
例えば、トラック仮説の完全なセットは、図１６の表１５０で示すように仮説行列によって表すことができる。表で表される仮設状態は、フレームｋ＝１およびｋ＋１＝２でそれぞれに作られた２と１の測定値の２つの走査セットに対応する。
【０１６４】
表に関する表記法は次のように分類することができる。測定値Ｚｊ（ｋ）はフレームｋに対してなされるｊ番目の観察（例えば、ブロブの中心トラック）である。さらに、誤認警報は０で示し、古いトラック（ＴｏｌｄＩＤ）から生成される新しいトラック（ＴｎｅｗＩＤ）の構成はＴｎｅｗＩＤ（ＴｏｌｄＩＤ）で示す。この表の最初の列は仮説の指標である。
【０１６５】
この典型的な状況では、走査１の間に合計４つの仮説が生成され、走査２の間にさらに８つの仮説が生成される。最後の列は、特定の仮説が含んでいるトラックを列挙する（例えば、仮説Ｈ８はトラックｎｏ．１とｎｏ．４を含んでいる）。仮説表の行のセルは、特定の測定値ｚｊ（ｋ）が属するトラックを示している（例えば、仮説Ｈ１０の下で、測定値ｚ１（２）はトラックｎｏ．５に属する）。
【０１６６】
仮説行列は、図１７に系統的に示すようなツリー構造１５２によって計算上表される。ツリーの分岐１５２は、本質的に、測定値とトラックの関連付けに関する仮説である。上記の典型的な状況から明らかなように、図１７の仮説ツリー１５２は測定値数に伴い指数関数的に増加させることができる。
【０１６７】
仮説の数を減らすために、異なる方策を適用することができる。例えば、第１の測定は、Ｄ．Ｂ．Ｒｅｉｄ著、「複数目標を追跡するためのアルゴリズム（Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒａｃｋｉｎｇ ｍｕｌｔｉｐｌｅ ｔａｒｇｅｔｓ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｒｏｌ、第２４巻、８４３〜８５４頁（１９７９年）にあるように、仮説を互いに素な集合に集積することである。この意味で、同じ測定値に対して競合しないトラックは、互いに素な仮説ツリーに関連付けられた互いに素な集合を構成する。本発明者らの第２の方策は、仮説ツリーのすべての分岐に確率を割り当てることである。Ｎｈｙｐｏ最も高い確率を有する分岐の集合は考慮されるのみである。ＭＨＴアルゴリズムの様々な他の実施態様は、Ｉ．Ｊ．ＣｏｘおよびＳ．Ｌ．Ｈｉｎｇｏｒａｎｉ著、「アルゴリズムを追跡するリードの複数仮説の有効な実現および可視追跡のためのその評価（Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｒｅｉｄ’ｓ ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｉｓ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ ｅｖａｌｕａｔｉｏｎ ｆｏｒ ｔｈｅ ｐｕｒｐｏｓｅ ｏｆ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第１８巻、第２号、１３８〜１５０頁（１９９６年）に記載されている。
【０１６８】
コンピュータビジョンシステム２２を使用して対象物トラック、すなわち軌道を提供することにより、図２に示すような評価モジュール２４は、そのようなコンピュータビジョン情報を処理し、移動対象物が、脅威か脅威でないかなど、正常か異常かを決定するために提供することができる。評価モジュール２４を使用して実行される評価解析は、対象物トラックのピクセル座標を捜索領域のＣＡＤ描画による現実の座標系設定に変換後に実行することができる。したがって、移動対象物の評価目的に内容を提供するために捜索領域の周知の目標を使用することができる。例えば、駐車場に関するこのような目標には、一台一台の駐車場所、駐車場の外周、電柱、および並木を含めることができる。このような座標変換は、Ｏｐｔｉｃａｌ Ｒｅｓｅａｒｃｈ Ａｓｓｏｃｉａｔｅ（カリフォルニア州、パサディナ）社製のＣＯＤＥ Ｖソフトウェアアプリケーションのような光学計算パッケージを使用して達成することができる。しかし、評価解析を実行する他のアプリケーションはこのような設定を要求しない場合がある。
【０１６９】
図２に示される一実施形態では、評価モジュール２４は、フィーチャー・アセンブリ・モジュール４２と分類ステージ４８とを含む。評価モジュール２４は、図１８に示すような評価方法１６０を実行するために使用することが好ましい。
【０１７０】
上記のような評価方法１６０は、移動対象物のトラックが、目標を含む捜索領域の描画など、捜索領域の座標系に変換された後で使用することが好ましい（ブロック１６２）。さらに、正常な移動対象物および／または異常な移動対象物を特徴とする事前定義された特性モジュール５７が分類ステージ４８に提供される（ブロック１６４）。脅威分類ステージなど、分類状態４８は、正常な特性モジュール５８と異常な特性モジュール５９とを含む。
【０１７１】
本明細書で使用されるように、特徴モデルは、正常な対象物経路または異常な対象物経路の任意の特徴またはその関連情報であってよい。例えば、監視中の上空空間に飛行機が飛行する予定がない場合、ブロブの検出はその上空空間では異常であるなど、その上空空間に飛行機がいるという指摘は異常と見なすことができる。さらに、例えば、駐車場のある期間にブロブが検出される予定がない場合、この静かな期間中のある時点でブロブを検出することを特徴モデルとすることができる。明らかに認識できようが、特徴モデルのリストは数が多すぎて列挙できず、脅威の特徴モデルおよび／または脅威でない特徴モデルを包含するだけではなく、彫刻の前を通過する人数と鑑賞するために一定期間立ち止まっている人数を数えるためなど、特定位置の前を通過する対象物を数えるための特徴モデルのような様々な他のタイプの特徴モデルを含めることができる。
【０１７２】
評価モジュール２４のフィーチャー・アセンブリ・モジュール４２は、例えば、対象物経路を表す軌道情報、対象物経路に関して収集された情報（例えば、獲得時刻のような他のデータ）、または対象物経路の長さ（例えば、車両／歩行者当たりベース）のような対象物ベースに対する関連するより高レベルな特性など、コンピュータビジョンモジュール３２によって提供された軌道情報を使用して計算され、または収集される情報を含むことができる特性４３のような対象物経路情報を提供する（ブロック１６６）。すなわち、特性のような対象物経路データには、明確に限定はしないが、移動対象物軌道情報、対象物経路に関して収集される他の情報、対象物経路情報を使用して演算された計算済みの特性、もしくは捜索領域およびその中の移動対象物に関するいかなる他のパラメータ、特徴、または関連情報を含めることができる。
【０１７３】
計算済みの特性は、正常な移動対象物または異常な移動対象物に関する常識的な意見を取り込むようデザインすることができる。例えば、脅威の状況と脅威でない状況の決定に関して、特性は、無害の合法的な軌道および侵入者の周知のまたは仮定のパターンに関する常識的な意見を取り込むようデザインされる。
【０１７４】
一実施形態では、駐車場または脅威の事象（例えば、強盗）の評価が実行されるべき他の捜索領域のような捜索領域に対して計算された特性には、例えば次のものを含めることができる。
・サンプル点の数
・出発点（ｘ、ｙ）
・終了点（ｘ、ｙ）
・経路の長さ
・有効範囲とされる距離（直線）
・距離の比率（経路の長さ／有効範囲とされる距離）
・出発時刻（局所壁時計）
・終了時刻（局所壁時計）
・所要時間
・平均速度
・最高速度
・速度比（平均／最高）
・合計回転角度（ラジアン）
・平均回転角度
・「Ｍ」交差数
【０１７５】
特性の大部分は自明であるが、いくつかは明らかでない場合がある。いくつかの対象物経路の活動は、深夜および早朝など一日の特定の時間では自動的に推測がつくので、壁時計が適切である。
【０１７６】
回転角度および距離の比率の特性は、経路がどれだけ遠回りしたかという解釈を取り込む。例えば、駐車場など施設の合法的ユーザは、車線によって可能となる最も直接的な経路を辿る傾向がある（例えば、直接的な経路を図２０Ｂに示す）。反対に、「うろついている人間」はより蛇行した経路を取る可能性がある。図２０Ｂは、追跡中の脅威でない車両の経路４１８が示された駐車場４１２という脅威でない状況４１０を示している。
【０１７７】
「Ｍ」交差特性は、自動車のドアをよく確認し、または施錠確認するために反復的にループしながら（例えば、２回のループは「Ｍ」字型をとる）、車線に沿って駐車場の複数の区画を系統的に確認するために自動車泥棒の周知の傾向の監視を試みる。これは、駐車場の複数の区画に対して複数の基準線を維持し、複数の区画への出入り回数を数えることによって監視することができる。歩行者の「Ｍ」字型の横断が図２０Ａに示すように捕らえられている。図２０Ａは、脅威の人物経路４０４が示された駐車場４０２という脅威の状況４００を具体的に示している。
【０１７８】
提供された特性（例えば、対象物トラックに関連付けられた特性）は、分類子ステージの正常な移動対象物と異常な移動対象物を特徴とする事前定義された特徴モデル５７と比較することなどによって評価される（ブロック１６８）。移動対象物が正常であるか異常であるかが、フィーチャー・アセンブリ・モジュール４２によって１つまたは複数の対象物経路に対して計算された特性４３と、分類ステージ４８でアクセス可能な（例えば、記憶された）事前定義された特徴モデル５７との間の比較に基づいて決定される（ブロック１７０）。さらに、例えば、対象物経路が脅威であると識別されると、警報６０をユーザに提供することができる。無音、可聴、ビデオなど、いかなるタイプの警報でも使用することができる。
【０１７９】
常識および、例えばユーザがグラフィカルユーザインターフェースで定義した周知の正常な特徴と異常な特徴によって特徴付けられる事前定義された特徴モデル５７に加えて、さらなる特徴モデルを提供するための訓練モジュール４４が提供される。訓練モジュール４４はオンラインでもオフラインでも使用することができる。
【０１８０】
一般に、訓練モジュール４４は、一定期間に亘って特定捜索領域について記録された対象物経路に対するフィーチャー・アセンブリ・モジュール４２の出力を受け取る。対象物経路軌道、および対象物経路に関する計算された情報を含む関連情報（図面では総合してラベリングされたケースと称される）など、このような特性は、データベース構造を使用して収集し、かつ／または編成することができる。次いで、分類ステージ４８での潜在的な使用のためにそのようなデータベース特性に基づいて１つまたは複数の正常な特徴モデルおよび／または異常な特徴モデルを生成するために訓練モジュール４４が使用される。
【０１８１】
そのような訓練モジュール４４とそれに関連付けられたプロセスの説明的な一実施形態を、図１９を参照して説明する。一般に、トレーニングプロセス３５０は、特徴モデル開発モジュール５４によって、定義された特徴モデルなど、対象物の挙動のより明確な説明を生成する際に役立つクラスタ化アルゴリズム５２を提供する。例えば、トレーニングプロセスのために使用されるトレーニングデータには、明確に限定はしないが、ラベリングされた軌道５０および対応する特性ベクトルが含まれる。このようなデータは、Ｗ．Ｂｕｎｔｉｎｅ著、「分類ツリーを学習する（Ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｒｅｅｓ）」、Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｉｎｇ、第２巻、第２号、６３〜７３頁（１９９２年）に基づくアルゴリズムのような分類ツリー誘導アルゴリズムによって一緒に処理することができる。
【０１８２】
より具体的には、図１９を参照して説明したように、長期に亘る１つまたは複数の移動対象物を表す対象物経路とそのような対象物経路に関連する計算された特性が得られる（ブロック３５２）。例えば、このような対象物経路とそれに関連する計算された特性は、数週間、数ヶ月などに亘って得られる。
【０１８３】
対象物経路と関連する計算された特性は、そのような情報の特定の特徴に基づいてグループ化される（ブロック３５４）。このような対象物トラックは複数のクラスタに分類される。例えば、特定レベルの迂遠性を有する対象物経路を１つのクラスタにグループ化することができ、所定の長さより長い対象物経路を１つのクラスタにグループ化することができる、などである。すなわち、特定の特徴に基づく共通性を有する対象物経路が同じグループにグループ化される（ブロック３５４）。
【０１８４】
次いでそれらのクラスタが比較的大きなクラスタか比較的小さなクラスタかを決定するために、これらのクラスタが解析される。すなわち、これらのクラスタは、それが含んでいる対象物トラックの数に基づいてある程度順序付けられ、大きいか小さいかが判断される。一般に、大きなクラスタは、小さなクラスタと比較して、そこにグループ化された対象物トラックの数が特に多く、比較的正常な対象物トラックであると識別することができる（ブロック３５８）。すなわち、移動対象物が一般的に特定期間に亘り何度も同じ経路をとる場合、その移動対象物に対応する対象物経路は、脅威でない移動対象物を表す対象物経路など、一般的に正常な経路である。次いで対象物経路またはそれに関連付けられた特性は、脅威分類ステージにおいてなど、後で対象物トラックを正常か異常か識別するために事前定義された特徴モデルの一部として使用される（ブロック３６０）。すなわち、大きなクラスタに基づいて分類ステージ４８に含めるために新しい特徴モデルを定義することができる。
【０１８５】
単一対象物トラックを含むことができる比較的小さなクラスタの対象物経路を解析する必要がある（ブロック３６２）。このような解析は、比較的小さなクラスタの対象物トラックまたは単一対象物トラックが、脅威であるなど、異常であるか否かを人間が判断するためにグラフィカルユーザインターフェースによって対象物経路を再検討するシステムのユーザによって実行することができる（ブロック３６４）。
【０１８６】
小さいクラスタの１つまたは複数の対象物トラックが異常である場合、分類ステージ４８で特徴モデルとして使用されるなど、異常な対象物経路を識別するために特性を事前定義された特徴モデルの一部として使用することができる（ブロック３６６）。しかし、１つまたは複数の対象物経路が、そのような対象物経路の他の出現と同時発生せず、もしくはそのような対象物経路がほとんどなく、単なる正常な出現であると判断された場合、解析中のその１つまたは複数の対象物経路を無視することができる（ブロック３６８）。
【０１８７】
そのような対象物トラックがどのようにして生成されたかと関係なく、移動対象物に関して正常な対象物トラックと異常な対象物トラックを識別するためにクラスタ化方法を使用することができる。例えば、図２に示すように、そのような対象物トラックは、複数の撮像装置３０から情報を受け取るコンピュータビジョンモジュール３２によって提供される。しかし、レーダーシステムによって生成された対象物トラックは、訓練モジュール４４に関して説明されるように評価モジュール２４および／またはクラスタ解析ツールを使用して評価し、解析することもできる。
【０１８８】
本明細書で引用するすべての参照文献は、その全体をそれぞれが別個に組み込まれているように組み込まれる。以上、本発明を説明的な実施形態を参照して説明したが、これは限定的な意味で解釈されることを意図するものではない。説明的な実施形態に対する様々な修正形態、並びに本発明の追加の実施形態は、本明細書を参照すれば当業者には明らかになろう。
【図面の簡単な説明】
【０１８９】
【図１】本発明によるコンピュータビジョンシステムからの出力を使用するように動作可能なコンピュータビジョンシステムおよびアプリケーションモジュールを含む監視／検出システムの全体的なブロック図である。
【図２】本発明によるコンピュータビジョンシステムおよび評価モジュールを含む監視システムの全体的なブロック図である。
【図３】図２に全体的に示されたコンピュータビジョンシステムによって実行することができるコンピュータビジョン方法の説明的な一実施形態を一般化した流れ図である。
【図４】図３に全体的に示された光学システムデザインプロセスの説明的な一実施形態を示す流れ図である。
【図５】図３に全体的に示された光学システムデザインプロセスのさらに詳細な説明的一実施形態の流れ図である。
【図６】図５に全体的に示されたデザインプロセスを示す際に使用するための光学システム配置の説明図である。
【図７】図３のコンピュータビジョン方法の部分として全体的に示された画像融合方法の説明的な一実施形態の流れ図である。
【図８】図７に全体的に示された画像融合方法を説明する際に使用する図である。
【図９】図３のコンピュータビジョン方法の部分として全体的に示されたセグメント化プロセスの説明的な一実施形態の流れ図である。
【図１０】図９に示されたセグメント化プロセスを説明する際に使用する略図である。
【図１１】本発明による、図９を参照して説明されるピクセルに対する複数の経時的に変化する正常な分布を示す図である。
【図１２Ａ】本発明による、図９を参照して説明される、複数の経時的に変化する正常な分布の順序付けと、更新データを複数の経時的に変化する正常な分布に照合することを示す図である。
【図１２Ｂ】更新データを複数の経時的に変化する正常な分布に照合する従来技術による方法を示す図である。
【図１３】図９に示されたセグメント化プロセスの更新周期の一実施形態を示す流れ図である。
【図１４】図１３に示された更新周期の一部の説明的な一実施形態のさらに詳細な流れ図である。
【図１５】図３に全体的に示された移動対象物追跡の説明的な一実施形態を示すブロック図である。
【図１６】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１７】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１８】図２に示された監視システムの評価モジュールによる図２に全体的に示された評価方法のさらに詳細な説明的一実施形態を示す流れ図である。
【図１９】図１８に全体的に示された評価方法を支援するために使用することができるクラスタ化プロセスの説明的な一実施形態を示す流れ図である。
【図２０】図２０Ａは、本発明により表示することができる図面で脅威の対象物経路を示す図である。図２０Ｂは、本発明により表示することができる図面で脅威でない対象物経路を示す図である。
【０００１】
本願は、参照により本明細書に組み込んだ２００１年６月２９日出願の「ＳＵＲＶＥＩＬＬＡＮＣＥ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＲＥＧＡＲＤＩＮＧ ＳＡＭＥ」という名称の米国仮出願第６０／３０２，０２０号の特典を請求する。
【背景技術】
【０００２】
本発明は、一般に、捜索領域を監視するためのシステムおよび方法に関する。より詳細には、本発明は、移動対象物の追跡、サーベイランスなど、様々な用途における捜索領域を監視することに関する。
【０００３】
様々な状況におけるセキュリティの提供は長い間に発展してきた。従来、セキュリティ産業は主としてその人的資源に頼っている。科学技術は常に高く評価されるわけではなく、時には疑念を以って見られることがある。例えば、セキュリティ産業で最新の普遍的に受け入れられている技術変化の一つに、警備保障員間の無線通信の採用があった。
【０００４】
セキュリティ産業では既にビデオ記録が用いられているが、一般に、そのような記録はまだ普遍的には採用されていない。例えば、ビデオ記録を全く使用せず専ら人間の労力に依存する部分がセキュリティ市場の大部分を占めている。人間の労力を使用する一例としては、司法当局が実行する監視操作の大部分がある。
【０００５】
一般に、セキュリティ産業のインフラストラクチャは次のように要約することができる。第１に、セキュリティシステムは、通常、局所的に働き、効果的に協力することはない。さらに、非常に価値の高い資産は、旧式の技術システムにより不十分な保護しか受けていない。最後に、セキュリティ産業は、脅威の状況を検出し評価するために徹底的な人間集中に依存する。
【０００６】
ビデオベースの監視を実現するために、近年ではコンピュータビジョンが採用されるようになった。コンピュータビジョンは、監視画像、画像セット、またはコンピューティング装置で行った計算からの画像シーケンスから世界に関する有用な情報を自動的に抽出し、解析することのできる理論的でアルゴリズムによる基準を開発する科学である。例えば、コンピュータビジョンは、クラッターのある環境における対象物の位置識別、構成要素が確実に存在し、または仕様通りに正確に位置することを保証するための対象物の検査または測定、および／または移動対象物の位置を大域座標系に対して決定するよう移動対象物を追跡するための対象物のナビゲーションおよびローカリゼーションに使用することができる。多くの場合、コンピュータビジョンの使用法は、軍事的用途に集中され、赤外線、レーザ、およびレーダなど、非可視帯カメラを使用してきた。例えば、軍事目標の識別に重点が置かれた。
【０００７】
しかし、コンピュータビジョンは、可視帯カメラを使用した非軍事設定におけるサーベイランス用途でも使用されてきた。例えば、このようなサーベイランスシステムは、人間および車両の動きを追跡するよう対象物認識を実行するために使用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
様々なコンピュータビジョンシステムが当技術分野では知られている。例えば、コンピュータビジョン追跡は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混成モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）の記事に記載されている。しかし、このような追跡または監視システムおよび方法にはさらに高度な精度が要求される。
【０００９】
さらに、監視されるべきエリアで対象物を追跡するために対象物移動検出方法が使用可能だが、一般に、このようなシステムは、脅威の状況と脅威でない状況というような正常状況と異常状況を適切に評価する方法は提供しない。一般に、既存の民間セキュリティシステムはそのような評価を実行するために主として人間の注意力と労力に依存する。
【課題を解決するための手段】
【００１０】
以下の構成要素の１つまたは複数を含む監視方法およびシステムが本明細書に記載されている。例えば、このような構成要素は、光学構成要素、コンピュータビジョン構成要素、および／または脅威評価構成要素を含むことができる。
【００１１】
例えば、光学構成要素は、撮像装置の配置、較正シーン（例えば、単一画像）への撮像装置視野の融合、および／またはそれぞれのコンピュータ支援設計またはファイルに対する較正シーンの照合を含むことができる。さらに、例えば、コンピュータビジョン構成要素は、光学構成要素によって提供された較正シーンを対象に処理される移動対象物のセグメント化および追跡を含むことができる。さらにまた、脅威査定官は、コンピュータビジョン構成要素によって提供された注釈付き軌道データから推論することができる。
【００１２】
本発明による捜索領域を監視する際に使用する方法は、捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供すること、および移動対象物の正常または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供することを含む。対象物経路データは、少なくとも１つの対象物経路が正常か異常かを決定する際に使用するための１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較される。
【００１３】
本発明による捜索領域を監視する際に使用するためのシステムも記載されている。このシステムは、捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを認識し、移動対象物の正常または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを認識し、対象物経路データを、少なくとも１つの対象物経路が正常か異常かを決定する際に使用するための１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するよう動作可能なコンピュータ装置を含む。
【００１４】
方法またはシステムの一実施形態では、１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルは、脅威の、および／または脅威でない対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを含む。計算された特性など、対象物経路データは、少なくとも１つの対象物経路が脅威の事象の出現を示すか否かを決定する際に使用するための１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルと比較される。
【００１５】
方法またはシステムの別の実施形態では、対象物経路特徴モデルの定義にクラスタ化が使用される。
【００１６】
捜索領域の１つまたは複数の移動対象物経路を解析する際に使用するためのコンピュータによって実現される方法も記載される。この方法は、ある期間に亘って捜索領域で複数の移動対象物に対応する複数の対象物経路を表す対象物経路データを提供することを含む。複数の対象物経路は、その１つまたは複数の特徴の共通性に基づいて１つまたは複数のクラスタにグループ化される。１つまたは複数のクラスタのそれぞれは、正常な対象物経路クラスタ（すなわち、複数の対象物経路を含むクラスタ）または小クラスタ（すなわち、単一対象物経路、または正常な対象物経路クラスタの対象物経路数よりも少ない数の対象物経路を含むクラスタ）であると識別される。正常な対象物経路クラスタの対象物経路のそれぞれは、捜索領域の移動対象物の正常な対象物経路を表す。
【００１７】
コンピュータによって実現される方法の一実施形態では、１つまたは複数のクラスタのそれぞれを正常な対象物経路クラスタか小クラスタかに識別することは、１つまたは複数のクラスタを、クラスタ内の対象物経路数に基づいて脅威でない対象物経路クラスタか潜在的な脅威の対象物経路クラスタかに識別することを含む。
【００１８】
コンピュータによって実現される方法の別の一実施形態では、方法は、対象物経路が脅威の事象の出現を示すか否かを決定するために潜在的な脅威の対象物経路クラスタ内の対象物経路のそれぞれを解析することをさらに含む。
【００１９】
コンピュータによって実現される方法の別の一実施形態では、方法は、正常および／または異常な対象物経路を示す少なくとも１つの特徴モデルを定義するために、識別された正常な対象物経路クラスタまたは小クラスタの１つまたは複数の対象物経路に関する情報を使用すること、移動対象物の少なくとも１つの対象物経路を表す追加の対象物経路データを獲得すること、および少なくとも１つの対象物経路が正常か異常かを決定するために追加の対象物経路データを少なくとも１つの定義された特徴モデルと比較することをさらに含む。
【００２０】
本発明による捜索領域の移動対象物を監視する別の方法は、定義された捜索領域を有効範囲とする画像データを提供するために複数の撮像装置を設置することを含む。各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含む。この方法は、複数の撮像装置からのすべての画像データを単一画像に融合すること、および融合された画像データの背景情報から融合された画像データの前景情報をセグメント化することをさらに含む。捜索領域の１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するために前景情報が使用される。１つまたは複数の定義された脅威でない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルが、捜索領域の移動対象物の脅威でない対象物経路および／または脅威の対象物経路に関する１つまたは複数の特徴に基づいて提供される。対象物経路データは、少なくとも１つの対象物経路が脅威の事象を示しているか否かを決定する際に使用するための定義された脅威でない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルと比較される。このような監視を実施する際に使用するためのシステムも記載されている。
【発明を実施するための最良の形態】
【００２１】
本発明による様々なシステムおよび方法を、図１〜２０を参照して説明する。一般に、本発明は、１つまたは複数の異なるタイプのアプリケーションモジュール１４が使用することができるデータを提供するコンピュータビジョンシステム１２を一般的に含む監視／検出システム１０を提供する。
【００２２】
本発明は、明確に限定はしないが、監視システム（例えば、セキュリティ市場を対象とした都市監視システム）を含む様々な目的に使用することができる。例えば、このような監視システムおよびそれに関連する方法は、大きなオープンスペースの監視および不規則または不審な行動パターンのピンポイントに特に有益である。例えば、このようなセキュリティシステムは、分離された事象を報告する現在使用可能なシステムと、例えば現在は一般に人間によって実行される機能である脅威を推論し、報告することのできる自動制御された共働ネットワークとの間のギャップを埋めることができる。
【００２３】
本発明のシステム１０は、駐車場などにおける歩行者と車両の追跡など、捜索領域で移動対象物を追跡し、そのような移動対象物に関する情報を、そのような情報を受け取り、解析するよう構成された１つまたは複数のアプリケーションモジュールに提供するように動作可能なコンピュータビジョンシステム１２を含む。例えば、図２に全体的に示され、図２を参照して説明される監視システムで、コンピュータビジョンシステムは、注釈付き軌道または移動対象物経路など、特定の特徴の報告を、例えば対象物経路は正常か異常か、すなわち対象物経路が強盗またはテロリストなどのような潜在的な脅威または脅威でない事象の特徴を示すか否かの解析など、報告されたデータを評価するための脅威評価モジュールに提供することができる。
【００２４】
本明細書に記載のシステムおよび方法の様々な別個の部分は、システムまたは方法の一実施形態を形成するよう別個に、または組合わせて共に使用することができるということに留意されたい。例えば、コンピュータビジョンシステム１２は、そのシステムによって生成された情報を、セキュリティ分野を超えて様々な目的のために１つまたは複数のアプリケーションモジュール１４によって使用することができるような方法で実施される。例えば、コンピュータビジョンシステム１２を使用して収集された交通統計を、建築工事のためにアプリケーションモジュール１４によって使用することができる。
【００２５】
そのような使用例の１つとして、一年のうちの様々な日時の駐車場の利用に洞察を与えるために交通統計を使用することがある。このような洞察は、輸送手段およびセキュリティの必要性により役立つよう、監視中のオープンスペース（例えば、駐車場、道路、車庫、歩行者専用区域など）の機能上の再デザインをサポートすることができる。
【００２６】
さらに、例えば、このようなデータを、交通パターン解析、歩行者解析、ターゲット識別、および／または任意の他のタイプの対象物認識および／または追跡アプリケーションのためのモジュール１４において使用することができる。例えば、別のアプリケーションは、販売促進を目的として百貨店の顧客の道程統計を提供することを含むことができる。
【００２７】
さらに、例えば、本発明の脅威評価モジュールを、コンピュータビジョンシステム以外のデータ獲得など、完全に異なる別個のデータ獲得システムによって提供されるデータとは別個に使用することができる。例えば、脅威評価モジュールは、レーダーシステム（例えば、飛行機パターンの提供、鳥の往来の提供など）、赤外線撮像システム（例えば、それによって検出された人間の追跡の提供など）のような、捜索領域の移動対象物の対象物経路またはそれに関する他の情報を提供することのできるいかなる他のタイプのシステムによっても利用することができる。
【００２８】
本明細書において使用するように、捜索領域は、本発明によって監視されるいかなる領域であってもよい。このような捜索領域は、いかなる特定のエリアにも限定されるものではなく、その中にあるいかなる周知の対象物をも含むことができる。例えば、このような捜索領域は屋内でも屋外でも、照明されていても照明されていなくても、地上であっても空中であってもよい。捜索領域の様々な実例は、部屋、車庫、駐車場、ロビー、銀行、上空の一領域、運動場、歩行者専用区域などのような画定されたエリアを含むことができる。
【００２９】
本明細書において使用するように、移動対象物は、捜索領域内で位置を変更することができる生物または無生物の如何なるものも意味する。例えば、移動対象物は、人間（例えば、歩行者、顧客など）、飛行機、自動車、自転車、動物などを含むことができる。
【００３０】
図１に全体的に示されている監視／検出システム１０の説明的な一実施形態では、監視／検出システム１０は、図２に示される監視システム２０として使用される。監視システム２０は、場面など捜索領域の画像データを獲得し、その中の前景データなど移動対象物を識別するためにそのような画像データを処理するコンピュータビジョンシステム２２を含む。脅威評価モジュールなど評価モジュール２４に提供される画像データの少なくとも一部として対象物経路または軌道を提供するために移動対象物が追跡される。
【００３１】
一般に、コンピュータビジョンシステム２２は、捜索領域の少なくとも一部、好適には外周縁によって範囲の定められた画定された捜索領域全体の有効範囲を可視帯カメラなど複数の撮像装置３０を使用して規定する光学デザイン２８を含む。複数の撮像装置のそれぞれは、コンピュータビジョンソフトウェアモジュール３２の１つまたは複数のルーチンを実施するために、対応する視野（ＦＯＶ）の画像ピクセルデータを、画像ピクセルデータを処理することができる１つまたは複数のコンピュータ処理装置３１に提供する。
【００３２】
一般に、図３のコンピュータビジョン方法１００に示すように、捜索領域内の複数の視野に関する画像ピクセルデータを獲得するために撮像装置を設置する際（ブロック１０２）に、コンピュータビジョンモジュール３２は、複数の撮像装置の様々な視野から形成されたグローバル座標系の複合画像など、単一画像を表す画像データを獲得するために（ブロック１０４）、複数の撮像装置の複数の視野（例えば、様々なローカル座標系の視野）の画像ピクセルデータを融合させるようそのような画像データを処理する。
【００３３】
その後、捜索領域内の移動対象物（例えば、前景ピクセル）を決定するために単一画像を前景と背景にセグメント化することができる（ブロック１０６）。次いで、移動対象物経路または軌道、および関連情報（例えば、対象物経路の長さ、移動対象物の検出回数のような計算された情報など）を提供するためにそのような移動対象物を追跡することができる（ブロック１０８）。
【００３４】
光学デザイン２８は、画定された捜索領域を最適に有効範囲とする撮像装置の配列の仕様を含むことが好ましい。光学システムデザインは、リアルタイムでコンピュータビジョンアルゴリズムを実行するために必須の計算資源の仕様も含む。このようなアルゴリズムは、画像を融合するために上記のような必須のものを含み、前景情報と背景情報のセグメント化、追跡などを規定する。さらに、最適システムデザインは、システムのユーザに情報を中継するための表示ハードウェアおよびソフトウェアを含む。例えば、コンピュータビジョンアルゴリズムは、捜索領域を完全に有効範囲とするために十分な計算能力を必要とする。したがって、そのようなアルゴリズムを実行するために５００ＭＨｚのプロセッサなど、少なくともミッドエンドのプロセッサが使用されることが好ましい。
【００３５】
市販のハードウェアおよびソフトウェア開発構成要素が使用され、オープンアーキテクチャ戦略が可能になることが好ましい。例えば、市販のパーソナルコンピュータ、カメラ、および組込み型でないソフトウェアツールが使用される。
【００３６】
例えば、コンピューティング装置３１は、本発明によるコンピュータビジョンアルゴリズムおよび／または評価アルゴリズムを実行するために使用される１つまたは複数のプロセッサベースのシステム、または他の専用ハードウェアであってよい。コンピューティング装置３１は、例えば、パーソナルコンピュータなど、１つまたは複数の固定式または移動式コンピュータシステムであってよい。コンピュータシステム構成は厳密にこの通りであるよう限定するものではなく、適切な計算機能を提供することができるいかなる１つまたは複数の装置の大部分が本発明によって使用することができる。さらに、コンピュータディスプレイ、マウス、キーボード、プリンタなどのような様々な周辺装置は、コンピューティング装置３１のプロセッサと組み合わせて使用されることを意図している。コンピュータビジョンアルゴリズムを実施するために使用されるコンピュータ装置は、脅威評価など、そのアルゴリズムから得られる特性データの評価を実行するために使用される装置と同じであっても、異なっていてもよい。
【００３７】
以下で詳述するコンピュータビジョン方法１００の好ましい一実施形態では、本発明は、ピクセルレベルでマルチノーマル表示を通しての移動対象物セグメント化を実行することが好ましい。このセグメント化方法は、Ｃ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡に使用する活動のパターン学習動作（Ｌｅａｒｎｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ ａｃｔｉｖｉｔｙ ｕｓｉｎｇ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７４７〜７６７頁、２０００年、並びにＣ．ＳｔａｕｆｆｅｒおよびＷ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ著、「実時間追跡用の適用背景混合モデル（Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ）」、１９９９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ議事録、第２巻、２４６〜２５２頁、コロラド州、フォートコリンズ（１９９９年６月２３〜２５日）に様々な有利な変形と共に記載されているセグメント化方法と類似している。この方法は、各ピクセルの混合モデルの記述を更新しながら、画像データの各新フレームの前景ピクセルを識別する。
【００３８】
次いで、ラベリングされた、または識別された前景ピクセルを、好適には結合構成要素アルゴリズムを使用して対象物として組み立てることができる。フレーム間の対象物の対応を確立すること（すなわち、追跡）は、位置とサイズの両方を組み込む線形予測の複数仮定追跡アルゴリズムを使用して達成することが好ましい。
【００３９】
カメラなど単一の撮像装置は駐車場のような大きなオープンスペース全体を有効範囲とすることができないので、全般的な認識を維持するために一貫した単一画像に様々なカメラの視野が融合される。カメラなど複数の撮像装置のこのような融合（または一般的に較正と称される）は、コンピューティングホモグラフィ行列によって達成されることが好ましい。計算は、数対のカメラの間で共通してオーバーラップする視野領域にある複数の目標点の識別に基づく。
【００４０】
脅威評価モジュール２４は、脅威分類子４８が従うフィーチャー・アセンブリ・モジュール４２を含むことが好ましい。フィーチャー・アセンブリ・モジュール４２は、対象物経路、すなわち対象物トラック、または群の経路から様々なセキュリティ関連統計を抽出する。脅威分類子４８は、特徴となる捜索領域の移動対象物など特定の対象物経路が脅威を構成するか否かを、好適にはリアルタイムで決定する。脅威分類子４８は、脅威の対象物経路と脅威でない対象物経路、もしくは脅威の事象または脅威でない事象に関する対象物経路情報を定義するために使用することができる脅威モデリング訓練モジュール４４によって支持することができる。
【００４１】
図面をさらに参照すると、本発明は、図３のコンピュータビジョン方法における画像装置の設置によって全体的に示される（ブロック１０２）異なる光学撮像デザイン２８（図２を参照のこと）をいくつでも使用することができる。しかし、本発明は、複数の撮像装置３０が他のマルチ撮像装置システムより優れた利点を得るために慎重に設置される光学デザイン２８を提供することが好ましい。本発明による好ましいカメラ設置デザインにより、セキュリティ中断の脅威の原因となりうる死角ができないようにするために監視中のオープンスペースが完全に有効範囲となるよう保証される。
【００４２】
ビデオセンサおよび複数の画像装置からのデータを処理するための計算能力は安価になりつつあり、したがってオープンスペースに対する有効範囲を提供するために大量に使用することができるが、大部分の安価なビデオセンサは高品質の対象物追跡に対処するために要求される解像度を有しない。したがって、遠方監視用途のビデオ画像装置は依然としてやや高額であり、撮像装置の数を減らすことによってシステム費用の大幅な削減を実現している。使用されるカメラは、屋外エリアで使用するために全天候型であることが好ましい。しかし、これは追加費用を生じる。
【００４３】
さらに、時には処理設備から非常に遠距離への電力供給およびビデオ信号伝送を含む据付費により、システムは最小台数のカメラの使用を余儀なくされる。例えば、各カメラの据付費は、通常、カメラ原始価格の数倍にのぼる。
【００４４】
さらに、エリアの地形（例えば、道路、並木）により、また市および建築物の条例（例えば、美観）など、他の理由により使用されるカメラの台数に制約が課せられる場合もある。
【００４５】
要約すると、上記の考慮事項に鑑みて、監視システムに許可されるカメラ台数を最低限に抑えることが好ましい。さらに、他の光学システムデザイン考慮事項は、計算資源のタイプ、コンピュータネットワーク帯域幅、およびシステムに関連する表示機能を含むことができる。
【００４６】
光学デザイン２８は、図３のブロック１０２に全体的に示され、図４に示される光学デザイン２８を提供するさらに詳細な説明的な一実施形態にある撮像装置３０の選択的な設置によって提供されることが好ましい。本明細書で使用される光学デザインは撮像装置の実際の物理的な配置、並びにそのような撮像装置のデザインプランのシミュレーションおよび提示を意味することを理解されたい。
【００４７】
光学デザインプロセス（ブロック１０２）は、捜索領域を最初に定義することによって（ブロック１２０）開始される。例えば、本明細書で既に説明した捜索領域は、駐車場、ロビー、車道、上空の一部などのような監視されるべき様々な領域のどれでも含むことができる。
【００４８】
定義された捜索領域を有効範囲とする際に使用するために複数の撮像装置が提供される（ブロック１２２）。複数の撮像装置のそれぞれは、視野を有し、以下で詳述するようにそれを表す画像ピクセルデータを提供する。
【００４９】
複数の撮像装置は、本発明で使用するための画像ピクセルデータを提供することができるいかなるタイプのカメラでも含むことができる。例えば、単一または二重チャネルカメラシステムを使用することができる。昼間は中解像度カラーカメラとして機能し、夜間は高解像度グレイスケールカメラとして機能する二重チャネルカメラシステムが使用されることが好ましい。昼間動作から夜間動作への切り替えは、光センサによって自動的に制御される。二重チャネル技術は、夜間の低光条件ではカラー情報が失われるという事実を利用している。したがって、夜間の条件においてカラーカメラを使用する理由はない。代わりに、カラー情報の損失を補うために、より安価でより解像度の高いグレイスケールカメラを使用することができる。
【００５０】
例えば、撮像装置は、Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（Ｔｒｏｙ、Ｍｉｃｈｉｇａｎ）から市販されているＤＳＥ ＤＳ−５０００二重チャネルシステムであってよい。昼間用カラーカメラは、フレーム当たりＨσ＝４８０走査線の解像度を有する。夜間用グレイスケールカメラは、フレーム当たりＨｎ＝５７０走査線の解像度を有する。ＤＳＥ ＤＳ−５０００カメラシステムは、昼間用カメラと夜間用カメラの両方のために２．８〜６ミリメートルｆ／１．４可変焦点自動絞りレンズを有する。これは、カメラの視野を４４．４度から８２．４度の範囲で変更することを可能にする。
【００５１】
デザイン上の考慮事項のために、必須の計算を実行する際に使用するのに適した視野が選択される。例えば、そのような計算に対してはＦＯＶ＝６０度の中間値を選択することができる。以下で詳述するオーバーラップに関する制約を満たすために、この値からカメラの１つまたは複数のＦＯＶを増減させることができる。
【００５２】
光学デザイン２８は、上記のように費用を削減するために、駐車場、上空など、画定された捜索領域全体の有効範囲に最低台数のカメラを提供することが好ましい。しかし、多くの環境では、カメラを設置するための据付空間は捜索領域の地形によって限定される。例えば、道路の中央にカメラのポールを置くことはできない。しかし、可能な限り既存の電柱および屋上を使用することができる。
【００５３】
このような地形的考慮事項に鑑みて、画定された捜索領域のコンピュータ支援設計の様々な可能なカメラ据付場所を図示することができる。しかし、据付探索空間は、コンピュータビジョンアルゴリズムによってそれに課された制約によってさらに縮小することができる。例えば、都市監視システムは、車両と人間という２種類の対象物を監視することができる。サイズの点では、人間が監視対象としては最も小さい対象物である。したがって、人間のフットプリントは、以下で詳述するようにカメラの限定範囲に対する要求を助長する。このような限定範囲は、監視されている最少の対象物に少なくとも一部には基づく。反対に、限定範囲の決定は、駐車場に所与のカメラ構成では有効範囲とならない空間があることを確認する際に役立つ。
【００５４】
カメラなど、各撮像装置は、少なくとも１つの他の撮像装置とオーバーラップする視野を有することが好ましい。オーバーラップするエリアの索引付けによって１つのカメラから別のカメラへの遷移が容易に達成され、中断なしに単向移動ですべてのカメラの前を通過できるように、オーバーラップする配列を構成することが好ましい。このような索引付けは、撮像装置の視野を、以下で詳述するような有効な方法で既に融合されている他の撮像装置の視野と融合することを可能にする。
【００５５】
視野のオーバーラップは、好適には２５パーセントより大きくすべきであり、より好適には３５パーセントよりも大きくすべきである。さらに、このようなオーバーラップは、カメラの使用可能な視野を有効活用するためには好適には８５パーセントよりも少なく、より好適には５０パーセントよりも少ない。このようなパーセンテージの要求は、マルチカメラ較正アルゴリズム（すなわち、融合アルゴリズム）が確実に実行することを可能にする。正確なホモグラフィ用の共通の視野で良好に分散した複数の目標点を獲得するためにこのオーバーラップのパーセントが必要とされる。例えば、通常、オーバーラップするエリアの複数部分は、目標を提供するために利用することはできない。何故ならば、オーバーラップするエリアは、並木など、平面的でない構造によって覆われているからである。したがって、２つのカメラの間の共通エリアにはそれぞれの視野の半分を有効範囲とすることを要求することができる。
【００５６】
したがって、図４に示すように、各撮像装置の視野の少なくとも２５％が少なくとも１つの他の撮像装置の視野とオーバーラップするように各撮像装置が設置される（ブロック１２４）。捜索領域が設置された撮像装置の有効範囲とされる場合、撮像装置の構成の配列は完成する（ブロック１２８）。しかし、捜索領域が完全に有効範囲とされていない場合（ブロック１２６）、追加の撮像装置が設置される（ブロック１２４）。
【００５７】
さらに詳細なカメラ配置プロセス２０２の説明を図５に示す。カメラ配置アルゴリズムまたはプロセス２０２では、捜索領域が画定されている（ブロック２０４）。例えば、捜索領域は、外周縁を有する縁によって画定することができる。駐車場２２４が捜索領域に画定された一例を図６に示す。図から分かるように、道路７１は、外周縁の少なくとも一部として機能する。
【００５８】
また、カメラ配置アルゴリズムまたはプロセスにさらに従い、それぞれが視野を有する複数のカメラが設置される（ブロック２０６）。第１に、１つの据付場所では、その視野が捜索領域の外周縁の少なくとも一部と接するように最初のカメラが配置される（ブロック２０８）。すなわち、視野は、外周縁の少なくとも一部に沿った領域を有効範囲とする。
【００５９】
したがって、最初の据付場所の最初のカメラによって有効範囲とされるエリアに隣接した領域を有効範囲とするために、適宜、カメラが最初のカメラの周囲に追加される（ブロック２１０）。例えば、外周縁の別の部分に達するまでカメラを配置することができる。このような有効範囲の導入を図６に示す。図に示すように、図面下部の外周縁の領域を有効範囲とするように最初のカメラが据付場所３３に配置され、駐車場に隣接する道路７１など、図面上部の外周縁に沿った領域をカメラが有効範囲とするまでカメラが配置され続ける。
【００６０】
各カメラが配置されると、オーバーラップ量を決定する必要がある。好適には、隣接視野の少なくとも約２５パーセントのオーバーラップが達成されていることを確認すべきである（ブロック２１４）。さらに、据え付けられたカメラのそれぞれに対して限定範囲が計算される（ブロック２１２）。視野と限定範囲を認識することによって、以下で詳述するように各カメラに対する完全に有用な有効範囲エリアが達成される。これらに鑑みて、カメラまたはカメラの視野の位置に対して調整を行うことができる。
【００６１】
最初の据付場所でのカメラの設置が完了すると、捜索領域全体が有効範囲とされているか否かが決定される（ブロック２１６）。捜索領域が有効範囲とされている場合、限定された平面空間によるなど、地形上の制約のために必要とされる可能性があるような最後の調節がなされる（ブロック２２０）。
【００６２】
捜索領域全体が有効範囲とされていない場合、カメラは１つまたは複数の他の据付場所に同様の方法で設置される（ブロック２１８）。例えば、最初の据付場所でカメラが有効範囲としたエリアの直ぐ外側である次の据付場所にこのようなカメラが配置され続ける。しかし、追加の据付場所の追加のカメラの少なくとも１つの視野は、最初の据付場所のカメラの視野の１つと少なくとも２５パーセントはオーバーラップすることが好ましい。追加の据付場所の使用は、捜索領域全体が有効範囲とされるまで反復される。
【００６３】
上記から分かるように、様々な他の配置後調節が必要とされる場合がある（ブロック２２０）。これらは、通常、カメラの１つまたは複数の視野の増減を伴う。視野の調節は、平面空間がほとんどない場合（例えば、樹木が多い場合など）、幾分かの余分なオーバーラップを切り捨てるか、エリアに幾分かの特別なオーバーラップを追加することになる。
【００６４】
特に、このような調節を行う際に役立つようにカメラの限定範囲Ｒｃの計算が使用される。これは、次の等式から計算される。
Ｒｃ＝Ｐｆ／ｔａｎ(ＩＦＯＶ)
上式で、Ｐｆは、人間など監視されている対象物の最小の許容可能なピクセルフットプリントであり、ＩＦＯＶは瞬間視野である。
【００６５】
例えば、人体のシグネチャは、焦点面配列（ＦＰＡ）のｗ×ｈ＝３×９＝２７ピクセルの長方形よりも小さくなるべきではない。２７ピクセルより少ないピクセルを有するクラスタは雑音レベル以下になる可能性がある。平均的な人間の身体の幅を約Ｗｐ＝６１ｃｍ（２４インチ）とすると、ピクセルフットプリントＰｆ＝２４／３＝８である。ＩＦＯＶは次の公式から計算される。
ＩＦＯＶ＝ＦＯＶ／ＬＦＰＡ
上式で、ＬＦＰＡはカメラの解像度である。
【００６６】
例えば、ＦＯＶ＝６０度、およびＬＦＰＡ＝４８０ピクセル（昼間用カラーカメラ）の場合、限定範囲はＲｃ＝９２．９６ｍ（３０５フィート）である。ＦＯＶ＝６０度、およびＬＦＰＡ＝５７０ピクセル（夜間用グレイスケールカメラ）の場合、限定範囲はＲｃ＝１１０．３ｍ（３６２フィート）である。すなわち、同じＦＯＶの２台のカメラでは、解像度の高いカメラの方が有効範囲が大きい。反対に、２台のカメラが同じ解像度を有する場合、ＦＯＶの小さい方が有効範囲が大きい。したがって、配置後調節中（ブロック２２０）、カメラの有効範囲限界を増やすために、カメラの視野を、例えば６０度のＦＯＶから、昼間用の解像度の低いカメラチャネルのいくつかでＦＯＶ＝５２度にするなど、減らすことができる。
【００６７】
光学デザイン２８は、監視システム２０の有効性にとって重要である。光学デザインに使用される原理、アルゴリズム、および計算は、駐車場またはオープンスペースなど、任意の他の定義された捜索領域での撮像装置に対する光学デザインを提供する際に使用するように自動制御とすることができる。
【００６８】
１つの説明的な光学デザイン２２２の少なくとも一部を図６に示す。道路７１および建物２２６によって少なくとも部分的に画定された駐車場である捜索領域２２４全体を有効範囲とするよう７台のカメラが設置される。
【００６９】
複数のパーソナルコンピュータの１つを、以下で詳述するように、７台すべてのカメラからの画像ピクセルデータの融合を実行することができるサーバに指定して、各カメラは情報を処理するために１台の専用標準型パーソナルコンピュータを有することができる。当業者ならば、すべての処理が十分な計算能力を有する単一または複数のコンピュータシステムによって実際に実行されるようにして、いかなるコンピュータセットアップでも使用することができることを理解するだろう。
【００７０】
図６に示すように、有効範囲は、３つの据付場所３３、３５、および３７に設置されたカメラ３０によって提供される。簡約化のため、４台のカメラ３０を第１の据付場所３３に設置し、追加のカメラ３０を据付場所３５に設置し、他の２台の追加のカメラ３０を第３の据付場所３７に設置する。図６に示すような視野７０により、またカメラ３０相互の視野７０間の少なくとも２５％のオーバーラップ７２により、駐車場２２４全体を撮像することができる。
【００７１】
さらに図３を参照すると、複数の視野に関して画像ピクセルを獲得するように撮像装置３０を設置することにより、画像ピクセルデータは好適に融合される（ブロック１０４）。融合された画像情報は、例えば任意の注釈（例えば、画像の取得時刻のような画像の関連情報）と共に、複数の断片化された風景に注意を散らすことなくユーザが即座に気付くことができるようにするいかなるディスプレイ上にでも表示することができる。画像融合方法１０４の説明的な一実施形態を図７の図面に示す。
【００７２】
図７に示すように、複数のオーバーラップする視野に対する画像ピクセルデータが提供される（ブロック２３０）。一般に、広大な捜索領域の監視は、複数のカメラ撮像装置を調整して使用することによってのみ達成することができる。好適には、すべての撮像装置の有効範囲とされる地理的捜索領域全体を通した人間と車両のシームレスな追跡が望まれる。捜索領域の単一画像を提供するために、局所座標系を有する個々の撮像装置の視野を融合するか、またはこれを大域座標系と結合する必要がある。この場合、移動対象物の対象物経路は、複数の断片化された風景とは反対に大域座標系に対して登録することができる。
【００７３】
複数の撮像装置登録または融合（一般的に較正とも呼ばれる）を達成するために、第１の対の撮像装置に対してホモグラフィ変換が計算される。その後、以前に計算されたホモグラフィ変換に追加撮像装置の視野を追加するためにホモグラフィ計算を実行することができる。この方法は、隣接する数対の撮像装置の視野の間に存在するオーバーラップ部分を利用する。さらに、上述のように１台の撮像装置の視野から次の撮像装置の視野へ、さらにその次へと索引付けすることができるように視野が好適に設定されているので、追加の撮像装置は系統的で有効な方法でホモグラフィ変換に連続的に追加される。
【００７４】
すなわち、第１のホモグラフィ変換行列が、オーバーラップ部分を有する第１と第２の撮像装置に対して計算される。この結果、第１と第２の撮像装置の両方に対する大域座標系が得られる。その後、第１と第２の撮像装置に関して計算されたホモグラフィ行列に加え、第２と第３の撮像装置の視野のオーバーラップする部分の目標点を用いてホモグラフィ変換行列を計算することにより、第２の撮像装置とオーバーラップする第３の撮像装置が第１と第２の撮像装置に融合される。この結果、３台の撮像装置すべて、すなわち第１、第２、および第３の撮像装置に対するホモグラフィ変換、つまり３台の撮像装置すべてに対する大域座標系が得られる。このプロセスは、撮像装置すべてに対して単一の大域座標系を得るために、すべての撮像装置が追加されるまで続けられる。
【００７５】
撮像装置に対するホモグラフィ変換を計算する際（ブロック２３４）に使用するために、一対の撮像装置に対する一対の視野のオーバーラップする部分の複数の標識ピクセル座標が特定される（ブロック２３２）。１つの撮像装置が１つまたは複数の他の撮像装置に融合される時、オーバーラップする部分の少なくとも４つの点のピクセル座標が使用される（ブロック２３４）。
【００７６】
オーバーラップする部分の点は、それに対して１つの行列を計算中の２つの撮像装置の視野の間のオーバーラップする部分に入る物理的な地面上の点の投影である。これらの点は、撮像装置３０の据付中に選択され、地面に物理的にマーク付けされる。その後、変換行列を計算する際に対応する投影された画像点を使用することができるように、対応する投影された画像点をユーザがグラフィカルユーザインターフェースによってサンプリングすることができる。
【００７７】
この物理的なマーキングプロセスは、光学デザイン２８の導入開始時にのみ必要とされる。撮像装置の相互登録は一度完了すると繰り返す必要はない。
ホモグラフィ計算は、いかなる周知の方法でも実行することができる。ホモグラフィ変換行列を計算するための１つの方法は、Ｌ．Ｌｅｅ、Ｒ．Ｒｏｍａｎｏ、およびＧ．Ｓｔｅｉｎ著、「複数ビデオストリームからアクティビティを監視（Ｍｏｎｉｔｏｒｉｎｇ ａｃｔｉｖｉｔｉｅｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ｖｉｄｅｏ ｓｔｒｅａｍｓ）：共通座標フレームを確立（Ｅｓｔａｂｌｉｓｈｉｎｇ ａ ｃｏｍｍｏｎ ｃｏｏｒｄｉｎａｔｅ ｆｒａｍｅ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第２２巻、第８号、７５８〜７６７頁（２０００年）に記載のいわゆる最小二乗法である。しかし、使用はできるが、この方法は、通常は偏った推定のために等式の制約を受けたシステムに対して不十分な解決策しか提供しない。さらに、特別な事象が発生している時には、一般的なホモグラフィ計算を有効に特化することができない可能性がある。
【００７８】
好適には、Ｋ．Ｋａｎａｔａｎｉ著、「信頼性測定のある最適ホモグラフィ計算（Ｏｐｔｉｍａｌ ｈｏｍｏｇｒａｐｈｙ ｃｏｍｐｕｔａｔｉｏｎ ｗｉｔｈ ａ ｒｅｌｉａｂｉｌｉｔｙ ｍｅａｓｕｒｅ）」、ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ議事録、日本国、千葉、幕張、４２６〜４２９頁（１９９８年１１月）に記載のアルゴリズムがホモグラフィ行列を計算するために使用される。このアルゴリズムは、Ｋ．Ｋａｎａｔａｎｉ著、「幾何学的コンピュータビジョンに対する統計的最適化（Ｓｔａｔｉｓｔｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｇｅｏｍｅｔｒｉｃ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」、Ｅｌｓｅｖｉｅｒ Ｓｃｉｅｎｃｅ、オランダ、アムステルダム（１９９６年）に記載の幾何学コンピュータビジョンのための統計的最適化理論に基づいている。このアルゴリズムは、最小二乗法が呈する不備を解決するものと考えられる。
【００７９】
Ｋａｎａｔａｎｉの著書に記載されているアルゴリズムの基本前提は、撮像問題の統計的な性質により、エピポーラ制約は様々な雑音源によって破られる可能性がある。図８の図面２４０に示すように、撮像問題の統計的性質はエピポーラ制約に影響を与える。Ｏ１およびＯ２は、対応する撮像装置２４２と２４４の光心である。Ｐ（Ｘ，Ｙ，Ｚ）は、共通エリア２４６、すなわち一対の撮像装置の２つの視野の間のオーバーラップする部分に入る捜索領域内の１点である。ベクトル
【００８０】
【数１】
は共面であると理想的である。しかし雑音のある撮像プロセスのため、実際のベクトル
【００８２】
【数２】
は共面ではない。ホモグラフィ変換の計算は当技術分野では周知なので、本明細書で提供する情報は簡約化した。Ｒ．ＨａｒｔｌｅｙおよびＡ．Ｚｉｓｓｅｒｍａｎ著、「コンピュータビジョンにおける複数ビュー幾何学（Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）」、ケンブリッジ大学出版、６９〜１１２頁（２０００年）から、より詳細な情報を得ることができる。
【００８４】
上記のように、また決定ブロック２３６およびループブロック２３９によって示されるように、撮像装置のＦＯＶのすべてを融合するために、ホモグラフィ変換が計算される。そこに示されているように、ＦＯＶのすべてがまだ融合済みでない場合、追加のＦＯＶを融合すべきである（ブロック２３９）。すべてのＦＯＶが一度他に登録されると、画像ピクセルデータを大域座標系の単一画像に融合するためにホモグラフィ変換行列が使用される（ブロック２３８）。
【００８５】
ホモグラフィ変換行列は、対応する一対の撮像装置に対して１つの視野の複数の点と別の視野の複数の点との間の関係を完全に記述しているので、様々な撮像装置の画像ピクセルデータのこのような融合が可能である。このような融合は撮像装置の較正と呼ぶこともできる。
【００８６】
様々な視野のピクセルが大域座標系の座標に提供される。ピクセルが特定の一組の座標に対して存在する場合、当該特定の一組の座標に対するピクセル値を提供するために平均化技法が使用される。例えば、視野のオーバーラップ部分にピクセル値を割り当てる際にこのような平均化が使用される。カメラのそれぞれからのオーバーラップ部分の特定の一組の座標に対するピクセル値が同じになるように、このシステムでは同等のカメラを使用することが好ましい。
【００８７】
図３をさらに参照すると、画像ピクセルデータが複数の視野に対して一度融合されると（ブロック１０４）、前景情報を背景情報からセグメント化するなど、捜索領域での移動対象物のセグメント化が実行される（ブロック１０６）。様々な移動対象物セグメントの任意の１つを使用することができる。しかし、以下で詳述するように、画像の各ピクセルに対して複数の経時的に変化する正規分布を使用する方法が好ましい。
【００８８】
静止したカメラに関して移動対象物のセグメント化のために使用することができる２つの従来の方法は、Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ、Ｐ．Ｊ．Ｂｕｒｔ、およびＧ．Ｓ．Ｖａｎ Ｄｅｒ Ｗａｌ著、「角錐変換技術を用いた変化検出および追跡（Ｃｈａｎｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｐｙｒａｍｉｄ ｔｒａｎｓｆｏｒｍ ｔｅｃｈｎｉｑｕｅｓ）」、ＳＰＩＥ−ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ議事録、マサチューセッツ州、ケンブリッジ、第５７９巻、７２〜７８頁（１９８５年９月１６〜２０日）に記載の時間差と、Ｉ．Ｈａｒｉｔａｏｇｌｕ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｓ．Ｄａｖｉｓ著、「Ｗ／ｓｕｐ ４／ｓ：２ １／２で人を検出し且つ追跡する実時間システム（Ａ ｒｅａｌ−ｔｉｍｅ ｓｙｓｔｅｍ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｎｄ ｔｒａｃｋｉｎｇ ｐｅｏｐｌｅ ｉｎ ２ １／２ｄ）」、５ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ議事録、ドイツ、フライブルク、第１巻、８７７〜８９２頁（１９９８年６月２〜６日）に記載の背景の差し引きとを含む。時間差は、動的な環境には非常に順応性があるが、すべての関連する対象物のピクセルを抽出する適切な機能は提供しない場合がある。背景の差し引きは、最も完全な対象物データを提供するが、照明および無関係な事象による動的な場面の変化には非常に影響されやすい。
【００８９】
他の順応性のある背景化方法は、Ｔ．Ｋａｎａｄｅ、Ｒ．Ｔ．Ｃｏｌｌｉｎｓ、Ａ．Ｊ．Ｌｉｐｔｏｎ、Ｐ．Ｂｕｒｔ、およびＬ．Ｗｉｘｓｏｎ著、「共働マルチセンサビデオ監視における進展（Ａｄｖａｎｃｅｓ ｉｎ ｃｏｏｐｅｒａｔｉｖｅ ｍｕｌｔｉ−ｓｅｎｓｏｒ ｖｉｄｅｏ ｓｕｒｖｅｉｌｌａｎｃｅ）」、ＤＡＲＰＡ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ議事録、カリフォルニア州、モンテレー、３〜２４頁（１９９８年１１月）に記載されており、環境のダイナミズムにより有効に対応することができる。しかし、これらは依然としてバイモーダル背景を処理するには不十分な場合があり、多くの移動対象物のある場面では問題がある。
【００９０】
Ｓｔａｕｆｆｅｒ他の著書は、ピクセルレベルでの法線混合表現に基づくより高度な対象物検出方法を記載している。この方法は、遥かに順応性に富み、バイモーダル背景（例えば、揺れる木の枝）を処理することができるという特徴を有する。この方法は強力な表現方式を提供する。各ピクセルに対する法線混合の各法線は、同じ場面ポイントのサンプルがガウス雑音分布を表示する可能性がある期待値を反映する。法線混合は、複数のプロセスを経時的に観察することができる期待値を反映する。さらに、Ａ．Ｅｌｇａｍｍａｌ、Ｄ．Ｈａｒｗｏｏｄ、およびＬ．Ｄａｖｉｓ著、「背景減法のための非パラメトリックモード（Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｍｏｄｅｌ ｆｏｒ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ ＦＲＡＭＥ−ＲＡＴＥ Ｗｏｒｋｓｈｏｐ議事録、ギリシャ、コルフ、ｗｗｗ．ｅｅｃｓ．ｌｅｈｉｇｈ．ｅｄｕ／ＦＲＡＭＥ（２０００年９月）は、正常の核関数によって密度推定が達成される法線混合モデルの一般化を提案している。
【００９１】
一般に、法線混合パラダイムは、厄介な屋外の状況で適切な結果を提供する。これは、本発明による好ましい移動対象物セグメンターに対するベースラインアルゴリズムである。この方法は、本発明の１つまたは複数の実施形態に従って、Ｓｔａｕｆｆｅｒ他によって記載の形式で、もしくは好適には本明細書に記載のように変更されて使用することができる。
【００９２】
上記のように、Ｓｔａｕｆｆｅｒ他の著書に記載のプロセスに類似のセグメント化プロセス１０６が本発明に従って使用されることが好ましい。しかし、Ｓｔａｕｆｆｅｒによるプロセスは、以下で特に図１２Ａと１２Ｂの比較を参照して詳述するように変更される。
【００９３】
一般に、図９の流れ図と図１０のブロック図の両方に示されるようなセグメント化プロセス１０６は、捜索領域に対応するピクセルに対する統計値を提供するために使用される初期化の段階２５０を含む。その後、着信更新ピクセル値データが受け取られ（ブロック２５６）、セグメント化プロセス１０６の更新周期段階２５８で使用される。
【００９４】
図９および１０に示され、これらを参照して説明されるように、初期化段階２５０の目標は、場面に対応するピクセルに対して統計的に有効な値を提供することである。この場合、これらの値は前景および背景認識の動的処理の開始点として使用される。初期化段階２５０は一度だけ行われ、リアルタイムで実行する必要はない。初期化段階２５０で、ピクセル値データの特定数のフレームＮ（例えば、Ｎ＝７０）が捜索領域の複数のピクセルに提供され（ブロック２５１）、オンラインまたはオフラインで処理される。
【００９５】
図１０に説明のために示した複数の経時的に変化する正規分布２６４は、少なくともピクセル値データに基づいて捜索領域の各ピクセルに提供される（ブロック２５２）。例えば、各ピクセルｘは、５つの経時的に変化する三変数正規分布の混合と見なされる（但し、分布は幾つでも使用することができる）。
【００９６】
【数３】
上式で、
【００９８】
【数４】
は混合割合（重み付け）であり、Ｎ３（μ、Σ）はベクトル平均μと分散−共分散行列Σによる三変数正規分布を示す。この分布は、カラーカメラの一般的な事例での各ピクセルの３つの成分色（赤、緑、および青）に相当する三変数である。次に留意されたい。
【０１００】
【数５】
上式で、ｘＲ、ｘＧ、およびｘＢは、特定ピクセルに対してカメラの赤、緑、および青のチャネルから受け取られた測定値を表している。
簡約化のために、分散−共分散行列は、すべての成分は横断しないが、各法線成分内に同一の分散を有するｘＲ、ｘＧ、およびｘＢと対角であると仮定される（すなわち、ｋ≠１成分の場合、σ２ ｋ≠σ２ ｌ）。したがって、
【０１０２】
【数６】
である。
複数の経時的に変化する正規分布は、その経時的に変化する正規分布が捜索領域の背景または前景を表す確率に基づいて各ピクセルに対して最初に順序付けされる。複数の経時的に変化する正規分布２６４のそれぞれは前景または背景とラベリングされる。そのような順序付け、および背景２８０または前景２８２でのラベリングは、全体的に図１２Ａに示され、以下で更新周期段階２５８に関して詳述される。
【０１０４】
文献で報告されている他の使用できる方法は、ランダムに、またはＫ平均アルゴリズムによってピクセル分布を初期化する。しかし、ランダムな初期化は、動的混合モデル更新段階での学習を遅らせることがあり、不安定さの原因とさえなる場合がある。Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎ著、「ＥＭアルゴリズム（吟味した）を経た不完全データからの最尤度（Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ ｉｎｃoｍｐｌｅｔｅ ｄａｔａ ｖｉａ ｔｈｅ ＥＭ ａｌｇｏｒｉｔｈｍ（ｗｉｔｈ ｄｉｓｃｕｓｓｉｏｎ））」、Ｊｏｕｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｂ、第３９巻、１〜３８頁（１９７７年）に記載のＫ平均または期待値−最大化（ＥＭ）法による初期化からはよりよい結果が得られる。ＥＭアルゴリズムは、計算集約的でありオフラインの初期化プロセスには約１分が掛かる。人間と車両の交通量が少ない上記の説明のための駐車場の応用例では、短期間のオフライン間隔は問題ではない。ＥＭ初期化アルゴリズムは、天候条件が動的な場合（例えば、速く移動する雲）はより有効に機能することができるが、監督下にあるエリアが往来の激しいオープンスペース（多くの移動する人間と車両）の場合はオンラインによるＫ平均初期化が好ましい場合がある。
【０１０５】
各ピクセルに対する初期の混合モデルは、初期化段階２５０の後で動的に更新される。更新機構は、更新画像データまたは着信証拠（例えば、更新ピクセル値データを提供する新しいカメラフレーム）の提示に基づいている（ブロック２５６）。セグメント化プロセスのいくつかの構成要素は、更新周期段階２５８の更新周期中に変更または更新される場合がある。例えば、いくつかの分布の形式を変更することができる（例えば、変更重み付けπｉ、変更平均μｉ、および／または変更分散σ２ ｉ）。いくつかの前景状態は背景に戻ることができ、またその反対も可能である。さらに、例えば、既存の分布の１つは破棄され、新しい分布がこれに取って代わることができる。
【０１０６】
どの時点でも、最強の証拠を有する分布は、ピクセルの最も確率の高い背景状態を表すものと見なされる。図１１は法線混合モデルを視覚化したものであり、図１０は混合モデルの更新機構を示している。図１１は、複数時点（ｔ０〜ｔ２）で簡約化のために一色だけで表示される複数の法線２６４を示している。画像２６６、２６８、および２７０のピクセル２６３に対して図示するように、より強力な証拠による分布、すなわち分布２７１は、画像２６６では夜間、画像２６８では昼間の道路であるピクセルを示している。しかし、ピクセル２６３が画像２７０に示すように移動中の自動車２６７を表す場合、ピクセル２６３は遥かに弱い分布２７３によって表される。
【０１０７】
図９にさらに示すように、各ピクセルに対する更新周期２５８は以下のように進み、そのピクセルが背景か前景かを決定することを含む（ブロック２６０）。第１に、アルゴリズムは、ピクセルに対する少なくとも更新ピクセル値データに基づいて各ピクセルに対して経時的に変化する正規分布とそれらのパラメータとの混合を更新する（ブロック２５７）。更新の性質は、照合オペレーションおよび／またはピクセル値データの結果に基づくことができる。
【０１０８】
例えば、更新ピクセル値に対して狭い分布を生成することができ、その狭い分布をそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合することを試みることができる。一致が見られると、以下で詳述する積率法を使用して更新を実行することができる。さらに、例えば、一致が見られない場合、最も弱い分布を新しい分布で置き換えることができる。以下で詳述するように前景セットに新しい分布が含まれることを保証するために更新プロセスのこの種の置き換えを使用することができる。
【０１０９】
その後、ピクセルごとに更新された複数の正規分布が、分布が前景または背景ピクセルデータである確率を示すそれらの重み付け値に基づいて降順などに再度順序付けられ、ラベリングされる（ブロック２５９）。次いでそれぞれのピクセルの状態は、更新され照合された分布（例えば、それぞれの更新ピクセル値を表す狭い分布によって照合された分布）が前景とラベリングさているか、背景とラベリングされているか、更新された分布が前景を表す新しい分布を含むか否か（例えば、一致しないために生成された新しい分布）など、順序付けられ、ラベリングされて更新された分布に基づいて前景または背景の状態とすることができる（ブロック２６０）。
【０１１０】
更新周期の順序付けプロセスの一実施形態では（ブロック２５９）、順序付けアルゴリズムが、割り当てられた重み付けに基づいて複数の正規分布を順序付ける。例えば、順序付けアルゴリズムは、証拠７の事前定義された断片に相当する複数の経時的に変化する正規分布の最初のＢ分布を選択する。
【０１１１】
【数７】
上式で、ｗｊ，ｉ＝１，．．．，ｂは分布の重み付けを表している。これらのＢ分布は、すなわち背景分布とラベリングされているものと見なされ、残りの５−Ｂ分布は、すなわち前景分布とラベリングされているものと見なされる。例えば、順序付けられた分布２５４を図１２Ａに示す。分布２８０は背景分布であり、分布２８２は前景分布である。
【０１１３】
すなわち、更新周期段階２５８の更新周期中、更新周期に捜索領域の各ピクセルに対して更新ピクセル値データが受け取られると、それぞれのピクセルに対する更新ピクセル値を考慮する更新されて再度順序付けられた複数の経時的に変化する正規分布に基づいてそのピクセルが背景か前景かが決定される。例えば、アルゴリズムは、評価中のピクセルに対して着信ピクセル値を、既存の正規分布のどれかに属するものとする、すなわち一致させることができるか否かをチェックすることが好ましい。例えば、使用される一致基準は、以下で詳述するＪｅｆｆｒｅｙｓ（Ｊ）発散測度であってよい。このような評価がピクセルごとに実行される。その後、アルゴリズムは経時的に変化する正規分布と各ピクセルに対するそれらのパラメータの混合を更新し、更新された経時的に変化する正規分布の混合は再度順序付けられ、ラベリングされる。次いで、ピクセルは、この再度順序付けられ、ラベリングされた混合に基づいて前景状態か背景状態とされる。
【０１１４】
更新周期段階２５８の一実施形態を図１３にさらに示す。更新ピクセル値データは、捜索領域を表す複数のピクセルのそれぞれに対する更新周期で受け取られる（ブロック３００）。狭い分布などの分布が更新ピクセル値を表す各ピクセルに対して作成される（ブロック３０２）。
【０１１５】
その後、この発散が、１つのピクセルに対する更新ピクセル値を表す狭い分布と、それぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で計算される（ブロック３０４）。それぞれのピクセルに対する複数の経時的に変化する正規分布は、図１４を参照して以下で詳述する照合オペレーションに基づく方法で更新される（ブロック３０５）。例えば、照合オペレーションは、狭い分布とそれぞれのピクセルに対する複数の経時的に変化する正規分布のすべての個々の間で発散測定のすべてが計算された後で、狭い分布に対して最小の発散を有する経時的に変化する正規分布を求めて実行される。
【０１１６】
この場合、それぞれのピクセルに対する更新された複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序付けられ、ラベリングされる（ブロック３０６）。それぞれのピクセルの状態は、ブロック２６０を参照して上述したように再度順序付けられ、ラベリングされて更新された分布（ブロック３０７）に基づいて前景または背景とされる。
【０１１７】
所望のピクセルのそれぞれは、決定ブロック３０８によって全体的に示された上記の方法で処理される。すべてのピクセルが一度処理されると、背景および／または前景をユーザに表示することができ（ブロック３１０）、または追跡、脅威評価など、本明細書で詳述するように使用することができる。
【０１１８】
図１３に全体的に示される更新ブロック３０５の照合オペレーションおよび更新周期段階２５８の他の部分は、図１２Ａ〜１２Ｂと図１４を参照して以下の節で説明するように各ピクセルに対して以下の方法で実施することができる。
【０１１９】
照合オペレーション
このプロセスは、１つのピクセルに対して更新ピクセル値を表す狭い分布を、評価中のピクセルに対する複数の経時的に変化する正規分布のすべてのそれぞれと照合する試みを含む（ブロック３０１）。着信データ点が既存の５つの分布の１つに属するか否か（すなわち、一致するか否か）を決定するために、Ｈ．Ｊｅｆｆｒｅｙｓ著、「確率の理論（Ｔｈｅｏｒｙ ｏｆ Ｐｒｏｂａｂｉｌｉｔｙ）」Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、イギリス、オックスフォード１９４８年に記載のＪｅｆｆｒｅｙｓ発散測度Ｊ（ｆ，ｇ）が使用される。
【０１２０】
Ｊｅｆｆｒｅｙｓ数値測度は、更新ピクセル値を表す狭い分布など、１つの分布（ｇ）が、複数の経時的に変化する正規分布の１つなど、他の（ｆ）によって表される母集団から導かれた可能性のなさである。Ｊｅｆｆｒｅｙｓ発散測度の理論的特性は、Ｊ．Ｌｉｎ著、「シャノン・エントロピーに基づく発散測度（Ｄｉｖｅｒｇｅｎｃｅ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｈａｎｎｏｎ ｅｎｔｒｏｐｙ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ、第３７巻、第１号、１４５〜１５１頁（１９９１年）に記載されており、簡約化のため本明細書では詳述しない。
【０１２１】
一実施形態によれば、ｆｉ〜Ｎ３（μｉ，σ２ ｉＩ），ｉ＝１，．．．，５という５つの既存の正規分布が使用される。しかし、既に指摘したように５より多くても少なくても適切な場合がある。Ｊ（ｆ．ｇ）がデータ点ではなく分布を示すものなので、着信データ点２８１は、上述し、図１２Ａに示した狭い分布など、分布２８４に関連付けられる必要がある。着信分布はｇ〜Ｎ３（μｇ，σ２ ｇＩ）のように構築される。それは次のように仮定される。
μｇ-＝ｘｔ および σ２ ｇ＝２５
上式で、ｘｔは着信データ点である。σ２ ｇ＝２５の選択は、小さい時間窓での連続的なピクセル値の典型的な拡散に関する実験的観察の結果である。ｇとｆｉ，ｉ＝１，．．．，５の間の５つの発散測度は次の公式によって計算される。
【０１２２】
【数８】
５つの発散測度が一度計算されると、分布ｆｊ（１≦ｊ≦５）を見つけることができる。これは、
【０１２４】
【数９】
であり、ｆｊとｇの間の一致は、
【０１２６】
【数１０】
の場合にのみ行われる。上式で、Ｋ＊は事前に指示した切り捨て値である。Ｊ（ｆｊ，ｇ）＞Ｋ＊の場合、着信分布ｇは既存の分布のどれとも一致する可能性はない。
【０１２８】
相違点がすべての使用可能な分布に対して測定されることに特に留意されたい。Ｓｔａｕｆｆｅｒ他のような他の方法は、特定順序で既存の分布に対して相違点を測定する。特定状況の満足度に基づいて、Ｓｔａｕｆｆｅｒ他のプロセスは、５つすべての測定値が取られて、比較される前に停止することができる。これは、異なるタイプの天候など、特定状況下でのセグメンターの性能を弱める可能性がある。
【０１２９】
上記に鑑みて、狭い分布（ｇ）がピクセルに対する複数の経時的に変化する正規分布の１つと一致するか否かが決定される（ブロック３０３）。
【０１３０】
一致が見られた場合に実行されるプロセス
着信分布が既存の分布の１つと一致する場合、以下に記載する積率法を使用して、新しくプールされた正規分布を形成するために着信分布および一致した既存の分布を共にプールすることによって複数の正規分布が更新される（ブロック３０５Ａ）。新しくプールされた分布を含む複数の経時的に変化する正規分布は、ブロック２５９を参照して上述したように再度順序づけられ、前景または背景分布とラベリングされる（ブロック３０６Ａ）。プールされた分布は、評価中ピクセルの現在の状態を表すものと見なされ、したがってピクセルの状態は、再度順序付けられた分布リストのプールされた分布の位置に応じて背景または前景とされる（ブロック３０７Ａ）。
【０１３１】
例えば、図１２Ａに示すように、狭い分布２８４が分布と一致すると仮定し、複数の経時的に変化する正規分布の更新と、それに続く再順序付け／ラベリングのプロセスの後で、一致の結果プールされた分布が分布２８０である場合、点２８１によって表される着信ピクセルは背景とラベリングされる。同様に、一致の結果プールされた分布が分布２８２である場合、点２８１によって表される着信ピクセルは、移動対象物を表す可能性があるなど、前景とラベリングされる。
【０１３２】
一実施形態では、積率法を使用して新しくプールされた分布が生成されるなど、正規分布の混合のパラメータが更新される（ブロック３０５Ａ）。第１に、既存の分布重み付けに重み付けするある学習パラメータαが採用される。したがって、５つの既存の重み付けのそれぞれから１００α％重み付けが引かれ、１００α％が着信分布の（すなわち、狭い分布の）重み付けに加えられる。すなわち、
【０１３３】
【数１１】
なので、着信分布は重み付けαを有し、５つの既存の分布は重み付け、πｊ（１−α），ｊ＝１，．．．，５を有する。
【０１３５】
明らかに、αは０＜α＜１の範囲内にある。αの選択は、主としてＫ＊の選択に依存する。この２つの数量は逆関係にある。Ｋ＊の値が小さいほど、αの値は高くなり、またこの逆の場合も同様である。Ｋ＊とαの値も監視エリア内の雑音量に影響を受ける。したがって、例えば、屋外領域が監視されており、環境条件（すなわち、雨、雪など）による雑音が多い場合、高いＫ＊値、すなわち「低い」α値が要求される。これは、分布の１つとの不一致が背景雑音によって引き起こされる可能性が非常に大きいからである。一方、雑音がほとんど存在しない屋内領域が監視されている場合、好適には「低い」Ｋ＊値、すなわち「より高い」α値が要求される。何故ならば、既存の５つの分布の１つとの一致が達成されない時はいつでも、この不一致が何らかの前景の動きによって発生する可能性が非常に大きいからである（背景にはほとんど雑音がないので）。
【０１３６】
１≦ｊ≦５として、新しい分布ｇと既存の分布ｆｊの１つとの間で照合が行われる場合、混合モデルの重み付けは次のように更新される。
【０１３７】
【数１２】
平均ベクトルとその分散も更新される。ｗ１が（１−α）πｊ，ｔ−１（すなわち、ｗ１は、新しい分布ｇと一致した分布をプールする前の照合の勝者であるｆ番目の成分の重み付けである）であり、ｗ２＝プールされた分布の重み付けであるαである場合、因数（ｐ）は次のように定義される。
【０１３９】
【数１３】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎおよびＫ．Ｅ．Ｂａｓｆｏｒｄ著、「クラスタリングに対する混合モデル推論および応用（Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ Ｉｎｆｅｒｅｎｃｅ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｃｌｕｓｔｅｒｉｎｇ）」、Ｍａｒｃｅｌ Ｄｅｋｋｅｒ、ニューヨーク州、ニューヨーク（１９８８年）に記載の積率法を使用すると、次の結果が得られる。
【０１４１】
【数１４】
ここで、他の４つ（不一致）の分布は、ｔ−１の時点で有したのと同じ平均値と分散とを維持する。
【０１４３】
一致が見られない場合に実行されるプロセス
一致が見られない場合（すなわち、ｍｉｎ１≦ｉ≦５Ｋ（ｆｊ，ｇ）＞Ｋ＊）、順序付けられたリストの最後の分布（すなわち、前景の状態を最もよく表している分布）を更新ピクセル値に基づく新しい分布で置き換える（ブロック３０５Ｂ）ことによって複数の正規分布が更新されるが、これはこのピクセルが前景の状態に関わっていることを保証する（例えば、それが前景にならなければならないように重み付けが分布に割り当てられる）。（例えば、ブロック２５９を参照して上述したように）新しい分布を含む複数の経時的に変化する正規分布が再度順序付けられて、前景を表す新しい分布でラベリングされ（ブロック３０６Ｂ）、ピクセルの状態は前景の状態とされる（ブロック３０７Ｂ）。
【０１４４】
順序付けられたリストの最後の分布に取って代わる新しい分布のパラメータは次のように計算される。平均ベクトルμ５は着信ピクセル値で置き換えられる。分散σ２ ５は分布リストの最小分散で置き換えられる。したがって、新しい分布の重み付けは次のように計算することができる。
【０１４５】
【数１５】
上式で、Ｔは背景閾値指標である。この計算により、現在のピクセルの状態を前景に分類することが保証される。残り４つの分布の重み付けは次の公式に従って更新される。
【０１４７】
【数１６】
上記の照合方式は少なくとも一部で使用される。何故ならば、Ｓｔａｕｆｆｅｒ他の著書で報告された法線混合モデリングによって実施されるこの方式は、湖水の蒸発が増加し、冷たい風が吹いたために雲が切れ切れになった環境の屋外で監視が行われ、様々な密度の細切れの雲が頻繁にカメラの視野を足早に横切るなどの多くの状況では適切でないからである。
【０１４９】
Ｓｔａｕｆｆｅｒ他の著書では、図１２Ｂに示すような混合モデルの分布は、ｗを重み付け、αを各分布の分散として、ｗ／αに従い常に降順に維持される。この場合、着信ピクセルは、リストの一番上から一番下に（矢印２８３参照のこと）順に順序付けられた分布に対して照合される。着信ピクセル値が分布の２．５標準偏差内にある場合、一致が宣言されてプロセスは停止する。
【０１５０】
しかし、例えば、この方法は、少なくとも次のシナリオでは脆弱である（例えば、ピクセル誤認）。着信ピクセル値が、例えば分布４に属する可能性が高いが、依然としてキューのそれ以前の分布（例えば、２）に対する２．５標準偏差の基準を満たしている場合、プロセスは正しい分布に達する前に停止し、一致には早すぎることが宣言される（図１２Ｂ参照のこと）。この照合に引き続き、不正分布を不当に支持するモデル更新が行われる。これらの累積的な誤りは、一定期間後にシステム性能に影響を与える危険性がある。１つの分布（例えば、２）が偶然背景であり、他（例えば、４）が前景である場合に、これは直接的で重大な影響を有することさえある可能性がある。
【０１５１】
例えば、上記のシナリオは、速く移動する雲によって始めることができる。Ｓｔａｕｆｆｅｒ他の著書では、新しい分布は、システムに導入される時、着信ピクセル値２８１を中心に配置され、最初に高い分散と小さい重み付けが与えられる。より多くの証拠が蓄積するにつれ、分布の分散は落ち、その重み付けは増加する。この結果、この分布は順序付けられた分布リストの中で上昇する。
【０１５２】
しかし、天候パターンは非常に活発なので、支持する証拠は頻繁にオンオフ切り換えされるため分布の分散は比較的高いまま維持される。この結果、分布が比較的拡散した混合モデルが生じる。この期間に特定の色の対象物が偶然に場面内で移動すると、複数の分布と僅かに一致することのできる着信ピクセル値がキューの一番上に生成され、したがってこれは背景であると解釈される。移動する雲はカメラの視野の広いエリアに影響を与えるので、処理後技法はそのような欠陥を解消するには一般に無効である。
【０１５３】
反対に、上記の本発明による好ましいセグメント化の方法は、順序付けられた分布リストの一番上から一番下まで着信ピクセル値を照合することは試みない。そうではなく、この方法は、着信データ点２８１を表す狭い分布２８４を作成することが好ましい。この場合、この方法は、着信した狭い分布２８４と混合モデルの「全」分布２８０、２８２との間の最小発散値を見つけることによって分布を照合するよう試みる。この方法で、着信データ点２８１が正確な分布と一致する機会は高まる。
【０１５４】
さらに、図３を参照すると、上記のように、背景からの前景ピクセルのオンラインセグメント化を実行するために統計手続きが使用され、前景は、人間および車両など、対象となる移動対象物に対応する可能性がある（ブロック１０６）。セグメント化に引き続き、対象となる移動対象物が追跡される（ブロック１０８）。すなわち、監視されている捜索領域で検出された１つまたは複数の移動対象物が辿った軌道または対象物経路を形成するために、図１５に説明的に示すような追跡方法が使用される。
【０１５５】
他の適切な追跡方法を使用することはできるが、追跡方法は、数群の相互に隣接する前景ピクセルなど、ブロブ（すなわち、数群の連結ピクセル）または捜索領域で検出された移動対象物に関する対象物トラックまたは対象物経路を提供する際に使用するために前景対象物に対応しても対応しなくてもよいそのブロブの中心トラック（ブロック１４０）の計算を含むことが好ましい。このようなブロブの中心トラックは、画像データの背景からセグメント化された前景ピクセルに連結成分解析アルゴリズムを適用後に形成することができる。
【０１５６】
例えば、標準８連結成分解析アルゴリズムを使用することができる。この連結成分アルゴリズムは、面積が一定数のピクセルよりも少ないブロブ、すなわち数群の連結ピクセルを除去する。通常は１エリア内のこのような少数ピクセルが前景対象物に対する雑音を表すので、このような除去が実行される。例えば、連結成分アルゴリズムは、α＝３×９＝２７ピクセルよりも面積の小さいブロブを除去する。例えば、２７ピクセルは撮像装置の視野の最少の対象となる最小対象物の最小ピクセルフットプリントであってよく、例えば２７ピクセルは人間のフットプリントであってよい。
【０１５７】
数群のピクセルなど、いくつかのブロブが捜索領域の前景対象物を表していると一度識別されると、複数のフレームの前景対象物として識別されるブロブの中心トラックを別個の軌道または対象物経路にグループ化するために使用されるアルゴリズムが提供される。前景対象物を表す識別されたブロブ中心トラックを別の軌道にグループ化するには、複数の仮説追跡（ＭＨＴ）アルゴリズム１４１を使用することが好ましい。
【０１５８】
ＭＨＴはマルチターゲット追跡アプリケーションへの好ましい方式と考えられるが、他の方法を使用することもできる。ＭＨＴは、入力データをトラックに正確に関連付ける確率を最大に高める帰納的なベイズの確率論的方法である。早期に特定のトラックを付けないので、他の追跡アルゴリズムが好ましい。このように早期にある経路またはトラックを付けることは誤りの原因となる場合がある。ＭＨＴは、十分な情報が収集され、処理された後でのみ入力データをトラックにグループ化する。
【０１５９】
この状況で、ＭＨＴは、前景対象物を表す識別されたブロブなど、入力データの関連付けに関する複数の候補仮説を、データの以前のフレームを使用して確立された対象物経路など、既存のトラックによって形成する（ブロック１４４）。ＭＨＴは、ひどい擾乱と高密度のトラフィックがある応用例には特に有益である。軌道が交差している難しいマルチターゲット追跡問題では、Ｓ．Ｓ．Ｂｌａｃｋｍａｎ著、「レーダーアプリケーションを備えた多重目標追跡（Ｍｕｌｔｉｐｌｅ−Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｒａｄａｒ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ａｒｔｅｃｈ Ｈｏｕｓｅ、マサチューセッツ州、ノーウッド（１９８６年）に記載の最近接（ＮＮ）相関および結合確率論的データ関連付け（ＪＰＤＡ）のような他の追跡方法とは対照的にＭＨＴは有効に機能する。
【０１６０】
図１５は、本発明による移動対象物を追跡するために使用されるＭＨＴアルゴリズム１４１のアーキテクチャの一実施形態を示している。いかなる追跡システムにおいても必須の部分は予測モジュールである（ブロック１４８）。予測は移動対象物の状態の推定値を提供し、カルマンフィルタとして実施されることが好ましい。カルマンフィルタの予測は、ターゲットの動力学と測定雑音に対する先験モデルに基づいて行われる。
【０１６１】
検証（ブロック１４２）は、入力データ（例えば、ブロブの中心トラック）と現在の軌道のセット（例えば、以前の画像データに基づくトラック）の間の関連付けに関する仮説（ブロック１４４）の生成に先行するプロセスである。検証（ブロック１４２）の関数は、発生する見込みのない関連付けを早期に除外し、したがって生成されるべき可能な仮説の数を限定することである。
【０１６２】
ＭＨＴアルゴリズム１４１の実施態様の中心となるのは、トラックの仮説の生成と表現である（ブロック１４４）。トラック、すなわち対象物経路は、識別されたブロブなど新しい測定値が、（１）既存のトラックに属し、（２）新しいトラックの出発点であり、（３）誤認警報または前景対象物であると誤って識別されている可能性があるという仮定に基づいて生成される。仮定は、仮説構造に組み込まれる前に、検証プロセスによって検証される（ブロック１４２）。
【０１６３】
例えば、トラック仮説の完全なセットは、図１６の表１５０で示すように仮説行列によって表すことができる。表で表される仮設状態は、フレームｋ＝１およびｋ＋１＝２でそれぞれに作られた２と１の測定値の２つの走査セットに対応する。
【０１６４】
表に関する表記法は次のように分類することができる。測定値Ｚｊ（ｋ）はフレームｋに対してなされるｊ番目の観察（例えば、ブロブの中心トラック）である。さらに、誤認警報は０で示し、古いトラック（ＴｏｌｄＩＤ）から生成される新しいトラック（ＴｎｅｗＩＤ）の構成はＴｎｅｗＩＤ（ＴｏｌｄＩＤ）で示す。この表の最初の列は仮説の指標である。
【０１６５】
この典型的な状況では、走査１の間に合計４つの仮説が生成され、走査２の間にさらに８つの仮説が生成される。最後の列は、特定の仮説が含んでいるトラックを列挙する（例えば、仮説Ｈ８はトラックｎｏ．１とｎｏ．４を含んでいる）。仮説表の行のセルは、特定の測定値ｚｊ（ｋ）が属するトラックを示している（例えば、仮説Ｈ１０の下で、測定値ｚ１（２）はトラックｎｏ．５に属する）。
【０１６６】
仮説行列は、図１７に系統的に示すようなツリー構造１５２によって計算上表される。ツリーの分岐１５２は、本質的に、測定値とトラックの関連付けに関する仮説である。上記の典型的な状況から明らかなように、図１７の仮説ツリー１５２は測定値数に伴い指数関数的に増加させることができる。
【０１６７】
仮説の数を減らすために、異なる方策を適用することができる。例えば、第１の測定は、Ｄ．Ｂ．Ｒｅｉｄ著、「複数目標を追跡するためのアルゴリズム（Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｒａｃｋｉｎｇ ｍｕｌｔｉｐｌｅ ｔａｒｇｅｔｓ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｒｏｌ、第２４巻、８４３〜８５４頁（１９７９年）にあるように、仮説を互いに素な集合に集積することである。この意味で、同じ測定値に対して競合しないトラックは、互いに素な仮説ツリーに関連付けられた互いに素な集合を構成する。本発明者らの第２の方策は、仮説ツリーのすべての分岐に確率を割り当てることである。Ｎｈｙｐｏ最も高い確率を有する分岐の集合は考慮されるのみである。ＭＨＴアルゴリズムの様々な他の実施態様は、Ｉ．Ｊ．ＣｏｘおよびＳ．Ｌ．Ｈｉｎｇｏｒａｎｉ著、「アルゴリズムを追跡するリードの複数仮説の有効な実現および可視追跡のためのその評価（Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｒｅｉｄ’ｓ ｍｕｌｔｉｐｌｅ ｈｙｐｏｔｈｅｓｉｓ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ ｅｖａｌｕａｔｉｏｎ ｆｏｒ ｔｈｅ ｐｕｒｐｏｓｅ ｏｆ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、第１８巻、第２号、１３８〜１５０頁（１９９６年）に記載されている。
【０１６８】
コンピュータビジョンシステム２２を使用して対象物トラック、すなわち軌道を提供することにより、図２に示すような評価モジュール２４は、そのようなコンピュータビジョン情報を処理し、移動対象物が、脅威か脅威でないかなど、正常か異常かを決定するために提供することができる。評価モジュール２４を使用して実行される評価解析は、対象物トラックのピクセル座標を捜索領域のＣＡＤ描画による現実の座標系設定に変換後に実行することができる。したがって、移動対象物の評価目的に内容を提供するために捜索領域の周知の目標を使用することができる。例えば、駐車場に関するこのような目標には、一台一台の駐車場所、駐車場の外周、電柱、および並木を含めることができる。このような座標変換は、Ｏｐｔｉｃａｌ Ｒｅｓｅａｒｃｈ Ａｓｓｏｃｉａｔｅ（カリフォルニア州、パサディナ）社製のＣＯＤＥ Ｖソフトウェアアプリケーションのような光学計算パッケージを使用して達成することができる。しかし、評価解析を実行する他のアプリケーションはこのような設定を要求しない場合がある。
【０１６９】
図２に示される一実施形態では、評価モジュール２４は、フィーチャー・アセンブリ・モジュール４２と分類ステージ４８とを含む。評価モジュール２４は、図１８に示すような評価方法１６０を実行するために使用することが好ましい。
【０１７０】
上記のような評価方法１６０は、移動対象物のトラックが、目標を含む捜索領域の描画など、捜索領域の座標系に変換された後で使用することが好ましい（ブロック１６２）。さらに、正常な移動対象物および／または異常な移動対象物を特徴とする事前定義された特性モジュール５７が分類ステージ４８に提供される（ブロック１６４）。脅威分類ステージなど、分類状態４８は、正常な特性モジュール５８と異常な特性モジュール５９とを含む。
【０１７１】
本明細書で使用されるように、特徴モデルは、正常な対象物経路または異常な対象物経路の任意の特徴またはその関連情報であってよい。例えば、監視中の上空空間に飛行機が飛行する予定がない場合、ブロブの検出はその上空空間では異常であるなど、その上空空間に飛行機がいるという指摘は異常と見なすことができる。さらに、例えば、駐車場のある期間にブロブが検出される予定がない場合、この静かな期間中のある時点でブロブを検出することを特徴モデルとすることができる。明らかに認識できようが、特徴モデルのリストは数が多すぎて列挙できず、脅威の特徴モデルおよび／または脅威でない特徴モデルを包含するだけではなく、彫刻の前を通過する人数と鑑賞するために一定期間立ち止まっている人数を数えるためなど、特定位置の前を通過する対象物を数えるための特徴モデルのような様々な他のタイプの特徴モデルを含めることができる。
【０１７２】
評価モジュール２４のフィーチャー・アセンブリ・モジュール４２は、例えば、対象物経路を表す軌道情報、対象物経路に関して収集された情報（例えば、獲得時刻のような他のデータ）、または対象物経路の長さ（例えば、車両／歩行者当たりベース）のような対象物ベースに対する関連するより高レベルな特性など、コンピュータビジョンモジュール３２によって提供された軌道情報を使用して計算され、または収集される情報を含むことができる特性４３のような対象物経路情報を提供する（ブロック１６６）。すなわち、特性のような対象物経路データには、明確に限定はしないが、移動対象物軌道情報、対象物経路に関して収集される他の情報、対象物経路情報を使用して演算された計算済みの特性、もしくは捜索領域およびその中の移動対象物に関するいかなる他のパラメータ、特徴、または関連情報を含めることができる。
【０１７３】
計算済みの特性は、正常な移動対象物または異常な移動対象物に関する常識的な意見を取り込むようデザインすることができる。例えば、脅威の状況と脅威でない状況の決定に関して、特性は、無害の合法的な軌道および侵入者の周知のまたは仮定のパターンに関する常識的な意見を取り込むようデザインされる。
【０１７４】
一実施形態では、駐車場または脅威の事象（例えば、強盗）の評価が実行されるべき他の捜索領域のような捜索領域に対して計算された特性には、例えば次のものを含めることができる。
・サンプル点の数
・出発点（ｘ、ｙ）
・終了点（ｘ、ｙ）
・経路の長さ
・有効範囲とされる距離（直線）
・距離の比率（経路の長さ／有効範囲とされる距離）
・出発時刻（局所壁時計）
・終了時刻（局所壁時計）
・所要時間
・平均速度
・最高速度
・速度比（平均／最高）
・合計回転角度（ラジアン）
・平均回転角度
・「Ｍ」交差数
【０１７５】
特性の大部分は自明であるが、いくつかは明らかでない場合がある。いくつかの対象物経路の活動は、深夜および早朝など一日の特定の時間では自動的に推測がつくので、壁時計が適切である。
【０１７６】
回転角度および距離の比率の特性は、経路がどれだけ遠回りしたかという解釈を取り込む。例えば、駐車場など施設の合法的ユーザは、車線によって可能となる最も直接的な経路を辿る傾向がある（例えば、直接的な経路を図２０Ｂに示す）。反対に、「うろついている人間」はより蛇行した経路を取る可能性がある。図２０Ｂは、追跡中の脅威でない車両の経路４１８が示された駐車場４１２という脅威でない状況４１０を示している。
【０１７７】
「Ｍ」交差特性は、自動車のドアをよく確認し、または施錠確認するために反復的にループしながら（例えば、２回のループは「Ｍ」字型をとる）、車線に沿って駐車場の複数の区画を系統的に確認するために自動車泥棒の周知の傾向の監視を試みる。これは、駐車場の複数の区画に対して複数の基準線を維持し、複数の区画への出入り回数を数えることによって監視することができる。歩行者の「Ｍ」字型の横断が図２０Ａに示すように捕らえられている。図２０Ａは、脅威の人物経路４０４が示された駐車場４０２という脅威の状況４００を具体的に示している。
【０１７８】
提供された特性（例えば、対象物トラックに関連付けられた特性）は、分類子ステージの正常な移動対象物と異常な移動対象物を特徴とする事前定義された特徴モデル５７と比較することなどによって評価される（ブロック１６８）。移動対象物が正常であるか異常であるかが、フィーチャー・アセンブリ・モジュール４２によって１つまたは複数の対象物経路に対して計算された特性４３と、分類ステージ４８でアクセス可能な（例えば、記憶された）事前定義された特徴モデル５７との間の比較に基づいて決定される（ブロック１７０）。さらに、例えば、対象物経路が脅威であると識別されると、警報６０をユーザに提供することができる。無音、可聴、ビデオなど、いかなるタイプの警報でも使用することができる。
【０１７９】
常識および、例えばユーザがグラフィカルユーザインターフェースで定義した周知の正常な特徴と異常な特徴によって特徴付けられる事前定義された特徴モデル５７に加えて、さらなる特徴モデルを提供するための訓練モジュール４４が提供される。訓練モジュール４４はオンラインでもオフラインでも使用することができる。
【０１８０】
一般に、訓練モジュール４４は、一定期間に亘って特定捜索領域について記録された対象物経路に対するフィーチャー・アセンブリ・モジュール４２の出力を受け取る。対象物経路軌道、および対象物経路に関する計算された情報を含む関連情報（図面では総合してラベリングされたケースと称される）など、このような特性は、データベース構造を使用して収集し、かつ／または編成することができる。次いで、分類ステージ４８での潜在的な使用のためにそのようなデータベース特性に基づいて１つまたは複数の正常な特徴モデルおよび／または異常な特徴モデルを生成するために訓練モジュール４４が使用される。
【０１８１】
そのような訓練モジュール４４とそれに関連付けられたプロセスの説明的な一実施形態を、図１９を参照して説明する。一般に、トレーニングプロセス３５０は、特徴モデル開発モジュール５４によって、定義された特徴モデルなど、対象物の挙動のより明確な説明を生成する際に役立つクラスタ化アルゴリズム５２を提供する。例えば、トレーニングプロセスのために使用されるトレーニングデータには、明確に限定はしないが、ラベリングされた軌道５０および対応する特性ベクトルが含まれる。このようなデータは、Ｗ．Ｂｕｎｔｉｎｅ著、「分類ツリーを学習する（Ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｒｅｅｓ）」、Ｓｔａｔｉｓｔｉｃｓ ａｎｄ Ｃｏｍｐｕｔｉｎｇ、第２巻、第２号、６３〜７３頁（１９９２年）に基づくアルゴリズムのような分類ツリー誘導アルゴリズムによって一緒に処理することができる。
【０１８２】
より具体的には、図１９を参照して説明したように、長期に亘る１つまたは複数の移動対象物を表す対象物経路とそのような対象物経路に関連する計算された特性が得られる（ブロック３５２）。例えば、このような対象物経路とそれに関連する計算された特性は、数週間、数ヶ月などに亘って得られる。
【０１８３】
対象物経路と関連する計算された特性は、そのような情報の特定の特徴に基づいてグループ化される（ブロック３５４）。このような対象物トラックは複数のクラスタに分類される。例えば、特定レベルの迂遠性を有する対象物経路を１つのクラスタにグループ化することができ、所定の長さより長い対象物経路を１つのクラスタにグループ化することができる、などである。すなわち、特定の特徴に基づく共通性を有する対象物経路が同じグループにグループ化される（ブロック３５４）。
【０１８４】
次いでそれらのクラスタが比較的大きなクラスタか比較的小さなクラスタかを決定するために、これらのクラスタが解析される。すなわち、これらのクラスタは、それが含んでいる対象物トラックの数に基づいてある程度順序付けられ、大きいか小さいかが判断される。一般に、大きなクラスタは、小さなクラスタと比較して、そこにグループ化された対象物トラックの数が特に多く、比較的正常な対象物トラックであると識別することができる（ブロック３５８）。すなわち、移動対象物が一般的に特定期間に亘り何度も同じ経路をとる場合、その移動対象物に対応する対象物経路は、脅威でない移動対象物を表す対象物経路など、一般的に正常な経路である。次いで対象物経路またはそれに関連付けられた特性は、脅威分類ステージにおいてなど、後で対象物トラックを正常か異常か識別するために事前定義された特徴モデルの一部として使用される（ブロック３６０）。すなわち、大きなクラスタに基づいて分類ステージ４８に含めるために新しい特徴モデルを定義することができる。
【０１８５】
単一対象物トラックを含むことができる比較的小さなクラスタの対象物経路を解析する必要がある（ブロック３６２）。このような解析は、比較的小さなクラスタの対象物トラックまたは単一対象物トラックが、脅威であるなど、異常であるか否かを人間が判断するためにグラフィカルユーザインターフェースによって対象物経路を再検討するシステムのユーザによって実行することができる（ブロック３６４）。
【０１８６】
小さいクラスタの１つまたは複数の対象物トラックが異常である場合、分類ステージ４８で特徴モデルとして使用されるなど、異常な対象物経路を識別するために特性を事前定義された特徴モデルの一部として使用することができる（ブロック３６６）。しかし、１つまたは複数の対象物経路が、そのような対象物経路の他の出現と同時発生せず、もしくはそのような対象物経路がほとんどなく、単なる正常な出現であると判断された場合、解析中のその１つまたは複数の対象物経路を無視することができる（ブロック３６８）。
【０１８７】
そのような対象物トラックがどのようにして生成されたかと関係なく、移動対象物に関して正常な対象物トラックと異常な対象物トラックを識別するためにクラスタ化方法を使用することができる。例えば、図２に示すように、そのような対象物トラックは、複数の撮像装置３０から情報を受け取るコンピュータビジョンモジュール３２によって提供される。しかし、レーダーシステムによって生成された対象物トラックは、訓練モジュール４４に関して説明されるように評価モジュール２４および／またはクラスタ解析ツールを使用して評価し、解析することもできる。
【０１８８】
本明細書で引用するすべての参照文献は、その全体をそれぞれが別個に組み込まれているように組み込まれる。以上、本発明を説明的な実施形態を参照して説明したが、これは限定的な意味で解釈されることを意図するものではない。説明的な実施形態に対する様々な修正形態、並びに本発明の追加の実施形態は、本明細書を参照すれば当業者には明らかになろう。
【図面の簡単な説明】
【０１８９】
【図１】本発明によるコンピュータビジョンシステムからの出力を使用するように動作可能なコンピュータビジョンシステムおよびアプリケーションモジュールを含む監視／検出システムの全体的なブロック図である。
【図２】本発明によるコンピュータビジョンシステムおよび評価モジュールを含む監視システムの全体的なブロック図である。
【図３】図２に全体的に示されたコンピュータビジョンシステムによって実行することができるコンピュータビジョン方法の説明的な一実施形態を一般化した流れ図である。
【図４】図３に全体的に示された光学システムデザインプロセスの説明的な一実施形態を示す流れ図である。
【図５】図３に全体的に示された光学システムデザインプロセスのさらに詳細な説明的一実施形態の流れ図である。
【図６】図５に全体的に示されたデザインプロセスを示す際に使用するための光学システム配置の説明図である。
【図７】図３のコンピュータビジョン方法の部分として全体的に示された画像融合方法の説明的な一実施形態の流れ図である。
【図８】図７に全体的に示された画像融合方法を説明する際に使用する図である。
【図９】図３のコンピュータビジョン方法の部分として全体的に示されたセグメント化プロセスの説明的な一実施形態の流れ図である。
【図１０】図９に示されたセグメント化プロセスを説明する際に使用する略図である。
【図１１】本発明による、図９を参照して説明されるピクセルに対する複数の経時的に変化する正常な分布を示す図である。
【図１２Ａ】本発明による、図９を参照して説明される、複数の経時的に変化する正常な分布の順序付けと、更新データを複数の経時的に変化する正常な分布に照合することを示す図である。
【図１２Ｂ】更新データを複数の経時的に変化する正常な分布に照合する従来技術による方法を示す図である。
【図１３】図９に示されたセグメント化プロセスの更新周期の一実施形態を示す流れ図である。
【図１４】図１３に示された更新周期の一部の説明的な一実施形態のさらに詳細な流れ図である。
【図１５】図３に全体的に示された移動対象物追跡の説明的な一実施形態を示すブロック図である。
【図１６】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１７】本発明による好ましい追跡方法を説明する際に使用するための図面である。
【図１８】図２に示された監視システムの評価モジュールによる図２に全体的に示された評価方法のさらに詳細な説明的一実施形態を示す流れ図である。
【図１９】図１８に全体的に示された評価方法を支援するために使用することができるクラスタ化プロセスの説明的な一実施形態を示す流れ図である。
【図２０】図２０Ａは、本発明により表示することができる図面で脅威の対象物経路を示す図である。図２０Ｂは、本発明により表示することができる図面で脅威でない対象物経路を示す図である。
Claims (25)
- 捜索領域の監視に使用するための方法において、
前記捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するステップと、
移動対象物の正常または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供するステップと、
前記対象物経路データを、少なくとも１つの対象物経路が正常か異常かを決定する際に使用するための前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するステップと
を含む方法。 - 正常または異常な対象物経路に関する前記１つまたは複数の特徴の少なくとも１つがその軌道を含む、請求項１に記載の方法。
- 前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルは、正常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルを含み、前記少なくとも１つの対象物経路が正常か否かを決定するために前記対象物経路データが前記１つまたは複数の定義された正常な対象物経路特徴モデルと比較され、さらに、前記少なくとも１つの対象物経路が正常でない場合に警報を提供するステップをさらに含む、請求項１に記載の方法。
- １つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供するステップが、脅威の、および／または脅威でない対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを含み、
前記対象物経路データを前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較するステップが、対象物経路データを、前記少なくとも１つの対象物経路が脅威の事象の出現を示すか否かを決定する際に使用するための前記１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルと比較するステップを含む、請求項１に記載の方法。 - 移動対象物の正常な、または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供するステップが、
ある期間に亘って前記捜索領域で複数の移動対象物に対応する複数の対象物経路を表す対象物経路データを提供するステップと、
前記複数の対象物経路を、その１つまたは複数の特徴の共通性に基づいて１つまたは複数のクラスタにグループ化するステップと、
前記１つまたは複数のクラスタを、前記捜索領域の移動対象物の正常な対象物経路を表す複数の対象物経路を含む正常な対象物経路クラスタか、もしくは単一対象物経路または前記正常な対象物経路クラスタの対象物経路数よりも少ない数の対象物経路を含むクラスタであると識別するステップと、
を含む請求項１に記載の方法。 - 移動対象物の正常な、または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを提供するステップが、１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを定義するために、単一対象物経路または前記正常な対象物経路クラスタより少ない数の対象物経路を含むクラスタの対象物経路を表す対象物経路データを使用するステップを含む、請求項５に記載の方法。
- 前記１つまたは複数のクラスタを、正常な対象物経路クラスタか、もしくは単一対象物経路または前記正常な対象物経路クラスタよりも少ない数の対象物経路を含むクラスタであると識別するステップが、前記１つまたは複数のクラスタを、前記捜索領域の移動対象物の脅威でない対象物経路を表す複数の対象物経路を含む脅威でない対象物経路クラスタか、もしくは単一対象物経路または前記脅威でない対象物経路クラスタより少ない数の対象物経路を含むクラスタであると識別するステップを含む方法であって、単一対象物経路または比較的少数の対象物経路を含む前記クラスタのどれかが、対象物経路が脅威の事象の出現を示すか否かを決定する際に使用するための１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを定義するために使用されるべきか否かを決定するステップをさらに含む、請求項５に記載の方法。
- 前記移動対象物が人間または車両の１つである、請求項１に記載の方法。
- 定義された捜索領域全体を有効範囲とするために複数の撮像装置を設置するステップと、各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、
前記複数の撮像装置のすべての画像データを単一画像に融合するステップと、
前記融合された画像データの背景情報から前記融合された画像データの前景情報をセグメント化するステップと、
前記捜索領域の１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するために前記前景情報を使用するステップと、
をさらに含む請求項１に記載の方法。 - 前記捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するステップは、
前記捜索領域で追跡される少なくとも１つの対象物経路を提供するステップと、
前記少なくとも１つの対象物経路に関する１つまたは複数の特性を計算するステップと
を含む、請求項１に記載の方法。 - 捜索領域の監視における使用のためのシステムにおいて、
前記捜索領域における１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを認識し、
移動対象物の正常な、または異常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを認識し、
前記対象物経路データを、前記少なくとも１つの対象物経路が正常か異常かを決定する際に使用するための前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルと比較する、
ように動作可能なコンピュータ装置を含むシステム。 - 正常な、または異常な対象物経路に関する前記１つまたは複数の特徴の少なくとも１つがその軌道を含む、請求項１１に記載のシステム。
- 前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルが、正常な対象物経路に関する１つまたは複数の特徴に基づく１つまたは複数の定義された正常な対象物経路特徴モデルを含み、前記コンピュータ装置が、前記対象物経路データを、前記少なくとも１つの対象物経路が正常か否かを決定するために前記１つまたは複数の定義された正常な対象物経路特徴モデルと比較するようさらに動作可能であり、さらに前記システムが、前記少なくとも１つの対象物経路が正常でない場合に警報を提供するよう動作可能な警報装置を含む、請求項１１に記載のシステム。
- 前記１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルが、脅威の対象物経路に関する１つまたは複数の特徴に基づき１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを含み、さらに前記コンピュータ装置は、対象物経路データを、前記少なくとも１つの対象物経路が脅威の事象の出現を示すか否かを決定する際に使用するための前記１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルと比較するよう動作可能である、請求項１１に記載のシステム。
- 前記コンピュータ装置は、
ある期間に亘って前記捜索領域において複数の移動対象物に対応する複数の対象物経路を表す対象物経路データを提供し、
前記複数の対象物経路を、その１つまたは複数の特徴の共通性に基づいて１つまたは複数のクラスタにグループ化し、
前記１つまたは複数のクラスタを、前記捜索領域の移動対象物の正常な対象物経路を表す複数の対象物経路を含む正常な対象物経路クラスタか、もしくは単一対象物経路または前記正常な対象物経路クラスタの対象物経路数よりも少ない数の対象物経路を含むクラスタであると識別する、
ようさらに動作可能である、請求項１４に記載のシステム。 - 前記コンピュータ装置は、１つまたは複数の定義された正常な対象物経路特徴モデルおよび／または異常な対象物経路特徴モデルを定義するために、単一対象物経路を含むクラスタか、または前記正常な対象物経路クラスタの対象物経路よりも少ない数の対象物経路を含むクラスタの対象物経路を表す対象物経路データを使用するようさらに動作可能である、請求項１５に記載のシステム。
- 前記コンピュータ装置は、前記１つまたは複数のクラスタを、前記捜索領域の移動対象物の脅威でない対象物経路を表す複数の対象物経路を含む脅威でない対象物経路クラスタか、もしくは単一対象物経路または前記脅威でない対象物経路クラスタの対象物経路数よりも少ない数の対象物経路を含むクラスタであると識別するようさらに動作可能であり、さらに前記コンピュータ装置は、単一対象物経路または前記脅威でない対象物経路クラスタの対象物経路数よりも少ない数の対象物経路を含むクラスタのどれかが、対象物経路が脅威の事象の出現を示すか否かを決定する際に使用するための１つまたは複数の定義された脅威の対象物経路特徴モデルおよび／または脅威でない対象物経路特徴モデルを定義するために使用されるべきか否かを決定するよう動作可能である、請求項１５に記載のシステム。
- 定義された捜索領域全体を有効範囲とするための複数の撮像装置であって、各撮像装置の各視野が別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含む複数の撮像装置をさらに含み、
前記コンピュータ装置は、
前記複数の撮像装置の画像データを単一画像に融合し、
前記融合された画像データの背景情報から前記融合された画像データの前景情報をセグメント化し、
前記捜索領域の１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するために前記前景情報を使用する、
ように動作可能である、請求項１１に記載のシステム。 - 前記コンピュータ装置は、前記捜索領域において追跡されている少なくとも１つの対象物経路を認識し、前記少なくとも１つの対象物経路に関する１つまたは複数の特性を計算するよう動作可能である、請求項１１に記載のシステム。
- 捜索領域の１つまたは複数の移動対象物経路を解析する際に使用するコンピュータによって実現される方法において、
ある期間に亘って前記捜索領域において複数の移動対象物に対応する複数の対象物経路を表す対象物経路データを提供するステップと、
前記複数の対象物経路を、その１つまたは複数の特徴の共通性に基づいて１つまたは複数のクラスタにグループ化するステップと、
前記１つまたは複数のクラスタのそれぞれを、複数の対象物経路を含む正常な対象物経路クラスタか、もしくは単一対象物経路または前記正常な対象物経路クラスタの対象物経路数よりも少数の対象物経路を含む小クラスタであると識別するステップと、前記正常な対象物経路クラスタの各前記対象物経路は、前記捜索領域の移動対象物の正常な対象物経路を表す、
を含む方法。 - 前記１つまたは複数のクラスタのそれぞれを、正常な対象物経路クラスタかまたは小クラスタであると識別するステップは、前記１つまたは複数のクラスタを、複数の脅威でない対象物経路を含む脅威でない対象物経路クラスタか、もしくは単一対象物経路または前記脅威でない対象物経路クラスタの対象物経路よりも少ない数の対象物経路を含む潜在的な脅威の対象物経路クラスタであると識別するステップを含み、前記脅威でない対象物経路クラスタの前記対象物経路のそれぞれが脅威の事象を示さない移動対象物の対象物経路を表す、請求項２０に記載の方法。
- 前記対象物経路は脅威の事象の出現を示すか否かを決定するために前記潜在的な脅威の対象物経路クラスタの前記対象物経路のそれぞれを解析するステップを含む、請求項２１に記載の方法。
- 正常な、および／または異常な対象物経路を示す少なくとも１つの特徴モデルを定義するために前記識別された正常な対象物経路クラスタまたは前記小クラスタの前記１つまたは複数の対象物経路に関する情報を使用するステップと、
移動対象物の少なくとも１つの対象物経路を表す追加の対象物経路データを獲得するステップと、
前記追加の対象物経路データを、前記少なくとも１つの対象物経路が正常か異常かを決定するために前記少なくとも１つの定義された特徴モデルと比較するステップと
を含む、請求項２０に記載の方法。 - 捜索領域の移動対象物を監視する方法において、
定義された捜索領域を有効範囲とする画像データを提供するために複数の撮像装置を設置するステップと、各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、
前記複数の撮像装置のすべての前記画像データを単一画像に融合するステップと、
前記融合された画像データの背景情報から前記融合された画像データの前景情報をセグメント化するステップと、
前記捜索領域の１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するために前記前景情報を使用するステップと、
前記捜索領域の移動対象物の脅威ではない、および／または脅威の対象物経路に関する１つまたは複数の特徴に基づいて１つまたは複数の定義された脅威でない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルを提供するステップと、
前記対象物経路データを、前記少なくとも１つの対象物経路が脅威の事象を示すか否かを決定する際に使用するための前記１つまたは複数の定義された脅威でない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルと比較するステップと、
を含む方法。 - 捜索領域の移動対象物の監視における使用ためのシステムにおいて、
定義された捜索領域を有効範囲とする画像データを提供するために設置された複数の撮像装置と、各撮像装置の各視野は、別の撮像装置の少なくとも１つの他の視野とオーバーラップする視野部分を含み、
前記複数の撮像装置のすべての前記画像データを単一画像に融合する手段と、
前記融合された画像データの背景情報から前記融合された画像データの前景情報をセグメント化する手段と、
前記捜索領域の１つまたは複数の移動対象物の少なくとも１つの対象物経路を表す対象物経路データを提供するために前記前景情報を使用する手段と、
前記捜索領域の移動対象物の脅威ではない、および／または脅威の対象物経路に関する１つまたは複数の特徴に基づいて１つまたは複数の定義された脅威ではない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルを認識する手段と、
前記対象物経路データを、前記少なくとも１つの対象物経路が脅威の事象を示すか否かを決定する際に使用するための前記１つまたは複数の定義された脅威ではない対象物経路特徴モデルおよび／または脅威の対象物経路特徴モデルと比較する手段と、
を含むシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US30202001P | 2001-06-29 | 2001-06-29 | |
| US10/034,761 US20030053659A1 (en) | 2001-06-29 | 2001-12-27 | Moving object assessment system and method |
| PCT/US2002/020367 WO2003003310A1 (en) | 2001-06-29 | 2002-06-28 | Moving object assessment system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004537790A true JP2004537790A (ja) | 2004-12-16 |
Family
ID=26711332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003509405A Pending JP2004537790A (ja) | 2001-06-29 | 2002-06-28 | 移動対象物評価システムおよび方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20030053659A1 (ja) |
| EP (1) | EP1410333A1 (ja) |
| JP (1) | JP2004537790A (ja) |
| WO (1) | WO2003003310A1 (ja) |
Families Citing this family (122)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8564661B2 (en) * | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US20050162515A1 (en) * | 2000-10-24 | 2005-07-28 | Objectvideo, Inc. | Video surveillance system |
| US9892606B2 (en) * | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US20050146605A1 (en) * | 2000-10-24 | 2005-07-07 | Lipton Alan J. | Video surveillance system employing video primitives |
| US7868912B2 (en) * | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US20050078747A1 (en) * | 2003-10-14 | 2005-04-14 | Honeywell International Inc. | Multi-stage moving object segmentation |
| US20050285941A1 (en) * | 2004-06-28 | 2005-12-29 | Haigh Karen Z | Monitoring devices |
| WO2007013885A2 (en) * | 2004-10-13 | 2007-02-01 | Sarnoff Corporation | Flexible layer tracking with weak online appearance model |
| US7706571B2 (en) * | 2004-10-13 | 2010-04-27 | Sarnoff Corporation | Flexible layer tracking with weak online appearance model |
| US7602942B2 (en) * | 2004-11-12 | 2009-10-13 | Honeywell International Inc. | Infrared and visible fusion face recognition system |
| US7469060B2 (en) * | 2004-11-12 | 2008-12-23 | Honeywell International Inc. | Infrared face detection and recognition system |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| GB0502371D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Identifying spurious regions in a video frame |
| US20060238616A1 (en) * | 2005-03-31 | 2006-10-26 | Honeywell International Inc. | Video image processing appliance manager |
| US7760908B2 (en) * | 2005-03-31 | 2010-07-20 | Honeywell International Inc. | Event packaged video sequence |
| US20060242156A1 (en) * | 2005-04-20 | 2006-10-26 | Bish Thomas W | Communication path management system |
| US7613322B2 (en) * | 2005-05-19 | 2009-11-03 | Objectvideo, Inc. | Periodic motion detection with applications to multi-grabbing |
| US9158975B2 (en) * | 2005-05-31 | 2015-10-13 | Avigilon Fortress Corporation | Video analytics for retail business process monitoring |
| US7720257B2 (en) * | 2005-06-16 | 2010-05-18 | Honeywell International Inc. | Object tracking system |
| US7526102B2 (en) * | 2005-09-13 | 2009-04-28 | Verificon Corporation | System and method for object tracking and activity analysis |
| US20070071404A1 (en) * | 2005-09-29 | 2007-03-29 | Honeywell International Inc. | Controlled video event presentation |
| US7806604B2 (en) * | 2005-10-20 | 2010-10-05 | Honeywell International Inc. | Face detection and tracking in a wide field of view |
| US7822227B2 (en) * | 2006-02-07 | 2010-10-26 | International Business Machines Corporation | Method and system for tracking images |
| US7930204B1 (en) | 2006-07-25 | 2011-04-19 | Videomining Corporation | Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store |
| US7974869B1 (en) | 2006-09-20 | 2011-07-05 | Videomining Corporation | Method and system for automatically measuring and forecasting the behavioral characterization of customers to help customize programming contents in a media network |
| US8019180B2 (en) * | 2006-10-31 | 2011-09-13 | Hewlett-Packard Development Company, L.P. | Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager |
| US8189926B2 (en) * | 2006-12-30 | 2012-05-29 | Videomining Corporation | Method and system for automatically analyzing categories in a physical space based on the visual characterization of people |
| US8665333B1 (en) * | 2007-01-30 | 2014-03-04 | Videomining Corporation | Method and system for optimizing the observation and annotation of complex human behavior from video sources |
| EP2119235A4 (en) * | 2007-02-02 | 2011-12-21 | Honeywell Int Inc | SYSTEMS AND METHODS FOR MANAGING LIVE VIDEO DATA |
| US8760519B2 (en) * | 2007-02-16 | 2014-06-24 | Panasonic Corporation | Threat-detection in a distributed multi-camera surveillance system |
| US8295597B1 (en) | 2007-03-14 | 2012-10-23 | Videomining Corporation | Method and system for segmenting people in a physical space based on automatic behavior analysis |
| US7957565B1 (en) | 2007-04-05 | 2011-06-07 | Videomining Corporation | Method and system for recognizing employees in a physical space based on automatic behavior analysis |
| US8379051B2 (en) * | 2007-08-22 | 2013-02-19 | The Boeing Company | Data set conversion systems and methods |
| US8098888B1 (en) * | 2008-01-28 | 2012-01-17 | Videomining Corporation | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras |
| AU2008200926B2 (en) * | 2008-02-28 | 2011-09-29 | Canon Kabushiki Kaisha | On-camera summarisation of object relationships |
| US10896327B1 (en) * | 2013-03-15 | 2021-01-19 | Spatial Cam Llc | Device with a camera for locating hidden object |
| US8009863B1 (en) | 2008-06-30 | 2011-08-30 | Videomining Corporation | Method and system for analyzing shopping behavior using multiple sensor tracking |
| US8614744B2 (en) * | 2008-07-21 | 2013-12-24 | International Business Machines Corporation | Area monitoring using prototypical tracks |
| US8098156B2 (en) * | 2008-08-25 | 2012-01-17 | Robert Bosch Gmbh | Security system with activity pattern recognition |
| DE102009000173A1 (de) * | 2009-01-13 | 2010-07-15 | Robert Bosch Gmbh | Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm |
| US8180107B2 (en) * | 2009-02-13 | 2012-05-15 | Sri International | Active coordinated tracking for multi-camera systems |
| WO2010099575A1 (en) | 2009-03-04 | 2010-09-10 | Honeywell International Inc. | Systems and methods for managing video data |
| US9740977B1 (en) | 2009-05-29 | 2017-08-22 | Videomining Corporation | Method and system for recognizing the intentions of shoppers in retail aisles based on their trajectories |
| US11004093B1 (en) | 2009-06-29 | 2021-05-11 | Videomining Corporation | Method and system for detecting shopping groups based on trajectory dynamics |
| US8866901B2 (en) * | 2010-01-15 | 2014-10-21 | Honda Elesys Co., Ltd. | Motion calculation device and motion calculation method |
| US20120005149A1 (en) * | 2010-06-30 | 2012-01-05 | Raytheon Company | Evidential reasoning to enhance feature-aided tracking |
| US8607353B2 (en) * | 2010-07-29 | 2013-12-10 | Accenture Global Services Gmbh | System and method for performing threat assessments using situational awareness |
| US8520074B2 (en) | 2010-12-14 | 2013-08-27 | Xerox Corporation | Determining a total number of people in an IR image obtained via an IR imaging system |
| TWI425454B (zh) * | 2010-12-28 | 2014-02-01 | Ind Tech Res Inst | 行車路徑重建方法、系統及電腦程式產品 |
| US9019358B2 (en) | 2011-02-08 | 2015-04-28 | Xerox Corporation | Method for classifying a pixel of a hyperspectral image in a remote sensing application |
| US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
| US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
| US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| US8693731B2 (en) * | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
| US20130286198A1 (en) * | 2012-04-25 | 2013-10-31 | Xerox Corporation | Method and system for automatically detecting anomalies at a traffic intersection |
| US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
| CN102968625B (zh) * | 2012-12-14 | 2015-06-10 | 南京思创信息技术有限公司 | 基于轨迹的船舶识别与跟踪方法 |
| US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
| US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
| US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
| US9696867B2 (en) | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
| CN103093249B (zh) * | 2013-01-28 | 2016-03-02 | 中国科学院自动化研究所 | 一种基于高清视频的出租车识别方法及系统 |
| US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
| US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
| US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
| US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
| KR20150018696A (ko) | 2013-08-08 | 2015-02-24 | 주식회사 케이티 | 감시 카메라 임대 방법, 중계 장치 및 사용자 단말 |
| KR20150018037A (ko) * | 2013-08-08 | 2015-02-23 | 주식회사 케이티 | 관제 시스템 및 이를 이용한 관제 방법 |
| US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
| US11163050B2 (en) | 2013-08-09 | 2021-11-02 | The Board Of Trustees Of The Leland Stanford Junior University | Backscatter estimation using progressive self interference cancellation |
| US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
| KR20150075224A (ko) | 2013-12-24 | 2015-07-03 | 주식회사 케이티 | 관제 서비스 제공 시스템 및 방법 |
| US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
| US10026015B2 (en) * | 2014-04-01 | 2018-07-17 | Case Western Reserve University | Imaging control to facilitate tracking objects and/or perform real-time intervention |
| WO2015168700A1 (en) * | 2014-05-02 | 2015-11-05 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparatus for tracing motion using radio frequency signals |
| CN204480228U (zh) | 2014-08-08 | 2015-07-15 | 厉动公司 | 运动感测和成像设备 |
| US9626584B2 (en) * | 2014-10-09 | 2017-04-18 | Adobe Systems Incorporated | Image cropping suggestion using multiple saliency maps |
| TWI577493B (zh) | 2014-12-26 | 2017-04-11 | 財團法人工業技術研究院 | 校正方法與應用此方法的自動化設備 |
| US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
| US10429923B1 (en) | 2015-02-13 | 2019-10-01 | Ultrahaptics IP Two Limited | Interaction engine for creating a realistic experience in virtual reality/augmented reality environments |
| JP5915960B1 (ja) | 2015-04-17 | 2016-05-11 | パナソニックＩｐマネジメント株式会社 | 動線分析システム及び動線分析方法 |
| JP6606985B2 (ja) * | 2015-11-06 | 2019-11-20 | 富士通株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
| JP6558579B2 (ja) | 2015-12-24 | 2019-08-14 | パナソニックＩｐマネジメント株式会社 | 動線分析システム及び動線分析方法 |
| US10318819B2 (en) | 2016-01-05 | 2019-06-11 | The Mitre Corporation | Camera surveillance planning and tracking system |
| US10140872B2 (en) * | 2016-01-05 | 2018-11-27 | The Mitre Corporation | Camera surveillance planning and tracking system |
| US10841542B2 (en) | 2016-02-26 | 2020-11-17 | A9.Com, Inc. | Locating a person of interest using shared video footage from audio/video recording and communication devices |
| US10748414B2 (en) | 2016-02-26 | 2020-08-18 | A9.Com, Inc. | Augmenting and sharing data from audio/video recording and communication devices |
| US11393108B1 (en) | 2016-02-26 | 2022-07-19 | Amazon Technologies, Inc. | Neighborhood alert mode for triggering multi-device recording, multi-camera locating, and multi-camera event stitching for audio/video recording and communication devices |
| US10397528B2 (en) | 2016-02-26 | 2019-08-27 | Amazon Technologies, Inc. | Providing status information for secondary devices with video footage from audio/video recording and communication devices |
| US10489453B2 (en) | 2016-02-26 | 2019-11-26 | Amazon Technologies, Inc. | Searching shared video footage from audio/video recording and communication devices |
| US9965934B2 (en) | 2016-02-26 | 2018-05-08 | Ring Inc. | Sharing video footage from audio/video recording and communication devices for parcel theft deterrence |
| AU2017223188B2 (en) | 2016-02-26 | 2019-09-19 | Amazon Technologies, Inc. | Sharing video footage from audio/video recording and communication devices |
| US10049462B2 (en) | 2016-03-23 | 2018-08-14 | Akcelita, LLC | System and method for tracking and annotating multiple objects in a 3D model |
| US10497130B2 (en) | 2016-05-10 | 2019-12-03 | Panasonic Intellectual Property Management Co., Ltd. | Moving information analyzing system and moving information analyzing method |
| US10338205B2 (en) | 2016-08-12 | 2019-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Backscatter communication among commodity WiFi radios |
| JP6742195B2 (ja) * | 2016-08-23 | 2020-08-19 | キヤノン株式会社 | 情報処理装置及びその方法、コンピュータプログラム |
| EP3532981A4 (en) | 2016-10-25 | 2020-06-24 | The Board of Trustees of the Leland Stanford Junior University | BACKGROUND OF ENVIRONMENT ISM BAND SIGNALS |
| EP3419283B1 (en) | 2017-06-21 | 2022-02-16 | Axis AB | System and method for tracking moving objects in a scene |
| US11450148B2 (en) | 2017-07-06 | 2022-09-20 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| US10810414B2 (en) | 2017-07-06 | 2020-10-20 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| US10482613B2 (en) | 2017-07-06 | 2019-11-19 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| US10489656B2 (en) * | 2017-09-21 | 2019-11-26 | NEX Team Inc. | Methods and systems for ball game analytics with a mobile device |
| US10748376B2 (en) * | 2017-09-21 | 2020-08-18 | NEX Team Inc. | Real-time game tracking with a mobile device using artificial intelligence |
| JP2019125312A (ja) * | 2018-01-19 | 2019-07-25 | 富士通株式会社 | シミュレーションプログラム、シミュレーション方法およびシミュレーション装置 |
| EP3557549B1 (de) | 2018-04-19 | 2024-02-21 | PKE Holding AG | Verfahren zur bewertung eines bewegungsereignisses |
| US11061132B2 (en) * | 2018-05-21 | 2021-07-13 | Johnson Controls Technology Company | Building radar-camera surveillance system |
| US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
| CN108921874B (zh) * | 2018-07-04 | 2020-12-29 | 百度在线网络技术（北京）有限公司 | 人体跟踪处理方法、装置及系统 |
| US11188763B2 (en) * | 2019-10-25 | 2021-11-30 | 7-Eleven, Inc. | Topview object tracking using a sensor array |
| US10977924B2 (en) * | 2018-12-06 | 2021-04-13 | Electronics And Telecommunications Research Institute | Intelligent river inundation alarming system and method of controlling the same |
| US10621858B1 (en) | 2019-02-06 | 2020-04-14 | Toyota Research Institute, Inc. | Systems and methods for improving situational awareness of a user |
| US11587361B2 (en) | 2019-11-08 | 2023-02-21 | Wisconsin Alumni Research Foundation | Movement monitoring system |
| CN113468947B (zh) * | 2021-04-16 | 2023-07-18 | 中国民航科学技术研究院 | 一种多雷达站鸟情信息融合以及成像方法 |
| US12051242B2 (en) * | 2021-10-28 | 2024-07-30 | Alarm.Com Incorporated | Scanning-based video analysis |
| CN115019463B (zh) * | 2022-06-28 | 2023-01-10 | 慧之安信息技术股份有限公司 | 基于人工智能技术的水域监管系统 |
| CN114927141B (zh) * | 2022-07-19 | 2022-10-25 | 中国人民解放军海军工程大学 | 异常水声信号的检测方法及系统 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4172918A (en) * | 1975-07-02 | 1979-10-30 | Van Dresser Corporation | Automotive liner panel |
| CH628926A5 (de) * | 1977-02-16 | 1982-03-31 | Guenter Schwarz | Mehrschichtiges klebematerial. |
| US4739401A (en) * | 1985-01-25 | 1988-04-19 | Hughes Aircraft Company | Target acquisition system and method |
| US4762866A (en) * | 1986-03-12 | 1988-08-09 | National Starch And Chemical Corporation | Latex adhesive for bonding polyether urethane foam |
| US4840832A (en) * | 1987-06-23 | 1989-06-20 | Collins & Aikman Corporation | Molded automobile headliner |
| US5068001A (en) * | 1987-12-16 | 1991-11-26 | Reinhold Haussling | Method of making a sound absorbing laminate |
| US5007976A (en) * | 1989-10-16 | 1991-04-16 | Process Bonding, Inc. | Method of making a headliner |
| US5549776A (en) * | 1991-02-20 | 1996-08-27 | Indian Head Industries | Self-supporting impact resistant laminate |
| US5300360A (en) * | 1992-01-07 | 1994-04-05 | The Dow Chemical Company | Thermoplastic composite adhesive film |
| EP0878963A1 (en) * | 1992-10-09 | 1998-11-18 | Sony Corporation | Producing and recording images |
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| DK0616181T3 (da) * | 1993-03-17 | 1996-11-25 | Sto Ag | Sammensat varmeisoleringssystem |
| GB2277052A (en) * | 1993-04-14 | 1994-10-19 | Du Pont Canada | Polyurethane foam laminates |
| US5537488A (en) * | 1993-09-16 | 1996-07-16 | Massachusetts Institute Of Technology | Pattern recognition system with statistical classification |
| US5486256A (en) * | 1994-05-17 | 1996-01-23 | Process Bonding, Inc. | Method of making a headliner and the like |
| US5657073A (en) * | 1995-06-01 | 1997-08-12 | Panoramic Viewing Systems, Inc. | Seamless multi-camera panoramic imaging with distortion correction and selectable field of view |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US5966074A (en) * | 1996-12-17 | 1999-10-12 | Baxter; Keith M. | Intruder alarm with trajectory display |
| JPH114398A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
| EP1061487A1 (en) * | 1999-06-17 | 2000-12-20 | Istituto Trentino Di Cultura | A method and device for automatically controlling a region in space |
| US6184792B1 (en) * | 2000-04-19 | 2001-02-06 | George Privalov | Early fire detection method and apparatus |
| US6701030B1 (en) * | 2000-07-07 | 2004-03-02 | Microsoft Corporation | Deghosting panoramic video |
-
2001
- 2001-12-27 US US10/034,761 patent/US20030053659A1/en not_active Abandoned
-
2002
- 2002-06-28 WO PCT/US2002/020367 patent/WO2003003310A1/en active Application Filing
- 2002-06-28 JP JP2003509405A patent/JP2004537790A/ja active Pending
- 2002-06-28 EP EP02756319A patent/EP1410333A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1410333A1 (en) | 2004-04-21 |
| WO2003003310A1 (en) | 2003-01-09 |
| US20030053659A1 (en) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004537790A (ja) | 移動対象物評価システムおよび方法 | |
| JP2004531842A (ja) | サーベイランスシステムおよび監視システムに関する方法 | |
| JP2004534315A (ja) | 移動対象物を監視する方法およびシステム | |
| US11733370B2 (en) | Building radar-camera surveillance system | |
| Pavlidis et al. | Urban surveillance systems: from the laboratory to the commercial world | |
| US11080995B2 (en) | Roadway sensing systems | |
| US8744125B2 (en) | Clustering-based object classification | |
| US7149325B2 (en) | Cooperative camera network | |
| Shah et al. | Automated visual surveillance in realistic scenarios | |
| EP2131328A2 (en) | Method for automatic detection and tracking of multiple objects | |
| Delibaltov et al. | Parking lot occupancy determination from lamp-post camera images | |
| Nam et al. | Intelligent video surveillance system: 3-tier context-aware surveillance system with metadata | |
| Morellas et al. | DETER: Detection of events for threat evaluation and recognition | |
| Andersson et al. | Activity recognition and localization on a truck parking lot | |
| US11288519B2 (en) | Object counting and classification for image processing | |
| Bravo et al. | Outdoor vacant parking space detector for improving mobility in smart cities | |
| Zhang et al. | A robust human detection and tracking system using a human-model-based camera calibration | |
| Tang | Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections | |
| Velesaca et al. | Video Analytics in Urban Environments: Challenges and Approaches | |
| Rueß et al. | leave a trace-A People Tracking System Meets Anomaly Detection | |
| Salih et al. | Visual surveillance for hajj and umrah: a review | |
| Bloisi | Visual Tracking and Data Fusion for Automatic Video Surveillance | |
| Hung | Image-based Traffic Monitoring System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070124 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070131 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070920 |