JP2021536649A - 対象の検出と追跡のためのビデオ監視システムを構築する方法 - Google Patents

Abstract

対象の検出および追跡のためのビデオ監視システムを構築する方法は、コンピュータビジョンの分野、ならびに移動する対象、例えば人物、を検出および追跡するための方法および手段に関するものである。この方法は、キャリブレーション要素手段、カメラをロケーションプランにリンクする手段、および各カメラの二次元画像の座標システムとロケーションプランの三次元システムの座標システムとの座標マッチ、たとえば重要性がある対象の検出と追跡、をプロットする手段によって、ビデオ監視システムの各カメラの特別な調整により構成されている。この方法は、マルチカメラ監視手段により、ロケーションプランの座標システムにおいて、重要性がある対象の移動の軌跡を構築し、対象の挙動と動作の特徴を分析し、それらの相互作用と個々のパラメータを評価し、重要度の高いロケーション領域におけるその数量を算出することができる。

Description

本発明は、コンピュータ技術に関するもので、特に、コンピュータビジョンの分野と、移動物体を含む対象、例えば人物など、を検出および追跡するための手段および方法に関する。

中国公開特許公報ＣＮ１０５９４０４３０Ａは、人物を推定する方法を開示し、この方法は、検出領域の画像のフローを処理することからなる。この方法では、カメラの前に仮想線を用意し、カメラの下を通過する人物の頭の輪郭線を検出して、その動作の軌跡を追跡する。頭の輪郭線と仮想線の軌道が交差することで人物の推定が行われる。この方法にはいくつかの欠点があり、これは人物の数を推定することを目的としているが、彼らの移動の軌跡のより発展した分析を構築することはできない。また、この方法では、マルチカメラビデオ監視システムの構築も提供されない。

中国公開特許公報ＣＮ１０６２２８５６０は、人物が重なっている複雑なシーンで人物を推定する方法を開示している。この方法では、事前に訓練されたＳＶＭ分類器を使用して、シーン上の人物の数を評価するために、捕捉されたターゲットを決定する。この方法は上記の方法と似ているが、ロケーションプラン内の対象の動作の軌跡の分析を構築したり、マルチカメラビデオ監視システムを構築したりすることはできない。

中国公開特許公報ＣＮ１０６５９９７７６は、移動の軌跡の分析に基づいて人物を推定する方法を開示している。この方法は、ステレオまたはRGBDカメラの使用と、このタイプのカメラの所定のキャリブレーションのためのものである。さらに、画像深度を特徴付けるカメラの別個の画像チャネルである深度マップ、すなわちカメラから空間内の各可視点までの空間距離のマップを使用することに基づいて、人物の移動の軌跡をアンロード（破棄）する。人物の推定は、人物の移動の分析に基づいて行われる。このアプローチの欠点は、この方法が、ステレオカメラやRGBDカメラなど、画像（白黒またはカラー）だけでなく、カメラから表示されたシーンの対象までの距離を特徴付ける画像チャネルを有する複雑なカメラを必要とすることである。そのようなカメラを使用する必要性は、特にコストが高いため、同様のシステムを採用する際の大きな障害となる。この方法では、ロケーションプランにマルチカメラビデオ監視システムを構築することもできない。

本発明の方法に機能的にも使用的にも最も近い先行技術は、欧州特許第ＥＰ２９０４５４３号に開示されている「人物を推定するための立体装置及びその立体装置のための人物算出方法」である。この発明は、監視下にある建物の天井の領域に固定されたステレオカメラを用い、カメラは下方に向けられる。実際、この装置は２台のステレオカメラを組み合わせて１つの変換器ユニットにしたものである。二つのカメラは、「立体ベース」と呼ばれる距離で互いに離間されており、立体視の原理に従って二つのカメラによって受信した画像の融合は、付加的な情報、すなわち、画像の擬似的な深さ、立体視カメラから処理された画像の一部分がどれだけ離れているかという情報を得ることを可能にする。また、ステレオカメラのデータに基づいて、来訪者を推定するシステムが構築されており、このシステムは、市場において来訪者を推定するために一般的に利用されており、実際に高い精度を提供するものとして知られている。しかし、これらの方法およびシステムは、ステレオカメラが少なくとも２つの高価な高解像度カメラやビデオストリームを処理するシステムを使用する必要があるため、ステレオカメラのコストが高いなど多くの実質的な欠点を有し、ステレオカメラの小さな可視範囲については、たとえば、中規模の建物の場合、ステレオカメラが３メートルの高さから床に対して垂直にみている場合、その可視範囲は約３ｍ×３ｍ（約９ｍ２の面積）に制限される。さらに、各ステレオカメラが独立しており、各ステレオカメラからの情報を単一のシステムに統合することが困難であるため、この方法はマルチカメラビデオ監視システムの構築が複雑であることを特徴としている。また、ステレオカメラの可視範囲が限られているため、施設内を常時監視するためには（監視）、ステレオカメラを多数設置する必要があり、６ｍごとにネットワークを構築する必要があり、ステレオカメラもシステム全体も高価であるため、コストが非常に高くなる。

本発明の方法は、上述した最も近い先行技術に比べ、以下の利点を有する。請求項に記載された方法では、例えば、上述した最も近い先行技術で使用されるステレオカメラよりも安価な従来型のビデオ監視ＩＰカメラを使用することが可能である。請求項に記載された方法を実行する際、正確な座標マッチを構築するために特別な注意を払わなければならないという観点から、ビデオ監視システムの各カメラは、垂直ではなく、床を覗き込むように向けることができるが、より水平な向きとすることでカメラの可視領域（範囲）を２００ｍ２を超える数値にすぐに拡大でき、水平に対して鋭角で見ることができる。例えば、テストリグを使用した試験では、廊下に沿って配置されたカメラの１つが１６ｍ×９ｍの領域（１４４ｍ２の面積）をカバーしており、これは、最も近い従来技術のステレオカメラを用いるよりも多く取得できる。さらに、請求項に記載された方法は、各カメラの調整および較正のいくつかのステップを別々に実行し、その後、すべてのカメラを単一の監視下にあるロケーションプランにリンクすることによって、高精度でマルチカメラビデオ監視システムを構築することができる。さらに、各カメラの可視範囲が実質的に広いため、請求項に記載された方法は、カメラを上述した最も近い先行技術よりも密度を低く設置することができ、これにより、同様の問題の技術的解決策を大幅に安くする。

本発明は移動する対象、たとえばビデオストリーム内において人の身体、を検出し追跡するといった検出にかかる技術的課題を解決することと、少なくとも１台のカメラを含むビデオ監視システムを用いて、ショッピングスペース、倉庫、職場、ハンドリング施設内、および屋外、たとえば、路上、台車や荷車、配達車上、公園内、農場内など、監視下における対象の位置のシーケンス、特に人物、の軌跡を分析するビジネスタスクを解決することを目的とする。

本発明の方法によれば、以下の技術的な成果が得られる：監視下にあるロケーションプランの座標システムにおいて、人物など移動する対象をプロットすることができる；所定の領域や範囲にいる対象をカウントすることを含む、人物など監視する対象の挙動と移動（動き）、のその後の分析することもできる；監視；監視下にある対象の集中度合いがそれぞれ最大および最小のヒートマップを作成することもできる；監視下にある対象の動作の特徴と、そのような対象、特にビジターと監視下にあるロケーションのスタッフとの相互作用の特徴、たとえば、監視する対象の身長、サイズ、性別、年齢、衣服のカラーパレットなど、を分析することもできる；このようなビデオ監視システムが１つ以上のカメラで構成され、監視下にあるロケーションプランの領域に対象が単一の軌跡でプロットされる場合、監視下にある同じ対象、たとえば人物が、あるビデオ監視カメラの可視範囲を出て、別のビデオ監視カメラの可視範囲に入るとき、１つのビデオ監視カメラから別のビデオ監視カメラへ転送されるように、各対象にマルチカメラビデオ監視を備える；ビデオストリーム内において、すくなくとも１つのビデオ監視カメラを使用して、移動体、たとえば人物、を検出し追跡するシステムを構築するよう備える；すべてのカメラ（複数の場合）を単一の監視システムに統合し、特に、隣接するカメラの可視範囲の重複ゾーンを最小限に抑えるか、完全に無くすこともできる；このタスクに使用される計算資源に関して、本発明の方法を実装するアルゴリズムを最適化することもできる；ビデオ監視システムの各カメラのビデオ画像の座標の二次元ピクセルシステムと監視下にあるロケーションプランの座標の三次元メトリックシステムとの間の座標マッチをプロットすることもできる（座標マッチの原理）。

本発明の本質は以下の点にある。まず、少なくとも１台のカメラからなるビデオ監視システムの各カメラの準備調整を行う。１つのカメラが複数の異なるビデオストリームを提供する場合は、個別のカメラの場合と同様に、ビデオストリーム毎に調整される。システムの各カメラの調整は、いくつかのステップで行われる。はじめに、キャリブレーション要素および／またはキャリブレーション要素のグループの手段によって、監視下にあるロケーション、例えば施設、のためのビデオ監視システムの各カメラからの画像のマーキングが行われる。次に、キャリブレーション要素および／またはキャリブレーション要素のグループに基づいて、ビデオ監視システムの各カメラの光学パラメータおよび位置パラメータのサブセットが算出される。さらに、ビデオ監視システムの各カメラの可視範囲のポリゴンが各画像上で決定され、その後、ビデオ監視システムのカメラの可視範囲のポリゴンが、監視下にあるロケーションプランの座標システムに投影される。次に、ビデオ監視システムのすべてのカメラが監視下にあるロケーションプランにリンクされ、ビデオ監視システムの各カメラの残りの光学パラメータと位置パラメータとが算出され、その後、各カメラのビデオ画像の座標の二次元ピクセルシステムと、監視下にあるロケーションプランの座標の三次元メトリックシステムとの間の座標マッチがプロットされる。ビデオ監視システムのカメラにおいて上述した調整が完了すると、ビデオ監視システムの各カメラからのビデオストリームは、座標マッチの調整されたパラメータでキャプチャされ、その後、取得されたビデオストリームのフレーム毎の処理が行われ、その間に重要性がある対象の検出および追跡が行われる。さらに、検出された各対象の移動の軌跡がビデオ監視システムの各カメラにプロットされ、その後、ビデオ監視システムの各カメラから検出された各対象の軌跡は、そのようなビデオ監視システムが複数のカメラで構成され、あるビデオ監視カメラの可視範囲を出て別のビデオ監視カメラの可視範囲に入るときに、監視下にあるロケーションプランの領域に対象が単一の軌跡でプロットされる場合、同じ対象が１つのビデオ監視カメラから別のビデオ監視カメラに転送されるよう結合され、マルチカメラビデオ監視が提供される。その結果、対象の移動の結合された軌跡が監視下にあるロケーションプランにプロットされ、すべてのビデオ監視システムにおけるそのような対象の動作と挙動の特徴および個々のパラメータのさらなる分析が行われる。

図１は、グループ１のキャリブレーション要素（床上において空間的に平行な線）による監視下にある施設の画像オペレーターによる手動マーキングの例を示す斜視図である。 図２は、グループ２のキャリブレーション要素（床タイル上において空間的に垂直な線）による監視下にある施設の画像オペレーターによる手動マーキングの例を示す斜視図である。 図３は、グループ３（空間的に垂直な柱）のキャリブレーション要素による監視下にある施設の画像オペレーターによる手動マーキングの例を示す斜視図である。 図４は、カメラ画像上のそれらの座標を自動的に定めるために、キャリブレーション要素のマーカー（同じシーケンスの色でマーキングされ、カメラの前に配置された特定のカラーパターンのメートル長のロッド）による監視下にある施設の画像オペレーターの手動マーキングの例を示す斜視図である。 図５は、ビデオ監視システムの各カメラの可視範囲のマーキング例を示す斜視図である。 図６は、ビデオ監視システムの各カメラの可視範囲を、監視下にある施設のプランの座標の三次元メトリックシステムで投影した例を示す上面図である。 図７は、ビデオ監視システムのすべてのカメラを監視下にある施設の単一のプランにリンクし、ビデオ監視システムの各カメラのビデオ画像の座標の二次元ピクセルシステムと、監視下にある施設のプランの座標の単一の三次元メトリックシステムとの座標マッチをプロットする例を示す上面図である。 図８は、２台のカメラからなるビデオ監視システムの三次元モデルの一例を示す斜視図である。 図９は、監視下にある施設のプランの座標の三次元システムから、画像へ、ビデオ監視システムの１台のカメラの可視範囲を投影する例を示す斜視図である。 図１０は、ビデオ監視システムの各カメラからの軌跡の結合の原理を示す図であり、施設のプランの座標の単一のシステムに投影された軌跡は、カメラの可視範囲のポリゴンが重なっている場合、監視下にある対象が単一の軌跡でプロットされることを示す。 図１１は、ビデオ監視システムの各カメラからの軌跡の結合の原理を示す図であり、施設のプランの単一の座標システムに投影された軌跡は、カメラの可視範囲のポリゴンが重なっておらず、隣接している場合、監視下にある対象が単一の軌跡でプロットされることを示す。 図１２は、施設のプランにリンクする際の座標マッチの原理を用いて、施設の空間内で移動する対象（人物）を検出および追跡する例を示す斜視図である。 図１３は、施設のプランにリンクする際の座標マッチの原理を用いて、空間内で移動する対象（人物）を検出および追跡する例を示す図である。 図１４は、施設のプランにリンクする際の座標マッチの原理を用いて、施設の空間内で移動する対象（人物）を検出および追跡する例を示す斜視図である。 図１５は、施設のプランにリンクする際の座標マッチの原理を用いて、空間内で移動する対象（人物）を検出および追跡する例を示す図である。

上述したような技術的成果が得られたのは、以下の理由によるものである。

ビデオ監視システムは、任意の数のビデオ監視カメラのセットまたは少なくとも１つのビデオ監視カメラからなる。本発明の方法は、最初に、ビデオ監視システムの各カメラが調整され、その調整により、各カメラのビデオ画像の座標の二次元ピクセルシステムと監視下にあるロケーションプラン、たとえば監視する施設のプラン、の座標の三次元メトリックシステムとの座標マッチをプロットすることができる。ビデオ監視システムのカメラの調整は２つのステップで行われ、各カメラを個別に調整し、続いてカメラを監視下にあるロケーションプランにリンクし、即ち、すべてのカメラをロケーションプランの単一の座標システムに統合する。三次元空間におけるカメラの位置は、水平方向の回転角度、垂直方向の回転角度、光軸の周りの回転角度、ロケーションプランの座標システムにおける「x」および「y」点、カメラの固定具の高さ（「h」）（メートル単位）、およびカメラの焦点距離やズームなどの光学パラメータによって記述できることは既に知られている。このようなビデオ監視カメラの調整プロセスは、簡単な数学ソフトウェアのツール、例えば、Adobe Illustrator、Inkscape等の任意のベクトルモード描画プログラムを用いて、オペレーターが手動で行えるようにし、各カメラの画像に特別なジオメトリ・オブジェクト（キャリブレーション要素）をマーキングし、上記のジオメトリ・オブジェクトは、カメラの上記で識別されたすべてのパラメータを決定するために必要であり、ビデオ監視システムの三次元モデルをプロットし、監視下にあるロケーションプランにおいて、正確な座標マッチをプロットするため、すなわち、各カメラのビデオ画像の座標の二次元ピクセルシステムから、単一の監視下にあるロケーション（たとえば、施設）プランの座標の三次元メトリックシステムへのマトリクス変換するため、およびその逆のマトリクス変換するために必要である。本発明の方法を実施する際に、上述した座標マッチをプロットすることは、ビデオ監視システムのいくつかの要素において、ビデオストリーム内のたとえば人物のような対象を同時に検出し追跡する技術的な問題を解決する上で重要な役割を果たす。

ビデオ監視システムの各カメラは、次のように調整される。はじめに、ビデオ監視システムの各カメラの画像上のキャリブレーション要素またはキャリブレーション要素のグループによって、ロケーション、例えば施設、が検出またはマーキングされる。カメラの画像上のジオメトリ・オブジェクトは、キャリブレーション要素によって表され、ジオメトリ・オブジェクトは、たとえば、次のような所定の空間的ジオメトリ・ポジションを有する： 敷地内の空間で互いに平行で床の水平面に平行な線分のセグメント(グループ１のキャリブレーション要素) (図１参照)； 互いに垂直で、敷地内の空間の床面に平行な線分のセグメント(グループ２のキャリブレーション要素) (図２参照)； 互いに平行で、敷地内の空間の床面に垂直な線分のセグメント(グループ３のキャリブレーション要素) (図３参照)； 床の平面上にあり、敷地内の空間内で同じサイズである線分のセグメント(グループ４のキャリブレーション要素) (図４参照)； 事前にわかっているのと同じサイズの、フロアの平面にある線分のセグメント(グループ５のキャリブレーション要素)。カメラから画像上のキャリブレーション要素を自動的にマーキングするために、キャリブレーション要素のマーカーの使用が提案され、画像上でそれらを自動的に検出する。キャリブレーション要素のマーカーは、予め準備された物理的対象(オブジェクト）、例えば、同じシークエンスの色や丸などでマーキングされた、特定の色パターンの１メートルの長さのロッドであり(図４参照)、ビデオ監視システムの設置されたカメラの前の監視下にあるロケーション内に配置され、その後に画像を固定し、物理的対象がレイアウトされ、必要なキャリブレーション要素のセットを決めるマーカーが自動的に検出される。キャリブレーション要素のマーカーは、たとえば、監視下にある施設などのロケーションの床の水平面に物理的に配置され（図４参照）、その後、カメラは、要素マーカーの色パターンを検出し、そのカメラ画像上の座標を自動的に検出する。キャリブレーション要素のマーカーを配置することが物理的に困難な場合、例えば、カメラの可視範囲への物理的なアクセスがない場合、またはカメラから受信した動画ファイルのみが利用可能な場合、グループ１〜４のキャリブレーション要素によって監視されているロケーション、例えば施設をマーキングすることは、オペレーターによって手動でそのような施設の画像上で実行される。この場合、オペレーターは、監視下にある施設の空間内におけるキャリブレーション要素のレイアウトの特定の特徴に関するオペレーターの専門的な評価に基づいて、ビデオカメラの画像上のキャリブレーション要素またはキャリブレーション要素のグループ１〜４によってマーキングを行う。たとえば、グループ１のキャリブレーション要素は、壁の平行線と床との交差角度の線として定義でき、床のタイルパターンを描くことができる（図１参照）。グループ２のキャリブレーション要素は、同様に床パターン上で検出することができ、施設内の柱の配置コンセプトに基づいて、壁の角度を描くことができる（図２参照）。グループ３のキャリブレーション要素は、たとえば、柱の垂直方向の領域、壁の角度、壁のタイルパターン、さまざまな直立要素、家具の角度などを描くことによって取得できる（図３参照）。グループ４のキャリブレーション要素は、たとえば、床のパターンやタイルから、または柱の間の距離や廊下の幅などの描写によって取得できる。グループ５のキャリブレーション要素は、グループ４のキャリブレーション要素とは異なり、カメラを調整したり、施設をマーキングする時点で、そのような要素の実際のサイズがわかっている。

監視下にあるロケーションの画像のマーキングが完了すると、オペレーターによりまたは自動で各カメラの画像に定義されたマーキングにおいて受信されたグループ１〜５のキャリブレーション要素に基づき、ビデオ監視システムの各カメラの光学パラメータと位置パラメータのサブセットの算出が行われる。各カメラのビデオ画像の座標の二次元ピクセルシステムと、単一の監視下にあるロケーションプランの座標の三次元メトリックシステムとの間の座標マッチは、ビデオ監視システムの各カメラで検索されるパラメータに依存する。前述した算出は、ロケーション、例えば監視下の施設内、のキャリブレーション要素の空間的位置の先験的概念が、上述したパラメータに依存する座標マッチを用いた結果として受信された位置に対応する方法で、カメラのパラメータの値を検索することを促す。例えば、グループ１のキャリブレーション要素の場合、受信した座標マッチは、キャリブレーション要素の線の各セグメントを、ロケーションプラン、たとえば監視下における施設のロケーションプラン、の座標システムにおいて、セグメントが互いに平行になるように、監視下にあるロケーションプランの座標の三次元メトリックシステムにマッピングする。グループ２のキャリブレーション要素は、監視下にあるロケーションプランの座標の三次元メトリックシステムで互いに垂直でなければならない。グループ３のキャリブレーション要素は、監視下にあるロケーションプランの座標の三次元メトリックシステムにマッピングされると、厳密に垂直でなければならない。グループ４および５のキャリブレーション要素は、監視下にあるロケーションプランの座標の三次元メトリックシステムにマッピングされている場合、同じサイズでなければならない。グループ５のキャリブレーション要素マーカーのサイズは、監視下にあるロケーションプランの座標の三次元メトリックシステムにマッピングされている場合、事前にわかっている値に対応する必要がある。キャリブレーション要素のグループのさまざまな組み合わせにより、ビデオ監視システムの各カメラの光学パラメータと位置パラメータのサブセットを定義することができる。たとえば、グループ１、２、および３のキャリブレーション要素の組み合わせにより、カメラの垂直方向の回転角度、その光軸の周りの回転角度、およびカメラの焦点距離などのパラメータを一緒に定義することができる。グループ５のキャリブレーション要素は、カメラの垂直方向の回転角度、光軸周りの回転角度、カメラの固定具の高さ（メートル単位）、カメラの焦点距離、ズームなどのパラメーターを定義する。グループ４のキャリブレーション要素は、カメラの垂直方向の回転角度、光軸周りの回転角度、カメラの焦点距離などのパラメーターを定義する。

監視下にあるロケーションの画像をマーキングするために使用されるキャリブレーション要素のグループの選択は、カメラからの画像でどの空間の線が支配的であるかによって異なる。繰り返しパターン、たとえばタイル、が画像に明確に表示されている場合、オペレーターは、タイルパターンの要素のサイズが不明な場合にはグループ４のキャリブレーション要素をマーキングし、タイルパターンの要素のサイズがわかっている場合にはグループ５のキャリブレーション要素をマーキングすると便利である。したがって、グループ４と５のキャリブレーション要素はすべて十分であり、各カメラの画像をマーキングする段階で、これらのグループのうち１つの要素のみをマーキングすれば十分である。繰り返しパターンがない場合、またははっきりと見えない場合は、オペレーターがマーキング用にグループ１、２、および３のキャリブレーション要素を選択する必要がある。これらのグループのキャリブレーション要素はすべて十分ではないため、そのような画像をマーキングするには、オペレーターはこれらの各グループのキャリブレーション要素、すなわち、空間的に互いに平行な線のセグメント、空間的に互いに垂直な線のセグメント、および線の垂直セグメントを用いる必要がある。したがって、キャリブレーション要素を使用して各カメラの画像をマーキングする場合、オペレーターは、画像内の監視下にあるロケーションの詳細な表示によって管理され、グループ４または５の適切な構成要素、またはグループ１、２および３のキャリブレーション要素の組み合わせを選択する（図１から図４を参照）。

キャリブレーション要素のマーキングまたは検出が完了すると、キャリブレーション要素がカメラ画像の座標システムから監視下にあるロケーションプランの座標システムに投影されるときに、座標マッチがキャリブレーション要素の空間位置の事前条件を満たすように、カメラの画像の座標システムの２次元システムと監視下にあるロケーションプランの座標システムの三次元システムとの間の座標マッチの部分的なプロットが実行される。座標マッチをプロットすることは、遠近法による変形を伴わずに、誤りがなく正確な回転、移動、および拡大縮小することで、監視下にあるロケーションプランの座標システムに後で可視範囲のポリゴンを投影できるようにするために必要である。

さらに、各カメラの可視範囲のポリゴンをマーキングする。オペレーターは、ビデオ監視システムの各カメラの画像内の移動する対象、たとえば人物（図５参照）、を検出し追跡することが提案されるフロアの領域を指定して、可視範囲（ポリゴン）を輪郭線で描く。

続いて、ビデオ監視システムの各カメラの可視範囲を、監視下にあるロケーションプランの座標の三次元メトリックシステムに投影する。カメラのパラメータのサブセットは、グループ１〜５のキャリブレーション要素によってカメラの調整段階で定義されているため、各カメラの可視範囲の輪郭が描かれたポリゴンをフロアの平面に投影し、 ロケーション（たとえば、施設）プランの座標の三次元メトリックシステムに変換することができる（図６を参照）。ビデオ監視システムの各カメラの可視範囲のポリゴンを施設の床の平面に投影すると、可視範囲のポリゴンの投影は、誤りがなく正確な回転、移動、および拡大縮小することで（遠近法による変形を伴わずに）空間形状を有することになる（図６および図７を参照）。

これは、ビデオ監視システムのすべてのカメラを単一の監視下にあるロケーションプランにリンクし、各カメラの画像の座標の二次元ピクセルシステムと監視下にあるロケーション（施設など）プランの座標の単一の三次元メトリックシステムとの間の完全な座標マッチをプロットすることで、以下の方法で実行される。ビデオ監視システムのカメラの可視範囲のポリゴンの監視下にあるロケーションの床面へのすべての投影が取得されるとすぐに、各ポリゴンが対応する監視下にあるロケーションプランの位置への正しいリンクを取得する必要がある。これは、ビデオ監視システムの各カメラの可視範囲の投影されたポリゴンを回転、移動、および拡大縮小することによって実現することができる。ビデオ監視システムのカメラの可視範囲のポリゴンが正しく配置されると、各カメラの単一のロケーションプランへの正しいリンクがすべて保存される（図７参照）。

単一の監視下にあるロケーションプラン上のビデオ監視システムの各カメラの正しい位置が保存されるとすぐに、ビデオ監視システムの各カメラの不足している光学パラメータと位置パラメータの算出が行われる。ビデオ監視システムの各カメラの可視範囲のポリゴンを回転させることに基づいて、カメラの水平方向の回転角度が算出される。ビデオ監視システムの各カメラの可視範囲のポリゴンを移動することに基づいて、ロケーションプランの座標の三次元メトリックシステムにおけるカメラの位置の「x」および「y」点が算出される。カメラの固定具の高さ（「h」）（メートル単位）とカメラのズームは、ビデオ監視システムの各カメラの可視範囲のポリゴンの拡大縮小することに基づいて算出される。

ビデオ監視システムの各カメラのすべての光学パラメータと位置パラメータが算出されているため、複数のカメラで構成されるシステムの完全な三次元モデルを構築し、各カメラの画像の座標の二次元ピクセルシステムと、対応するマトリクス変換の形式で監視下にあるロケーションプランの座標の三次元メトリックシステムとの完全な座標マッチを得ることが可能になる。このような座標マッチは、任意の数のカメラ、または少なくとも１台のカメラで構成されるビデオ監視システムを使用して、監視、検出、および対象の軌跡を提供するのに役立ち、その結果、監視下にある対象、たとえば移動する人物が、各カメラから監視下にあるロケーションプランの座標の単一の三次元メトリックシステムに精度よく投影され、これにより、監視下にある対象を追跡し、軌跡の同一性を失うことなく、すなわち、マルチカメラ監視の原則を守り、あるカメラから別のカメラに対象を転送することが可能となる。そこで、特許請求の範囲に記載された技術的な成果を得るためには、ビデオ監視システムのカメラの可視範囲のポリゴンは、最小限重なっても、または全く重ならなくてもよく、ビデオ監視システムに隣接するカメラの可視範囲のポリゴン間に小さな隙間を設けて隣接配置してもよい。

さらに、ビデオ監視システムとしてのすべてのカメラに対する調整された座標マッチのシステムに基づいて、人物の移動など対象を検出し追跡する問題を解決しなければならない。

人物などの対象の検出は、各ビデオ監視カメラから、または以前に録画された映像を含むファイルから、ビデオストリームをキャプチャすることによって行われ、その上で、探している対象は、フレーム毎の処理によって検出される。

追跡は、フレーム間で対象を検出する過程で見つかった各対象を追跡することで構成される。プロットされた座標マッチを使用して、対象、特に人物の追跡を行い、対象の位置のパラメータと対象の動作のパラメータを評価することは、カメラのビデオ画像の座標の二次元システムではなく、 監視下にあるロケーションの座標の単一の三次元メトリックシステムで行うことができ、これにより追跡の質の大幅な改善を実現することができる。各カメラ毎に対象の位置と動作のパラメータが評価される空間は、ロケーションプランの座標の単一のシステムに統合され、マルチカメラビデオ監視が提供される。このような監視では、ビデオ監視システムの各カメラに対応する座標マッチがプロットされ、これにより、同じ検出された対象、たとえば人物を１つのビデオ監視カメラから別のカメラに転送し、その単一の軌跡をロケーションプランの空間内の座標の三次元メトリックシステムにプロットすることができる（図１０および図１１参照）。したがって、監視下にある対象は、あるビデオ監視カメラの可視範囲のポリゴンを出て、別のカメラの可視範囲のポリゴンに入り、ビデオ監視カメラはそれを同じ対象として識別し、その動作のシ単一の軌跡をプロットする、すなわち、すべてのカメラが単一の座標システムに提供される（図１０および図１１参照）。対象の動作の単一の軌跡は、ロケーションプランの座標の三次元システムの各カメラによって定義された個別の軌跡の連結としてプロットされる。このアプローチにより、ロケーションプランの単一の座標システムで各カメラの座標マッチをプロットすることが可能になる。したがって、軌跡が同じ座標システムにあるので、各カメラから検出された対象の軌跡を、座標マッチと監視下にある対象の動作の方向に基づいて、単一の軌跡に連結することが可能になる。ビデオ監視システムの各カメラから検出された対象の軌跡を同じ場所に配置する手順は、以下の通りである。

図１０に示すように、各カメラの可視範囲のポリゴンは、ロケーションプランの座標の単一の三次元システムに投影された各カメラの可視範囲内の対象を検出および追跡した結果として受信された、対応する対象の軌跡を含む。コロケーションされた軌跡の領域は図１０に示している。コロケーション領域内の軌跡の地点は時間によって結びつけ、軌跡自体は均しい形状であり、対象の移動方向も均しい。軌跡のコロケーションに関する追加情報として、監視下にある対象のカラーパラメータのセット、特に人物の場合は、衣服のカラーパレットを使用することができる。軌跡のコロケーションにより、同じ対象の別々の軌跡が各カメラからリンクされ、監視下にある対象毎に単一の軌跡のコロケーションがプロットされる。

カメラの可視範囲のポリゴンが重ならない場合、監視下にある対象の動作のモデルを用いて取得された追加の軌跡に基づいて、軌跡のコロケーションが行われる。図１１は、２台のカメラの可視範囲のポリゴンが重ならない場合の対象の動作の軌跡のコロケーションのグラフィックパターンを示している。まず、監視下にある対象の動作の軌跡と速度の概念に基づいて、２つの軌跡の予測的付加が互いに向かってプロットされ、次に、上述したように、軌跡のコロケーションが重なる区域の場合と同様にプロットされる。

ビデオストリーム内の対象の検出と追跡は、古典的なコンピュータビジョンの問題であり、ビデオストリームのフレーム毎の処理を提供するには、慣例上、妥当な量の計算資源が必要とされる。検出と追跡において、大量のデータを処理する必要性と、監視下にある対象の描写と動作の複雑なモデルをプロットすることによって左右されるタスクの複雑さには、計算上、一定の制約が課せられる。

カメラ画像の座標システムと、人体などの対象を検出し追跡するタスクのためのロケーションプランの三次元座標システムとの間の正確な座標マッチが利用でき、たとえば、人体のような、探している対象の外形寸法の先験的概念を可能な限り使用できるようにし、これにより、対象の検出と追跡の品質を向上させ、このタスクに使用される計算資源の観点から、本発明の方法による実施手順を最適化することができる。

続いて、たとえば、監視下にあるロケーションや同様の監視の所定のゾーンやエリアなどに存在する、対象の数を算出するなど、特に、対象、たとえば人物、を検出するという問題を解決するために、監視下にある対象の挙動、動作、相互作用、個々の特性などの特徴のさらなる分析が行われ、監視対象などのオブジェクトの集中度が最も高い「ホット」ゾーンと集中度が最も低い「コールド」ゾーンをプロットする発展可能性を与える。ロケーションプランの座標の三次元メトリックシステムで監視下にある対象の速度や位置などのパラメータを評価することにより、ロケーションプランに基づいて開発された分析システムを構築し、検出された対象、たとえば人物、の動作を分析することができる。座標マッチの精度が高く、監視下にある対象の動作のコロケーション軌跡（トラック）をさらに正確に定義するため、特に、監視下にある対象の相互作用、たとえば店員と買い物客との間の相互作用、および監視下にある対象と環境との間、たとえば買い物客と商店、ショーウィンドウなどとの間の相互作用を定義する可能性がある。

対象の検出と追跡のためのビデオ監視システムを構築するという本発明の方法は、テストリグの実装に実際に使用された。ショッピングおよびレジャーセンターの施設内に、いくつかのビデオ監視カメラが設置された。この例では、ビデオカメラが使用されたが、カメラの種類は、本発明の方法を実現する際に開示された技術的成果を達成するために重要ではない。また、監視下にあるロケーションが屋内であろうと屋外であろうと、そのロケーションの性質は関係ない。カメラの可視範囲がいくつか並置される。まず、各カメラが調整され、オペレーターは調整の過程でグループ１、２、および３のキャリブレーション要素によって施設の画像にマーキングを付ける。次に、各カメラの可視範囲の対応するポリゴンをカメラ画像上に描画する。キャリブレーション要素によって施設の画像をマーキングすることにより、各カメラの次のパラメータを決定することができる：垂直回転角度、光軸周りの回転角度、および焦点距離。次に、オペレーターは、カメラの可視範囲のポリゴンの回転、移動、および拡大縮小するによって、施設のプラン上のカメラの正しい位置を取得する。次に、オペレーターは、各カメラのビデオ画像の座標の２次元ピクセルシステムと監視する施設のプランの座標の単一の三次元メトリックシステムとの間の最終的な座標マッチをプロットする。次に、各カメラは、監視下にある対象（ショッピングセンターのビジター）の検出を行い、監視下にある各人物の動作の軌跡を、可視範囲内の施設のプランの座標の単一の三次元メトリックシステムに投影した。次に、各カメラからの軌跡のセグメントが同じ場所に配置され、施設のプランの座標の単一の三次元メトリックシステム内の結合された軌跡のセットが取得された。展開されたテストリグの操作中に、実行時間が５時間１３分のビデオストリームが処理された。取得されたビジターの流れの動作の軌跡に基づいて、分析システムが構築され、監視する施設のプランに示され、このシステムは、対応する値を持つ次の一連の測定基準を提供する：
― キャプチャされた固有のビジターの数 ― ６３１人；
― テストリグのエリアに入ったビジターの数 ― ３８９人；
― テストリグのエリアを出たビジターの数 ― ２３４人；
― 二人組で移動するビジターの割合 ― ２３％；
― テストリグエリアでの平均滞在時間 ― １６分；
― 通りかかったビジターに対する入店したビジターの比率 ― １４．１％。

このように、テストリグは、その作業能力、設定されたタスクの達成、および開示された技術的成果を明確に示した。

Claims (12)

1. 対象の検出と追跡のためのビデオ監視システムを構築する方法であって、システムは少なくとも１つ以上のカメラを含み、
   はじめに、前記ビデオ監視システムの各カメラの準備調整が行われ、前記準備調整は、
   前記ビデオ監視システムの各カメラから受信した監視下にあるロケーションの画像をキャリブレーション要素及び/又はキャリブレーション要素のグループによってマーキングするステップと、
   前記キャリブレーション要素及び/又は前記キャリブレーション要素のグループに基づいて、前記ビデオ監視システムの各カメラの光学パラメータ及び位置パラメータのサブセットの算出を行うステップと、
   前記ビデオ監視システムの各カメラの可視範囲のポリゴンをマーキングするステップと、
   前記ビデオ監視システムのカメラの前記可視範囲の前記ポリゴンを監視下にあるロケーションプランの座標システムに投影するステップと、
   前記ビデオ監視システムのすべてのカメラを前記監視下にあるロケーションプランにつなげるステップと、
   残りの前記光学パラメータと前記位置パラメータとを算出するステップと、
   前記ビデオ監視システムの各カメラのビデオ画像における座標の二次元ピクセルシステムと前記監視下にあるロケーションプランの座標の三次元メトリックシステムとの間の座標マッチをプロットするステップとからなり、
   その後、前記座標マッチの調整されたパラメータを用いて、ビデオストリームを前記ビデオ監視システムの各カメラから取り込み、
   その後、重要性のある対象の検出および追跡が行われる間、得られた前記ビデオストリームをフレーム毎に処理し、
   その後、前記ビデオ監視システムの各カメラから検出された前記対象毎に動作の軌跡をプロットし、
   続いて、前記ビデオ監視システムが二台以上のカメラを備えている場合、同じ対象が一つのビデオ監視カメラから別のビデオ監視カメラに転送され、前記監視下にあるロケーションプランには単一の軌跡として描かれるように複数のカメラのビデオ監視が備えられ、前記ビデオ監視システムの各カメラから検出された前記軌跡が結合され、
   前記監視下にあるロケーションプランの前記座標システムにおいて前記対象の結合された前記軌跡に基づいて、全てのビデオ監視システムにおけるそのような前記対象の動作と挙動の性質および個々のパラメータのその後のさらなる分析がおこなわれる、
   ことからなる対象の検出および追跡のためのビデオ監視システムを構築する方法。
2. 前記方法は、移動する対象、例えば、人物、を監視することを目的とすることを特徴とする請求項１記載の方法。
3. 前記キャリブレーション要素及び／又は前記キャリブレーション要素のグループは、前記ビデオ監視システムの各カメラの画像の上に配置されるジオメトリ・オブジェクトであって、前記監視下にあるロケーションの領域に所定のジオメトリ・ポジションを有することを特徴とする請求項１記載の方法。
4. 前記キャリブレーション要素は、
   前記監視下にあるロケーション、例えば、施設の空間において、互いに平行であり、床の水平面に平行である線のセグメントであり（グループ１のキャリブレーション要素）、
   前記監視下にあるロケーション、例えば、施設の空間において、互いに垂直であり、床の平面に平行である線のセグメントであり（グループ２のキャリブレーション要素）、
   前記監視下にあるロケーション、例えば、施設の空間において、互いに平行であり、床の水平面に垂直である線のセグメントであり（グループ３のキャリブレーション要素）、
   前記監視下にあるロケーション、例えば、施設の空間において、床の平面にあり、同じ大きさの線のセグメントであり（グループ４のキャリブレーション要素）、
   物理的な対象であり、前記監視下にあるロケーション、例えば、施設の空間において、カメラの前の床の平面にあり、後でカメラ画像内において、自動的にそれらの位置を検出し、自動的にそれらの座標を決定するため、同じであって既知の形状、サイズ、およびカラーパターンであるマーカー（グループ５のキャリブレーション要素のマーカー）である、
   ことを特徴とする請求項３記載の方法。
5. 前記グループ５のキャリブレーション要素のマーカーは、カメラの準備調整に用いられ、
   前記カメラ画像内において、自動的にそれらの座標を決定するため、および前記ビデオ監視システムの各カメラのパラメータを算出するために前記カメラの準備調整に用いられ、
   前記パラメータは、カメラの垂直回転角度、光軸を中心としたカメラの回転角度、カメラの固定具の高さ、およびカメラのズームであることを特徴とする請求項１または４のいずれかに記載の方法。
6. 前記キャリブレーション要素のマーカーとして、同じシーケンスの色でマーキングされた１メートルの長さの棒が使用されてもよいことを特徴とする請求項４記載の方法。
7. 前記グループ１、グループ２およびグループ３のキャリブレーション要素は、手動モードでのカメラの前記準備調整のため、および前記ビデオ監視システムの各カメラのパラメータを算出するために用いられ、
   前記パラメータは、前記カメラの垂直回転角度、光軸を中心とした前記カメラの回転角度、および前記ビデオ監視システムの前記カメラの焦点距離であることを特徴とする請求項１または４のいずれかに記載の方法。
8. 前記グループ４のキャリブレーション要素は、手動モードでの前記カメラの前記準備調整のため、および前記ビデオ監視システムの各カメラのパラメータを算出するために用いられ、
   前記パラメータは、前記カメラの垂直回転角度、光軸を中心とした前記カメラの回転角度、および前記カメラの焦点距離であることを特徴とする請求項１または４のいずれかに記載の方法。
9. 前記カメラの水平回転角度の算出は、前記ビデオ監視システムの各カメラの可視範囲のポリゴンを回転させることにより行われることを特徴とする請求項１記載の方法。
10. 前記監視下にあるロケーションプランの座標の三次元システムにおいて各カメラの位置のｘ点およびｙ点の算出は、前記ビデオ監視システムの各カメラの可視範囲のポリゴンを移動することにより行われることを特徴とする請求項１記載の方法。
11. カメラの固定具の高さとカメラのズームの算出は、前記ビデオ監視システムの各カメラの可視範囲のポリゴンを拡大縮小することにより行われることを特徴とする請求項１記載の方法。
12. 前記ビデオ監視システムの各カメラの可視範囲のポリゴンは、少し重なるまたは全く重ならず、ポリゴンは、前記ビデオ監視システムのカメラ付近において、可視範囲のポリゴン間の僅かな隙間に連続して配置されることを特徴とする請求項１記載の方法。

Images