JP2008219570A

JP2008219570A - カメラ間連結関係情報生成装置

Info

Publication number: JP2008219570A
Application number: JP2007055473A
Authority: JP
Inventors: Sumio Yokomitsu; 澄男横光
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2007-03-06
Filing date: 2007-03-06
Publication date: 2008-09-18
Anticipated expiration: 2027-03-06
Also published as: CN101627630A; WO2008108087A1; EP2117232A1; US8284255B2; CN101627630B; JP4881766B2; US20100097475A1; EP2117232A4

Abstract

【課題】信頼性の高いカメラ間の連結関係の推定が行えるカメラ間連結関係情報生成装置を提供する。
【解決手段】複数のカメラで撮影された映像から被写体の特徴量を抽出する特徴量抽出部２１と、撮影された映像の各々において被写体が出現／消失した点であるＩｎ／Ｏｕｔ点を抽出するＩｎ／Ｏｕｔ点抽出部２２と、抽出されたＩｎ／Ｏｕｔ点に基づいてＩｎ／Ｏｕｔ領域を形成するＩｎ／Ｏｕｔ領域形成部２３と、Ｉｎ／Ｏｕｔ領域に含まれるＩｎ／Ｏｕｔ点の複数の組合せ各々について、被写体の特徴量毎の類似度の総和を求めることにより相関値を算出する相関値算出部２４と、相関値に基づき頻度ヒストグラムを作成する頻度ヒストグラム作成部２５と、頻度ヒストグラムのピークを抽出することから複数のカメラ間の連結関係の有無を推定して連結関係情報を生成する連結関係情報生成部２６と、を備える。
【選択図】図１

Description

本発明は、複数の監視カメラで構成される監視システムにおいて、人物の追尾等を行う際に、信頼性の高いカメラ間の連結関係の推定が行えるカメラ間連結関係情報生成装置に関する。

複数のカメラからの監視映像を利用して広範囲にわたる監視を行うシステムでは、予め把握したそれぞれのカメラの配置と撮影領域の対応関係に基づいて、画面に表示するカメラ映像を自動的に切り替え、人物等の追尾を行うシステムが提案されている（例えば、特許文献１参照）。

特開２００５−１２４１５号公報（第４頁〜第１４頁、図１）

複数のカメラで広域範囲を監視する場合、複数のカメラ間の連携処理が必須となる。特に、カメラ間で人物の照合を行う際、カメラ間の連結関係（トポロジー）情報を利用することにより人物の照合精度が向上する。この連結関係情報を取得する方法として、手動で事前に付与する方法もあるが、カメラ数が多ければ多いほど処理が煩雑であるという問題があった。また、それぞれのカメラで観測される対象物を用いて自動的に推定する方法もあるが、カメラ毎に抽出される全ての対象物の出現時間及び消失時間の頻度分布に基づいて推定する方法では、誤対応となるデータが多く、精度が低いという問題があった。

そこで、本発明は上記従来の課題に鑑みてなされたものであって、カメラ間の誤対応による連結関係の有無の精度悪化を改善し、類似した被写体ペア例えば人物ペアのみを用いた信頼性の高いカメラ間の連結関係の推定が行えるカメラ間連結関係情報生成装置を提供することを目的とする。

本発明のカメラ間連結関係情報生成装置は、複数のカメラで撮影された映像から被写体の特徴量を抽出する特徴量抽出手段と、前記複数のカメラで撮影された映像の各々において被写体が出現した点であるＩｎ点及び消失した点であるＯｕｔ点を抽出するＩｎ／Ｏｕｔ点抽出手段と、前記Ｉｎ／Ｏｕｔ点抽出手段で抽出された前記Ｉｎ点に基づき前記Ｉｎ点を含むＩｎ領域及び前記Ｉｎ／Ｏｕｔ点抽出手段で抽出された前記Ｏｕｔ点に基づき前記Ｏｕｔ点を含むＯｕｔ領域を形成するＩｎ／Ｏｕｔ領域形成手段と、前記Ｉｎ／Ｏｕｔ領域形成手段で形成された前記Ｉｎ領域に含まれるＩｎ点と前記Ｏｕｔ領域に含まれるＯｕｔ点の複数の組合せ各々について、前記特徴量抽出手段で抽出された前記被写体の特徴量毎の類似度の総和を求めることにより相関値を算出する相関値算出手段と、前記相関値算出手段で算出された前記相関値に基づき頻度ヒストグラムを作成する頻度ヒストグラム作成手段と、前記頻度ヒストグラム作成手段で作成された前記頻度ヒストグラムのピークを抽出することから前記複数のカメラ間の連結関係の有無を推定して連結関係情報を生成する連結関係情報生成手段と、を備えることを特徴とする。

上記構成によれば、被写体情報として人物情報を用いて、信頼性の高いカメラ間連結関係の推定が行える。

本発明のカメラ間連結関係情報生成装置は、前記複数のカメラで撮影された映像を表示する表示手段と、前記表示手段の表示形態を制御する表示制御手段と、を備えることを特徴とする。

上記構成によれば、推定したカメラ間の連結関係の有無を示す連結関係情報に基づいて、人物追尾等が行える適切な画面表示を行うことができる。

本発明のカメラ間連結関係情報生成装置は、前記表示制御手段は、前記複数のカメラのうち一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置に移動する被写体が表示されている場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、移動後の前記被写体が表示される確率の高い前記複数のカメラのうち他のカメラの前記Ｉｎ領域に対応する前記表示手段の表示位置をハイライトすることを特徴とする。

上記構成によれば、人物を追尾する際、次に出現するカメラ番号、及び出現領域候補が視覚的に把握でき、また、カメラのスイッチングなどの煩雑な操作を行う必要がないため、監視者の監視負担が軽減され、容易且つ的確に人物追尾等を行うことができる。

本発明のカメラ間連結関係情報生成装置は、前記表示制御手段は、前記複数のカメラのうち一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置に移動する被写体が表示されている場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、前記複数のカメラのうち他のカメラに対応する前記表示手段の表示面積を通常より大きくすることを特徴とする。

上記構成によれば、カメラのスイッチングなどの煩雑な操作を行う必要がないため、監視者の監視負担が軽減され、容易且つ的確に人物追尾等を行うことができる。

本発明のカメラ間連結関係情報生成装置は、前記表示制御手段は、前記複数のカメラのうち一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置に移動する被写体が表示されている場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、移動後の前記被写体が表示される確率の高い前記複数のカメラのうち他のカメラの前記Ｉｎ領域に対応する前記表示手段の表示位置が、前記一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置と隣接するように、前記各カメラに対応する前記表示手段の表示位置を変更することを特徴とする。

本発明のカメラ間連結関係情報生成装置は、前記連結関係情報生成手段で生成された前記連結関係情報は前記複数のカメラのうち一カメラの任意領域と他のカメラの任意領域との間の移動時間情報を含んでおり、前記表示制御手段は、前記連結関係情報に応じて、前記一カメラに対応する前記表示手段の表示位置と前記他のカメラに対応する前記表示手段の表示位置とを離間させることを特徴とする。

上記構成によれば、カメラ間の連結関係を視覚的に把握しやすいため、監視者の監視負担が軽減され、容易且つ的確に人物追尾等を行うことができる。

本発明のカメラ間連結関係情報生成装置は、前記表示制御手段は、前記複数のカメラのうち一カメラの撮影範囲と他のカメラの撮影範囲とが重複している場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、前記一カメラに対応する前記表示手段の表示位置と前記他のカメラに対応する前記表示手段の表示位置とを重複させることを特徴とする。

上記構成によれば、カメラ間の撮影範囲の関係を視覚的に把握しやすいため、監視者の監視負担が軽減され、容易且つ的確に人物追尾等を行うことができる。

本発明によれば、類似した被写体ペア例えば人物ペアのみを用いて連結関係の推定を行うため、カメラ間の誤対応による連結関係の有無の精度悪化が改善され、信頼性の高いカメラ間の連結関係の推定が行える。また、Ｉｎ／Ｏｕｔ領域を事前に形成し、領域毎の経路推定を行うことにより、経路数の増加による破綻を防止しながら、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾（モニタリング）等を適切に行うことができる。

以下、本発明の実施の形態におけるカメラ間連結関係情報生成装置について図面を用いて詳細に説明する。

［実施の形態１］
図１は、本発明の実施の形態１におけるカメラ間連結関係情報生成装置の内部構成を示すブロック図である。カメラ間連結関係情報生成装置１００は、主に、インターフェース（Ｉ／Ｆ）部１０、特徴量抽出部２１、Ｉｎ／Ｏｕｔ点抽出部２２、Ｉｎ／Ｏｕｔ領域形成部２３、相関値算出部２４、頻度ヒストグラム作成部２５、連結関係情報生成部２６、パラメータ設定部２７、データベース３０、表示制御部４０、表示部５０などで構成される。

カメラ間連結関係情報生成装置１００は、複数の監視カメラ（図中では、例としてカメラ２００から２０２まで３台のカメラを示している）からの映像をネットワーク回線３００等を通じて取得し、後述する判断や制御を行って装置内の表示部５０に映像を表示する。

インターフェース部１０は、複数のカメラ２００、２０１、２０２からの映像をネットワーク回線３００等を通じて取得する。

特徴量抽出部２１は、各カメラが撮影する映像の中の人物の特徴量を抽出する。抽出する特徴量は、身長、速度、色、テクスチャ等の情報である。

Ｉｎ／Ｏｕｔ点抽出部２２は、各カメラで観測される人物情報の中から、カメラ視野に出現した点をＩｎ点、カメラ視野から消失した点をＯｕｔ点として識別し、カメラ毎にＩｎ／Ｏｕｔ点情報を一定期間収集する。

Ｉｎ／Ｏｕｔ領域形成部２３は、得られたＩｎ／Ｏｕｔ点集合をもとにＩｎ／Ｏｕｔ領域を決定するためｋ−ｍｅａｎｓアルゴリズム等の領域分割処理によりによりＩｎ／Ｏｕｔ領域候補群として抽出する。そして、Ｉｎ／Ｏｕｔ領域候補群の中でＩｎ／Ｏｕｔ点情報が少ない領域または他領域と隣接する領域を統合して、最終的なＩｎ／Ｏｕｔ領域を決定する。

図２から図５は、上記のＩｎ／Ｏｕｔ点抽出部２２とＩｎ／Ｏｕｔ領域形成部２３の機能部の動作例として、Ｉｎ領域が形成される様子を説明するための図である。

はじめに、Ｉｎ／Ｏｕｔ点抽出部２２は、任意時間だけ計測したＩｎ点を収集する（図２）。次に、画像領域を１２領域（３×４）に初期分割し、各領域内に含まれるＩｎ点情報を用いてｋ−ｍｅａｎｓ法により領域分割処理を行う（図３）。更に、初期分割結果を用いてｋ−ｍｅａｎｓ法を適用し、１２個の分割された各領域の中に含まれるＩｎ点情報を要素として、特異値分解による各領域の楕円近似を行う。また、各領域に含まれるＩｎ点情報が、事前に設定した閾値よりも少ない場合は、ノイズ領域とみなし消去する（図４）。

次に、Ｉｎ／Ｏｕｔ領域形成部２３は、楕円近似された各領域に対して、統合処理を行う。閾値以上近接している領域を統合する処理を繰り返し、統合する領域がなくなるまで継続する。統合された領域内に含まれるＩｎ点の集合を用いて、特異値分解による楕円近似を行い最終的なＩｎ点の領域を獲得する（図５）。

相関値算出部２４は、上記の要領で得られた出現領域（Ｉｎ領域）と消失領域（Ｏｕｔ領域）を用いて、各領域の対応関係を推定するための相関値を算出する。各カメラで観測される人物のＩｎ／Ｏｕｔ点情報は、時間、重心、高さ、横幅、色情報などの各種特徴量を保持している。カメラの撮影範囲に重複がない場合、連結関係を持つ領域に関して、ある消失領域から消失した人物は、一定期間後には連結関係のある出現領域に現れる（カメラの撮影範囲に重複がある場合には、一定期間前に出現領域に現れる）。一定期間内に出現する人物情報の中から、類似する特徴量を持つ人物だけを対応候補として選択し、連結関係の推定に使用する。Ｉｎ／Ｏｕｔ点における人物特徴量の類似度は、以下の式１により相関値で評価する。

ここで、ｗ_iは各特徴量の重み係数、類似度_iは各特徴量の類似度を示し、ｔは探索時間窓を示す。即ち、所定の探索時間窓における相関値は、重み付けを行った類似度の特徴量の種類（即ち、ｉ個）分の総和で算出される。上記の評価式から、閾値以上の類似度を持つ人物情報のみを連結関係の推定処理に用いる。

頻度ヒストグラム作成部２５は、得られたＩｎ／Ｏｕｔ点のペアを、カメラ間のＩｎ／Ｏｕｔ領域毎に構築されるＩｎ／Ｏｕｔ点対応頻度分布に投票する。実際に連結関係のあるＩｎ領域とＯｕｔ領域のペアは、領域間距離に応じた時間付近に対応頻度のピークを持ち、そのピークを検出することで連結関係の有無を判定することができる。

ここで、Ｉｎ／Ｏｕｔ領域の対応処理について例を用いて説明する。

図６は、複数カメラ間における人物の移動例を示す図である。あるカメラから消えた人物は、別のカメラに再度出現する。図６の例では、時刻ｔ６にカメラ１（以降、Ｃａｍ１と称する）のＯｕｔ１で示す地点（以降、単にＯｕｔ１と称する）から消失した人物が、時刻ｔ１０にカメラ２（以降、Ｃａｍ２と称する）のＩｎ３で示す地点（以降、単にＩｎ３と称する）に出現している。各カメラが撮影するエリアに重複する部分がないと仮定した場合、Ｉｎ点に出現した人物は、過去の一定時間内にいずれかのカメラから消失した人物（Ｏｕｔ点）と対応することが多いと考えられる。従って、カメラ間で対応する人物ペアを求め、その人物ペアが対応するまでの時間を計測することで複数カメラ間の領域対応、即ち、複数カメラ間の連結関係を推定することができる。尚、図７は、Ｏｕｔ点の候補が存在する時間的範囲を概念的に示す模式図である。

頻度ヒストグラム作成部２５は、各カメラの全Ｉｎ領域及びＯｕｔ領域の組み合わせに対して、Ｉｎ点／Ｏｕｔ点の対応点をプロットするヒストグラムを作成する。図８は、頻度ヒストグラム作成部２５が作成するヒストグラムの対応ペアのプロットの様子を説明するための図である。この図では、図６に示した人物移動例に関して、Ｉｎ３に対応するＯｕｔ領域を導出する過程を示している。図６及び図７から判断されるように、Ｉｎ３に対応するＯｕｔ領域は、Ｏｕｔ１、Ｏｕｔ６、Ｏｕｔ５があるので、対応候補として保持する。

図の例では、Ｏｕｔ１に連結関係があるため、Ｉｎ３／Ｏｕｔ１の特定時間の部分についての人物ペアが多くカウントされる。尚、他のＯｕｔ点の出現タイミングの関係から、連結関係がないにもかかわらずＩｎ／Ｏｕｔ点の対応ペアが生じる場合もあるが、そのような対応は特定ヒストグラム要素に対しピークを持つ可能性が少ない。以上のような過程でプロットが行われ、最終的には図８の下段に示すようにピークを持つヒストグラム要素（図中、楕円で示すピーク）が特定される。

連結関係情報生成部２６は、このヒストグラム要素を抽出してカメラ間の連結関係の有無を推定し、連結関係情報を生成する。

尚、図８のヒストグラムの例ではピークが１つの場合を示したが、実際の歩行速度は、人物または物体によりさまざまである（図９参照）。そこで、本実施の形態におけるカメラ間連結関係情報生成装置１００では、あるカメラから別のカメラへの移動時間を導出するときに、複数の速度を持つと仮定することで、複数の移動時間計算も可能としている。図１０に示すように、複数のピークは、人物の場合は歩行速度の異なりに対応し、また、人物、自転車、自動車等の種別の異なりとして把握することも可能である。

パラメータ設定部２７は、上記で説明した各種の計算で用いるパラメータの設定を行う。また、データベース３０は、計算に用いる各種データやカメラ間連結関係情報等を保持する。

［実施の形態２］
図１１は、本発明の実施の形態２におけるカメラ間連結関係情報生成装置の内部構成を示すブロック図である。実施の形態２のカメラ間連結関係情報生成装置１０１は、実施の形態１と比較して、連結関係情報生成部２６で生成された連結関係情報が相関値算出部２４へフィードバックされ、後述する類似度基準を算出する点が異なる。その他の構成は、実施の形態１と同じであるため、詳細な説明を省略する。

上記構成のカメラ間連結関係情報生成装置１０１の類似度基準算出動作について説明する。相関値算出部２４は、実施の形態１で説明した連結関係情報に基づいて、人物Ａと人物Ｂの類似度を判定する。類似度基準は以下の式２で算出される。

ここで、ｗ_iは各特徴量の重み係数、類似度_iは各特徴量の類似度を示す。

また、同一人物判定基準は、以下の式３に基づいて判定が行われる。

式２に示すように、身長、速度、色、テクスチャの類似度計算の積和に対して、連結関係情報（連結関係ＡＢの連結確率）を掛け合わせる。即ち、人物Ａが現れたカメラの領域番号と人物Ｂが消失したカメラの領域番号の連結確率を重みとして用いる。ここで用いる連結関係ＡＢの連結確率は、実施の形態１で説明した推定されたカメラ間の連結関係を示す情報で、図１２に示すようなマトリックスに整理されている。

例えば、連結確率が８０％の場合、類似度計算の積和に対して８０％の値を掛け、最終的な類似度値とする。相関値算出部２４は、新たにカメラに出現した人物Ａの対応候補として、複数の対応候補と類似度計算を行い、閾値（ＭＡＴＣＨ＿ＴＨ）を超過した候補の中で最大の値をもつ候補を対応人物として選択する。

複数カメラ間で人物の追尾を行う場合、あるカメラから消失した人物は、一定時間後に別のカメラに現れることが多い。つまり、新たにカメラに現れた人物Ａの対応候補としては、今まで各カメラから消失した人物を対応候補としてピックアップすればよい。以下に、相関値算出部２４が行う人物対応候補の選択動作について説明する。

図１３は、複数カメラ間における人物の移動例を示す図である。時刻ｔ１０において、Ｃａｍ２のＩｎ３に新たな人物が出現した場合（基準となるＩｎ点とする）、このＩｎ点に対応する人物は、任意のカメラから消失した人物（Ｏｕｔ点とする）となる。基準Ｉｎ点と対応するＯｕｔ点の候補は、Ｉｎ点から過去ＴＨ時間に消失したＯｕｔ点となる。図１４に示すように、ｔ１０からＴＨ時間遡った範囲内にあるＯｕｔ１（ｔ６）、Ｏｕｔ６（ｔ５）、Ｏｕｔ４（ｔ４）がＯｕｔ点の候補となることが判る。これら３つの候補との類似度をそれぞれ計算し、最も類似度が高く、且つ、判定基準の閾値を超過した候補を対応させる。

次に、本発明の実施の形態におけるカメラ間連結関係情報生成装置の表示制御処理について説明する。

例えば、実施の形態２で説明したような同一人物判定基準に基づいて、移動する人物の追尾を行う場合、表示制御部４０は、監視者が監視を行いやすいように次のような表示制御を行う。

（１）カメラ間連結関係情報に応じて、次に移動する確率の高いカメラの撮影領域をハイライト表示する。例えば、９台の監視カメラが配置されており、通常は各カメラからの映像を画面を９分割して表示している例において、図１５に示すように、Ｃａｍ１から右側に移動した人物がＣａｍ６内のある領域に出現する確率が高い場合、当該領域をハイライト表示する。（２）カメラ間連結関係情報に応じて、次に移動する確率の高いカメラの映像を拡大表示する。例えば、図１６に示すように、Ｃａｍ１から右側に移動した人物がＣａｍ６内のある領域に出現する確率が高い場合、Ｃａｍ６の画像を大きく表示する。（３）カメラ間連結関係情報に応じて、次に移動する確率の高いカメラの映像が、移動前のカメラ映像の表示に隣接するように配置を修正して表示する。例えば、図１７に示すように、Ｃａｍ１から消失した人物がＣａｍ３内に出現する確率が高い場合、Ｃａｍ３の画像をＣａｍ１の右側に配置変更して表示する。

以上のような表示制御により、人物があるカメラの撮影範囲から別のカメラの撮影範囲へ移動しても、監視者は容易に人物の追尾が行える。なお、このような表示制御は、前述した実施の形態１において移動する人物の追尾を行う場合であっても、表示制御部４０により行うことが可能である。

次に、本発明の実施の形態におけるカメラ間連結関係情報生成装置のマップ表示について説明する。

本発明の実施の形態におけるカメラ間連結関係情報生成装置では、取得したカメラ間連結関係情報に基づいて、連結関係に応じた映像の配置を行う。例えば、あるカメラのＯｕｔ点とあるカメラのＩｎ点の連結確率が高く、且つ対応する領域における人物の消失及び出現に時間的距離がある場合、表示制御部４０は、図１８に示すように双方のカメラの映像を離間させて表示する。一方、あるカメラのＯｕｔ点とあるカメラのＩｎ点の連結確率が高く、且つ対応する領域における人物の消失及び出現が同時であるような場合（双方のカメラの撮影範囲が重複している場合）、表示制御部４０は、図１９に示すように双方のカメラの映像を適切に重複させて表示する。

以上のような表示制御により、人物があるカメラの撮影範囲から別のカメラの撮影範囲へ移動しても、監視者は容易に視認して人物の追尾が行える。なお、このようなマップ表示に係る表示制御についても、前述した実施の形態１において移動する人物の追尾を行う場合であっても、表示制御部４０により行うことが可能である。

本発明にかかるカメラ間連結関係情報生成装置は、信頼性の高い連結関係の推定により被写体の移動先を予測して対応先を絞り込めるという効果を有し、複数のカメラを用いて広域監視を行うような監視システムなどにおいて有用である。

本発明の実施の形態１におけるカメラ間連結関係情報生成装置の内部構成を示すブロック図Ｉｎ領域が形成される様子を説明するための図（Ｉｎ点収集）Ｉｎ領域が形成される様子を説明するための図（領域分割）Ｉｎ領域が形成される様子を説明するための図（楕円近似）Ｉｎ領域が形成される様子を説明するための図（統合処理）複数カメラ間における人物の移動例を示す図Ｏｕｔ点の候補が存在する時間的範囲を概念的に示す模式図頻度ヒストグラム作成部が作成するヒストグラムの対応ペアのプロットの様子を説明するための図歩行速度により到達時間に差異が生じることを示す図複数ピークを持つヒストグラム例を示す図本発明の実施の形態２におけるカメラ間連結関係情報生成装置の内部構成を示すブロック図カメラ間の連結関係情報を概念的に示す図複数カメラ間における人物の移動例を示す図Ｏｕｔ点の候補が存在する時間的範囲を概念的に示す模式図出現する確率が高い領域をハイライト表示する表示例を示す図出現する確率が高い領域を拡大表示する表示例を示す図出現する確率が高い領域を移動前の映像に隣接するように表示する表示例を示す図カメラ間の連結関係に基づいて映像を配置する表示例を示す図（離間）カメラ間の連結関係に基づいて映像を配置する表示例を示す図（重複）

符号の説明

１０インターフェース部
２１特徴量抽出部
２２Ｉｎ／Ｏｕｔ点抽出部
２３Ｉｎ／Ｏｕｔ領域形成部
２４相関値算出部
２５頻度ヒストグラム作成部
２６連結関係情報生成部
２７パラメータ設定部
３０データベース
４０表示制御部
５０表示部
１００、１０１カメラ間連結関係情報生成装置
２００、２０１、２０２監視カメラ
３００ネットワーク回線

Claims

複数のカメラで撮影された映像から被写体の特徴量を抽出する特徴量抽出手段と、
前記複数のカメラで撮影された映像の各々において被写体が出現した点であるＩｎ点及び消失した点であるＯｕｔ点を抽出するＩｎ／Ｏｕｔ点抽出手段と、
前記Ｉｎ／Ｏｕｔ点抽出手段で抽出された前記Ｉｎ点に基づき前記Ｉｎ点を含むＩｎ領域及び前記Ｉｎ／Ｏｕｔ点抽出手段で抽出された前記Ｏｕｔ点に基づき前記Ｏｕｔ点を含むＯｕｔ領域を形成するＩｎ／Ｏｕｔ領域形成手段と、
前記Ｉｎ／Ｏｕｔ領域形成手段で形成された前記Ｉｎ領域に含まれるＩｎ点と前記Ｏｕｔ領域に含まれるＯｕｔ点の複数の組合せ各々について、前記特徴量抽出手段で抽出された前記被写体の特徴量毎の類似度の総和を求めることにより相関値を算出する相関値算出手段と、
前記相関値算出手段で算出された前記相関値に基づき頻度ヒストグラムを作成する頻度ヒストグラム作成手段と、
前記頻度ヒストグラム作成手段で作成された前記頻度ヒストグラムのピークを抽出することから前記複数のカメラ間の連結関係の有無を推定して連結関係情報を生成する連結関係情報生成手段と、
を備えるカメラ間連結関係情報生成装置。
前記複数のカメラで撮影された映像を表示する表示手段と、前記表示手段の表示形態を制御する表示制御手段と、を備える請求項１に記載のカメラ間連結関係情報生成装置。
前記表示制御手段は、前記複数のカメラのうち一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置に移動する被写体が表示されている場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、移動後の前記被写体が表示される確率の高い前記複数のカメラのうち他のカメラの前記Ｉｎ領域に対応する前記表示手段の表示位置をハイライトする請求項２に記載のカメラ間連結関係情報生成装置。
前記表示制御手段は、前記複数のカメラのうち一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置に移動する被写体が表示されている場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、前記複数のカメラのうち他のカメラに対応する前記表示手段の表示面積を通常より大きくする請求項２に記載のカメラ間連結関係情報生成装置。
前記表示制御手段は、前記複数のカメラのうち一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置に移動する被写体が表示されている場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、移動後の前記被写体が表示される確率の高い前記複数のカメラのうち他のカメラの前記Ｉｎ領域に対応する前記表示手段の表示位置が、前記一カメラの前記Ｏｕｔ領域に対応する前記表示手段の表示位置と隣接するように、前記各カメラに対応する前記表示手段の表示位置を変更する請求項２に記載のカメラ間連結関係情報生成装置。
前記連結関係情報生成手段で生成された前記連結関係情報は前記複数のカメラのうち一カメラの任意領域と他のカメラの任意領域との間の移動時間情報を含んでおり、前記表示制御手段は、前記連結関係情報に応じて、前記一カメラに対応する前記表示手段の表示位置と前記他のカメラに対応する前記表示手段の表示位置とを離間させる請求項２に記載のカメラ間連結関係情報生成装置。
前記表示制御手段は、前記複数のカメラのうち一カメラの撮影範囲と他のカメラの撮影範囲とが重複している場合、前記連結関係情報生成手段で生成された前記連結関係情報に応じて、前記一カメラに対応する前記表示手段の表示位置と前記他のカメラに対応する前記表示手段の表示位置とを重複させる請求項２に記載のカメラ間連結関係情報生成装置。