JP2019050438A - 映像監視装置及び映像監視方法 - Google Patents

Abstract

【課題】 カメラ映像に映る人物の数が多くなったときに不審者検出の処理増大を抑えた映像監視装置を提供する。
【解決手段】 フレーム画像から、人物を検出し、検出したそれぞれの前記人物を複数フレームに渡って追跡する人物追跡部と、前記人物追跡部の追跡結果から、前記人物のうち、移動方向及び移動速度が近いと推定する前記人物を集団として認識し、前記集団ごとに集団移動方向及び集団移動速度を含む人流情報を生成する人流情報生成部と、前記人流情報から、人流の異変が発生したか否かを判別し、異変が発生したと判別したときの位置を特定する人流情報解析部と、前記人物のうち、前記人流情報解析部が特定した前記位置の付近に存在する前記人物を不審者候補として検出する不審者候補検出部と、前記検出した不審者候補を提示する不審者候補提示部とを備えることを特徴とするものである。
備えた。
【選択図】 図１

Description

この発明は、カメラを用いて不審者などを監視するための映像監視装置に関する。

近年、店内や施設内及び市街地など、屋内屋外問わず様々な箇所にカメラを設けて撮影された映像を利用して、不審者などを監視するための監視システムが開発されている。特に、イベント会場など人が多く集まる場所での安全対策が求められており、事件など問題が発生したときの不審者の特定や適切な避難誘導などが重要になる。

従来は、警備員など監視をする人がカメラ映像を表示したディスプレイを見て、ディスプレイに表示された映像に映る人物から不審者の推定を行ない、推定した不審者の疑いのある人物の行動をカメラ映像または直接現場で確認をすることで不審者の特定を行なうのが一般的であった。ただし、この方法では、人の数やカメラ映像の数が多ければ不審者の特定を行なうのに時間を要するという問題があった。

そこで、コンピュータを利用してカメラ映像から監視対象である人の移動軌跡に基づいて予め学習した不審行動モデルとの比較を実施することで異常な行動をしている不審者を特定して識別する方法があった（例えば、特許文献１参照）。

特開２００８−２１７６０２号公報（第４−７頁、第３図）

しかしながら、特許文献１の方法では、人が多く集まる場所であればカメラ映像に映る人物全ての移動軌跡を追う必要があり、人の数が多ければコンピュータの処理が莫大に必要になるという問題があった。

この発明は、上述のような課題を解決するためになされたもので、カメラ映像に映る人物の数が多くなったときに処理の増大を抑えた映像監視装置を提供することを目的とする。

この発明に係る映像監視装置においては、フレーム画像から、人物を検出し、検出したそれぞれの前記人物を複数フレームに渡って追跡する人物追跡部と、前記人物追跡部の追跡結果から、前記人物のうち、移動方向及び移動速度が近いと推定する前記人物を集団として認識し、前記集団ごとに集団移動方向及び集団移動速度を含む人流情報を生成する人流情報生成部と、前記人流情報から、人流の異変が発生したか否かを判別し、異変が発生したと判別したときの位置を特定する人流情報解析部と、前記人物のうち、前記人流情報解析部が特定した前記位置の付近に存在する前記人物を不審者候補として検出する不審者候補検出部と、前記検出した不審者候補を提示する不審者候補提示部とを備えることを特徴とするものである。

この発明は、検出された複数の人物を集団として認識して集団の流れの異変から不審者候補を検出するので、カメラ映像に映る人物の数が多くなっても集団で纏めて把握することができるのでカメラ映像に映る人物の数が多くなっても処理の増大を抑えることができるという効果を奏する。

実施の形態１にかかる映像監視システムの構成を示すブロック図である。 実施の形態１にかかる人物追跡情報Ｄ１の一例を示す図である。 実施の形態１にかかる人流情報Ｄ２の一例を示す図である。 ディスプレイ３０に提示する不審者候補提示情報Ｄ５の一例を示す図である。 実施の形態１にかかる映像監視装置１０の処理を示すフローチャート図である。 実施の形態２にかかる映像監視システムの構成を示すブロック図である。 実施の形態２にかかる映像監視システムの構成変形例を示すブロック図である。

実施の形態１．
図１は、本実施の形態にかかる映像監視システムの構成を示すブロック図である。映像監視装置１０は、カメラ２０からの映像を入力としてディスプレイ３０に不審者候補提示情報Ｄ５を提示する。映像監視装置１０は、人物追跡部１０１、人流情報生成部１０２、人流情報解析部１０３、不審者情報検出部１０４、及び不審者情報提示部１０５を備える。

カメラ２０は、撮像した画像をフレーム単位で保持し、フレーム単位で映像監視装置１０に出力する。以下、撮像した画像をフレーム画像ともいう。また、撮像する対象が監視対象エリアとなる位置に設けられる。

人物追跡部１０１は、カメラ２０から入力されたフレーム画像から人物を検出する。また、検出した人物が複数フレームにわたって同一人物として認識した場合、その移動情報を示す人物追跡情報Ｄ１を生成し、人物情報生成部１２へ出力する。また、人物検出結果を不審者候補検出部１０４へ出力する。

人物追跡部１０１による人物検出方法としては、事前に多くの人物画像を収集し、その輝度の勾配情報や輪郭情報などの人物特徴を学習することで、人物判別器を作成しておき、カメラ２０からフレーム画像を取得すると、前記人物判別器によって、そのフレーム画像中に学習した人物特徴に類似する特徴を持つ領域が含まれているかどうかを判別し、含まれていた場合にその領域の座標（始点座標および縦横の長さ）を特定する方法がある。また、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）と呼ばれる特徴量を用いた人物検出方法が一般的であるが、本文献では、このように既知の人物検出手法のいずれかを用いて人物を検出する。

人物追跡部１０１による人物追跡方法としては、上述した人物検出方法で人物を検出する際に抽出する人物特徴を利用し、複数フレームにおいて検出した人物の人物特徴同士の類似度が一定の閾値以上となる場合に、それらの人物が同一であるとして判定する方法がある。但し、閾値を超える類似度となる組み合わせが複数ある場合には、そのうちの最も類似度が高いものを同一人物として判定する。

また、類似度が高い場合であっても、特定された座標が大きく異なる場合には同一人物ではないと判定することができる。例えば、人物追跡部１０１がカメラ２０から連続して取得するフレーム間の時間が３３ｍｓ、フレーム画像上の１ピクセルに対する実際の距離が０．５ｍとする。また、上記の人物検出方法によって特定し、その類似度が閾値以上となった人物の始点座標が連続するフレーム間で１０００ピクセル離れていたとする。この場合、この人物が同一人物だとすれば３３ｍｓの間に５００ｍ進んだことになり、現実的に不可能であるため、同一人物ではないとして判定することができる。このように、監視システムにおいて設置したカメラ２０の位置関係とフレーム画像間の時間間隔の情報から、類似する人物の移動速度が推定できるので、人間の移動速度と考えにくい移動速度であれば同一人物ではないとして判定することができる。

図２は、人物追跡部１０１が生成する人物追跡情報Ｄ１の一例を示す図である。図２のとおり、人物追跡情報Ｄ１には、検出された各々の人物を示す人物番号Ｄ１ａと、検出フレーム番号Ｄ１ｂと、検出座標Ｄ１ｃと、人物特徴情報Ｄ１ｄとが含まれる。

人物番号Ｄ１ａは、人物追跡部１０１が、異なる人物に対して識別を可能にするために別個に付与する番号である。

検出フレーム番号Ｄ１ｂは、検出した人物ごとにその人物が映っていたフレーム画像のフレーム番号を示す。フレーム番号はカメラ２０が出力するフレーム画像ごとに割り当てた番号であっても、人物追跡部１０１がフレーム画像ごとに割り当てた番号であっても構わない。

検出座標Ｄ１ｃは、人物追跡部１０１がフレーム画像においてその人物を検出した座標である。座標は例えばフレーム画像について左上のピクセル位置を（０，０）とする２次元軸で表現したものであり、検出した人物の中心位置を推定した位置を検出座標Ｄ１ｃとする。例えば頭部の中心位置など、検出した人物の一部分の位置を検出座標Ｄ１ｃとしても構わない。

人物特徴情報Ｄ１ｄは、人物追跡部１０１が抽出した人物特徴である。人物特徴は、例えばＨＯＧ特徴量であって、フレーム画像を分割した画像領域内における勾配方向（エッジの方向）と勾配強度との関係をヒストグラム化した特徴量を示す。例えば、フレーム画像または人物が映っている画像領域の画像サイズが３０ピクセル×６０ピクセルの場合、分割した画像領域の単位１セルを５ピクセル×５ピクセルとしてセル単位でのそれぞれの勾配方向に対する勾配強度を求めてヒストグラム化する。ヒストグラム化するにあたって例えば、勾配方向を０［ｄｅｇ］から１８０［ｄｅｇ］までを２０［ｄｅｇ］ずつの９方向に分割するものとする。

図２においては、フレーム番号１６２５における人物１の人物特徴は、勾配方向０［ｄｅｇ］での勾配強度が３０、勾配方向２０［ｄｅｇ］での勾配強度が１９、勾配方向４０［ｄｅｇ］での勾配強度が１７であることを示している。同様に、フレーム番号１１７３における人物２の人物特徴は、勾配方向０［ｄｅｇ］での勾配強度が１０、勾配方向２０［ｄｅｇ］での勾配強度が２、勾配方向４０［ｄｅｇ］での勾配強度が５７であることを示している。

人流情報生成部１０２は、人物追跡情報Ｄ１から、検出した人物のうち、移動方向及び移動速度が近い人物を集団として認識し、人流情報Ｄ２を生成する。ここで、人流とは、人物追跡部１０１によって追跡した人物から、同じ方向に同じ速度で移動し、一定の範囲内（近傍）に存在する人物を集団として認識したとき、それぞれの集団の１つ以上のフレームでの移動情報（集団の中心座標、移動方向、移動速度）を表す。集団の中心座標は、集団に含まれる人物の検出座標Ｄ１ｃの平均座標である。

図３は、人流情報生成部１０２から人流情報解析部１０３へ出力される人流情報Ｄ２の一例を示す図である。Ｄ２ａは集団番号であって異なる集団に対して識別を可能にするために別個に付与する番号である。図３では、人物番号Ｄ１ａとして１と４と７にあたる人物が一つの集団（集団番号１）として認識されたことを示す。また、集団番号１に該当する集団の中心座標Ｄ２ｃは（２８０，２００）であることを示す。このように、人流情報Ｄ２には、それぞれの集団ごとに、含まれる人物の人物番号Ｄ２ｂと、集団の中心座標Ｄ２ｃと、集団移動方向Ｄ２ｄと、集団移動速度Ｄ２ｅとが含まれる。集団移動方向Ｄ２ｄは、特定の座標方向を０［ｄｅｇ］としたときに、連続するフレーム間において移動した方向の角度を表し、例えば集団移動方向Ｄ２ｄの単位を［ｄｅｇ］とする。

集団移動速度Ｄ２ｅは、連続するフレーム間における集団の中心座標Ｄ２ｃの距離を表し、例えば集団移動速度Ｄ２ｅの単位を１フレーム単位の移動画素距離［ピクセル／フレーム］とする。集団移動速度Ｄ２ｅは、１フレーム間における水平方向の移動画素数の二乗と垂直方向の移動画素数の二乗とを加算したものから平方根を求めた値としてもよいし、平方根を求める前の値としてもよい。１ピクセルあたりの距離はカメラ２０を設けた位置関係から予め設定しておくことで換算することができる。例えば、カメラ２０で撮像されたフレーム画像内の床のタイルのピクセル数と実際の床のタイルの距離から１ピクセルあたりの距離換算の設定を決めることができる。

人流情報解析部１０３は、人流情報生成部１０２が生成した人流情報Ｄ２を解析して異変発生情報Ｄ３を生成する。また、異変発生情報Ｄ３を不審者候補検出部１０４へ出力する。

異変発生情報Ｄ３は、人流情報解析部１０３によって人流情報Ｄ２を解析した結果、人流に異変が発生していると判断された場合に、異変が発生したときのフレーム番号を異変発生フレーム番号Ｄ３ａとし、異変が発生したときの座標を異変発生座標Ｄ３ｂとして含む。

人流情報解析部１０３が、人流に異変が発生していると判断する方法について説明する。人流の異変は、追跡中の集団における集団移動速度Ｄ２ｅの突発的な変化や、追跡中の集団に属する人物が急激に減少する変化を指す。前者は、集団移動速度Ｄ２ｅの時間変動量が設定した閾値を超えた場合であって、例えば集団移動速度Ｄ２ｅが急激に早くなった場合、その近辺で異変が発生し、逃げる行動をとっていると考えられる。後者の例として、集団に３人が属しており、突如それぞれが異なる方向に移動を始めた場合、集団として認識するための「近傍」もしくは「同一方向」の条件を満たさなくなるため、それまで各々が属していた集団は消滅し、新たに各々が異なる集団として追跡されるようになることが挙げられる。但し、集団が移動によってカメラ２０の画角外に移動して映らなくなった場合は、異変が発生していると判断しない。つまり、前者は集団のまま、同一の方向に逃げる場合であり、後者は一斉に散らばるように逃げる場合である。

急激な変化を検知することで人流に異変が発生していると判断するため、例えば、集団に属する人物の１人が、速度は変えずに異なる方向に移動を始めた場合は、基本的に、これを異変として判断しない。この場合、単に目的地が異なるため、異なる方向に移動始めた可能性が高い。一方、異変が発生した場合は、その時点およびそれ以降において集団移動速度Ｄ２ｅが非常に大きくなると考えられる。

異変ありと判断した場合は、人流情報解析部１０３は異変発生情報Ｄ３を生成して不審者候補検出部１０４に出力する。異変なしと判断した場合は、異変発生情報Ｄ３を不審者候補検出部１０４に出力せずに、人流情報Ｄ２が更新されるまで待機する。

不審者候補検出部１０４は、人物追跡部１０１が生成した人物追跡情報Ｄ１と人流情報解析部１０３が生成した異変発生情報Ｄ３を解析して不審者候補を検出し、不審者候補情
報Ｄ３を生成する。また不審者候補情報Ｄ４を不審者候補提示部１０５へ出力する。ここで、人流情報解析部１０３から異変発生情報Ｄ３が出力されたときは異変ありと通知されたものと推定することができるので人流情報解析部１０３から異変発生情報Ｄ３が出力されたとき、または異変発生情報Ｄ３に変更があった場合にのみ動作を行なうものとしてもよい。

不審者候補情報Ｄ４は、不審者候補検出部１０４が不審者候補と検出した人物について、人物追跡情報Ｄ１において割り当てた人物番号Ｄ１ａとその人物に関する情報である検出フレーム番号Ｄ１ｂ、検出座標Ｄ１ｃ、及び人物特徴情報Ｄ１ｄと抽出したものを含む。

不審者候補検出部１０４は、異変発生座標Ｄ３ｂと人物の検出座標Ｄ１ｃとを比較し、異変発生座標Ｄ３ｂから予め設定した閾値以内の距離に存在する人物を、不審者候補として特定する。もしくは、異変発生座標Ｄ３ｂと人物の検出座標Ｄ１ｃとを比較し、異変発生座標Ｄ３ｂに最も近い距離に存在する人物を不審者候補として特定したり、異変発生座標Ｄ３ｂに近い人物から順に、予め設定した人数だけ不審者候補として特定したりする。

予め設定した距離の閾値及び不審者候補数の閾値は、任意で決定できる。例えば不審者候補を出来るだけ多く検出し、警備員の目視によって最終的に特定したい場合には距離の閾値を長く設定したり、不審者候補の人数の閾値を多く設定したりすることができる。出来るだけ候補を絞り込みたい場合には、距離の閾値を短く設定したり、人数の閾値を１人に絞ったりすることができる。

不審者候補提示部１０５は、不審者候補検出部１０４が生成した不審者候補情報Ｄ４と、カメラ２０から出力されたフレーム画像とを入力し、不審者候補提示情報Ｄ５を生成してディスプレイ３０に出力する。

ディスプレイ３０は、不審者候補提示部１０５が生成した不審者候補提示情報Ｄ５を入力し、表示する。

図４は、ディスプレイ３０に提示する不審者候補提示情報Ｄ５の一例を示す図である。図４では、カメラ２０から出力されたフレーム画像に映る人物のうち、不審者候補と検出した人物を矩形で囲む表示を行なっている。このようにディスプレイ３０に提示することで、警備員が一目で不審者候補の有無やその位置を認識しやすくなる。

次に映像監視装置１０の処理の流れを説明する。図５は、映像監視装置１０の処理を示すフローチャート図である。

まず、人物追跡部１０１は、集団追跡処理を実行していない新たなフレーム画像をカメラ２０が保持している場合（Ｓ００１：Ｙｅｓ）、このフレーム画像を取得する（Ｓ００２）。新たなフレーム画像をカメラ２０が保持していない場合（Ｓ００１：Ｎｏ）、カメラ２０が新たなフレーム画像を保持するまで待機する。

人物追跡部１０１は、フレーム画像を取得した後（Ｓ００２）、このフレーム画像に対して人物検出処理を実行する（Ｓ００３）。

人物が検出できた場合（Ｓ００４：Ｙｅｓ）、検出した人物の人物特徴について、前のフレームで検出した人物の特徴との類似度を求める。但し、前のフレームで人物を検出していない場合、この処理（Ｓ００５）は行わない。また、人物が検出出来なかった場合は、カメラ２０が新たなフレーム画像を保持するまで待機する（Ｓ００４：Ｎｏ）。

前フレームとの比較によって類似度が高い人物を検出した場合、同一の人物として判定し、人物追跡情報Ｄ１を生成する（Ｓ００６：Ｙｅｓ）。類似度が高い人物を検出できなかった場合は、カメラ２０が新たなフレーム画像を保持するまで待機する（Ｓ００６：Ｎｏ）。

人流情報生成部１０２は、人物追跡部１０１から人物追跡情報Ｄ１を受信し、追跡している各々の人物の移動方向と移動速度を算出する（Ｓ００７）。

人流情報生成部１０２は更に、追跡している各々の人物について、一定の範囲内（近傍）に存在し、かつ前記算出した移動方向と移動速度が位置する人物を集団として認識し、集団に含まれる人物番号Ｄ２ｂと、集団の中心座標Ｄ２ｃと、集団移動方向Ｄ２ｄと、集団移動速度Ｄ２ｅとを含む人流情報Ｄ２を生成し、人流情報解析部１０３に送信する（Ｓ００８）。

人流情報解析部１０３は、人流情報生成部１０２から人流情報Ｄ２を受信し、人流における異変発生の有無を判断する（Ｓ００９）。

人流情報解析部１０３は、異変ありと判断した場合、人流解析部１３は異変発生情報Ｄ３を不審者候補検出部１０４に送信する（Ｓ００９：Ｙｅｓ）。異変なしと判断した場合、カメラ２０が新たなフレーム画像を保持するまで待機する（Ｓ００９：Ｎｏ）。

不審者候補検出部１０４は、人流情報解析部１０３から異変発生情報Ｄ３を受信する。また、人物追跡部１０１から人物追跡情報Ｄ１を受信する。その後、異変発生座標Ｄ３ｂと人物の検出座標Ｄ１ｃとを比較し、異変発生座標Ｄ３ｂから一定の閾値以内の距離に存在する人物を、不審者候補として特定する（Ｓ０１０）。もしくは、異変発生座標Ｄ３ｂと人物の検出座標Ｄ１ｃとを比較し、異変発生座標Ｄ３ｂに最も近い距離に存在する人物を不審者候補として特定したり、異変発生座標Ｄ３ｂに近い人物から順に、一定の人数だけ不審者候補として特定したりする。

以上の処理により、不審者候補検出部１０４は不審者候補情報Ｄ４を生成し、不審者候補提示部１０５に送信する。

不審者候補提示部１０５は、不審者候補検出部１０４から不審者候補情報Ｄ４を受信する。また、カメラ２０からフレーム画像を取得する。また、図５に例示するような不審者候補提示情報Ｄ５を生成し、ディスプレイ３０に送信し、ディスプレイ３０がそれを表示する（Ｓ０１１）。図５では、カメラ２０から受信したフレーム画像に対し、不審者候補として判断した人物を矩形で囲むなどして、警備員が一目で不審者候補の有無やその位置を認識し易いようにしている。

これにより、本実施の形態にかかる映像監視装置１０においては、検出された複数の人物を集団として認識して集団の流れの異変から不審者候補を検出するので、カメラ映像に映る人物の数が多くなっても集団で纏めて把握することができるのでカメラ映像に映る人物の数が多くなっても処理の増大を抑えることができるという効果を奏する。

また、異変発生時、異変発生地点から不審者が逃亡したり、その周辺の人物が逃げたりする行動によって起こる人流の乱れを検知することができる。また、その異変が生じた地点の周辺に存在する不審者候補を自動的に検出し、候補とされた人物を追跡してディスプレイ上に表示することができる。このため、本発明においては、事前に学習した不審者行動パターンによらない動きをする不審者についても、不審者候補として検出することができる。これにより、警備員は映像監視装置における大量の映像データの中から、不審者候補の位置や逃走経路を迅速に把握することが可能になるため、適切な警備を迅速に実行することが出来る。

上述の不審者候補検出部１０４は、人流の異変情報から不審者候補を検出することとしているが、カメラのフレーム画像を利用した画像認識技術によってマスクやサングラスなどの変装用の装備や、凶器を検出することで、装備情報を不審者候補の検出に利用することができる。例えば、変装用の装備または凶器を所持する人物は不審度が高いとして判定することができる。この場合、不審度が高い人物には不審者候補提示部１０５が生成する不審者候補提示情報Ｄ５における矩形の色をより目立つ色にする。これにより、警備員はより迅速に不審者の位置を把握することが可能になる。

また、不審者候補検出部１０４は、カメラのフレーム画像を利用した画像認識技術によって年齢推定を行うことで、推定年齢の情報を不審者候補の検出に利用することができる。例えば、１０歳の子供が不審者である可能性は低いと考えられるため、このような人物はより不審度が低いとして、不審者候補提示情報Ｄ５における矩形の色を目立たない色にするか、この人物は不審者候補として表示しないようにする。このようにすることで、不審者候補を絞り込むことができるため、警備員はより迅速に真の不審者の位置を把握することが可能になる。

また、不審者候補検出部１０４は、人物の位置関係と移動状態から不審者候補を絞り込むことが出来る。例えば、異変発生後、周辺の不審者ではない人物は不審者から逃げる行動をとると考えられるため、異変発生後に同じ方向に移動する人物のうち、より異変発生地点から遠い位置に存在する人物は不審者ではない可能性が高い。不審者が不審者でない人物を追うことはあっても、その逆はあり得ないと考えられるからである。このようにすることで、不審者候補を絞り込むことができるため、警備員はより迅速に真の不審者の位置を把握することが可能になる。

また、不審者候補検出部１０４は、不審者候補の移動速度が特定の閾値以下の場合には、逃げる行動を取っていない可能性が高いとして、不審者候補ではないと判定しても良い。このようにすることで、不審者候補を絞り込むことができるため、警備員はより迅速に真の不審者の位置を把握することが可能になる。

実施の形態２．
図６は、本発明の実施の形態２に係る映像監視装置１１の構成を概略的に示すブロック図である。映像監視装置１１は、実施の形態２に係る映像監視方法を実施することができる装置である。図６において、図１に示される構成要素と同一又は対応する構成要素には、図１における符号と同じ符号を付している。実施の形態２においては、図１で示された不審者候補検出部１０４が異音検知部１１６に、異音検知部１８がマイク１７に接続されている場合を説明する。実施の形態２に係る映像監視装置１０は、不審者候補を検出するためのトリガについて、異音検知を利用する点において、実施の形態１に係る映像監視装置１０と異なる。この点を除き、実施の形態２は、実施の形態１と同じである。

マイク４０は、音声データを異音検知部１１６へ送信する。このマイク４０は１台のマイクでもよいし、複数台用いて音源方向を高精度に抽出できるように構成してもよい。

異音検知部１１６は、マイク４０から音声データを取得し、音声データを分析する。例えば、音声データから「会話」「ＢＧＭ」「足音」「悲鳴」「怒号」などに音声データを分類する。この中で、「悲鳴」や「怒号」といった生活音などと異なる、事件に関連性の高い音声を検出する。音声データの分析は周波数（声の高さ）や振幅（声の大きさ）をそれぞれの分類におけるモデルデータと比較し、相関を取ることで、その分類を判別するなどできる。

異音検知部１１６は、前記音声データの分類により「悲鳴」や「怒号」を検出するとともに、音源の方向推定を行う。音源方向推定技術も近年盛んに研究開発がされており、同様の方式をとることができる。複数台のマイクでの方向推定技術について、その一例を簡単に説明すると、それぞれのマイクで集音した音声データの時間差を検出することで方向を推定する。

異音検知部１１６は、「悲鳴」や「怒号」を検出し、それらの音源の方向推定を行った結果として、その位置を不審者候補検出部１１７に送信する。この位置は、予めマイク４０での推定位置と、カメラ２０で撮像する座標系との対応を調査しておき、マイクで推定した位置をカメラ座標系での位置に置き換えて送信する。不審者候補検出部１１７の動作及び作用は、実施の形態１の内容と同じため、説明を省略する。

以上に説明したように、本実施の形態にかかる映像監視装置１１においては、異音が発生した位置を異音検知によって特定することから、人が入り組んで移動するような激しい混雑状態にあって、実施の形態１で説明した人流の変異をカメラによって捉えられない場合にも、異変が発生した位置を特定でき、その周辺から不審者候補を検出することができる。これにより、警備員は大量の映像監視装置による映像データの中から、不審者を特定し、その行動を追跡することを可能にできるため、警備員が迅速に状況を把握し、適切な警備を実行することが出来る。

図７は、本発明の実施の形態１及び２に係る映像監視装置の変形例（映像監視装置１２）を示すブロック図である。図７において、図１に示される構成要素と同一又は対応する構成要素には、図１における符号と同じ符号を付している。図７においては、センシング装置５０は図６で示されたマイク４０の変形例であって、異変検知部１２６は図６で示された異音検知部１１６の変形例である。例えばセンシング装置５０が臭いセンサーであって異変検知部１２６が異臭検知器であった場合である。また、センシング装置５０としてカメラ２０からのフレーム画像を流用した異変検知の方法として、実施の形態１に示した例の他にも、爆発物から生じる閃光を、輝度が著しく高いエリアを検出することで認識し、位置を特定する方法や、火災や爆発を画像処理により認識して、位置を特定する方法も利用できる。更に、前記のように単体のセンサーを利用するだけでなく、複数のセンサーを利用し、それらセンサーデータの解析の結果を複合的に勘案して異常を検知し、位置を特定してもよい。このようにすることで、より精度良く異常が発生した位置を特定でき、不審者の推定が実現できる。

１０、１１、１２ 映像監視装置
１０１ 人物追跡部
１０２ 人流情報生成部
１０３ 人流情報解析部
１０４、１１７、１２７ 不審者情報検出部
１０５ 不審者情報提示部
１１６ 異音検知部
１２６ 異変検知部
２０ カメラ
３０ ディスプレイ
４０ マイク
５０ センシング装置

Claims (14)

1. フレーム画像から、人物を検出し、検出したそれぞれの前記人物を複数フレームに渡って追跡する人物追跡部と、
   前記人物追跡部の追跡結果から、前記人物のうち、移動方向及び移動速度が近いと推定する前記人物を集団として認識し、前記集団ごとに集団移動方向及び集団移動速度を含む人流情報を生成する人流情報生成部と、
   前記人流情報から、人流の異変が発生したか否かを判別し、異変が発生したと判別したときの位置を特定する人流情報解析部と、
   前記人物のうち、前記人流情報解析部が特定した前記位置の付近に存在する前記人物を不審者候補として検出する不審者候補検出部と、
   前記検出した不審者候補を提示する不審者候補提示部と、
   を備えることを特徴とする映像監視装置。
2. 前記人流情報生成部は、認識した前記集団のうち、前記集団に属するそれぞれの前記人物の前記移動方向がそれぞれ異なる方向を取ったと推定した場合に、前記人流情報から前記集団が消滅させて新たに異なる集団として認識して新たな前記人流情報を生成し、
   前記人流情報解析部は、前記人流情報から前記集団が消滅した場合に、異変が発生したと判別する
   ことを特徴とする請求項１に記載の映像監視装置。
3. 前記人流情報解析部は、前記集団移動速度の時間変動量が予め設定した閾値を超えた場合に、異変が発生したと判別する
   ことを特徴とする請求項１または請求項２に記載の映像監視装置。
4. 前記不審者候補検出部は、前記人物のうち、前記人流情報解析部が特定した前記位置に最も近く存在する前記人物を前記不審者候補として検出する
   ことを特徴とする請求項１から３のいずれか１項に記載の映像監視装置。
5. 前記不審者候補検出部は、前記人物のうち、前記人流情報解析部が特定した前記位置から近くに存在している順に、予め設定した人数分を前記不審者候補として検出する
   ことを特徴とする請求項１から４のいずれか１項に記載の映像監視装置。
6. 前記不審者候補検出部は、前記人物のうち、前記人流情報解析部が特定した前記位置から特定の閾値以内の距離に存在する前記人物を前記不審者候補として検出する
   ことを特徴とする請求項１から５のいずれか１項に記載の映像監視装置。
7. 前記不審者候補検出部は、前記人流情報解析部が特定した前記位置の周辺で複数の前記不審者候補の前記移動方向が同じ場合は、前記人物のうち、前記人流情報解析部が特定した前記位置に近い側の前記人物を前記不審者候補として検出する
   ことを特徴とする請求項１から６のいずれか１項に記載された映像監視装置。
8. 前記不審者候補検出部は、前記人物のうち、前記移動速度が予め設定した閾値以下の前記人物を前記不審者候補から除外する
   ことを特徴とする請求項１から７のいずれか１項に記載された映像監視装置。
9. 前記不審者候補検出部は、前記映像データから前記人物の装備情報及び所持情報を検出して、前記不審者候補の検出に用いる
   ことを特徴とする請求項１から８のいずれか１項に記載された映像監視装置。
10. 前記不審者候補検出部は、前記映像データから前記人物の年齢情報を推定し、前記不審者候補の検出に用いる
    ことを特徴とする請求項１から９のいずれか１項に記載された映像監視装置。
11. 音声データを収集して悲鳴または怒号を含む特定音を検出し、検出した前記特定音の音源方向の推定を行う異音検知部をさらに備え、
    前記不審者候補検出部は、前記異音検知部で検出した前記特定音及び推定した前記音源方向を用いて前記不審者候補を検出する
    ことを特徴とする請求項１から１０のいずれか１項に記載された映像監視装置。
12. 予め設定した異変状態を検知し、前記異変状態の発生位置の推定を行う異変検知部をさらに備え、
    前記不審者候補検出部は、前記異変状態の発生位置を用いて前記不審者候補を検出する
    ことを特徴とする請求項１から１０のいずれか１項に記載された映像監視装置。
13. フレーム画像から、人物を検出し、検出したそれぞれの前記人物を複数フレームに渡って追跡する人物追跡ステップと、
    前記人物追跡ステップの追跡結果から、前記人物のうち、移動方向及び移動速度が近いと推定する前記人物を集団として認識し、前記集団ごとに集団移動方向及び集団移動速度を含む人流情報を生成する人流情報生成ステップと、
    前記人流情報から、人流の異変が発生したか否かを判別し、異変が発生したと判別したときの位置を特定する人流情報解析ステップと、
    前記人物のうち、前記人流情報解析ステップが特定した前記位置の付近に存在する前記人物を不審者候補として検出する不審者候補検出ステップと、
    前記検出した不審者候補を提示する不審者候補提示ステップと、
    を備えることを特徴とする映像監視方法。
14. 音声データを収集して悲鳴または怒号を含む特定音を検出し、検出した前記特定音の音源方向の推定を行う異音検知ステップをさらに備え、
    前記不審者候補検出ステップは、前記異音検知ステップで検出した前記特定音及び推定した前記音源方向を用いて前記不審者候補を検出する
    ことを特徴とする請求項１３に記載の映像監視方法。

Images