JP2006180479A - ビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法 - Google Patents

Abstract

【課題】物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、該当物体を抽出するビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法を提供する。
【解決手段】本発明によれば、入力動映像からオプティカルフロー（Optical Flow）を求めた後、これを角度値に変形して分類し、この角度値が一定の臨界値を超過する場合、物体の動きであると判断し、角度値が一定の臨界値を超過しなくなる場合、カメラの動きや揺れであると判断する。ここで、物体の動きであると判断される場合、物体のオプティカルフローに対するＸ−Ｙ投影を用いて動きが発生した部分だけを抽出する作業を進行することによって、客体を分割し、これを連続したフレームにおいて追跡し、物体の移動経路を追跡する。
【選択図】図７

Description

本発明は、ビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法に関し、特に、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出するビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法に関する。

従来のビデオ監視システムでは、物体の動きを感知するために、２つのフレーム間の差分信号を利用する方法と、動きベクトルを利用する方法とに分けられることができる。

差分映像信号を利用する方法は、以前のフレームと現在入力されたフレームにおいて対応する座標点の画素値を減算する方法であって、２つのフレーム間に若干の動きでも発生した場合、該当画素は、０以外の値を有する原理を利用する。

このような画素が所定の基準値以上となる場合、物体の出現などによる画素値の変化として認識し、侵入者が発生したと判断する方法である。

そして、動きベクトルを利用する方法は、全域探索（Full Search）のような方法で現在のフレームと以前のフレーム間の動きベクトルを検出し、動きベクトルの検出された量が所定の基準値以上である場合、侵入者発生として判断する方法である。

前述のような差分映像信号を利用する方法は、演算方法が単純なので、早い時間内に動き検出可否を判断することができるという長所があるが、照明変化及びノイズに敏感であるという短所がある。また、カメラが停止しており、動きが発生しないと、全ての画素の差異値は、０となるが、カメラが移動したり揺れる場合、画素値の変化が大きくなり、実際の物体の動きとカメラの動きや揺れによる物体の動きとを区分しないという問題点がある。

一方、前述のような動きベクトルを利用する方法は、相対的に前述の差分映像信号を利用した方法に比べて、照明変化やノイズにあまり敏感でなく、動きが発生した物体の動き方向を知ることができるという長所はあるが、この方法もやはり、物体の動きとカメラの動きによる動きベクトル発生の差異点を区分しないという問題点がある。

また、前記方法の他に、入力される映像信号を用いて移動物体を追跡する代表的な方法は、コリレイション（Correlation: Block Matching Algorithm）を利用した方法、ディスターバンスマップ（Disturbance Map）を利用する方法、カラー分布を利用する方法及びオプティカルフロー（Optical Flow）を利用する方法などが挙げられる。

このような方法を複合的に適用して商用化に取り組んだ多重移動物体追跡監視システムが特許文献１に開示されている。

特許文献１に開示された技術もやはり、カメラが停止した状態では物体の抽出性能に優れているが、カメラが動く場合には、映像補正が必ず要求され、このため、カメラ補正アルゴリズムを利用しているが、これは、その分、システムにおいて処理すべきデータ量が増加するようになり、処理速度に負担となり、また、正確な映像補正がなされないという問題点を有する。

また、特許文献１に開示された技術に利用されるブロック整合アルゴリズムは、物体が移動しながら、大きさ、形状、明るさなどが変わる場合、その追跡性能が低下し、ブロックの大きさが大きくなるほど、処理速度が低下する問題点と、追跡誤差がフレーム毎に蓄積され、結局は、動く物体がブロック整合する基準ブロックから外れる問題点が発生する。
大韓民国特許出願公開第２０００−２２８１８号明細書

したがって、本発明は、前述のような問題点を解決するためになされたもので、本発明の目的は、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出するビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法を提供することにある。

前記目的を達成するために、本発明の一態様に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置は、現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出するオプティカルフロー抽出部と、前記オプティカルフロー抽出部で抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する角度ヒストグラム生成部と、前記角度ヒストグラム生成部で生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する制御部とを備えることを特徴とする。

前記現在の入力映像フレーム及び以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームを前記オプティカルフロー抽出部に提供するノイズ除去部をさらに備え、ノイズ除去部は、ガウスノイズを除去するガウスフィルタを備える。

前記角度ヒストグラム生成部は、前記オプティカルフロー抽出部で抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成する。

前記角度ヒストグラムは、ラジアン値（−π〜＋π）を角度値（０〜３６０）に変化させ、変化した角度値を０〜３５の値に正規化させた後、角度ヒストグラムを生成する。

前記制御部は、カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してＸ−Ｙ投影法を用いて動き物体を抽出する。

また、本発明の他の態様に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法は、現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出する段階と、前記抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する段階と、前記生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する段階とを備えることを特徴とする。

本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法は、物体の動きを感知し侵入者発生有無を判断する無人ビデオ監視システムにおいて、物体の動きの発生による侵入者発生と、カメラの動きや揺れなどによる誤った侵入者感知発生とを区分し、物体の動きによる侵入者発生であると判断される場合、該当物体を抽出する。本発明によれば、入力動映像からオプティカルフロー（Optical Flow）を求めた後、これを角度値に変形して分類し、この角度値が一定の臨界値を超過する場合、物体の動きであると判断し、角度値が一定の臨界値を超過しなくなる場合、カメラの動きや揺れであると判断する。ここで、物体の動きであると判断される場合、物体のオプティカルフローに対するＸ−Ｙ投影を用いて動きが発生した部分だけを抽出する作業を進行することによって、客体を分割し、これを連続したフレームにおいて追跡し、物体の移動経路を追跡する。

また、本発明は、ＵＲＣ（Ubiquitous Robot Companion）においてロボットの無人監視システムに適用され、侵入者の検出に使われることができる。現在の動き感知方法は、カメラが固定されており、動かないという条件下で、単純に差分映像だけを利用する方法を使用している。しかし、ロボットの場合、継続的に動きながら監視地点を移動しなければならないので、ロボットの動きによるカメラ画素値の変動と実際の物体の動きによる画素値の変動とを区分しなければならない。従って、本発明をＵＲＣ監視システムに適用する場合、実際に物体の動きが発生した場合を区分し、該当物体だけを検出して追跡するのに適用されることができる。

以下、添付の図面を参照して、本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置並びにその方法について詳細に説明する。

図１は、本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置を示すブロック図である。

図１に示すように、ビデオ監視システムは、映像入力部１００、ノイズ除去部１１０、オプティカルフロー検出部１２０、角度ヒストグラム生成部１３０、制御部１４０及び客体抽出部１５０を含むことができる。

映像入力部１００は、パニング／チルト可能なカメラで、撮影した現在の映像に対する映像フレームをノイズ除去部１１０に提供する。

ノイズ除去部１１０は、映像入力部１００から入力される現在の映像フレーム及び以前の映像フレームに対して各々ノイズを除去する。ここで、ノイズ除去フィルタとして、ガウスノイズを低域フィルタリングするガウスフィルタ（Gaussian Filter）を利用することができる。

オプティカルフロー検出部１２０は、ノイズ除去部１１０で各々ガウスノイズが除去された以前のフレームと現在のフレーム間のオプティカルフローを検出する。ここで、オプティカルフローとは、明度類型（brightness pattern）を徐々に変化させることによって発生する映像における明白な動きの速度分布を示すもので、以前のフレームと現在のフレーム間の動きベクトル値で表現することができる。

角度ヒストグラム生成部１３０は、オプティカルフロー検出部１２０で検出された各オプティカルフローに対するオプティカルフローのベクトル値を角度(Degree)値に変化させ、角度ヒストグラムを生成した後、生成した角度ヒストグラムの角度０〜３６０度の値を０〜３６の値に正規化させる。

制御部１４０は、角度ヒストグラム生成部１３０で生成した角度ヒストグラムを用いて映像の画素値の変化が物体の動きにより発生したか、それとも、カメラの動き（パニング、チルト、揺れ）により発生したかを、所定の規則により判別する。ここで、所定の規則によって物体の動きまたはカメラの動きを判別する方法については後述する。

客体抽出部１５０は、制御部１４０で映像に対する画素値の変化が物体の動きにより発生したものと判断された場合、前記オプティカルフロー検出部１３０で検出したオプティカルフローに対するベクトル値をＸ−Ｙ方向に投影させ、物体（客体）だけを背景映像から抽出する。

以下、このような構成を有する本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置の動作について説明する。

まず、ノイズ除去部１１０は、映像入力部１００から入力される現在の映像フレームと以前の映像フレームに対して各々ガウスフィルタを用いてフレームに付加されたガウスノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームをオプティカルフロー検出部１２０に提供する。

オプティカルフロー検出部１２０は、ノイズ除去部１１０から提供されるノイズが除去された以前のフレームと現在のフレーム間のオプティカルフローを検出する。

オプティカルフローは、モーションベクトル（Motion Vector）と類似した方法であるが、動きの方向を各画素毎に測定することができ、速度の観点から全域探索（Full Search）方法より速い検出速度を有するという長所がある。ここで、オプティカルフローを検出する方法として、本発明では、ＨｏｒｎとＳｃｈｕｎｃｋが提案したオプティカルフロー検出方法を使用する。

この方法は、一定の領域内のオプティカルフローは同一であると仮定し、隣接する８方向の各画素のオプティカルフロー拘束式を連立させ、拘束条件を満足させる最小値を最小自乗法で計算し、オプティカルフローを計算する方法である。このような方法により求められたオプティカルフローの結果は、図２に示されている。すなわち、図２Ａは、以前のフレームの映像であり、図２Ｂは、現在のフレームの映像であり、図２Ｃは、図２Ａ及び図２Ｂのような以前のフレームと現在のフレーム間のオプティカルフローを検出した結果に対するフレームの映像を示す図である。ここで、図２Ｃでのオプティカルフローは、図２Ａ及び図２Ｂのフレームの映像において顔部分の動きの変化によってオプティカルフローの変化が顔部分に現れることが分かる。

このような方法により、以前のフレームと現在のフレーム間のオプティカルフローが検出されれば、検出されたオプティカルフローに対するベクトル値を角度ヒストグラム生成部１３０に提供する。

角度ヒストグラム生成部１３０は、オプティカルフロー検出部１２０で検出したオプティカルフローに対する動きベクトル値をラジアン（Radian）角度の値に変化させる。

ラジアン値を推定するために、Ｘ軸移動量ｄｘとＹ軸移動量ｄｙをｒａｄｉａｎ＝ａｔａｎ^２（ｄｘ、ｄｙ）関数に適用させる場合、この値は、（−π〜＋π）値を有するが、これを下記の数１式により角度値に変形し、その結果、角度値Ｄが負数となる場合、次の数２式を用いてさらに計算する。

この場合、全てのオプティカルフローに対するベクトル値は、０〜３６０度の間の値に変形されるが、分析を容易にするために、０〜３６０度の値を０〜３５の値に正規化させる。

例えば、０〜９度間の値は、０に変形させ、１０〜１９度間の値は、１に変形させる。

このようにオプティカルフローのベクトル値を角度値に変形させた結果は、図３Ｄ、図４Ｄ、図５Ｄから確認することができる。

ここで、図３Ａは、以前のフレームの映像、図３Ｂは、現在のフレームの映像、図３Ｃは、カメラは固定されており、物体だけが動いた場合のオプティカルフロー分布を示す映像、図３Ｄは、物体だけが動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。図４Ａは、以前のフレームの映像、図４Ｂは、現在のフレームの映像、図４Ｃは、物体の動きはなく、カメラだけがパニングまたはチルト形態で動いた場合のオプティカルフロー分布を示す映像、図４Ｄは、カメラがパニングまたはチルトで動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。

また、図５Ａは、以前のフレームの映像、図５Ｂは、現在のフレームの映像、図５Ｃは、物体の動きはなく、カメラの揺れが発生した場合のオプティカルフロー分布を示す映像、図５Ｄは、カメラの揺れが発生した場合のオプティカルフローに対する角度ヒストグラムを示す図である。

図３Ｃに示すように、カメラの動きは発生せず、物体の動きだけが発生した場合、オプティカルフローは、映像の一定部分にのみ局所的に発生する。反対に、図４Ｃ及び図５Ｃに示すように、カメラの揺れやカメラの動き（パニング、チルト）に起因して発生するオプティカルフローの場合、カメラが動くことによって、全体映像に発生することが分かる。

カメラの動きのうちパニング（panning）は、固定された１台のカメラが水平に視点（view point）を移動させることを言い、チルト（tilt）は、垂直に移動させる場合を意味する。カメラのパニングやチルトの場合、図４Ｄのように、角度ヒストグラムが水平または垂直のように一方の角度で大きく発生するが、カメラの揺れの場合、図５Ｄに示すように、全体的な角度において均一に現れる特徴を有する。このような特徴を用いて、物体の動き、カメラの動き（パニング、チルト、揺れ）を判断することができる。

図１に示すように、制御部１０は、上記のように角度ヒストグラム生成部１３０で生成した角度ヒストグラムを分析することによって、物体の動き、カメラの動きなどを判断する。

すなわち、制御部１４０は、角度ヒストグラム生成部１３０で角度ヒストグラムが求められると、物体の動きとカメラの動き間の特性を用いて次のような規則を生成し、これを用いて物体の動きとカメラの動きとを区分する。また、カメラの動きの場合、揺れとパニング及びチルトを区分することができる。

まず、制御部１４０は、角度ヒストグラムを分析し、次の規則１により物体の動き及びカメラの動きだけをまず検出する。

［規則１］カメラの動きと物体の動きの区分規則
物体の動きは、映像内で局所的にオプティカルフローが発生する特徴を有するので、次の数３式を用いて物体の動きを検出する。

ここで、Ｍｖは、実際に発生したオプティカルフローの数を意味し、ＴＭｖは、オプティカルフローが発生し得る全体画素の数を意味する。オプティカルフローが発生した個数が全体の３０％未満である場合は、物体の動きとして判断する。

すなわち、制御部１４０は、前記数３式で、θ値が例えば臨界値０.３（３０％）より小さい場合、カメラの動きは発生せず、物体の動きだけが発生したものと判断し、θ値が臨界値０.３（３０％）より大きいか同じ場合には、物体の動きは発生せず、カメラの動きだけが発生したものと判断する。

このように、前記数３式で、θ値が所定の臨界値より小さい場合、すなわち、実際にオプティカルフローが発生した数が全体画素の３０％未満である場合、制御部１４０は、物体の動きだけが発生したものと判断し、動き客体を抽出するために、客体抽出部１５０にオプティカルフロー検出映像を提供する。

客体抽出部１５０は、以前のフレームと現在のフレーム間のオプティカルフロー発生領域をＸ−Ｙ軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。このように、物体(客体)抽出過程は、図６Ａから図６Ｄに示されている。

図６Ａから図６Ｄは、カメラの動きがなく、物体の動きだけが発生した場合、物体（客体）を抽出する過程を説明するための画面の一例を示す図である。物体抽出過程を簡単に要約すれば、図６Ａから図６Ｄに示すように、まず、入力映像（以前のフレーム及び現在のフレーム）に対してオプティカルフローを検出し、検出したオプティカル検出領域をｘ−ｙ軸に投影させた後、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。

一方、制御部１４０で前記規則１の数３式の結果、θ値が所定の臨界値以上である場合、物体の動きが発生せず、カメラの動きだけが発生したものと判断する。

しかし、カメラの動きの種類がパニング、チルト、揺れなどに区分されるので、これらもやはり区分されなければならない。

したがって、カメラの動きの種類を区分するために、制御部１４０は、次のような所定の規則２を適用して区分する。

［規則２］カメラの揺れ、パニング、チルトの区分規則
カメラの揺れの場合、図５Ｄに示すように、角度ヒストグラムが全体的なヒストグラムにおいて均一に現れるのに対して、カメラのパニング及びチルトの場合、図４Ｄに示すように、上下または左右方向のうち一方の方向にカメラが動くため、１つの角度でヒストグラムが顕著に現れる特徴を有する。

したがって、制御部１４０は、このような特徴を用いて下記の数４式を適用させ、カメラの揺れ、パニング及びチルトを区分する。

ここで、ｂは、角度ヒストグラムＨにおいて累積個数が最も多い角度を意味し、θ_ｂは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θ_ｖは、ｖ角度におけるヒストグラム累積個数を意味する。また、Ｔは、カメラの動きを区分するための臨界値である。

前記数４式は、パニング、チルトの場合、一方の方向にカメラが移動する特徴を有するので、角度ヒストグラムが特定の方向に多く現れるため、標準バラツキが小さく、反対に、カメラ揺れの場合、一方の方向でなくいろいろな方向に同時に現れる特徴を有するため、標準バラツキが相対的に大きい特徴を利用したものである。一般的に、数４式で、ｂの値が０〜１間、３４〜３５間に存在する場合、カメラのパニングが発生した場合であり、ｂの値が１７〜１９間、２６〜２７間に存在する場合、カメラのチルト現象が発生した場合である。

一方、制御部１４０で、カメラの揺れ、パニング及びチルト現象が発生すると同時に、物体の動きが発生する場合もあり得る。

したがって、制御部１４０では、次の規則３を適用してカメラの揺れ、パニングまたはチルトが発生すると同時に、物体の動きを検出することができる。

［規則３］カメラの揺れ、パニングまたはチルト発生と物体の動きの同時発生
カメラのパニングやチルト動作が発生する途中に物体の動きが発生する場合、これを区分する必要がある。このために、図１に示された制御部１４０は、まず、前記規則１での数３式と前記規則２での数４式を用いてカメラのパニングまたはチルト現象が発生した場合、角度ヒストグラムＨにおいて累積個数が最も多い角度ｂを除いた残りのヒストグラムに対してさらに規則１の数３式を適用させる。かくして、規則１の数３式の結果値が基準臨界値を超過する場合、パニング及びチルトと一緒に物体の動きが同時に発生したものと判断する。

このように、物体の動きとカメラの動きを検出した後、物体の動きから物体だけを抽出して追跡する過程が必要である。

物体の背景から物体を抽出するためには、まず、オプティカルフロー検出部１２０で検出したオプティカルフロー領域をＸ−Ｙ軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。この過程は、図６Ａから図６Ｄに示されている。

仮りに、カメラのパニングまたはチルトと物体の動きが同時に発生した場合、全てのオプティカルフローから、動きが最も多いｂ角度に該当するオプティカルフローを除去した残りのオプティカルフローだけを用いてＸ−Ｙ投影方法で物体の領域を抽出する。

前述のような本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置の動作に相当する本発明に係るカメラ／物体の動き区分及び客体抽出方法について、図７の流れ図を用いて段階的に説明する。

図７は、本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法を示す動作流れ図である。

図７に示すように、まず、カメラを通じて映像が入力されれば（Ｓ１０１）、入力される映像の現在のフレームのガウスノイズをガウスフィルタを用いて除去する（Ｓ１０２、Ｓ１０３）。

また、以前のフレームの映像に対してもガウスフィルタを適用して、ノイズを除去する（Ｓ１０４、Ｓ１０５）。

ノイズが除去された以前のフレームの映像と現在のフレームの映像間のオプティカルフローを図２に示すように抽出する（Ｓ１０６）。ここで、オプティカルフローは、モーションベクトルと類似した方法であるが、動きの方向を各画素毎に測定することができ、速度の観点から全域探索方法より速い検出速度を有するという長所がある。ここで、オプティカルフローを検出する方法として、本発明では、ＨｏｒｎとＳｃｈｕｎｃｋが提案したオプティカルフロー検出方法を使用する。この方法は、一定の領域内のオプティカルフローは同一であると仮定し、隣接する８方向の各画素のオプティカルフロー拘束式を連立させ、拘束条件を満足させる最小値を最小自乗法で計算し、オプティカルフローを計算する方法である。

以前のフレームの映像及び現在のフレームの映像に対してオプティカルフローが検出されれば、検出されたオプティカルフローのベクトル値に対して角度ヒストグラムを生成する（Ｓ１０７）。ここで、角度ヒストグラムの生成方法については、上記で具体的に説明したので、その説明は省略する。

角度ヒストグラムが生成されれば、前記規則１の数３式を用いて物体の動き及びカメラの動きを区分する（Ｓ1０８）。

すなわち、数３式のθ値と臨界値を比較し（Ｓ１０９）、θ値が所定の臨界値より小さい場合、すなわち、実際にオプティカルフローが発生した数が全体画素の３０％未満である場合、物体の動きだけが発生したものと判断し、以前のフレームと現在のフレーム間のオプティカルフロー発生領域をＸ−Ｙ軸に投影させ(Ｓ１１５)、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する（Ｓ１１６）。このように、物体（客体）抽出過程は、図６Ａから図６Ｄに示されている。

物体抽出過程を簡単に要約すれば、図６Ａから図６Ｄに示すように、まず、入力映像（以前のフレーム及び現在のフレーム）に対してオプティカルフローを検出し、検出したオプティカルフロー検出領域をｘ−ｙ軸に投影させた後、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。

一方、前記Ｓ１０９段階で、前記規則１の数３式の結果、θ値が所定の臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断する。

しかし、カメラの動きの種類がパニング、チルト、揺れなどに区分されるため、これらもやはり区分されなければならない。

したがって、カメラの動きの種類を区分するために、前記規則２の数４式を適用して区分する（Ｓ１１０、Ｓ１１１）。

すなわち、カメラの揺れの場合、図５Ｄに示すように、角度ヒストグラムが全体的なヒストグラムにおいて均一に現れるのに対して、カメラのパニング及びチルトの場合は、図４Ｄに示すように、上下または左右方向のうち一方の方向にカメラが動くため、１つの角度でヒストグラムが顕著に現れる特徴を有する。

したがって、前記数４式を適用させて、カメラの揺れ、パニング及びチルトを区分する。

前記数４式は、パニング、チルトの場合、一方の方向にカメラが移動する特徴を有するので、角度ヒストグラムが特定の方向に多く現れるため、標準バラツキが小さく、反対に、カメラ揺れの場合、一方の方向でなくいろいろな方向に同時に現れる特徴を有するので、標準バラツキが相対的に大きい特徴を利用したものである。一般的に、数４式で、ｂの値が０〜１間、３４〜３５間に存在する場合、カメラのパニングが発生した場合であり、ｂの値が１７〜１９間、２６〜２７間に存在する場合、カメラのチルト現象が発生した場合である。

一方、カメラの揺れ、パニング及びチルト現象が発生すると同時に、物体の動きが発生する場合もあり得る。

したがって、この場合、前記規則３を適用して、カメラの揺れ、パニングまたはチルトが発生すると同時に、物体の動きの発生を検出することができる（Ｓ１１２）。

すなわち、カメラのパニングやチルト動作が発生する途中に物体の動きが発生する場合、これを区分する必要がある。このために、まず、前記規則１での数３式及び前記規則２での数４式を用いて、カメラのパニングまたはチルト現象が発生した場合、角度ヒストグラムＨにおいて累積個数が最も多い角度ｂを除いた残りのヒストグラムに対してさらに前記規則１の数３式を適用させる。かくして、前記規則１の数３式の結果値が基準臨界値を超過する場合、パニング及びチルトと一緒に、物体の動きが同時に発生したものと判断する。

このように物体の動きとカメラの動きを検出した後、物体の動きから物体だけを抽出して追跡する過程が必要である。

物体の背景から物体を抽出するためには、まず、検出された以前のフレームと現在のフレーム間のオプティカルフロー領域をＸ−Ｙ軸に投影させ、投影されたヒストグラム値を用いて物体の上下左右の座標値を得、物体の領域を抽出する。この過程は、図６Ａから図６Ｄに示されている。

仮りに、カメラのパニングまたはチルトと物体の動きが同時に発生した場合、全てのオプティカルフローから、動きが最も多いｂ角度に該当するオプティカルフローを除去した残りのオプティカルフローだけを用いてＸ−Ｙ投影方法で物体の領域を抽出する（Ｓ１１３、Ｓ１１４、Ｓ１１５、Ｓ１１６）

以上において説明した本発明は、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であるので、上述した実施例及び添付された図面に限定されるものではない。

本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置を示すブロック図である。 以前のフレームの映像を示す図である。 現在のフレームの映像を示す図である。 以前のフレームと現在のフレーム間のオプティカルフローを検出した結果に対するフレームの映像を示す図である。 以前のフレームの映像を示す図である。 現在のフレームの映像を示す図である。 カメラは固定されており、物体だけが動いた場合のオプティカルフロー分布を示す映像の図である。 物体だけが動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。 以前のフレームの映像を示す図である。 現在のフレームの映像を示す図である。 物体の動きはなく、カメラだけがパニングまたはチルト形態で動いた場合のオプティカルフロー分布を示す映像の図である。 カメラがパニングまたはチルトで動いた場合のオプティカルフローに対する角度ヒストグラムを示す図である。 以前のフレームの映像を示す図である。 現在のフレームの映像を示す図である。 物体の動きはなく、カメラの揺れが発生した場合のオプティカルフロー分布を示す映像の図である。 カメラの揺れが発生した場合のオプティカルフローに対する角度ヒストグラムを示す図である。 カメラの動きがなく、物体の動きだけが発生した場合、物体（客体）を抽出する過程を説明するための映像を示す図である。 カメラの動きがなく、物体の動きだけが発生した場合、物体（客体）を抽出する過程を説明するための映像を示す図である。 カメラの動きがなく、物体の動きだけが発生した場合、物体（客体）を抽出する過程を説明するための映像を示す図である。 カメラの動きがなく、物体の動きだけが発生した場合、物体（客体）を抽出する過程を説明するための映像を示す図である。 本発明に係るビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法を示す動作流れ図である。

符号の説明

１００ 映像入力部
１１０ ノイズ除去部
１２０ オプティカルフロー検出部
１３０ 角度ヒストグラム生成部
１４０ 制御部
１５０ 客体抽出部

Claims (24)

1. ビデオ監視システムにおいて、
   現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出するオプティカルフロー抽出部と、
   前記オプティカルフロー抽出部で抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する角度ヒストグラム生成部と、
   前記角度ヒストグラム生成部で生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する制御部とを備えることを特徴とするビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
2. 前記現在の入力映像フレームと以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレーム及び以前のフレームを前記オプティカルフロー抽出部に提供するノイズ除去部をさらに備えることを特徴とする請求項１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
3. 前記ノイズ除去部は、ガウスノイズを除去するガウスフィルタを備えることを特徴とする請求項２に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
4. 前記角度ヒストグラム生成部は、
   前記オプティカルフロー抽出部で抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成することを特徴とする請求項１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
5. 前記角度ヒストグラムは、
   ラジアン値（−π〜＋π）を角度値（０〜３６０）に変化させ、変化した角度値を０〜３５の値に正規化させた後、角度ヒストグラムを生成することを特徴とする請求項４に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
6. 前記制御部は、下記の数１式の結果値が所定の臨界値より小さい場合、物体の動きとして判断し、下記の数１式の結果値が臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断することを特徴とする請求項１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
   ここで、Ｍｖは、実際に発生したオプティカルフローの数を意味し、ＴＭｖは、オプティカルフローが発生し得る全体画素の数を意味する。
7. 前記臨界値は、実際にオプティカルフローが発生した数であり、略全体画素の３０％（０.３）に相当することを特徴とする請求項６に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
8. 前記制御部は、
   カメラの動きがなく物体の動きだけが発生したものと判断された場合、前記オプティカルフロー検出部で検出したオプティカルフローに対してＸ−Ｙ投影を用いて動き物体を抽出する客体抽出部を備えることを特徴とする請求項６に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
9. 前記制御部は、
   下記の数２式を用いてカメラの動きの種類（揺れ、パニング、チルト）を区分して判断することを特徴とする請求項１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
   ここで、ｂは、角度ヒストグラムＨにおいて累積個数が最も多い角度を意味し、θ_ｂは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θ_ｖは、ｖ角度におけるヒストグラム累積個数を意味する。また、Ｔは、カメラの動きを区分するための臨界値である。
10. 前記制御部は、
    前記数２式のｂの値が０〜１間、３４〜３５間に存在する場合、カメラのパニングが発生した場合と判断し、ｂの値が１７〜１９間、２６〜２７間に存在する場合、カメラのチルト現象が発生した場合と判断することを特徴とする請求項９に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
11. 前記制御部は、
    前記数２式を用いてカメラの動きの種類を判断した後、生成された角度ヒストグラムＨにおいて累積個数が最も多い角度ｂを除いた残りの角度ヒストグラム値θが前記数１式の臨界値（０.３）以上である場合、カメラの動きが発生すると同時に、物体の動きが発生した場合と判断することを特徴とする請求項６又は請求項９に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
12. 前記制御部は、
    カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してＸ−Ｙ投影法を用いて動き物体を抽出することを特徴とする請求項１１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出装置。
13. 監視システムにおけるカメラ／物体の動き区分及び客体抽出方法において、
    現在の入力映像フレームと以前の映像フレーム間のオプティカルフローに対する動きベクトル値を抽出する段階と、
    前記抽出したオプティカルフローに対する動きベクトル値の角度ヒストグラムを生成する段階と、
    前記生成した角度ヒストグラムを用いて物体の動き、カメラの動きの種類を判断し、物体の動きが発生した場合、動き客体を抽出する段階とを備えることを特徴とするビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
14. 前記オプティカルフローに対する動きベクトル値を抽出する段階は、現在の入力映像フレーム及び以前の映像フレームの各々に含まれたノイズを除去した後、ノイズが除去された現在のフレームと以前のフレーム間のオプティカルフローを抽出する段階を備えることを特徴とする請求項１３に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
15. 前記ノイズ除去は、ガウスフィルタを利用することを特徴とする請求項１４に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
16. 前記角度ヒストグラムを生成する段階は、
    前記抽出したオプティカルフローに対するベクトル値を角度値に変化させた後、オプティカルフローベクトル値に対するヒストグラムを生成することを特徴とする請求項１３に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
17. 前記角度ヒストグラムは、
    ラジアン値（−π〜＋π）を角度値（０〜３６０）に変化させ、変化した角度値を０〜３５の値に正規化させた後、角度ヒストグラムを生成することを特徴とする請求項１６に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
18. 前記客体を抽出する段階は、
    下記の数３式の結果値が所定の臨界値より小さい場合、物体の動きとして判断し、下記の数３式の結果値が臨界値以上である場合、物体の動きは発生せず、カメラの動きだけが発生したものと判断することを特徴とする請求項１３に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
    ここで、Ｍｖは、実際に発生したオプティカルフローの数を意味し、ＴＭｖは、オプティカルフローが発生し得る全体画素の数を意味する。
19. 前記臨界値は、実際にオプティカルフローが発生した数であり、略全体画素の３０％（０.３）に相当することを特徴とする請求項１８に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
20. 前記客体を抽出する段階は、
    カメラの動きがなく物体の動きだけが発生したものと判断された場合、前記検出されたオプティカルフローに対してＸ−Ｙ投影を用いて動き物体を抽出することを特徴とする請求項１３に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
21. 前記客体を抽出する段階は、
    下記の数４式を用いてカメラの動きの種類（揺れ、パニング、チルト）を区分して判断することを特徴とする請求項１３に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
    ここで、ｂは、角度ヒストグラムＨにおいて累積個数が最も多い角度を意味し、θ_ｂは、累積個数が最も多い角度におけるヒストグラム累積個数を意味する。また、θ_ｖは、ｖ角度におけるヒストグラム累積個数を意味する。また、Ｔは、カメラの動きを区分するための臨界値である。
22. 前記客体を抽出する段階は、
    前記数４式のｂ値が０〜１間、３４〜３５間に存在する場合、カメラのパニングが発生した場合と判断し、ｂの値が１７〜１９間、２６〜２７間に存在する場合、カメラのチルト現象が発生した場合と判断することを特徴とする請求項２１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
23. 前記客体を抽出する段階は、
    前記数４式を用いてカメラの動きの種類を判断した後、生成された角度ヒストグラムＨにおいて累積個数が最も多い角度ｂを除いた角度ヒストグラム値θが前記数３式の臨界値（０.３）以上である場合、カメラの動きが発生すると同時に、物体の動きが発生した場合と判断することを特徴とする請求項１８又は請求項２１に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。
24. 前記客体を抽出する段階は、
    カメラの動き及び物体の動きが同時に発生した場合、以前のフレームと現在のフレーム間における全てのオプティカルフローから、動きが最も多い角度に該当するオプティカルフローを除去した後、残りの角度のオプティカルフローに対してＸ−Ｙ投影法を用いて動き物体を抽出することを特徴とする請求項２３に記載のビデオ監視システムにおけるカメラ／物体の動き区分及び客体抽出方法。