JP2003319387A - 監視装置及び方法並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 人等の移動物体を的確にしかも安定して追尾
制御することができる監視装置を提供する。 【解決手段】 監視カメラ１から得られた移動物体像に
応じて監視カメラで移動物体を追尾するにあたり、画像
フレームに追尾領域に応じて設定される規定領域の内外
に規定領域よりも小さい所定の数の相関演算ブロックを
設定する。これら相関演算ブロックに関して、画像フレ
ーム間で相関演算を実行して規定領域外の相関結果を第
１の相関結果として求めると共に、規定領域内の相関結
果を第２の相関結果として求める。このあと、第１及び
第２の相関結果に基づいて規定領域内の相関演算ブロッ
クのうちから前景ブロックを選択して、前景ブロックに
応じて監視カメラが追尾すべき移動物体像の領域を示す
追尾領域を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は人などの移動物体
を監視する動画像処理技術を用いた監視装置及び方法並
びにプログラムに関するものである。

【０００２】

【従来の技術】一般に、動画像処理技術を用いた監視装
置として、例えば森田俊彦：局所相関演算による動きの
検知と追跡（電子情報学会論文誌 Ｄ−ＩＩ Ｖｏｌ．
Ｊ８４−Ｄ−ＩＩ Ｎｏ．２，ｐｐ．２９９〜３０９，
２００１年２月）に掲載された監視装置が知られてい
る。

【０００３】図１２は上述した従来の監視装置の構成を
示すブロック図である。図において、１は監視カメラ
（カメラ）、２は画像入力部、３は画像記憶部、１４は
画像全体相関ブロック設定部、１５は相関演算実行部、
１６は背景動きベクトル検出部、１７は移動（前景）ブ
ロック選択部、１８は前景動きベクトル検出部、１９は
移動（前景）ブロック重心検出部、２０は追尾中心決定
部、そして、２１はカメラ制御部である。カメラ１は連
続的にカメラ視野内を撮像して映像を得ている。また、
カメラ１は、所謂首振り（３軸方向への移動制御）及び
ズーム機能を有しており、カメラ制御部２１によってカ
メラ１が首振り及びズーム制御されてカメラ視野内に侵
入した侵入者等の移動物体を追尾する。そして、カメラ
１で移動物体を追尾する際には、カメラ１から得られた
映像に応じて移動物体像を認識して、カメラ制御部２１
がカメラ１を追尾制御する。

【０００４】次に動作について説明する。この監視装置
では、カメラ１で連続的に撮像された映像（動画像：以
下、カメラ画像と称する）が順次画像入力部２に与えら
れる。この画像入力部２からカメラ画像が画像記憶部３
に一旦記憶されるとともに、相関演算実行部１５に与え
られる。一方、画像記憶部３に記憶されたカメラ画像
は、画像全体相関ブロック設定部１４に与えられる。

【０００５】図１３は図１２中の監視装置における監視
カメラの制御を説明する図である。この図を参照する
と、画像全体相関ブロック設定部１４では、カメラ画像
の画像フレームを予め規定された数の検知領域ＤＡＲに
分割する（図１３（ａ））。さらに、画像全体相関ブロ
ック設定部１４では、各検知領域ＤＡを予め定められた
数の小ブロック（相関演算ブロック）に分割する。この
ようにして、小ブロックに分割された画像フレーム（以
下分割画像フレームと呼ぶ）は相関演算実行部１５に渡
される。

【０００６】いま、時刻ｔにおいて、画像入力部２から
画像フレームがテンプレート画像フレームとして相関演
算実行部１５に与えられるとすると、１つ前の画像フレ
ーム（分割画像フレーム）、つまり、時刻（ｔ−１）に
おける画像フレームが探索画像フレームとして画像全体
相関ブロック設定部１４から相関演算実行部１５に与え
られることになる。言い換えると、時刻（ｔ−１）にお
ける画像フレームと時刻ｔにおける画像フレームとが同
一のタイミングで相関演算実行部１５に与えられる。そ
して、相関演算実行部１５では、テンプレート画像フレ
ームと探索画像フレームとの相関関係を求める。

【０００７】このとき、相関演算実行部１５は、テンプ
レート画像フレームを複数の画像ブロックに分割する。
つまり、テンプレート画像フレームを複数の画像ブロッ
クの集合とする。ここでは、この画像ブロックをブロッ
クテンプレートと称し、各ブロックテンプレートは、例
えば（ｗｘ×ｗｙ）のサイズを有するものとする。ここ
で、ｗｘ及びｗｙは、それぞれ直交座標のｘ軸方向長さ
及びｙ軸方向長さを表す。一方、前述のように、探索画
像フレームは、複数の検知領域ＤＡに分割されており、
各検知領域ＤＡがサーチ領域として用いられる。このサ
ーチ領域は、例えば｛（ｗｘ＋２ｒｘ）×（ｗｙ＋２ｒ
ｙ）｝（ｒは１以上の整数）のサイズを有している。ま
た、前述の各ブロックテンプレートを用いて各サーチ領
域に対して前述の小ブロック毎に相関演算を行って、各
ブロックテンプレートについて各サーチ領域毎に小ブロ
ック毎のスコア値（相関結果値）を求め、スコアマップ
とする。つまり、各サーチ領域において小ブロック毎に
スコアマップが生成されることになる。

【０００８】このようにして求められたスコアマップ
は、順次（時々刻々）相関演算実行部１５から背景動き
ベクトル検出部１６に与えられる。背景動きベクトル検
出部１６では、スコアマップに基づいて背景動きベクト
ルを求める。例えば、スコアマップ内のピーク値とスコ
アマップの中心位置におけるスコア値とを比較して予め
定められた閾値を越えると、動きが顕著であると判定す
る。そして、このように動きが顕著であると判定された
スコアマップを順次累積して累積スコアマップとする。
次に、累積スコアマップにおいて、極小ピークを示す位
置（ｘｍ，ｙｍ）を求める。そして、この極小ピーク位
置（ｘｍ，ｙｍ）を背景動きベクトルとする。

【０００９】上述の背景動きベクトルは、移動（前景）
ブロック選択部１７に与えられる。さらに、移動ブロッ
ク選択部１７には、追尾中心決定部２０から追尾中心の
位置（ｘ−ｙ座標値）を示す追尾中心情報が与えられる
とともに、相関演算実行部１５からスコアマップが与え
られる。図１４は画像全体における背景領域と追尾領域
との関係を示す図である。図に示すように、移動ブロッ
ク選択部１７では追尾中心情報に応じて、追尾中心位置
（ｘ，ｙ）を中心とする追尾領域Ｒ（例えば、長方形領
域であり、検知領域に対応する）を設定する。

【００１０】なお、図において、ＦＧは追尾領域Ｒの内
側に存在する小ブロックを表し、ＢＧは追尾領域Ｒの外
側（つまり、背景領域）に存在する小ブロックを表す。
次に、上記の追尾領域Ｒ内に存在する全ての小ブロック
ＦＧに関するスコア値から背景動きベクトル（絶対値）
を減算して、背景の動きに対する相対的な動きを示すス
コアマップを得る（以下、このスコアマップを相対スコ
アマップと称する）。

【００１１】さらに、この相対スコアマップについて、
相対スコアマップ内のピーク値と相対スコアマップの中
心位置におけるスコア値とを比較して所定の閾値を越え
ると、動きが顕著であると判定する。そして、動きが顕
著であると判定された小ブロックを移動ブロックとして
選択して、そのスコアマップを前景動きベクトル検出部
１８に与える。これによって、例えば図１３（ｂ）に太
枠で示す検知領域が選択領域（追尾領域）Ｒとして選択
される。

【００１２】前景動きベクトル検出部１８では、上述の
ようにして選択された選択領域についてスコアマップ
（相関スコアマップ）を累積加算して、累積相関スコア
マップとする。この累積加算によって、選択領域におい
てピーク値付近の累積値は相対的に高くなり、それ以外
の部分では相対的に累積値は低くなる。そして、この累
積相関スコアマップから極小値を求めて前景動きベクト
ルとし、この前景動きベクトルを追尾中心決定部２０に
与える。

【００１３】また、前述の選択領域におけるスコアマッ
プは、移動（前景）ブロック重心検出部１９にも与えら
れている。この移動（前景）ブロック重心検出部１９で
は、取得したスコアマップに応じて選択領域の重心を検
出する。

【００１４】図１５は図１２中の移動ブロック重心検出
部の動作を説明する図である。図に示すように、選択領
域が７×５のサイズ（７×５ブロック）であるとする。
ここで、図中の■部分は選択小ブロック＝ｆ（ｘ，ｙ）
＝１、□部分は非選択小ブロック＝ｆ（ｘ，ｙ）＝０で
あるものとする。

【００１５】選択小ブロック数は１３個であるので、そ
の累積値Ｍ００＝１３、ｘ座標値の累積値Ｍ０１＝３
９、ｙ座標値の累積値Ｍ１０＝２６となる。そして、重
心のｘ座標値＝Ｍ０１／Ｍ００＝３９／１３＝３、重心
のｙ座標値＝Ｍ１０／Ｍ００＝２６／１３＝２となる。
つまり、図１５に示す選択領域では、（３，２）が重心
となる（モーメント計算と呼ぶ）。そして、この重心は
移動（前景）ブロック重心として追尾中心決定部２０に
与えられる。

【００１６】追尾中心決定部２０では、前景動きベクト
ル及び前景ブロック重心に応じて追尾中心を決定する。
例えば、前景動きベクトルが（Ｖｘ，Ｖｙ）、重心が
（Ｇｘ，Ｇｙ）であるとすると、追尾中心は（Ｇｘ＋Ｖ
ｘ，Ｇｙ＋Ｖｙ）となる。そして、この追尾中心は追尾
中心情報として移動ブロック選択部１７に与えられると
ともに、カメラ制御部２１に与えられる。

【００１７】カメラ制御部２１では、追尾中心情報に基
づいてカメラ１を駆動制御する。つまり、カメラ制御部
２１は、追尾中心を画像フレームの中心に位置づけるよ
うにカメラ１を首振り制御することになる。この際、時
々刻々入力される追尾中心情報に応じて、カメラ制御部
２１は、追尾対象（移動物体）の移動速度を得て、移動
速度も考慮して首振り制御を行う。

【００１８】上述のようにして、動きが顕著であると判
定された検知領域（図１３（ｂ）に太枠で示す）を追尾
領域Ｒとして、追尾モードに切り替わることになる。そ
して、追尾領域Ｒを移動物体（図示せず）の移動に合わ
せて追尾させることになる（図１３（ｃ））。この際、
図１３（ｄ）に示すように、カメラ１が首振り制御され
て、移動物体の中心が常に画像フレームの中心にくるよ
うにすることになる。

【００１９】図１６は移動物体が人である際の追尾の一
例を示す図である。図において、移動物体が人（Ｐ）で
あるとすると（図１６（ａ））、前述のようにして、各
小ブロック毎に背景動きベクトル（移動ベクトル）が求
められる（図１６（ｂ））。これら移動ベクトルに応じ
て追尾領域内で、全小ブロックに関する相関結果から得
られる背景の動きベクトルと異なる移動ベクトルを有す
るブロック群（移動ブロック群）Ｂを得る（図１６
（ｃ））。

【００２０】そして、移動ブロック群Ｂに関する相関結
果から移動物体（人）の代表ベクトルｍ、移動ブロック
群の中心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベ
クトル）を得る（図１６（ｄ））。そして、次回の追尾
中心は現在の追尾中心を（ｍ＋ｅ）シフトさせて追尾を
行う。このように、ずれｅを加えることで、常に追尾領
域の中心と移動物体像の中心とが一致し、長時間にわた
り安定して追尾を行うことができることになる。

【００２１】

【発明が解決しようとする課題】従来の監視装置は上記
のように構成されているので、画像フレーム全体につい
て相関演算を行い、その結果に基づいて背景の動きベク
トルを求めることから、移動物体像が画像中で大きな領
域を占めている際には、移動物体自体の動きを無視する
ことができない。一方、追尾領域で背景の動きベクトル
と異なる動きベクトルを有する移動ブロック群を選択し
て、移動ブロック群の中心と追尾領域の中心とのずれを
移動量に加算して移動物体を追尾している。このため、
人間のようにその状態を変化させつつ移動する物体の場
合には（特に、周期的に振られる四肢部に関する移動ブ
ロックは出現と消滅を繰り返すため）、移動ブロック群
の中心が安定しないことになる。

【００２２】図１７は移動物体が人である際の追尾の他
の例を示す図である。この図を参照して具体的に説明す
ると、例えば図１７（ａ）に示す人（Ｐ）を追尾しよう
とする際、周期的に振られる四肢部に関する移動ブロッ
クは、出現と消滅を繰り返す。このとき、図１７（ｂ）
に示すように各小ブロック毎に移動ベクトルが求められ
ると、このうちの背景の動きベクトルと異なる動きベク
トルを有するブロック群（移動ブロック）Ｂが占める領
域は、極端に小さくなってしまう（図１７（ｃ））。こ
の結果に基づいて、移動ブロックに関する相関結果から
移動物体（人）の代表ベクトルｍ、移動ブロック群の中
心Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅを得ること
になる（図１７（ｄ））。

【００２３】このように、移動ブロック群自体が極めて
小さく、しかも、周期的に振られる四肢部に関する移動
ブロックは出現と消滅を繰り返すことから、人等の移動
物体を安定して追尾することが難しいという課題があっ
た。つまり、不安定な移動ブロックから、移動物体の大
きさを判定することは難しく、的確にしかも安定して移
動物体を追尾制御することが難しいという課題があっ
た。

【００２４】この発明は上記のような課題を解決するた
めになされたもので、映像の画像フレーム内の追尾領域
に応じて規定される規定領域内外で求めた相関結果に基
づいて、規定領域内の相関演算ブロックのうちから前景
ブロックを選択して、前景ブロックに応じて次フレーム
における追尾領域を決定することで、人等の移動物体を
的確にしかも安定して追尾制御することができる監視装
置及び方法並びにプログラムを得ることを目的とする。

【００２５】

【課題を解決するための手段】この発明に係る監視装置
は、監視カメラで得られた映像中の移動物体像に応じて
監視カメラを駆動制御して映像中の移動物体を追尾する
監視装置において、映像の画像フレーム中に規定領域を
設定して、該規定領域の内外にそれぞれ該規定領域より
も小さい相関演算ブロックを設定する設定手段と、相関
演算ブロックに関して画像フレーム間で相関演算を実行
して規定領域外の相関結果を第１の相関結果として求め
ると共に、規定領域内の相関結果を第２の相関結果とし
て求める相関演算手段と、第１及び第２の相関結果に基
づいて、規定領域内の相関演算ブロックのうちから移動
体像を規定する前景ブロックを選択する選択手段と、前
景ブロックに応じて監視カメラが追尾すべき移動物体像
の領域を示す追尾領域を決定する決定手段とを備えるも
のである。

【００２６】この発明に係る監視装置は、選択手段が第
１の相関結果に応じて背景部分における動きを示す背景
動きベクトルを検出する背景動きベクトル検出手段と、
第２の相関結果に応じて背景動きベクトルとその動きベ
クトルが異なる相関演算ブロックを規定領域中から前景
ブロックとして選択する前景ブロック選択手段とを備え
るものである。

【００２７】この発明に係る監視装置は、決定手段が前
景ブロックの分布状態に応じて移動物体像の重心及びサ
イズを推定し、該重心及びサイズに応じて次画像フレー
ムにおける追尾領域を予測するものである。

【００２８】この発明に係る監視装置は、決定手段が前
景ブロックを予め設定された時間累積して前景ブロック
の累積値を得る前景ブロック累積手段と、累積値に応じ
て前景ブロックの重心を求めると共に前景ブロックのサ
イズを検出する重心・サイズ検出手段と、重心及びサイ
ズに基づいて追尾領域を決定する追尾領域決定手段とを
備えるものである。

【００２９】この発明に係る監視装置は、決定手段が前
景ブロックについて第２の相関結果が累積された累積相
関結果のピーク値が示す座標を前景動きベクトルとする
前景動きベクトル検出手段を備え、追尾領域決定手段が
前景動きベクトルで示される動きに応じて追尾領域を決
定するものである。

【００３０】この発明に係る監視装置は、設定手段が追
尾領域に応じて規定領域を設定するものである。

【００３１】この発明に係る監視方法は、監視カメラで
得られた映像中の移動物体像に応じて監視カメラを駆動
制御して監視カメラで映像中の移動物体を追尾する監視
方法において、映像の画像フレーム中に規定領域を設定
して該規定領域の内外にそれぞれ該規定領域よりも小さ
い相関演算ブロックを設定する設定ステップと、相関演
算ブロックに関して画像フレーム間で相関演算を実行し
て規定領域外の相関結果を第１の相関結果として求める
と共に、規定領域内の相関結果を第２の相関結果として
求める相関演算ステップと、第１及び第２の相関結果に
基づいて規定領域内の相関演算ブロックのうちから移動
物体像を規定する前景ブロックを選択する選択ステップ
と、前景ブロックに応じて監視カメラが追尾すべき移動
物体像の領域を示す追尾領域を決定する決定ステップと
を備えるものである。

【００３２】この発明に係るプログラムは、監視カメラ
で得られた映像の画像フレーム中に規定領域を設定し
て、該規定領域の内外にそれぞれ該規定領域よりも小さ
い相関演算ブロックを設定する設定手段、相関演算ブロ
ックに関して画像フレーム間で相関演算を実行して規定
領域外の相関結果を第１の相関結果として求めると共
に、規定領域内の相関結果を第２の相関結果として求め
る相関演算手段、第１及び第２の相関結果に基づいて、
規定領域内の相関演算ブロックのうちから移動体像を規
定する前景ブロックを選択する選択手段、前景ブロック
に応じて監視カメラが追尾すべき移動物体像の領域を示
す追尾領域を決定する決定手段としてコンピュータを機
能させるものである。

【００３３】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による監
視装置の構成を示すブロック図である。図において、４
は背景領域相関ブロック設定部、５は追尾領域相関ブロ
ック設定部、６ａ，６ｂは相関演算実行部、７は背景動
きベクトル検出部、８は前景ブロック選択部、９は前景
動きベクトル検出部、１０は前景ブロック時間累積部、
１１は重心・サイズ検出部、１２は追尾領域決定部、そ
して、１３はカメラ制御部である。そして、背景領域相
関ブロック設定部４、追尾領域相関ブロック設定部５、
相関演算実行部６ａ，６ｂ、背景動きベクトル検出部
７、前景ブロック選択部８、前景動きベクトル検出部
９、前景ブロック時間累積部１０、重心・サイズ検出部
１１、及び追尾領域決定部１２は、例えば監視装置とし
て機能するコンピュータ装置が実行するプログラムにて
具現化される。なお、図１２と同一の構成要素には同一
符号を付して重複する説明を省略する。

【００３４】次に動作について説明する。図１２で説明
したように、カメラ１で連続的に撮像されたカメラ画像
は、画像入力部２に順次与えられる。そして、このカメ
ラ画像は、画像記憶部３に一旦記憶されるとともに相関
演算実行部６ａ，６ｂに与えられる。一方、画像記憶部
３に記憶されたカメラ画像は、背景領域相関ブロック設
定部４及び追尾領域相関ブロック設定部５に与えられ
る。

【００３５】背景領域相関ブロック設定部４及び追尾領
域相関ブロック設定部５には、別に追尾領域決定部１２
から追尾対象の中心座標（Ｇｘ，Ｇｙ）、幅（ｗ）、及
び高さ（ｈ）を示す追尾対象情報が与えられる。この追
尾対象情報に応じて、背景領域相関ブロック設定部４及
び追尾領域相関ブロック設定部５は、追尾領域Ｒを規定
する規定領域を設定する。

【００３６】ここで、背景領域相関ブロック設定部４
は、画像記憶部３から与えられる時刻（ｔ−１）の画像
フレーム中の追尾領域Ｒの外部に属する小ブロック（相
関演算ブロック）群を設定して、背景動きベクトル検出
用小ブロック群とする。つまり、背景領域相関ブロック
設定部４では、追尾領域に応じて画像フレーム中に規定
領域を設定して、規定領域の外側に小ブロック群を設定
する。

【００３７】ここで、追尾領域Ｒの外部に小ブロック群
を設定する方法としては、例えば追尾領域Ｒの外部の領
域に所定のブロック数だけランダムに配置しても良い。
また例えば追尾領域Ｒから所定の距離だけ離れた（追尾
領域Ｒから距離的に遠い）地点から追尾領域Ｒを取り囲
むように、順に外側に至るまで、所定のブロック数だけ
詰めて配置しても良い。

【００３８】あるいは、追尾領域Ｒの外部の領域でエッ
ジ抽出を行い、局所領域毎にエッジの集中度を求め、そ
れらをエッジの集中度の大きい順にソートしておいてか
ら、エッジ成分が集中する領域を優先して、所定のブロ
ック数だけ詰めて配置しても良い。あるいは、追尾領域
Ｒの外部の領域で前フレームとの輝度差抽出を行い、局
所領域毎に前フレームとの輝度差の集中度を求め、それ
らを輝度差の集中度の大きい順にソートしておいてか
ら、前フレームとの輝度差が高い点が集中する領域を優
先して、所定のブロック数だけ詰めて配置しても良い。

【００３９】あるいは、これらを組み合わせて、エッジ
成分の集中度があるしきい値を越える領域、あるいはフ
レーム間の輝度差分の集中度があるしきい値を越える領
域を選択しておき、それらの選択領域の中から、追尾領
域Ｒから所定の距離だけ離れた（追尾領域Ｒから距離的
に遠い）地点から追尾領域Ｒを取り囲むように、順に外
側に至るまで詰めて、所定のブロック数だけ詰めて配置
しても良い。

【００４０】一方、追尾領域相関ブロック設定部５は、
追尾領域Ｒの内部に属する小ブロック群を設定して、追
尾対象動きベクトル検出用小ブロック群とする。つま
り、追尾領域相関ブロック設定部５では、追尾領域に応
じて画像フレーム中に規定領域を設定して、規定領域の
内側に小ブロック群を設定する。ここまでの処理が設定
ステップに相当する。

【００４１】ここで、追尾領域Ｒの内部に小ブロック群
を設定する方法としては、例えば追尾領域Ｒの内部の領
域に所定のブロック数だけランダムに配置しても良い。
また、例えば追尾領域Ｒの中心から外側に向い、追尾領
域Ｒの中心を取り囲むように、順に外側に至るまで、所
定のブロック数だけ詰めて配置しても良い。

【００４２】あるいは、追尾領域Ｒの内部の領域でエッ
ジ抽出を行い、局所領域毎にエッジの集中度を求め、そ
れらをエッジの集中度の大きい順にソートしておいてか
ら、エッジ成分が集中する領域を優先して、所定のブロ
ック数だけ詰めて配置しても良い。

【００４３】あるいは、追尾領域Ｒの内部の領域で前フ
レームとの輝度差抽出を行い、局所領域毎に前フレーム
との輝度差の集中度を求め、それらを輝度差の集中度の
大きい順にソートしておいてから、前フレームとの輝度
差が高い点が集中する領域を優先して、所定のブロック
数だけ詰めて配置しても良い。

【００４４】あるいは、これらを組み合わせて、エッジ
成分の集中度があるしきい値を越える領域、あるいはフ
レーム間の輝度差分の集中度があるしきい値を越える領
域を選択しておき、それらの選択領域の中から、追尾領
域Ｒの中心から追尾領域Ｒの中心を取り囲むように、順
に外側に至るまで、所定のブロック数だけ詰めて配置し
ても良い。

【００４５】時刻ｔにおいて、画像入力部２から画像フ
レームが相関演算実行部６ａ，６ｂに与えられる。一
方、１つ前の画像フレーム、つまり、時刻（ｔ−１）に
おける背景動きベクトル検出用小ブロック群に対応する
画像フレーム（以下、背景ベクトル用画像フレームと称
する）が背景領域相関ブロック設定部４から相関演算実
行部６ａに与えられる。同様にして、時刻（ｔ−１）に
おける追尾対象動きベクトル検出用小ブロック群に対応
する画像フレーム（以下、追尾ベクトル用画像フレーム
と称する）が追尾領域相関ブロック設定部５から相関演
算実行部６ｂに与えられる。

【００４６】図２は図１中の相関演算実行部の動作を説
明する図である。この図を参照すると、上記背景ベクト
ル用画像フレームは、ブロックテンプレート：Ｉｔ
（ｉ，ｊ）に相当し、前述の画像入力部２から与えられ
る画像フレームはサーチエリア：Ｉｓ（ｉ，ｊ）に相当
する。テンプレートブロックは、（ｗｘ×ｗｙ）のサイ
ズを有している。また、サーチエリアは、｛（ｗｘ＋２
ｒｘ）×（ｗｙ＋２ｒｙ）｝のサイズを有している。相
関演算実行部６ａでは、ブロックテンプレートをサーチ
エリアに対して前述の小ブロック毎に相関演算を行っ
て、ブロックテンプレートについてサーチエリアの小ブ
ロック毎のスコア値（相関結果値）を求めて、スコアマ
ップ（第１の相関結果）を得る（以下、このスコアマッ
プを背景スコアマップと称する）。

【００４７】例えば、ブロックテンプレートの位置をｘ
方向、ｙ方向にずらしつつ、画像フレーム間で一致度を
計算する。ブロック内の画素値の差分絶対値和を計算す
る際には、ｘ方向、ｙ方向のずらし量がそれぞれｄｘ，
ｄｙのときの残差ｓｃｏｒｅ（ｄｘ，ｄｙ）は、下記式
（１）で求められる。

【数１】

【００４８】図３は図１中の相関演算実行部で求められ
るスコアマップの一例を示す図である。上記式（１）に
より求めたスコアマップは、図に示すような形状とな
る。この図では、スコア値は下方向がプラスとなってい
る。また、差分絶対値の総和が極小となるずらし量（Ｘ
ｍ，Ｙｍ）は上向きのピークとなる。このとき、動きベ
クトルは（Ｘｍ，Ｙｍ）である。

【００４９】同様にして、上記の追尾ベクトル用画像は
ブロックテンプレート：Ｉｔ（ｉ，ｊ）に相当する。相
関演算実行部６ｂでは、ブロックテンプレートを用いて
サーチエリアに対して前述の小ブロック毎に相関演算を
行って、ブロックテンプレートについてサーチエリアの
小ブロック毎のスコア値（ｓｃｏｒｅ（ｄｘ，ｄｙ））
を上記式（１）に応じて求める。これにより、｛（２ｒ
ｘ＋１）×（２ｒｙ＋１）｝で規定されるスコアマップ
（第２の相関結果）を得る（以下、このスコアマップを
追尾スコアマップと称する）。ここまでの処理が相関演
算ステップに相当する。

【００５０】前述の背景スコアマップ及び追尾スコアマ
ップは、それぞれ背景動きベクトル検出部７及び前景ブ
ロック選択部８に与えられる。背景動きベクトル検出部
７では、背景スコアマップに基づいて、背景動きベクト
ルを検出する。

【００５１】図４は図１中の背景動きベクトル検出部及
び前景ブロック選択部の動作を説明する図である。この
図を参照すると、（ａ）において、ＢＧは背景領域に属
する小ブロック（ａ１〜ａ１２、・・・）を示してお
り、追尾領域Ｒの一回り外側の長方形Ｒ２よりも外側に
位置している。小ブロックＢＧから得られる相関スコア
マップ（背景スコアマップ）の系列が（ｂ）に示されて
いる。そして、これら相関スコアマップを累積してその
高さを正規化すると、累積相関スコアマップ（累積背景
スコアマップ）ａｚが得られる。そして、累積背景スコ
アマップのピーク座標を検出して、このピーク座標を
（ｘｍ，ｙｍ）とし、点（０，０）から点（ｘｍ，ｙ
ｍ）に向かうベクトルを背景動きベクトルとする。

【００５２】この背景動きベクトルは前景ブロック選択
部８に与えられる。（ａ）において、ＦＧは追尾領域Ｒ
に属する小ブロック（Ａ〜Ｄ、・・・）を示しており、
小ブロックＦＧから得られる相関スコアマップ（追尾ス
コアマップ）の系列が（ｃ）に示されている。（ｃ）で
は、図５に示すように、あるブロックの相関スコアマッ
プに関して、スコアマップの極小ピーク値と背景動きベ
クトルのずらし量に相当するずらし位置におけるスコア
値との差ＰＳが予め設定されたしきい値を越えた際、そ
のブロックの動きベクトルは背景の動きベクトルと明ら
かに異なっており、前景ブロックであるものとして選択
する。図では選択されたスコアマップは着色されてい
る。そして、前景ブロック選択部８は、この動きベクト
ルが異なる追尾スコアマップのみを累積してその高さを
正規化し、累積相関スコアマップ（累積追尾スコアマッ
プ）ＡＺを得る。

【００５３】図５は図１中の前景ブロック選択部の動作
を説明する図である。前景ブロック選択部８は、図に示
すように、あるブロックの相関スコアマップの極小ピー
ク値と背景動きベクトルのずらし量に相当するずらし位
置におけるスコア値との差ＰＳが予め設定されたしきい
値を越えた際、前景ブロックとして採用する。ここまで
の処理が選択ステップに相当する。

【００５４】上述のようにして選択された前景ブロック
は前景動きベクトル検出部９及び前景ブロック時間累積
部１０に与えられる。そして、前景動きベクトル検出部
９では、前景ブロックに関して、そのスコアマップを累
積する。この累積スコアマップのピークを検出して、こ
のピーク値を与えるずらし位置を（ｘｍ，ｙｍ）とし、
点（０，０）から点（ｘｍ，ｙｍ）に向かうベクトルを
前景動きベクトルとする。そして、この前景動きベクト
ルは追尾領域決定部１２に与えられる。

【００５５】図６は図１中の前景ブロック時間累積部の
動作を説明する図である。図に示すように、例えば前景
ブロックが時間的に遷移したとする。図において、前景
ブロックは■で示し、（ａ）は時刻（ｔ−３）の前景ブ
ロックの位置、（ｂ）は時刻（ｔ−２）の前景ブロック
の位置、（ｃ）は時刻（ｔ−１）の前景ブロックの位
置、（ｄ）は時刻ｔの前景ブロックの位置を示してい
る。また、各ブロックは４×４画素で構成されているも
のとする。

【００５６】図７は図６中の前景ブロックに画素ごとの
論理値を対応させた図である。前景ブロック時間累積部
１０では、（ａ）〜（ｄ）に示す状態をそれぞれ図７
（ａ）乃至図７（ｄ）で示すように、各画素単位で論理
値“１”又は“０”を割り当てる（前景ブロックの画素
が数値“１”となる）。

【００５７】図８は図７中の前景ブロックの時間累積結
果を示す図である。図７（ａ）乃至７（ｄ）に示す数値
表を画素単位で累積すると、この図に示す累積表を得
る。この累積表は重心・サイズ検出部１１に与えられ
る。

【００５８】重心・サイズ検出部１１では、累積表に応
じて図１５で説明したモーメント計算を行って、前景ブ
ロックの重心を求める。さらに、重心・サイズ検出部１
１では、予め定められた閾値（例えば、累積表中のピー
ク値（図８に示す例では“４”）に対する割合（例え
ば、２０％））よりも大きい値を有する画素中のｘ座標
値の最小値及びｙ座標値の最小値を左上の点、ｘ座標値
の最大値及びｙ座標値の最大値を右下の点とする四角形
（長方形）領域の幅及び高さをサイズとする。

【００５９】なお、サイズを求める際には、累積表にお
いて、以下の（２）〜（１０）の式を計算することによ
りｘ方向、ｙ方向それぞれの標準偏差σｘ、σｙを求め
る。 Ｍ００＝ΣΣ｛ｆ（ｘ，ｙ）｝・・・・・・・・・（２） Ｍ０１＝ΣΣ｛ｘ×ｆ（ｘ，ｙ）｝・・・・・・・（３） Ｍ１０＝ΣΣ｛ｙ×ｆ（ｘ，ｙ）｝・・・・・・・（４） Ｍ２０＝ΣΣ｛ｘ×ｘ×ｆ（ｘ，ｙ）｝・・・・・（５） Ｍ０２＝ΣΣ｛ｙ×ｙ×ｆ（ｘ，ｙ）｝・・・・・（６） ｇｘ＝Ｍ０１／Ｍ００・・・・・・・・・・・・・（７） ｇｙ＝Ｍ１０／Ｍ００・・・・・・・・・・・・・（８） σｘ＝√（Ｍ０２／Ｍ００−ｇｘ×ｇｘ）・・・・（９） σｙ＝√（Ｍ２０／Ｍ００−ｇｙ×ｇｙ）・・・・（１０） ここで、（ｇｘ，ｇｙ）は選択された前景ブロック分布
の中心位置を示しており、図８に示す例ではスコア値は
‘４’となっている位置である。

【００６０】また、標準偏差を予め規定された分だけ倍
数（例えば、１．０倍）した値で規定される領域の幅及
び高さをサイズとするようにしてもよい。例えば、ｘ方
向及びｙ方向の標準偏差をσｘ及びσｙとすると、幅は
２．０σｘ、高さは、２．０σｙとする。このようにし
て求められた重心・サイズは、追尾領域決定部１２に与
えられる。

【００６１】追尾領域決定部１２では、前述の前景動き
ベクトル及び重心・サイズに基づいて追尾領域を示す追
尾領域情報を生成する（決定ステップ）。なお、追尾領
域情報とは、重心の予測値、サイズの予測、値動きベク
トルの３つの情報よりなる。この追尾領域情報は、背景
領域相関ブロック設定部４及び追尾領域相関ブロック設
定部５に与えられるとともに、カメラ制御部１３に与え
られる。

【００６２】カメラ制御部１３では、追尾領域情報に基
づいてカメラ１を駆動制御する。つまり、カメラ制御部
１３は、追尾領域を画像の中心に位置づけるようにカメ
ラ１を首振り制御することになる。この際、時々刻々入
力される追尾領域域情報に応じて追尾対象の移動速度を
得て、移動速度も考慮して首振り制御を行う。

【００６３】図９は図１中の監視装置における監視カメ
ラの制御を説明する図である。上述のようにして、
（ａ）に示す画像フレームにおいて、監視装置は、
（ｂ）に示すように追尾領域情報に基づいて追尾領域Ｒ
に応じて規定領域を設定して、つまり、画像全体につい
て背景部分との差分処理を行って追尾領域Ｒを得て、追
尾モードに切り替わることになる。そして、（ｃ）に示
すように、追尾領域Ｒを移動物体（図示せず）の移動と
サイズの変動に合わせて追尾させることになる。このと
き、（ｄ）に示すように、カメラ１が首振り制御され
て、追尾領域Ｒが常に画像の中心にくるようにすると同
時に、追尾領域Ｒの大きさが画像中で予め設定した範囲
に収まるようにズームの制御を行うことになる。追尾領
域Ｒの大きさの設定範囲は、例えば追尾領域Ｒの縦のサ
イズが画像の縦サイズの２５±５％になるようにといっ
た形で設定すればよい。つまり、移動物体の移動・サイ
ズに合わせて追尾領域を追従させることになる。

【００６４】このように、背景領域相関ブロック設定部
４及び追尾領域相関ブロック設定部５は設定手段として
機能し、相関演算実行部６ａ，６ｂは相関演算手段とし
て機能する。そして、背景動きベクトル検出部７及び前
景ブロック選択部８は、選択手段として機能し、前景動
きベクトル検出部９、前景ブロック時間累積部１０、重
心・サイズ検出部１１、及び追尾領域決定部１２は決定
手段として機能することになる。

【００６５】図１０は図１中の監視装置において移動物
体が人である際の追尾の一例を示す図である。移動物体
が人（Ｐ）であるとすると（図１０（ａ））、前述のよ
うにして、各小ブロック毎に動きベクトル（移動ベクト
ル）が求められる（図１０（ｂ））。これら動きベクト
ルに基づいて、追尾領域Ｒに応じて規定された規定領域
内で、全小ブロックに関する相関結果から得られる背景
の動きベクトルと異なる動きベクトルを有するブロック
群（前景ブロック群）Ｂを得る（図１０（ｃ））。そし
て、過去数フレーム分の前景ブロック群Ｂを追尾領域の
中心を基準として位置合わせして累積して累積シルエッ
トＨを得る（図１０（ｄ））。累積シルエットＨでは前
景ブロックの存在確率が高い部分は、累積値が大きくな
る分布をしている。そして、累積シルエットＨに応じて
移動物体（人）の代表ベクトルｍ、前景ブロックの中心
Ｇ、中心Ｇの追尾領域中心Ｃからのずれｅ（ベクトル）
を得る（図１０（ｅ））。

【００６６】図１１は図１中の監視装置において移動物
体が人である際の追尾の他の例を示す図である。例え
ば、（ａ）に示す人（Ｐ）を追尾しようとする際、周期
的に振られる四肢部に関する動きブロックは出現と消滅
を繰り返すことを考慮すると、（ｂ）に示すように、各
小ブロック毎に移動ベクトルを求める。この結果を利用
すると、（ｃ）に示すように、背景の動きベクトルと異
なる動きベクトルを有するブロック群（前景ブロック
群）Ｂが極端に小さくなってしまう。そこで、この実施
の形態１では、過去数フレーム分の前景ブロックＢを追
尾領域の中心を基準として位置合わせして累積して累積
シルエットＨを得る。これにより、（ｄ）に示すよう
に、前景ブロック群Ｂに比べて累積シルエットＨが大き
くなり、（ｅ）に示すように、安定して追尾領域の代表
ベクトルｍ、前景ブロックの中心Ｇ、中心Ｇの追尾領域
中心Ｃからのずれｅ（ベクトル）を得ることができる。
この結果、人等の移動物体についても、長時間にわたり
安定した追尾が可能になる。

【００６７】以上のように、この実施の形態１によれ
ば、映像の画像フレーム内の追尾領域に応じて規定され
る規定領域内外にそれぞれ相関演算ブロックを設定し
て、相関演算ブロックに関して画像フレーム間で相関演
算を実行して規定領域外の相関結果を求めるとともに規
定領域内の相関結果を求めて、これら相関結果に基づい
て規定領域内の相関演算ブロックのうちから前景ブロッ
クを選択して、前景ブロックに応じて次フレームにおけ
る追尾領域を決定するので、人等の移動物体についても
長時間にわたり安定して追尾することができる。

【００６８】

【発明の効果】以上のように、この発明によれば、映像
の画像フレームに規定領域を設定して、規定領域の内外
にそれぞれ規定領域よりも小さい相関演算ブロックを設
定し、相関演算ブロックに関して画像フレーム間で相関
演算を実行して規定領域外の相関結果を第１の相関結果
として求めるとともに規定領域内の相関結果を第２の相
関結果として求め、第１及び第２の相関結果に基づいて
規定領域内の相関演算ブロックのうちから移動物体像を
規定する前景ブロックを選択して、前景ブロックに応じ
て監視カメラが追尾すべき移動物体像の領域を示す追尾
領域を決定するので、移動物体像の画像中での見掛けの
大きさにかかわらず、精度よく移動物体像と背景部分の
動きを分けることができ、追尾領域を高精度に予測して
移動物体を安定に追尾することができるという効果があ
る。

【００６９】この発明によれば、第１の相関結果に応じ
て背景部分における動きを示す背景動きベクトルを検出
して、第２の相関結果に応じて背景動きベクトルとその
動きベクトルが異なる相関演算ブロックを規定領域中か
ら前景ブロックとして選択するので、移動物体自体の動
きをキャンセルして、精度よく背景動きベクトルを検出
することができ、精度よく前景ブロックを選択すること
ができるという効果がある。

【００７０】この発明によれば、前景ブロックの分布状
態に応じて移動物体像の重心及びサイズを推定し、重心
及びサイズに応じて次画像フレームにおける追尾領域を
予測するので、監視カメラを精度よく追尾制御すること
ができるという効果がある。

【００７１】この発明によれば、前景ブロックを予め設
定された時間累積して前景ブロックの累積値を得て、累
積値に応じて前景ブロックの重心を求めると共に前景ブ
ロックのサイズを検出して、重心及びサイズに基づいて
追尾領域を決定するので、前景ブロックが過去数フレー
ムにわたって累積されることになって、安定して追尾領
域を推定することができるという効果がある。

【００７２】この発明によれば、前景ブロックについて
第２の相関結果が累積された積相関結果のピーク値が示
す座標を前景動きベクトルとして、前景動きベクトルで
示される動きに応じて追尾領域を決定するので、移動物
体の動き方向を加味して追尾領域を決定することができ
るという効果がある。

【００７３】この発明によれば、追尾領域に応じて規定
領域を設定するので、次画像フレームにおける追尾領域
を高精度に予測して、移動物体を安定して追尾すること
ができるという効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による監視装置の構
成を示すブロック図である。

【図２】 図１中の相関演算実行部の動作を説明する図
である。

【図３】 図１中の相関演算実行部で求められるスコア
マップの一例を示す図である。

【図４】 図１中の背景動きベクトル検出部及び前景ブ
ロック選択部の動作を説明する図である。

【図５】 図１中の前景ブロック選択部の動作を説明す
る図である。

【図６】 図１中の前景ブロック時間累積部の動作を説
明する図である。

【図７】 図６中の前景ブロックに画素ごとの論理値を
当てはめた図である。

【図８】 図７中の前景ブロックの時間累積結果を示す
図である。

【図９】 図１中の監視装置における監視カメラの制御
を説明する図である。

【図１０】 図１中の監視装置において移動物体が人で
ある際の追尾の一例を示す図である。

【図１１】 図１中の監視装置において移動物体が人で
ある際の追尾の他の例を示す図である。

【図１２】 従来の監視装置の構成を示すブロック図で
ある。

【図１３】 図１２中の監視装置における監視カメラの
制御を説明する図である。

【図１４】 画像全体における背景領域と追尾領域との
関係を示す図である。

【図１５】 図１２中の移動ブロック重心検出部の動作
を説明する図である。

【図１６】 移動物体が人である際の追尾の一例を示す
図である。

【図１７】 移動物体が人である際の追尾の他の例を示
す図である。

【符号の説明】

１ 監視カメラ（カメラ）、２ 画像入力部、３ 画像
記憶部、４ 背景領域相関ブロック設定部、５ 追尾領
域相関ブロック設定部、６ａ，６ｂ 相関演算実行部、
７ 背景動きベクトル検出部、８ 前景ブロック選択
部、９ 前景動きベクトル検出部、１０ 前景ブロック
時間累積部、１１ 重心・サイズ検出部、１２ 追尾領
域決定部、１３ カメラ制御部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 秀人 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 鷲見 和彦 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B057 AA19 BA02 DA06 DB02 DC03 DC04 DC06 DC08 DC16 DC32 5C054 CD03 CG02 EA01 FC12 FC13 HA18 5L096 BA02 CA04 EA27 FA06 FA34 FA59 FA60 FA62 FA64 FA66 FA67 FA69 GA08 GA17 GA51 HA05 JA09

Claims (8)

【特許請求の範囲】
1. 【請求項１】 監視カメラで得られた映像中の移動物体
   像に応じて前記監視カメラを駆動制御して映像中の移動
   物体を追尾する監視装置において、 前記映像の画像フレーム中に規定領域を設定して、該規
   定領域の内外にそれぞれ該規定領域よりも小さい相関演
   算ブロックを設定する設定手段と、 前記相関演算ブロックに関して前記画像フレーム間で相
   関演算を実行して前記規定領域外の相関結果を第１の相
   関結果として求めると共に、前記規定領域内の相関結果
   を第２の相関結果として求める相関演算手段と、 前記第１及び前記第２の相関結果に基づいて、前記規定
   領域内の相関演算ブロックのうちから前記移動体像を規
   定する前景ブロックを選択する選択手段と、 前記前景ブロックに応じて前記監視カメラが追尾すべき
   移動物体像の領域を示す追尾領域を決定する決定手段と
   を備えたことを特徴とする監視装置。
2. 【請求項２】 選択手段は、第１の相関結果に応じて背
   景部分における動きを示す背景動きベクトルを検出する
   背景動きベクトル検出手段と、第２の相関結果に応じて
   前記背景動きベクトルとその動きベクトルが異なる相関
   演算ブロックを規定領域中から前景ブロックとして選択
   する前景ブロック選択手段とを備えたことを特徴とする
   請求項１記載の監視装置。
3. 【請求項３】 決定手段は、前景ブロックの分布状態に
   応じて移動物体像の重心及びサイズを推定し、該重心及
   びサイズに応じて次画像フレームにおける追尾領域を予
   測することを特徴とする請求項１又は請求項２記載の監
   視装置。
4. 【請求項４】 決定手段は、前景ブロックを予め設定さ
   れた時間累積して前景ブロックの累積値を得る前景ブロ
   ック累積手段と、累積値に応じて前記前景ブロックの重
   心を求めると共に前記前景ブロックのサイズを検出する
   重心・サイズ検出手段と、前記重心及び前記サイズに基
   づいて追尾領域を決定する追尾領域決定手段とを備えた
   ことを特徴とする請求項１又は請求項２記載の監視装
   置。
5. 【請求項５】 決定手段は、前景ブロックについて第２
   の相関結果が累積された累積相関結果のピーク値が示す
   座標を前景動きベクトルとする前景動きベクトル検出手
   段を備え、 追尾領域決定手段は、前記前景動きベクトルで示される
   動きに応じて追尾領域を決定することを特徴とする請求
   項４記載の監視装置。
6. 【請求項６】 設定手段は、追尾領域に応じて規定領域
   を設定することを特徴とする請求項１から請求項５のう
   ちのいずれか１項記載の監視装置。
7. 【請求項７】 監視カメラで得られた映像中の移動物体
   像に応じて前記監視カメラを駆動制御して前記監視カメ
   ラで映像中の移動物体を追尾する監視方法において、 前記映像の画像フレーム中に規定領域を設定して該規定
   領域の内外にそれぞれ該規定領域よりも小さい相関演算
   ブロックを設定する設定ステップと、 前記相関演算ブロックに関して前記画像フレーム間で相
   関演算を実行して前記規定領域外の相関結果を第１の相
   関結果として求めると共に、前記規定領域内の相関結果
   を第２の相関結果として求める相関演算ステップと、 前記第１及び第２の相関結果に基づいて前記規定領域内
   の相関演算ブロックのうちから前記移動物体像を規定す
   る前景ブロックを選択する選択ステップと、 前記前景ブロックに応じて前記監視カメラが追尾すべき
   移動物体像の領域を示す追尾領域を決定する決定ステッ
   プとを備えたことを特徴とする監視方法。
8. 【請求項８】 監視カメラで得られた映像の画像フレー
   ム中に規定領域を設定して、該規定領域の内外にそれぞ
   れ該規定領域よりも小さい相関演算ブロックを設定する
   設定手段、 前記相関演算ブロックに関して前記画像フレーム間で相
   関演算を実行して前記規定領域外の相関結果を第１の相
   関結果として求めると共に、前記規定領域内の相関結果
   を第２の相関結果として求める相関演算手段、 前記第１及び前記第２の相関結果に基づいて、前記規定
   領域内の相関演算ブロックのうちから移動体像を規定す
   る前景ブロックを選択する選択手段、 前記前景ブロックに応じて前記監視カメラが追尾すべき
   移動物体像の領域を示す追尾領域を決定する決定手段と
   してコンピュータを機能させるプログラム。