JP2000156852A - 監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 波や木々の揺らぎのように、時間的に揺らぎ
をもつ背景において、監視対象を、精度よく検出するこ
とができる監視装置を提供する。 【解決手段】 差分回路２１４０により現フレームと第
１の背景画像（動的背景）の輝度値差をもとに侵入物候
補を検出する。動的背景は、動的背景更新回路２１３０
により現フレームの波の揺らぎを反映するほど迅速に更
新される。差分追跡回路２１５０により侵入候補をフレ
ーム毎に追跡する。侵入物候補は、所定時間追跡される
と、侵入物判定報知回路２１６０により侵入物と判定さ
れる。検出された侵入物を含む画像をテンプレートとし
て登録しておく。パターン更新検出回路２１９０は、登
録してあるテンプレートで現フレームにパターンマッチ
ング処理することで差分のでない画像を検出することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動きのある背景中
において監視対象物を検出して監視する技術に係り、特
に、洋上、木立の中など、監視対象以外についても動き
のある画像から、特定の監視対象物を検出して監視する
技術に関する。

【０００２】

【従来の技術】カメラ等を用いて対象を撮影し、撮影し
た画像を用いて、監視対象物を監視することが一般に行
なわれている。この場合、監視を行うためには、撮影さ
れた画像から対象物の画像を検出し、その変化を抽出す
ることが必要である。

【０００３】この種の監視装置として、例えば、背景と
現フレームの差分を二値化して侵入物を検出する技術が
ある（特開平７−１２９７７９号公報）。また、背景と
現フレームの差分の移動速度を検証して侵入物を検出す
る技術がある（特開平５−２８４５０１号公報）。

【０００４】この他に、フレームをあらかじめ幾つかの
領域に分割してそれぞれの領域に応じた処理する技術が
ある（特開平１０−１３６３４１号公報）。

【０００５】

【発明が解決しようとする課題】しかし、例えば、特開
平７−１２９７７９号公報に開示される技術では、これ
を桟橋などの洋上施設の監視に用いると、固定背景画像
と現フレームの波の揺らぎが差分となって誤検知してし
まう。すなわち、固定背景による背景差分では、波等の
実際の背景における揺らぎを誤検知することが多いとい
う問題がある。また、検出すべき侵入物が背景の波の揺
らぎと同様の様々な速度の成分を持つ場合、特開平５−
２８４５０１号公報に開示される技術で、差分の移動速
度を求めても、侵入物と波とを区別することは困難とな
る。

【０００６】本発明の目的は、波や木々の揺らぎのよう
に、時間的に揺らぎを持つ背景において、監視対象を、
精度よく検出することができる監視装置を提供すること
にある。

【０００７】また、本発明の他の目的は、監視対象か
ら、検出すべき画像を精度よく抽出することができる監
視装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明の第１の目的を達
成するための第１の態様として、対象領域を撮像した画
像に基づいて該対象領域についての監視を行う監視装置
において、撮像した画像をフレーム単位で時系列に取り
込む手段と、前記取り込まれた画像に基づいて生成さ
れ、更新される第１の背景画像を記憶する手段と、最新
に取り込まれた現フレームの画像とそれより前に取り込
まれた前フレームの画像とを比較して両者の輝度値差が
所定しきい値よりも小さい領域がある場合、前記記憶さ
れる第１の背景画像の当該領域を現フレームの対応する
領域の輝度値に置き換えて前記第１の背景画像を更新す
る手段と、前記第１の背景画像と現フレームの画像との
輝度値差を所定のしきい値で二値化して画素集合を検出
する手段と、前記検出された画素集合が対象領域での検
出対象であるかを判定して、判定結果を出力する手段と
を備えることを特徴とする監視装置が提供される。

【０００９】また、本発明の第２の目的を達成するため
の第２の態様として、対象領域を撮像した画像に基づい
て該対象領域についての監視を行う監視装置において、
撮像した画像をフレーム単位で時系列に取り込む手段
と、前記取り込まれた画像に基づいて生成され、更新さ
れる第１の背景画像を記憶する手段と、前記第１の背景
画像と現フレームの画像との輝度値差を所定のしきい値
で二値化して画素集合を検出する手段と、前記画素集合
に対応する領域の輝度値パターンを、現フレームから切
出して、一致度を調べる演算を行うためのテンプレート
として記憶する手段と、現フレームの少なくとも一部の
領域について、前記テンプレートとの一致度を調べる演
算を順次行って、予め定めた値以上の一致度を有する輝
度値パターンの有無を検出する手段と、予め定めた値以
上の一致度を有する輝度値パターンが検出されたとき、
当該輝度値パターンについて、検出対象であると判定す
る手段とを備えることを特徴とする監視装置が提供され
る。

【００１０】

【発明の実施の形態】本発明の実施の形態について図面
を参照して説明する。以下では、洋上施設について監視
する場合を例として説明するが、本発明はこれに限られ
ない。

【００１１】図２は本発明の監視装置を用いた洋上施設
監視システムの一例である。この例では、洋上１０に、
施設２６が設けられ、施設２６と岸壁２５とが連絡橋２
７により連結されている。本発明の監視装置は、ＴＶカ
メラ２０００と、監視装置２１００と、表示装置２２０
０と、報知装置２３００と、操作装置２４００とを備え
ている。監視装置２１００は、例えば、後述するハード
ウエア論理回路等により構成される。もちろん、コンピ
ュータを用いてソフトウエアにより対応する機能を実現
することにより構成することもできる。ＴＶカメラ２０
００は、岸壁２５に設置されて、洋上施設２６を監視し
ている。なお、ＴＶカメラ２０００は、連絡路２７や洋
上施設２６上に設置されていてもよい。

【００１２】ＴＶカメラ２０００により撮影された画像
は、表示装置２２００の表示画面２２１０において、例
えば、図３に示すように表示される。すなわち、洋上に
洋上施設３０と船舶３１とがあり、洋上施設３０上には
侵入物３２が存在する。本発明の監視装置は、常に揺ら
いでいる波３４を無視して、侵入物３２や、時には船舶
３１を検出するものである。なお、表示画面２２１０内
に表示されている枠は、揺らぎ観測窓３３である。この
観測窓３３は、画面２２１０の洋上に設置されることに
より、波の揺らぎを観測して検出パラメータの自動調整
を行う処理に用いられる。これについては後記する。

【００１３】本発明では、監視対象を撮像した画像をフ
レーム単位で時系列に取込み、最新のフレームである現
フレームの画像と第１の背景画像（動的背景）の輝度値
差をもとに侵入物候補を、例えば、画素集合として検出
する。前記検出された画素集合が対象領域での検出対象
であるかを判定して、判定結果を出力する。

【００１４】第１の背景画像は、最新に取り込まれた現
フレームの画像とそれより前に取り込まれた前フレーム
の画像とを比較して両者の輝度値差が所定しきい値より
も小さい領域がある場合、記憶される第１の背景画像の
当該領域を現フレームの対応する領域の輝度値に置き換
えることで更新される。これにより、動的背景は、現フ
レームの監視対象の背景において生ずる揺らぎ、例え
ば、波の揺らぎを反映するほど迅速に更新される。更新
に係るパラメータは、監視対象の画像中の揺らぎを生ず
る領域、例えば、洋上を示す画像領域に、観測窓を設定
して、この窓において観測される揺らぎの程度を表わす
値に対応して定められる。具体的には、それによって、
しきい値を定めて、最適化することができる。これによ
り、侵入物の大きさや動きが波の変化の大きさよりも大
きい場合は、背景差分で検出されることになる。

【００１５】次に、侵入候補をフレーム毎に追跡する。
追跡は、複数のフレームにおいてそれぞれ検出された画
素集合について、複数のフレーム間で同一の画素集合を
対応付けることによって行う。侵入物候補は、所定時間
追跡されると侵入物と判定される。

【００１６】一方、検出された侵入物を含む画像をテン
プレートとして登録しておく。前記動的背景は迅速に更
新するので、動きの少ない侵入物は速やかに前記動的背
景に取り込まれ、現フレームとの差分が出なくなること
がある。この場合は、既に登録してあるテンプレートで
現フレームにパターンマッチング処理することで差分の
でない画像を検出することができる。また、追跡を再開
できる。

【００１７】さらに、背景中にある固定的な物体の画
像、例えば、洋上の施設自体を含む画像をテンプレート
として登録してしまうと、洋上施設自体を侵入物として
検出してしまう。これを防ぐために前記侵入者のテンプ
レートで検出された場所と同じ位置における第２の背景
画像（静的背景）をテンプレートとして一致度を計算す
る。この時、前記静的背景テンプレートとの一致度が低
ければ、侵入物が存在して洋上施設の一部を隠している
と見做せる。洋上施設は固定的なものであるから前記静
的背景は洋上施設そのものの画像である。

【００１８】この他に、現フレームと静的背景の輝度値
差を累積して、恒常的に変動の激しい部分とそうでない
部分を判定して、それに応じて、侵入物候補の検出を行
うためのしきい値を変えることができる。

【００１９】以下、これらを実現するための各種実施の
形態について、図面を参照して説明する。

【００２０】本発明の第１の実施の形態の構成の概要に
ついて、図１を参照して説明する。本発明の監視装置
は、ＴＶカメラ２０００の画像をアナログ−デジタル変
換して現フレームとして取り込む手段として機能する画
像入力回路２１１０と、前フレームなど過去の数フレー
ムを時系列的に記憶する手段として機能するフレーム遅
延回路２１２０と、時系列の数フレームを用いて第１の
背景画像（以下、動的背景という。動的背景については
後述する。）を作成更新する手段および動的は畏敬を記
憶するとして機能する動的背景更新回路２１３０と、現
フレームと前記動的背景の輝度値の差分を二値化して画
素集合を侵入物候補として検出する、画素集合検出手段
として機能する差分回路２１４０と、前記侵入物候補を
フレーム間に亘って対応付け位置を追跡する、画素集合
追跡手段として機能する差分追跡回路２１５０と、所定
時間以上追跡できたことを条件に前記侵入物候補を侵入
物と判定して報知する手段として機能する侵入物判定報
知回路２１６０とを有する。

【００２１】なお、静的背景更新回路２１７０、差分蓄
積回路２１８０およびパターン更新回路２１９０は、本
実施の形態では使用しないので、後述する他の実施の形
態に関する説明において述べる。したがって、本実施の
形態では、これらは省略してもよい。

【００２２】まず、フレーム遅延回路２１２０の構成と
動作を説明する。図４はフレーム遅延回路２１２０の構
成の一例を示す図である。フレーム遅延回路２１２０
は、画像入力回路２１１０のフレームを書き込み、読み
出し可能なフレームメモリ群２１２１と、書き込むべき
フレームメモリを選択する書込カウンタ２１２２と、フ
レームメモリ群２１２１から読み出すべきフレームメモ
リを選択する読出カウンタ２１２３とを有する。

【００２３】フレームメモリ群２１２１は、フレームメ
モリ２１２１ａ〜２１２１ｉを有する。各フレームメモ
リ２１２１ａ〜２１２１ｉは並列に接続され、入力側が
画像入力回路２１１０に、出力側が動的背景更新回路２
１３０（図１参照）に接続される。書込カウンタ２１２
２は、フレームメモリ群２１２１のフレームメモリ２１
２１ａ〜２１２１ｉの個数分計数して、再び初期値に戻
るという循環的カウンタである。画像入力回路２１１０
のフレームをフレームメモリ群２１２１に書き込むたび
にカウントする。このためフレームメモリ群２１２１に
はエンドレスでフレームメモリ数分の時系列フレームが
保持される。読出カウンタ２１２３も循環的カウンタ
で、フレームメモリ群２１２１のフレームメモリ数通り
の数を示せる。初期値は、書込カウンタ２１２２に等し
い値で、読み出し時に１減ずると前フレームが読み出
せ、さらに、１減ずると前々フレームが読み出せる。フ
レームメモリ群２１２１のフレームメモリ数は必要に応
じて増減して構成できる。

【００２４】次に、動的背景の概念とこれを実現するた
めの動的背景更新回路２１３０の構成とについて説明す
る。図５は動的背景更新回路２１３０の一実施例を示す
図である。動的背景更新回路２１３０は、現フレームと
前フレームあるいは数フレーム前のフレームとの輝度値
差を計算する差分回路２１３１と、前記輝度値差をある
しきい値で二値化する二値化回路２１３２と、前記輝度
値差の小さい領域を現フレームで置き換える背景合成回
路２１３３と背景保持メモリ２１３４と、二値化しきい
値調整回路２１３５とを有する。

【００２５】動的背景は、背景保持メモリ２１３４に保
持される。初期値として、最初は現フレームが保持され
る。そして、次の撮像サイクルから、差分回路２１３１
で、現フレームと前フレームあるいは更に前のフレーム
との輝度値差を求める。この輝度値差について、二値化
回路２１３２で、あるしきい値により二値化する。二値
化することで、監視画面がフレーム間で差の大きかった
領域と大きくなかった領域とに二分されることになる。
この二分結果を背景合成回路２１３３で用いる。すなわ
ち、フレーム間の差の大きい領域は現在の背景を維持
し、フレーム間の差の大きくなかった領域は現フレーム
に更新する。こうして合成した動的背景は、背景保持メ
モリ２１３４に保持される。そして、二値化回路２１３
２のあるしきい値は、しきい値調整回路２１３５で自動
調整される。

【００２６】ここで、しきい値調整回路２１３５の動作
について説明する。図６(a)は、観測窓３３の現フレー
ムの波の画像である。図６(b)は、前フレームの波の画
像である。図６(c)は、差分を二値化したものである。
図６(c)の白い部分が差の大きな場所である。この白い
部分の面積が所定の範囲に収まるように、二値化しきい
値を自動調整し、二値化回路２１３２のしきい値として
用いる。二値化しきい値の自動調整に際し、しきい値調
整回路２１３５は、例えば、次のように行うことができ
る。白画素数を計数し、その計数値が予め定めた範囲内
に収まるかを判定する。そして、上限オーバー、下限オ
ーバー等の場合、それぞれ、しきい値を上げて、また
は、下げて、再び、白画素数の計数、計数値の判定等を
行う。このようにして、最終的に、白画素の計数値が所
定範囲内となったとき、その時のしきい値を二値化回路
２１３２のしきい値とする。

【００２７】以上説明した動作によって作成更新される
動的背景は、波の変動を反映する。しかし、波よりも大
きな輝度値の変化については、反映しないものとなる。

【００２８】次に、差分回路２１４０の動作を説明す
る。差分回路２１４０は、現フレームと動的背景更新回
路２１３０の輝度値の差分を求め、それを二値化するも
のである。図７(a)は現フレームの画像である。図７(b)
は差分回路２１４０の出力の二値画像である。動的背景
は先に説明したように波の揺らぎは現フレームとほぼ同
じなので差はあまり出ないが、動きのある侵入物や航行
中の船舶は差が現れる。差分回路２１４０は、差分を求
める他、差分出力に含まれる二値画像について、ある程
度の大きさを有する同一輝度値の画素分布（画素集合）
を抽出して侵入物候補とし、その侵入物候補についての
外接矩形の座標と中心座標を求め、次段の差分追跡回路
２１５０に出力する。

【００２９】ここで、画素集合についての外接矩形と中
心座標の算出は、例えば、次のように行うことができ
る。まず、白い画素の縮小処理を行う。これにより、図
７(b)において点在するような小さな面積の白画素の集
合を消す。次に、縮小した白画素を元の大きさとなるよ
うに拡大処理する。この時、一旦、消えた白画素は拡大
されないので、ある程度の面積を有する画素集合のみが
残ることとなる。すなわち、所定の大きさの白がその固
まりが抽出されることとなる。次に、抽出された白画素
の集合について、x、y両軸方向での最小値と最大値を求
め、それらを含む外接矩形を設定する処理を行う。つい
で、当該外接矩形の中心を求める。

【００３０】次に、差分追跡回路２１５０の動作を説明
する。差分追跡回路２１５０は、差分回路２１４０で検
出された侵入物候補について、それぞれの中心座標を記
憶すると共に、フレーム間での侵入物候補の移動を対応
付けてその移動軌跡を求める演算と、求められた移動軌
跡を記憶する。

【００３１】図８(a)は前々フレームと前フレームの侵
入物候補の対応付けを示す図である。物体８１と物体８
２とは前々フレームで検出された侵入物候補であり、物
体８３と物体８４は前フレームで検出された侵入物候補
である。差分追跡回路２１５０は、物体８１の中心座標
と物体８３乃至物体８４の中心座標との距離を求め、最
近傍の物体、すなわち、物体８３を物体８１と対応付け
る。同様に、物体８２の中心座標と物体８３乃至物体８
４の中心座標との距離を求め、最近傍の物体、すなわ
ち、物体８４を物体８２と対応付ける。

【００３２】図８(b)は前フレームと現フレームの侵入
物候補の対応付けを示す図である。物体８３と物体８４
とは前フレームで検出された侵入物候補であり、物体８
５と物体８６とは現フレームで検出された侵入物候補で
ある。差分追跡回路２１５０は、図８(a)で説明したの
と同様な手順で、物体８３と物体８５とを、および、物
体８４と物体８６とをそれぞれ対応付ける。

【００３３】結局、図８(c)に示すように、物体８１と
物体８２とは、それぞれ軌跡８７と軌跡８８とを描いて
追跡される。この追跡結果は、侵入物判定報知回路２１
６０に送られる。

【００３４】侵入物判定報知回路２１６０は、このよう
にして、侵入物候補が所定フレーム数あるいは所定時間
以上に追跡された場合には、侵入物が存在すると判定し
て、その旨を報知する信号を出力する。報知後も、該侵
入物に対応付けられる物体は、侵入物として、追跡され
続ける。なお、侵入物が存在する旨を報知する信号は、
報知装置２３００に送られ、例えば、メッセージ、ブザ
ー等の音響、光の点滅等を発生させる。これにより、オ
ペレータ等に、侵入物の存在を報せる。この時、表示装
置２２０においても、同様の事態を報知する表示を行う
ようにすることができる。

【００３５】以上説明したように、本発明の第１の実施
の形態に係る監視装置は、画面の中に波や木の葉などの
揺らぐものがあっても、これらを検出して誤報を出すこ
となく、侵入物を検出して報知することができる。

【００３６】次に、本発明の監視装置の第２の実施の形
態について、図１を参照して説明する。本実施の形態に
係る監視装置は、画像入力回路２１１０と、フレーム遅
延回路２１２０と、動的背景更新回路２１３０と、過去
から現フレームまでの数枚の時系列フレームを加算平均
化して第１の背景画像（以下、静的背景という）を作成
更新する手段、および、第１の背景画像を記憶する手段
として機能する静的背景更新回路２１７０と、現フレー
ムと前記静的背景の輝度値差分を蓄積して波など常に揺
らいでいる領域と施設など揺らぎの無い領域を識別する
ための手段として機能する差分蓄積回路２１８０と、揺
らぎのある領域か否かで差分パラメータを変える差分回
路２１４０と、差分追跡回路２１５０と、侵入物判定報
知回路２１６０とを有する。

【００３７】まず、静的背景の概要と静的背景更新回路
２１７０の動作とを説明する。静的背景更新回路２１７
０の動作初期の静的背景は、現フレームそのものであ
る。次サイクルで画像入力回路２１１０が現フレームを
出力すると、静的背景更新回路２１７０は、前記静的背
景と前記現フレームとを所定の割合で重み付き平均値を
計算し、これを新たに更新された静的背景とする。例え
ば、現フレームと静的背景を１対３１の割合で平均化す
るときは、現フレームに静的背景の輝度値を３１倍にし
たものを加え、輝度値の平均を処理前後で合わせるため
に、前記現フレームと前記３１倍の静的背景の和を３２
で除したものを新たな静的背景とする。上記の処理を繰
り返すことで、静的背景は、波など揺らぎのある領域は
平滑化されて、時間的にも空間的にも輝度値変化のない
領域となる。一方、静止した洋上施設は、コントラスト
の良いくっきりとした領域となる。

【００３８】次に、差分蓄積回路２１８０の動作につい
て説明する。差分蓄積回路２１８０の差分蓄積画像の初
期値は、全画素０あるいは２５５の画像である。画像入
力サイクル毎に現フレームと静的背景の輝度値差分を前
記差分蓄積画像と所定の割合で加算平均し、新たな差分
蓄積画像とする。こうして得られる差分蓄積画像を所定
のしきい値で二値化すると、現フレームにおいて揺らぎ
のある領域と揺らぎの無い領域とに分離できる。

【００３９】図９(a)は現フレームである。差分蓄積画
像を二値化したものが図９(b)である。ここでは、白領
域が揺らぎのある領域で、黒領域が揺らぎの無い領域で
ある。差分回路２１４０で差分画像を二値化する際に、
前記揺らぎの無い領域はしきい値を低くして、侵入物候
補の検出感度を高く維持しつつ、前記揺らぎのある領域
はしきい値を幾分高くして、波による誤報を少なくでき
る。

【００４０】、差分蓄積回路２１８０の出力で、該当位
置が揺らぎのある箇所であると判定したときは、差分回
路２１４０における二値化しきい値を上げることで差分
を検出しにくくして、波による誤報を抑制する。一方、
差分蓄積回路２１８０の出力で、該当位置が揺らぎのな
い箇所であると判定したときは、差分回路２１４０にお
ける二値化しきい値を下げて差分を検出しやすくして、
侵入物の検出取りこぼしを減らす。

【００４１】次に、本発明の監視装置の第３の実施の形
態について図１を参照して説明する。本実施の形態に係
る監視装置は、画像入力回路２１１０と、フレーム遅延
回路２１２０と、動的背景更新回路２１３０と、侵入物
体のモデル輝度値パターン（以後テンプレートと表記す
る）を更新するとともに、更新したモデルパターンを保
持し、差分回路２１４０が該侵入物を見失ったときに、
輝度値パターンマッチング処理で該侵入物を検出する、
輝度値パターン有無検出手段として機能するパターン更
新検出回路２１９０と、差分回路２１４０と、差分追跡
回路２１５０と、侵入物判定報知回路２１６０とを有す
る。

【００４２】図１０は移動と静止を繰り返す侵入物と差
分画像とテンプレートとの対応を示す図である。図１０
(b-1)は移動中の侵入物の画像の一例を示す。図１０(b-
2)は静止した直後の侵入物、図１０(b-3)はしばらく静
止している侵入物、図１０(b-4)は再び動きだした侵入
物、図１０(b-5)は移動中の侵入物である。図１０(a-1)
乃至図１０(a-5)は、それぞれ図１０(b-1)乃至図１０(b
-5)の侵入物に対応して、差分回路２１４０による差分
画像である。図１０(a-1)、同(a-2)、同(a-4)および同
(a-5)のように、侵入物は、それが移動中あるいは静止
直後の場合には、差分が現れ、差分追跡回路２１５０に
よる追跡が可能である。しかし、侵入物が静止状態を続
けると、動的背景に侵入物が取込まれ、図１０(a-3)の
ように差分が消滅する。すなわち、侵入物を見失うこと
となる。そこで、この消滅期間中においても侵入物を検
出し続けるために、パターン更新検出回路２１９０が設
けられる。

【００４３】ここで、パターン更新検出回路２１９０の
機能について説明する。図１１は更新検出回路２１９０
の構成を示す図である。更新検出回路２１９０は、差分
回路２１４０から出力される差分と、差分追跡回路２１
５０から出力される追跡情報を基に、現フレームから侵
入物の領域を切り出す領域切出し回路２１９１と、侵入
物領域の輝度値パターンをテンプレートとして登録する
テンプレート更新回路２１９２と、差分追跡不可能なと
きは前サイクルまでに登録していたテンプレートでパタ
ーンマッチング処理して現フレーム内から差分消滅で見
失った侵入物を検出する一致度計算回路２１９３とを有
する。

【００４４】領域切出し回路２１９１は、侵入物として
検出された画素集合について、外接矩形を求め、その外
接矩形内の輝度値パターンを現フレームから切り出す。
テンプレート更新回路２１９２は、前記差分追跡回路２
１５０により差分追跡可能な時は、現フレームの切出さ
れた輝度値パターンを、追跡されている侵入物のテンプ
レートとして更新登録する。

【００４５】図１０を参照して、パターン更新検出回路
２１９０の動作について説明する。図１０(c-1)乃至図
１０(c-5)は、それぞれ図１０(b-1)乃至図１０(b-5)の
侵入物に対応するテンプレートである。図１０(c-1)と
図１０(c-2)と図１０(c-4)と図１０(c-5)は、それぞれ
差分を表わす、図１０(a-1)と図１０(a-2)と図１０(a-
4)と図１０(a-5)の領域で現フレームから切り出したテ
ンプレートである。図１０(c-3)は、差分が消滅する以
前のフレームのテンプレート図１０(c-2)をそのまま保
持している。

【００４６】以上の動作をまとめると、図１０におい
て、侵入物(b-1)と(b-2)は、差分回路２１４０におい
て、それぞれ差分(a-1)と(a-2)によって検出される。ま
た、領域切り出し回路２１９１によって侵入物(b-1)と
(b-2)の領域が切り出され、テンプレート更新回路２１
９２により、侵入物(b-1)と(b-2)をテンプレート(c-1)
と(c-2)として登録される。一方、侵入物(b-3)は、一致
度計算回路２１９３により、テンプレート(c-3)とのパ
ターンマッチングによって検出される。そして、侵入物
(b-4)と(b-5)は、それぞれ差分(a-4)と(a-5)によって検
出されると共に、侵入物(b-4)と(b-5)とを切出してテン
プレート(c-4)と(c-5)として登録される。

【００４７】次に、一致度計算回路２１９３によるパタ
ーンマッチング処理を説明する。図１２はパターンマッ
チング処理を説明する図である。現フレーム１２０１内
に探査枠１２０２を設け、探査枠１２０２の原点すなわ
ち左上角をPとする。探査枠１２０２内からテンプレー
ト１２０３に類似の物体１２０４を検出することが目的
である。探査枠１２０２は、フレーム全体に設定するこ
ともできるが、侵入物がそれほど移動していないので、
最も最近検知された位置を中心とする一定の範囲の広さ
に設定する。この広さを絞ることで、無駄な探査を省い
て、能率良く探査を行なうことが可能となる。この時、
現フレームは、図１１における領域切出し回路２１９１
を介して入力される。もちろん、現フレームの画像を一
致度計算回路２１９３に直接入力させるようにしてもよ
い。なお、探査を領域切出し回路２１９１において、比
較すべき画像の走査および切出しを行い、一致度の計算
を一致度計算回路２１９３において行うようにしてもよ
い。

【００４８】一致度計算回路２１９３は、テンプレート
１２０３と等しい大きさの走査枠１２０５（原点O）を
探査枠１２０２内で走査して、現フレームで走査枠１２
０５の囲む部分とテンプレート１２０３の輝度値パター
ンの一致度あるいは不一致度を計算する。このような計
算によってテンプレート１２０３に類似の物体を検出す
る処理をパターンマッチング処理という。一致度の計算
法としては、正規化相関演算があり、相関値をR(j,i)と
すると、（１）式、（２）式、（３）式および（４）式
で表現される。

【００４９】

【数１】

【００５０】

【数２】

【００５１】

【数３】

【００５２】

【数４】

【００５３】ここで、探査枠１２０２の輝度値パターン
をf(J,I)、テンプレート１２０３の輝度値パターンをg
(X,Y)とし、PからOへの移動量を(j,i)で表している。N
はテンプレート１２０３内の画素数である。R(j,i)は相
関係数と等しく、テンプレート１２０３の輝度値パター
ンと走査枠１２０５内の輝度値パターンが完全に一致し
たときは最大値１．０をとる。通常は、０．７以上の値
で類似物体が検出されたと判断できる。不一致度の計算
としては、fとgの輝度値差の絶対値を走査枠１２０５内
で累積したときに値が所定の値よりも小さければ、類似
物体が検出されたと判断する。

【００５４】以上説明したように、本実施の形態に係る
監視装置は、画面の中に波や木の葉などの揺らぐものが
あっても、これらを検出して誤報を出すことなく、侵入
物を検出して報知することができると共に、侵入物がし
ばらく静止状態に入っても追跡し続けることができる。

【００５５】次に、本発明の監視装置の第４の実施の形
態について図１を参照して説明する。本実施の形態の監
視装置は、画像入力回路２１１０と、フレーム遅延回路
２１２０と、動的背景更新回路２１３０と、静的背景更
新回路２１７０と、パターン更新検出回路２１９０と、
差分回路２１４０と、差分追跡回路２１５０と、侵入物
判定報知回路２１６０とを有する。静的背景更新回路２
１７０とパターン更新検出回路２１９０以外の回路の動
作は、第３の実施の形態と同様であり、静的背景更新回
路２１７０の動作は第２の実施の形態と同様である。

【００５６】ここで、第４の実施の形態に係る監視装置
の動作を特徴付けるパターン更新検出回路２１９０の構
成と動作について説明する。図１１は更新検出回路２１
９０の構成を示す図である。差分回路２１４０の差分と
差分追跡回路２１５０の追跡情報とを基に、侵入物の領
域の輝度値パターンを切り出す領域切出し回路２１９１
と、差分追跡可能な時は現フレームの侵入物領域の輝度
値パターンをテンプレートとして登録するテンプレート
更新回路２１９２と、差分追跡不可能なときは前サイク
ルまでに登録していたテンプレートでパターンマッチン
グ処理して現フレーム内から差分消滅で見失った侵入物
を検出すると共に、該テンプレートと該侵入物の検出位
置で、静的背景更新回路１７による静的背景画像との不
一致度を計算する一致度計算回路２１９３とを有する。

【００５７】第４の実施の形態では、第３の実施の形態
と同様にパターンマッチング処理で侵入物を検出した後
に、同じテンプレートで該静的背景上の同一領域で一致
度を計算する。先に説明したように、前記静的背景は監
視すべき設備そのものの画像と考えられるから、侵入物
が存在する領域では該テンプレートに対して一致度が低
くなる。このチェックを入れることで、設備の一部を侵
入者として登録して侵入者を誤検知することを防げる。

【００５８】すなわち、パターン更新検出回路２１９０
は、侵入物が検出された領域について、テンプレートと
静的背景の輝度値パターンとをパターンマッチング処理
で一致度を計算し、前記テンプレートと追跡中物体の輝
度値パターンの一致度が所定の値より高くかつ、前記テ
ンプレートと前記静的背景の輝度値パターンの一致度が
所定の値より低い場合は、前記パターンマッチング処理
によって前記侵入物体が検出できたとして物体追跡を継
続する。ここで、二つの一致度の差が所定の値よりも大
きい場合は、パターンマッチング処理によって前記侵入
物体が検出できたとして物体追跡を続行し、二つの一致
度の差が所定の値よりも小さい場合は、侵入物体を見失
ったとして追跡を中止することもできる。

【００５９】パターンマッチングで物体が検出された場
合、差分回路２１４０にて差分で検出された物体と同様
に、中心座標を求め、差分追跡回路２１５０に記憶し、
前後のフレームで検出された物体との距離計算を行い、
距離の最小の物からフレーム間の対応付けを行う。この
動作の結果、差分あるいはパターンマッチングで物体が
検出され、差分追跡回路２１５０で物体追跡されること
になる。

【００６０】次に、コンピュータとビデオキャプチャボ
ードを使った、本発明の第５の実施の形態に係る監視装
置について説明する。本実施の形態は、基本的には、ソ
フトウエアの如何により、上述した第１の実施の形態〜
第４の実施の形態のすべての機能について実現すること
が可能である。すなわち、ソフトウエアによる手順の実
行により、第１の実施の形態〜第４の実施の形態の各種
機能を実現する手段が実現される。もちろん、第１の実
施の形態〜第４の実施の形態に対応するように機能させ
ることもできる。また、第１の実施の形態〜第４の実施
の形態において用いられる各種回路と、第５の実施の形
態で用いられるコンピュータとを混在させ、機能を分担
するように構成してもよい。

【００６１】図１３は第５の実施の形態のハードウェア
構成を示す図である。第５の実施の形態に係る監視装置
は、中央演算装置（ＣＰＵ）２１０１とメモリ２１０２
とユーザインタフェース２１０３とを有するコンピュー
タと、画像メモリ２１０４と、ビデオキャプチャボード
２１０５と、TVカメラ２０００と、通信ボード２１０７
とで構成される。なお、中央演算装置２１０１が実行す
るプログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体に
よって提供される。

【００６２】中央演算装置２１０１は、メモリ２１０２
のプログラムを実行し、演算に必要な記憶部はメモリ２
１０２に確保するものとする。ユーザインタフェース２
１０３は、モニター等の出力装置と、キーボード等の入
力装置から成る。ビデオキャプチャボード２１０５は、
TVカメラ２０００のアナログ画像信号をデジタルデータ
に変換して画像メモリ２１０４に格納する。中央演算装
置２１０１は、画像メモリ２１０４をアクセスして所定
の画像を処理し、結果を画像メモリ２１０４に格納す
る。通信ボード２１０７は、シリアルポートあるいはパ
ラレルポートを備え、外部機器とデータのやり取りをす
る。侵入者の有無等の検出結果は通信ボード２１０７を
介して外部機器に伝送する。また、外部機器から通信ボ
ード２１０７を介して中央演算装置２１０１を制御でき
る。

【００６３】次に、図１４のフローチャートによって第
５の実施の形態の監視装置の動作について説明する。

【００６４】まず、監視装置の電源投入あるいは割り込
み指令によって（Ｓ）よりスタートする。また、画角に
応じたパラメータ設定と、メモリ配列やポインタなどの
変数を初期化する（ステップ１４０１）。

【００６５】次に、中央演算装置２１０１は、画像を取
り込んで、画像メモリ２１０４に格納する（ステップ１
４０２）。ここで、画像メモリ２１０４には、時系列の
フレームを複数枚格納する（ステップ１４０３）。ただ
し、最初は、ステップ１４０２で得た画像をコピーして
初期化する。動的背景と静的背景も画像メモリ２１０４
に保持するが、最初はステップ１４０２で得た画像をコ
ピーして初期化する。

【００６６】ステップ１４０４以降が監視サイクルで、
ステップ１４１６を経て再びステップ１４０４に戻る。

【００６７】監視サイクルにおいて、中央演算装置２１
０１は、TVカメラ２０００からの最新画像を画像メモリ
２１０４に格納する（ステップ１４０４）。画像メモリ
２１０４には、ストック画像として数フレーム分の画像
保持領域が確保してあり、その一箇所に最新画像を格納
する。ストック画像は、ストック画像保持領域ポインタ
で管理し、最新画像を更新するたびに、該画像保持領域
ポインタを更新する。画像保持領域ポインタは、ストッ
ク数分のサイクルカウンタで、常に最新の画像の格納領
域を示している。 TVカメラ２０００からの最新画像を
得るたびに最古の画像保持領域に上書きする。

【００６８】中央演算装置２１０１は、画像メモリ２１
０４に記憶されている最新画像と動的背景画像の差分を
画素毎にとり、所定のしきい値で二値化し、二値物体を
検出する（ステップ１４０５）。また、ステップ１４０
５の該二値物体の大きさをチェックして、侵入者として
判定しうる大きさの場合はステップ１４０７に進み、該
二値物体が大きすぎる場合はステップ１４０２にて再び
画像入力して背景などを初期化する（ステップ１４０
６）。

【００６９】（ステップ１４０７）前フレームで検出し
た二値物体と現フレームで検出した二値物体を距離計算
で照合する。照合については、既に図８を参照して説明
したものと同じアルゴリズムによって行なう。ここで、
フレーム間で照合可能な物体は（１）を経てステップ１
４０９に進み、照合できない物体は（２）を経てステッ
プ１４１２に進む（ステップ１４０８）。

【００７０】次に、二値物体のフレーム間の対応付けを
基に物体の移動を追跡する（ステップ１４０９）。追跡
中の物体の輝度値パターンをテンプレート登録する（ス
テップ１４１０）。追跡方法については、既に述べた方
法と同じである。また、テンプレート登録の詳細につい
ても、図１０を参照して既に説明したものと同じであ
る。

【００７１】次に、差分による二値物体のフレーム間対
応付けが不可能なときは、パターンマッチングによって
フレーム間の物体対応付けを行う（ステップ１４１
１）。パターンマッチングの詳細は、図１２を参照して
既に説明した方法と同じである。。

【００７２】物体を所定フレーム数に亘って追跡できた
場合は、また、パターンマッチングにより物体を検知で
きたとき、侵入者ありと判定する（ステップ１４１
２）。

【００７３】次に、ステップ１４１３〜１４１６におい
て、本実施の形態において用いる各種画像データの生成
および更新についての処理を行う。

【００７４】まず、波の荒れ具合でパラメータを自動更
新して動的背景を更新する（ステップ１４１３）。これ
については後述する。

【００７５】既に用意されている静的背景と最新画像の
輝度値分布を所定の割合で画素毎に平均化する（ステッ
プ１４１４）。この処理で侵入物や波など動きのあるも
のはぼやけ、洋上施設など固定しているものはS-N比が
あがり、コントラストがよくなる。この処理に関するア
ルゴリズムは、既に述べた通りである。

【００７６】最新画像と静的背景の輝度値の差を画素毎
に一定期間蓄積する（ステップ１４１５）。ステップ１
４１５による差分蓄積画像は、波など常に変動する部分
の蓄積値が大きくなり、波などの変動する領域を自動判
定できる（ステップ１４１６）。差分蓄積およびそれに
基づく領域自動検出の手法については、既に図９を参照
して説明した通りである。

【００７７】このような処理を経てステップ１４０４に
戻り、監視処理を引き続き行う。

【００７８】次に、動的背景更新処理について、図１５
を参照して説明する。図１５で（Ｓ）よりスタートす
る。

【００７９】中央演算装置２１０１は、ストック画像領
域から所定のフレームを選択し、最新画像と輝度値差を
画素毎に算出し差分画像を作る（ステップ１５０１）。
前記差分画像を所定のしきい値で二値化して二値画像を
作成する（ステップ１５０２）。二値化することで、監
視画面がフレーム間で差の大きかった領域と大きくなか
った領域とに二分されることになる。なお、ここで用い
られるしきい値は、次のステップにおいて設定される。

【００８０】図３の窓３３を波あるいは木の葉など常に
揺らぐ領域上に設け、窓３３の領域内で該二値画像の物
体面積を求め、前記物体面積が所定の範囲より大きい場
合はステップ１５０２で用いたしきい値の値を大きく
し、前記物体面積が所定の範囲より小さい場合はステッ
プ１５０２で用いたしきい値の値を小さくして前記しき
い値を更新する（ステップ１５０３）。これは、図５を
参照して述べた手法と基本的に同じである。

【００８１】ここで、最新画像から、変化の少ない領域
に相当する前記二値画像が得られた領域について切出し
て、その部分について動的背景を更新する（ステップ１
５０４）。これは部分的な更新であって、ステップ１５
０２による二値画像の物体以外の部分を最新画像で置き
換える。変化が大きい領域については、動的背景を更新
しない。

【００８２】以上説明した本実施の形態によれば、画面
の中に波や木の葉などの揺らぐものがあってもこれらを
検出して誤報を出すことなく、侵入物を検出して報知す
ることができると共に、侵入物がしばらく静止状態に入
っても追跡し続けることができる。

【００８３】なお、以上に述べた各実施の形態におい
て、画像をフレーム単位で扱っているが、これに限定さ
れない。その他の単位で扱うことも可能である。

【００８４】

【発明の効果】本発明の第１の態様によれば、波や木々
の揺らぎのように、時間的に揺らぎをもつ背景におい
て、監視対象を、精度よく検出することができる。

【００８５】また、本発明の第２の態様によれば、監視
対象から、検出すべき画像を精度よく抽出することがで
きる。

【図面の簡単な説明】

【図１】 本発明による監視装置の機能構成の概要を示
すブロック図である。

【図２】 本発明による監視装置を用いた洋上施設監視
システムの一例を示す説明図である。

【図３】 本発明による監視装置の処理画像の一例を示
す説明図である。

【図４】 本発明による監視装置のフレーム遅延回路の
一例を示すブロック図である。

【図５】 本発明による監視装置の動的背景更新回路の
一例を示すブロック図である。

【図６】 本発明による監視装置の基準波形観測窓の処
理画像の一例を示す説明図である。

【図７】 本発明による監視装置の現フレームと差分画
像を示す説明図である。

【図８】 本発明による監視装置の差分追跡の一例を示
す説明図である。

【図９】 本発明による監視装置の現フレームと差分差
分蓄積画像を二値化した画像を示す説明図である。

【図１０】 本発明による監視装置の侵入物と差分画像
とテンプレートの対応を示す説明図である。

【図１１】 本発明による監視装置のパターン更新検出
回路の一例を示すブロック図である。

【図１２】 本発明による監視装置の一致度計算回路の
動作を説明する説明図である。

【図１３】 本発明による監視装置の第５の実施の形態
のハードウェア構成の一例を示すブロック図である。

【図１４】 本発明による監視装置の第５の実施の形態
の動作のフローチャートである。

【図１５】 本発明による監視装置の動的背景更新処理
のフローチャートである。

【符号の説明】

２０００…ＴＶカメラ、２１００…監視装置、２１１０
…画像入力回路、２１２０…フレーム遅延回路、２１３
０…動的背景更新回路、２１４０…差分回路、２１５０
…差分追跡回路、２１６０…侵入物判定報知回路、２１
７０…静的背景更新回路、２１８０…差分蓄積回路、２
１９０…パターン更新検出回路、２２００…表示装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小沼 知恵子 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 村松 彰二 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 小林 芳樹 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 伊藤 渡 東京都小平市御幸町32番地 日立電子株式 会社小金井工場内 (72)発明者 岡田 俊道 東京都小平市御幸町32番地 日立電子株式 会社小金井工場内 (72)発明者 藤井 幸 東京都小平市御幸町32番地 日立電子株式 会社小金井工場内 Ｆターム(参考） 5B057 AA19 DA06 DB02 DB08 DC08 DC22 DC32 5C054 AA01 DA06 FC01 FC05 FC12 FC13 FC16 FE28 GA04 GB01 GD09 HA18 5C084 AA01 AA06 BB05 BB06 BB07 BB40 DD12 GG52 GG54 GG78

Claims (9)

【特許請求の範囲】
1. 【請求項１】 対象領域を撮像した画像に基づいて該対
   象領域についての監視を行う監視装置において、 撮像した画像をフレーム単位で時系列に取り込む手段
   と、 前記取り込まれた画像に基づいて生成され、更新される
   第１の背景画像を記憶する手段と、 最新に取り込まれた現フレームの画像とそれより前に取
   り込まれた前フレームの画像とを比較して両者の輝度値
   差が所定しきい値よりも小さい領域がある場合、前記記
   憶される第１の背景画像の当該領域を現フレームの対応
   する領域の輝度値に置き換えて前記第１の背景画像を更
   新する手段と、 前記第１の背景画像と現フレームの画像との輝度値差を
   所定のしきい値で二値化して画素集合を検出する手段
   と、 前記検出された画素集合が対象領域での検出対象である
   かを判定して、判定結果を出力する手段とを備えること
   を特徴とする監視装置。
2. 【請求項２】 請求項１に記載の監視装置において、 複数のフレームにおいてそれぞれ検出された画素集合に
   ついて、複数のフレーム間で同一の画素集合を対応付け
   て画素集合の追跡を行なう手段をさらに備え、 前記検出対象であるかを判定する手段は、追跡が行えた
   画素集合について、検出対象であると判定することを特
   徴とする監視装置。
3. 【請求項３】 請求項２に記載の監視装置において、 前記画素集合の追跡を行う手段により追跡されている画
   素集合に対応する領域の輝度値パターンを、現フレーム
   から切出して、パターンマッチング処理を行うためのテ
   ンプレートとして記憶する手段と、 前記画素集合の追跡を行う手段において追跡が行えなく
   なった場合に、現フレームの少なくとも一部の領域につ
   いて、前記テンプレートとの一致度を調べる演算を順次
   行って、予め定めた値以上の一致度を有する輝度値パタ
   ーンの有無を検出する手段とをさらに備え、 前記検出対象であるかを判定する手段は、予め定めた値
   以上の一致度を有する輝度値パターンが検出されたと
   き、当該輝度値パターンについて、検出対象であると判
   定することを特徴とする監視装置。
4. 【請求項４】 請求項３に記載の監視装置において、 前記輝度値パターンの有無を検出する手段は、前記画素
   集合の追跡を行う手段において追跡が行えなくなった場
   合に、その検出を行うことを特徴とする監視装置。
5. 【請求項５】 請求項１、２、３および４のいずれか一
   項に記載の監視装置において、 前記第１の背景画像を更新する手段は、フレーム内に観
   測窓を設定し、該フレーム内での現フレームと前フレー
   ムの輝度値差に応じて前記しきい値を変化させることを
   特徴とする監視装置。
6. 【請求項６】 請求項１〜５のいずれか一項に記載の監
   視装置において、 時系列の複数フレームの画像を加算して平均化して第２
   の背景画像を生成すると共に更新して記憶する手段と、 現フレームの画像と前記第２の背景画像との輝度値差を
   累積する手段とをさらに備え、 前記画素集合を検出する手段は、前記所定のしきい値
   を、前記輝度値差の累積の大きい領域では、他の領域よ
   り高く設定することを特徴とする監視装置。
7. 【請求項７】 対象領域を撮像した画像に基づいて該対
   象領域についての監視を行う監視装置において、 撮像した画像をフレーム単位で時系列に取り込む手段
   と、 前記取り込まれた画像に基づいて生成され、更新される
   第１の背景画像を記憶する手段と、 前記第１の背景画像と現フレームの画像との輝度値差を
   所定のしきい値で二値化して画素集合を検出する手段
   と、 前記画素集合に対応する領域の輝度値パターンを、現フ
   レームから切出して、一致度を調べる演算を行うための
   テンプレートとして記憶する手段と、 現フレームの少なくとも一部の領域について、前記テン
   プレートとの一致度を調べる演算を順次行って、予め定
   めた値以上の一致度を有する輝度値パターンの有無を検
   出する手段と、 予め定めた値以上の一致度を有する輝度値パターンが検
   出されたとき、当該輝度値パターンについて、検出対象
   であると判定する手段とを備えることを特徴とする監視
   装置。
8. 【請求項８】 請求項７に記載の監視装置において、 時系列の複数フレームの画像を加算して平均化して第２
   の背景画像を生成すると共に更新して記憶する手段をさ
   らに備え、 前記輝度値パターンの有無を検出する手段は、検出した
   輝度値パターンの領域における前記第２の背景画像の輝
   度値パターンと前記テンプレートとの一致度を演算し、 前記検出対象であると判定する手段は、前記テンプレー
   トと前記現フレーム画像の輝度値パターンとの一致度が
   所定の値より高く、かつ、前記テンプレートと前記第２
   の背景画像の輝度値パターンとの一致度が所定の値より
   低い場合、当該現フレームの輝度値パターンが検出対象
   であると判定することを特徴とする監視装置。
9. 【請求項９】 請求項７および８のいずれか一項に記載
   の監視装置において、 現フレームの画像と前記第２の背景画像との輝度値差を
   累積する手段をさらに備え、 前記画素集合を検出する手段は、前記所定のしきい値
   を、前記輝度値差の累積の大きい領域では、他の領域よ
   り高く設定することを特徴とする監視装置。