JP2005057743A - 物体追尾方法及び物体追尾装置 - Google Patents

Abstract

【課題】
侵入物体を追尾し、監視するＴＶカメラに監視対象ではない民家やプライバシー等の監視対象以外の領域をＴＶカメラの視野内に映さないようにＴＶカメラを制御し、監視領域に侵入した物体を正確に検出、追尾する。
【解決手段】
撮像方向及びズームの少なくとも一方を制御可能に構成された撮像装置で侵入物体を追尾する追尾方法は、該撮像装置からの画像を1フレーム取り込み、該画像から侵入物体の現在位置を検出し、前記撮像装置の現在のまたは予測視野範囲を算出し、該算出した現在または予測視野範囲が撮像禁止領域を含むか否かを判定し、含まないとき、前記侵入物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御し、前記撮像装置で前記現在または予測視野範囲を撮像して警報／追尾情報を表示するように構成される。
【選択図】 図１

Description

本発明は、物体追尾方法及び物体追尾装置に関し、特に、物体を自動的に検出し、物体の動きに応じて撮像装置の撮像範囲（視野範囲）を制御する物体追尾方法及び物体追尾装置に関するものである。

ＴＶ（テレビジョン）カメラなどの撮像装置を用いた遠隔モニタ方式の監視システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行なう、いわゆる有人監視方式の監視システムである。この有人監視方式の監視システムでは、監視員が常時モニタに表示される映像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。人間の集中力には限りがあるため、有人監視方式の監視システムでは、侵入物体の見逃しの発生が無視できず、信頼性の面で問題があった。また、監視カメラの普及に伴なって監視員一人が数多くのＴＶカメラの映像を複数のモニタで監視する場合も多くなっている。このように複数のＴＶカメラで同時に侵入物体を捉えた場合にも監視員は、侵入物体の見逃しが発生する可能性がある。従って、このような人による監視ではなく、ＴＶカメラで撮像された画像から画像処理により侵入物体を自動的に検出し、侵入物体の動きに応じてＴＶカメラ視野方向及び画角を自動的に調節し、所定の報知や警報を行う自動追尾方式の監視システムが、近年、強く要求されるようになってきている。

このようなシステムの実現には、所定の監視方式を用い、侵入物体を画像信号から検出し、侵入物体の動きを検出する機能が必要となる。このような侵入物体検出を行なう監視方式の一例に差分法と呼ばれる方法（例えば、特許文献１参照）があり、従来から広く用いられている。差分法とは、ＴＶカメラより得られた入力画像と予め作成された基準背景画像、即ち、侵入物体の写っていない画像とを比較し、例えば、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。

また、侵入物体の移動量検出を行なう監視方式の一例にテンプレートマッチング法と呼ばれる方法（例えば、非特許文献１参照）があり、差分法と同様に従来から広く用いられている。テンプレートマッチング法とは、差分法などによって検出された侵入物体の画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像ともっとも似ている位置を検出する。通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。

更に、監視カメラで撮影されたくない領域を設定し、監視カメラの方向を制御して監視カメラで撮影されたくない領域を撮影しないカメラ制御システム（例えば、特許文献２参照）がある。

更に、360度のパン回転及び90度を超えるチルト回転が可能な監視カメラとその制御機能とを備え、監視カメラが、画像に映るプライバシーゾーンをマスキングするデータを保持し、このデータに従って、画像の一部をマスキングするように構成した監視カメラ装置（例えば、特許文献３参照）に開示されている。しかし、この従来技術の監視カメラ装置には侵入物体を追尾する機能はない。

特開平９−７３５４１号公報 特開平９−９３５７３号公報 特開２００１−６９４９４号公報 「コンピュータ画像処理入門」１４９頁〜１５３頁、１９８５年、総研出版（株）発行。

上述した監視システムでは、ＴＶカメラに監視対象ではない民家などが映ってしまったり、監視領域内の重要施設が長い時間死角になってしまい侵入物体を見逃す可能性が高くなるという問題がある。

本発明の目的は、監視領域内の物体を検出し追尾するようにした物体追尾方法及び物体追尾装置を提供することにある。

本発明の別の目的は、監視領域が部分的に監視対象範囲以外の領域あるいは必ず監視すべき重要領域のような特定の領域を含む場合でも、そのような特定の領域を考慮した物体の追尾が可能な物体追尾方法及び物体追尾装置を提供することである。

本発明の撮像方向及びズームの少なくとも一方を制御可能に構成された撮像装置で物体を追尾する追尾方法は、該撮像装置からの画像に基づいて物体を検出し、前記撮像装置の現在のまたは予測視野範囲を算出し、該算出した現在または予測視野範囲が撮像禁止領域を含むか否かを判定し、含まないとき、前記物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御し、前記物体を追尾するように構成される。

また、本発明の追尾方法は、更に、前記算出した現在または予測視野範囲が撮像禁止領域を含む場合、前記撮像装置の動作を停止するステップを有する。

また、本発明の追尾方法は、更に、前記算出した現在の視野範囲が撮像禁止領域を含む場合、前記撮像装置の動作を所定時間逆方向に動作させた後停止するステップを有する。

また、本発明の追尾方法は、更に、前記撮像された現在または予測視野範囲の画像が前記撮像禁止領域を含む場合、該撮像された画像内に含まれる前記撮像禁止領域の部分をマスクするステップを有する。

また、本発明の追尾方法は、更に、撮像禁止領域が検出されたために撮像装置の動作を停止した旨のメッセージを表示するステップを有する。

また、本発明の追尾方法において、前記撮像装置の前記予測視野範囲の算出は、前記物体の現在位置と前記画像内の所定位置との位置関係に基いて撮像装置の移動量を算出するステップと、前記移動量を含む前記撮像装置の制御量に基いて前記予測視野範囲を算出するステップとを含む。

また、本発明の追尾方法は、更に、前記算出した現在または予測視野範囲が撮像禁止領域を含む場合、該撮像禁止領域を含まない視野範囲を算出して、算出した視野範囲に基いて前記撮像装置の撮像方向及びズームの少なくとも一方を制御するステップを有する。

また、本発明の追尾方法は、更に、前記算出した現在または予測視野範囲が撮像禁止領域を含む場合、前記撮像装置の焦点距離を所定量長くするステップを有する。

また、本発明の撮像方向及びズームの少なくとも一方を制御可能に構成された撮像装置で物体を追尾する追尾方法は、該撮像装置からの画像に基づいて物体を検出し、前記撮像装置の現在のまたは予測視野範囲を算出し、該算出した現在または予測視野範囲が重要領域を含むか否かを判定し、含むとき、前記物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御し、前記物体を追尾するように構成される。

また、本発明の追尾方法は、前記算出した現在または予測撮像範囲が重要領域を含まないとき、前記撮像装置を前記重要領域の方に戻すステップを更に有する。

また、本発明の物体追尾装置は、撮像装置と、前記撮像装置に結合され、該撮像装置の視野範囲の位置を変えるための駆動機構部と、前記撮像装置からの画像信号を処理する画像信号処理部および前記画像信号処理部からの制御信号により前記駆動機構部を制御する制御部とを有し、前記信号処理部は、前記撮像装置からの画像に基づき物体を検出する手段と、前記撮像装置の現在のまたは予測視野範囲を算出する手段と、該算出した現在または予測視野範囲が撮像禁止領域を含むか否かを判定する手段と、前記判定する手段に応答して、前記算出した現在または予測視野範囲が撮像禁止領域を含まないとき、前記物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御するための前記制御信号を生成する手段とを含む。

また、本発明の物体追尾装置において、前記駆動機構は、前記撮像装置のズーム制御装置と、前記撮像装置の撮像方向を制御する雲台制御装置を含む。

また、本発明の物体追尾装置は、撮像装置と、前記撮像装置に結合され、該撮像装置の視野範囲の位置を変えるための駆動機構部と、前記撮像装置からの画像信号を処理する画像信号処理部および前記画像信号処理部からの制御信号により前記駆動機構部を制御する制御部とを有し、前記信号処理部は、前記撮像装置からの画像に基づき物体を検出する手段と、前記撮像装置の現在のまたは予測視野範囲を算出する手段と、該算出した現在または予測視野範囲が重要領域を含むか否かを判定する手段と、前記判定する手段に応答して、前記算出した現在または予測撮像範囲が前記重要領域を含むとき、前記物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御するための前記制御信号を生成する手段とを含む。

また、本発明の物体追尾装置において、前記駆動機構は、前記撮像装置のズーム制御装置と、前記撮像装置の撮像方向を制御する雲台制御装置を含む。

従来の物体追尾方法及び物体追尾装置では、ＴＶカメラに監視対象ではない民家やプライバシーが問題になる場所等が映ってしまったり、監視領域内の重要施設が死角になってしまうといった問題があった。本発明によれば、侵入物体を追尾しながらＴＶカメラに監視対象ではない民家やプライバシーが問題になる場所等が映らないようにカメラ雲台の移動範囲を制限したり、また監視領域内の重要施設を必ずＴＶカメラの視野に映しながら侵入物体を追尾することができる。

上記実施例によれば一般住民のプライバシーを脅かしたり、プライバシーが問題になる場所等を撮影することなく、監視領域内の重要施設を映しながら物体を追尾することができ、映像監視装置の適用範囲を大きく広げることができる物体追尾方法及び物体追尾装置を提供することができる。

本発明の実施例を図面に言及して説明する。同様な部材には同様な参照符号を付す。本発明の一実施例を図１、図２を用いて説明する。まず、図２は、本発明を実施するためのシステム構成を示すブロック図である。図２において、２０１は、撮像装置であり、ＴＶカメラ２０１ａ、ズームレンズ（撮像レンズ）２０１ｂ、カメラ雲台（カメラの駆動機構部）２０１ｃで構成されている。２０２は、信号処理装置であり、画像入力部２０２ａ、雲台制御部２０２ｂ、レンズ制御部２０２ｃ、操作入力部２０２ｄ、画像メモリ２０２ｅ、ＭＰＵ（Micro Processing Unit）２０２ｆ、ワークメモリ２０２ｇ、外部入出力部２０２ｈ、画像出力部２０２ｉ、警報出力部２０２ｊおよびデータバス２０２ｋで構成されている。２０３は、操作部であり、ジョイスティック２０３ａ、第一のボタン２０３ｂ、第ニのボタン２０３ｃで構成されている。２０４は、外部記憶装置、２０５は、画像モニタ、２０６は、警報装置、例えば、警告灯である。ＴＶカメラ２０１ａの出力は、画像入力部２０２ａを介してデータバス２０２ｋに接続され、ズームレンズ２０１ｂの制御部は、レンズ制御部２０２ｃを介してデータバス２０２ｋに接続されている。

ＴＶカメラ２０１ａを搭載するカメラ雲台２０１ｃは、雲台制御部２０２ｂを介してデータバス２０２ｋに接続される。操作部２０３の出力は、操作入力部２０２ｄを介してデータバス２０２ｋに接続されている。また、外部記憶装置２０４は、外部入出力部２０２ｈを介してデータバス２０２ｋに接続され、監視用の画像モニタ２０５は、画像出力部２０２ｉを介してデータバス２０２ｋに接続され、警告装置２０６は、警報出力部２０２ｊを介してデータバス２０２ｋに接続されている。ＭＰＵ２０２ｆとワークメモリ２０２ｇは、そのままデータバス２０２ｋに接続されている。

ＴＶカメラ２０１ａは、監視対象領域をその視野内に捉え、監視対象領域を撮像して映像信号を出力し、侵入物体を撮像する機能を有している。この目的のためにＴＶカメラ２０１ａは、カメラ雲台２０１ｃに搭載され、ＴＶカメラ２０１ａをパン、チルト方向に自在に旋回できるように構成され、かつ、ズームレンズ２０１ｂを備え、映像の拡大する機能も有している。撮像された映像信号は、画像入力部２０２ａからデータバス２０２ｋを介して画像メモリ２０２ｅに蓄積される。外部記憶装置２０４は、プログラムやデータなどを記憶する働きをし、プログラムやデータなどが必要に応じて外部入出力部２０２ｈを介してワークメモリ２０２ｇに読み込まれ、また反対にワークメモリ２０２ｇから外部記憶装置２０４に保存される。

ＭＰＵ ２０２ｆは、信号処理装置２０２の動作時に外部記憶装置２０４に保存されたプログラムをワークメモリ２０２ｇに読み込み、必要な信号処理を実行する。即ち、ワークメモリ２０２ｇ内で画像メモリ２０２ｅに蓄積された画像の解析を行なう。そして、この処理結果に応じてＭＰＵ２０２ｆは、カメラ雲台２０１ｃ、ズームレンズ２０１ｂを制御し、ＴＶカメラ２０１ａの撮像視野を変えると共に侵入物体を追跡する。また、必要に応じて監視モニタ２０５に侵入物体検出結果を表示し、警告装置２０６を駆動して警告する働きをする。

次に、上記システム構成を用いた本発明の動作を図１により説明する。まず、初期化処理ステップ１０１は、本発明の物体追尾方法を実行するために操作部２０３を用いて外部機器や、各部の変数、画像メモリ等の初期化を行なう。次に、ステップ１０２に進む。ステップ１０２は、差分法を用いた物体認識処理を実行するプロセスである。

ここで、差分法を用いた物体認識処理について図３を用いて説明する。第１の画像入力ステップ１０２ａでは、ＴＶカメラ２０１ａから、例えば横方向３２０画素、高さ方向２４０画素の入力画像３０１を得る。差分処理ステップ１０２ｂでは、第１の画像入力ステップ１０２ａで得た入力画像３０１と予め作成し、画像メモリ２０２ｅに記録しておいた侵入物体の映っていない基準背景画像３０２との間で、ＭＰＵ２０２ｆの減算器３０６（図３に示す。）において各画素毎の輝度値の差分値を計算する。二値化処理ステップ１０２ｃでは、差分処理ステップ１０２ｂで得られた差分画像３０３の画素値（差分値）を、例えば、１画素の画素値を８ビットで計算し、これを２５６階調で表し、所定のしきい値Ｔｈ（例えば、Ｔｈ=２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”として二値化画像３０４を得る。なお、しきい値Ｔｈは、上記実施例では、２０と設定したが、２０に限定されるものではなく、侵入物体の検出条件、入力画像の状態等で実験的に定められる。

ラベリング処理ステップ１０２ｄでは、二値化処理ステップ１０２ｃで得られた二値化画像３０４中の画素値“２５５”となる画素のかたまりを検出し、各々に番号を付けて区別できるようにする。侵入物体存在判定ステップ１０２ｅでは、ラベリング処理ステップ１０２ｄで番号付けされた画素値“２５５”となる画素のかたまりが所定の条件（例えば大きさが横方向２０画素以上、高さ方向５０画素以上）であれば、監視対象領域内に侵入物体が存在すると判定する。

これによって入力画像３０１に映った人型の物体３０９は、減算器３０６によって差分が生じた領域３１０として計算されので、人型の物体３１０が残り、背景部分は、表示されない。従って、二値化器３０７（図３に示す。）によって画像３１１として検出される。以上が差分処理による侵入物体検出処理１０２の処理の概要である。

もし、侵入物体存在判定ステップ１０２ｅで侵入物体が存在すると判定された場合、警報・検出情報表示ステップ１０３に進む。警報・検出情報表示ステップ１０３では、例えば侵入物体を発見したことを表す警報を監視員に伝えるために画像出力部２０２iを介して監視モニタ２０５に侵入物体の情報（位置、人数など）を表示し、警報出力部２０２jを介して警告装置２０６で警報を鳴らす等が行われる。侵入物体が存在しないと判定された場合、再び画像入力ステップ１０２ａに戻り、侵入物体検出のための差分法を繰返す。

次に、侵入物体存在判定ステップ１０２eで侵入物体が存在すると判定された場合、テンプレートマッチング法による侵入物体追尾ステップ１０４に進む。ここで、テンプレートマッチング法による侵入物体追尾ステップ１０４について図３および図４を用いて説明する。テンプレート登録ステップ１０４ａでは、ラベリング処理ステップ１０２ｄで番号付けされた画素値“２５５”となる画素のかたまりの外接矩形３１２（図３に示す。）に基づいて、入力画像３０１中の侵入物体の画像を切り出し器３０８（図３に示す。）で切り出し、テンプレート画像３０５を得る。このテンプレート画像３０５中には、侵入物体３０９のテンプレート３１３が含まれており、これがテンプレートマッチング法による侵入物体追尾処理の初期テンプレートとして登録される。

次に、第２の画像入力ステップ１０４ｂでは、第１の画像入力ステップ１０２ａと同様にＴＶカメラ２０１ａから、例えば横方向３２０画素、高さ方向２４０画素の入力画像を得る。テンプレートマッチングステップ１０４ｃでは、第２の画像入力ステップ１０４ｂで得た入力画像の中でテンプレート３１３と最も一致度が高い画像を検出する。通常、テンプレートと入力画像全体を比較すると計算処理時間がかかるため、テンプレートに対して所定の範囲、例えば、テンプレート３１３に対して上下方向で２０画素ずつ、左右方向で５０画素ずつ広げた領域を探索領域として、探索領域内でテンプレート３１３と最も一致度が高い画像を検出する。一致度としては、例えば正規化相関値ｒ(Δｘ,Δｙ)が適用でき、数１で表わされる。

また、ｆ（ｘ,ｙ）は、入力画像を表し、ｇ（ｘ,ｙ）は、テンプレート画像を表す。（ｘ₀,ｙ₀）は、テンプレート３１３（図４では、４０１ａ）の左上角の座標を表す。画像４０１の座標軸は、画像４０１の左上角を原点(０,０)とする。Ｄは、テンプレート３１３（４０１ａ）の大きさ、即ち、二値化画像３０４で検出された侵入物体の外接矩形３１２の大きさであり、例えば、横方向２０画素、縦方向５０画素を表す。正規化相関値ｒ(Δｘ,Δｙ)は、−１≦ｒ(Δｘ,Δｙ)≦１の値を取り、入力画像とテンプレートが全く一致した場合は、“１”となる。テンプレートマッチングは、Δｘ、Δｙを探索範囲内で走査、即ち、上記の場合、−５０≦Δｘ≦５０、−２０≦Δｙ≦２０と変化させた場合に、正規化相関値r(Δx,Δy)がもっとも大きくなる位置(Δｘ,Δｙ)を検出する処理である。

次に、一致度判定ステップ１０４ｄでは、一致度ｒ(Δｘ,Δｙ)を判定し、上記数１で表される正規化相関値を用いた場合、例えば０．７以上であれば一致度が高いと判定し、テンプレート更新ステップ１０４ｅへ進む。０．７未満であれば第１の画像入力ステップ１０２ａに戻り、これまでの処理を繰返す。一致度が大きいということは、第２の入力画像中でテンプレート３１３に似た画像がある、即ち、監視対象領域内に侵入物体が存在し、その位置がテンプレートの位置に相対して（Δｘ,Δｙ）にあることを意味する。その場合は、引き続き侵入物体の移動量を検出する。一致度が小さいということは、入力画像中でテンプレート３１３に似た画像がない、即ち、監視対象領域内に侵入物体が存在しないことを意味し、その場合は、第１の画像入力ステップに戻り、これまでの処理を繰返す。なお、正規化相関値を０．７として説明したが、これに限定されるものではなく、実験的に設定されることは言うまでもない。

次に、テンプレート更新ステップ１０４ｅでは、新たに求められた侵入物体の位置に基づいて第２の画像入力ステップ１０４ｂで得られた入力画像から侵入物体の画像を切り出し、新たなテンプレート画像とする。このようにテンプレートを逐次更新することで、テンプレートには、最新の侵入物体の画像が記録され、侵入物体が移動あるいは姿勢変化を起こした場合でも安定に侵入物体の移動量を検出できるので、侵入物体の追尾を容易に行うことができる。

ここで、侵入物体移動量検出処理を図３及び図４を用いて更に詳細に説明する。図３において、入力画像３０１中に存在する侵入物体３０９は、ラベリング処理ステップ１０２ｄによって二値化画像内の画素値“２５５”のかたまりとして検出される。この侵入物体３１１の外接矩形３１２に基づいて切り出し器３０８で切り出され、テンプレート画像３０５が得られる。テンプレート画像３０５中には、侵入物体３０９のテンプレート３１３が含まれており、これがテンプレートマッチング法による侵入物体追跡処理の初期テンプレートとなる。

次に、初期テンプレート３１３に基づいてテンプレートマッチングが実行される。図４は、テンプレートマッチング法による侵入物体追跡処理を実行して侵入物体を追跡する処理の流れを表す。４０１は、テンプレート画像、４０１aは、テンプレートを表す。ここで、括弧内に記した記号３０５、３１３は、それぞれ図３で示したテンプレート画像３０５、テンプレート３１３と同一のものである。図４においては、テンプレート画像４０１を取得した時刻をｔ０と表す。以下同様に所定の時間間隔（例えば、１００ｍｓ）で逐次入力する入力画像４０２、４０４、４０６、・・の取得時刻を入力順にそれぞれｔ０＋１、ｔ０＋２、ｔ０＋３、・・・とする。画像４０１は、時刻ｔ０におけるテンプレート画像を表しており、画像４０１aは、時刻ｔ０におけるテンプレートを表している。また、画像４０２は、時刻ｔ０＋１における入力画像、画像４０２において矩形領域４０２ｂは、時刻ｔ０における侵入物体の位置（テンプレート４０１aの位置）を表し、矩形領域４０２ｃは、テンプレートマッチングの対象となる領域（探索領域）を表す。

ここで、テンプレートマッチング処理４０９（テンプレートマッチングステップ１０４ｃ）を実行すると、テンプレートマッチングの探索領域４０２ｃの中でテンプレート４０１ａにもっとも一致する画像４０２ａで一致度がもっとも大きくなり、侵入物体は、時刻ｔ０＋１において画像４０２ａの位置に存在していることが分かる。すなわち、侵入物体は矢印４０２ｄだけ（移動量（Δｘ,Δｙ）だけ）移動したことが分かる。

次に、テンプレート更新処理４１０（テンプレート更新ステップ１０４ｅ）において、テンプレート４０１ａにもっとも一致した画像４０２ａを時刻ｔ０＋１における新たなテンプレートとして更新する。すなわち、入力画像４０２から侵入物体の位置４０２ａを切り出し、これをテンプレート画像４０３とし、侵入物体の画像４０２ａを時刻ｔ０＋１における新たなテンプレート４０３ａとして更新する。この処理をＴＶカメラから逐次入力される入力画像に対して順次実行すると、時刻ｔ０＋２における入力画像４０４中にテンプレート４０３ａの位置４０４ｂに基づいて前述と同様に探索領域４０４ｃを設定し、時刻ｔ０＋１におけるテンプレート画像４０３中のテンプレート４０３ａを用いてテンプレートマッチング処理４０９によって侵入物体の位置４０４ａを検出する。その結果、侵入物体は、矢印４０４ｄのように移動したことが分かる。さらにテンプレート更新処理４１０によって時刻ｔ０＋２におけるテンプレート画像４０５および侵入物体のテンプレート４０５ａを更新する。

更に、時刻ｔ０＋３における入力画像４０６中にテンプレート４０５ａの位置４０６ｂに基づいて探索領域４０６ｃを設定し、時刻ｔ０＋２におけるテンプレート画像４０５中のテンプレート４０５ａを用いてテンプレートマッチング処理４０９によって侵入物体の位置４０６ａを検出する。結果として侵入物体は、矢印４０６dのように移動したことが分かる。更に、テンプレート更新処理４１０によって時刻ｔ０＋３におけるテンプレート画像４０７および侵入物体のテンプレート４０７ａを更新する。時刻ｔ０＋４における入力画像４０８中にテンプレート４０７ａの位置４０８ｂに基づいて探索領域４０８ｃを設定し、時刻ｔ０＋３におけるテンプレート画像４０７中のテンプレート４０７ａを用いてテンプレートマッチング処理４０９によって侵入物体の位置４０８ａを検出する。結果として侵入物体は、矢印４０８ｄのように移動したことが分かる。即ち、テンプレートマッチングを逐次実行することで侵入物体を追跡することができる。

次の視野範囲判定ステップ１０５の説明の前に、以下で本実施例で解決しようとする問題を更に説明する。近年、監視カメラの普及に伴って一般住民のプライバシーが脅かされるという問題が発生している。上述したテンプレートマッチング法を用いた物体追尾方法は、侵入物体の移動に伴ってカメラ雲台２０１ｃを自動的に制御して侵入物体をＴＶカメラ２０１ａの視野内に捉えるように動作するので、何等の制限もなく実施されると、そのＴＶカメラ２０１ａの視野内には、もし監視対象ではない民家やプライバシーが問題となる場所などがあればそれらも映ってしまうであろう。一方、監視対象ではない民家やプライバシーが問題となる場所を除いた場所は、侵入物体の動きに応じてカメラ雲台２０１ｃを制御して侵入物体を確実に追尾する必要がある。そのため本発明では、カメラの視野範囲の制御を行い、監視対象ではない民家やプライバシーが問題となる場所は、撮影しないが、その場所以外は、侵入物体の動きに応じて侵入物体を確実に追尾できるように構成されている。以下、これについて詳細に説明する。

テンプレートマッチング法による侵入物体追尾ステップ１０４で侵入物体が検出されると、上述したテンプレートの動きに応じてカメラ雲台２０１ｃがカメラ雲台制御ステップ１０６で制御され、物体を追尾するが、ここで監視対象ではない民家やプライバシーが問題となる場所を視野範囲に取込むのを阻止するために視野範囲判定ステップ１０５を実行する。ここで視野範囲判定ステップ１０５を説明する前に侵入物体の動きに応じて侵入物体を確実に追尾できるようにしたカメラ雲台２０１ｃのカメラ雲台／ズーム制御量算出ステップ１０６aとカメラ雲台／ズーム制御ステップ１０６ｂについて図５を用いて説明する。

図５において、テンプレート画像５０１の中にテンプレート５０２で示されるような位置に侵入物体５０５が検出されたとする。この場合、侵入物体５０５の中心位置をテンプレートの中心位置５０３とすると、テンプレート画像５０１の中心５０４からテンプレートの中心位置５０３の変位ｄｘ、ｄｙが算出される。

ここで、テンプレート５０２の中心位置５０３がテンプレート画像５０１（入力画像に相当する。）の中心位置５０４より所定量Ｓ（侵入物体が画像の中心付近に存在する場合は、カメラ雲台２０１ｃを制御する必要がないため、所定量Ｓによってカメラ雲台制御を開始する位置を指定することができる。例えばＳ=５０画素）以上左側（ｄｘ＜-Ｓ）であればカメラ雲台２０１ｃを左にパンさせ、右側（ｄｘ＞Ｓ）であれば右にパンさせる。また、テンプレート５０２の中心位置５０３が入力画像の中心５０４より上側（ｄｙ＜-Ｓ）であればカメラ雲台２０１ｃを上にチルトさせ、下側（ｄｙ＞Ｓ）であれば下にチルトさせる。更に、更新されたテンプレートの大きさ、即ち、検出された侵入物体の画像上の大きさによっては、TVカメラ２０１aのズーミングを変えるため撮像レンズ２０１bの焦点距離の変更量も取得してもよい。一例として、テンプレートの高さが所定の値以下である場合は撮像レンズ２０１bをズームアップし、所定の値より大きいときはズームアウトする。

所定の値としては、例えば、４００画素（入力画像の大きさを横方向６４０画素、高さ方向４８０画素とした場合）と言う値を用いることができる。この場合、例えば、現在のテンプレートの高さが３００画素、ワークメモリ２０２ｇに記録した現在の撮像レンズ２０１ｂの焦点距離がｆ＝３０ｍｍであったとすると、テンプレートの高さを４００画素にするためには、撮像レンズ２０１ｂの焦点距離をf＝３０×（４００／３００）＝４０ｍｍにすれば良い。したがって、ＭＰＵ２０２ｆは、レンズ制御部２０２ｃを介して、撮像レンズ２０１ｂの焦点距離を４０ｍｍに制御する。このようにすることで、侵入物体をＴＶカメラ２０１ａの視野内に適切な大きさで捉えることができる。なお、ズーミングの設定の変更は、これに限らず任意の基準、任意の方法で実施することができることは言うまでもない。例えば、テンプレートの高さが予め設定した範囲の外にあるときにのみズーミングを変えるようにしても良い。また、ズームアップとして、焦点距離を例えば１．０ｍｍ長くするという処理を行い、ズームアウトとして、焦点距離を１．０ｍｍ短くするという簡易的な処理でも撮像レンズ２０１ｂを制御することができる。侵入物体を追跡する処理は逐次繰り返し実行されるため、このように簡易的な処理でも、焦点距離の制御が足りない場合は、次の処理フレームでも同様に制御が行われる。したがって、侵入物体を追跡する処理を繰り返すことで、撮像レンズ２０１ｂの焦点距離は適切な値に制御され、テンプレートの高さを所定の大きさに合わせることができる。ここで、焦点距離の変化量１．０ｍｍというのは、経験的に算出されるものであって、この値が大きいと、テンプレートの高さを所定の大きさに迅速に合わせることができるが、適切な値付近では焦点距離の振動現象が発生する可能性がある（over damping）。また、焦点距離の変化量が小さいと、テンプレートの高さが所定の大きさに合うまでに時間がかかる場合がある（under damping）。ここで、焦点距離の変更量は、例えば予めワークメモリ２０２g上に記憶させておく。なお、ズーミングは撮像レンズ２０１ｂの焦点距離を変えることにより実現する他、ＴＶカメラ２０１ａから得られた入力画像を電子的に拡大することにより実現しても良い。

具体的には、カメラ雲台／ズーム制御量算出ステップ１０６aで変位ｄｘ、ｄｙの算出とパン及びチルトの制御量（カメラ雲台の移動量）とズーム量（撮像レンズ２０１ｂの焦点距離）を算出し、カメラ雲台／ズーム制御ステップ１０６ｂにおいて、算出した制御量に基づきカメラ雲台と撮像レンズの制御を実行する。なお、ｄｘ及びｄｙの絶対値によってパン、チルトモータの制御速度を変化させるようにしても良い（ｄｘあるいはｄｙの絶対値が大きいほど制御速度を大きくする）。

また、本実施例では、カメラ雲台の制御を伴った侵入物体の追跡を“追尾”と呼んでいる。このようにすることで侵入物体をＴＶカメラ２０１ａの視野内に捉えながらカメラ雲台２０１ｃを自動的に制御し、侵入物体を追尾することができる。

次に、視野範囲判定ステップ１０５について説明する。まず、視野情報取得ステップ１０５ａでは、雲台制御部２０２ｂを介してカメラ雲台２０１ｃの現在の方向（カメラ雲台正面を原点とし、パン角θ_P、チルト角θ_T）を取得し、レンズ制御部２０２ｃを介して撮像レンズ２０１ｂの現在の焦点距離ｆを取得する。

視野範囲算出ステップ１０５ｂでは、視野情報取得ステップ１０５ａで取得したカメラ雲台２０１ｃの現在の方向θ_P、θ_T、撮像レンズ２０１ｂの現在の焦点距離ｆに基づいて撮像範囲の位置を算出する。ここで、撮像範囲の位置の算出方法を図６及び図７を用いて説明する。簡単のために監視対象領域は、平面で、地面の凹凸がないものとする。図６は、ＴＶカメラ６０１を座標原点とし、その真上から見た平面図である。これを用いてＴＶカメラ６０１の画角θ_H（カメラ横方向の視野角）は、数２で求めることができる。

ここで、ｗは、ＴＶカメラ６０１の撮像素子、例えば、ＣＣＤ（Charge Coupled Device）素子の横幅であり、例えば１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合、ｗ＝４．８ｍｍである。また、１／３インチの撮像素子を使い、撮像レンズの焦点距離をｆ＝８．０ｍｍとした場合、ＴＶカメラ６０１の画角は、θ_H＝３３．４°となる。即ち、ＴＶカメラ６０１の視野は横方向３３．４°の範囲を持つ。ところで、ＴＶカメラ６０１は、監視領域に比べ高い位置に設置される場合がほとんどであり、カメラ雲台２０１ｃの現在の方向θ_Tに応じてＴＶカメラ６０１真下領域は撮像できない領域がある。この領域は、ＴＶカメラ６０１から視線方向Ｌ_Nの範囲に現れる（領域６０２で示される）。それ以上の領域６０３（Ｌ_F−Ｌ_Nで示される領域）は、ＴＶカメラ６０１の視野に必ず入る。

この距離Ｌ_N及びＬ_Fを図７で説明する。図７は、ＴＶカメラの視線方向を横軸として、ＴＶカメラ７０１（ＴＶカメラ６０１と同じ。）を横から見た図で、数２の場合と同様に、ＴＶカメラ７０１の画角θ_V（カメラ縦方向の視野角）は、数３で求めることが出来る。

ここで、ｈは、ＴＶカメラ７０１の撮像素子、例えばＣＣＤ素子の縦幅あり、例えば１／３インチの撮像素子を使用した場合、ｈ＝３．６ｍｍである。前述の条件と同様、１／３インチの撮像素子を使い、撮像レンズの焦点距離をｆ＝８．０ｍｍとした場合、ＴＶカメラ７０１の画角は、θ_V＝２５．４°となる。即ち、ＴＶカメラ７０１の視野は、縦方向２５．４°の範囲を持つ。ここで、ＴＶカメラ７０１の設置高をＨとすると、Ｌ_N、Ｌ_Fは、数４で求めることが出来る。

以上の結果、ＴＶカメラ６０１（７０１）で撮像できる範囲は、図６で示される領域６０３と図７で示される領域７０２となる。前述の条件と同様、１／３インチの撮像素子を使い、撮像レンズの焦点距離をｆ＝８．０ｍｍ、カメラ雲台２０１ｃの現在の方向θＴ＝３０°、ＴＶカメラ７０１の設置高をＨ＝５．０ｍとした場合、Ｌ_N＝５．４２ｍ、Ｌ_F＝１６．１ｍとなる。

次に、撮像禁止領域外判定ステップ１０５ｃは、上記視野範囲算出ステップ１０５ｂによって算出されたＴＶカメラ２０１ａの視野範囲（図６及び図７で示される斜線領域６０３および７０２）が監視対象範囲以外の領域（撮像禁止領域）を含まない場合、カメラ雲台制御量算出ステップ１０６aへ進み、撮像禁止領域を含む場合は、カメラ雲台停止処理ステップ１０８へ進む。

ここで撮像禁止領域外判定ステップ１０５ｃの判定処理について、図８および図９を用いて説明する。図８は、例えば、監視マップ８０１と呼ばれるものであり、監視領域内の構造物情報を、地図情報（またはベクトル情報）等の手段によって表現したものである。この監視マップ８０１には、ＴＶカメラ８０２、視野範囲８０３、重要監視ポイント８０４、撮像禁止領域８０５を重ねて表示している。なお、この監視マップ８０１の地図情報は、例えば、ｘ、ｙ座標軸で（ｘ,ｙ）座標に変換し、監視システムの画像メモリ２０２ｅにメモリテーブルとして記憶されている（あるいは外部記憶装置２０４に記憶することも出来る。）。撮像禁止領域８０５は、例えば、監視対象領域に隣接する民家やプライバシー保護の対象となる場所で、この領域８０５は、ＴＶカメラ８０２では撮像してはいけない領域である。但し、ゲート８０６の直前までは、監視対象領域である。

一方、ＴＶカメラ８０２の視野範囲８０３の位置は、視野範囲算出ステップ１０５ｂで説明したように数２〜数４で演算されるので、その結果に基づいて視野範囲８０３の位置を監視マップ８０１の（ｘ,ｙ）座標に変換する。即ち、図８に示す視野範囲８０３（斜線で示す範囲）の各位置をｘ、ｙ座標に変換する。例えば、視野範囲８０３の各頂点Ｐ１、Ｐ２、Ｐ３およびＰ４は、Ｐ１＝（ｘ₁,ｙ₁）、Ｐ２＝（ｘ₂,ｙ₂）、Ｐ３＝（ｘ₃,ｙ₃）およびＰ４＝（ｘ₄,ｙ₄）として、数５により求めることが出来る。

ここで、θ_Pは、ＴＶカメラ８０２のパン角であるが、ここでは、ｘ軸とＴＶカメラ８０２の光軸とのなす角を示す。同様に、視野範囲８０３の各ｘ、ｙ位置座標を計算すると、ＴＶカメラ８０２の視野範囲８０３の位置をｘ、ｙ座標系に変換できる。なお、この視野範囲８０３の位置座標は、ＴＶカメラ８０２のパン、チルトおよびズームにより変化することは言うまでもない。

次に、上述した、ＴＶカメラ８０２の視野範囲８０３が撮像禁止領域８０５を撮像しないように制御する方法について、図９を用いて説明する。図９において９０１は、画像メモリ２０２ｅに記憶されている監視マップ８０１で、例えば、ｘ、ｙ座標位置で記憶されている。９０２は、撮像禁止領域を示している。９０３は、ＴＶカメラ９０４（８０２と同じもの）およびＴＶカメラ９０４の視野範囲９０５の位置を演算により求めたメモリ上の画像（以下視野範囲画像９０３と称する）で、上記監視マップ９０１と同様にｘ、ｙ座標位置で記憶している様子を模式的に表現したものである。なお、ＴＶカメラ９０４のレンズの位置をｘ、ｙ座標系の原点（０，０）とする。次に、監視マップ９０１と視野範囲画像９０３とを画像メモリ２０２ｅから読出し、ＭＰＵ２９２ｆで演算処理（ＡＮＤ処理）９０３を行う。即ち、撮像禁止領域９０２と視野範囲９０５とのＡＮＤ処理を監視マップ９０１の全画面について画素毎に行うと、９０６で示される処理結果の画像が得られる。結果としてＴＶカメラの視野範囲９０５に撮像禁止領域９０２が含まれると、撮像禁止領域部分９０７として表示される。すなわち、この撮像禁止領域部分９０７が検出されるということは、視野範囲９０５に撮像禁止領域が映ってしまうことを意味する。この場合、ＭＰＵ２０２ｆは、雲台制御部２０２ｂを介して、カメラ雲台２０１ｃのパン、チルトモータの動作を停止する（カメラ雲台停止処理ステップ１０８）。同様に、ステップ１０８では、撮像レンズ２０１ｂの制御を停止する。このようにすることで、視野範囲９０５に撮像禁止領域９０２が含まれてしまうことを抑制することが可能となり、従って、ＴＶカメラ９０４のパン、チルトおよびズームを制御して視野範囲９０５が撮像禁止領域９０２を含まないように制御することが可能となる。

このように、カメラ雲台停止処理ステップ１０８では、ＴＶカメラ２０１ａの視野範囲が監視対象範囲以外の領域（撮像禁止領域部分９０７）を含む場合にカメラ雲台２０１ｃのパン、チルトモータの動作を停止させる処理を行うが、これに加えて、視野範囲９０５に映ってしまった撮像禁止領域部分９０７の画像についてはマスク処理をして映らないようにするマスク処理を含むようにしてもよい。

以上の説明では、撮像禁止領域部分９０７が検出された場合に、カメラ雲台２０１ｃのパンチルトモータの動作を停止するようにしたが、代替として、撮像禁止領域部分９０７が検出された場合に、カメラ雲台２０１ｃのパンチルトモータを逆方向に制御し、所定時間（例えば１制御サイクル分、例えば１００ｍS）経過後にパンチルトモータを停止するようにしても良い。ここで、パンチルトモータを逆方向に制御するとは、例えば、前フレームのカメラ雲台制御ステップ１０６ｂにおいてカメラ雲台２０１ｃを右上方向に制御していた場合、その逆の方向、即ち、左下方向に制御する。このようにすることで、確実に視野範囲９０５に撮像禁止領域を含まないようにできる。なお、撮像禁止領域部分９０７が検出された場合に、カメラ雲台停止処理ステップ１０８で、カメラ雲台の停止処理に加えて、撮像禁止領域部分９０７が検出されたのでカメラ雲台の制御を停止した旨のメッセージをモニタ２０５上に表示させる処理をするようにしても良い。

また、他の一実施例として、撮像禁止領域部分９０７が検出された場合に、カメラ雲台２０１c及び撮像レンズ（ズームレンズ）２０１ｂを制御して撮像禁止領域部分が検出されないようにすることもできる。この方法を図１３を用いて説明する。

この方法では、現在の視野範囲を基準に、パン角、チルト角、撮像レンズの焦点距離を微小量ずつ変化させて撮像禁止領域９０２と重ならなくなる視野範囲を選定する。そして、ＴＶカメラ２０１ａが選定された視野範囲を映すようにカメラ雲台２０１ｃ及び撮像レンズ２０１ｂを制御する。具体的には、例えば、現在のパン角、チルト角、撮像レンズの焦点距離をそれぞれθ_P0、θ_T0、f₀とし、パン角、チルト角、ズームレンズの焦点距離の最小の刻み量をΔθ_P、Δθ_T、Δｆとする。また、パン角、チルト角、ズームレンズの焦点距離を変化させるための係数をそれぞれｌ、ｍ、ｎとすると、変化後のパン角、チルト角、撮像レンズの焦点距離θ_P、θ_T、fは、数６で表される。

そして、数２、数３、数４、数５に数６を適用し、視野範囲８０３の各頂点Ｐ１、Ｐ２、Ｐ３及びＰ４を求め、視野範囲９０５が撮像禁止領域９０２と重なるか否かを判定する。ここで、Δθ_P、Δθ_T、Δｆは、例えば、それぞれΔθ_P＝１°、Δθ_T＝０．５°、Δｆ＝１ｍｍであり、視野範囲９０５に撮像禁止領域９０２が映らないようにするには、例えば、−１０≦l≦１０、−１０≦ｍ≦１０、−１０≦ｎ≦１０の範囲でｌ、ｍ、ｎを変化させ、視野範囲９０５が撮像禁止領域９０２と重ならないｌ、ｍ、ｎの組合せを見つける。なお、撮像禁止領域９０２と重ならないｌ、ｍ、ｎの組合せが複数存在するような場合には、例えば、現在のパン角、チルト角、撮像レンズの焦点距離θ_P0、θ_T0、f₀からの変化量が最も少なくて済むｌ、ｍ、ｎの組合せを選択するようにしても良い。そして、この時のθ_P、θ_T、fに従ってカメラ雲台２０１ｃとズームレンズ２０１ｂを制御すれば、視野範囲９０５に撮像禁止領域部分９０７を含まないようにできる。以上の処理は、ＭＰＵ２０２ｆが行う。なお、この方法を簡略化した方法として、撮像禁止領域部分９０７が検出された場合にズームレンズ２０１ｂの焦点距離を所定距離だけ長くして、視野範囲を狭くするようにしても良い。図１３では、簡略化のため、パン角（θ_P0）を変化させた場合についてのみが描かれており、また、図１３では、上記記載では−１０≦l≦１０としているところを簡略して、−２≦l≦２の範囲でパン角を変化させた場合についてのものが描かれている。

カメラ雲台制御ステップ１０６ｂに続き、警報／追尾情報表示ステップ１０７が実行される。ステップ１０７の処理内容は既述のステップ１０３と同様であるので、説明は省略する。

警報／追尾情報表示ステップ１０７は、撮像禁止領域外判定ステップ１０５ｃでの判定NOの場合にもカメラ雲台停止処理ステップ１０８の処理に続き実施される。

上記実施例の監視システムによれば、図５を用いて詳細に説明したように、侵入物体が検出された場合、侵入物体をテンプレートマッチング法による侵入物体追尾ステップ１０４で追跡し、テンプレートの動きに応じてカメラ雲台２０１ｃを制御することにより侵入物体を追尾できる。従って、この物体追尾方法を用いれば、図８に示すＴＶカメラ８０２の視野範囲８０３の位置は、例えば、ゲート８０４から侵入した物体がゲート８０６に移動すると、この移動物体に応じて視野範囲８０３の位置は、移動するが移動物体がゲート８０６に入る直前まで視野範囲８０３の位置を移動できる。しかし、撮像禁止領域８０５は、視野範囲８０３には含まれないようにカメラのパン、チルト、ズームを制御して視野範囲８０３の位置の移動を制限できるので、極めて正確な物体追尾方法を実現できる。なお、図５に示すテンプレート画像５０１は、矩形であるのに対して視野範囲８０３は、台形の形状をしているが、これは図８がＴＶカメラ８０２の視野を真上から監視マップ８０１に投影しているためであり、テンプレート画像５０１は、視野範囲８０３の一部を切出して作成されるものであるので、特に問題になることはない。

更に、上述した実施例では、視野範囲８０３に撮像禁止領域８０５が部分的に入るような場合、ＴＶカメラ９０４のパン、チルトおよびズームを制御して視野範囲９０５の位置を撮像禁止領域９０２を含まないように制御するものであるが、ＴＶカメラ９０４の視野範囲８０３と撮像禁止領域９０２と重なる面積は、撮像禁止領域９０２の性格にも依存し、適宜、監視システムの設置時に実験的に定められる。また、上述のように、侵入物体監視のために視野範囲８０３と撮像禁止領域９０２とが一部重なるような場合、例えば周知のマスク処理により、視野範囲８０３と撮像禁止領域９０２とが重なる部分をマスクし、撮像禁止領域の情報をＴＶカメラに写らないようにすることも容易に実施できる。

次に、本発明の別の実施例による物体追尾方法を図１０のフローチャートに言及して説明する。図１の実施例では、カメラ雲台制御量算出ステップ１０６aは視野範囲判定ステップ１０５の後に配置されているが、図１０のフローチャートにおいては侵入物体追尾ステップ１０４と視野範囲判定ステップ１０５の間に配置されている。

図１０において、カメラ雲台／ズーム制御量算出ステップ１０６aはテンプレート更新ステップ１０４eで算出された侵入物体の位置に基きカメラ雲台２０１ｃパン及びチルト量及び撮像レンズ２０１ｂのズーム量が算出される。算出の方法は図５に関連して既に説明した通りである。視野情報取得ステップ１０５aでは、現在のパン角θ_P、チルト角θ_Tを取得し、更に、レンズ制御部２０２ｃを介して撮像レンズ２０１ｂの現在の焦点距離ｆを取得する。視野範囲算出ステップ１０５ｂ１では、視野情報取得ステップ１０５aで取得したカメラ雲台２０１ｃの現在の方向θ_P、θ_Tと、ステップ１０６aで算出したパン及びチルト量を考慮して、カメラ雲台制御後のカメラ雲台２０１ｃの方向を予測して、当該予測結果であるパン角θp1、チルト角θｔ１を算出する。また、視野情報取得ステップ１０５ａで取得した撮像レンズ２０１ｂの現在の焦点距離ｆと、ステップ１０６ａで算出した撮像レンズ２０１ｂのズーム量を考慮して、撮像レンズ制御後の撮像レンズ２０１ｂの焦点距離を予測して、当該予測結果である焦点距離ｆ１を算出する。そして、この算出した方向θp1、θｔ１と撮像レンズ２０１ｂの焦点距離ｆ１に基づいて撮像範囲の位置を算出する。算出された撮像範囲の位置は予測位置である。従って、撮像禁止領域外判定ステップ１０５ｃでは、予測した、カメラ雲台とズームの制御後の視野範囲内に撮像禁止領域が含まれるか否かが判定される。カメラ雲台／ズーム制御ステップ１０６bでは、もし、予測したカメラ雲台とズームの制御後の視野範囲内に撮像禁止領域が含まれない場合は、カメラ雲台／ズーム制御量算出ステップ１０６aで算出した制御量に基きカメラ雲台２０１ｃと撮像レンズ２０１ｂを制御する。

本実施例によれば、予測した視野範囲が撮像禁止領域を含むか否かを、実際に視野範囲を更新する前に知ることができるので、より正確な撮像禁止領域撮像の回避が可能となり、かつ迅速な侵入物体の追尾が期待できる。本実施例はカメラ雲台／ズーム制御量算出ステップ１０６aをテンプレート更新ステップ１０４eと視野情報取得ステップ１０５aとの間に移した点と、視野範囲算出ステップ１０５bを視野範囲算出ステップ１０５ｂ１とした点が図１と異なる以外は、図１のフローチャートと同様であるので、これ以上の説明は省略する。

以上説明したように本発明では、ＴＶカメラは、侵入物体を追跡するようにパン方向、チルト方向およびレンズのズームが制御されるが、撮影禁止場所を含むようになると、ＴＶカメラの視野範囲の位置は、撮影禁止場所を含まないようにその位置が制御されるので、侵入物体を確実に追跡でき、しかも撮影禁止場所を撮影しないという極めて優れたＴＶカメラの視野範囲制御を実現することができるものである。

次に、本発明の更に別の実施例の侵入物体追尾方法を図１１を用いて説明する。上述の実施例では、ＴＶカメラの視野範囲内に撮像禁止領域を映さないようにするものであるが、監視マップ内に監視の重要領域を設け、この重要領域が必ず視野範囲内に映るように設定することもできる。このようにすると、検出した侵入物体を重要領域が映る範囲で追尾を実行し、侵入物体に加え重要領域をも撮像できるようになる。図１１はこのような、重要監視領域を必ず監視することができる侵入物体追尾方法の実施例のフローチャートを示す。図１における撮像禁止領域外判定ステップ１０５ｃが図１１のフローチャートでは、重要領域内判定ステップ１０５ｃ１に置きかえられている。そして、このステップ以外は、図１１のフローチャートは、図１のそれと同様である。すなわち、図１のフローチャートでは、ＴＶカメラ２０１aの視野範囲に撮像禁止領域が含まれていると撮像禁止領域外判定ステップ１０５ｃで処理がＮＯに分岐し、カメラ雲台２０１ｃを停止する。一方、本実施例では、ＴＶカメラ２０１aの視野範囲に重要領域が含まれない場合、重要領域内判定ステップ１０５ｃ１で処理がＮＯに分岐しカメラ雲台停止処理ステップ１０８に行く。カメラ雲台停止処理ステップ１０８では、カメラ雲台２０１ｃを停止する処理を行う。なお、カメラ雲台停止処理ステップ１０８では、カメラ雲台２０１ｃを停止するようにしたが、代替として、カメラ雲台２０１ｃのパンチルトモータを逆方向に制御し、所定時間経過後にパンチルトモータを停止するようにしてＴＶカメラ２０１aの向きを重要領域内に戻すようにしても良い。また、ＴＶカメラ２０１aの視野範囲に重要領域が含まれない場合に、カメラ雲台停止処理ステップ１０８では、カメラ雲台の停止処理に加えて、重要領域が含まれなくなったのでカメラ雲台の制御を停止した旨のメッセージをモニタ２０５上に表示させる処理をするようにしても良い。

なお、図１で説明した処理と、図１１で説明した処理とを組み合わせて、ＴＶカメラの視野範囲内に撮像禁止領域を映さないようにして、かつ、重要領域が必ず視野範囲内に映るようにズームレンズ２０１ｂ、カメラ雲台２０１ｃを制御することも可能である。

本発明の更に別の実施例の侵入物体追尾方法を図１２を用いて説明する。上述の実施例は、いずれも侵入物体の自動追尾に向けられていたが、本発明は自動追尾に限定されず、手動で侵入物体を追尾する場合にも適用できる。

図１２のフローチャートは、侵入物体の自動追尾に加え、監視員による手動追尾の際にも撮像禁止領域の撮像を回避できる侵入物体追尾方法を表す。図１２において、初期化処理１０１に続き、監視員が自動追尾か手動追尾かを選択する（ステップ１１０）。自動追尾が選択されると、図１で説明した自動追尾が実施される。手動追尾が選択されると、ＴＶカメラ２０１aから、例えば横方向３２０画素、高さ方向２４０画素の入力画像を得る（ステップ１１１）。ＭＰＵ２０２ｆは操作員によるＴＶカメラ２０１aの監視操作の有無を調べている（ステップ１１２）。ＴＶカメラ２０１aの操作（撮像方向の制御）は操作部２０３によって行う。操作員は、操作部２０３によって、ＴＶカメラ２０１aのズームを手動で行うこともできる。ＴＶカメラ２０１aの監視操作が検出されると、操作入力部２０２ｄを介して、操作入力情報を取得し（ステップ１１３）、処理は自動追尾における視野範囲判定ステップ１０５と同様の視野範囲判定ステップ１０５'に移る。視野情報取得ステップ１０５ａ'では、雲台制御部２０２ｂを介してカメラ雲台２０１ｃの現在の方向（カメラ雲台正面を原点とし、パン角θ_P、チルト角θ_T）を取得し、レンズ制御部２０２ｃを介して撮像レンズ２０１ｂの現在の焦点距離ｆを取得する。

視野範囲算出ステップ１０５ｂ'では、視野情報取得ステップ１０５ａ'で取得したカメラ雲台２０１ｃの方向θ_P、θ_T、撮像レンズ２０１ｂの現在の焦点距離ｆに基づいて撮像範囲の位置を算出する。撮像範囲の位置の算出方法は既に説明した通りであるので説明は省略する。

次に、撮像禁止領域外判定ステップ１０５ｃ'は、視野範囲算出ステップ１０５ｂ'によって算出されたＴＶカメラ２０１ａの視野範囲が監視対象範囲以外の領域（撮像禁止領域）を含まない場合、カメラ雲台／ズーム制御ステップ１０６ｂ'へ進み、撮像禁止領域を含む場合は、カメラ雲台停止処理ステップ１０８'へ進む。

カメラ雲台／ズーム制御ステップ１０６ｂ'では、操作入力取得ステップ１１３で取得した操作入力情報に基き監視員に指定された方向にＴＶカメラ２０１aを動かし、続く入力画像表示ステップ１１４では、ＴＶカメラ２０１aの撮像した画像を監視モニタ２０５上に表示する。操作入力取得ステップ１１３で取得した操作入力情報にズームの変更量の情報が含まれている場合には、カメラ雲台／ズーム制御ステップ１０６ｂ'では撮像レンズ２０１cのズームの制御も実行する。

一方、視野範囲算出ステップ１０５ｂ'によって算出されたＴＶカメラ２０１ａの視野範囲が監視対象範囲以外の領域（撮像禁止領域）を含む場合は、カメラ雲台停止処理ステップ１０８'にてカメラ雲台を停止させる。加えて、カメラ雲台を逆方向に制御したり、監視モニタ２０５上に、TVカメラ２０１aの視野範囲に撮像禁止領域が含まれたのでTVカメラ２０１aを停止させた旨のメッセージを表示するようにしても良い。

なお、ステップ１０５'、１０５a'、１０５b'、１０５c'、１０６'、１０８'の詳細はそれぞれ既に説明したステップ１０５、１０５a、１０５b、１０５c、１０６、１０８と同様なので詳しい説明は無用であろう。また、監視員による手動追尾の際にも、図１１で説明した内容と同様に、重要領域が必ず視野範囲内に映るように制御することができることは言うまでもない。また、以上の説明では、監視員は、信号処理装置２０２に接続された操作部２０３によりTVカメラ２０１aの操作を行う場合について説明したが、監視員は、例えば、信号処理装置２０２とLANやインターネットなどの外部ネットワークを介して接続される遠隔地のPC（パーソナルコンピュータ）によりTVカメラ２０１aを操作することも可能である。

以上の説明では、物体検出方法として差分法、物体移動量検出方法としてテンプレートマッチング法を挙げて説明したが、物体検出、物体移動量検出が実現できるものであればこれら以外の方法でも使用可能であることは、言うまでもない。

以上、本発明について詳細に説明したが、本発明は、ここに記載された物体追尾方法及び物体追尾装置に限定されるものではなく、上記以外に物体追尾方法及び物体追尾装置に広く適応することが出来ることは、言うまでも無い。

本発明の一実施例を説明するためのフローチャート図である。 本発明の一実施例の概略構成を説明するブロック図である。 本発明に用いられる差分法の基本原理を説明するための図である。 本発明に用いられるテンプレートマッチング法の基本原理を説明するための図である。 本発明のＴＶカメラの制御を説明するための図である。 本発明のＴＶカメラによるパン方向の撮像範囲を説明するための図である。 本発明のＴＶカメラによるチルト方向の撮像範囲を説明するための図である。 本発明のＴＶカメラの撮像範囲と監視マップの関係を示す説明図である。 本発明のＴＶカメラの撮像範囲と撮影禁止場所の制御動作を説明するための図である。 本発明の別の実施例を説明するためのフローチャート図である。 本発明の更に別の実施例を説明するためのフローチャート図である。 本発明の更に別の実施例を説明するためのフローチャート図である。 本発明のＴＶカメラの撮影禁止場所における別の制御動作を説明するための図である。

符号の説明

１０１：初期化ステップ、１０２：物体検出ステップ、１０２ａ：第１の画像入力ステップ、１０２ｂ：差分処理ステップ、１０２ｃ：二値化処理ステップ、１０２ｄ：ラベリング処理ステップ、１０２ｅ：侵入物体存在判定ステップ、１０３：警報・検出情報表示ステップ、１０４：侵入物体追尾ステップ、１０４ａ：テンプレート登録ステップ、１０４ｂ：第２の画像入力ステップ、１０４ｃ：テンプレートマッチングステップ、１０４ｄ：一致度判定ステップ、１０４ｅ：テンプレート更新ステップ、１０５：視野範囲判定ステップ、１０５ａ：視野情報取得ステップ、１０５ｂ：視野範囲算出ステップ、１０５ｃ：視野範囲内判定ステップ、１０６：カメラ雲台制御ステップ、１０７：警報・追尾情報表示ステップ、２０１：撮像装置、２０１ａ：ＴＶカメラ、２０１ｂ：ズームレンズ、２０１ｃ：カメラ雲台、２０２：信号処理装置、２０２ａ：画像入力部、２０２ｂ：雲台制御部、２０２ｃ：レンズ制御部、２０２ｄ：操作入力部、２０２ｅ：画像メモリ部、２０２ｆ：ＭＰＵ（処理装置、Micro Processing Unit）、２０２ｇ：ワー
クメモリ、２０２ｈ：外部入出力部、２０２ｉ：画像出力部、２０２ｊ：警報出力部、２０２Ｋ：データバス、２０３：操作手段、２０３ａ：ジョイスティック、２０３ｂ、２０３ｃ：ボタン、２０４：外部記憶装置、２０５：出力モニタ、２０６：警告装置。

Claims (1)

1. 撮像方向及びズームの少なくとも一方を制御可能に構成された撮像装置で物体を追尾する物体追尾方法において、該撮像装置からの画像に基づいて物体を検出し、前記撮像装置の現在のまたは予測視野範囲を算出し、該算出した現在または予測視野範囲が撮像禁止領域を含むか否かを判定し、含まないとき、前記侵入物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御し、前記物体を追尾することを特徴とする物体追尾方法。
   

Images