JP2004222200A - 侵入物体検出方法及び侵入物体検出装置 - Google Patents

Abstract

【課題】強い風が吹いて木が大きく揺れる場面や、木が成長するなどといったマスク領域設定時に想定していなかった事象が発生したとしても、検出すべき侵入物体以外の物体を検出することなく、侵入物体を検出するようにした侵入物体検出方法及び侵入物体検出装置を提供すること。
【解決手段】初期化処理ステップ１０１から追跡処理ステップ１１１に至る処理により、監視対象領域内に侵入した侵入物体を検出し、警報・モニタ表示ステップ１１３による警報処理を得るようにした侵入物体監視システムにおいて、マスク近傍領域設定ステップ１０２及びマスク近傍領域再設定ステップ１０６によってマスク近傍領域を設定し、侵入物体判定ステップ１１２によって逐次検出される検出物体が当該マスク近傍領域内に存在するか否かを判定することにより、マスク領域の近くでのみ検出される検出物体と、そうでない検出物体を区別する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた物体監視システムに係り、特に監視対象領域内に侵入した物体を画像信号の処理により自動的に検出するようにした侵入物体検出方法及び侵入物体検出装置に関する。
【０００２】
【従来の技術】
ＴＶカメラ（テレビジョンカメラ）などの撮像装置を用いた遠隔モニタ方式の監視システムが従来から広く用いられている。その多くは、監視員がモニタに表示される画像を見ながら監視を行う、いわゆる有人監視方式の監視システムである。しかし、この有人監視方式の監視システムでは、監視員が常時モニタに表示される映像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。人間の集中力には限りがあるため、有人監視方式の監視システムでは、侵入物体の見逃しの発生が無視できず、信頼性の面で問題がある。また、監視カメラの爆発的な普及によって、監視員一人が数多くのカメラ映像を複数のモニタで監視する場面も多くなっており、複数のカメラで同時に侵入者を捉えた場合にも侵入物体の見逃しが発生する可能性がある。
【０００３】
そこで、このような人による監視ではなく、ＴＶカメラで撮像された画像から画像処理により侵入物体を自動的に検出し、所定の報知や警報処置が得られるようにした、いわゆる自動検出方式の監視システムが、近年、強く要求されるようになってきている。
【０００４】
このようなシステムの実現には、自動監視方式を用い、侵入物体と見なすべき監視対象物体を画像信号から検出する機能が必要となる。このような監視方式の一例に差分法と呼ばれる方法があり、従来から広く用いられている。ここで、この差分法とは、ＴＶカメラで撮像した入力画像を基準となる画像と比較し、各画素毎に輝度値の差分を求め、その差分値を所定のしきい値のもとで判別処理し、差分値がしきい値を越えた領域が現れたとき、それを侵入物体と見なして検出する方法である。ここで差分値を求める際に必要となる基準となる画像として、ＴＶカメラで撮像した画像の中で、検出すべき侵入物体が存在していない画像（基準背景画像と呼ぶ）を使用する方法や、当該入力画像とは別の時刻に撮像された入力画像を使用する方法がある。前者は背景差分法、後者はフレーム間差分法と呼ばれる。
【０００５】
ここで、この差分法は入力画像と基準となる画像の違いを判定する方法であるため、検出すべき侵入者以外の動く物体、例えば、木々の揺れ、水たまりに反射する光の揺らぎ、大きな波しぶきなども検出してしまうという問題がある。この問題に関して、従来から、所定の範囲を侵入物体か否かを判定する領域から除外する処理や、所定の範囲内で、映像信号の変化を判定するしきい値を高く設定する、すなわち不感帯領域あるいは低感度領域（マスク領域）として処理する方法が用いられている（例えば、特許文献１参照。）。なお、差分法に限らず、差分法以外の侵入物体検出方法においても、検出すべき侵入物体以外の物体の誤検出を抑制するためにマスク領域を使用する方法が広く使われている。
【０００６】
図３を用いて、差分法を用いた場合に生じる、検出すべき侵入物体以外の動く物体を検出してしまうという問題と、この問題に対して従来から用いられているマスク領域による解決方法を説明する。図３（ａ）に示す斜線領域は、マスク処理をしない場合に差分法で検出される映像信号の変化部分を表す。ＴＶカメラで撮像した監視対象領域には侵入物体の他に木なども映っており、例えば図３（ａ）に示す場面を監視対象領域とした場合、映像信号の変化部分として斜線領域が検出される。ここで、検出される領域は、侵入物体による変化部分３０１と木が風で揺れた場合の枝や葉などによる変化部分３０２である。ここで、枝や葉などによる変化部分３０２は、検出するべき侵入物体ではないため、自動検出方式の監視システムにおいて検出されてしまうのは好ましくない。この問題に対して、従来より、図３（ｂ）に示すようなマスク領域３０３を設定し、枝や葉などによる変化部分３０２のようなマスク領域内の画像信号の変化部分を検出しないようにする処理が行われている。この処理によれば、侵入物体３０１のみが正確に検出される。
【０００７】
しかし、このマスク領域３０３は、監視システム設置時に設定されるが、時が経つにつれ映像信号中に侵入物体以外の変化部分が現れる場合がある。その例を図３（ｃ）及び図３（ｄ）で説明する。図３（ｃ）は、強い風が吹いた場面を説明するための図で、木の枝や葉などが大きく揺れ、マスク領域３０３からはみ出した例である。通常、マスク領域３０３は、木の枝や葉が揺れることを考慮して、木の枝や葉の領域より多少大きめに設定する必要がある。しかし、マスク領域内は、侵入物体を検出できなくなったり、あるいは検出しにくくなるため、マスク領域を適切に設定することが検出性能向上に繋がる。つまり、強い風による木の枝や葉などの大きな揺れをも含むような大きさにマスク領域を設定すれば、木の枝や葉を侵入物体であると誤検出することはなくなる。
【０００８】
一方で、マスク領域を大きく設定すればするだけ監視対象領域のうち侵入物体を検出できる領域が少なくなってしまい監視システムの検出性能が低下してしまう。図３（ｂ）においてもマスク領域３０３は木の枝や葉が揺れることを考慮して、木の枝や葉の領域より多少大きめに設定しているが、必要以上に大きな範囲をマスク領域３０３と設定してシステムの検出性能が低下しないよう配慮している。そのため、強い風が吹くと木の枝や葉の領域が、マスク領域３０３からはみ出してしまい、図３（ｃ）に示す映像信号の変化部分３０４ａ〜３０４ｄのように検出されてしまう。さらに、図３（ｄ）は、木が成長し、木の枝や葉がマスク領域から飛び出した例であるが、この場合にも侵入物体３０１以外の変化部分３０５ａ〜３０５ｅを検出してしまう。
【０００９】
以上のように、強い風が吹いて木が大きく揺れたり、木が成長する、水たまりに反射する光が揺らぐ、大きな波しぶきが発生するなどの事象が発生した場合に、検出すべき侵入物体以外の物体も検出してしまう場合がある。そこで、従来技術による自動検出方式の監視システムでは、当該監視システム運用開始時に、熟練者（熟練した作業者）によりマスク領域を適切なものに設定するのは当然として、システム稼働中にも、必要に応じて適宜、熟練者が調整を繰り返し行い、常に適切なマスク領域設定のもとで、監視システムの性能を低下させることなく、監視システムを運用するようにしなければならない。
【００１０】
【特許文献１】
特開２００２−２７９４２９号公報（第４、５頁、図２）
【００１１】
【発明が解決しようとする課題】
上記従来技術は、マスク領域を適切に設定しなければならない。しかし、屋外環境においては、強い風が吹いて木が大きく揺れる場面や、木が成長するなどといった想定外の事象が発生することが多々ある。このような事象が発生した場合には、検出すべき侵入物体以外の物体を検出してしまうという問題があった。また、このような問題を避けるために、マスク領域を広く設定すると、当該マスク領域内は、侵入物体の検出ができなくなったり、あるいは検出しにくくなったりするという問題もある。このため、従来技術では、前記事象が発生する度に、マスク領域の再設定を行わなければならず、監視システムの性能を低下させることなく、監視システムを運用することが困難となる。さらには、このような監視システムは、世の中から強く要求されている自動検出方式の監視システムのあるべき姿には遠く及ばない。
【００１２】
本発明の目的は、侵入物体を画像信号処理により自動的に検出する侵入物体監視方法及び侵入物体検出装置を提供することである。
【００１３】
本発明の他の目的は、監視システムの性能を低下させることなく、自動的に監視システムを運用できるようにした侵入物体監視方法及び侵入物体監視装置を提供することである。
【００１４】
【課題を解決するための手段】
この目的を達成するため、本発明の発明の侵入物体検出方法は、監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出方法において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップと、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出するステップおよび上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定するステップとからなる。
【００１５】
また、本発明の侵入物体検出方法において、監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出するステップは、上記画像信号の所定の複数フレームの各々について、所定のしきい値以上の画像信号の変化分を検出するステップを含み、画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定するステップは、上記複数フレームの内、上記所定のしきい値以上の上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数を検出するステップからなる。
【００１６】
また、本発明の侵入物体検出方法において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップは、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定するステップからなる。
【００１７】
また、本発明の侵入物体検出方法において、監視対象領域から得られる画像信号の変化レベルに基づいて設定するステップは、更に、上記画像信号の変化レベルに所定のしきい値を設定するステップと、上記しきい値を変更するステップからなる。
【００１８】
また、本発明の侵入物体検出方法において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップは、上記監視対象領域に設定されたマスク領域を所定量膨張させるステップからなる。
【００１９】
また、本発明の侵入物体検出方法において、監視対象領域に設定されたマスク領域を所定量膨張させるステップは、上記マスク領域を４近傍膨張処理と８近傍膨張処理を組合わせて所定量膨張させるステップである。
【００２０】
また、本発明の侵入物体検出方法において、監視対象領域は検出物体を含み、画像信号の変化分の位置は、上記検出物体の重心位置であり、上記重心位置が上記マスク近傍領域内に含まれるか否かにより検出物体が侵入物体か否かを判定する。
【００２１】
さらに、本発明の侵入物体検出装置は、監視対象領域を撮像する撮像装置と、上記撮像装置から得られる映像信号を処理する映像信号処理手段とからなり、監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出装置において、上記映像信号処理手段は、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段と、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出する手段および上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定する判定手段とから構成される。
【００２２】
また、本発明の侵入物体検出装置において、監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出手段は、上記画像信号の所定の複数フレームの各々について、所定のしきい値以上の画像信号の変化分を検出する手段を含み、画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定する判定手段は、上記複数フレームの内、上記所定のしきい値以上の上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数を検出する手段からなるように構成される。
【００２３】
また、本発明の侵入物体検出装置において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段は、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定する手段を含むように構成される。
【００２４】
また、本発明の侵入物体検出装置において、監視対象領域から得られる画像信号の変化レベルに基づいて設定する手段は、更に、上記画像信号の変化レベルに所定のしきい値を設定する手段と、上記しきい値を変更する手段からなるように構成される。
【００２５】
また、本発明の侵入物体検出装置において、マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段は、上記監視対象領域に設定されたマスク領域を所定量膨張させる演算手段からなるように構成される。
【００２６】
また、本発明の侵入物体検出装置において、監視対象領域に設定されたマスク領域を所定量膨張させる演算手段は、上記マスク領域を４近傍膨張処理と８近傍膨張処理を組合わせて所定量膨張させる演算手段である。
【００２７】
また、本発明の侵入物体検出装置において、監視対象領域は検出物体を含み、上記画像信号の変化分の位置は、検出物体の重心位置であり、上記重心位置が上記マスク近傍領域内に含まれるか否かにより検出物体が侵入物体か否かを判定するように構成される。
【００２８】
【発明の実施の形態】
以下、本発明による侵入物体検出方法および侵入物体検出装置について、図示の実施の形態により詳細に説明する。なお、本明細書に記載した実施例では、背景差分法を応用した侵入物体検出方法について記載しているが、これらに限定されるものではない。
【００２９】
図２は、本発明の一実施例に係る侵入物体検出装置のブロック図を示す図である。図２に示す侵入物体検出装置において、撮像装置２０１は、ＴＶカメラ２０１ａ、ズームレンズ２０１ｂ、及び、カメラ雲台（電動旋回台）２０１ｃで構成されている。処理装置２０２は、画像入力部２０２ａ、雲台制御部２０２ｂ、レンズ制御部２０２ｃ、操作入力部２０２ｄ、画像メモリ２０２ｅ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０２ｆ、ワークメモリ２０２ｇ、外部入出力部２０２ｈ、画像出力部２０２ｉ、警報出力部２０２ｊ、及び、データバス２０２ｋで構成され、これに、操作手段２０３、外部記憶装置２０４、画像モニタ２０５、及び、警告灯２０６が組合わされている。操作手段２０３は、ジョイスティック２０３ａ、第一のボタン２０３ｂ、及び、第ニのボタン２０４ｃで構成されている。
【００３０】
ここで、ＴＶカメラ２０１ａの出力は画像入力部２０２ａを介してデータバス２０２ｋに接続され、ズームレンズ２０１ｂの制御部はレンズ制御部２０２ｃを介してデータバス２０２ｋに接続され、ＴＶカメラ２０１ａを搭載するカメラ雲台２０１ｃは雲台制御部２０２ｂを介してデータバス２０２ｋに接続され、操作手段２０３の出力は操作入力部２０２ｄを介してデータバス２０２ｋに接続されている。また、外部記憶装置２０４は外部入出力部２０２ｈを介してデータバス２０２ｋに接続され、監視用の画像モニタ２０５は画像出力部２０２ｉを介してデータバス２０２ｋに接続され、警告灯２０６は警報出力部２０２ｊを介してデータバス２０２ｋに接続されている。一方、ＭＰＵ２０２ｆとワークメモリ２０２ｇは、そのままデータバス２０２ｋに接続されている。
【００３１】
また、ＴＶカメラ２０１ａは、監視対象領域を所定の視野内に捉え、監視対象領域撮像して映像信号を出力する。このため、ズームレンズ２０１ｂを備え、カメラ雲台２０１ｃに搭載されている。そして、撮像された映像信号は、画像入力部２０２ａからデータバス２０２ｋを介して画像メモリ２０２ｅに蓄積される。外部記憶装置２０４は、プログラムやデータ（例えば、監視システム設置時に設定されたマスク領域の画像データや基準背景画像）などを記憶する働きをし、プログラムやデータなどが必要に応じて外部入出力部２０２ｈを介してワークメモリ２０２ｇに読み込まれる。また反対に、ワークメモリ２０２ｇに記憶したプログラムやデータなどが必要に応じて外部入出力部２０２ｈを介して外部記憶装置２０４に保存される。
【００３２】
ＭＰＵ２０２ｆは、データバス２０２ｋを介して接続されている各々の機能を制御して侵入物体検出装置の機能を実現する。具体的にはＭＰＵ２０２ｆは、外部記憶装置２０４に保存され、処理装置２０２の動作時にワークメモリ２０２ｇに読み込まれたプログラムに従って処理を実行し、ワークメモリ２０２ｇ内で画像メモリ２０２ｅに蓄積された画像の解析等を行う。そして、この解析結果に応じて、ＭＰＵ２０２ｆは、ズームレンズ２０１ｂ及びカメラ雲台２０１ｃを制御して、ＴＶカメラ２０１ａの撮像視野を変えると共に、必要に応じて監視モニタ２０５に侵入物体検出結果の画像を表示し、警告灯２０６を点灯させる働きをする。
【００３３】
次に、この実施例の動作について説明する。ここで、以下に説明する実施形態は、図２に示す侵入物体検出装置により動作するもので、本発明の実施形態の動作について、図１により説明する。ここで、図１は、本発明の一実施例に係る処理プロセスを示すフローチャートである。この図１に示す処理プロセスは、まず初期化処理ステップ１０１から開始され、侵入物体検出装置は自動的に、画像メモリ２０２ｅ内に確保された画像記録用の画像メモリ領域や、処理プロセスで使用するワークメモリ２０２ｇ内に確保されたしきい値などの変数、検出物体情報などの記録領域の初期化を実行する。そして、画像メモリ２０２ｅは外部記憶装置２０４に記録したマスク領域の画像データ及び基準背景画像を読み込んで記憶する。
【００３４】
次に、マスク近傍領域設定ステップ１０２について説明する。本発明におけるマスク近傍領域とは、マスク領域の周辺に設定される領域のことで、図４（ａ）においてはマスク領域４０２の周辺に点線で示されるようにマスク近傍領域４０３を設定する。ここで、マスク領域４０２内は不感帯領域としてマスク処理がなされるが、マスク領域を除くマスク近傍領域４０３内はマスク処理はされず、通常通り画像処理による侵入物体の検出が可能な領域である。ただし、このマスク近傍領域４０３内でのみ検出される物体、又は、マスク近傍領域４０３内で検出される割合が高い物体は侵入物体ではない、つまり図３（ｃ）及び（ｄ）に示すように木の枝や葉などが大きく揺れてマスク領域からはみ出してしまった侵入物体以外の物体であると判定する。
【００３５】
このようにマスク領域４０２の周辺に上記のマスク近傍領域４０３を設定することで、マスク領域４０２自体を大きく設定することにより発生する、監視システムの検出性能の低下という事態を防ぐことができる。このマスク近傍領域４０３の設定をするために、ステップ１０２では、初期化処理ステップ１０１で読み込んだマスク領域４０２に対して後述する膨張演算処理を施し、マスク領域４０２を膨張させる。そして、その膨張された領域はマスク領域４０２の周辺部分であるので、その領域をマスク近傍領域４０３として設定する。
【００３６】
この膨張演算処理を図７を用いて説明する。図７は、本発明の一実施例に係る膨張演算処理を実行した場合の処理過程を示す図であり、画素７０１に対して膨張演算処理を実行している。図７（ａ）に示す画素７０１は、マスク領域４０２の所定の１画素を表している。膨張演算処理では、主に４近傍膨張処理と、８近傍膨張処理の２種類が用いられる。ここで、４近傍膨張処理とは、着目する画素７０１の上下左右の４画素を、画素７０１と同じ画素の輝度値にする処理で、その処理結果は図７（ｂ）に示すようになり、着目する画素７０１は膨張され画素のかたまり７０２になる。また、８近傍膨張処理とは、着目する画素７０１の４近傍膨張処理の上下左右の４画素にさらに斜めの４画素を加えた計８画素を、画素７０１と同じ画素の輝度値にする処理で、その処理結果は図７（ｃ）に示すようになり、着目する画素７０１は膨張されて画素のかたまり７０３になる。膨張演算処理は、マスク領域の画像データを走査し、マスク領域として設定されている画素を見つけた場合に、４近傍膨張処理あるいは８近傍膨張処理を実行する。
【００３７】
通常、膨張演算処理は、４近傍膨張処理、８近傍膨張処理を交互に複数回実行する。ここで、４近傍膨張処理、８近傍膨張処理を交互に実行する理由を説明する。例えば、図７（ａ）の画素７０１に対し４近傍膨張処理のみを３回繰り返すと、上記の通り一回目の処理で図７（ａ）から図７（ｂ）に示すようになり、さらに図７（ｂ）に示す斜線部分で示される画素のかたまり７０２の５つの画素それぞれに対して４近傍膨張処理が行なわれる（二回目の処理）。その結果に対してさらに三回目の４近傍膨張処理を行なうと図７（ｄ）に示すようにひし形のかたまり７０４になるが、これでは、上下左右に偏った膨張になってしまう。一方、同様に図７（ａ）の画素７０１に対し８近傍膨張処理のみを３回繰り返すと図７（ｅ）に示すように矩形のかたまり７０５になり、これでは、右上、左上、右下、左下に偏った膨張になってしまう。
【００３８】
そこで、４近傍膨張処理、８近傍膨張処理を交互に３回実行（すなわち、４近傍膨張処理、８近傍膨張処理、４近傍膨張処理と実行）すると、図７（ｆ）に示すように円状に膨張させることができ、マスク領域４０２の形状に沿った形にマスク近傍領域４０３を設定することができる。したがって、マスク近傍領域設定ステップ１０２では、所定回数４近傍膨張処理、８近傍膨張処理を交互に実行することで、マスク領域を膨張させ、膨張させた領域をマスク近傍領域４０３とし、画像メモリ２０２ｅに記録する。なお、膨張処理は必ずしも４近傍膨張処理、８近傍膨張処理を交互に実行する必要は無く、任意の順序で実行してもよい。また、膨張演算処理の他、任意の方式によってマスク領域４０２の周辺にマスク近傍領域４０３を設定してもよい。
【００３９】
なお、膨張処理の回数は、後述する二値化処理ステップ１０８における所定値以上の画像信号の変化分を検出するしきい値に依存させるようにする。ここで、しきい値を２０とした場合に膨張処理を５回行うのが誤検出を防ぎ侵入物体の検出を精度良く行う上で効果的であることが実験的に確認されているため、例えば、膨張処理回数Ｎは、Ｎ＝１００÷ｔｈで算出する。ここで、ｔｈはしきい値を表す。ただし、Ｎの上限値は１０とし、その値より大きくなる場合はＮ＝１０とする。ここで、膨張処理回数をしきい値に反比例させる理由は、しきい値を小さくすると検出すべき侵入物体以外の物体の動きによる画像信号の変化分を多く検出するようになってしまうため、この変化分をマスク近傍領域内に含めやすいようにマスク近傍領域を大きく設定する必要があるためである。
【００４０】
例えば、しきい値の初期値が２０であった場合は、上記の式より膨張処理の回数は５回に設定する。なお、本発明はこれらの数値に限定されるものではなく、上記以外の任意の値に設定してもよい。また、同様に膨張処理の回数についてもしきい値以外の任意の要素、例えば、入力映像信号の輝度レベルに依存させて決定してもよい。なお、膨張演算処理以外の方式によってマスク領域の周辺にマスク近傍領域を設定する場合でも、しきい値等を尺度とし、マスク近傍領域を設定する範囲を定めることができる。
【００４１】
次に、画像入力ステップ１０３では、画像入力部２０２ａを介して、ＴＶカメラ２０１ａで撮像された映像信号を入力し、例えば横方向３２０画素、高さ方向２４０画素、１画素当たりデータビット数８（３２０×２４０ｐｉｘ、８ｂｉｔ／ｐｉｘ、０〜２５５階調の輝度値）の入力画像を取得する。この入力画像は、画像メモリ２０２ｅに記憶される。なお、ＴＶカメラ２０１ａが、例えば、１秒間に１０フレームの撮像を行っている場合には、入力画像としては１秒おき、つまり１０フレームおきに映像信号を入力する。
【００４２】
次に、感度変更判定ステップ１０４では、監視員（作業者）による感度変更操作の有無を判定する。このため、操作入力部２０２ｄを介して操作手段２０３から入力される信号を調べ、例えば、ジョイスティックの操作があったか否かを判定する。なお、図２では、操作手段２０３の例としてジョイスティックが示されているが、キーボードやマウスなどその他の入力手段でも良い。そして、感度変更操作があったときは、感度変更ステップ１０５へ分岐する。一方、感度変更操作がなかったときは差分処理ステップ１０７へ分岐する。このときは、感度変更ステップ１０５と、これに続くマスク近傍領域再設定ステップ１０６はスキップされる。なお、感度とは、後述する二値化処理ステップ１０８における所定値以上の画像信号の変化分を検出するしきい値のことである。ただし、感度を高くすることは、より小さな画像変化を検出するためにしきい値を小さくすることを意味する。ここで、監視員は、例えば、強い風による木の枝や葉の揺れ等の侵入物体でない物の検出を確認し、誤認識率が高くなったと感じた場合にジョイスティックの操作を行い、感度を低く（しきい値を高く設定）する。
【００４３】
感度変更操作があったとき、感度変更ステップ１０５では、監視員の操作手段２０３による操作内容に応じて侵入物体検出の感度を変更する。例えば、操作手段２０３のジョイスティック２０３ａを上方向に操作した場合は、予めワークメモリ２０２ｇに設定されているしきい値を１小さくし（感度が高くなる）、下方向に操作した場合は、しきい値を１大きくする（感度が低くなる）。なお、しきい値の範囲は１〜２５５とし、ジョイスティック２０３ａの操作により下限値１未満になる場合はしきい値を１とする。また、上限値２５５より大きくなる場合はしきい値を２５５とする。ここで、感度を変更する操作として操作手段２０３のジョイスティック２０３ａを例に挙げたが、操作手段２０３の第一のボタン２０３ｂで感度を下げ、第二のボタン２０３ｃで感度を上げるようにしても良い。なお、操作手段２０３としてジョイスティック以外のものを使用する場合、例えば、それがキーボードであった場合にはカーソルキーの上下に応じて感度を変更したり、マウスであった場合にはマウスのボタンに応じて感度を変更するようにすれば良い。
【００４４】
次に、マスク近傍領域再設定ステップ１０６では、先に説明したマスク近傍領域設定ステップ１０２と同様に膨張演算処理を実行して、膨張された領域をマスク近傍領域とし、画像メモリ２０２ｅに記憶しマスク近傍領域の更新を行う。ここで、膨張処理の回数は、感度変更ステップ１０５で設定された感度に依存させるようにする。
【００４５】
次に、差分処理ステップ１０７では、画像メモリ２０２ｅに記録された入力画像と基準背景画像を画素毎に比較し、それらの差分画像を得る。
【００４６】
次に、二値化処理ステップ１０８では、差分処理ステップ１０７で得られた差分画像の各画素についてしきい値との比較処理を行う。具体的には、ワークメモリ２０２ｇに保持されているしきい値（例えば、２０）に応じて、画素の輝度値がしきい値未満の場合は輝度値を“０”とし、画素の輝度値がしきい値以上の場合は輝度値を“２５５”となるように処理して二値化画像を得る。このようにすると、得られた二値化画像は、画像信号の変化分の位置、すなわち画像処理により検出した物体を表すことになる。
【００４７】
次に、マスク処理ステップ１０９では、図３で説明したマスク処理を行う。具体的には、このマスク処理ステップ１０９では、二値化処理ステップ１０８で得られた二値化画像のうち、画像メモリ２０２ｅ内に記録したマスク領域内で検出した検出物体の画素の輝度値を“２５５”から“０”に修正し（マスクし）、検出がなかったことにする。このようにすると、二値化画像内で検出される検出物体の内、例えば木の枝や葉が存在する領域内で検出された部分を削除することができる。ステップ１０９での処理結果を図３（ｃ）で説明すると、マスク領域３０３内はマスク処理され、符号３０１、３０４ａ、３０４ｂ、３０４ｃ、及び、３０４ｄで示す斜線領域が検出物体として残る。ここで上記の通り、マスク領域を除くマスク近傍領域内はマスク処理されず、通常通り画像処理による侵入物体の検出が可能になる。
【００４８】
次に、ラベリング処理ステップ１１０では、二値化画像内の“２５５”画素のかたまりを検出して、各々のかたまりに番号をつけて区別できるようにする。図３（ｃ）では、斜線領域３０１、３０４ａ、３０４ｂ、３０４ｃ、及び、３０４ｄがそれぞれ“２５５”画素のかたまりとなる。
【００４９】
次に、追跡処理ステップ１１１では、処理フレーム毎（入力画像毎）に検出される二値化画像内の“２５５”画素のかたまりの位置変化に基づいて、検出物体を追跡する。この処理を図５により説明する。図５は、本発明の実施の形態に係る連続する処理フレームにわたって二値化画像内に検出された検出物体を追跡している様子を示す図である。図５（ａ）、図５（ｂ）、図５（ｃ）は、連続する処理フレームで得られた二値化画像を表しており、各々の二値化画像には、検出物体として、検出物体５０１、５０２、５０３、が検出されている。
【００５０】
図５（ｄ）は、分かりやすく説明するために、図５（ａ）、図５（ｂ）、図５（ｃ）の各処理フレームで得られた二値化画像を同一図内に表示したものであり、図５（ｄ）中の検出物体５０１、５０２、５０３の内部の点５０４、５０５、５０６は、各処理フレームにおける検出物体の重心点を表している。検出物体の追跡は、この重心点の位置に基づいて行われ、ある時刻で得られた検出物体の重心点５０４を起点とし、次の処理フレームで、重心点５０４にもっとも近い位置の重心点を選ぶ。例えば、図５（ｆ）に示すように、重心点５０４を検出した処理フレームの次のフレームで５０５ａ、５０５ｂ、５０５ｃの３つの重心点を有する検出物体が得られた場合には、重心点５０４にもっとも近い位置にある重心点５０５ａが選ばれる。
【００５１】
この処理を繰り返すことにより、図５（ｅ）に示すように、重心点５０４は、重心点５０５に移動し、その後さらに重心点５０６に移動したと判断できる。すなわち、これが監視対象視野内に映った物体の移動経路となる。なお、図３（ｃ）では、斜線領域３０１、３０４ａ、３０４ｂ、３０４ｃ、及び、３０４ｄそれぞれについて重心点を求め、検出物体の追跡が行われる。
【００５２】
ここで、処理装置２０２では、二値化画像内の“２５５”画素のかたまりとして得られる検出物体の情報を図６（ａ）に示すようなデータとして、ワークメモリ２０２ｇに記録する。図６（ａ）に示す検出物体情報のデータには、検出物体を検出した時刻を表す「検出時刻」、検出物体の重心位置を表す「検出物体の重心位置」、検出物体の二値化画像内での“２５５”画素の数を表す「検出物体の面積」、検出物体の二値化画像内での“２５５”画素に外接する矩形の範囲を表す「検出物体の外接矩形」、検出物体の追跡結果を表す「物体軌跡」が含まれる。この「物体軌跡」には、追跡処理ステップ１１１によって得られた重心点の位置変化が過去Ｍフレーム分（例えば、１００フレーム）記録できるようになっている。
【００５３】
例えば、図６（ｂ）に示す追跡例は、物体Ａ、Ｂ、ＣがＴＶカメラ２０１ａの撮像視野内を移動しているものであり（各検出物体の重心点のみを表示している）、物体Ｃについては時刻ｔ０では画面から消えていることを示している。ここで、ある時刻ｔ０においては、ワークメモリ２０２ｇには検出物体の情報として、物体Ａ、Ｂ、Ｃの３つの検出物体情報のデータが記録されており、物体Ａの検出物体情報の「物体軌跡」には、物体Ａの追跡結果である時刻ｔ０−１、ｔ０−２、ｔ０−３の過去３フレーム分の重心位置が記録されている。物体Ｂ、物体Ｃについても同様に各追跡結果の重心位置が記録されている。このようにすると、監視対象領域内で検出された検出物体の位置の変化を記録することができる。
【００５４】
次に、侵入物体判定ステップ１１２では、マスク近傍領域設定ステップ１０２又はマスク近傍領域再設定ステップ１０６で定めたマスク近傍領域と、追跡処理ステップ１１１で得られた追跡結果に基づいて、検出物体が検出すべき侵入物体か否かを判定する。例えば、マスク近傍領域内で検出される割合が高い検出物体は侵入物体ではない、つまり図３（ｃ）に示す斜線領域３０４ａ、３０４ｂ、３０４ｃ、及び、３０４ｄのように木の枝や葉などが大きく揺れてマスク領域３０３からはみ出してしまった侵入物体以外の物体であると判定する。
【００５５】
具体的には、ワークメモリ２０２ｇに記録された検出物体情報のデータを読み出し、各検出物体の所定の複数フレームにおける重心位置（図６（ｂ）の物体Ａであれば、時刻ｔ０、ｔ０−１、ｔ０−２、ｔ０−３の４フレーム分の重心位置）のうち、画像メモリ２０２ｅ内に記録したマスク近傍領域内に存在するものの個数をＮｉｎ、マスク近傍領域の外に存在するものの個数をＮｏｕｔとする。そして、前記フレーム数、すなわち各検出物体の重心位置の総数（図６（ｂ）の物体Ａであれば、総数は４）のうち、重心位置がマスク近傍領域内に存在するものの割合、すなわち、Ｎｉｎ÷（Ｎｉｎ＋Ｎｏｕｔ）×１００を計算する。例えば、図６（ｂ）の物体Ａでは時刻ｔ０、ｔ０−１、ｔ０−２、ｔ０−３の４フレーム分の重心位置のうち時刻ｔ０−１における重心位置のみがマスク近傍領域内に存在するとした場合、Ｎｉｎは１、Ｎｏｕｔは３となり、物体Ａでは複数フレームのうち、マスク近傍領域内に重心位置が存在する割合は、Ｎｉｎ÷（Ｎｉｎ＋Ｎｏｕｔ）×１００＝２５％となる。
【００５６】
そして、各検出物体の重心位置の総数のうち、マスク近傍領域内に存在するものの割合が所定の割合（例えば８０％。この値は実験的に設定可能とする。）以上であった場合には、検出物体は図３（ｃ）に示す斜線領域３０４ａ、３０４ｂ、３０４ｃ、及び、３０４ｄのように木の枝や葉の揺れであり監視対象領域内に侵入した侵入物体ではないと判定する。一方、所定の割合未満で重心位置がマスク近傍領域内で検出される検出物体は、侵入物体であると判定する。例えば、前記物体Ａでは２５％の割合となるため、侵入物体であると判定される。このような方法により、侵入物体判定ステップ１１２では侵入物体の有無を判定する。その結果、監視対象領域内に侵入物体が存在すると判定した場合は、警報・モニタ表示ステップ１１３に分岐し、侵入物体が存在しないと判定した場合は、画像入力ステップ１０３に戻る。このとき、警報・モニタ表示ステップ１１３はステップされる。このように、マスク近傍領域を用いた侵入物体判定ステップ１１２を備えることで、マスク領域を適切な大きさに設定したままで、検出すべき侵入物体以外の物体の誤検出を防ぐことができる。
【００５７】
そして、警報・モニタ表示ステップ１１３では、例えば画像モニタ２０５に検出した侵入物体の画像を表示し、警告灯２０６を点灯させ、監視対象領域内に侵入物体が存在することを表す報知が行われる。
【００５８】
以上のステップ１０１〜１１３の処理プロセスにより、強い風が吹いて木が大きく揺れる場面や、木が成長するなどといったマスク領域設定時に想定していなかった事象が発生したとしても、検出すべき侵入物体以外の物体を検出することなく、侵入物体のみを検出できるようになる。本発明は、例えば図４に表すような場面で有効に機能する。図４（ａ）は、木の葉の揺れが存在し、その領域をマスク領域４０２として設定している例である。このとき、強い風が吹いたり、木が成長して木の葉の揺れがマスク領域の外で検出されるようになった場合でも、所定の割合以上マスク近傍領域４０３内で検出されている限り、侵入物体として誤って判定されることはなく、侵入物体４０１のような侵入物体のみを正確に検出できる。
【００５９】
また、図４（ｂ）は、灯台に近付く侵入者を検出する場面で、テトラポットに打ちつける波の領域をマスク領域４０６として設定している例である。このとき、海が荒れて波しぶきがあがりマスク領域の外で波が検出されるようになった場合でも、所定の割合以上マスク近傍領域４０７内で検出されている限り、侵入物体として誤って判定されることはなく、侵入物体４０４と侵入物体４０５のような侵入物体のみを正確に検出できる。なお、本発明は、この２つの例以外の場面や、差分法以外の侵入物体検出方法でも、マスク領域を設定して監視対象領域内の侵入物体を検出する方式の監視システムであれば容易に適用できることは言うまでもない。
【００６０】
したがって、図１に示すフローチャートの初期化処理ステップ１０１から追跡処理ステップ１１１に至る処理により、監視対象領域内に侵入した侵入物体を検出し、警報・モニタ表示ステップ１１３による警報処理を得るようにした侵入物体監視システムにおいて、マスク近傍領域設定ステップ１０２及びマスク近傍領域再設定ステップ１０６によってマスク近傍領域を設定し、侵入物体判定ステップ１１２によって逐次検出される検出物体が当該マスク近傍領域内に存在するか否かを判定することにより、マスク領域の近くでのみ検出される検出物体と、そうでない検出物体を区別することができる。
【００６１】
【発明の効果】
以上詳述したように本発明では、侵入物体を画像信号処理により自動的に検出する侵入物体監視方法及び侵入物体検出装置を提供することができる。
【００６２】
また本発明では、監視システムの性能を低下させることなく、自動的に監視システムを運用できるようにした侵入物体監視方法及び侵入物体監視装置を提供することができる。
【００６３】
さらにまた本発明では、強い風が吹いて木が大きく揺れる場面や、木が成長するなどといったマスク領域設定時に想定していなかった事象が発生したとしても、検出すべき侵入物体以外の物体を誤検出することなく、侵入物体のみを検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係る処理プロセスを示すフローチャートである。
【図２】本発明の一実施例に係る侵入物体検出装置のハードウエア構成を示す図である。
【図３】差分法による物体検出動作の問題点を説明するための図である。
【図４】本発明の一実施例に係る適用場面を示す図である。
【図５】本発明の一実施例に係る連続する処理フレームにわたって二値化画像内に検出された検出物体を追跡している様子を示す図である。
【図６】本発明の一実施例に係る検出物体の情報を示す図である。
【図７】本発明の一実施例に係る膨張演算処理を実行した場合の処理過程を示す図である。
【符号の説明】
２０１：撮像装置、２０１ａ：ＴＶカメラ、２０１ｂ：ズームレンズ、２０１ｃ：カメラ雲台、２０２：処理装置、２０２ａ：画像入力部、２０２ｂ：雲台制御部、２０２ｃ：レンズ制御部、２０２ｄ：操作入力部、２０２ｅ：画像メモリ、２０２ｆ：ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、２０３ｇ：ワークメモリ、２０２ｈ：外部入出力部、２０２ｉ：画像出力部、２０２ｊ：警報出力部、２０２ｋ：データバス、２０３：操作手段、２０３ａ：ジョイスティック、２０３ｂ：第一のボタン、２０３ｃ：第二のボタン、２０４：外部記憶装置、２０５：出力モニタ、２０６：警告灯

Claims (14)

1. 監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出方法において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップと、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出するステップおよび上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定するステップからなることを特徴とする侵入物体検出方法。
2. 請求項１記載の侵入物体検出方法において、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出するステップは、上記画像信号の所定の複数フレームの各々について、所定のしきい値以上の画像信号の変化分を検出するステップを含み、上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定するステップは、上記複数フレームの内、上記所定のしきい値以上の上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数を検出するステップからなることを特徴とする侵入物体検出方法。
3. 請求項１記載の侵入物体検出方法において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップは、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定するステップを含むことを特徴とする侵入物体検出方法。
4. 請求項３記載の侵入物体検出方法において、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定するステップは、更に、上記画像信号の変化レベルに所定のしきい値を設定するステップと、上記しきい値を変更するステップからなることを特徴とする侵入物体検出方法。
5. 請求項１記載の侵入物体検出方法において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定ステップは、上記監視対象領域に設定されたマスク領域を所定量膨張させるステップからなることを特徴とする侵入物体検出方法。
6. 請求項５記載の侵入物体検出方法において、上記監視対象領域に設定されたマスク領域を所定量膨張させるステップは、上記マスク領域を４近傍膨張処理と８近傍膨張処理を組合わせて所定量膨張させるステップであることを特徴とする侵入物体検出方法。
7. 請求項２記載の侵入物体検出方法において、上記監視対象領域は検出物体を含み、上記画像信号の変化分の位置は、上記検出物体の重心位置であり、上記重心位置が上記マスク近傍領域内に含まれるか否かにより検出物体が侵入物体か否かを判定することを特徴とする侵入物体検出方法。
8. 監視対象領域を撮像する撮像装置と、上記撮像装置から得られる映像信号を処理する映像信号処理手段とからなり、監視対象領域に設定されたマスク領域以外の領域に侵入する物体を監視する侵入物体検出装置において、上記映像信号処理手段は、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段と、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出する手段および上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定する判定手段とからなることを特徴とする侵入物体検出装置。
9. 請求項８記載の侵入物体検出装置において、上記監視対象領域から得られる画像信号の内、所定のしきい値以上の画像信号の変化分を検出手段は、上記画像信号の所定の複数フレームの各々について、所定のしきい値以上の画像信号の変化分を検出する手段を含み、上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるか否かを判定する判定手段は、上記複数フレームの内、上記所定のしきい値以上の上記画像信号の変化分の位置が上記マスク近傍領域内に含まれるフレーム数を検出する手段からなることを特徴とする侵入物体検出装置。
10. 請求項８記載の侵入物体検出装置において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段は、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定する手段を含むことを特徴とする侵入物体検出装置。
11. 請求項１０記載の侵入物体検出装置において、上記監視対象領域から得られる画像信号の変化レベルに基づいて設定する手段は、更に、上記画像信号の変化レベルに所定のしきい値を設定する手段と、上記しきい値を変更する手段からなることを特徴とする侵入物体検出装置。
12. 請求項８記載の侵入物体検出装置において、上記マスク領域に基づいてマスク近傍領域を設定するマスク近傍領域設定手段は、上記監視対象領域に設定されたマスク領域を所定量膨張させる演算手段からなることを特徴とする侵入物体検出装置。
13. 請求項１２記載の侵入物体検出装置において、上記監視対象領域に設定されたマスク領域を所定量膨張させる演算手段は、上記マスク領域を４近傍膨張処理と８近傍膨張処理を組合わせて所定量膨張させる演算手段であることを特徴とする侵入物体検出装置。
14. 請求項９記載の侵入物体検出装置において、上記監視対象領域は検出物体を含み、上記画像信号の変化分の位置は、検出物体の重心位置であり、上記重心位置が上記マスク近傍領域内に含まれるか否かにより検出物体が侵入物体か否かを判定することを特徴とする侵入物体検出装置。

Images