JP2005267510A

JP2005267510A - 画像処理装置、画像処理方法及び侵入者検出装置

Info

Publication number: JP2005267510A
Application number: JP2004082308A
Authority: JP
Inventors: Yuji Nakazawa; 裕二中沢
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2004-03-22
Filing date: 2004-03-22
Publication date: 2005-09-29

Abstract

【課題】複雑な処理を必要とすることなく、画像に含まれるノイズ成分を適切に除去することができる画像処理方法を提供する。
【解決手段】撮像画像を取得する画像取得工程Ｓ１２と、撮像画像から得られた画像を所定の分割条件に基づいて複数の分割画像に分割する画像分割工程Ｓ１８と、複数の撮像画像から得られた分割画像を組み合わせて合成画像を構成する画像合成工程Ｓ２２と、合成画像を用いてノイズを除去するノイズ除去工程Ｓ２４とを備え、撮像時刻が異なる複数の画像に含まれるノイズを除去する画像処理方法により上記課題を解決することができる。
【選択図】図２

Description

本発明は、撮像画像に含まれるノイズを除去する画像処理装置、画像処理方法と、これらを利用した侵入者検出装置に関する。

近年、侵入者等を検出するセキュリティシステムにおいて画像センサ等の撮像装置によって撮像された画像を用いるシステムが数多く提供されている。このようなシステムでは、基準となる背景画像を記録しておき、随時撮像される撮像画像と背景画像との差分をとった差分画像を生成し、この差分画像中の変化領域を抽出し、この変化領域が侵入者によるものかを判定する。

ところが、撮像画像には、電気的なノイズに基づくノイズ画素や、塵、埃、雨、雪等の劣悪環境に基づくノイズ画素が含まれることがある。このようなノイズ画素は差分画像中で変化領域として抽出されてしまうので、実際には侵入者がいないにも関わらずノイズ画素を侵入者として判定し、誤警報を発してしまうことがある。

このようなノイズ画素の影響は、撮像装置を屋外に設置して侵入者を検出する場合に顕著となる。すなわち、撮像装置を屋外に設置した場合、屋内に設置した場合と比べて雨や埃等の外部環境の影響を受け易くなり、撮像画像にノイズ画素が取り込まれる可能性が高くなるからである。例えば、雨粒の位置は時々刻々と変化するため、雨粒の移動速度と撮像装置のフレームレートとの関係によって、撮像画像には雨粒の移動軌跡が線状の軌跡となって残ることがある。特に、雨の降る夜間に撮像を行った場合、雨によって強く反射された照明光が撮像画像中に写し込まれるのでノイズ画素がより明瞭となる。この軌跡は、背景画像との差分画像に比較的大きな領域を占めるノイズ画素として残り、その軌跡の位置は時々刻々と変化するため、これを侵入者であると誤って判定してしまう可能性がある。

撮像画像からノイズ画素を除去する方法としては、（１）所定の範囲の画像領域において注目画素と同じ画素値を有する画素数を計数し、その計数値が所定の閾値以下の場合にノイズ画素と判別して除去する方法や、（２）連結する所定の強度以上の画素を纏めて１つのグループとしてラベリングし、同一のグループとしてラベリングされた画素数が所定閾値以下の場合にノイズ画素として判別して除去する方法等が開示されている（特許文献１等）。

また、雨粒のように軌跡として残るノイズ画素の場合、雨粒の軌跡を直線と仮定して、（３）この直線をハフ（Ｈｏｕｇｈ）変換を用いて検出して除去する方法や、（４）上記のように同一のグループとしてラベリングされた画像領域の長さと幅の比を算出し、この比に基づいて直線を検出して除去する方法や、（５）周波数解析により高周波成分を除去する方法等が知られている。

特開平６−８３９５３号公報

しかしながら、上記（１）の方法では、複数の画素に亘ってノイズ画素が発生した場合や注目画素の近傍にノイズ画素が多く存在する場合には効果的にノイズ画素を除去することができない。また、上記（２）の方法では、各画素をグループに纏めてラベリングする処理が複雑であるため、処理時間が長くなり、処理コストが増大してしまう問題がある。

また、雨粒等は実際には必ずしも直線状に写し込まれるとは限らず、風等の影響を受けて曲線状の軌跡となることが多い。従って、上記（３）〜（５）のようにノイズの直線性を利用した方法では、確実にノイズ画素を除去することが困難である。さらに、上記（３）の方法では、ハフ変換を行うための処理時間が長くなる。特に、雨等によるノイズ画素を除去するためには、１つ１つの軌跡に対してハフ変換を行う必要があるため、撮像画像に写った軌跡が多くなると処理時間が莫大となる問題がある。また、上記（５）の方法では、雨の軌跡等の形状的な特徴を利用してノイズ画素を除去するものではないので、他の領域のエッジが不明瞭になったり、必要な画像が削除されたりする可能性がある。

本発明は、上記従来技術の問題を鑑み、複雑な処理を必要とすることなく、画像に含まれるノイズ成分を除去することができる画像処理装置及び画像処理方法を提供し、より確実に侵入者を検出することができる侵入者検出装置を提供することを目的とする。

本発明は、撮像時刻が異なる複数の入力画像の少なくとも１つに含まれるノイズを除去する画像処理装置であって、処理対象画像を取得する画像取得手段と、前記処理対象画像を所定の分割条件に基づいて複数の分割画像に分割する画像分割手段と、複数の前記処理対象画像から得られた各分割画像を前記分割条件に応じて組み合わせて合成画像を構成する画像合成手段と、前記合成画像を用いてノイズを除去するノイズ除去手段とを備えることを特徴とする。

また、本発明の別の態様は、撮像時刻が異なる複数の画像に含まれるノイズを除去する画像処理プログラムであって、コンピュータを、処理対象画像を取得する画像取得手段と、前記処理対象画像の各々を所定の分割条件に基づいて複数の分割画像に分割する画像分割手段と、複数の前記処理対象画像の各分割画像を前記分割条件に応じて組み合わせて合成画像を構成する画像合成手段と、前記合成画像を用いてノイズを除去するノイズ除去手段とを備える画像処理装置として機能させることを特徴とする。

このとき、前記画像合成手段は、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することが好ましい。より具体的には、前記処理対象画像が第１の方向と当該第１の方向と異なる第２の方向に配列された画素によって構成される場合に、前記画像分割手段は、前記第１の方向に配列された画素群を１つの分割画像として、前記第２の方向に沿って複数の分割画像を生成し、前記画像合成手段は、前記第２の方向に沿って、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することが好ましい。

このように、複数の画像において互いに対応する分割画像を隣接させて合成画像を構成することによって、複数の画像に対する撮像間隔において撮像画面から外れてしまうほどの速度で移動する物体や撮像画面において全く異なる位置に撮影されるほどの速度で移動する物体によって生ずるノイズを除去することができる。また、時間に対してランダムに発生するノイズ、例えば電気的なノイズ等も除去することができる。

また、前記ノイズ除去手段にてノイズが除去された合成画像を、前記所定の分割条件に対応する分離条件に基づいて複数の画像に分離する画像分離手段を含んでも良い。これにより、元の撮像画像と同等のサイズを有するノイズ除去された画像を得ることができる。

また、前記処理対象画像が前記入力画像と所定の基準画像との相違領域を示す差分画像である場合に、前記ノイズ除去手段は、所定の閾値以上の特性値を有する孤立領域をノイズとして除去することが好ましい。例えば、前記複数の画像が多値画像であれば、孤立領域の除去を行うためにメディアンフィルタを用いることができる。また、前記差分画像を２値化し、多数決フィルタ等を用いて孤立領域を除去することも好ましい。

以上のような画像処理装置を備えることによって、侵入者を検知する侵入者検出装置を構成することもできる。このとき、前記複数の画像に対する撮像時刻の間隔が侵入者の移動を前記判定対象領域として抽出できる時間よりも短い時間であることが好ましい。すなわち、複数の画像に対する撮像間隔が、侵入者が撮像領域を走り抜けたときに撮像画面から外れてしまうほど長い間隔や、撮像画面において全く異なる位置に撮影されるほどの長い間隔であったときには侵入者がノイズとして除去されることになり、これを防ぐためである。

このとき、上記本発明の画像処理装置を備え、前記ノイズ除去手段においてノイズが除去された画像に含まれる前記相違領域を判定対象領域として抽出する領域抽出手段と、前記判定対象領域の形状及び大きさの少なくとも１つに基づいて前記判定対象領域が侵入者によるものであるか否かを判定する判定手段とを含むことにより侵入者を検出することができる。

また、上記本発明の画像処理プログラムを含み、コンピュータを、前記ノイズ除去手段においてノイズが除去された画像に含まれる前記相違領域を判定対象領域として抽出する領域抽出手段と、前記判定対象領域の形状及び大きさの少なくとも１つに基づいて前記判定対象領域が侵入者によるものであるか否かを判定する判定手段とを含む侵入者検出装置として機能させる侵入者検出プログラムにより侵入者を検出することができる。

また、本発明の別の態様は、撮像時刻が異なる複数の画像の少なくとも１つに含まれるノイズを除去する画像処理方法であって、処理対象画像を取得する画像取得工程と、前記処理対象画像を所定の分割条件に基づいて複数の分割画像に分割する画像分割工程と、複数の前記処理対象画像の各分割画像を前記分割条件に応じて組み合わせて合成画像を構成する画像合成工程と、前記合成画像を用いてノイズを除去するノイズ除去工程とを備えることを特徴とする。

上記本発明の画像処理装置と同様に、前記画像合成工程では、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することが好ましい。より具体的には、前記処理対象画像が第１の方向と当該第１の方向と異なる第２の方向に配列された画素によって構成される場合に、前記画像分割工程では、前記第１の方向に配列された画素群を１つの分割画像として、前記第２の方向に沿って複数の分割画像を生成し、前記画像合成工程では、前記第２の方向に沿って、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することが好ましい。

また、前記ノイズ除去工程においてノイズが除去された合成画像を、複数の画像に分離する画像分離工程を含むことも好ましい。さらに、前記複数の画像の各々が所定の基準画像との相違領域を示す差分画像である場合に、前記ノイズ除去工程は、所定の閾値以上の特性値を有する孤立領域をノイズとして除去することも好ましい。

また、これらの画像処理方法を含み、前記複数の画像に基づいて侵入者を検知する侵入者検出方法では、前記複数の画像に対する撮像時刻の間隔が侵入者の移動を前記判定対象領域として抽出できる時間よりも短い時間であることが好ましい。

ここで、上記本発明の画像処理方法を含み、前記ノイズ除去工程においてノイズが除去された画像に含まれる前記相違領域を判定対象領域として抽出する領域抽出工程と、前記判定対象領域の形状及び大きさの少なくとも１つに基づいて前記判定対象領域が侵入者によるものであるか否かを判定する判定工程と、を含むことによって侵入者を検出することができる。

本発明によれば、複雑な処理を必要とすることなく、画像に含まれるノイズ成分を除去することができる。これにより、侵入者をより確実に検出することができる。

本発明の実施の形態における侵入者検出装置１００は、図１に示すように、撮像装置１０、画像入力インターフェース（Ｉ／Ｆ）１２、画像処理部１４、記憶部１６及びアラーム出力部１８を含んで構成される。侵入者検出装置１００は、一般的なコンピュータを含む装置として実現することができる。

撮像装置１０は、画像センサやカメラなどの撮像手段を含んで構成される。撮像装置１０は、光学的な映像を電気的な画像信号に変換して画像入力Ｉ／Ｆ１２へ出力する。本実施の形態では、撮像装置１０では時間間隔ΔＴで１フレームの画像が撮像されて画像入力Ｉ／Ｆ１２へ入力されているものとする。画像入力Ｉ／Ｆ１２は、撮像装置１０から画像信号を受けて、その画像信号に対して増幅、フィルタ処理、デジタル化処理等の前段処理を行った後に画像処理部１４に受け渡す機能を有する。本実施の形態では、離散的な画素にデジタル化された撮像画像が画像処理部１４に入力されるものとする。画像処理部１４は、ＣＰＵ等を含むコンピュータの処理機能を有し、デジタル化された撮像画像を受けて、背景差分処理、２値化処理、ノイズ除去処理、侵入者判定処理等の各種処理のいずれかを組み合わせて行う。これらの処理については後述する。記憶部１６は、撮像画像、基準画像となる背景画像、各種処理において中間生成される差分画像、合成画像等の画像データ、各種処理に使用される設定値、画像処理部１４で実行されるプログラム等を格納及び保持する。アラーム出力部１８は、画像処理部１４の侵入者判定処理において撮像画像に侵入者の画像が撮像されていると判定された場合に外部にアラーム信号を出力する。

画像処理部１４における画像処理方法は、図２に示すようなフローチャートに沿って行われる。この画像処理方法のフローチャートの各工程をコンピュータで実行可能なプログラムとして記憶部１６に保持しておき、その画像処理プログラムを画像処理部１４において実行することによって処理を行うことができる。

ステップＳ１０では、カウンタＴの値が１に初期化される。カウンタＴは、撮像画像を特定するために用いられる。撮像画像には、時間間隔ΔＴで撮像された順にそれぞれ０，１，２・・・と番号が割り付けられ、その番号によって特定される。

ステップＳ１２では、画像処理部１４が処理対象となる撮像画像を取得する。画像は撮像部１０及び画像入力Ｉ／Ｆ１２から直接取得しても良いし、記憶部１６に一旦格納された撮像画像を取得しても良い。このステップで取得された撮像画像がカウンタＴ＝１で特定される画像となる。

ステップＳ１４では、背景差分処理が行われる。画像処理部１４は、記憶部１６に予め格納及び保持されている背景画像を読み出し、カウンタＴ（＝１）で特定される撮像画像と背景画像との差分画像を抽出する。背景画像は、撮像画像から時々刻々と変化する領域を抽出するために基準となる画像であり、撮像装置において背景を撮像した画像である。

ステップＳ１６では、２値化処理が行われる。画像処理部１４は、カウンタＴ（＝１）で特定される撮像画像から抽出された差分画像に対して、各画素の所定の特徴量が所定の閾値以上であるか否かに基づいて、特徴量が閾値以上の画素（有効画素）を“１”とし、特徴量が閾値より低い画素（無効画素）を“０”として２値化する。所定の特徴量としては、例えば、輝度、明度、彩度、色差が挙げられる。図３に２値化処理された差分画像２０を例示する。図３では、有効画素が黒い画素、無効画素が白い画素として表示されている。差分画像２０には、侵入者の画像２２と雨粒の軌跡等のノイズ画像２４とが含まれている。

ステップＳ１８では、２値化された差分画像に対して分割画像の切り出しが行われる。画像処理部１４は、所定の分割条件に基づいて２値化された差分画像を複数の分割画像に分割する。画像が、第１の方向と当該第１の方向と異なる第２の方向に配列された画素によって構成される場合には、第１の方向に配列された画素群を１つの分割画像として、第２の方向に沿って複数の分割画像を生成する。生成された分割画像は、カウンタＴで特定される撮像画像に対する分割画像として記憶部１６に格納及び保持される。

例えば、図３のように、第１の方向、すなわち水平方向と、第１の方向に直交する第２の方向、すなわち垂直方向にそれぞれ１２画素×１４画素だけ配列された画像に対しては、図４に示すように、垂直方向に１画素分の水平ラインを纏めて１つの分割画像とすることによって１４の分割画像を生成することができる。ここでは、説明を理解し易くするためにそれぞれの分割画像をｂ１〜ｂ１４にラベリングして示す。

なお、本発明は、これに限定されるものではなく、第１の方向と第２の方向が必ずしも互いに直交するものでなくても良いし、複数の画素分のラインを纏めて１つの分割画像としても良い。

ステップＳ２０では、カウンタＴ−１（＝０）の番号が割り当てられた撮像画像に対する分割画像が記憶部１６から読み出される。カウンタＴ−１の番号が割り当てられた撮像画像は、カウンタＴで特定される撮像画像よりも時刻ΔＴだけ前に撮影されたものである。

図５に、カウンタＴ−１の番号が割り当てられた撮像画像に対する差分画像２６を示す。差分画像２６には、カウンタＴで特定される撮像画像よりも時間ΔＴだけ前に撮影された侵入者の画像２２が含まれているが、カウンタＴで特定される撮像画像に存在する雨粒の軌跡等のノイズ画像は、時間ΔＴが経過する間に移動しているため、同じ位置には現れない。また、図６に、カウンタＴ−１の番号が割り当てられた撮像画像に対する分割画像を示す。ここでは、説明を理解し易くするためにそれぞれの分割画像をａ１〜ａ１４にラベリングして示す。これらの画像は、カウンタＴ−１の番号が割り当てられた撮像画像に対してノイズ除去処理を行った際に、上記ステップＳ１４〜Ｓ１８の処理を行うことによって予め求めておくことができる。

ステップＳ２２では、カウンタＴ及びＴ−１で特定される撮像画像に対する分割画像の合成が行われる。画像合成は、第２の方向に沿って、互いに対応する分割画像を隣接させて構成される。

例えば、図４及び図６に示すようにカウンタＴ及びＴ−１で特定される撮像画像に対して１画素分の水平ラインを分割画像ｂ１〜ｂ１４及び分割画像ａ１〜ａ１４とした場合、図７に示すように、（ａ）互いに対応する分割画像ａ１とｂ１、ａ２とｂ２、・・・と交互に隣接させて、（ｂ）合成画像２８を構成する。この場合、合成画像２８の垂直方向のサイズは元の撮像画像の２倍となる。

ステップＳ２４では、合成画像を利用してノイズ除去処理が行われる。合成画像では、撮像のフレームレート（撮像間隔）で撮像画面から外れてしまうほどの速度で移動する物体や撮像画面において全く異なる位置に撮影されるほどの速度で移動する物体によって生ずるノイズは孤立領域に分断される。本実施の形態では、このようにノイズが時間的に突発性を有して現れることを利用して孤立領域を除去することによってノイズの除去を行う。

ノイズの除去には、例えば、多数決フィルタを用いることができる。多数決フィルタは、図８に示すように、注目画素（ｘ_p，ｙ_p）を中心とした所定の近傍領域について、この近傍領域内の有効画素（２値化された“１”の画素）の画素数を数える。そして、有効画素の画素数が近傍領域内の総画素数の半数以上であった場合には、ノイズ除去処理後の注目画素（ｘ_p，ｙ_p）の値を“１”に設定する。一方、有効画素の画素数が近傍領域内の総画素数の半数より少ない場合には、ノイズ除去処理後の注目画素（ｘ_p，ｙ_p）の値を“０”に設定する。これを合成画像の総ての画素について行うことによって孤立領域を除去することができる。

例えば、図８のように、注目画素（ｘ_p，ｙ_p）を中心として５画素×５画素の領域を近傍領域３０とした場合、注目画素（ｘ_p，ｙ_p）の近傍領域３０内の総画素数は２５画素であり、この近傍領域３０内において“１”の画素数が１３以上であればノイズ除去後の合成画像における注目画素（ｘ_p，ｙ_p）を“１”とし、この近傍領域３０内において“１”の画素数が１２以下であればノイズ除去後の合成画像における注目画素（ｘ_p，ｙ_p）を“０”とする。この方法を用いれば、複数の画素が集合した孤立領域もノイズとして除去することができる。すなわち、より大きな面積を有するノイズ成分も近傍領域の設定に応じて除去することが可能となる。

例えば、図７の合成画像２８を３画素×３画素の近傍領域の多数決フィルタで処理すると、図９に示すようにノイズ成分が除去された合成画像３２を得ることができる。本実施の形態では、多数決フィルタのような極めて簡単なノイズ除去の方法を用いることができる。

ステップＳ２６では、ノイズ除去後の合成画像が分割される。画像処理部１４は、ノイズ除去後の合成画像から元の撮像画像と同等のサイズの画像を生成するために、第２の方向にそってノイズ除去後の合成画像をステップＳ１８において撮像画像に対して行った分割と等しい大きさの分割画像に分割する。

例えば、図９に示したノイズ除去後の合成画像３２は、図１０に示すように１画素分の水平ライン毎に分割される。ここで、以下の説明を容易にするために、各分割画像を交互にｃ１〜ｃ１４及びｄ１〜ｄ１４とラベリングする。

ステップＳ２８では、分割画像が元の撮像画像のサイズの画像に合成される。画像処理部１４は、ステップＳ２６において分割されたノイズ除去後の合成画像の分割画像を結合し、ステップＳ２２で合成される前の画像に対応する画像に再構成する。

例えば、図１０で示した１画素分の水平ライン毎に分割された分割画像ｃ１〜ｃ１４及びｄ１〜ｄ１４を、図１１に示すように、それぞれ分割画像ｃ１〜ｃ１４の組み合わせからなる画像３４及び分割画像ｄ１〜ｄ１４の組み合わせからなる画像３６を構成する。画像３４がカウンタＴ−１で特定される撮像画像に対応する画像であり、画像３６がカウンタＴで特定される撮像画像に対応するノイズ除去後の画像である。

なお、本実施の形態ではノイズ除去後の合成画像から元の撮像画像のサイズの画像を再現したが、以下の処理においてノイズ除去後の合成画像をそのまま、若しくは第２の方向へ圧縮して用いても構わない。この場合、ステップＳ２６及びＳ２８の処理は不要となる。

ステップＳ３０では、再構成されたカウンタＴで特定される撮像画像のノイズ除去後の画像及び分割画像が記憶部１６に格納される。例えば、図１０及び図１１の例では、分割画像ｄ１〜ｄ１４及びカウンタＴで特定される撮像画像に対応するノイズ除去後の画像３６が記憶部１６に格納及び保持される。次回のカウンタＴ＋１（＝２）の撮像画像に対するノイズ除去処理では、ステップＳ２０においてこの分割画像ｄ１〜ｄ１４又は画像３６を読み出して処理を行うことができる。ここで、一定の周期毎に、記憶部１６に格納されたノイズ除去後の画像で基準となる背景画像を更新するようにしても良い。これにより、ノイズのない画像を背景画像にでき、後の判定処理にも有効に働く。

ステップＳ３２では、侵入者判定処理が行われる。画像処理部１４は、カウンタＴで特定される撮像画像に対応するノイズ除去後の画像内に残っている有効画素の形状、大きさ、移動速度等の特徴量に基づいて侵入者の画像であるか否かを判定する。侵入者の判定処理は、特に限定されるものではなく、従来の判定処理を用いることができる。

例えば、図１１に示したカウンタＴの撮像画像に対応するノイズ除去後の画像３６において、連続する有効画素を有する領域に対してそれぞれラベル番号を付し、ラベル番号毎に対応する領域に含まれる有効画素数を求め、その有効画素数が所定の閾値以上であれば侵入者であると判定することができる。

また、カウンタＴの撮像画像に対応するノイズ除去後の画像とそれ以前に撮影された撮像画像に対応するノイズ除去後の画像とにおける有効画素領域の移動を検出し、これに基づいて侵入者を判定することもできる。

ステップＳ３４では、ステップＳ３２で侵入者が画像内に撮像されているか否かを判定する。侵入者が撮像されていなかった場合にはステップＳ３６に処理を移行させ、侵入者が撮像されていた場合にはステップＳ３８に処理を移行させる。

ステップＳ３６では、カウンタＴの値が１だけ増加され、処理がステップＳ１２に戻される。これによって、次の撮像画像のフレームについてノイズ除去処理及び侵入者検出処理が繰り返される。ステップＳ３８では、侵入者と判定された場合にアラームが発せられる。アラーム出力部１８を介して画像処理部１４からアラーム信号が送出される。

上記実施の形態では、図３に示すように、第２の方向（垂直方向）に完全に沿った直線のノイズに対する処理を説明したが、図１２に示すように、ノイズが第１の方向又は第２の方向に完全に一致していない場合や曲線を描いている場合にも同様にノイズを除去することができる。例えば、図１２に示すように第１及び第２の方向（水平方向及び垂直方向）のいずれにも平行でないノイズ画像を含む２値画像に対して本実施の形態における処理を適用すると、図１３のような合成画像が得られる。この合成画像から孤立画素を除くフィルタ処理を行うことによってノイズを除去することができる。

本実施の形態では、カウンタＴ−１に対応するノイズ除去後の画像とカウンタＴに対応するノイズ除去前の撮像画像とを用いて合成画像を構成し、その合成画像を用いてカウンタＴに対応する撮像画像のノイズ除去処理を行っている。この他にも、カウンタＴ−１に対応するノイズ除去前の撮像画像とカウンタＴに対応するノイズ除去前の撮像画像とを用いて合成画像を構成し、その合成画像を用いてカウンタＴ−１及びＴに対応する画像のノイズ除去処理を同時に行っても良い。このとき、続いてステップＳ３６でＴ＝Ｔ＋２として、カウンタＴ＋２とＴ＋１に対応する撮像画像のノイズ除去処理を行うことで、ノイズ除去処理の回数を半減することができる。

さらに、ノイズ除去に用いられる画像間の撮像の時間間隔は特に限定されるものではなく、フレームレートと除去対象とするノイズの発生源の移動速度又は検知しようとする侵入者の予想移動速度との関係に応じて撮像された幾つかの画像フレームを飛ばしてノイズ除去処理を行うことも好適である。すなわち、合成する画像間においてノイズ画像が撮像画面から外れる又は撮像画面において全く異なる位置に撮影され、侵入者の画像はノイズとして除去されずに侵入者として検知できる程度の撮像間隔で撮像されたフレームを組み合わせて合成することによって、ノイズ除去と侵入者検知を適切に達成することができる。例えば、カウンタＴに対応する画像とカウンタＴ−３に対応する画像とを用いて合成画像を生成し、その合成画像に基づいてノイズ除去を行うこともできる。これによって、雨等によるノイズの位置が大きく変化しないほど撮像のフレームレートが高い場合にノイズを有効に除去することができる。

また、上記実施の形態と逆に第１の方向に沿って連続するノイズを除去する場合には、第２の方向に配列された画素群を１つの分割画像として第１の方向に沿って複数の分割画像を生成し、このように分割された分割画像を用いて合成画像を構成することによってノイズを除去することができる。例えば、図３のように、水平方向と垂直方向にそれぞれ１２画素×１４画素だけ配列された画像に対しては、１画素分の垂直ラインを纏めて１つの分割画像とすることによって水平方向に１２の分割画像を生成することによって水平方向に伸びるノイズを有効に除去することができる。この処理を上記実施の形態と組み合わせて用いることで、あらゆる方向に連続するノイズを効果的に除去することができる。

さらに、分割方向を第１の方向及び第２の方向の両方向に拡張することもできる。例えば、図１４に示すように、カウンタＴ−３〜Ｔまでの４フレームの画像４０，４２，４４，４６を用いて、各画像において互いに対応する画素が隣接するようにモザイク状に画素を組み合わせて合成画像４８を生成し、その合成画像４８に対してフィルタを適用することによってノイズを除去することもできる。図１４の合成画像４８では、カウンタＴ−２の各画素に対応するカウンタＴ−３，Ｔ−１及びＴの画素をカウンタＴ−２の画素の位置を左上としてそれぞれ左下、右上及び右下に配置されるように組み合わせている。このように、分割方向を多方向に拡張することによって、複数フレームのノイズ除去を同時に行えると共に、雪等によって発生する比較的広い領域に広がったノイズを有効に除去することができる。また、ステップＳ２２の画像合成において、分割画像ａ₁，ｂ₂，ａ₃，ｂ₄，・・・と交互に隣接させて合成しても良い。これにより、元の画像サイズに戻すためのステップＳ２６及びＳ２８の処理を省略することができる。

また、上記実施の形態では、撮像画像を予め２値化した後にノイズ除去処理を行ったが、多値画像を用いてノイズ除去処理を行った後に２値化することも可能である。例えば、図１５のフローチャートに示すように、ステップＳ１４の背景差分処理の後に２値化処理を行うことなく分割画像を生成し（ステップＳ４０）、その分割画像を用いて合成画像を構成する（ステップＳ２２）。その後、多値画像である合成画像に含まれる孤立領域をフィルタ処理によって除去する（ステップＳ４２）。このとき、これに限定されるものではないが、例えば、多値画像に対するフィルタとしてメディアンフィルタを用いることができる。メディアンフィルタは、フィルタリングの対象となる注目画素の周囲に所定の対象領域を設定し、その対象領域内における総ての画素の値を順に並べなおし（ソート）、その中間値をフィルタ処理後の注目画素の値とするものである。例えば、（ａ）３画素×３画素の対象領域の中心画素を注目画素とすると、（ｂ）対象領域内における総ての画素の値を昇順に“１，１，１，２，２，３，３，４，５”と並べ、（ｃ）その中心値である２をフィルタ処理後の注目画素の値とする。このように多値画像に対してフィルタリングによるノイズ除去を行った後に、合成画像の分割・結合（ステップＳ２６，Ｓ２８）、２値化処理（ステップＳ１６）及び侵入者判定処理（ステップＳ３２）を行う。

以上のように、本発明によれば、画像中から直線形状等のノイズの特徴を直接検出することなく、従来からの簡単なフィルタ処理によって孤立領域を取り除くことによって効果的にノイズを除去することができる。そのため、ノイズの形状等を調査する必要がなくなり、処理時間を短縮化することができる。また、従来のフィルタ処理をそのまま適用できるため装置を簡略化することができ、コストを低減することもできる。

また、ハフ（Ｈｏｕｇｈ）変換のような“直線性”等のノイズの形状の特徴を利用していないため、雨や雪等のように降り方によっては曲線として残るノイズに対しても有効である。また、撮像のフレームレートが高く、雨や雪が点状のノイズとして残った場合においてもノイズを除去することができる。

さらに、本発明はノイズの時間的な突発性、すなわち複数のフレーム間におけるノイズの変化の速さを利用してノイズ除去を行うため、ノイズに類似した形状を有する物体が撮影された場合においてもそれをノイズとして誤って除去することがなくなる。

その結果、複雑な処理を必要とすることなく、画像に含まれるノイズ成分を適切に除去することができ、侵入者をより確実に検出することができる。

本発明の実施の形態における侵入者検出装置を示すブロック図である。本発明の実施の形態における侵入者検出方法のフローチャートを示す図である。本発明の実施の形態における撮像画像の２値化画像の例を示す図である。本発明の実施の形態における画像の分割化を説明する図である。本発明の実施の形態における撮像画像の２値化画像の例を示す図である。本発明の実施の形態における画像の分割化を説明する図である。本発明の実施の形態における合成画像の例を示す図である。本発明の実施の形態における多数決フィルタの処理を説明する図である。本発明の実施の形態におけるノイズ除去後の合成画像の例を示す図である。本発明の実施の形態における合成画像の分割処理を説明する図である。本発明の実施の形態における撮像画像のサイズに再構成されたノイズ除去後の画像の例を示す図である。本発明の実施の形態における斜めにノイズが残った画像の例を示す図である。図１２における画像を合成画像とした例を示す図である。本発明の実施の形態における合成画像の構成の拡張を説明する図である。本発明の実施の形態における多値画像に対するノイズ除去処理を行う侵入者検出方法のフローチャートを示す図である。

符号の説明

１０撮像装置、１２画像入力インターフェース、１４画像処理部、１６記憶部、１８アラーム出力部、２０差分画像、２２侵入者の画像、２４ノイズ画像、２６差分画像、２８合成画像、３０近傍領域、３２ノイズ除去後の合成画像、３４，３６分割画像の組み合わせからなる画像、４０，４２，４４，４６合成前の画像、４８合成画像、１００侵入者検出装置。

Claims

撮像時刻が異なる複数の入力画像の少なくとも１つに含まれるノイズを除去する画像処理装置であって、
処理対象画像を取得する画像取得手段と、
前記処理対象画像を所定の分割条件に基づいて複数の分割画像に分割する画像分割手段と、
複数の前記処理対象画像から得られた各分割画像を前記分割条件に応じて組み合わせて合成画像を構成する画像合成手段と、
前記合成画像を用いてノイズを除去するノイズ除去手段と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像合成手段は、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記処理対象画像が第１の方向と当該第１の方向と異なる第２の方向に配列された画素によって構成される場合に、
前記画像分割手段は、前記第１の方向に配列された画素群を１つの分割画像として、前記第２の方向に沿って複数の分割画像を生成し、
前記画像合成手段は、前記第２の方向に沿って、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することを特徴とする画像処理装置。
請求項１〜３のいずれか１つに記載の画像処理装置において、
前記ノイズ除去手段にてノイズが除去された合成画像を、前記所定の分割条件に対応する分離条件に基づいて複数の画像に分離する画像分離手段を含むことを特徴とする画像処理装置。
請求項１〜４のいずれか１つに記載の画像処理装置において、
前記処理対象画像が前記入力画像と所定の基準画像との相違領域を示す差分画像である場合に、
前記ノイズ除去手段は、所定の閾値以上の特性値を有する孤立領域をノイズとして除去することを特徴とする画像処理装置。
請求項５に記載の画像処理装置を備え、
前記ノイズ除去手段においてノイズが除去された画像に含まれる前記相違領域を判定対象領域として抽出する領域抽出手段と、
前記判定対象領域の形状及び大きさの少なくとも１つに基づいて前記判定対象領域が侵入者によるものであるか否かを判定する判定手段と、
を含むことを特徴とする侵入者検出装置。
請求項１〜６のいずれか１つに記載の画像処理装置を備え、前記処理対象画像に基づいて侵入者を検知する侵入者検出装置であって、
前記複数の処理対象画像の撮像時刻の間隔が侵入者の移動を前記判定対象領域として抽出できる時間よりも短い時間であることを特徴とする侵入者検出装置。
撮像時刻が異なる複数の画像の少なくとも１つに含まれるノイズを除去する画像処理方法であって、
処理対象画像を取得する画像取得工程と、
前記処理対象画像を所定の分割条件に基づいて複数の分割画像に分割する画像分割工程と、
複数の前記処理対象画像から得られた各分割画像を前記分割条件に応じて組み合わせて合成画像を構成する画像合成工程と、
前記合成画像を用いてノイズを除去するノイズ除去工程と、
を備えることを特徴とする画像処理方法。
請求項８に記載の画像処理方法において、
前記処理対象画像が第１の方向と当該第１の方向と異なる第２の方向に配列された画素によって構成される場合に、
前記画像分割工程では、前記第１の方向に配列された画素群を１つの分割画像として、
前記第２の方向に沿って複数の分割画像を生成し、
前記画像合成工程では、前記第２の方向に沿って、前記複数の処理対象画像の互いに対応する分割画像を隣接させて前記合成画像を構成することを特徴とする画像処理方法。