JP2015088027A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる技術を提供する。【解決手段】画像処理部４は、対象エリアの背景画像をメモリ４ａに記憶する。画像処理部４は、画像入力部３に入力された対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出し、検出したオブジェクトが対象エリア内で停止している停止オブジェクトであるかどうかを判定する。また、画像処理部４は、停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる停止オブジェクト画像をメモリ４ａに記憶する。画像処理部４は、メモリ４ａに記憶する背景画像、および停止オブジェクト画像を用い、画像入力部３に入力されたフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。【選択図】図１

Description

この発明は、ビデオカメラ等の撮像装置で撮像した対象エリアの動画像を処理して、撮像されているオブジェクトを検出する技術に関する。

従来、ビデオカメラ等の撮像装置を利用して、不審者の侵入や、不審物の放置を監視する監視システムが実用化されている。この監視システムは、撮像装置で撮像した監視対象エリア（撮像装置の撮像エリア）のフレーム画像を時系列に処理し、撮像されているオブジェクト（不審者や不審物等）を検出し、追跡する処理を行う画像処理装置を備えている。上位装置は、画像処理装置におけるオブジェクトの検出結果に応じて、オブジェクトの検出や、追跡結果を係員に対して報知する処理や、検出したオブジェクトが撮像されているフレーム画像を表示器に表示する処理等を行う。

画像処理装置は、例えば、監視対象エリアの背景画像を記憶している。画像処理装置は、監視対象エリアを撮像したフレーム画像の画素毎に、その画素が背景を撮像している背景画素であるか、背景でないオブジェクト（物体）を撮像している前景画素であるかを判定した２値化画像（背景差分画像）を生成し、このフレーム画像に撮像されているオブジェクト（前景画素の塊）を検出する。

また、画像処理装置は、上述した背景差分画像の生成に用いる背景画像を、監視対象エリア内の明るさ等の環境変化に対応させるために、撮像装置が撮像しているフレーム画像（オブジェクトの検出にかかる処理を行ったフレーム画像）を用いて更新している。このため、オブジェクトが監視対象エリア内である程度の時間停止すると、このオブジェクトが背景画像に取り込まれ、その結果、背景画像に取り込まれたオブジェクトが検出できない見逃しが発生することがある。また、この背景に取り込まれたオブジェクトが移動を開始すると、このオブジェクトによって隠れていた背景（撮像されていなかった背景）をオブジェクトとして誤検出することもある。

そこで、監視対象エリア内で一時的に停止したオブジェクトの見逃しや、このオブジェクトが動きだしたときに背景をオブジェクトとして誤検出するのを防止するために、背景画像に加えて、時系列的な背景情報を用いることが提案されている（特許文献１参照）。この時系列的な背景情報は、監視対象エリアを撮像したフレーム画像において、時間的な変化が少ない静止領域の画像情報である。

特許第５１１５５５６号公報

しかしながら、特許文献１は、停止しているオブジェクトに対して、別のオブジェクトが重なって停止すると、重なって停止している複数のオブジェクトにかかる領域を１つの静止領域として検出するので、いずれかのオブジェクトが移動すると、停止状態を継続している他のオブジェクトが、複数に分離することがある。具体的には、移動したオブジェクトによって隠れていた部分（停止状態を継続している他のオブジェクトの一部）が、この停止状態を継続している他のオブジェクトの一部として検出されずに、別のオブジェクトとして誤検出されることがある。

この発明の目的は、動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる技術を提供することにある。

この発明の画像処理装置は、上記目的を達するために、以下のように構成している。

背景画像記憶部は、対象エリアの背景画像を記憶する。画像入力部には、対象エリアを、ビデオカメラ等の撮像装置で撮像した動画像にかかるフレーム画像が入力される。

オブジェクト検出部は、画像入力部に入力された対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。オブジェクト種別判定部は、オブジェクト検出部が検出したオブジェクトについて、このオブジェクトが対象エリア内で停止している停止オブジェクトであるかどうかを判定する。停止オブジェクト画像記憶部は、オブジェクト種別判定部が停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として記憶する。

また、オブジェクト検出部は、背景画像記憶部が記憶する背景画像に加えて、停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、画像入力部に入力された対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。

このように、停止しているオブジェクト毎に、停止オブジェクト画像を記憶する構成としているので、重なって停止している複数のオブジェクトにおいて、いずれかのオブジェクトが移動しても、停止状態を継続している他のオブジェクトが、複数に分離されて検出されるのを防止できる。具体的には、移動したオブジェクトによって隠れていた部分（停止状態を継続している他のオブジェクトの一部）は、この停止状態を継続している他のオブジェクトにかかる停止オブジェクト画像によって、この他のオブジェクトの一部として検出できる。したがって、動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる。

また、オブジェクト検出部は、画像入力部に入力された対象エリアの動画像にかかるフレーム画像の画素毎に、その画素が、背景画像記憶部が記憶する背景画像、停止オブジェクト画像記憶部が記憶する停止オブジェクト画像、または、これら以外の画像のどれに相当するかを対応付けた分布画像を生成し、このフレーム画像に撮像されているオブジェクトを検出する構成にしてもよい。

これにより、対象エリア内で移動しているオブジェクト、および対象エリア内で停止しているオブジェクトを適正に検出することができる。

また、停止オブジェクト画像記憶部に停止オブジェクト画像が記憶されている停止オブジェクトが移動したかどうかを判定する移動判定部と、この移動判定部が移動したと判定した停止オブジェクトについて、停止オブジェクト画像記憶部に記憶されている停止オブジェクト画像を削除する停止オブジェクト画像削除部と、を追加的に設けてもよい。これにより、停止オブジェクト画像を無駄に記憶することがなく、また、停止オブジェクト画像を用いるオブジェクト検出部の処理負荷を抑えることができる。

また、背景画像記憶部は、対象エリアを複数に分割した領域毎に、その領域に属する画像入力部に入力された対象エリアの動画像にかかるフレーム画像の画素を対応づけた分割情報、および、画像入力部に入力された対象エリアの動画像にかかるフレーム画像の各画素について、その画素が属する領域の代表画素値を基準とした画素値の発生頻度をモデル化した背景モデル、を背景画像として記憶する構成としてもよい。

この場合、対象エリアを複数に分割した領域毎に、その領域内における、画像入力部に入力された対象エリアの動画像にかかるフレーム画像の背景画素の画素値の中央値を代表画素値とすればよい。また、各領域の代表画素値は、オブジェクトの検出にかかる処理を行ったフレーム画像を用いて更新すればよい。

この発明によれば、動画像にかかるフレーム画像に撮像されているオブジェクトを適正に検出することができる。

画像処理装置の主要部の構成を示すブロック図である。 監視対象エリアの背景画像を示す図である。 オブジェクトが撮像されているフレーム画像を示す図である。 オブジェクトが撮像されているフレーム画像を示す図である。 オブジェクトが撮像されているフレーム画像を示す図である。 オブジェクトが撮像されているフレーム画像を示す図である。 背景画像データ生成処理を示すフローチャートである。 フレーム画像の分割を示す図である。 背景モデルを示す図である。 画像処理装置の動作を示すフローチャートである。 分布画像を示す図である。 分布画像生成処理を示すフローチャートである。 種別判定処理を示すフローチャートである。 停止オブジェクト画像生成処理を示すフローチャートである。 移動オブジェクト判定処理を示すフローチャートである。 分布画像を示す図である。

以下、この発明の実施形態である画像処理装置について説明する。

図１は、この画像処理装置の主要部の構成を示すブロック図である。画像処理装置１は、制御部２と、画像入力部３と、画像処理部４と、入出力部５と、を備えている。

制御部２は、画像処理装置１本体各部の動作を制御する。

画像入力部３は、ビデオカメラ１０が撮像している動画像にかかるフレーム画像が入力される。ビデオカメラ１０は、不審者の侵入や、不審物の放置等を監視する監視対象エリア（この発明で言う対象エリアに相当する。）が撮像エリア内に収まるように設置している。ビデオカメラ１０は、監視対象エリアを撮像したフレーム画像を１秒間に数十フレーム（例えば、１０〜３０フレーム）出力する。

画像処理部４は、画像入力部３に入力された動画像にかかるフレーム画像を時系列に処理し、フレーム画像に撮像されているオブジェクトを検出するオブジェクト検出処理を行う。このオブジェクト検出処理の詳細については、後述する。また、画像処理部４は、後述する背景画像や、監視対象エリア内で停止しているオブジェクト（停止オブジェクト）の画像（停止オブジェクト画像）を記憶するメモリ４ａを有している。このメモリ４ａが、この発明で言う背景画像記憶部、および停止オブジェクト画像記憶部に相当する。メモリ４ａが記憶する背景画像、および停止オブジェクト画像の詳細については後述する。画像処理部４は、検出したオブジェクトについて、フレーム画像上の位置を検出し、フレーム画像間におけるオブジェクトの位置の変化から、このオブジェクトの移動軌跡を取得する追跡も行える。

なお、画像処理部４は、画像入力部３に入力されたフレーム画像に対する画像処理等を実行するマイコンを備えている。この発明にかかる画像処理プログラムは、このマイコンを動作させるプログラムである。また、このマイコンが、この発明にかかる画像処理方法を実行する。また、画像処理装置１全体、または画像処理装置１の一部（例えば、制御部２、および画像処理部４）を汎用コンピュータやパーソナルコンピュータで構成してもよいし、ボードコンピュータで画像処理装置１の一部（例えば、制御部２、および画像処理部４）を構成してもよい。この場合には、この発明にかかる画像処理プログラムは、これらのコンピュータを動作させる。また、これらのコンピュータが、この発明にかかる画像処理方法を実行する。

入出力部５は、図示していない上位装置との間におけるデータの入出力を制御する。入出力部５は、画像処理部４でオブジェクトが検出されたときに、その旨を上位装置（不図示）に通知する信号を出力する。入出力部５は、オブジェクトの検出を通知する信号を出力する構成であってもよいし、オブジェクトを検出したフレーム画像とともに、オブジェクトの検出を通知する信号を出力する構成であってもよいし、その他の形態であってもよい。

なお、上位装置は、画像処理装置１の入出力部５から出力された信号によって、監視対象エリア内に位置するオブジェクトの検出が通知されたときに、その旨を音声等で出力して、周辺にいる係員等に通知する構成であってもよいし、さらには、オブジェクトを検出したフレーム画像が送信されてきている場合に、そのフレーム画像を表示器に表示する構成であってもよい。

次に、この画像処理装置１におけるオブジェクト検出処理の概要について説明する。

画像処理装置１は、監視対象エリアの背景画像Ｌ１（図２参照）をメモリ４ａに記憶している。この背景画像は、第１階層である。

画像処理装置１は、画像処理部４が、メモリ４ａに記憶している背景画像を用いて、画像入力部３に入力された監視対象エリアを撮像したフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する。画像処理部４における、オブジェクトを検出する処理の詳細については、後述する。

画像処理部４は、図３（Ａ）に示すオブジェクトＡが撮像されているフレーム画像を処理し、このオブジェクトＡが監視対象エリア内で停止していると判定すると（オブジェクトＡが停止オブジェクトであると判定すると、）、このオブジェクトＡにかかる停止オブジェクト画像Ｌ２（図３（Ｂ）参照）をメモリ４ａに記憶する。

さらに、画像処理部４は、図４（Ａ）に示すオブジェクトＡ、Ｂが撮像されているフレーム画像を処理し、このオブジェクトＢが監視対象エリア内で停止していると判定すると（オブジェクトＢが停止オブジェクトであると判定すると、）、このオブジェクトＢにかかる停止オブジェクト画像Ｌ３（図４（Ｂ）参照）をメモリ４ａに記憶する。

ただし、図４に示す例は、オブジェクトＢが、オブジェクトＡよりもビデオカメラ１０に近い場合のフレーム画像である。すなわち、フレーム画像において、オブジェクトＡの上にオブジェクトＢが重なっている。

この例の画像処理装置１は、背景画像Ｌ１、および停止オブジェクト画像Ｌ２、Ｌ３・・・Ｌｎを階層として取り扱う。最下位の階層（第１階層）が、背景画像Ｌ１である。また、ビデオカメラ１０により近いオブジェクトにかかる停止オブジェクト画像ほど、上位の階層である。すなわち、この例では、背景画像Ｌ１が第１階層、停止オブジェクト画像Ｌ２が第２階層、停止オブジェクト画像Ｌ３が第３階層である。

また、詳細については後述するが、画像処理部４は、停止オブジェクト画像をメモリ４ａに記憶しているときは、背景画像Ｌ１に加えて、記憶している全ての停止オブジェクト画像Ｌ２〜Ｌｎを用いて、画像入力部３に入力された監視対象エリアを撮像したフレーム画像を処理し、撮像されているオブジェクトを検出する。

これにより、図５に示すように、画像入力部３に入力された監視対象エリアを撮像したフレーム画像に別のオブジェクトＣが撮像されているときには、このオブジェクトＣをオブジェクトＡ、Ｂと区別して検出できる。

また、画像処理部４は、図６（Ａ）に示すように、画像入力部３に入力された監視対象エリアを撮像したフレーム画像にオブジェクトＡが撮像されていないと、このオブジェクトＡにかかる停止オブジェクト画像Ｌ２をメモリ４ａから削除する。また、画像処理部４は、図６（Ｂ）に示すように、画像入力部３に入力された監視対象エリアを撮像したフレーム画像にオブジェクトＢが撮像されていないと、このオブジェクトＢにかかる停止オブジェクト画像Ｌ３をメモリ４ａから削除する。

ここで、メモリ４ａに記憶している背景画像Ｌ１について説明する。背景画像Ｌ１は、（１）対象エリアを複数に分割した領域毎に、その領域に属するフレーム画像の画素を対応づけた分割情報と、
（２）フレーム画像の各画素について、その画素が属する領域の代表画素値（この例では、代表輝度値）を基準とした画素値（輝度値）の発生頻度をモデル化した背景モデルと、で構成されるデータである。

画像処理部４は、画像入力部３に入力された、オブジェクトが撮像されていないフレーム画像（例えば、図２に示したフレーム画像）を処理して、背景画像Ｌ１にかかるデータを生成する。

図７は、背景画像データ生成処理を示すフローチャートである。画像処理部４は、画像入力部３に入力された、オブジェクトが撮像されていないフレーム画像を、予め定めた条件に基づいて複数の領域に分割する（ｓ１）。図８は、フレーム画像を複数の領域に分割した例を示している。図８において、破線で囲まれている部分が分割した領域である。

ｓ１では、輝度Ｙ、および色味（Ｕ，Ｖ）が類似し、且つ、比較的位置が近い画素が同じ領域（クラスタ）に属するように分割する。この場合、輝度Ｙ、および色味（Ｕ，Ｖ）にかかる類似度の閾値や、同じ領域に属する画素間の距離の最大値等を条件として設定している。

また、ｓ１では、輝度Ｙ、および色味（Ｕ，Ｖ）の時間的変化の傾向が類似し、且つ、比較的位置が近い画素が同じ領域に属するように分割してもよい。この場合には、輝度Ｙ、および色味（Ｕ，Ｖ）の時間的変化の傾向を得るために、複数のフレームの背景画像を用いる。また、輝度Ｙ、および色味（Ｕ，Ｖ）の時間的変化の傾向にかかる類似度の閾値や、同じ領域に属する画素間の距離の最大値等を条件として設定しておく。

画像処理部４は、ｓ１で分割した領域毎に、その領域に属するフレーム画像の画素を対応づけた分割情報を生成する（ｓ２）。フレーム画像の各画素は、いずれかの領域に属する。

画像処理部４は、フレーム画像の画素毎に背景モデルを算出する（ｓ３）。ｓ３では、ｓ１で分割した領域毎に、以下に示す処理を行う。

（１）処理対象の領域について代表輝度値を得る。代表輝度値とは、その領域に属する全ての画素の輝度値の中央値（出現頻度が最も高い輝度値）である。

（２）処理対象の領域に属する画素毎に、その画素の輝度値と、ここで算出した代表輝度値との差（代表輝度値−画素の輝度値）を中心とする予め定めた分布（例えば、ガウス分布）を、この対象画素の背景モデルとする。

図９は、ある画素の背景モデルを示す図である。図９に示す背景モデルは、代表輝度値との輝度値の差がＤであった画素について設定したものである。図９に示す閾値は、その画素が背景であるかどうかを判定する判定基準である。すなわち、各画素の背景モデルは、その画素が属する領域の代表輝度値を基準とした輝度値の発生頻度をモデル化したものである。

なお、背景モデルにかかる分布については、各画素に個別に設定してもよいし、全ての画素で同じに設定してもよい。

画像処理部４は、ｓ２で生成した分割情報、および、ｓ３で生成した各画素の背景モデルを背景画像Ｌ１にかかるデータとしてメモリ４ａに記憶する（ｓ４）。

また、メモリ４ａに記憶する停止オブジェクト画像Ｌｎも、上述した背景画像Ｌ１と同様に、
（１）停止オブジェクトを複数に分割した領域毎に、その領域に属するフレーム画像の画素を対応づけた分割情報と、
（２）停止オブジェクトにかかる各画素について、その画素が属する領域の代表輝度値を基準とした輝度値の発生頻度をモデル化した停止オブジェクトモデルと、で構成されるデータである。

なお、停止オブジェクト画像Ｌｎのデータには、フレーム画像において、停止オブジェクトを撮像していない画素についての分割情報、および停止オブジェクトモデルが含まれない。言い換えれば、停止オブジェクト画像Ｌｎのデータは、フレーム画像において、停止オブジェクトを撮像している画素の分割情報、および停止オブジェクトモデルで構成される。

停止オブジェクト画像Ｌｎの分割は、上述のｓ１と同様の手法で行う。また、各画素の停止オブジェクトモデルは、上述のｓ３と同様の手法で設定する。

次に、この画像処理装置１におけるフレーム画像の処理動作について説明する。まず、一連の処理動作の概略を説明し、その後で、いくつかの処理について詳細に説明する。図１０は、画像処理装置の動作を示すフローチャートである。

画像処理装置１は、画像入力部３に入力されたフレーム画像の中で、時間的にもっとも古い未処理のフレーム画像を処理対象のフレーム画像に決定する（ｓ１１）。

画像処理部４は、ｓ１１で決定した処理対象のフレーム画像について分布画像を生成する（ｓ１２）。この分布画像は、処理対象のフレーム画像の画素毎に、その画素が背景画像Ｌ１、その時点でメモリ４ａに記憶している停止オブジェクト画像Ｌ２〜Ｌｎ、または、これら以外の画像のどれに属するかを判定した画像である。メモリ４ａに複数の停止オブジェクト画像Ｌ２〜Ｌｎを記憶しているときには、どの停止オブジェクト画像Ｌ２〜Ｌｎにかかる画素であるかを判定している。

停止オブジェクト画像をメモリ４ａに記憶していない場合には、ｓ１２で生成される分布画像は、処理対象フレーム画像の画素毎に、その画素が背景画像Ｌ１に属する画素（Ｌ１）であるか、他のオブジェクトに属する画素（前景画素）であるかの２値画像になる。

また、図３（Ｂ）に示した停止オブジェクト画像Ｌ２をメモリ４ａに記憶している場合には、ｓ１２で生成される分布画像は、処理対象フレーム画像の画素毎に、その画素が背景画像Ｌ１に属する画素（Ｌ１）であるか、停止オブジェクト画像Ｌ２に属する画素（Ｌ２）であるか、他のオブジェクトに属する画素（前景画素）であるかの３値画像になる。

また、図３（Ｂ）に示した停止オブジェクト画像Ｌ２、および図４（Ｂ）に示した停止オブジェクト画像Ｌ３をメモリ４ａに記憶している場合には、ｓ１２で生成される分布画像は、処理対象フレーム画像の画素毎に、その画素が背景画像Ｌ１に属する画素（Ｌ１）であるか、オブジェクト画像Ｌ２に属する画素（Ｌ２）であるか、オブジェクト画像Ｌ３に属する画素（Ｌ３）であるか、他のオブジェクトに属する画素（前景画素）であるかの４値画像になる。

例えば、図３（Ｂ）に示した停止オブジェクト画像Ｌ２、および図４（Ｂ）に示した停止オブジェクト画像Ｌ３をメモリ４ａに記憶している場合において、処理対象フレーム画像が図５に示すフレーム画像である場合、図１１に示す分布画像が生成される。

画像処理部４は、ｓ１２で生成した分布画像を処理し、撮像されているオブジェクトを検出するオブジェクト検出処理を行う（ｓ１３）。ｓ１３では、ｓ１２で生成した分布画像において、前景画素と判定した画素の塊を１つのオブジェクトとして検出する。ｓ１３で検出されるオブジェクトは、１つであるとは限らない（複数検出されることもあれば、１つも検出されないこともある。）。図１１に示す例では、オブジェクトＣが検出される。このｓ１２、およびｓ１３にかかる処理が、この発明で言うオブジェクト検出部に相当する。また、処理対象のフレーム画像に撮像されているオブジェクトＡ、Ｂ（停止オブジェクト画像Ｌ２、Ｌ３にかかるオブジェクト）については、後述する処理で検出される。

画像処理部４は、ｓ１３で検出したオブジェクト毎に、そのオブジェクトが監視対象エリア内で停止している停止オブジェクトであるかどうかを判定する（ｓ１４）。ｓ１４では、予め定めた所定フレーム（例えば１０フレーム）にわたって、検出された位置がほとんど変化していないオブジェクトを停止オブジェクトであると判定する。上述したように、画像処理部４は、検出したオブジェクトを追跡しているので、このオブジェクトについて取得している移動軌跡から、ｓ１４にかかる判定が行える。このｓ１４にかかる処理が、この発明で言うオブジェクト種別判定部に相当する。

画像処理部４は、ｓ１４で停止オブジェクトであると判定したオブジェクトがあれば、そのオブジェクトについて停止オブジェクト画像Ｌｎを生成する（ｓ１５、ｓ１６）。ｓ１６では、複数のオブジェクトについて、停止オブジェクト画像Ｌｎを生成することもある。画像処理部４は、ｓ１６で生成した停止オブジェクト画像Ｌｎをメモリ４ａに記憶する。

画像処理部４は、移動した停止オブジェクトの有無を判定する（ｓ１７）。停止オブジェクトとは、停止オブジェクト画像Ｌｎをメモリ４ａに記憶しているオブジェクトである。ｓ１７では、停止オブジェクト毎に、その停止オブジェクトがメモリ４ａに記憶している位置にあるかどうかによって、判定する。このｓ１７にかかる処理が、この発明で言う移動判定部に相当する。

画像処理部４は、ｓ１７で移動したと判定した停止オブジェクトがあれば、その停止オブジェクトにかかる停止オブジェクト画像Ｌｎをメモリ４ａから削除する（ｓ１８）。このｓ１８にかかる処理が、この発明で言う停止オブジェクト画像削除部に相当する。

なお、ｓ１７にかかる処理で、停止状態を維持している停止オブジェクトを適正に検出できる。また、移動した停止オブジェクトについては、上述のｓ１３で検出される。

画像処理部４は、代表輝度値を更新し（ｓ１９）、ｓ１１に戻る。ｓ１９では、背景画像Ｌ１を分割した各領域の代表輝度値を更新するだけでなく、メモリ４ａに記憶している停止オブジェクト画像Ｌｎ毎に、その停止オブジェクト画像Ｌｎを分割した各領域の代表輝度値も更新する。具体的には、背景画像Ｌ１にかかる各領域の代表輝度値は、その領域において背景画素であると判定された画素の輝度値の中央値に更新する。同様に、停止オブジェクト画像Ｌｎにかかる各領域の代表輝度値は、その領域において停止オブジェクト画像Ｌｎであると判定された画素の輝度値の中央値に更新する。これにより、背景画像Ｌ１にかかる各画素の背景モデルや、停止オブジェクト画像Ｌｎにかかる各画素の停止オブジェクトモデルは、監視対象エリア内の明るさ等の環境変化に応じて変化する。言い換えれば、背景画像Ｌ１にかかる各画素の背景モデルや、停止オブジェクト画像Ｌｎにかかる各画素の停止オブジェクトモデルは、監視対象エリア内の明るさ等の環境変化に応じて更新される。

次に、上述したｓ１２にかかる分布画像生成処理について詳細に説明する。図１２は、この分布画像生成処理を示すフローチャートである。

画像処理部４は、最上位階層を取得する（ｓ２１）。ｓ２１で取得する最上位階層は、メモリ４ａに記憶している停止オブジェクト画像の中で最上位に位置する階層である（最も、ビデオカメラ１０側に位置する停止オブジェクトにかかる停止オブジェクト画像である。）。最上位階層は、図３に示す例では、停止オブジェクト画像Ｌ２であり、図４に示す例では、停止オブジェクト画像Ｌ３である。また、メモリ４ａに停止オブジェクト画像を１つも記憶していなければ、ｓ２１では、図２に示す背景画像Ｌ１を最上位階層として取得する。

画像処理部４は、処理対象のフレーム画像のいずれかの画素を判定対象画素に決定する（ｓ２２）。画像処理部４は、本処理を行っていない未判定の画素を、判定対象画素に決定する。画像処理部４は、ｓ２１で取得した最上位階層を判定対象階層に設定する（ｓ２３）。

画像処理部４は、判定対象画素が、判定対象階層の画素であるかどうかを判定する（ｓ２４）。ｓ２４では、
（１）判定対象階層に、判定対象画素に対応する画素があるかどうか判定する。ここで、判定対象階層に、判定対象画素に対応する画素がないと判定すると、判定対象画素は、判定対象階層の画素でないと判定し、以下に示す（２）以降の処理を行わない。

（２）判定対象階層に、判定対象画素に対応する画素があれば、その画素が属する領域の代表輝度値を得る。この代表輝度値は、前回のフレーム画像に対する処理のｓ１９で更新された値である。

（３）判定対象階層にある対応する画素の停止オブジェクトモデル（または、背景モデル）を用いて、判定対象画素がｓ２３、または、後述するｓ２６で決定した判定対象階層の画素であるかどうかを判定する。ここでは、判定対象階層にある対応する画素の停止オブジェクトモデル（または、背景モデル）において、判定対象画素の輝度値と、（２）で得た代表輝度値と、の差に対応する頻度が閾値以上であれば、この判定対象画素を判定対象階層の画素であると判定し、反対に、この頻度が閾値未満であれば、この判定対象画素を判定対象階層の画素でないと判定する。

画像処理部４は、ｓ２４で判定対象画素が判定対象階層の画素でないと判定すると、この時点における判定対象階層が最下位層である背景画像Ｌ１であるかどうかを判定する（ｓ２５）。画像処理部４は、ｓ２５で判定対象階層が背景画像Ｌ１でないと判定すると、判定対象階層を１つ下の階層に変更し（ｓ２６）、ｓ２４に戻る。

画像処理部４は、ｓ２４で判定対象画素が判定対象階層の画素であると判定すると、この判定対象画素に対して、この時点における判定対象階層を対応付ける（ｓ２７）。また、画像処理部４は、ｓ２５で判定対象階層が背景画像Ｌ１であると判定すると、この判定対象画素に対して、前景画素を対応付ける（ｓ２８）。

画像処理部４は、ｓ２７、またはｓ２８にかかる処理が完了すると、処理対象フレーム画像において、未処理の画素があるかどうかを判定し（ｓ２９）、未処理の画素があればｓ２２に戻る。画像処理部４は、ｓ２９で未処理の画素がないと判定すると、本処理を終了する。

画像処理部４は、この図１２に示した処理を行うことで、図１１に示した分布画像を生成することができる。

なお、上記の説明では、判定対象階層を、上位の層から下位の層に変更するとしているが、下位の層から上位の層に変更するようにしてもよい。

次に、上述したｓ１４にかかる種別判定処理について詳細に説明する。図１３は、この種別判定処理を示すフローチャートである。

画像処理部４は、ｓ１３で検出したオブジェクト毎に、図１３に示す種別判定処理を行う。画像処理部４は、処理対象のオブジェクトについて、前回処理したフレーム画像における撮像位置と、今回処理したフレーム画像における撮像位置とが、ほぼ同じであるかどうかを判定する（ｓ３１）。ｓ３１では、処理対象のオブジェクトの撮像位置が完全に一致しているかどうかを判定しているのではなく、両フレーム画像におけるオブジェクトの重なり部分の割合が、当該オブジェクト全体の所定値（例えば、９０％）以上であるかどうかによって判定する。

画像処理部４は、ｓ３１で同じ位置でないと判定すると、この処理対象のオブジェクトを停止オブジェクトでないと判定する（ｓ３３）。

また、画像処理部４は、ｓ３１で同じ位置であると判定すると、この処理対象のオブジェクトについて、所定フレーム数（例えば、１０フレーム）連続して、同じ位置であると判定しているかどうかを判定する（ｓ３２）。画像処理部４は、所定フレーム数連続して同じ位置であると判定していなければ、ｓ３３で停止オブジェクトでないと判定する。一方、画像処理部４は、ｓ３２で所定フレーム数連続して同じ位置であると判定していれば、停止オブジェクトであると判定する（ｓ３４）。

次に、ｓ１６にかかる停止オブジェクト画像生成処理について説明する。図１４は、この停止オブジェクト画像生成処理を示すフローチャートである。画像処理部４は、ｓ１４で停止オブジェクトであると判定したオブジェクト毎に、図１４に示す処理を行う。

画像処理部４は、処理対象である停止オブジェクトの階層を判断する（ｓ４１）。ここで言う階層は、上述したようにビデオカメラ１０に近いほど上位の階層である。画像処理部４は、停止オブジェクトの追跡結果から、この停止オブジェクトの階層を判断する。

画像処理部４は、処理対象の停止オブジェクトにかかる停止オブジェクト画像Ｌｎ（ｎは、ｓ４１で判断した階層であり、メモリ４ａに記憶している他の停止オブジェクト画像と重複しない階層である。）にかかるデータを生成する（ｓ４２）。ｓ４２にかかる処理は、上述したので、ここでは説明を省略する。

画像処理部４は、ｓ４２で生成した停止オブジェクト画像Ｌｎにかかるデータをメモリ４ａに記憶し（ｓ４３）、本処理を終了する。

なお、この例では、階層を整数で設定する構成としているので、例えば、第２階層、第３階層が存在している状態であるときに、ｓ４１において、第２階層と、第３階層との間の階層に位置する停止オブジェクトであると判断すると、この停止オブジェクトの階層を第３階層とし、この時点で第３階層であった停止オブジェクトを第４階層に設定しなおす。また、第３階層が存在していない状態で第２階層、第４階層が存在している場合、第２階層と、第４階層との間の階層に位置する停止オブジェクトであると判断すると、この停止オブジェクトの階層は、第３階層に設定される。

次に、ｓ１７にかかる移動オブジェクト判定処理について説明する。図１５は、この移動オブジェクト判定処理を示すフローチャートである。この移動オブジェクト判定処理の対象になるオブジェクトは、今回のフレーム画像に対する処理を開始する時点において、メモリ４ａに停止オブジェクト画像Ｌｎを記憶していた停止オブジェクトである。画像処理部４は、対象となる停止オブジェクト毎に、図１５に示す処理を行う。

画像処理部４は、処理対象である停止オブジェクトの総画素数を得る（ｓ５１）。画像処理部４は、処理対象である停止オブジェクトについて、ｓ１２で生成した分布画像において、この停止オブジェクトにかかる画素の中で、この停止オブジェクトよりも下位の層にかかる画素であると判定された画素の総数を得る（ｓ５２）。画像処理部４は、処理対象である停止オブジェクトにおいて、ｓ５２で得た画素数の割合が予め定めた割合（例えば、５０％）以上であれば、処理対象のオブジェクトが移動したと判定する（ｓ５３、ｓ５４）。反対に、画像処理部４は、ｓ５３で予め定めた割合未満であると判定すると、処理対象のオブジェクトが移動していないと判定する（ｓ５３、ｓ５５）。

なお、この移動オブジェクト判定処理は、ｓ５２にかかる処理を以下のようにしてもよい。画像処理部４は、処理対象である停止オブジェクトにかかる画素の中で、処理対象のオブジェクトの階層を含む、上位の階層にかかる画素の総数を得る。この場合、前景画素も上位の階層の画素とする。そして、ｓ５１で得た総画素数から、ここで得た画素数差し引いた画素数（すなわち、上記の例におけるｓ５２で得た画素数）を得る構成としてもよい。

また、処理対象である停止オブジェクトにおいて、上述した上位の階層にかかる画素数の割合が予め定めた割合（例えば、５０％）未満であれば、処理対象のオブジェクトが移動したと判定するようにしてもよい。

例えば、図４（Ａ）に示す状態から、オブジェクトＢが移動し、図１６（Ａ）に示す状態になったとき、ｓ１２で生成される分布画像は、図１６（Ｂ）に示すものになる。図１６において破線で囲む領域が、オブジェクトＢが停止していた位置である。また、移動したオブジェクトＢにかかる画素は、前景画素として検出される。すなわち、オブジェクトＢは、上述のｓ１３で検出される。また、移動したオブジェクトＢがオブジェクトＡに重なっていた領域については、停止オブジェクト画像Ｌ２により、オブジェクトＡにかかる画素であると判定される。すなわち、オブジェクトＡは、２つのオブジェクトに分離されることなく、１つのオブジェクトとして検出できる。

このように、この画像処理装置１は、背景画像Ｌ１だけでなく監視対象エリア内で停止したオブジェクト毎に、そのオブジェクトにかかる画像（停止オブジェクト画像Ｌｎ）を生成し、フレーム画像に撮像されているオブジェクトを背景画像Ｌ１および停止オブジェクト画像Ｌｎを用いて検出するので、撮像されているオブジェクトを適正に検出できる。具体的には、対象エリア内で停止しているオブジェクトは、上述のｓ１７で移動していないオブジェクトとして検出される。また、対象エリア内で移動しているオブジェクトは、上述のｓ１３で検出される。また、図１６（Ｂ）で示したように、ｓ１７で移動したと判定された停止オブジェクトは、前景画素としてｓ１３で検出されている。また、ｓ１７で移動したと判定された停止オブジェクトに隠れていた部分（停止状態を継続している他のオブジェクトの一部）は、この停止状態を継続している他のオブジェクトにかかる停止オブジェクト画像Ｌｎによって、この他のオブジェクトの一部として検出されるので、１つのオブジェクトが複数に分離するのを抑えられる。したがって、フレーム画像に撮像されているオブジェクトの検出が適正に行える。

また、画像処理部４は、移動したと判定したオブジェクトについては、上述したｓ１８で、メモリ４ａに記憶している当該オブジェクトにかかる停止オブジェクト画像を削除する。したがって、停止オブジェクト画像Ｌｎをメモリ４ａに無駄に記憶することがない。また、すでに存在していないオブジェクトにかかる停止オブジェクト画像Ｌｎを用いて、フレーム画像に対する上述の処理が行われるのを抑制できるので、画像処理部４の処理負荷を抑えることができる。

さらに、背景画像Ｌ１にかかる各画素の背景モデルや、停止オブジェクト画像Ｌｎにかかる各画素の停止オブジェクトモデルにおいて、輝度値についてはその画素が対応する領域の代表輝度値の差分を基準にした分布でモデル化し、各領域の代表輝度値をｓ１９で更新する構成としているので、監視対象エリア内の明るさ等の環境変化の影響を抑えたオブジェクトの検出が行える。

１…画像処理装置
２…制御部
３…画像入力部
４…画像処理部
４ａ…メモリ
５…入出力部
１０…ビデオカメラ

Claims (7)

1. 対象エリアの背景画像を記憶する背景画像記憶部と、
   前記対象エリアを撮像した動画像にかかるフレーム画像を入力する画像入力部と、
   前記背景画像記憶部が記憶する前記背景画像を用いて、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部が検出したオブジェクトについて、このオブジェクトが前記対象エリア内で停止している停止オブジェクトであるかどうかを判定するオブジェクト種別判定部と、
   前記オブジェクト種別判定部が停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として記憶する停止オブジェクト画像記憶部と、を備え、
   前記オブジェクト検出部は、前記背景画像記憶部が記憶する前記背景画像に加えて、前記停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出する、画像処理装置。
2. 前記オブジェクト検出部は、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の画素毎に、その画素が、前記背景画像記憶部が記憶する背景画像、前記停止オブジェクト画像記憶部が記憶する停止オブジェクト画像、または、これら以外の画像のどれに相当するかを対応付けた分布画像を生成し、このフレーム画像に撮像されているオブジェクトを検出する、請求項１に記載の画像処理装置。
3. 前記停止オブジェクト画像記憶部に停止オブジェクト画像が記憶されている停止オブジェクトが移動したかどうかを判定する移動判定部と、
   前記移動判定部が移動したと判定した停止オブジェクトについて、前記停止オブジェクト画像記憶部に記憶されている停止オブジェクト画像を削除する停止オブジェクト画像削除部と、を備えた請求項１、または２に記載の画像処理装置。
4. 前記背景画像記憶部は、前記対象エリアを複数に分割した領域毎に、その領域に属する前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の画素を対応づけた分割情報、および、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の各画素について、その画素が属する領域の代表画素値を基準とした画素値の発生頻度をモデル化した背景モデル、を前記背景画像として記憶する、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記対象エリアを複数に分割した領域毎に、その領域内における、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像の背景画素の画素値の中央値を前記代表画素値とする、請求項４に記載の画像処理装置。
6. コンピュータが、
   背景画像記憶部が記憶する対象エリアの背景画像を用いて、画像入力部に入力された前記対象エリアを撮像した動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
   前記オブジェクト検出ステップで検出したオブジェクトについて、このオブジェクトが前記対象エリア内で停止している停止オブジェクトであるかどうかを判定するオブジェクト種別判定ステップと、
   前記オブジェクト種別判定ステップで停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として停止オブジェクト画像記憶部に記憶する停止オブジェクト画像記憶ステップと、を実行する画像処理方法であって、
   前記オブジェクト検出ステップは、前記背景画像記憶部が記憶する前記背景画像に加えて、前記停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するステップである、画像処理方法。
7. 背景画像記憶部が記憶する対象エリアの背景画像を用いて、画像入力部に入力された前記対象エリアを撮像した動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するオブジェクト検出ステップと、
   前記オブジェクト検出ステップで検出したオブジェクトについて、このオブジェクトが前記対象エリア内で停止している停止オブジェクトであるかどうかを判定するオブジェクト種別判定ステップと、
   前記オブジェクト種別判定ステップで停止していると判定した停止オブジェクト毎に、その停止オブジェクトにかかる画像を停止オブジェクト画像として停止オブジェクト画像記憶部に記憶する停止オブジェクト画像記憶ステップと、をコンピュータに実行させる画像処理プログラムであって、
   前記オブジェクト検出ステップは、前記背景画像記憶部が記憶する前記背景画像に加えて、前記停止オブジェクト画像記憶部が記憶する停止オブジェクト画像を用い、前記画像入力部に入力された前記対象エリアの動画像にかかるフレーム画像を処理し、このフレーム画像に撮像されているオブジェクトを検出するステップである、画像処理プログラム。

Images