JP2010211617A - 撮像装置、動体検知方法、動体検知回路及びプログラム - Google Patents

Abstract

【課題】オブジェクトが動体であるにもかかわらず、光影によるものと誤検知してしまう可能性を低くする。
【解決手段】撮像装置は、動体検知部１１と属性判定部１２を備える。動体検知部１１は、画像中のオブジェクトがフレーム間で動きを伴う動体であるか否かを検知する。属性判定部１２は、動体であると検知されたオブジェクトに対して、オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間でオブジェクトが互いに類似しているか否かを示す類似度及びオブジェクトの輝度変化を判定する。そして、属性判定部１２は、オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す属性情報を動体であると検知されたオブジェクトに付与する。
【選択図】図２

Description

本発明は、例えば、画像に含まれる動体を検知する場合に適用して好適な撮像装置、動体検知方法、動体検知回路及びプログラムに関する。

従来、可視光線または赤外線によって被写体を撮像可能な監視用の撮像装置がある。撮像装置によって撮像された画像には、様々なモノが写っており、これらのモノを個別に特定するため、コンピュータ装置がオブジェクトとして認識する処理がなされる。そして、コンピュータ装置は、オブジェクトに様々な情報を付与するため、後続の画像処理が行いやすくなっている。

そして、監視用の撮像装置によって撮像された画像から、侵入者を特定することによって防犯性能を高める監視システムが知られている。このような監視システムでは、画像に含まれる背景に対して、動きがあるオブジェクトを動体として検知することによって、侵入者を検知する。これにより、人の眼で監視するだけでは見過ごしてしまうようなわずかな動きの侵入者や、背景と濃淡が一致している侵入者の動きを捉えて検知していた。
以下の説明において、「動体」には、動くもの（例えば、１フレーム（１／１５秒）毎に、オブジェクトの重なりが１０％以上変化するもの）又は一時停止した後に動き出すものが含まれる。

特許文献１には、直前画像と原画像の差分をとって得られる輝度変化から得た物体候補を追跡することによって移動物体として検知する技術について開示されている。

特許文献２には、２フレーム間画像の差分から抽出した変化領域に対して、濃淡パターンマッチングを行うことによって、類似度が所定値より高い場合に当該変化領域を外乱とみなし、類似度が低い変化領域を移動物体として検知する技術について開示されている。

特開２００１−８１８９号公報 特開平１１−４１５８９号公報

ところで、特許文献１に記載されている、光の影響を外乱として取り除くために正規化相関を行う技術を用いても、画像の奥から手前に移動するオブジェクトを動体として検知できなかった。これは、奥から手前にオブジェクトが移動すると、画像中の座標はほとんど変わらず、オブジェクトは移動していないように見えるためである。また、オブジェクトが一時停止すると、一時停止したことの判定が画像内におけるオブジェクトの位置だけで行われる。このため、監視システムは、一時停止したオブジェクトが動体であるにもかかわらず、オブジェクトが背景の一部であると誤検知する場合があり、動体の検知精度が悪かった。

また、特許文献２に記載されている、正規化相関を計算する事で光の影響を判定する技術を用いても、奥から手前に移動する人や、一時停止する人は動体として検知できなかった。

本発明はこのような状況に鑑みて成されたものであり、動体の検知精度を高めることを目的とする。

本発明は、始めに、画像中のオブジェクトがフレーム間で動きを伴う動体であるか否かを検知する。
次に、動体であると検知されたオブジェクトに対して、オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間でオブジェクトが互いに類似しているか否かを示す類似度及びオブジェクトの輝度変化を判定する。
そして、オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す属性情報を動体であると検知されたオブジェクトに付与するものである。

このようにしたことで、輝度変化したオブジェクトが動体であるか否かを判定することができる。

本発明によれば、動体と検知されたオブジェクトが輝度変化によるものであるか否かを判定する。このため、フレームの奥から手前に移動するオブジェクトや一時停止するオブジェクトの輝度変化に基づいて、このオブジェクトが動体であることを検知できる。また、光影による輝度変化であることを示す属性情報をオブジェクトに付与するため、動体の検知精度が高まるという効果がある。

本発明の一実施の形態における撮像装置の内部構成例を示すブロック図である。 本発明の一実施の形態における画像処理部の内部構成例を示すブロック図である。 本発明の一実施の形態における動体検知部の内部構成例を示すブロック図である。 本発明の一実施の形態における動体検知部が行う領域統合処理の例を示す説明図である。 本発明の一実施の形態における属性判定部の内部構成例を示すブロック図である。 本発明の一実施の形態におけるテクスチャの違いによるオブジェクトの類似度の例を示す説明図である。 本発明の一実施の形態における現画像と過去画像におけるテクスチャの類似度の例を示す説明図である。 本発明の一実施の形態における動体の移動における静領域と動領域の例を示す説明図である。 本発明の一実施の形態における通常の類似度と、静領域の類似度の比較例を示す説明図である。 本発明の一実施の形態における動体検知処理の適用前後における動体検知画像の例を示す説明図である。

以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（動体検知制御：動体を検知する処理の例）
２．変形例

＜１．一実施の形態＞
［撮像装置の内部構成例］
以下、本発明の一実施の形態について、添付図面を参照して説明する。本実施の形態では、撮像して得られる画像中のオブジェクトから動体を検知する撮像装置１に適用した例について説明する。

図１は、撮像装置１の内部構成例を示すブロック図である。
撮像装置１は、レンズ、シャッタ等の光学系を介して取り込んだ像光から撮像信号を生成する撮像部２と、撮像信号に所定の処理を施す撮像信号処理部３を備える。撮像部２は、撮像信号を生成する撮像素子として、例えば、ＣＣＤ（Charge Coupled Devices）イメージャやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを備える。

また、撮像装置１は、撮像信号処理部３によって所定の処理が施された撮像信号に対して所定の処理を施すデータ処理部４と、この撮像信号から得られる画像を解析して、画像内のオブジェクトに特有の属性情報を出力する画像処理部５を備える。画像処理部５の詳細な内部構成例と処理例については後述する。

また、撮像装置１は、画像処理部５によって所定の画像処理が施された画像データからメタデータを生成するメタデータ生成部６を備える。メタデータには、例えば、オブジェクトが光影であるか否かを特定するために立てられるフラグや撮像時刻等の画像に関する基礎情報が含まれる。また、撮像装置１は、データ処理部４から受け取った処理済みデータと、メタデータ生成部６から受け取ったメタデータを、不図示の受信装置に伝送する伝送部７を備える。撮像信号処理部３，データ処理部４，画像処理部５，メタデータ生成部６は、オブジェクトが動体であるか否かを検知するための動体検知回路として用いられる。

以下の説明において、オブジェクトが動体であることを検知することを、「動体検知」と称する。また、街路灯や室内灯等によって画像に入り込む光や影を検知することを、「光影検知」と称する。一方、オブジェクトが動体であるにもかかわらず、誤って光影検知することを、「光影誤検知」と称する。

メタデータ生成部６は、画像処理部５から受け取った属性情報や、オブジェクトを処理し、オブジェクトが光影による輝度変化であることを示す属性情報が付与されたオブジェクトに基づいて、画像の基本情報が含まれるメタデータを生成する。そして、メタデータ生成部６は、生成したメタデータを伝送部７に出力する。ただし、メタデータ生成部６は、画像処理部５（後述する属性判定部１２）がオブジェクトに光影検知したことを示す属性情報を付していた場合、メタデータを伝送部７に送らないよう選択する事も可能である。

伝送部７は、メタデータ生成部６によって生成された画像のメタデータ及びデータ処理部によって生成された画像ファイルを伝送する。撮像装置１からデータを受信する不図示の受信装置は、受け取ったオブジェクトと属性情報に基づいて所定の処理を選択できる。例えば、受信機器は、光影誤検知したことを示すアラームを発生させる処理や、光影誤検知の場合はアラームを発生させない処理等を選択することが可能になる。

図２は、画像処理部５の内部構成例を示す。
画像処理部５は、撮像信号処理部３から入力される撮像信号によって得られる画像からオブジェクトを特定し、オブジェクトがフレーム間で動きを伴う動体であるか否かを検知する動体検知部１１を備える。また、画像処理部５は、動体であると検知されたオブジェクトが光影検知されたか否かを判定し、オブジェクトに属性情報を付与する属性判定部１２を備える。

動体検知部１１は、複数のフレーム間で移動するオブジェクトを動体であると検知する。しかし、動体検知部１１は、光影が変化することによってオブジェクトが移動しても動体であると検知する場合がある。

動体検知部１１が動体を検知する処理としては、時間差分（フレーム間差分）だけを用いた処理、背景差分を用いた処理、時間差分と背景差分の両方を用いた処理、その他の情報を用いた処理（例えば、画像より動きの情報を算出して検知する。）等がある。本例の動体検知部１１は、時間差分と背景差分の両方を用いて光影誤検知かどうかを判定する。

属性判定部１２は、動体であると検知されたオブジェクトに対して、オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間でオブジェクトが互いに類似しているか否かを示す類似度及びオブジェクトの輝度変化を判定する。また、属性判定部１２は、オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す光影検知の属性情報を動体であると検知されたオブジェクトに付与する。そして、属性判定部１２は、光影などによる輝度変化と判定されたオブジェクトと、光影検知という属性情報をオブジェクト毎にメタデータ生成部６に供給する。

図３は、動体検知部１１の内部構成例を示す。
動体検知部１１は、複数フレーム間の画像から得られる背景画像の差分を処理して背景差分データを出力する背景差分処理部２０と、画像の時間差分を処理して時間差分データを出力する時間差分処理部２５を備える。また、動体検知部１１は、背景差分データと時間差分データを統合した統合結果２８に基づいて画像中のオブジェクトを検知する領域統合処理を行う領域統合処理部２９と、を備える。

以下の説明において、処理の対象となる現フレームから得られる画像を「現画像」と称する。また、現フレームより以前に供給され、以前に不図示の記憶部に記憶される画像であり、この記憶部から読み出されることによって現画像と比較される画像を「過去画像」と称する。また、連続する複数のフレームにわたってほぼ静止しているオブジェクトだけを計算により求めて作り出した画像を「背景画像」と称する。

背景差分処理部２０は、撮像信号処理部３から供給される現画像の背景から、１フレーム前の過去画像の背景の差分を求める第１の差分処理部２１と、現画像の背景から求めた背景の差分を減じた背景画像２３を作成する背景更新部２２を備える。背景更新部２２によって更新された背景画像２３は、不図示の記憶部に記憶される。そして、この記憶部から読み出された背景画像２３が第１の差分処理部２１と背景更新部２２に入力され、処理が続けられる。

時間差分処理部２５は、撮像信号処理部３から供給される現画像と、不図示の記憶部に記憶される過去画像２７の時間差分を求める第２の差分処理部２６を備える。第２の差分処理部２６によって処理された現画像は、一群の過去画像２７として不図示の記憶部に記憶される。そして、この記憶部から読み出された過去画像２７が第２の差分処理部２６に入力され、処理が続けられる。

次に、動体検知処理の例について説明する。
背景差分処理部２０は、各画素において現画像と背景画像との輝度差が所定の閾値より大きい画素を調べ、最終的にそれらの中で結合する画素（隣同士にある画素）をひとまとめにして動体として検知する。
時間差分処理部２５は、各画素において現画像と、一群の過去画像２７との輝度差が所定の閾値より大きい画素を調べる。

動体検知部１１は、入力される画像に含まれる各画素において輝度差が所定の閾値より大きい画素かどうかを判定する際に、背景差分処理部２０が求めた背景差分と、時間差分処理部２５が求めた時間差分を利用する。これにより、揺れる物体（例えば、木の葉）等の外乱が画像中に映り込んでしまっても、安定して動体を検知できる。

第１の差分処理部２１が出力する背景差分と、第２の差分処理部２６が出力する時間差分の情報は、統合されて統合結果２８が生成される。そして、統合結果２８が領域統合処理部２９に入力され、ラベル毎のグループに外接する矩形枠が定まる。

ここで、領域統合処理部２９が行う領域統合処理の例について、図４を参照して説明する。領域統合処理は、一般に「ラベリング」と呼ばれる画像処理の手法が用いられる。

図４Ａは、ラベリングに用いられるグループの例を示す。
「ラベリング」とは、注目する画素に結合する周辺の画素に同じラベル（例えば、数値）を振ることで複数の領域を独立したグループに分類する処理をいう。本例では、座標（２，２）に位置する画素に隣接する３×３画素の領域に対してラベリングを行う。

図４Ｂは、画素の輝度が所定の閾値を超える場合に、その画素にラベル“１”が振られるグループの例を示す。
全ての画素には、初期値“０”が予め振られる。そして、第１の差分処理部２１と第２の差分処理部２６は、画素の輝度が所定の閾値を超える場合に、その画素にラベル“１”を振る。ラベル“１”が振られた複数の画素は、隣接する画素毎にそれぞれグループ３１，３２と認識される。

図４Ｃは、画素から初期値“０”を除いたグループの例を示す。
第１の差分処理部２１と第２の差分処理部２６は、ラベル“１”が振られた画素をグループ化し（図４Ｂ参照）、グループ毎に一意のラベル（例えば、“１”，“２”，…のような連番）を振る。本例では、グループ３１にラベル“１”が振られ、グループ３２にラベル“２”が振られる。これにより、ラベル毎にグループを区別できる。さらに、領域統合処理部２９は、グループ３１，３２に外接する不図示の矩形枠を設定する。これにより、グループ３１，３２は、それぞれオブジェクトとして認識される。

そして、領域統合処理部２９は、オブジェクトが動体であるか否かを検知する。領域統合処理部２９によって動体検知されたオブジェクトには、動体であることを示す情報（以下、「動体情報」と称する。）が付与され、属性判定部１２にオブジェクトが出力される。

なお、属性判定部１２は、後述するように背景差分領域と時間差分領域の二つの領域に動体を検知した結果を分ける。そして、属性判定部１２は、時間差分領域における、オブジェクトの表面の質感、模様を表す「テクスチャ」の相関に着目し、光影かどうかを判定するものである。その点から考えると、本例の動体検知部１１に示したように背景差分と時間差分の両方を利用していれば、属性判定部１２の処理に適用しやすい。

ところで、動きが遅い物体であっても動体であることを確実に検知するためには、動体検知部１１は、背景差分処理部２０のみを備えていればよい。しかし、背景差分処理部２０と時間差分処理部２５の両方を備えることによって、確実に動体を検知できる。また、その他の動体検知方法に関しても時間差分の情報を光影判定の中で行う事で判定が可能となる。

図５は、属性判定部１２の内部構成例を示す。
属性判定部１２は、動体検知部１１から供給されるオブジェクトと動体情報に基づいて、オブジェクトが動体又は一時停止している物体であるか否かを判定したり、オブジェクトのサイズを判定したりする動体判定部３６を備える。また、属性判定部１２は、オブジェクトが動体であると判定されたオブジェクトに対して、１フレーム内におけるオブジェクトのテクスチャ強度を判定するテクスチャ判定部３７を備える。また、属性判定部１２は、複数のフレームにわたる同一のオブジェクト間の類似度を判定する類似度判定部３８を備える。

以下、テクスチャ判定部３７と類似度判定部３８が行う一連の処理は、１フレーム内における動体と判定されたオブジェクトが、光影誤検知である可能性を判定する「フレーム内光影誤検知可能性判定処理」と総称する。

また、属性判定部１２は、一時停止物体であると判定されたオブジェクト、または、動体であって、テクスチャ判定と類似度判定が行われたオブジェクトのそれぞれについて、オブジェクトが光影誤検知したか否かを判定する光影誤検知判定部３９を備える。

ここで、光影誤検知判定部３９は、時系列で供給されるオブジェクトに基づいて光影誤検知の可能性を判定する点が、１フレーム内におけるオブジェクトの光影誤検知の可能性を判定するフレーム内光影誤検知可能性判定処理と異なる。

次に、動体検知部１１によって動体であると検知されたオブジェクトが、光影誤検知であるか否かを判定する処理例について説明する。

まず、動体判定部３６には、動体検知部１１からオブジェクトの情報と、オブジェクトに外接する矩形枠の情報が入力される。
次に、動体判定部３６は、動体検知部１１が動体であると検知したオブジェクトに対し、前処理を行う。この処理は、時系列で入力されるオブジェクトと矩形枠の情報に従って行われる。従来、一時停止状態にあるオブジェクトは、後述する類似度判定の際に複数フレームにわたって類似度が高くなる事が原因で、光影誤検知される事があった。そこで、動体判定部３６は、動体であっても、一時停止状態にあるオブジェクトを光影誤検知しないように、オブジェクトが動体であるか否かを判定する。

例えば、動体判定部３６は、画像外から画像内に物体が移動すると、その物体がオブジェクトとして認識されるため、このオブジェクトに対して動体であることを示すフラグを立てる。このフラグにより、その後、オブジェクトが一時停止しても、単にオブジェクトが一時停止しているだけであり、動体であることが分かる。

また、動体判定部３６は、オブジェクトに外接する矩形枠に、後述する静領域の画素が一定量以上存在する場合に、オブジェクトが一時停止していると判定する。また、動体判定部３６は、一時停止の判定条件として、オブジェクトに外接する矩形枠の重心位置が複数フレームにわたって移動していないことを用いてもよい。

ところで、前述した領域統合処理部２９が、光の乱反射等によって小さなオブジェクトを多数検知すると、１フレーム内に大量のオブジェクトが現れる。この場合、動体判定部３６の処理速度が低下しやすくなるため、所定のサイズより小さいオブジェクトに対して、動体判定部３６は光影検知の判定を行わない等の制限をしてもよい。

動体判定部３６が一時停止していると判定したオブジェクトは、光影誤検知判定部３９に入力される。光影誤検知判定部３９は、過去フレームで光影誤検知とされたオブジェクトにおける光影の情報を、複数フレームにわたって同じ画素位置のカウンタ等に累積する。そして、光影誤検知判定部３９は、光影誤検知の累積値が一定値以上であるオブジェクトを光影誤検知と判定する。光影の情報をカウンタに累積する期間は、例えば、１／５秒間とする。このように複数フレームにわたって時系列で累積した光影誤検知の可能性を求める事で、あるフレームではオブジェクトを光影誤検知しても、最終的に光影と判定せず、動体と判定できる。

一方、光影誤検知可能性判定処理では、動体判定部３６から出力されたオブジェクトそれぞれについて、あるフレーム内において光影誤検知に該当する可能性を判定する。このとき、テクスチャ判定部３７は、オブジェクトの輝度のばらつきによって、オブジェクトに模様があるか否かを示す度数である「テクスチャ強度」の判定を行う。

ここで、テクスチャの違いによるオブジェクトの類似度の例について、図６を参照して説明する。
図６Ａは、オブジェクトにテクスチャが多い場合における、動体と光の類似度の例を示す。
オブジェクトが動体であって、表面に模様等が現れる場合、オブジェクトのテクスチャが多くなる。一方、オブジェクトが光である場合、一様に輝度が分布するためテクスチャが少ない。このとき、動体の類似度４１は低く、光の類似度４２は高くなる。
このため、テクスチャ判定部３７が類似度の閾値Ｔｈ_１を下げていても、オブジェクトが動体であるか光影であるかの判断はつきやすい。

図６Ｂは、オブジェクトにテクスチャが少ない場合における、動体と光の類似度の例を示す。
例えば、画像内にノイズが少ない状況において、テクスチャが少ない背景の場所に、テクスチャが少ない人（例えば真っ黒の服を着た人）等がフレーム内に現れた場合を想定する。このとき、テクスチャが少ない動体の類似度４３と光の類似度４４は共に高くなる。このため、図６Ａに示した閾値Ｔｈ_１のまま動体と光の類似度を判定すると、テクスチャ判定部３７は、オブジェクトが動体であるにもかかわらず、誤って光影による輝度変化と誤検知する可能性がある。このようにテクスチャの少ないオブジェクトは、テクスチャの多いオブジェクトと比べると類似度が高くなりやすい。

そこで、テクスチャ判定部３７は、オブジェクトのテクスチャ強度を判定し、類似度判定部３８は、テクスチャ強度が低い部分は類似度の判定閾値を高く設定し、テクスチャ強度が高い部分は類似度の判定閾値を低く設定する。例えば、テクスチャ判定部３７は、閾値Ｔｈ_２を閾値Ｔｈ_１より高く設定する。これにより、オブジェクトの類似度の差がわずかであっても、光影による輝度変化と誤検知せずに動体であることを判定できる。

テクスチャ判定部３７は、次式（１）を用いてテクスチャ強度を求める。次式（１）は、例えば、エネルギーENGを利用することによって、テクスチャ強度を求める式である。ここで、１フレーム中のある画素i，画素jを想定し、各画素の輝度値をＬ_ｉ，Ｌ_ｊとし、確率に変換した同時正規行列をＰ_δ（Ｌ_ｉ，Ｌ_ｊ）とする。

こうして、テクスチャ判定部３７は、１フレームにおけるオブジェクトの輝度のばらつきを確認することによって、テクスチャ強度を求めることができる。テクスチャ強度が低い場合、エネルギーＥＮＧは高い値を示し、テクスチャ強度が高い場合、エネルギーＥＮＧは低い値を示す性質がある。このため、テクスチャ判定部３７は、エネルギーＥＮＧが所定の閾値を超えた場合、テクスチャ強度が低いと判定し、所定の閾値以下である場合、テクスチャ強度が高いと判定する事が出来る。

次に、類似度判定部３８は、複数フレームにわたって注目するオブジェクトの模様が似ているか否かを示す度数である「テクスチャ類似度」を求め、類似度の高いオブジェクトを光影検知と判定する。類似度判定部３８が行う類似度判定では、所定の位置におけるオブジェクトの現在と過去の類似度を計算する（後述する図９参照）。これは、光影による輝度変化が原因の検知であった場合は、オブジェクト位置の過去画像とのテクスチャの類似度が高くなり、動体であった場合はテクスチャの類似度が低くなるという性質に着目している。
一般的な類似度は、次式（２）に示す正規化相互相関を用いる。

図７は、現画像と過去画像におけるテクスチャの類似度の例を示す。

図７Ａは、オブジェクトが人（動体）の場合におけるテクスチャの類似度の例を示す。
ここでは、現フレームの画像を現画像５１ａとし、現フレームに対してＮフレーム前の画像を過去画像５１ｂとする。現画像５１ａ，過去画像５１ｂには共に、人を表すオブジェクト５３が表示される。しかし、過去画像５１ｂには、オブジェクトの位置を判定する矩形枠５２内にオブジェクト５３の一部しか入っていない。一方、現画像５１ａには、矩形枠５２内にオブジェクト５３の全体が入っている。

このとき、現画像５１ａと過去画像５１ｂにおけるオブジェクト５３をフレーム間で比較すると、矩形枠５２内で明らかにテクスチャが類似していない。これにより、類似度判定部３８は、オブジェクト５３が動体であることを検知できる。

図７Ｂは、オブジェクトが静物の場合におけるテクスチャの類似度の例を示す。
ここでは、現フレームの画像を現画像５４ａとし、Ｎフレーム前の画像を過去画像５４ｂとする。現画像５１ａ，過去画像５１ｂには共に、木を表すオブジェクト５６が表示される。また、オブジェクト５６には、木の影を表すオブジェクト５７が表示される。また、現画像５１ａ，過去画像５１ｂには共に、オブジェクトの位置を判定する矩形枠５５内にオブジェクト５６，５７が入っている。

このとき、現画像５４ａと過去画像５４ｂにおけるオブジェクト５６をフレーム間で比較すると、矩形枠５５内のオブジェクト５６は静物であるため、両者のテクスチャは類似する。このため、類似度判定部３８は、オブジェクト５６，５７が一時停止物体であることを検知できる。

ところで、単純にオブジェクトのテクスチャ類似度を計算するだけでは、カメラの撮像方向（レンズの光軸方向）に沿って奥から手前に向かって来る人や、手前から奥へ移動する人などは、横方向の動きが乏しいため、フレーム間で類似度が高くなりやすい。

このような動きは、テクスチャの類似度の変化があまりないため、光影誤検知したり、静物（又は背景）であると認識したりする要因となる。そこで、画面の奥から手前に移動する人を光影誤検知しないようにするため、オブジェクトの領域をさらに静領域と動領域の二つに分け、動領域の類似度に着目する。このとき、類似度判定部３８は、オブジェクトを、複数のフレームに共通して含まれる静領域と、複数のフレームで異なる動領域に分け、静領域の類似度が所定の閾値より高い場合にオブジェクトが光影による輝度変化であることを判定する。

図８は、人が画面の奥から手前方向に移動する場合を示す。
図８Ａは、人が画面の奥から手前方向に移動する場合の第１の例を示す。
本例では、同一のフレーム６１に過去画像と現画像を重ねて表している。フレーム６１には、オブジェクトの位置を判定する矩形枠６２と、画面の奥に位置するオブジェクト６３，画面の手前に位置するオブジェクト６４がある。本例では、オブジェクト６３，６４は人を表す。
以下の説明では、静領域は過去から輝度変化の少なかった領域を「静領域」と称し、過去からある程度輝度変化が大きかった領域を「動領域」と称する。

画面の奥から手前に人が移動することによって、オブジェクト６３がオブジェクト６４の大きさまで拡大する。本例において、オブジェクト６３の領域は、時間変化によって輝度が変わらないため「静領域」である。一方、オブジェクト６３が画面奥から手前に移動するにつれて、オブジェクト６４に領域が拡大し、輝度が変わるため、オブジェクト６４からオブジェクト６３を除いた領域は、輝度変化が大きい「動領域」である。

図８Ｂは、人が画面の奥から手前方向に移動する場合の第２の例を示す。
本例においても、同一のフレーム６５に過去画像と現画像を重ねて表している。フレーム６５には、オブジェクトの位置を判定する矩形枠６６、画面の奥に位置するオブジェクト６７、画面の手前に位置するオブジェクト６８がある。

画面の奥から手前に人が移動することによって、オブジェクト６７がオブジェクト６８の大きさまで拡大する。オブジェクト６７は、輝度変化が少ない「静領域」であり、オブジェクト６８からオブジェクト６７を除いた領域は、輝度変化が大きい「動領域」である。

ところで、動領域には、光影検知の場合は過去とのテクスチャの類似度が高くなり、人などの動体であった場合は類似度が低くなるという性質がある。類似度判定部３８は、予め閾値Ｔｈ_３を定めておく。最終的に類似度判定部３８は、オブジェクト全体の類似度(Corr_All)と動領域の類似度(Corr_move)を合計した値を、オブジェクトの光影らしさの判定値（Corr）として用いる。判定値（Corr）は、次式（３）によって求める。

Corr＝Corr_All＋Corr_move …（３）

仮に、この判定値（Corr）が高い場合、現在のフレームにおいてオブジェクトが光影検知された可能性が高いと判定する。

図９は、通常の類似度と、静領域の類似度の比較例を示す。
図９Ａは、通常の類似度の例を示す。
オブジェクトが動体である場合、オブジェクトが画面を横切る動作をすると、過去と現在の画像に含まれるオブジェクトの類似度７１は低い。一方、オブジェクトが画面の奥から手前に移動する動作をすると、過去と現在の画像に含まれるオブジェクトの類似度７２は高くなる。オブジェクトの類似度７２は、光として認識されるオブジェクトの類似度７３とほぼ同じ値であり、類似度７２，７３は、閾値Ｔｈ_３より高い。このため、実際にはオブジェクトが画面の奥から手前に移動しているにもかかわらず、オブジェクトは一時停止していると誤検知する可能性がある。

図９Ｂは、図８に示した静領域の類似度の例を示す。
オブジェクトが動体である場合、オブジェクトが画面を横切る動作をすると、オブジェクトの静領域の類似度７４は低い。また、オブジェクトが画面の奥から手前に移動する動作をした場合、過去と現在の画像に含まれるオブジェクトの静領域の類似度７５は低い。一方、オブジェクトが光である場合、過去と現在の画像に含まれるオブジェクトの類似度７６は高くなる。この結果、オブジェクトの類似度７５が閾値Ｔｈ_３より低いため、画面の奥から手前に移動しているオブジェクトを動体として検知することが可能となる。

このように光影誤検知判定部３９は、光影誤検知を判定するデータを時系列で取得することによって、最終的にオブジェクトが光影誤検知されたか否かを判定する。このため、各フレームにおける光影検知可能性を加算していき、現フレームまでに加算された光影検知の可能性及び光影検知ではない可能性を比較する。そして、光影検知の可能性が高いオブジェクトには、光影検知という属性情報を付与する。

ここで、従来の動体検知処理を用いた検知結果と、本発明に係る動体検知処理を用いた検知結果について、図１０を参照して比較する。

図１０Ａは、従来の動体検知処理を用いた検知結果の例を示す。
夜間の街路を撮像して得られる画像８１は、画面の上半分が暗く、下半分が明るくなっている。従来の動体検知処理では、画面の奥から手前に向かって歩く人の周囲に矩形枠８３を作り、人をオブジェクト８２として認識する。さらに、画面の下半分にはヘッドライト等で照らされることによって明るい領域ができるため、オブジェクト８４を動体として認識していた。このため、動体を検知する精度は低かった。

図１０Ｂは、本発明に係る動体検知処理を用いた検知結果の例を示す。
一方、本例の動体検知処理では、オブジェクト８２のみを動体として検知する。そして、画面の下半分については光影であると検知して属性情報をオブジェクトに付与するため、背景画像として認識できる。このため、動体を検知する精度が高くなる。

以上説明した実施の形態に係る撮像装置１によれば、監視用の撮像装置において動体として検知されるオブジェクトに対し、自動的に光影誤検知か否かを判定できる。このため、画面の奥から手前に来るような人や一時停止した人であっても確実に動体として検知することが可能となる。このため、動体の検知精度が向上し、例えば、セキュリティ用途に用いた場合にセキュリティ性能が高まるという効果がある。

また、オブジェクトに対して光影検知を行う場合には、オブジェクトの輝度のばらつきによって、オブジェクトのテクスチャ強度を求めて、テクスチャ強度の大きさに伴い、類似度の閾値を変更する。このため、フレーム間でテクスチャ強度が大きいオブジェクトであったり、テクスチャが少ないオブジェクトであったりしても、類似度を判定することによって、模様がないオブジェクトを光影誤検知しない。このため、動体であることを検知する精度が高まるという効果がある。

また、オブジェクトを静領域と動領域に分けることにより、フレームの奥から手前に移動するオブジェクトに対しても光影による輝度変化かどうかを判定できる。このため、従来であれば、一時停止しているか、静物であると認識していたオブジェクトであっても、動体であると検知できるという効果がある。

また、光影検知かどうかをメタデータに変換して外部の装置に出力する。このため、撮像装置１からメタデータを受け取る外部の装置は、複数のオブジェクトから動体であると検知されたオブジェクトのみを抽出しやすくなり、アプリケーションに応じた運用が容易となるという効果がある。

＜２．変形例＞

なお、上述した実施の形態に係る撮像装置１において、動体検知部１１は、背景差分処理部２０と時間差分処理部２５を備えるようにしたが、背景差分処理部２０だけを備えるようにしてもよい。この場合、光影誤検知可能性判定処理において、時間差分処理部２５と同様の処理を行えば、動体の有無を検知できる。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本発明は上述した実施の形態に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

１…撮像装置、２…撮像部、３…撮像信号処理部、４…データ処理部、５…画像処理部、６…メタデータ生成部、７…伝送部、１１…動体検知部、１２…属性判定部、２０…背景差分処理部、２１…第１の差分処理部、２２…背景更新部、２５…時間差分処理部、２６…第２の差分処理部、２９…領域統合処理部、３６…動体判定部、３７…テクスチャ判定部、３８…類似度判定部、３９…光影誤検知判定部

Claims (8)

1. 画像中のオブジェクトがフレーム間で動きを伴う動体であるか否かを検知する動体検知部と、
   前記動体であると検知された前記オブジェクトに対して、前記オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間で前記オブジェクトが互いに類似しているか否かを示す類似度及び前記オブジェクトの輝度変化を判定し、前記オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す属性情報を前記動体であると検知された前記オブジェクトに付与する属性判定部と、を備える
   撮像装置。
2. 前記属性判定部は、
   前記オブジェクトが一時停止しているか、又は動体であるかを判定する動体判定部と、
   動体であると判定された前記オブジェクトに対して、所定のフレーム内における前記オブジェクトのテクスチャ強度を判定するテクスチャ判定部と、
   前記テクスチャ判定部によって判定された前記テクスチャに基づいて、前記複数のフレーム間で前記オブジェクトの類似度を判定する類似度判定部と、
   前記動体判定部によって一時停止していると判定された前記オブジェクト又は前記類似度判定部によって、類似度が判定された前記オブジェクトに対して、前記オブジェクトが光影誤検知であるか否かを判定する光影誤検知判定部と、を備える
   請求項１記載の撮像装置。
3. 前記テクスチャ判定部は、前記オブジェクトの輝度のばらつきによって、前記オブジェクトのテクスチャ強度を判定し、
   前記類似度判定部は、前記テクスチャ強度が低い部分には類似度の判定閾値を高く設定し、前記テクスチャ強度が高い部分には前記類似度の判定閾値を低く設定することによって、前記オブジェクトの類似度を判定する
   請求項２記載の撮像装置。
4. 前記類似度判定部は、前記オブジェクトを、前記複数のフレームに共通して含まれる静領域と、前記複数のフレームで異なる動領域に分け、前記静領域の類似度が所定の閾値より高い場合に前記オブジェクトが光影による輝度変化であることを判定する
   請求項２又は３に記載の撮像装置。
5. 前記オブジェクトが光影による輝度変化であることを示す属性情報が付与された前記オブジェクトに基づいて、前記属性情報及び前記画像の基本情報が含まれるメタデータを生成するメタデータ生成部と、
   前記メタデータ生成部によって生成された前記メタデータを伝送する伝送部と、を備える
   請求項４記載の撮像装置。
6. 画像中のオブジェクトがフレーム間で動きを伴う動体であるか否かを検知するステップと、
   前記動体であると検知された前記オブジェクトに対して、前記オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間で前記オブジェクトが互いに類似しているか否かを示す類似度及び前記オブジェクトの輝度変化を判定し、前記オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す属性情報を前記動体であると検知された前記オブジェクトに付与するステップと、を有する
   動体検知方法。
7. 画像中のオブジェクトがフレーム間で動きを伴う動体であるか否かを検知する動体検知部と、
   前記動体であると検知された前記オブジェクトに対して、前記オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間で前記オブジェクトが互いに類似しているか否かを示す類似度及び前記オブジェクトの輝度変化を判定し、前記オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す属性情報を前記動体であると検知された前記オブジェクトに付与する属性判定部と、を備える
   動体検知回路。
8. 画像中のオブジェクトがフレーム間で動きを伴う動体であるか否かを検知するステップと、
   前記動体であると検知された前記オブジェクトに対して、前記オブジェクトのテクスチャ及び輝度の情報に基づいて、複数のフレーム間で前記オブジェクトが互いに類似しているか否かを示す類似度及び前記オブジェクトの輝度変化を判定し、前記オブジェクトが光影による輝度変化であると判定した場合に、光影による輝度変化であることを示す属性情報を前記動体であると検知された前記オブジェクトに付与するステップと、を含む
   コンピュータに実行させるためのプログラム。