JP2011054036A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】放置された物体のみを記録すること。
【解決手段】画像処理装置１００は、フィルタリング部１２０が画像取得部１１０から出力される画像に対して、時定数の異なるローパスフィルタを適用して複数の画像を生成する。そして、画像比較部１３０が、各画像の輝度値の差Ｃ_ａｂ、Ｃ_ａｃを算出し、判定部１４０が、Ｃ_ａｂ、Ｃ_ａｃと閾値Ｔ_ａｂ、Ｔ_ａｃとの関係に基づいて、放置された物体の画像のみを記憶部１５０に記憶することで、記録するデータ量を削減する。
【選択図】図８

Description

本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関する。

人は日常生活を送っている間に、本、雑誌、文房具等の日用品を何処かに放置して紛失させてしまう場合がある。例えば、カメラを部屋の一角に設置し、部屋の様子を常時撮影すれば、人が何処で日用品を放置したのかを特定することが可能であり、紛失した日用品を見つけ出すことができる。しかし、監視カメラを利用する方法は、日用品以外に人物も撮影するため、撮影された人物の心理的な抵抗感が強くなるという問題がある。また、監視カメラが撮影した全ての画像を人が視認することで紛失した日用品を探す場合、利用者にかかる負担が大きいという問題がある。

そのため、人物を画像に記録することなく、人が全ての画像を視認しなくても、放置された日用品の場所を特定することが求められている。

例えば、画像内に物体の出入りが発生した場合に、時間的に連続する前後の画像の輝度値が変化することを利用して、物体が出入りしたタイミングを特定する技術が存在する。そして、カメラが撮影した各画像の中で、一箇所に留まっていない物体を除去するフィルタを用いれば、部屋を動き回る人物を画像から除去した画像を生成できる。すなわち、上記した技術を組合せれば、物体の出入りしたタイミングを物体が放置されたタイミングとして特定し、特定したタイミングにより、フィルタを用いて人物を除去した画像を記録できる。したがって、人物を画像に残すことなく、放置された日用品の場所を特定することができる。

特開２００２−３２７５９号公報

しかしながら、上述した技術は、物体が放置されていない場合でも、画像を記録してしまう場合があるため、記録される画像の数が増え、データ量が大きくなってしまうという問題があった。例えば、人がテーブルの上に物体を置き、この物体をすぐに持ち去った場合には、テーブルの上に置かれた物体および持ち去られた物体は放置されておらず、記録する必要はない。

従来の技術では、時間的に連続する前後の画像の輝度値が変化したことのみに基づいて、画像を記録するタイミングをはかっている。したがって、上記したような放置されていない物体であっても物体が置かれた時点および持ち去られた時点で、輝度値が変化してしまうので画像を記録してしまう。

開示の技術は、上記に鑑みてなされたものであって、放置された物体の画像のみを記録することできる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

本願の開示する画像処理装置は、一つの態様において、時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する画像生成部と、前記画像生成部が生成した複数の画像の輝度値の相互関係に基づいて画像を記録するか否かを判定する判定部と、前記判定部の判定結果に基づいて画像を記憶する記憶部とを有することを要件とする。

この画像処理装置によれば、放置された物体の画像のみを記録することできる。

図１は、本実施例１にかかる画像処理装置の構成を示す図である。 図２は、画像のしくみを説明するための図である。 図３は、動画のしくみを説明するための図である。 図４は、ブロックを細分化した画像の一例を示す図である。 図５は、時定数の異なるローパスフィルタを用いた場合の放置物の出現の様子を示す図である。 図６は、放置物が置かれた場合の時間変化に伴う輝度値の変化を示す図である。 図７は、短時間の間に物体が追加・撤去された場合の画像（ａ）〜（ｃ）の輝度値の変化を示す図である。 図８は、本実施例２にかかる画像処理装置の構成を示す図である。 図９は、画像取得部から出力される画像と画像（ａ）〜（ｃ）の輝度値の変化を示す図である。 図１０は、判定部が画像Ｑ_ａ、Ｑ_ｂを画像Ｑ_ｚに一致させる処理を説明するための図である。 図１１は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。 図１２は、フィルタリング処理の処理手順を示すフローチャートである。 図１３は、Ｑ_ｚに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。 図１４は、Ｑ_ａに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。 図１５は、Ｑ_ｂに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。 図１６は、Ｑ_ｃに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。 図１７は、Ｃ_ａｂ算出処理の処理手順を示すフローチャートである。 図１８は、Ｃ_ａｃ算出処理の処理手順を示すフローチャートである。 図１９は、本実施例３にかかる画像処理装置の構成を示す図である。 図２０は、Ｃ_ａｂ[ｊ]を算出する処理手順を示すフローチャートである。 図２１は、Ｃ_ａｃ[ｊ]を算出する処理手順を示すフローチャートである。 図２２は、本実施例４にかかる画像処理装置の構成を示す図である。 図２３は、本実施例４にかかる画像処理装置の処理手順を示すフローチャート（１）である。 図２４は、本実施例４にかかる画像処理装置の処理手順を示すフローチャート（２）である。 図２５は、永久にマスクする領域および基準領域を説明するための図である。 図２６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。

以下に、本願の開示する画像処理装置、画像処理プログラムおよび画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１にかかる画像処理装置１０の構成について説明する。図１は、本実施例１にかかる画像処理装置１０の構成を示す図である。図１に示すように、この画像処理装置１０は、画像生成部１１と、判定部１２と、記憶部１３を有する。

画像生成部１１は、時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する処理部である。判定部１２は、画像生成部１１が生成した複数の画像の輝度値の相互関係に基づいて画像を記録するか否かを判定する処理部である。記憶部１３は、判定部１２の判定結果に基づいて画像を記憶する記憶部である。

本実施例１にかかる画像処理装置１０は、複数の画像に時定数の異なる複数のローパスフィルタを適用した各画像の輝度値の相互関係に基づいて画像記録の有無を判定する。したがって、動的物体の画像を外した放置物の画像のみを記録することができる。

本実施例２にかかる画像処理装置の説明を行う前に、本明細書で使用する画像、動画、フィルタリング、画像比較、放置物を検出する方法について説明する。まず、画像について説明する。図２は、画像のしくみを説明するための図である。図２に示すように、カメラが取得する画像は、複数のピクセルを含む。ここでは一例として、画像に含まれる各ピクセルは、単体の輝度で表現されているものとする。

画像の中のｉ番目のピクセルの輝度をｐ（ｉ）と表現する。ｉは０以上の数である。複数のピクセルからなる画像をＰと表現する。ピクセルｐ（ｉ）と画像Ｐは、

によって表される。

続いて、動画について説明する。図３は、動画のしくみを説明するための図である。図３に示すように、動画は、連続する複数の画像からなる。連続する各画像をフレームと呼ぶ。時刻ｔにおけるフレームをＰ_ｔ、時刻ｔ−１におけるフレームをＰ_ｔ−１、時刻ｔ−２におけるフレームをＰ_ｔ−２と表現する。

続いて、フィルタリングについて説明する。ここで画像Ｐに対して時間軸でローパスフィルタをかける場合について説明する。ローパスフィルタは、例えば、

によって表される。式（２）に含まれるｋは、０〜１の実数である。ｋの値が０に近ければ近いほど、時間的に連続する各画像にローパスフィルタを適用した場合に、直前の画像の輝度値の変化が直後の画像の輝度値に反映されにくくなるため、動的な物体が画像に残りにくくなる。

ｋの値を小さく設定して、ローパスフィルタを画像に適用すると、画像の時定数が大きくなる。一方、ｋの値を大きく設定して、ローパスフィルタを画像に適用すると、画像の時定数が小さくなる。時定数が大きい画像と小さい画像の違いは後述する。

続いて、画像比較について説明する。ここでは一例として、画像Ｐと画像Ｑとを比較する場合について説明する。画像Ｐと画像Ｑがどの程度違うのかを評価する方法には様々な手法がある。例えば、画像Ｐと画像Ｑに含まれるピクセル毎に輝度値の差を算出し、ピクセル毎の差を合計することで、画像Ｐと画像Ｑがどの程度違うのかを評価する方法がある。上記の方法は、

によって表される。式（３）に含まれるｐ（ｉ）は、画像Ｐに含まれるピクセルであり、ｑ（ｉ）は、画像Ｑに含まれるピクセルである。式（３）を用いてＣの値を計算し、Ｃの値が所定の閾値よりも大きい場合、画像Ｐと画像Ｑは異なる画像であると判定する。

また、図４に示すように、画像全体を小さなブロックで細分化し、ブロック毎に式（３）を用いてＣを算出する方法も存在する。図４は、ブロックを細分化した画像の一例を示す図である。ブロック毎にＣを算出することで、画像全体のどのあたりが変化したのかを判定することができる。

続いて、放置物を検出する方法について説明する。図５は、時定数の異なるローパスフィルタを用いた場合の放置物の出現の様子を示す図である。図５では、ローパスフィルタを適用していない画像（ａ）と、ローパスフィルタの時定数の異なる画像（ｂ）、（ｃ）が時間と共にどのように表れていくのかを示している。ここでは一例として、画像（ｂ）の時定数が、画像（ｃ）の時定数よりも大きい場合を示している。言い換えると、画像（ｂ）のローパスフィルタのｋの値が、画像（ｃ）のローパスフィルタのｋの値よりも大きい場合を示している。

図５に示すように、放置物が出現した後に、画像（ａ）では、放置物がすぐにあらわれるが、画像（ｂ）、（ｃ）では、放置物が徐々にあらわれてくる。また、時定数の違いにより、放置物が表れるまでの時間が異なる。図６は、放置物が置かれた場合の時間変化に伴う輝度値の変化を示す図である。図６の横軸を時間とし、縦軸を輝度値とする。

図６に示すように、物体が追加されると、画像（ａ）の輝度値は、放置物の輝度値にあわせてステップ状に変化する。画像（ｂ）、（ｃ）の輝度値は、画像（ａ）の輝度値に徐々に近付いていく。図６に示すように、時定数が異なると、所定時間後の画像（ａ）、（ｂ）の輝度値の差と、画像（ａ）、（ｃ）の輝度値の差が異なる。画像（ａ）、（ｂ）の輝度値の差をＣ_ａｂとし、画像（ａ）、（ｃ）の輝度値の差をＣ_ａｃとすると、例えば、時刻ＴにおけるＣ_ａｂは、時刻ＴにおけるＣ_ａｃよりも小さくなっている。

画像（ｃ）を十分大きな時定数にしておくと、時刻ｔで物体が追加されても、画像（ｃ）は、時刻ｔ以前の画像とほとんど変らない。一方、画像（ｂ）を小さな時定数にしておくと、画像（ｂ）の輝度値は、徐々に画像（ａ）の輝度値に近付く。しかし、時刻ｔの直後は、画像（ｃ）と同様にして以前の画像と変らない。したがって、画像中に物体が現れた時点において、画像（ａ）の輝度値は、画像（ｂ）、（ｃ）の輝度値と大きく異なる。

ここで、画像（ｃ）の時定数に対して十分小さな時間をΔｔとする。時刻ｔにおいて、物体が追加され、時刻ｔ＋Δｔに物体が撤去された場合を考える。図７は、短時間の間に物体が追加・撤去された場合の画像（ａ）〜（ｃ）の輝度値の変化を示す図である。図７に示すように、ｔ＋Δｔ以降の画像（ａ）は、理想状態では、時刻ｔ以前の輝度値と同じになる。

時刻ｔ＋Δｔにおいて物体が撤去されると、画像（ｂ）、（ｃ）の輝度値は、変化した画像（ａ）の輝度値に近付く。画像（ｂ）の時定数は小さい値なので、時刻ｔ＋Δｔの直前では、画像（ｂ）の輝度値は、画像（ａ）の輝度値に近い値となっている。一方、画像（ｃ）の時定数は十分大きな値なので、時刻ｔ＋Δｔの直前であっても、画像（ｃ）の輝度値は、画像（ｂ）の輝度値から遠い値となっている。言い換えると、画像（ｃ）の輝度値は、時刻ｔ以前の画像（ａ）の輝度値に近い値となっている。

このため、時刻ｔ＋Δｔにおいて物体が撤去され、画像（ａ）の輝度値が、物体が追加される前の輝度値に戻ると、時刻ｔ＋Δｔにおける画像（ａ）の輝度値と画像（ｂ）の輝度値の差は大きな値となる。一方、時刻ｔ＋Δｔにおける画像（ａ）の輝度値と画像（ｃ）の輝度値の差は小さな値となる。すなわち、時定数の異なる複数の画像の輝度値の相互関係を利用すれば、物体が追加された後に、物体が撤去されたことを判定することができ、かかる物体を放置物から除外することができる。

なお、ここで言う物体が「追加される」、「撤去される」というのは言葉上の表現でしかない。例えば、上記のΔｔが十分大きいと、画像（ｂ）の輝度値だけでなく、画像（ｃ）の輝度値も、画像（ａ）の輝度値に漸近し、一致する。この段階で、物体を撤去すると、時刻ｔ＋Δｔにおける画像（ａ）の輝度値と画像（ｃ）の輝度値との差も大きな値となり、ここでは物体が追加されたと扱われる。これは、物体で隠れていた背景が追加されたと考えることができる。

すなわち、厳密に考えると、「追加される」とは前後の画像が急激に変化したことを意味する。また、「撤去される」とは、急激に変化した画像が元の画像にすぐ戻ったことを意味する。

次に、本実施例２にかかる画像処理装置の構成について説明する。図８は、本実施例２にかかる画像処理装置１００の構成を示す図である。図８に示すように、この画像処理装置１００は、画像取得部１１０、フィルタリング部１２０、画像比較部１３０、判定部１４０、記憶部１５０、出力部１６０を有する。

画像取得部１１０は、画像を取得する処理部である。画像取得部１１０は、取得した画像を順次フィルタリンク部１２０に出力する。画像取得部１１０は、カメラのように画像を撮影する装置に対応する。

フィルタリング部１２０は、時間的に連続する画像に対して時定数の異なる複数のローパスフィルタを適用し、複数の画像を生成する処理部である。フィルタリング処理部１２０は、生成した複数の画像を画像比較部１３０に出力する。フィルタリング部１２０は、ＡＳＩＣ（Application Specific Integrated Curcuit）、ＦＰＧＡ（Field Programmable Gate Array）に対応する。

画像比較部１３０は、フィルタリング部１２０から、複数の画像を取得し、各画像の輝度値を比較して、各画像の輝度値の差を算出する処理部である。画像比較部１３０は、各画像と、各画像の輝度値の差の情報を判定部１４０に出力する。画像比較部１３０は、コンピュータ上で動作するソフトウェアで実現しても良く、あるいは、ＡＳＩＣ、ＦＰＧＡ等のハードウェアを用いて実現してもよい。

判定部１４０は、各画像の輝度値の差に基づいて、放置された物体を判定し、放置された物体の画像を記憶部１５０に格納する処理部である。判定部１４０は、例えば、各画像の輝度値の相互関係に基づいて、放置された物体を判定する処理を行うものであり、コンピュータ上で動作するソフトウェアで実現しても良く、あるいは、ＡＳＩＣ、ＦＰＧＡ等のハードウェアを用いて実現しても良い。

記憶部１５０は、各種の情報を記憶する記憶部である。本実施例２にかかる記憶部１５０は、画像データ１５０ａを記憶する。この画像データ１５０ａは、判定部１４０から出力される画像を含む。記憶部１５０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（flash memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。

出力部１６０は、判定部１４０の判定結果に基づいて警報を出力する処理部である。例えば、判定部１４０が、物体が放置されたと判定した場合に、出力部１６０は、警報を出力する。

ところで、図７で説明した例では、フィルタを適用していない画像（ａ）とローパスフィルタを適用した画像（ｂ）、（ｃ）を比較していた。しかし、画像取得部１１０から出力される画像は、人間の活動による画像劣化や、ノイズが含まれる。この画像劣化やノイズの影響を画像（ａ）から取り除くため、フィルタリング部１２０は、画像（ｂ）、（ｃ）の時定数よりもさらに小さい時定数のローパスフィルタを利用して、画像（ａ）を生成する。

図９は、画像取得部１１０から出力される画像と画像（ａ）〜（ｃ）の輝度値の変化を示す図である。図９に示すように、画像取得部１１０から出力される画像に時定数の小さなローパスフィルタを適用することで、画像に含まれるノイズの影響を除去することができる。また、フィルタリング部１２０は、判定部１４０の誤判定を防止するために、画像（ａ）の時定数よりも更に小さい時定数のローパスフィルタを用いて画像（ｚ）を生成する。判定部１４０の誤判定に関する説明は後述する。

したがって、本実施例２にかかるフィルタリング部１２０は、画像取得部１１０から画像を取得し、取得した画像に時定数の異なる４つの画像を生成する。以下において、フィルタリング部１２０の処理を具体的に説明する。まず、フィルタリング部１２０は、画像取得部１１０から画像Ｐを取り込む。画像Ｐを、縦ｍピクセル、横ｎピクセルの画像とすると、画像Ｐはｍ×ｎの大きさの配列となる。

フィルタリング部１２０は、画像Ｐと同じデータ量を記録するメモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃを有している。フィルタリング部１２０は、画像Ｐを異なる時定数のフィルタで処理し、メモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納する。メモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納される画像は、上述した画像（ｚ）、（ａ）、（ｂ）、（ｃ）に対応する。

フィルタリング部１２０は、初めて画像取得部１１０から画像Ｐを取得した場合、画像Ｐを初期値としてメモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納する。フィルタリング部１２０は、２回目以降、画像取得部１１０から画像Ｐを取得し、下記の式（４）〜（７）を利用して、ローパスフィルタの処理を実行する。

式（４）〜式（７）に含まれるｋ_ｚ、ｋ_ａ、ｋ_ｂ、ｋ_ｃは、０〜１の値が代入される。ただし、ｋ_ｚ、ｋ_ａ、ｋ_ｂ、ｋ_ｃの大小関係は、０＜ｋ_ｚ＜ｋ_ａ＜ｋ_ｂ＜ｋ_ｃ＜１となる。フィルタリング部１２０は、式（４）〜（７）の算出結果により、メモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納された画像データをそれぞれ更新する。また、フィルタリング部１２０は、メモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納された画像データを画像比較部１３０に出力する。以下の説明において、メモリ領域Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納された画像を、画像Ｑ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃとして説明する。

次に、画像比較部１３０の処理を具体的に説明する。画像比較部１３０は、フィルタリングした画像Ｑ_ａと画像Ｑ_ｂとの差Ｃ_ａｂおよび画像Ｑ_ａと画像Ｑとの差Ｃ_ａｃを算出する。画像比較部１３０は、画像Ｑ_ａに含まれるｉ番目のピクセルの輝度値と、画像Ｑ_ｂに含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、Ｃ_ａｂを算出する。

また、画像比較部１３０は、画像Ｑ_ａに含まれるｉ番目のピクセルの輝度値と、画像Ｑ_ｃに含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、Ｃ_ａｃを算出する。画像比較部１３０は、算出したＣ_ａｂ、Ｃ_ａｃの情報を判定部１４０に出力する。

次に、判定部１４０の処理を具体的に説明する。まず、判定部１４０は、Ｃ_ａｂと閾値Ｔ_ａｂを比較し、Ｃ_ａｂが閾値Ｔ_ａｂよりも大きいか否かを判定する。また、判定部１４０は、Ｃ_ａｃと閾値Ｔ_ａｃを比較し、Ｃ_ａｃが閾値Ｔ_ａｃよりも大きいか否かを判定する。

判定部１４０は、Ｃ_ａｂが閾値Ｔ_ａｂよりも大きく、かつ、Ｃ_ａｃが閾値Ｔ_ａｃよりも大きい場合、物体が「追加された」と判定する。判定部１４０は、物体が追加されたと判定した場合、画像Ｑ_ｂを画像データ１５０ａに格納する。

判定部１４０は、Ｃ_ａｂが閾値Ｔ_ａｂよりも大きく、かつ、Ｃ_ａｃが閾値Ｔ_ａｃ以下の場合、物体が「撤去された」と判定する。判定部１４０は、物体が撤去されたと判定した場合、直前に画像データ１５０ａに記録した画像Ｑ_ｂを削除する。

物体が追加された後に撤去された場合、かかる物体は放置されていないので画像として残す必要がない。判定部１４０は、物体が追加された後に撤去された場合、追加された時点で格納した画像を画像データ１５０ａから削除するので、記憶部１５０が記憶する画像のデータ量を削減することができる。

なお、判定部１４０は、物体が「追加された」または「撤去された」と判定したフレームの、次のフレームにおいて、画像Ｑ_ｂの輝度値が画像Ｑ_ａの輝度値に近付いていないことがある。画像Ｑ_ｂの輝度値をそのままにしておくと、再度、判定部１４０は、物体が「追加された」または「撤去された」と誤判定する場合がある。したがって、判定部１４０は、物体が「追加された」または「撤去された」と判定した後、一時的に、画像Ｑ_ａおよび画像Ｑ_ｂを画像Ｑ_ｚに一致させる。図１０は、判定部が画像Ｑ_ａ、Ｑ_ｂを画像Ｑ_ｚに一致させる処理を説明するための図である。図１０に示すように、判定部１４０は、物体が追加されたと判定した時点で、画像Ｑ_ａおよび画像Ｑ_ｂを画像Ｑ_ｚに一致させている。

また、判定部１４０は、物体が「撤去された」と判定したフレームの次のフレームにおいて、画像Ｑ_ｃの輝度値が画像Ｑ_ａの輝度値に近付いていないことがある。画像Ｑ_ｃの輝度値をそのままにしておくと、再度、判定部１４０は、物体が「撤去された」と誤判定する場合がある。したがって、判定部１４０は、物体が「撤去された」と判定した後、一時的に、画像Ｑ_ｃを画像Ｑ_ｚに一致させる。

次に、本実施例２にかかる画像処理装置１００の処理手順について説明する。図１１は、本実施例２にかかる画像処理装置１００の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００は、画像を取得し（ステップＳ１０１）、フィルタリング部１２０が、フィルタリング処理を実行する（ステップＳ１０２）。

画像比較部１３０が、Ｃ_ａｂ算出処理を実行し（ステップＳ１０３）、Ｃ_ａｃ算出処理を実行する（ステップＳ１０４）。判定部１４０は、Ｃ_ａｂがＴ_ａｂよりも大きいか否かを判定する（ステップＳ１０５）。判定部１４０は、Ｃ_ａｂがＴ_ａｂ以下の場合（ステップＳ１０６，Ｎｏ）、処理を終了する。

一方、判定部１４０は、Ｃ_ａｂがＴ_ａｂよりも大きい場合（ステップＳ１０６，Ｙｅｓ）、Ｃ_ａｃがＴ_ａｃよりも大きいか否かを判定する（ステップＳ１０７）。判定部１４０は、Ｃ_ａｃがＴ_ａｃよりも大きい場合（ステップＳ１０８，Ｙｅｓ）、物体が「追加された」と判定する（ステップＳ１０９）。判定部１４０は、ステップＳ１０９において、物体が「追加された」と判定した場合に、画像Ｑ_ｂを画像データ１５０ａに格納する。判定部１４０は、画像Ｑ_ｚを画像Ｑ_ａに設定し（ステップＳ１１０）、画像Ｑ_ｚを画像Ｑ_ｂに設定し（ステップＳ１１１）、処理を終了する。

一方、ステップＳ１０８において、判定部１４０は、Ｃ_ａｃがＴ_ａｃ以下の場合（ステップＳ１０８，Ｎｏ）、物体が「撤去された」と判定する（ステップＳ１１２）。判定部１４０は、物体が「撤去された」と判定した場合に、画像データ１５０ａに記録した一つ前の画像Ｑ_ｂを削除する。判定部１４０は、画像Ｑ_ｚを画像Ｑ_ｃに設定し（ステップＳ１１３）、ステップ１１０に移行する。

次に、図１１のステップＳ１０２に示したフィルタリング処理について説明する。図１２は、フィルタリング処理の処理手順を示すフローチャートである。図１２に示すように、フィルタリング部１２０は、画像Ｐの取得が初回であるか否かを判定する（ステップＳ１２１）。

フィルタリング部１２０は、画像Ｐの取得が初回である場合（ステップＳ１２２，Ｙｅｓ）、画像ＰをＱ_ｚ、Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃに格納し（ステップＳ１２３）、フィルタリング処理を終了する。

一方、フィルタリング部１２０は、画像Ｐの取得が初回でない場合（ステップＳ１２２，Ｎｏ）、Ｑ_ｚに格納された画像に対するフィルタリング処理を実行し（ステップＳ１２４）、Ｑ_ａに格納された画像に対するフィルタリング処理を実行する（ステップＳ１２５）。また、フィルタリング部１２０は、Ｑ_ｂに格納された画像に対するフィルタリング処理を実行し（ステップＳ１２６）、Ｑ_ｃに格納された画像に対するフィルタリング処理を実行する（ステップＳ１２７）。そして、フィルタリング部１２０は、フィルタリング処理を終了する。

次に、図１２のステップＳ１２４で示した、Ｑ_ｚに格納された画像に対するフィルタリング処理の処理手順について説明する。図１３は、Ｑ_ｚに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１３に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１３１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１３２）。

フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１３３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１３３，Ｎｏ）、ｋ_ｚＰ（ｉ）＋（１−ｋ_ｚ）Ｑ_ｚ（ｉ）を算出し、算出結果をＱ_ｚ（ｉ）に格納する（ステップＳ１３４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１３５）、ステップＳ１３２に移行する。

次に、図１２のステップＳ１２５で示した、Ｑ_ａに格納された画像に対するフィルタリング処理の処理手順について説明する。図１４は、Ｑ_ａに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１４に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１４１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１４２）。

フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１４３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１４３，Ｎｏ）、ｋ_ａＰ（ｉ）＋（１−ｋ_ａ）Ｑ_ａ（ｉ）を算出し、算出結果をＱ_ａ（ｉ）に格納する（ステップＳ１４４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１４５）、ステップＳ１４２に移行する。

次に、図１２のステップＳ１２６で示した、Ｑ_ｂに格納された画像に対するフィルタリング処理の処理手順について説明する。図１５は、Ｑ_ｂに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１５に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１５１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１５２）。

フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１５３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１５３，Ｎｏ）、ｋ_ｂＰ（ｉ）＋（１−ｋ_ｂ）Ｑ_ｂ（ｉ）を算出し、算出結果をＱ_ｂ（ｉ）に格納する（ステップＳ１５４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１５５）、ステップＳ１５２に移行する。

次に、図１２のステップＳ１２７で示した、Ｑ_ｃに格納された画像に対するフィルタリング処理の処理手順について説明する。図１６は、Ｑ_ｃに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１６に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１６１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１６２）。

フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１６３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１６３，Ｎｏ）、ｋ_ｃＰ（ｉ）＋（１−ｋ_ｃ）Ｑ_ｃ（ｉ）を算出し、算出結果をＱ_ｃ（ｉ）に格納する（ステップＳ１６４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１６５）、ステップＳ１６２に移行する。

次に、図１１に示したＣ_ａｂ算出処理の処理手順について説明する。図１７は、Ｃ_ａｂ算出処理の処理手順を示すフローチャートである。図１７に示すように、画像比較部１３０は、Ｃ_ａｂの値を０に設定し（ステップＳ１７１）、ｉの値を０に設定する（ステップＳ１７２）。

画像比較部１３０は、ｉの値が画素数以上であるか否かを判定する（ステップＳ１７３）。画像比較部１３０は、ｉの値が画素数以上の場合（ステップＳ１７４，Ｙｅｓ）、処理を終了する。

一方、画像比較部１３０は、ｉの値が画素数未満の場合（ステップＳ１７４，Ｎｏ）、｜Ｑ_ａ（ｉ）−Ｑ_ｂ（ｉ）｜＋Ｃ_ａｂを算出し、算出結果をＣ_ａｂに格納する（ステップＳ１７５）。画像比較部１３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１７６）、ステップＳ１７３に移行する。

次に、図１１に示したＣ_ａｃ算出処理の処理手順について説明する。図１８は、Ｃ_ａｃ算出処理の処理手順を示すフローチャートである。図１８に示すように、画像比較部１３０は、Ｃ_ａｃの値を０に設定し（ステップＳ１８１）、ｉの値を０に設定する（ステップＳ１８２）。

画像比較部１３０は、ｉの値が画素数以上であるか否かを判定する（ステップＳ１８３）。画像比較部１３０は、ｉの値が画素数以上の場合（ステップＳ１８４，Ｙｅｓ）、処理を終了する。

一方、画像比較部１３０は、ｉの値が画素数未満の場合（ステップＳ１８４，Ｎｏ）、｜Ｑ_ａ（ｉ）−Ｑ_ｃ（ｉ）｜＋Ｃ_ａｃを算出し、算出結果をＣ_ａｃに格納する（ステップＳ１８５）。画像比較部１３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１８６）、ステップＳ１８３に移行する。

上述してきたように、本実施例２にかかる画像処理装置１００は、画像取得部１１０から出力される画像に対して、時定数の異なるローパスフィルタを適用して複数の画像を生成する。そして、画像処理装置１００は、各画像の輝度値の相互関係に基づいて、放置された物体のみを記憶部１５０に記録する。したがって、放置物に該当しない物体の画像が記憶部１５０に記憶されることを防止することができ、記憶部１５０の記憶すべきデータ量を削減することができる。また、記憶部１５０に記録する画像は、ローパスフィルタを適用した画像であるため、人物を画像から取り除いた状態で、記憶部１５０に記録することができる。

次に、本実施例３にかかる画像処理装置について説明する。本実施例３にかかる画像処理装置は、画像を複数の領域に分け、領域毎に、放置された物体が含まれるか否かを判定する。例えば、画像処理装置は、放置された物体を含む領域の画像のみを記録することで、記憶量を更に削減することもできる。

図１９は、本実施例３にかかる画像処理装置の構成を示す図である。図１９に示すように、この画像処理装置２００は、画像取得部２１０、フィルタリング部２２０、画像比較部２３０、判定部２４０、記憶部２５０を有する。このうち、画像取得部２１０、フィルタリング部２２０、記憶部２５０に関する説明は、実施例１で説明した画像取得部１１０、フィルタリング部１２０、記憶部２５０と同様である。

画像比較部２３０は、画像Ｑ_ａ、Ｑ_ｂ、Ｑ_ｃをＲ個の領域に分割し、分割した領域毎に、各画像の輝度値の差を算出する。以下の説明において、画像Ｑ_ａの分割された領域のうち、ｊ番目の領域に含まれる画像を画像Ｑ_ａ[ｊ]とする。画像Ｑ_ｂの分割された領域のうち、ｊ番目の領域に含まれる画像を画像Ｑ_ｂ[ｊ]とする。画像Ｑ_ｃの分割された領域のうち、ｊ番目の領域に含まれる画像を画像Ｑ_ｃ[ｊ]とする。なお、画像Ｑ_ｚの説明は省略する。

画像比較部２３０は、画像Ｑ_ａ[ｊ]と画像Ｑ_ｂ[ｊ]の輝度値の差Ｃ_ａｂ[ｊ]を算出し、算出したＣ_ａｂ[ｊ]を判定部２４０に出力する。また、画像比較部２３０は、画像Ｑ_ａ[ｊ]と画像Ｑ_ｃ[ｊ]の輝度値の差Ｃ_ａｃ[ｊ]を算出し、算出したＣ_ａｃ[ｊ]を判定部２４０に出力する。例えば、画像比較部２３０が、画像を６つの領域に分割した場合、Ｒの値は５となり、ｊの値は０〜５の値となる。

判定部２４０は、Ｃ_ａｂ[ｊ]、Ｃ_ａｃ[ｊ]に基づいて、領域毎に、放置された物体が含まれるか否かを判定する。判定部２４０は、放置された物体が含まれる領域の画像を記憶部２５０に登録する。以下において、判定部２４０の処理を具体的に説明する。

判定部２４０は、Ｃ_ａｂ[ｊ]と閾値Ｔ_ａｂとを比較し、Ｃ_ａｂ[ｊ]が閾値Ｔ_ａｂよりも大きいか否かを判定する。また、判定部２４０は、Ｃ_ａｃ[ｊ]と閾値Ｔ_ａｃとを比較し、Ｃ_ａｃ[ｊ]が閾値Ｔ_ａｃよりも大きいか否かを判定する。

判定部２４０は、Ｃ_ａｂ[ｊ]が閾値Ｔ_ａｂよりも大きく、かつ、Ｃ_ａｃ[ｊ]が閾値Ｔ_ａｃよりも大きい場合、物体が「追加された」と判定する。判定部２４０は、物体が追加されたと判定した場合、画像Ｑ_ｂ[ｊ]を画像データ２５０ａに格納する。

判定部２４０は、Ｃ_ａｂ［ｊ]が閾値Ｔ_ａｂよりも大きく、かつ、Ｃ_ａｃ[ｊ]が閾値Ｔ_ａｃ以下の場合、物体が「撤去された」と判定する。判定部２４０は、物体が撤去されたと判定した場合、直前に画像データ１５０ａに記録した画像Ｑ_ｂ［ｊ］を削除する。

次に、画像比較部２３０が、Ｃ_ａｂ[ｊ]を算出する処理、Ｃ_ａｃ[ｊ]を算出する処理の処理手順について説明する。図２０は、Ｃ_ａｂ[ｊ]を算出する処理手順を示すフローチャートである。図２０に示すように、画像比較部２３０は、ｊの値を０に設定し（ステップＳ２０１）、ｊの値がＲの値未満であるか否かを判定する（ステップＳ２０２）。

画像比較部２３０は、ｊの値がＲの値以上である場合（ステップＳ２０３，Ｎｏ）、Ｃ_ａｂ[ｊ]を算出する処理を終了する。一方、画像比較部２３０は、ｊの値がＲの値未満の場合（ステップＳ２０３，Ｙｅｓ）、Ｃ_ａｂ[ｉ]の値を０に設定する（ステップＳ２０４）。

画像比較部２３０は、ｉの値を０に設定し（ステップＳ２０５）、ｉの値が画素数以上であるか否かを判定する（ステップＳ２０６）。画像比較部２３０は、ｉの値が画素数以上の場合（ステップＳ２０７，Ｙｅｓ）、ステップＳ２０２に移行する。

一方、画像比較部２３０は、ｉの値が画素数未満の場合（ステップＳ２０７，Ｎｏ）、Ｃ_ａｂ[ｊ]＝｜Ｑ_ａ（ｉ）−Ｑ_ｂ（ｉ）｜を算出し、算出結果をＣ_ａｂ[ｊ]に代入する（ステップＳ２０８）。画像比較部２３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ２０９）、ステップＳ２０６に移行する。

図２１は、Ｃ_ａｃ[ｊ]を算出する処理手順を示すフローチャートである。図２１に示すように、画像比較部２３０は、ｊの値を０に設定し（ステップＳ３０１）、ｊの値がＲの値未満であるか否かを判定する（ステップＳ３０２）。

画像比較部２３０は、ｊの値がＲの値以上である場合（ステップＳ３０３，Ｎｏ）、Ｃ_ａｃ[ｊ]を算出する処理を終了する。一方、画像比較部２３０は、ｊの値がＲの値未満の場合（ステップＳ３０３，Ｙｅｓ）、Ｃ_ａｃ[ｊ]の値を０に設定する（ステップＳ３０４）。

画像比較部２３０は、ｉの値を０に設定し（ステップＳ３０５）、ｉの値が画素数以上であるか否かを判定する（ステップＳ３０６）。画像比較部２３０は、ｉの値が画素数以上の場合（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０２に移行する。

一方、画像比較部２３０は、ｉの値が画素数未満の場合（ステップＳ３０７，Ｎｏ）、Ｃ_ａｃ[ｊ]＝｜Ｑ_ａ（ｉ）−Ｑ_ｃ（ｉ）｜を算出し、算出結果をＣ_ａｃ[ｊ]に代入する（ステップＳ３０８）。画像比較部２３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ３０９）、ステップＳ３０６に移行する。

上述してきたように、本実施例３にかかる画像処理装置２００は、画像比較部２３０が画像を複数の領域に分割し、判定部２４０が領域毎に放置物が含まれるか否かを判定して、放置物を含む領域の画像を画像データ２５０ａに格納する。実施例１の画像処理装置１００は、放置物を含む画像を格納していたが、画像処理装置２００は、放置物を含む一部の画像を格納するので、保存する画像のデータ量を実施例２の画像処理装置１００よりも削減することができる。なお、画像処理装置２００は、分割した領域に放置物が含まれていると判定した場合、実施例２と同様にして、画像全体を記憶部２５０に記憶してもよい。

次に、本実施例４にかかる画像処理装置について説明する。本実施例４にかかる画像処理装置は、画像を複数の領域に分割し、輝度値が大きく変化する領域を特定する。人物の大きさに対して放置物が小さいとすれば、輝度値が大きく変化する領域は、人が一時的に通っている領域と考えられるため、かかる領域を放置物の検出対象から外す。このように、放置物の検出対象となる領域を絞り込むことで、処理負荷を軽減する。

図２２は、本実施例４にかかる画像処理装置の構成を示す図である。図２２に示すように、この画像処理装置３００は、画像取得部３１０、マスク設定部３２０、フィルタリング部３３０、画像比較部３４０、判定部３５０、記憶部３６０を有する。

画像取得部３１０は、画像を取得する処理部である。画像取得部３１０は、取得した画像を順次マスク設定部３２０に出力する。画像取得部３１０は、カメラのように画像を撮影する装置に対応する。

マスク設定部３２０は、画像を複数の領域に分割し、放置物を検索しない領域を設定する処理部である。以下の説明において、放置物を検索しない領域をマスク領域と表記する。マスク設定部３２０は、マスク領域の情報をフィルタリング部３３０に出力する。また、マスク設定部３２０は、画像取得部３１０から取得した画像をフィルタリング部３３０に出力する。

以下において、マスク設定部３２０の処理を具体的に説明する。マスク設定部３２０は、Ｒ個のメモリ領域を有し、ｊ番目のメモリ領域をＳ[ｊ]とする。マスク設定部３２０は、画像取得部３１０から取得する画像の領域をＲ個の領域に分割する。分割した各領域をＮ[ｊ]とする。マスク設定部３２０は、画像取得部３１０から初めて画像を取得した場合、領域Ｎ[ｊ]に含まれる画像を、Ｓ[ｊ]に格納する。

マスク設定部３２０は、画像取得部３１０から２回目以降の画像を取得した場合、領域Ｎ[ｊ］の画像とメモリ領域Ｓ[ｊ]の画像とを比較して、領域毎に輝度値の差Ｃ_ｐ[ｊ]を算出する。マスク設定部３２０は、Ｃ_ｐ[ｊ]の値が閾値Ｔよりも大きいか否かを判定する。

マスク設定部３２０は、Ｃ_ｐ[ｊ]の値が閾値Ｔよりも大きいと判定した場合、領域Ｎ［ｊ］を、マスク領域と判定する。そして、マスク設定部３２０は、領域Ｎ[ｊ]の画像で、メモリ領域Ｓ[ｊ]の画像を更新する。

一方、マスク設定部３２０は、Ｃ_ｐ[ｊ]の値が閾値Ｔ以下の場合、領域Ｎ[ｊ]を、通常の領域と判定する。そして、マスク設定部３２０は、領域Ｎ[ｊ]の画像で、メモリ領域Ｓ[ｊ]の画像を更新する。マスク設定部３２０は、Ｎ[ｊ]がマスク領域であるか否かの情報を、フィルタリング部３４０に出力する。

フィルタリング部３３０は、マスク領域以外の各領域に対して、時定数の異なる複数のローパスフィルタを適用し、領域毎に複数の画像を生成する処理部である。フィルタリング部３３０は、領域毎の複数の画像を画像比較部３４０に出力する。

以下において、フィルタリング部３３０の処理を具体的に説明する。フィルタリング部３３０は、領域Ｎ[ｊ]に含まれる画像Ｐ[ｊ]と同じデータ量を記録するメモリ領域Ｑ_ｚ[ｊ]、Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]を領域毎に有している。フィルタリング部３３０は、画像Ｐ[ｊ]を異なる時定数のフィルタで処理し、メモリ領域Ｑ_ｚ[ｊ]、Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]に格納する。

フィルタリング部３３０は、初めて画像Ｐ[ｊ]を取得した場合、画像Ｐ[ｊ]を初期値としてメモリ領域Ｑ_ｚ[ｊ]、Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]に格納する。フィルタリング部３３０は、２回目以降、マスク設定部３２０から画像Ｐ[ｊ]を取得し、下記の式（８）〜（１１）を利用して、ローパスフィルタの処理を実行する。

式（８）〜式（１１）に含まれるｋ_ｚ、ｋ_ａ、ｋ_ｂ、ｋ_ｃは、０〜１の値が代入される。ただし、ｋ_ｚ、ｋ_ａ、ｋ_ｂ、ｋ_ｃの大小関係は、０＜ｋ_ｚ＜ｋ_ａ＜ｋ_ｂ＜ｋ_ｃ＜１となる。フィルタリング部３３０は、式（８）〜（１１）の算出結果により、メモリ領域Ｑ_ｚ[ｊ]、Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]に格納された画像データをそれぞれ更新する。また、フィルタリング部３３０は、メモリ領域Ｑ_ｚ[ｊ]、Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]に格納された画像データを画像比較部３４０に出力する。

なお、フィルタリング部３３０は、領域Ｎ[ｊ]がマスク領域の場合、領域Ｎ[ｊ]に含まれる画像Ｐ[ｊ]にローパスフィルタを適用する処理を一時的に停止する。例えば、フィルタリング部３３０は、領域Ｎ[ｊ]に所定の値を設定し、画像取得部３１０が画像を取得するたびに領域Ｎ[ｊ]に設定した値から１を減算する。そして、領域Ｎ[ｊ]に設定した値が０になった時点で、領域Ｎ[ｊ]にローパスフィルタを適用する処理を再開する。

画像比較部３４０は、フィルタリング部３３０から、領域毎の複数の画像Ｑ_ｚ[ｊ]、Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]を取得し、各画像の輝度値の差を算出する処理部である。画像比較部３４０は、領域毎の画像と、各画像の輝度値の差の情報を判定部３５０に出力する。

以下において、画像比較部３４０の処理を具体的に説明する。画像比較部３４０は、領域Ｎ[ｊ]の画像Ｐ[ｊ]にローパスフィルタを適用した各画像Ｑ_ａ[ｊ]、Ｑ_ｂ[ｊ]、Ｑ_ｃ[ｊ]の輝度値の差を算出する。

画像比較部３４０は、画像Ｑ_ａ[ｊ]に含まれるｉ番目のピクセルの輝度値と、画像Ｑ_ｂ[ｊ]に含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、画像Ｑ_ａ[ｊ]と、画像Ｑ_ｂ[ｊ]の差Ｃ_ａｂ[ｊ]を算出する。

画像比較部３４０は、画像Ｑ_ａ[ｊ]に含まれるｉ番目のピクセルの輝度値と、画像Ｑ_ｃ[ｊ]に含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、画像Ｑ_ａ[ｊ]と、画像Ｑ_ｃ[ｊ]の差Ｃ_ａｃ[ｊ]を算出する。画像比較部３４０は、算出したＣ_ａｂ[ｊ]、Ｃ_ａｃ[ｊ]の情報を判定部３５０に出力する。

判定部３５０は、各画像の輝度値の差に基づいて、放置された物体を領域毎に判定し、放置された物体が存在する領域の画像を記憶部１５０に格納する処理部である。以下において、判定部３５０の処理を具体的に説明する。

まず、判定部３５０は、Ｃ_ａｂ[ｊ]と閾値Ｔ_ａｂを比較し、Ｃ_ａｂ[ｊ]が閾値Ｔ_ａｂよりも大きいか否かを判定する。また、判定部３５０は、Ｃ_ａｃ[ｊ]と閾値Ｔ_ａｃを比較し、Ｃ_ａｃ[ｊ]が閾値Ｔ_ａｃよりも大きいか否かを判定する。

判定部３５０は、Ｃ_ａｂ[ｊ]が閾値Ｔ_ａｂよりも大きく、かつ、Ｃ_ａｃ[ｊ]が閾値Ｔ_ａｃよりも大きい場合、領域Ｎ[ｊ]に物体が「追加された」と判定する。判定部３５０は、物体が追加されたと判定した場合、Ｍ[ｊ]に「追加フラグ」を立てる。

判定部３５０は、Ｃ_ａｂ[ｊ]が閾値Ｔ_ａｂよりも大きく、かつ、Ｃ_ａｃ[ｊ]が閾値Ｔ_ａｃ以下の場合、領域Ｎ[ｊ]から物体が「撤去された」と判定する。判定部３５０は、物体が撤去されたと判定した場合、Ｍ[ｊ]に「撤去フラグ」を立てる。

判定部３５０は、Ｃ_ａｂ[ｊ]が閾値Ｔ_ａｂ以下の場合、領域Ｎ[ｊ]の画像が「変化していない」と判定する。判定部３５０は、変化していないと判定した場合、Ｍ[ｊ]に「変化無しフラグ」を立てる。なお、判定部３５０は、Ｎ[ｊ]がマスク領域の場合、Ｍ[ｊ]に「マスク中フラグ」を立てる。

判定部３５０は、Ｍ[０]〜Ｍ[Ｒ−１]を参照し、「追加フラグ」が一つでも立っているか否かを判定する。例えば、Ｍ[ｊ]に追加フラグが立っていた場合、判定部３５０は、Ｑ_ａ[ｊ]の画像と、Ｑ_ｃ[０]〜Ｑ_ｃ[ｊ−１]、Ｑ_ｃ[ｊ＋１]〜Ｑ_ｃ[Ｒ]の画像を合成し、合成した画像を画像データ３６０ａに格納する。

また、判定部３５０は、Ｍ[０]〜Ｍ[Ｒ−１]を参照し、「撤去フラグ」が一つでも立っているか否かを判定する。判定部３５０は、撤去フラグが一つでも立っている場合、直前に画像データ３６０ａに記録した画像を削除する。

領域Ｎ[ｊ]に物体が追加された後に撤去された場合、かかる物体は放置されていないので、画像として残す必要がない。判定部３５０は、物体が追加された後に撤去された場合、追加された時点で格納した画像を画像データ３６０ａから削除するので、記憶部３６０が記憶する画像のデータ量を削減することができる。

次に、本実施例４にかかる画像処理装置３００の処理手順について説明する。図２３および図２４は、本実施例４にかかる画像処理装置３００の処理手順を示すフローチャートである。図２３に示すように、画像処理装置３００は、画像を取得し（ステップＳ４０１）、ｊの値を０に設定する（ステップＳ４０２）。

画像処理装置３００は、ｊの値がＲの値未満であるか否かを判定する（ステップＳ４０３）。画像処理装置３００は、ｊの値がＲの値未満の場合（ステップＳ４０４，Ｙｅｓ）、Ｃ_ｐ[ｊ]を算出し（ステップＳ４０５）、Ｃ_ｐ[ｊ]が閾値Ｔ以上であるか否かを判定する（ステップＳ４０６）。画像処理装置３００は、Ｃ_ｐ[ｊ]が閾値Ｔ以上の場合（ステップＳ４０７，Ｙｅｓ）、Ｎ［ｊ]に数値ＮＮを設定し（ステップＳ４０８）、ステップＳ４０９に移行する。なお、Ｎ[ｊ]の初期値を０とする。

画像処理装置３００は、Ｃ_ｐ[ｊ]が閾値Ｔ未満の場合（ステップＳ４０７，Ｎｏ）、Ｓ[ｊ]の画像をＮ[ｊ]に含まれる画像Ｐ［ｊ］に更新する（ステップＳ４０９）。画像処理装置３００は、ｊの値に１を加算した値をｊに設定し（ステップＳ４１０）、ステップＳ４０３に移行する。

ところで、画像処理装置３００は、ｊの値がＲの値以上の場合（ステップＳ４０４，Ｎｏ）、ｊの値を０に設定し（ステップＳ４１１）、ｊの値がＲの値未満であるか否かを判定する（ステップＳ４１２）。画像処理装置３００は、ｊの値がＲの値以上の場合（ステップＳ４１３，Ｎｏ）、Ｍ[０]〜Ｍ[Ｒ−１]のフラグに応じて画像を記録・削除する（ステップＳ４１４）。

一方、画像処理装置３００は、ｊの値がＲの値未満の場合（ステップＳ４１３，Ｙｅｓ）、図２４のステップＳ４１５に移行する。図２４において、画像処理装置３００は、Ｎ[ｊ]の値が０より大きいか否かを判定する（ステップＳ４１５）。

画像処理装置３００は、Ｎ[ｊ]の値が０よりも大きい場合（ステップＳ４１６，Ｙｅｓ）、Ｎ[ｊ]の値から１を減算した値をＮ[ｊ]の値に設定する（ステップＳ４１７）、画像処理装置３００は、Ｍ[ｊ]に「マスク中フラグ」を立て（ステップＳ４１８）、ステップＳ４３２に移行する。

一方、画像処理装置３００は、Ｎ[ｊ]の値が０以下の場合（ステップＳ４１６，Ｎｏ）、フィルタリングを実行し（ステップＳ４１９）、Ｃ_ａｂ[ｊ]を算出し（ステップＳ４２０）、Ｃ_ａｃ[ｊ]を算出する（ステップＳ４２１）。

画像処理装置３００は、Ｃ_ａｂ[ｊ]の値がＴ_ａｂよりも大きいか否かを判定する（ステップＳ４２２）。画像処理装置３００は、Ｃ_ａｂ[ｊ]の値がＴ_ａｂ以下の場合（ステップＳ４２３，Ｎｏ）、Ｍ[ｊ]に「変化なしフラグ」を立て（ステップＳ４２４）、ステップＳ４３２に移行する。

一方、画像処理装置３００は、Ｃ_ａｂ[ｊ]の値がＴ_ａｂよりも大きい場合（ステップＳ４２３，Ｙｅｓ）、Ｃ_ａｃ[ｊ]がＴ_ａｃよりも大きいか否かを判定する（ステップＳ４２５）。画像処理装置３００は、Ｃ_ａｃ[ｊ]がＴ_ａｃ以下の場合（ステップＳ４２６，Ｎｏ）、Ｍ［ｊ］に「撤去フラグ」を立てる（ステップＳ４２７）。画像処理装置３００は、Ｑ_ｚ[ｊ]の画像をＱｃ[ｊ]の画像に設定し（ステップＳ４２８）、ステップＳ４３０に移行する。

一方、画像処理装置３００は、Ｃ_ａｃ[ｊ]がＴ_ａｃより大きい場合（ステップＳ４２６，Ｙｅｓ）、Ｍ[ｊ]に「追加フラグ」を立てる（ステップＳ４２９）。画像処理装置３００は、Ｑ_ｚ[ｊ]の画像をＱ_ａ[ｊ]の画像に設定し（ステップＳ４３０）、Ｑ_ｚ[ｊ]の画像をＱ_ｂ[ｊ]の画像に設定する（ステップＳ４３１）。画像処理装置３００は、ｊの値に１を加算した値をｊに設定し（ステップＳ４３２）、図２３のステップＳ４１３に移行する。

上述してきたように、本実施例４にかかる画像処理装置３００は、画像を複数の領域に分割し、輝度が大きく変化する領域をマスク領域として特定し、マスク領域を放置物の検出対象から外す。したがって、放置物の検出対象となる領域を絞り込むことができ、処理負荷を軽減することができる。

なお、本実施例４にかかる画像処理装置３００は、マスク領域を特定した場合、一定時間経過後、マスク領域を解除しているがこれに限定されるものではない。例えば、マスク設定部３２０は、Ｃ_ｐ[ｊ]の値が閾値Ｔよりも大きくなる回数をカウントする。そして、マスク設定部３２０は、カウントした回数が所定回数以上となった場合に、領域Ｎ[ｊ]を永久にマスク領域として設定してもよい。例えば、マスク設定部３２０は、領域Ｎ[ｊ]の値を限りなく大きな数値に設定する。

また、Ｃ_ｐ[ｊ]の値が閾値Ｔよりも大きくなる回数が所定回数を下回る領域は、人の手が届かず、壁や天井のように物理的に放置物が置かれない領域であると考えられる。ここで、物理的に放置物がおかれない領域を基準領域と表記する。この基準領域の輝度値や色合いの変化に応じて、他の領域の輝度値や色合いを調整してもよい。例えば、部屋に明かりが灯った場合、画像全体の輝度値が変化してしまうので、各領域において物体が追加されたと誤判定する恐れがある。

したがって、画像処理装置３００は、基準領域の輝度値がΔＨ高くなった場合に、各領域の画像の輝度値をΔＨだけ低くすれば、画像全体の輝度値が変化した場合の誤判定を防止することができる。図２５は、永久にマスクする領域および基準領域を説明するための図である。

図２５に示すように、床や廊下は人が通過する領域であり、変化が激しいブロックに相当するため、永久にマスクする。壁や天井は、人がとおらず、物体も放置されないため、変化が無なく基準領域に相当する。テーブルが存在する領域は、各種の物体が放置される可能性が高いため、かかる領域を監視対象とする。

また、本実施例４にかかる画像処理装置３００は、閾値Ｔ_ａｂ、Ｔ_ａｃの値を固定して用いていたがこれに限定されるものではない。画像処理装置３００は、領域ごとに異なる閾値Ｔ_ａｂ、Ｔ_ａｃを設定してもよい。

例えば、物体が追加された回数をカウントし、カウントした回数に応じて、閾値Ｔ_ａｂ、Ｔ_ａｃの値を調整してもよい。例えば、物体が追加された回数が所定回数未満となる領域は、滅多に物体が放置されない領域である。このような領域に物体が放置される可能性が低いので、画像処理装置３００は、かかる領域において物体が追加されたと判定しにくくなるように閾値Ｔ_ａｂ、Ｔ_ａｃを調整する。具体的に、物体が追加された回数が所定回数未満となる領域をＮ[ｊ]とすると、Ｃ_ａｂ[ｊ」と比較する閾値Ｔ_ａｂに所定値を加算し、Ｃ_ａｃ[ｊ」と比較する閾値Ｔ_ａｃに所定値を加算する。

また、画像処理装置３００は、人物を検出する焦電センサを利用して、画像を記録するか否かを判定してもよい。焦電センサが人を検出していない間は、物体が追加されることは考えにくい。したがって、画像処理装置３００は、焦電センサが人を検出している間に、物体が追加されたと判定した場合に、追加された物体の画像を記憶するようにしてもよい。または、画像処理装置３００は、焦電センサが人を検出していない場合、画像Ｑ_ｃを画像ＰやＱ_ｚに上書きしてもよい。

ところで、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像取得部１１０、フィルタリング部１２０、画像比較部１３０を画像処理装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。

なお、画像処理装置１００は、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの情報処理装置に、上記した各部１１０〜１５０の各機能を搭載することによって実現することもできる。

図２６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。図２６に示すように、このコンピュータ４００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）４１０と、ユーザからのデータの入力を受け付ける入力装置４２０と、モニタ４３０を有する。また、コンピュータ４００は、記憶媒体からプログラム等を読取る媒体読み取り装置４４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置４５０を有する。また、コンピュータ４００は、画像を撮影するカメラ４６０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）４７０と、ハードディスク装置４８０を有する。各装置４１０〜４８０は、バス４９０に接続される。

そして、ハードディスク装置４８０には、図８に示したフィルタリング部１２０、画像比較部１３０、判定部１４０と同様の機能を有する画像処理プログラム４８１と、図８の記憶部１５０に記憶される画像データ１５０ａに対応する画像データ４８２とが記憶される。なお、画像データ４８２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。

ＣＰＵ４１０が画像処理プログラム４８１をハードディスク装置４８０から読み出してＲＡＭ４７０に展開することにより、画像処理プログラム４８１は、画像処理プロセス４７１として機能するようになる。そして、画像処理プロセス４７１は、画像データ４８２に対する画像の登録・削除を実行する。

なお、上記の画像処理プログラム４８１は、必ずしもハードディスク装置４８０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラムを、コンピュータ４００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等にこのプログラムを記憶させておき、コンピュータ２００がこれらからプログラムを読み出して実行するようにしてもよい。

１０，１００，２００，３００ 画像処理装置
１１ 画像生成部
１２ 判定部
１３，１５０，２５０，３６０ 記憶部
１１０，２１０，３１０ 画像取得部
１２０，２２０，３３０ フィルタリング部
１３０，２３０，３４０ 画像比較部
１４０，２４０，３５０ 判定部
１５０ａ，２５０ａ，３６０ａ 画像データ
３２０ マスク設定部

Claims (8)

1. 時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する画像生成部と、
   前記画像生成部が生成した複数の画像の輝度値の相互関係に基づいて撮影した画像中に追加・撤去された物体があるか否かを判定する判定部と
   を有することを特徴とする画像処理装置。
2. 前記判定部の判定結果に基づいて画像を記憶する記憶部をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定部の判定結果に基づいて警報を出力する出力部をさらに有することを特徴とする請求項１に記載の画像処理装置。
4. 前記判定部は、前記画像生成部が生成した各画像を複数の領域に分割し、分割した領域毎に画像を記録するか否かを判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記判定部は、前記分割した各領域のうち、所定時間における輝度値の変化回数が所定回数未満となる領域を特定し、特定した領域の輝度値の変化にあわせてその他の領域の輝度値を調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記判定部は、前後の画像の輝度値が所定値以上変化する領域を、画像を記録するか否かの判定対象の領域から除外することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. コンピュータに、
   時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する画像生成手順と、
   前記画像生成手順が生成した複数の画像の輝度値の相互関係に基づいて撮影した画像中に追加・撤去された物体があるか否かを判定する判定手順と
   を実行させることを特徴とする画像処理プログラム。
8. 画像処理装置が、
   時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する画像生成ステップと、
   前記画像生成手順が生成した複数の画像の輝度値の相互関係に基づいて撮影した画像中に追加・撤去された物体があるか否かを判定する判定ステップと
   を含んだことを特徴とする画像処理方法。

Images