JP2018112991A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮影された画像から高精度な背景画像を得ること。【解決手段】画像処理装置は、複数の画像のそれぞれにおいて前景物が存在する第１の領域を検出し、それぞれの第１の領域を除いた第２の領域の画素値を用いてその複数の画像を合成して、背景画像を生成する。【選択図】 図１

Description

本発明は、画像から背景画像を生成する技術に関する。

近年、監視カメラが多くの場所で設置されるようになってきている。その一方で、監視カメラで撮影された映像において、個人のプライバシーを保護することの重要性が高まっている。このような個人のプライバシーを保護するための技術として、特許文献１には、入力された画像を背景画像と比較することによって、人物等の前景物を隠蔽することにより、個人のプライバシーを保護した画像を生成する手法が記載されている。

特開２０１６−１１５２１４号公報 特開２０１２−２０３６８０号公報

特許文献１に記載の手法では、入力された画像と比較される背景画像が必要である。しかしながら、特許文献１では、処理の開始時において、ある時点での画像を背景画像として使用するため、選択する画像によっては保護対象とすべき前景物が背景画像として取り扱われる場合があり、プライバシーの十分な保護ができない場合がありうる。また、特許文献２には、入力された画像の画素値の特徴量の頻度分布から背景画像を生成する技術が記載されている。しかしながら、特許文献２の技術においても、前景物の出現頻度が高い場合等、特徴量の頻度分布が前景物に強く影響される場合がありえ、前景物の特徴が背景画像の一部として取り扱われる場合がありえた。

本発明は上述の課題に鑑みてなされたものであり、撮影された画像から高精度な背景画像を得るための技術を提供することを目的とする。

本発明の一態様に係る画像処理装置は、複数の画像のそれぞれにおいて前景物が存在する第１の領域を検出する検出手段と、それぞれの前記第１の領域を除いた第２の領域の画素値を用いて前記複数の画像を合成して、背景画像を生成する生成手段と、を有する。

本発明によれば、撮影された画像から高精度な背景画像を得ることができる。

画像処理システムの構成及びシステム内の各装置の機能構成例を示す図である。 システム内の各装置のハードウェア構成例を示す図である。 背景画像の生成処理の概要を示す図。 背景画像の生成処理の流れの例を示す図。 プライバシー保護画像の生成処理の流れの例を示す図。 撮影情報を用いた画像選択処理の概要を示す図。

以下、添付の図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、以下の構成は一例に過ぎず、本発明は説明される構成に限定されるものではない。

（システム構成）
図１に、本実施形態に係る画像処理システムの構成例を示す。本画像処理システムは、一例として、録画装置（撮像装置）１０１と表示装置１０２とを含んで構成される。なお、本画像処理システムは、例えば録画装置１０１及び表示装置１０２の機能を有する１つの画像処理装置によって構成されてもよいし、録画装置１０１又は表示装置１０２の機能の一部をそれぞれが有する３つ以上の装置によって構成されてもよい。このような装置のそれぞれは、例えば図２のようなハードウェア構成を有しうる。なお、図２は一例であり、各装置は図示されるハードウェア構成以外の構成を有してもよいし、図示された構成の一部を有しなくてもよい。

各装置は、一例として、記憶部２０１、制御部２０２、機能部２０３、入力部２０４、出力部２０５、通信部２０６及びアンテナ２０７を有する。記憶部２０１は、ＲＯＭ、ＲＡＭの両方、または、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、通信や各種処理のためのパラメータ等、各種情報を記憶する。なお、記憶部２０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体が用いられてもよい。

制御部２０２は、例えば、ＣＰＵやＭＰＵ等のプロセッサ、ＡＳＩＣ（特定用途向け集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等により構成される。ここで、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＭＰＵは、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語である。制御部２０２は、記憶部２０１に記憶されたプログラムを実行することにより装置全体を制御する。なお、制御部２０２は、記憶部２０１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働により装置全体を制御するようにしてもよい。

また、制御部２０２は、機能部２０３を制御して、撮像等の所定の処理を実行する。機能部２０３は、装置が所定の処理を実行するためのハードウェアである。例えば、録画装置１０１においては、機能部２０３は撮像部であり、撮像処理を行う。また、例えば、表示装置１０２がプリント機能を有する場合、機能部２０３は印刷部であってもよく、例えば、表示装置１０２がプロジェクタ機能を有する場合、機能部２０３は投影部でありうる。機能部２０３が処理するデータは、記憶部２０１に記憶されているデータであってもよいし、後述する通信部２０６を介して他の装置と通信したデータであってもよい。

入力部２０４は、ユーザからの各種操作の受付を行う。出力部２０５は、ユーザに対して各種出力を行う。ここで、出力部２０５による出力とは、画面上への表示や、スピーカーによる音声出力、振動出力等の少なくとも１つを含む。なお、タッチパネルのように入力部２０４と出力部２０５の両方を１つのモジュールで実現するようにしてもよい。

通信部２０６は、例えば有線通信（又は無線通信）の制御や、ＩＰ通信の制御を行う。各装置は通信部２０６を介して、画像データや文書データ、映像データ等のコンテンツを他の通信装置と通信する。例えば、録画装置１０１と表示装置１０２との間の通信は、各装置の通信部２０６を介して行われる。

ここで、図１に示すように、録画装置１０１は、その機能構成として、画像取得部１１１、画像保存部１１２、及び画像送信部１１３を含む。画像取得部１１１は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行して撮像部２０３を制御することで実現され、レンズ及びセンサを有する撮像部（機能部２０３）を用いて、所定の間隔で画像を取得して、画像保存部１１２に供給する。画像保存部１１２は、例えば記憶部２０１によって実現され、画像取得部１１１から取得した画像を保存する。すなわち撮像部２０３によって撮像された画像が録画されることになる。画像送信部１１３は、例えば通信部２０６によって実現され、表示装置１０２から画像の取得要求を受信したことに応じて、画像保存部１１２に保存された画像の中から、要求された画像を取得して表示装置１０２へと送信する。なお、表示装置１０２から受信される取得要求は、例えば、少なくとも画像の撮影時刻を指定する情報を含む信号であり、画像送信部１１３は、その指定された撮影時刻の情報に従って、表示装置１０２に送信すべき画像を決定することができる。

一方、表示装置１０２は、その機能構成として、画像受信部１２１、検出部１２２、画像変換部１２３、背景保存部１２４、背景更新部１２５、シルエット抽出部１２６、及び出力部１２７を含む。

画像受信部１２１は、例えば通信部２０６によって実現され、録画装置１０１へ画像の取得要求を送信し、録画装置１０１からその応答として画像を受信して取得し、その取得された画像を検出部１２２、画像変換部１２３、及び背景更新部１２５へ供給する。以下では、この取得された画像を取得画像と呼ぶ。

検出部１２２は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、取得画像に写っている人物の領域を検出する。この人物の領域の検出は、例えばパターンマッチング法を用いて実行される。検出部１２２は、取得画像に人物が写っているか否か、人物が１つ以上写っている場合にその人物がそれぞれ写っている取得画像上の領域の座標の情報を生成する。以下では、ここで生成された情報を検出結果と呼ぶ。なお、領域の座標は、ここでは人物が写っている領域を含む矩形領域の座標であるものとするが、例えばその人物の形状に沿った曲線で囲まれた領域を特定するための座標であってもよい。また、ここでの人物が写っている領域は、人物の顔及び体が写っている領域でありうるが、例えば人物の顔のみを含む領域であってもよい。以下では、この人物が写っている領域のことを人物領域と呼ぶ。

なお、検出部１２２は、人物を検出する処理ではなく、背景差分法を用いた動体検出処理やその他の物体検出処理など、取得画像から任意の前景物の領域を抽出する任意の処理を実行しうる。また、検出部１２２は、さらに、人や車など物体領域の属性を判定し、人などの所定の属性を持つ背景物でない物体の領域のみを検出結果としてもよい。また、検出部１２２は、動画符号化に使用するフレーム間の動き情報を、物体の有無を示す情報として用いてもよい。また、検出結果の生成は、背景画像の生成時に行われてもよいが、それに限られない。例えば、録画装置１０１において、画像保存部１１２に画像を保存する際や、画像取得部１１１が撮影された画像を取得した際に、上述のような検出処理が行われてもよい。なお、この場合、検出結果が、画像と共に、メタデータとして画像保存部１１２に保存されるようにしてもよい。

画像変換部１２３は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、画像受信部１２１から供給された取得画像と検出部１２２から供給された検出結果とを用いて、背景画像を生成する。背景画像は、複数の取得画像の中で、人物領域ではない領域の画素値を用いて生成される。この処理の詳細については後述する。

背景保存部１２４は、例えば記憶部２０１によって実現され、画像変換部１２３が生成した背景画像、又は後述の背景更新部１２５が更新した背景画像を保存する。

背景更新部１２５は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、背景保存部１２４から取得した背景画像を、画像受信部１２１及び検出部１２２からそれぞれ供給された取得画像と検出結果を用いて更新する。なお、背景更新部１２５は、例えば、画像受信部１２１及び検出部１２２から取得画像及び検出結果の供給を受けずに、画像変換部１２３が生成した背景画像を取得しうる。この場合、背景更新部１２５は、背景保存部１２４から取得した過去の背景画像を、画像変換部１２３から取得した新しい背景画像を用いて更新する。背景更新部１２５は、更新した背景画像を、背景保存部１２４に保存する。背景更新部１２５の処理の詳細についても後述する。

シルエット画像生成部１２６は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、背景画像と取得画像の差分に基づいて、人物のシルエット画像を生成する。なお、シルエット画像生成部１２６は、人物に限らずに前景物のシルエット画像を生成しうるが、例えばパターン認識によって人物を特定し、人物以外についてはシルエット画像を生成しないようにしてもよい。背景画像及び取得画像は、例えば、それぞれ背景保存部１２４及び画像受信部１２１から取得される。なお、シルエット画像生成部１２６は、例えば画像変換部１２３や背景更新部１２５が生成／更新した背景画像を、背景保存部１２４を介さずに直接取得してもよい。

出力部１２７は、例えば図１の出力部２０５によって実現され、背景更新部１２５が更新した背景画像にシルエット画像生成部１２６が生成したシルエット画像を合成してディスプレイの表示画面（不図示）のいずれかに出力する。

ここで、画像変換部１２３による背景画像の生成処理について説明する。画像変換部１２３は、検出部１２２が出力した検出結果に基づいて、取得画像から人物でない領域の画素値を特定して背景画像を生成する。図３（Ａ）は、ある時刻の取得画像に対して検出処理が実行された結果を示す図である。図３（Ａ）において、矩形領域３０１及び３０２は、人物が検出された領域（人物領域）を示す。図３（Ｂ）は、図３（Ａ）の検出結果を得るために用いられた取得画像から人物が検出された人物領域以外の領域の画素値を採用して生成された背景画像を示している。図３（Ｂ）では、この背景画像において、領域３０３及び３０４が人物領域であったために画素値が採用されない状態が黒塗りの領域によって示されている。人物が検出されなかった画像では、採用されない画素値がないため１枚の画像で画像全体の画素値を得ることができるが、人物が検出された画像は、１枚だけでは、画像全体の画素値を得ることができず、画素値が得られていない領域が残ることとなる。このため、本実施形態の画像変換部１２３は、画素値が得られていない領域をなくすため、時刻の異なる別の画像を用いて同様の処理を繰り返す。

図３（Ｃ）は、図３（Ａ）とは異なる時刻の取得画像に対して検出処理が実行された結果を示す図であり、図３（Ｃ）において、矩形領域３０５及び３０６が人物領域である。図３（Ｄ）は、図３（Ｂ）において画素値が得られなかった領域３０３及び３０４において、図３（Ｃ）の検出結果を得る際に用いられた取得画像に含まれる人物領域３０５及び３０６を除いた領域で得られた画素値を適用して得られる背景画像を示している。すなわち、図３（Ｄ）では、図３（Ａ）及び図３（Ｃ）において共に人物領域であった領域３０７及び３０８については、この時点においても画素値が得られていないが、それ以外の領域については、画素値が得られている。このように、図３（Ｄ）の背景画像は、図３（Ｂ）の背景画像と比べて、画素値が得られていない領域が減少する。画像変換部１２３は、複数の画像についてこのような処理を繰り返し実行することにより、画素値が得られていない領域が徐々に減少する。

なお、人物が常時存在する映像では、画像数を増やしても画像全体の画素値を得ることができない場合がある。この場合、所定数の画像を処理しても画素値が得られていないままの領域は、背景画像を生成できなかった背景未生成領域として、背景保存部１２４に記憶されうる。また、画像全体に対する背景未生成領域の割合から、背景画像の完成度が算出されうる。一例において、１０００万画素中、１０万画素の領域が背景未生成領域である場合、完成度は９９％と算出されうる。

また、複数の取得画像のうちのいずれか１枚の画素値を背景画像の各領域の画素値として用いてもよいが、これに限られない。例えば、これらの領域の画素値として、複数の取得画像の対応する領域の画素値を用いて、それらの平均値や最頻値を、背景画像の画素値として用いてもよい。なお、ここでの平均値は、各画素について、複数の取得画像のうち人物領域ではなかった１枚以上の画像についての画素値の和を、その１枚以上の画像の枚数で除算した結果である。

背景更新部１２５は、背景保存部１２４から背景画像を、画像受信部１２１から取得画像を、検出部１２２から検出結果を、それぞれ取得する。そして、背景更新部１２５は、人物領域として検出された領域以外について、例えば、取得画像の画素値と背景画像の画素値との加重平均値を背景画像の画素値として用いることにより、背景画像を更新する。例えば、背景更新部１２５は、検出結果が人物領域ではないことを示す領域について、背景保存部１２４から取得した背景画像の各画素値に係数α（０＜α＜１）を乗じ、画像受信部１２１から取得した取得画像の各画素値に係数（１−α）を乗じて加算する。このとき、αが大きいほど背景保存部１２４から取得された背景画像の画素値が強く影響し、αが小さいほど画像受信部１２１から取得した取得画像の画素値が強く影響することとなる。

また、背景更新部１２５は、画像変換部１２３が生成した背景画像に背景未生成領域が含まれている場合に、その背景未生成領域の情報を背景保存部１２４から取得する。そして、背景更新部１２５は、取得画像において背景未生成領域に対応する領域のうち、その取得画像において人物領域として検出されなかった領域が存在する場合、その領域の画素値を、背景画像の画素値として用いる。ここで、例えば画像変換部１２３が生成した背景画像が図３（Ｂ）である場合、領域３０３及び３０４が背景未生成領域であり、図３（Ｃ）の画像が取得画像であるものとする。この場合、例えば図３（Ｂ）の領域３０４内で、図３（Ｃ）の領域３０６と重複しない領域３０９が、図３（Ｃ）において、その時点での背景画像における背景未生成領域のうちの、取得画像において人物領域として検出されなかった領域である。このため、背景更新部１２５は、図３（Ｂ）の背景画像の領域３０４のうち、図３（Ｃ）の領域３０９に対応する領域の画素値として、図３（Ｃ）の領域３０９の画素値をそのまま採用しうる。背景更新部１２５は、このような処理を行うことによって、領域３０９に対応する領域を背景生成済みとして、背景未生成領域の情報を更新する。この処理により、背景未生成領域は背景生成済み領域に比べて高速に画素値が更新されうる。なお、ここでの説明では背景生成済みの領域については加重平均によって画素値を更新すると説明したが、これに限られない。すなわち、背景更新部１２５は、背景画像の画素値と取得画像の画素値の双方を参照して画素値を決定する任意の方法（又は任意の関数）を用いて、背景生成済み領域に関する画素値を更新しうる。また、人や車など物体領域の属性が判定された場合は、人などの特定の属性を有する物体の領域を検出結果として用いて上述の更新が行われてもよい。

（処理の流れ）
続いて、上述の画像処理システム（表示装置１０２）が実行する処理の流れの例について、図４及び図５を用いて説明する。図４は、背景画像を生成する処理の流れの例を示しており、図５は、プライバシー保護画像を生成して表示する処理の流れの例を示している。表示装置１０２は、画像受信部１２１において画像を取得し（Ｓ４０１）、検出部１２２においてその画像中の人物領域を検出する（Ｓ４０２）。次に、表示装置１０２は、画像変換部１２３において背景画像を生成し（Ｓ４０３）、背景画像の完成度（全体の画素の領域と背景が取得された画素の領域の割合）を算出し、ディスプレイの表示画面上に表示させる（Ｓ４０４）。次に、表示装置１０２は、背景画像の完成度に基づいて、処理を継続するか否かを判定し（Ｓ４０５）、処理を継続すると判定した場合（Ｓ４０５でＹＥＳ）は処理をＳ４０１に戻す。例えば、表示装置１０２は、完成度が所定の閾値を超える場合に、処理を終了すると判定しうる。一方、表示装置１０２は、背景画像が完成し、処理を継続しないと判定した場合（Ｓ４０５でＮＯ）、生成した背景画像を背景保存部１２４に保存する（Ｓ４０６）。これにより、１枚の画像から背景画像が得られない場合に、複数の画像が、人物（前景物）の領域を除いた領域の画素値を用いて合成されて、適切な背景画像が生成される。なお、表示装置１０２は、本処理の終了後に、例えば背景更新部１２５によって背景画像の更新処理を実行しうる。なお、ディスプレイの表示画面上に表示された背景画像の完成度をユーザが確認し、ユーザの指示を表示装置１０２が受信することにより背景画像の更新処理（生成処理）の継続の可否を判断してもよい。

プライバシー保護画像を生成して表示する処理では、表示装置１０２は、画像受信部１２１において画像を取得し（Ｓ５０１）、検出部１２２において人物を検出する（Ｓ５０２）。次に、表示装置１０２は、背景更新部１２５において背景画像を更新し、シルエット画像生成部１２６においてシルエット画像を生成する（Ｓ５０３）。シルエット画像は、例えば検出部１２２が検出した人物の領域を単色で塗りつぶした、人物形状の単色画像でありうる。また、人物領域について所定のフィルタリング等によって人物を特定できないようにした画像処理の結果の画像がシルエット画像として用いられてもよい。また、そこに人物が存在することが分かるが個人を特定することはできない画像を別途用意して、その画像をシルエット画像として用いてもよい。表示装置１０２は、シルエット画像を生成した後に、出力部１２７でシルエット画像と背景画像とを合成して表示画面に表示させる（Ｓ５０４）。そして、表示装置１０２は、本処理を終了するか否かを判定し（Ｓ５０５）、終了しない場合（Ｓ５０５でＮＯ）には処理をＳ５０１へ戻す。

以上のように、録画装置１０１が撮影した複数の画像について、人物等の前景の領域を背景画像の生成に使用せずに合成することによって、プライバシー保護画像を生成する際に用いられる背景画像を、適切に生成することができる。

なお、画像の撮影情報を用いて、背景画像の生成又は更新に使用する取得画像を選択することによって、より適切な背景画像を生成するようにすることができる。すなわち、背景画像は、プライバシー保護画像の生成開始時点において前景物が存在しない状態を示す画像であるほど適切であることが想定される。例えば、最新の画像を対象としてプライバシー保護画像が生成される場合、その最新の画像が撮影された時点での前景物がいない状態の画像が背景画像として適切である。また、例えば画像保存部１１２に保存された過去の所定の時点で撮影された画像を対象としてプライバシー保護画像を生成する場合は、その所定の時点での前景物がいない状態の画像が背景画像で適切である。

このため、そのような適切な背景画像を生成するために、画像保存部１１２が保持する多数の画像から、プライバシー保護画像の生成開始時点と近い条件の画像が、撮影情報を用いて選択されうる。図６は、撮影情報を用いた画像選択の概要を説明するための図である。

ここで、撮影情報は、ＰＴＺ設定とカメラ設定等の撮影が行われた際の状態を示す情報でありうる。ＰＴＺ設定は、パン（Ｐ）及びチルト（Ｔ）の設定によるカメラの向き（撮影方向）の設定と、ズーム（Ｚ）の設定である。カメラの向き及びズームの設定は、角度や倍率等の数値により表現されうるが、ここでの説明は具体的な数値には特に影響を受けないため、ここでは具体的な数値を用いずに相異なる２つの設定（「設定１」及び「設定２」）が存在するものとして説明する。また、カメラ設定は、ホワイトバランスや露出等の撮影時の設定である。ホワイトバランスや露出もまた数値で表現されうるが、これについても具体的な数値を用いずに３つの設定（「設定Ａ」、「設定Ｂ」及び「設定Ｃ」）が存在するものとして説明する。

ここで、現在時点の撮像画像に基づいてプライバシー保護画像を生成するための背景画像を生成する場合について説明する。図６において、現在時点でのＰＴＺ設定は設定１であり、カメラ設定は設定Ａである。このため、例えば画像変換部１２３（又は背景更新部１２５）は、画像保存部１１２が保持する過去の画像から、ＰＴＺ設定、カメラ設定が共通する時刻の画像を選択する。ここで、表示装置１０２は、録画装置１０１に対して、例えば撮影情報を指定して画像を送信するように要求を送信し、録画装置１０１は、その要求で指定された撮影情報を有する画像を表示装置１０２へと送信しうる。また、表示装置１０２は取得画像及び撮影情報を記憶する不図示の機能を有してもよく、画像変換部１２３（又は背景更新部１２５）は、表示装置１０２内に記憶されている取得画像及び撮影情報を用いて画像の選択を行ってもよい。この場合、画像受信部１２１は、録画装置１０１から画像とその画像に関する撮影情報とを受信しうる。そして、画像変換部１２３（又は背景更新部１２５）は、選択した画像を使用して上述の背景画像の生成処理及び更新処理を実行する。このように、背景画像は、ＰＴＺ設定及びカメラ設定等の撮影情報に基づいて、過去の画像を用いて生成される。なお、過去画像の選択では、上述の選択条件を満たす範囲で、現在時点から近い直近の画像のみならず時間的に離れた過去の画像が選択されてもよく、複数の区間の画像が選択されてもよい。また、撮影情報は、ＰＴＺ設定及びカメラ設定に限られず、撮影時に取得可能な任意の情報でありうる。例えば、撮影を行う撮影装置の絞りやシャッター速度、例えば背景領域の画素値の平均値から特定又は推定されうる撮影環境の明るさや天候や撮影時間帯情報が、撮影情報として用いられうる。なお、これらの撮影情報は１つ以上が選択的に用いられてもよく、複数の条件が組み合わせられて用いられてもよいし、そのいずれか１つが選択されて用いられてもよい。このようにすることで、撮影情報を用いて適切な過去画像を用いて背景画像を生成することができ、これにより、生成されるプライバシー保護画像に対してより適切な背景画像を生成することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１１：画像取得部、１１２：画像保存部、１１３：画像送信部、１２１：画像受信部、１２２：検出部、１２３：画像変換部、１２４：背景保存部、１２５：背景更新部、１２６：シルエット画像生成部、１２７：出力部

Claims (16)

1. 複数の画像のそれぞれにおいて前景物が存在する第１の領域を検出する検出手段と、
   それぞれの前記第１の領域を除いた第２の領域の画素値を用いて前記複数の画像を合成して、背景画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記検出手段は、所定の属性を有する背景物でない物体を前記前景物として検出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の領域は、前記前景物を含む矩形の領域である、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、第１の画像の前記第１の領域と第２の画像の前記第２の領域とが重なる第３の領域の前記第２の画像における画素値を、前記第１の画像の前記第３の領域に対応する領域の画素値として用いることにより、前記第１の画像と前記第２の画像を合成して前記背景画像を生成する、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、第１の画像の前記第２の領域と第２の画像の前記第２の領域とが重なる第４の領域についての画素値を、前記第１の画像の前記第４の領域の画素値と前記第２の画像の前記第４の領域の画素値との両方に基づいて特定して前記背景画像を生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の画像および前記第２の画像は前記複数の画像に含まれる、
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記第１の画像は、前記複数の画像のうちの１つ以上の画像に含まれる画像を用いて生成された前記背景画像であって、当該１つ以上の画像の前記第１の領域が重なる領域を前記第１の領域として有する前記背景画像であり、
   前記第２の画像は前記複数の画像に含まれる、
   ことを特徴とする請求項４又は５に記載の画像処理装置。
8. 前記生成手段は、前記複数の画像に基づいて生成した前記背景画像のうちの生成されていない領域の割合に基づいて特定される完成度に基づいて、さらなる画像を前記背景画像に合成するかを判定する、
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、完成した前記背景画像を、さらなる画像を用いて更新する、
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記複数の画像を取得する取得手段をさらに有する、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記取得手段は、撮影された際の状態を示す情報が共通する前記複数の画像を取得する、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記情報は、撮影環境の明るさ、天候、撮影時間帯、又は、撮影装置の撮影方向、ズーム、絞り、若しくはシャッター速度、の少なくともいずれかを含む、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記取得手段は、前記背景画像を生成する対象となる時刻において撮影された画像と前記情報が共通する前記複数の画像を取得する、
    ことを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 複数の画像のそれぞれにおいて前景物が存在する第１の領域を検出する検出手段と、
    それぞれの前記第１の領域を除いた第２の領域の画素値を用いて前記複数の画像を合成して、背景画像を生成する生成手段と、
    を有することを特徴とする画像処理システム。
15. 検出手段が、複数の画像のそれぞれにおいて前景物が存在する第１の領域を検出する検出工程と、
    生成手段が、それぞれの前記第１の領域を除いた第２の領域の画素値を用いて前記複数の画像を合成して、背景画像を生成する生成工程と、
    を有することを特徴とする画像処理方法。
16. コンピュータに、
    複数の画像のそれぞれにおいて前景物が存在する第１の領域を検出させ、
    それぞれの前記第１の領域を除いた第２の領域の画素値を用いて前記複数の画像を合成させて、背景画像を生成させる、
    ためのプログラム。

Images