JP2012123766A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】 背景の変動する前景領域の切り出し精度を高める。
【解決手段】 入力部1201は前景領域を含む画像が記録された前景画像を入力し、入力部1202は前景領域を除いた画像が記録された複数の背景画像を入力する。変動範囲算出部1203は、前景画像の注目領域に対応する、複数の背景画像の領域それぞれから画像特徴量を取得し、それら画像特徴量の特徴量空間における変動範囲を取得する。背景差分算出部1204は、変動範囲と、前景画像の注目領域の画像特徴量の間の、特徴量空間における距離に基づき、前景画像の注目領域と複数の背景画像の領域の間の差分を算出する。判定部1205は、差分を用いて、前景画像から前景領域を抽出する。
【選択図】 図12

Description

本発明は、

画像から前景領域を切出す画像処理装置および画像処理方法に関する。

コンピュータの処理能力の向上に伴い、画像から前景画像を切り出して他の背景画像に合成する機能や、画像を前景領域と背景領域に分離して個々に色補正や映像効果を与える機能を備える画像処理装置が普及している。これら機能は、静止画から動画へと、その適用範囲を広げている。

画像から前景画像の切り出す前景領域の抽出方法として、予め背景画像を撮影し、前景画像を含む画像と背景画像の差分（背景差分）を算出する方法がある（特許文献1）。また、前景画像の被写体が動体の場合、フレーム間の差分により前景領域を抽出する方法がある（特許文献2）。

これら、背景差分やフレーム間の差分により前景領域を抽出する場合、背景画像が変化しないか変化が極めて小さい必要がある。従って、風による木立の揺れや、水流、波、光の変化など（背景変化）があると、前景領域を正しく抽出することができない可能性がある。

そこで、背景変化に対するロバスト性を高める方法として閾値を設定し、差分が閾値を超える領域の大きさや時間変化から、侵入者などの前景領域を判定する方法がある（特許文献3）。また、差分の連続性または出現性に基づき、移動する前景領域を検出する方法がある（特許文献4）。さらに、定常的な揺らぎを正規分布によってモデル化した閾値画像を作成し、背景画像との差分計算を行う方法がある（特許文献5）。

しかし、特許文献3の方法は、動きが少ない前景領域を抽出することが難しい。また、特許文献4の方法は、動きのパターンが既知の前景領域の検出に適すが、前景領域の多様な動き、背景変化に対応することは難しい。また、特許文献5の方法は、形状が変化するような大きな背景の変動には対応することができない。

特開平5-159059号公報 特開平5-034451号公報 特開2001-333417公報 特開2006-107457公報 特開2010-015469公報

A. Survery, Jue Wang, Michael F. Cohen「Image and Video Matting」2007

本発明は、背景の変動に対する前景領域の切り出し精度を高めることを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、前景領域を含む画像が記録された前景画像、および、前記画像から前記前景領域を除いた画像が記録された複数の背景画像を入力し、前記前景画像の注目領域に対応する、前記複数の背景画像の領域それぞれから画像特徴量を取得し、前記画像特徴量の特徴量空間における変動範囲を取得し、前記変動範囲と、前記前景画像の注目領域の画像特徴量の間の、前記特徴量空間における距離に基づき、前記前景画像の注目領域と前記複数の背景画像の領域の間の差分を算出し、前記差分を用いて、前記前景画像から前記前景領域を抽出することを特徴とする。

本発明によれば、背景の変動に対する前景領域の切り出し精度を高めることができる。

実施例の画像処理装置の構成例を説明するブロック図。 切出処理の概要を説明する図。 処理対象の動画と背景動画の関係を説明する図。 変動範囲情報を説明する図。 切出合成処理を説明するフローチャート。 切出処理を説明するフローチャート。 変動範囲の算出を説明するフローチャート。 差分値の算出を説明するフローチャート。 実施例2の変動範囲情報を説明する図。 変動範囲の一例を説明する図。 実施例3における差分値の算出を説明するフローチャート。 実施例4の画像処理装置の構成例を説明するブロック図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1のブロック図により実施例の画像処理装置の構成例を説明する。

CPU101は、RAM104をワークメモリとして、ROM103やハードディスクドライブ(HDD)105などの不揮発性メモリに格納されたOSを含む各種プログラムを実行し、システムバス102を介して、後述する構成を制御する。汎用インタフェイス(I/F)104は、例えばUSBのようなシリアルバスインタフェイスで、マウス110やキーボード120などの入力デバイスが接続される。ディスプレイI/F106は、ビデオインタフェイスで、LCDなどのモニタ130が接続される。

CPU101は、モニタ130にユーザインタフェイス(UI)を表示する。ユーザは、マウス110やキーボード120を操作して、UIに対して指示やデータや入力する。CPU101は、ユーザ指示やデータを入力し、それら入力に従いプログラムを実行して各種処理を行う。

［切出処理の概要］
CPU101が実行するプログラムには、後述する、前景領域の画像を切り出す処理（以下、切出処理）と、切り出した前景領域の画像を任意の背景画像（背景動画）に合成する合成処理を行う切出合成処理プログラムが含まれる。図2により切出処理の概要を説明する。

CPU101は、背景動画フレーム201と対象動画フレーム202の差分とエッジ情報に基づき、差分が大きい領域を前景領域、差分が小さい領域を背景領域、その他の領域を不明領域と判定した結果を示す三値マップである領域情報203を生成する。なお、前景領域、背景領域の判定には、グラフの最小切断アルゴリズム（グラフカット）などを用いる。

次に、CPU101は、対象動画フレーム202と領域情報203に基づき、前景画像を切り出すための切出マット204を生成する。切出マット204の各画素は前景領域において「1」、背景領域において「0」のアルファ値（α値）を有し、不明領域の画素には前景と背景を補間する値（0＜M＜1）が算出され設定される。なお、補間方法にはベイシアンマッティング(Bayesian matting)などを用いる（非特許文献1参照）。

次に、CPU101は、対象動画フレーム202のアルファチャネルとして切出マット204を設定し、前景切出動画フレーム205を生成する。なお、前景切出動画フレーム205は、切出マット204によって前景領域を抽出した画像でもよい。

［対象動画と背景動画］
図3により処理対象の動画と背景動画の関係を説明する。処理対象の動画（以下、対象動画）は前景領域を含む画像が記録されたフレームを有し、背景動画は対象動画の画像から前景領域を除いた画像が記録されたフレームを有する。

符号310は前景画像を切り出す動画のフレーム310₁、310₂、…、310_Nの集合（対象動画310）を示す。また、符号320は背景動画のフレーム320₁、320₂、…、320_Nの集合を示す（背景動画320）。

対象動画310において符号302で示し、背景動画320において符号312₁、312₂、…、312_Nで示すように、これら動画は風に靡く旗の画像を含む。このような画像の画素値は刻々と変化し、対象動画310のフレームと背景動画320のフレームの差分をとると、前景の有無に無関係に差分が大きくなり、前景領域を誤判定する原因になる。

［変動範囲情報］
図4により変動範囲情報を説明する。変動範囲情報の生成は後述するが、後述する差分算出処理に使用する情報である。

図4(a)に示すヒストグラムは、図3に示す背景動画の各フレームにおいて、例えば旗の画像312の位置に対応するある画素の輝度値を、所定時間分（所定数）のフレームから読み出して作成したヒストグラムに相当する。つまり、フレーム数がNfの場合、ヒストグラムの作成に使用する画素数はNfである。なお、画素の輝度値には、動画像のフレームがYCbCr信号やYUV信号で表される場合はY値を利用すればよい。

このようなヒストグラムを作成すると、旗が風に靡いているため図4(a)に示すように、画素数が零の輝度値によって区分される輝度分布の集合が幾つか現れる。それら集合の間の輝度値の差が所定値（図4(b)には符号402で示す）以下ならば、それら輝度分布の集合をグループ化する。そして、グループにおける最小輝度値と最大輝度値の範囲を変動範囲401₁、401₂、401₃とする。なお、図4(a)に示すように、変動範囲は複数存在してよい。

図4(b)は変動範囲情報のデータ構造を示し、管理情報410は図4(a)に示す変動範囲それぞれ対応する、変動範囲情報420へのリンク情報を有する。また、管理情報410は変動範囲数を示すデータ411を含み、変動範囲情報420は、変動範囲の輝度上限値、輝度下限値、画素数をそれぞれ示すデータ421、422、423を有する。

つまり、変動範囲情報は、背景動画のフレームのある位置の画素が、あるフレーム範囲で示す輝度値を、輝度分布の集合として表現した情報である。変動範囲は、一次元の輝度値に限らず、色度値CbCrやUVの変動範囲を含めた三次元の情報にしてもよいが、説明を容易にするために、輝度値によって変動範囲を示す例を説明する。

［切出合成処理］
図5のフローチャートにより切出合成処理を説明する。

ユーザは、CPU101が提供するユーザインタフェイス(UI)を操作して背景動画を選択（指定）し、CPU101は、ユーザが指定する背景動画のファイル名を取得する(S501)。続いて、ユーザは、UIを操作して対象動画を選択（指定）し、CPU101は、ユーザが指定する対象動画のファイル名を取得する(S502)。

次に、CPU101は、詳細は後述するが、対象動画と背景動画から前景画像の切出処理を行い(S503)、切り出した動画（前景切出動画フレーム）をUI上で再生する(S504)。

次に、ユーザは、UIを操作して前景画像を合成する背景動画（以下、合成先動画）を選択（指定）し、CPU101は、ユーザが指定する合成先動画のファイル名を取得する(S505)。続いて、ユーザは、UIを操作して合成時に前景画像を拡大または縮小するサイズ（以下、変倍サイズ）を入力（指定）し、CPU101は、ユーザが指定する変倍サイズを取得する(S506)。続いて、ユーザは、UIを操作して前景画像の合成位置を入力（指定）し、CPU101は、ユーザが指定する合成位置を取得する(S507)。

なお、変倍サイズおよび合成位置の指定において、CPU101は、合成先動画のフレームに前景画像をスーパインポーズした画像をUIに表示する。ユーザは、マウス操作などによって、前景画像を拡大または縮小して変倍サイズを指定し、前景画像をドラッグして合成位置を指定する。

ユーザは、変倍サイズおよび合成位置の指定が終了すると、UIの合成ボタン（不図示）をクリックして合成を指示する。CPU101は、合成が指示されると(S508)、変倍サイズおよび合成位置に基づき、前景画像（前景切出動画フレーム）を合成先動画の各フレームに合成し(S509)、合成結果の動画（以下、合成動画）をUI上で再生する(S510)。

ユーザがUIの終了ボタン（不図示）をクリックすると(S511)、CPU101は、切出合成処理を終了する。ただし、合成動画を再生している場合は(S512)、合成動画を保存するための図示しない保存ダイアログを表示する(S513)。ユーザが合成動画の保存を望む場合(S514)、CPU101は、例えばRAM102の所定領域に生成した合成動画を、ユーザ指示に従い、例えばHDD105に格納する(S515)。また、合成動画の保存を望まない場合、ユーザは保存ダイアログのキャンセルボタンをクリックし、CPU101は合成動画を破棄する。

なお、説明を簡単にするために、対象動画、背景動画、合成先動画の長さ（フレーム数）は同一とする。また、長さが最小の動画に合わせて、他の動画の余剰フレームをカットしてもよい。

●切出処理
図6のフローチャートにより切出処理(S503)を説明する。

CPU101は、対象動画のフレームを先頭から順次読み込み(S601)、背景動画のフレームを先頭から順次読み込む(S602)。そして、例えばブロックマッチングを行って、対象動画から読み込んだフレーム（以下、注目フレーム）と背景動画から読み込んだフレーム（以下、背景フレーム）の位置合わせを行う(S603)。位置合せ結果の情報（以下、位置合せ情報）は、背景フレームごとに、例えばRAM104の所定領域に格納する。

注目フレームと背景フレームの位置合せは、動画撮影時の振れの影響を低減するためのものである。つまり、位置合せ情報は、注目フレームの画素の座標と各背景フレームの画素の座標の対応関係を示す。

次に、CPU101は、背景動画に残りのフレームがあるか否かを判定し(S604)、残りフレームがある場合は処理をステップS602に戻す。つまり、注目フレームと背景動画の全フレームの間で位置合せ情報を求める。

背景動画の残りフレームがなくなると、CPU101は、注目フレームから例えばラスタ順に注目画素を決定し(S605)、位置合せ情報を参照して、注目画素に対応する、背景動画の各フレームの画素の値（背景画素値）を取得する(S606)。そして、詳細は後述するが、背景画素値の変動範囲を算出し(S607)、変動範囲に基づき注目画素の値と背景画素値の差分値を算出する(S608)。

次に、CPU101は、注目フレームの全画素について差分値を算出したか否かを判定し(S609)、未算出の画素があれば処理をステップS605に戻す。注目フレームの全画素の差分値の算出が終了すると、CPU101は、差分値の閾値とエッジ情報に基づき注目フレームの領域判定を行い、注目フレームの前景領域、背景領域、不明領域を決定する(S610)。この領域判定には例えばグラフカットを用いる。グラフカットは、差分値の閾値に基づき前景エネルギ、背景エネルギを設定し、エッジを跨ぐ差分値の勾配により隣接エネルギを設定する。

次に、CPU101は、領域判定の結果と注目フレームから切出マットを生成し(S611)、切出マットを注目フレームのアルファチャネルに設定する(S612)。そして、対象動画に残りのフレームがあるか否かを判定し(S613)、残りフレームがある場合は処理をステップS601に戻す。つまり、対象動画の全フレームのアルファチャネルに切出マットを設定するまで、ステップS601からS613の処理を繰り返す。

●変動範囲の算出
図7のフローチャートにより変動範囲の算出(S607)を説明する。

CPU101は、図4(b)に示す管理情報410および変動範囲情報420を初期化する(S701)。具体的には、変動範囲数を示すデータ411を零にし、変動範囲情報420へのリンクをクリアし、変動範囲の輝度上限値、輝度下限値、画素数をそれぞれ示すデータ421、422、423を0にする。

次に、CPU101は、ステップS606で取得した背景画素値によってヒストグラムを作成する(S702)。そして、例えば輝度値0から輝度分布の集合を探索し、集合間の輝度値の差が所定値以下ならば、それら集合をグループ化して図4(a)に示す変動範囲を決定する(S703)。

輝度分布の集合の探索が終了すると、CPU101は、決定した変動範囲に基づき管理情報410および変動範囲情報420を生成する(S704)。

●差分値（背景差分）の算出
図8のフローチャートにより差分値の算出(S608)を説明する。

CPU101は、一時差分値Tdを最大値（例えば255）で初期化し(S801)、カウンタiに変動範囲情報の変動範囲数（図4(b)に示すデータ411）を設定する(S802)。

次に、CPU101は、管理情報410に従い変動範囲情報を順に読み込み(S803)、カウンタiをデクリメントし(S804)、注目画素の値Dpが変動範囲に含まれるか否かを判定する(S805)。なお、変動範囲とは、変動範囲情報が示す輝度下限値Lminと輝度上限値Lmaxの範囲である。CPU101は、注目画素の値Dpが変動範囲に含まれる(Lmin≦Dp≦Lmax)場合は差分値Dを零(D=0)にして(S806)、差分値Dの算出を終了する。

一方、注目画素の値Dpが変動範囲外の場合、CPU101は、変動範囲の輝度下限値Lminまたは輝度上限値Lmaxと注目画素の値Dpの差の絶対値|D|を算出する(S807)。そして、差の絶対値|D|と一時差分値Tdを比較して(S808)、|D|＜Tdであれば一時差分値Tdに差の絶対値|D|を設定する(Td=|D|)(S809)。

次に、CPU101は、カウンタiのカウント値を判定し(S810)、i＞0ならば処理をステップS803に戻す。つまり、全ての変動範囲情報と注目画素の値Dpの関係を判定するか、変動範囲に注目画素の値Dpが含まれるまで、ステップS803からS810を繰り返す。そして、ステップS810でi=0の場合は、一時差分値Tdを差分値Dに設定して(D=Td)(S811)、差分値Dの算出を終了する。

注目画素の値Dpがある変動範囲に含まれる場合、注目画素は背景画素が構成する背景画像に含まれる可能性が高いと言える。従って、差分値D=0を設定する。他方、注目画素の値Dpが変動範囲の何れにも含まれない場合、注目画素は背景画素が構成する背景画像に含まれる可能性は低い。そこで、差分値D=Td（一時差分値）として、注目画素が背景画素が構成する背景画像に含まれる可能性を最も近い輝度分布の集合との距離の逆数で表現する。

このように、対象動画の注目フレームの注目画素に対応する、背景動画の各フレームの画素の値の変動範囲を取得して、注目画素の値に最も近い変動範囲との間の距離を注目画素の差分値にする。従って、背景の変動にロバストな背景差分の算出が可能になり、前景領域（前景画像）の切り出し精度を高めることができる。言い換えれば、小さな背景変化から大きな背景変化まで、背景の変動に柔軟な切出処理が可能になる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例2においては、RGBの特徴量空間において変動範囲を表す例を説明する。

図9により実施例2の変動範囲情報を説明する。図9(a)は変動範囲をRGB空間上で示した例で、記号×で示す背景画素値が変動範囲901₁、901₂、901₃に含まれる例を示している。差分値の算出(S608)における処理負荷を低減するため、変動範囲₁、901₂、901₃は背景画素値を囲む直方体で近似する。

図9(b)はRGB空間における変動範囲情報のデータ構造を示し、管理情報410は図4(a)に示す変動範囲それぞれ対応する、変動範囲情報920へのリンク情報を有する。また、管理情報410は変動範囲数を示すデータ411を含み、変動範囲情報920は、例えば原点(R, G, B)=(0, 0, 0)に最も近い直方体の頂点座標値、直方体の大きさを示すΔRΔGΔB、画素数を示すデータ921-927を有する。例えば変動範囲901₁は、原点に最も近い頂点の座標が(R, G, B)であり、RGB各方向の辺の長さがΔR、ΔG、ΔBの直方体である。

変動範囲が三次元の情報であるから、差の絶対値の算出(S807)において、注目画素のRGB値が最も近い変動範囲の境界のRGB値と、注目画素のRGB値の差分を次式によって算出し、差の絶対値|D|にする。
|D| = √{(Rp-Rb)² + (Gp-Gb)² + (Bp-Bb)²} …(1)
ここで、(Rp, Gp, Bp)は注目画素のRGB値,
(Rb, Gb, Bb)は変動範囲の境界のRGB値。

変動範囲を三次元の情報で表現すれば、注目画素の差分値をより高精度に算出することができ、前景領域（前景画像）の切り出し精度が向上する。勿論、三次元の情報に限らず、任意の次元数の情報が利用可能である。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

上記の実施例においては、変動範囲が含む画素数に関わらず変動範囲を一律に扱ったが、変動範囲を一律に扱えない場合がある。

図10により変動範囲の一例を説明する。図10(a)は偶発的な輝度値の変動（例えばノイズの影響）がある場合のヒストグラムの一例を示す。図10(a)に示すヒストグラムには、変動範囲1001₁、1001₃、1001₅、1001₆のように、輝度分布の集合が含む画素の数の少ない変動範囲が存在する。

図10(a)に示す変動範囲の特性を考慮すると、所定数以上の画素数を有する輝度分布の集合（変動範囲）を使用して、画素数が極端に少ない輝度分布の集合を背景差分の算出から除外することが好ましい。つまり、画素数Nが所定数Nth以下の輝度分布の集合を除外する。

また、図10(b)は背景の変動が非常に激しい場合のヒストグラムの一例を示し、輝度値の分布は全輝度範囲に分散する傾向を示す。

図10(b)に示す変動範囲の特性を考慮すると、画素数が比較的多い輝度分布の集合（変動範囲）を使用して、画素数が比較的少ない輝度分布の集合を背景差分の算出から除外することが好ましい。つまり、画素数Nが下位の、所定割合Rthの輝度分布の集合を除外する。

図11のフローチャートにより実施例3における差分値の算出(S608)を説明する。

CPU101は、実施例1と同様に、一時差分値Tdを最大値（例えば255）で初期化し(S801)、カウンタiに変動範囲情報の変動範囲数（図4(b)に示すデータ411）を設定する(S802)。

例えば、画素数Nが下位の変動範囲の三割を使わず、画素数Nが上位七割の変動範囲を使用する場合、例えば変動範囲数411が「10」を示せば七つの変動範囲を使用することになる。そこで、CPU101は、カウンタiのカウント値を使用する変動範囲の数に合わせて修正する(S1101)。さらに、画素数Nが多い順に変動範囲情報を読み出すように、管理情報410が有するリンク情報を修正する(S1102)。

次に、CPU101は、実施例1と同様に、管理情報410に従い変動範囲情報を順に読み込み(S803)、カウンタiをデクリメントする(S804)。そして、読み込んだ変動範囲情報の画素数Nと所定数Nthを比較して(S1103)、N＞Nthであれば処理をステップS805に進め、実施例1と同様の処理を行う。また、N≦Nthであれば処理をステップS810に進めて、当該変動範囲情報が示す変動範囲を背景差分の算出から除外する。

このように、画素数Nが少ない変動範囲を背景差分の算出から除外して偶発的なノイズなどによる影響を低減する。さらに、背景の変動が非常に激しい場合を考慮して、出現頻度が高い変動範囲を使用して背景差分を算出する。従って、前景領域（前景画像）の切り出し精度をより高めることができる。

また、差分値の算出を開始する前に背景画素値のヒストグラムを解析し、その解析結果に応じて、図8に示す実施例1の処理または図11に示す実施例3の処理を適応的に実施することもできる。つまり、背景画素値のヒストグラムが図10(a)や10(b)に示す特性を示す場合は図11に示す実施例3の処理を適用し、そうでない場合は図8に示す実施例1の処理を適用すればよい。

以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1-3と略同様の構成については、同一符号を付して、その詳細説明を省略する。

上述した切出合成処理をハードウェアで構成する例を実施例4として説明する。図12のブロック図により実施例4の画像処理装置の構成例を説明する。

入力部1201は、対象動画1220の各フレームから順次画素の値を入力し、入力画素の位置情報（座標）を入力部1202に出力し、入力画素の値（注目画素値）を背景差分算出部1204に出力する。入力部1202は、背景動画1210の各フレームから入力画素の位置情報に対応する背景画素の値（背景画素値）を入力し、背景画素値を変動範囲算出部1203に出力する。変動範囲算出部1203は、入力された背景画素値から変動範囲を算出（図7参照）し、変動範囲情報を背景差分算出部1204に出力する。

背景差分算出部1204は、注目画素値と変動範囲情報から差分値（背景差分）を算出（図8、図11参照）し、差分値を判定部1205に出力する。判定部1205は、差分値に基づき、注目フレームの領域判定を行い（ステップS610の処理に相当）、その判定結果を示す領域情報を切出マット生成部1206に出力する。

切出マット生成部1206は、領域情報に基づき注目フレームの切出マットを生成し（ステップS611の処理に相当）、切出マットをアルファチャネルに設定した注目フレームを出力する（ステップS612の処理に相当）。このようにして出力されるフレームが前景切出動画フレームであり、前景切出動画フレームの集合が前景切出動画1230である。

［変形例］
上記の実施例において、注目画素ごとに差分値を算出する例を説明した。しかし、注目画素の代わりに例えば3×3画素などの注目領域ごとに画像特徴量（例えば輝度値や画素値の平均値）を求め、画像特徴量によって注目領域ごとに差分値を算出してもよい。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 前景領域を含む画像が記録された前景画像、および、前記画像から前記前景領域を除いた画像が記録された複数の背景画像を入力する入力手段と、
   前記前景画像の注目領域に対応する、前記複数の背景画像の領域それぞれから画像特徴量を取得し、前記画像特徴量の特徴量空間における変動範囲を取得する取得手段と、
   前記変動範囲と、前記前景画像の注目領域の画像特徴量の間の、前記特徴量空間における距離に基づき、前記前景画像の注目領域と前記複数の背景画像の領域の間の差分を算出する算出手段と、
   前記差分を用いて、前記前景画像から前記前景領域を抽出する抽出手段とを有することを特徴とする画像処理装置。
2. 前記算出手段は、前記変動範囲が複数存在する場合は、前記前景画像の注目領域の画像特徴量と前記複数の変動範囲それぞれの間の、前記特徴量空間における最小の距離に基づき前記差分を算出することを特徴とする請求項1に記載された画像処理装置。
3. 前記取得手段は、さらに、前記変動範囲に属す、前記複数の背景画像の画素数を取得し、
   前記算出手段は、前記変動範囲が複数存在する場合、前記前景画像の注目領域の画像特徴量と前記画素数が所定数以上の変動範囲それぞれの間の、前記特徴量空間における最小の距離に基づき前記差分を算出することを特徴とする請求項1に記載された画像処理装置。
4. 前記取得手段は、さらに、前記変動範囲に属す、前記複数の背景画像の画素数を取得し、
   前記算出手段は、前記変動範囲が複数存在する場合、前記前景画像の注目領域の画像特徴量と、前記変動範囲のうち前記画素数が上位の所定割合の変動範囲それぞれの間の、前記特徴量空間における最小の距離に基づき前記差分を算出することを特徴とする請求項1に記載された画像処理装置。
5. 入力手段、取得手段、算出手段、抽出手段を有する画像処理装置の画像処理方法であって、
   前記入力手段が、前景領域を含む画像が記録された前景画像、および、前記画像から前記前景領域を除いた画像が記録された複数の背景画像を入力し、
   前記取得手段が、前記前景画像の注目領域に対応する、前記複数の背景画像の領域それぞれから画像特徴量を取得し、前記画像特徴量の特徴量空間における変動範囲を取得し、
   前記算出手段が、前記変動範囲と、前記前景画像の注目領域の画像特徴量の間の、前記特徴量空間における距離に基づき、前記前景画像の注目領域と前記複数の背景画像の領域の間の差分を算出し、
   前記抽出手段が、前記差分を用いて、前記前景画像から前記前景領域を抽出することを特徴とする画像処理方法。
6. コンピュータ装置を請求項1から請求項4の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。