JP2018124890A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】被写体の抽出精度を改善する。
【解決手段】時系列のカラー画像から、画像の変化した変化領域と非変化領域とに分類された背景差分マスク画像を生成する背景差分マスク生成部１１と、カラー画像に対応するデプスマップから、２つの距離閾値の間に含まれる閾値間領域と非閾値間領域とに分類された距離閾値マスク画像を生成する距離閾値マスク生成部１２と、背景差分マスク画像と距離閾値マスク画像とを組み合わせ、変化領域と閾値間領域との両領域に該当する対象領域と非対象領域とを有する合成マスク画像を生成するマスク合成部１３と、合成マスク画像の対象領域に対応する距離の最頻値をデプスマップから求める距離推定部１４と、距離の最頻値に基づき２つの距離閾値を更新する距離パラメータ更新部１５と、合成マスク画像の対象領域に対応する領域をカラー画像から抽出するマスク適用部１６と、を備える。
【選択図】図１

Description

本発明は、画像から任意領域を抽出する技術に関する。

映像から任意領域を抽出する技術がある。例えば、放送局や撮影スタジオでは、グリーンバック又はブルーバックの前に被写体を配置し、その被写体の画像領域のみを映像から抽出するクロマキー技術が用いられている。このクロマキー技術で被写体の画像領域のみを抽出し、任意のＣＧ（Computer Graphics）映像を実時間で重ね合わせることにより、付加価値の高い映像を生成することができる。このような利点から、例えば、テレビ放送でのバーチャルスタジオや映画でのＣＧ編集作業において、クロマキー技術を用いて行う任意領域の抽出技術は不可欠となっている。

しかし、クロマキー技術はグリーンバックを要するなど被写体の背景に制約があるため、屋外での撮影やスポーツ競技の撮影には向いていない。そこで、任意領域を任意の背景から抽出する手法が検討されている。例えば、非特許文献１には、背景差分法を用いる手法が記載されている。この手法では、予め背景を撮影しておき、その背景画像と被写体の撮像画像（カラー画像）とを画素ごとに比較し、明度差の大きい画素のみを対象領域（抽出対象の被写体が撮像された画像領域）としてカラー画像から抽出する。

特開２０１４−１７５８３７号公報

波部斉、外２名、"照明変化に対して頑健な背景差分法"情処学研報、コンピュータビジョンとイメージメディア（ＣＶＩＭ）115-3、1999年3月18日、p.17-p.24 中島秀真、外５名、"Kinectによる安定な動物体領域抽出のためのカラー画像とデプスマップの時刻合わせ"、情報通信学会技術研究報告、PRMU、パターン認識・メディア理解、111(379)、321-328、IPSJ SIG Technical Report、Vol.2012-CVIM-180、No.59、2012年1月20日 宮下広夢、外４名、"センサとカメラを活用した高速・高精度な被写体抽出"、電子情報通信学会、信学報告、IEICE Technical Report、MVE2016-1,116(73)、17−22，2016年6月

背景差分法を用いる場合、背景が変動しない状況では正しく動作する。しかし、実際の撮影環境では、太陽光や照明に変化が生じ、スポーツ競技の場合は観客の動きもあるため、対象領域以外の非対象領域でも背景画像との間で一定の明度差が生じてしまい、その対象領域のみを正確に抽出することができない。また、抽出対象の被写体以外の被写体が侵入してきた場合、その被写体も併せて抽出されてしまう。

一方、非特許文献２には、カラー画像と共にデプスマップを用いる手法が記載されている。この手法は、カラー画像に含まれる画素の色情報と、計測装置から被写体までのデプスマップの距離情報とを組み合わせることにより、抽出対象の被写体に対応する画像領域を対象領域として抽出する。抽出対象の被写体までの距離と非抽出対象までの距離との差（前景と背景との距離差）を利用して対象領域を特定するため、抽出対象の被写体をより正確に抽出することができる。

しかし、デプスマップを用いる場合でも次の問題がある。

（１）対象領域の正確性と処理の高速性
通常、デプスマップの解像度はカラー画像に比べて著しく低い。そのため、低解像度であるデプスマップを用いる場合には、そのデプスマップをカラー画像と同じサイズにまでアップサンプル（拡大処理）する必要がある。しかし、このアップサンプルによりデプスマップの正確性が失われてしまい、例えば、距離の異なる画像領域間の輪郭部分にジャギーが生じ、画像領域の輪郭に正確さが失われてしまう。また、抽出する対象領域の輪郭を正確に把握できるほど厳密な距離算出を行うには、負荷の高い計算処理を必要とするため、画像抽出処理の高速性が失われてしまう。

（２）被写体の動作への対応
仮に、高解像度のデプスマップを取得できた場合、そのデプスマップを用いて行う対象領域の抽出方法としては次の手法がある。

（２−１）例えば、背景差分法と同様に、予め背景のデプスマップを保存しておき、抽出対象の被写体を含むデプスマップと背景のみのデプスマップとを比較し、それら２つのデプスマップ間で距離の差分を取ることにより被写体の対象領域を抽出する手法がある。

（２−２）また、予め被写体の存在する距離の範囲を指定し、その範囲内に含まれる画像領域を被写体の対象領域として抽出する手法がある。

（２−３）また、予め被写体の存在する距離の範囲を指定し、その範囲内に含まれる画像領域を抽出対象領域の候補とし、画像内のテクスチャの特徴を評価することによって抽出対象の被写体を特定する手法がある（特許文献１）。

しかし、（２−１）の手法では、抽出対象の被写体以外の被写体が背景に侵入してきた場合、その被写体も併せて抽出されてしまうため、背景差分法を用いる手法と同じ課題がある。

また、（２−２）と（２−３）の手法では、抽出対象の被写体が奥行き方向に大きく移動し、指定した距離の範囲から外れた場合には、その被写体の対象領域を抽出することができなくなる。

また、（２−３）の手法の場合、被写体の人物が正面を向いているか後ろを向いているかで被写体のテクスチャが変化し、更には人物の服装や動作が変化することによってもテクスチャが大きく変化するため、その被写体の対象領域を正確に特定することは困難である。

本発明は、上記事情を鑑みてなされたものであり、被写体の抽出精度を改善することを目的とする。

以上の課題を解決するため、請求項１に係る画像処理装置は、時系列のカラー画像から、画像の変化した変化領域と非変化領域とに分類された第１のマスク画像を生成する第１の生成部と、前記カラー画像に対応するデプスマップから、２つの距離閾値の間に含まれる閾値間領域と非閾値間領域とに分類された第２のマスク画像を生成する第２の生成部と、前記第１のマスク画像と前記第２のマスク画像とを組み合わせ、前記変化領域と前記閾値間領域との両領域に該当する対象領域と非対象領域とを有する合成マスク画像を生成する合成部と、前記合成マスク画像の対象領域に対応する距離の最頻値を前記デプスマップから求める推定部と、前記距離の最頻値に基づき前記２つの距離閾値を更新する更新部と、前記合成マスク画像の対象領域に対応する領域を前記カラー画像から抽出する適用部と、を備えることを特徴とする。

請求項２に係る画像処理装置は、請求項１に記載の画像処理装置において、前記更新部は、前記距離の最頻値が前記２つの距離閾値の間で中心となるように、前記２つの距離閾値を更新することを特徴とする。

請求項３に係る画像処理装置は、請求項１又は２に記載の画像処理装置において、前記第１のマスク画像は、画像の変化度が前記変化領域よりも小さく前記非変化領域よりも大きい未分類領域を含み、前記第１の生成部は、前記未分類領域から一定範囲内の周辺領域の色情報又は距離情報を利用して前記未分類領域を前記変化領域又は前記非変化領域に分類することを特徴とする。

請求項４に係る画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置において、前記合成部は、前記対象領域と前記非対象領域との境界に一定幅の未分類領域を形成し、当該未分類領域から一定範囲内の周辺領域の色情報又は距離情報を利用して当該未分類領域を前記対象領域又は前記非対象領域に分類することを特徴とする。

請求項５に係る画像処理装置は、請求項１乃至４のいずれかに記載の画像処理装置において、前記第２の生成部は、前記カラー画像と同じ画角又は解像度となるように前記デプスマップを変更することを特徴とする。

請求項６に係る画像処理装置は、請求項１乃至５のいずれかに記載の画像処理装置において、前記合成部は、前記変化領域に対する前記閾値間領域の割合が閾値以上である変化領域を前記対象領域とすることを特徴とする。

請求項７に係る画像処理方法は、画像処理装置で行う画像処理方法において、時系列のカラー画像から、画像の変化した変化領域と非変化領域とに分類された第１のマスク画像を生成するステップと、前記カラー画像に対応するデプスマップから、２つの距離閾値の間に含まれる閾値間領域と非閾値間領域とに分類された第２のマスク画像を生成するステップと、前記第１のマスク画像と前記第２のマスク画像とを組み合わせ、前記変化領域と前記閾値間領域との両領域に該当する対象領域と非対象領域とを有する合成マスク画像を生成するステップと、前記合成マスク画像の対象領域に対応する距離の最頻値を前記デプスマップから求めるステップと、前記距離の最頻値に基づき前記２つの距離閾値を更新するステップと、前記合成マスク画像の対象領域に対応する領域を前記カラー画像から抽出するステップと、を行うことを特徴とする。

請求項８に係る画像処理プログラムは、請求項１乃至６のいずれかに記載の画像処理装置としてコンピュータを機能させることを特徴とする。

本発明によれば、被写体の抽出精度を向上することができる。

画像処理装置の構成を示す図である。 撮影シーンの例を示す図である。 背景差分マスク画像の生成処理例を示す図である。 距離閾値マスク画像の生成処理例を示す図である。 合成マスク画像の生成処理例を示す図である。 距離の最頻値の算出例及び距離閾値の変更例を示す図である。 画像処理装置の処理動作を示す図である。 合成マスク画像の生成処理例（変形例）を示す図である。

上記課題を解決するため、本発明は、時系列なカラー画像とデプスマップとの簡易な組み合わせより、抽出対象の被写体までの距離を各時間で推定し、その推定した距離を距離パラメータ（その被写体が存在し得る範囲を示す２つの距離閾値）にフィードバックする。

これにより、背景変化に頑健（遠景の動きや、照明の変化、抽出対象の被写体以外の被写体が侵入した場合でも前景として抽出されない）で、抽出対象の被写体の奥行き方向への移動にも対応した高精度な被写体抽出処理を低負荷な処理で実現可能であり、実時間での被写体抽出映像の取得を可能とすることができる。

以下、本発明を実施する一実施の形態について図面を用いて説明する。なお、本実施の形態では静止画像を例に処理を説明するが、映像などの動画像のフレームにも適用可能である。

本実施の形態に係る画像処理装置の構成を図１に示す。この画像処理装置１は、コンピュータ装置によって構成し、図１に示すように、背景差分マスク生成部１１、距離閾値マスク生成部１２、マスク合成部１３、距離推定部１４、距離パラメータ更新部１５、マスク適用部１６、を備えて構成される。また、この画像処理装置１は、撮像装置３及び計測装置５に接続されており、撮像装置３からカラー画像を入力し、計測装置５からデプスマップを入力する。

本実施の形態で用いる撮影シーンの例を図２に示す。撮像装置３と計測装置５は、互いの画角を同じにするため一体型の装置又は同じ位置に配置されている。撮像装置３は、所定方向のシーンを撮影した後、そのシーンのカラー画像を画像処理装置１へ送信し、計測装置５は、そのシーンのデプスマップを画像処理装置１へ送信する。

次に、画像処理装置１の機能について説明する。

背景差分マスク生成部１１は、カラー画像を用いて、背景差分による前景、背景に領域分割された背景差分マスク画像を生成する機能を備える。具体的に、まず、予め抽出対象の被写体が存在しないシーンのカラー画像を取得して保存しておく。次に、抽出対象の被写体が存在するシーンのカラー画像を取得する。そして、その２枚のカラー画像の画素値の差分から、一定値以上の変化がある画素（変化領域）を前景、一定値以上の変化がない画素（非変化領域）を背景とラベル付けすることにより、背景差分マスク画像（第１のマスク画像）を生成する（図３）。例えば、前景の画素値を１、背景の画素値を０に設定する。

距離閾値マスク生成部１２は、デプスマップを用いて、距離の閾値による前景、背景に領域分割された距離閾値マスク画像を生成する機能を備える。具体的に、まず、予め抽出対象の被写体が最初に存在し得る範囲を示す２つの距離閾値（以降、距離閾値の範囲という）を設定し、距離パラメータとして保存しておく。次に、抽出対象の被写体が存在するシーンのデプスマップと該距離パラメータとを取得し、距離閾値の範囲内に含まれる画像領域（閾値間領域）を前景、範囲外の画像領域（非閾値間領域）を背景とラベル付けすることにより、距離閾値マスク画像（第２のマスク画像）を生成する（図４）。このとき、必要に応じて、幾何補正とリサイズを行うことにより、カラー画像と同じ画角と解像度の距離閾値マスク画像を生成してもよい。

マスク合成部１３は、背景差分マスク生成部１１で生成した背景差分マスク画像と、距離閾値マスク生成部１２で生成した距離閾値マスク画像とを組み合わせて、合成マスク画像を生成する機能を備える。具体的に、その２種類のマスク画像の前景の画素値を１、背景の画素値を０とみなしたときの積を取り、どちらのマスク画像でも前景となっている画素のみを前景（対象領域）とし、それ以外の画素全てを背景（非対象領域）とした合成マスク画像を生成する（図５）。

距離推定部１４は、抽出対象の被写体が存在する最新の距離を推定する機能を備える。具体的に、まず、マスク合成部１３で生成した合成マスク画像において、前景とラベル付けされている各画素の座標と該前景に対応するデプスマップの座標とをそれぞれ求め、各画素に紐づくデプスマップでの距離を求める。次に、求めた前景画素群の距離の最頻値を算出し、その距離の最頻値を最新の距離（抽出対象の被写体までの最新距離）と推定する（図６）。

距離パラメータ更新部１５は、距離閾値マスク生成部１２で用いる距離パラメータを更新する機能を備える。具体的に、例えば、抽出対象の被写体の距離として指定する距離閾値の範囲の中心が、距離推定部１４で求めた距離の最頻値になるように更新する（図６）。但し、前景画素数の最頻値が予め設定した一定数（最小画素数）に満たない場合は、抽出する画像領域に抽出対象の被写体が存在していないとみなし、距離パラメータの更新は行わない。

マスク適用部１６は、カラー画像と合成マスク画像とを組み合わせて、合成マスク画像の前景画素と座標が重なり合うカラー画像の画素のみを抽出することにより、抽出対象の被写体のみを抽出した画像を生成する機能を備える。

次に、上述した画像処理装置１で行う画像処理方法（被写体抽出方法）について説明する。その画像処理方法の処理動作を図７に示す。

まず、ステップＳ１において、背景差分マスク生成部１１は、撮像装置３から出力されたカラー画像を読み込む。

次に、ステップＳ２において、背景差分マスク生成部１１は、背景差分を行うための背景画像が取得できているかを確認する。ここで、背景画像が未取得の場合は、ステップＳ３において、ステップＳ１で読み込んだカラー画像を背景画像として保存する。なお、この背景画像は、前景となり得る被写体が画像内に存在しないシーンの撮影によって得られる背景のみの画像とする。

次に、ステップＳ４において、背景差分マスク生成部１１は、保存済みの背景画像を取得する。そして、ステップＳ５において、取得した背景画像とカラー画像とを比較し、画素値の差分から、一定値以上の変化がある画素を前景、一定値以上の変化がない画素を背景とラベル付けすることにより、背景差分マスク画像を生成する。

次に、ステップＳ６において、距離閾値マスク生成部１２は、計測装置５から出力されたデプスマップを読み込む。

次に、ステップＳ７において、距離閾値マスク生成部１２は、抽出対象の被写体を範囲指定するために用いる２つの距離閾値が設定できているかを確認する。ここで、２つの距離閾値が未設定の場合は、ステップＳ８において、その２つの距離閾値の初期値を設定する。なお、この初期値は、抽出対象の被写体が最初に存在し得る距離ｄ_０を含むように設定した最小距離Ｄ_ｍｉｎ ^ｔ＝０と最大距離Ｄ_ｍａｘ ^ｔ＝０とする（Ｄ_ｍｉｎ ^ｔ＝０≦ｄ_０≦Ｄ_ｍａｘ ^ｔ＝０）。

次に、ステップＳ９において、距離閾値マスク生成部１２は、保存済みの２つの距離閾値を読み込む。そして、ステップＳ１０において、取得したデプスマップの距離の値が最小距離Ｄ_ｍｉｎ ^ｔ＝０から最大距離Ｄ_ｍａｘ ^ｔ＝０の間に含まれる領域を前景、それ以外の領域を背景とラベル付けすることにより、距離閾値マスク画像を生成する。このとき、生成した距離閾値マスク画像の解像度がカラー画像よりも小さい場合、又はカラー画像と画角が異なる場合は、必要に応じてリサイズや幾何補正を行い、カラー画像と同じ解像度及び角度の距離閾値マスク画像に更新してもよい。

次に、ステップＳ１１において、マスク合成部１３は、背景差分マスク画像と距離閾値マスク画像とを組み合わせて、その２種類のマスク画像のうち、どちらのマスクでも前景となっている画素のみを前景とし、それ以外の画素全てを背景とした合成マスク画像を生成する。

次に、ステップＳ１２において、距離推定部１４は、合成マスク画像において、前景とラベル付けされている各画素の座標と該前景に対応するデプスマップの座標とをそれぞれ求め、各画素に紐づくデプスマップでの距離を求め、前景画素群の距離の最頻値を求める。

次に、ステップＳ１３において、距離パラメータ更新部１５は、ステップＳ１２で求めた距離の最頻値が、抽出対象の被写体の距離として指定する距離閾値の範囲の中心になるように最小距離Ｄ_ｍｉｎと最大距離Ｄ_ｍａｘを更新する。

最後に、ステップＳ１４において、マスク適用部１６は、合成マスク画像で前景ラベルの付いている画素と座標が重なり合うカラー画像の画素のみを抽出する。その後、ステップＳ１５において、その抽出した画素のみからなる領域抽出画像を書き出す処理を行う。

以上より、本実施の形態によれば、背景差分と距離閾値とに基づく２枚のマスク画像の単純な組み合わせより、抽出対象の被写体までの距離を推定し、その推定した距離を距離パラメータにフィードバックするので、距離閾値マスク画像で用いる２つの範囲閾値が被写体の移動に追従変化することとなり、その被写体が奥行き方向に移動してもその位置を特定することができる。

すなわち、２つの範囲閾値が被写体の位置によって動的に変化することにより、最小限の距離範囲の領域のみを抽出対象とすることができ、その被写体から距離の離れた背景領域に抽出対象の被写体以外の被写体が侵入しても前景領域として抽出されないこととなる。それゆえ、抽出対象の被写体から距離の離れた位置においては、物理的な変化（遠景の動き、照明の変化、物体の侵入など）に対して頑健性を持たせることができる。したがい、抽出対象の被写体の抽出精度を向上することができる。

また、カラー画像の背景差分を用いるため、精度の低いデプスマップ（解像度が低く、抽出対象の被写体の輪郭が厳密に取得できないデプスマップ）であっても、高精度な領域抽出が実現できる。つまり、デプスマップの精度が粗くても、背景差分マスク画像の精度さえ高精度であれば、結果的に高精度な被写体領域の抽出を実現することができる。また、高精度なデプスマップを必要とせず、マスク画像の生成処理やカラー画像との組み合わせ処理も簡易な低負荷の計算処理で済むため、実時間で被写体抽出映像を取得することができる。

＜変形例１＞
背景差分マスク生成部１１の変形例について説明する。背景差分マスク画像の精度が悪い（抽出対象の被写体の境界が精緻でない）場合、背景差分マスク生成部１１は、次の方法で背景差分マスク画像を生成する。

まず、背景差分によって、前景と背景の２領域に分類する代わりに、間違いなく前景である絶対前景、間違いなく背景である絶対背景、そのどちらの領域に含まれるかを明確に分類できない未分類領域の３領域にラベル付けする。例えば、画素値の変化度が上限閾値以上である領域を絶対前景、下限閾値以下である領域を絶対背景、上限閾値と下限閾値との間である領域を未分類領域とする。

次に、未分類領域としてラベル付けした領域に対して最近傍探索を利用したセグメンテーション手法（Nearest Neighbor Classification；非特許文献３；変形例２も同様）を用いることにより、注目する未分類領域の画素周辺の絶対前景又は絶対背景の色情報を参照した重み付け計算を行い、その重み付け計算結果に基づき、その未分類領域を絶対前景又は絶対背景に分類する。

これにより、より精緻な背景差分マスク画像を生成可能となり、被写体の抽出精度を更に向上することができる。

＜変形例２＞
マスク合成部１３の変形例について説明する。変形例１と同様に、背景差分による背景差分マスク画像の精度が悪い場合、マスク合成部１３は、次の方法で合成マスク画像を生成する。

まず、背景差分マスク画像と距離閾値マスク画像とを組み合わせて合成マスク画像を生成した後、合成マスク画像の前景領域と背景領域との境界に一定のピクセル幅を持たせた未分類領域を作成し、変形例１と同様に絶対前景、絶対背景、未分類領域の３領域にラベル付けする。

次に、未分類領域にラベル付けした領域に対して最近傍探索を利用したセグメンテーション手法を用いることにより、注目する未分類領域の画素周辺の絶対前景又は絶対背景の色情報を参照した重み付け計算を行い、その重み付け計算結果に基づき、その未分類領域を絶対前景又は絶対背景に分類する。

これにより、より精緻な合成マスク画像を生成可能となり、被写体の抽出精度を更に向上することができる。

＜変形例３＞
変形例１、変形例２の重み付け計算を行う際に、色情報だけでなく、デプスマップ（画角及び解像度がカラー画像と一致するデプスマップ）の距離情報を参照し、色空間上のカラー値の近似性を利用するのに加えて、物理空間上の距離値の近似性も加味するようにしてもよい。これにより、より精緻な背景差分マスク画像又は合成マスク画像を生成可能となり、被写体の抽出精度を更に向上することができる。

＜変形例４＞
距離閾値マスク生成部１２の変形例について説明する。デプスマップの画角がカラー画像と異なる場合、又はデプスマップの解像度がカラー画像よりも低い場合、距離閾値マスク生成部１２は、カラー画像の画角及び解像度を基準に用いて、更には被写体までの距離として２つの距離閾値の中心（（最小距離Ｄ_ｍｉｎ−最大距離Ｄ_ｍａｘ）／２）をも参照して、取得したデプスマップに対して幾何補正やリサイズ等を行うことにより、解像度及び画角がカラー画像と同じになるようにデプスマップを変更する。これにより、距離閾値マスク生成部１２で生成される距離閾値マスク画像を精細化することが可能となり、被写体の抽出精度を更に向上することができる。

＜変形例５＞
マスク合成部１３の変形例について説明する。デプスマップの解像度が粗く、例えば図８に示すように被写体の境界付近の距離情報しか得られない場合、マスク合成部１３は、次の方法で合成マスク画像を生成する。

まず、背景差分マスク画像に含まれる前景の閉領域を探索する。次に、その閉領域の各画素の座標に対応する距離閾値マスク画像の前景画素の割合を算出し、その割合が一定値以上となった閉領域の画素群を前景、それ以外を背景とした合成マスク画像を生成する。これにより、適正な合成マスク画像を生成可能となり、被写体の抽出精度を更に向上することができる。

以上、本実施の形態及びその変形例について説明した。本実施の形態で説明した画像処理装置１は、コンピュータで実現可能であり、画像処理装置１としてコンピュータを機能させるための画像処理プログラム、その画像処理プログラムの記憶媒体を作成することも可能である。

１…画像処理装置
１１…背景差分マスク生成部（第１の生成部）
１２…距離閾値マスク生成部（第２の生成部）
１３…マスク合成部（合成部）
１４…距離推定部（推定部）
１５…距離パラメータ更新部（更新部）
１６…マスク適用部（適用部）
３…撮像装置
５…計測装置

Claims (8)

1. 時系列のカラー画像から、画像の変化した変化領域と非変化領域とに分類された第１のマスク画像を生成する第１の生成部と、
   前記カラー画像に対応するデプスマップから、２つの距離閾値の間に含まれる閾値間領域と非閾値間領域とに分類された第２のマスク画像を生成する第２の生成部と、
   前記第１のマスク画像と前記第２のマスク画像とを組み合わせ、前記変化領域と前記閾値間領域との両領域に該当する対象領域と非対象領域とを有する合成マスク画像を生成する合成部と、
   前記合成マスク画像の対象領域に対応する距離の最頻値を前記デプスマップから求める推定部と、
   前記距離の最頻値に基づき前記２つの距離閾値を更新する更新部と、
   前記合成マスク画像の対象領域に対応する領域を前記カラー画像から抽出する適用部と、
   を備えることを特徴とする画像処理装置。
2. 前記更新部は、
   前記距離の最頻値が前記２つの距離閾値の間で中心となるように、前記２つの距離閾値を更新することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のマスク画像は、画像の変化度が前記変化領域よりも小さく前記非変化領域よりも大きい未分類領域を含み、
   前記第１の生成部は、
   前記未分類領域から一定範囲内の周辺領域の色情報又は距離情報を利用して前記未分類領域を前記変化領域又は前記非変化領域に分類することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記合成部は、
   前記対象領域と前記非対象領域との境界に一定幅の未分類領域を形成し、当該未分類領域から一定範囲内の周辺領域の色情報又は距離情報を利用して当該未分類領域を前記対象領域又は前記非対象領域に分類することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記第２の生成部は、
   前記カラー画像と同じ画角又は解像度となるように前記デプスマップを変更することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記合成部は、
   前記変化領域に対する前記閾値間領域の割合が閾値以上である変化領域を前記対象領域とすることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 画像処理装置で行う画像処理方法において、
   時系列のカラー画像から、画像の変化した変化領域と非変化領域とに分類された第１のマスク画像を生成するステップと、
   前記カラー画像に対応するデプスマップから、２つの距離閾値の間に含まれる閾値間領域と非閾値間領域とに分類された第２のマスク画像を生成するステップと、
   前記第１のマスク画像と前記第２のマスク画像とを組み合わせ、前記変化領域と前記閾値間領域との両領域に該当する対象領域と非対象領域とを有する合成マスク画像を生成するステップと、
   前記合成マスク画像の対象領域に対応する距離の最頻値を前記デプスマップから求めるステップと、
   前記距離の最頻値に基づき前記２つの距離閾値を更新するステップと、
   前記合成マスク画像の対象領域に対応する領域を前記カラー画像から抽出するステップと、
   を行うことを特徴とする画像処理方法。
8. 請求項１乃至６のいずれかに記載の画像処理装置としてコンピュータを機能させることを特徴とする画像処理プログラム。