JP2017091298A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】任意背景のシーンにおいて、色情報の画像に加えてデプスマップを用い、ジャギーの発生を防ぎながら任意領域の抽出を実行することのできる画像処理装置を提供する。【解決手段】カラー画像から前景領域を抽出する画像処理装置であって、カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力手段と、デプスマップのデータを参照して、カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、不明領域の各画素の色が近傍の前景領域の画素の色または近傍の背景領域の画素の色のいずれに近いかに基づいて、不明領域の画素を背景領域または前景領域のいずれかに振り分けることによって、抽出すべき前景領域を抽出する領域抽出手段とを備える。【選択図】図１

Description

本発明は、所望の画像を画像処理によって生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

映像中からの任意領域の抽出は、数多くの映像アプリケーションで用いられている。テレビ局やスタジオ等では、グリーンバック背景に被写体を設置し被写体領域のみを抽出するクロマキー技術が古くから研究開発され、現在も広く普及し使われている。被写体領域のみを抽出することにより、例えば抽出領域を任意のＣＧ映像の中に挿入するという映像編集と組み合わせることができるため、より付加価値の高い映像を創出することができる。このような利点から、テレビにおけるバーチャルスタジオや、映画におけるＣＧ編集作業において、クロマキー技術による任意領域の抽出技術は不可欠なものとなっている。

クロマキー技術では被写体の背景が制限されてしまうため、屋外でのロケ映像や実際のスポーツ競技においては、用いることができないという本質的な課題がある。そのため、古くから任意背景における任意領域の抽出技術が検討されている。例えば、背景差分を用いる手法（例えば、非特許文献１参照）や、色勾配やエッジ情報を用いる手法（例えば、非特許文献２参照）が挙げられる。

波部斉, 和田俊和,松山隆司. "照明変化に対して頑健な背景差分法." 情処学研報, CVIM115-3 (1999). Rother, Carsten, Vladimir Kolmogorov, and Andrew Blake. "Grabcut: Interactive foreground extraction using iterated graph cuts." ACM Transactions on Graphics (TOG) 23.3 (2004): P.309-314.

背景差分を用いる手法では、事前に背景を撮影し、抽出対象画像と背景画像を画素ごとに比較することで、差分値の大きい画素のみを抽出対象領域とするという概念に基づいている。背景が変動しない状況では正しく動作するが、実際の利用では時刻による太陽光の変化、照明変動、被写体の動きによる影の変動等があるため、抽出領域以外の領域においても背景画像との差分が大きくなってしまうことで、正しく抽出領域のみを抽出できないという問題がある。

一方で画像中の色勾配やエッジ情報を用いる手法が提案されている。この方法では、任意領域の輪郭を滑らかに切り出すことができるため、品質の高い領域抽出を行うことができる。しかし、色情報のみを用いているため、例えば背景と抽出領域の色が似ている場合には、うまく動作しないことがある。また、動画像の全てのフレームを処理しなければならない撮影編集作業においては、計算量が多く処理時間が問題となってしまう。

また、色情報から成る画像に加え、デプスマップと呼ばれるカメラから被写体までの距離情報を併せることで、任意領域の抽出をする手法が考えられる。奥行き情報を用いることで、色情報が似ている状況においても、抽出領域か否かを判断することができるため、より容易に高速に領域抽出をできる可能性がある。

しかし多くの場合、デプスマップの解像度は、画像の解像度に比べ著しく低いため、デプスマップを画像と同じサイズまでアップサンプルする必要がある。このアップサンプルにより、正しくデプスマップをリサイズできないため、輪郭部分にジャギー（階段状のギザギザのこと）が生じてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、任意背景のシーンにおいて、色情報の画像に加えてデプスマップを用い、ジャギーの発生を防ぎながら任意領域の抽出を実行することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、カラー画像から前景領域を抽出する画像処理装置であって、前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力手段と、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出手段とを備える画像処理装置である。

本発明の一態様は、前記画像処理装置であって、前記カラー画像をグリッドに分割し、各グリッド内に前記前景領域の画素が含まれていなかったグリッドを特定し、該グリッドを前記領域抽出手段の対象外とする処理領域選択手段をさらに備える。

本発明の一態様は、前記画像処理装置であって、前記前景領域を拡大した後に、縮小を行うことにより、前記前景領域と前記背景領域、もしくは前景領域と不明領域との境界において発生するノイズを除去する事前処理手段をさらに備える。

本発明の一態様は、カラー映像から前景領域を抽出する画像処理装置であって、前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力手段と、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出手段と、連続するフレームの画像から動きベクトルを算出するフレーム差分算出手段とを備え、前記初期領域抽出手段は、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理装置である。

本発明の一態様は、カラー画像から前景領域を抽出する画像処理装置が行う画像処理方法であって、前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力ステップと、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出ステップとを有する画像処理方法である。

本発明の一態様は、カラー映像から前景領域を抽出する画像処理装置が行う画像処理方法であって、前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力ステップと、前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出ステップと、連続するフレームの画像から動きベクトルを算出するフレーム差分算出ステップとを有し、前記初期領域抽出ステップでは、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理方法である。

本発明の一態様は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、所望の画像に対する画像処理によって、ジャギーの発生を抑制しながら、かつ画像の任意領域を抽出することができるという効果が得られる。

本発明の第１実施形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置の動作を示すフローチャートである。 図１に示す処理領域選択部１３の詳細動作を示す図である。 図１に示す事前処理部１４の詳細動作を示す図である。 図１に示す領域抽出部１５の詳細動作を示す図である。 本発明の第２実施形態による画像処理装置の構成を示すブロック図である。 図６に示す画像処理装置の動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による画像処理装置を説明する。ここでは、動画像（映像）の各フレーム（画像）に対する処理を説明するが、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

図１は第１実施形態における画像処理装置の構成を示すブロック図である。画像処理装置１は、コンピュータ装置によって構成し、図１に示すように、入力部１１、初期領域抽出部１２、処理領域選択部１３、事前処理部１４、領域抽出部１５及び終了判定部１６を備えている。

次に、図２を参照して、図１に示す画像処理装置１の処理動作を説明する。図２は、図１に示す画像処理装置１の処理動作を示すフローチャートである。

まず、入力部１１は、カラー映像及びデプスマップストリームを外部から読み込み、初期領域抽出部１２に対し、同期した１フレームずつカラー画像とデプスマップを出力する（ステップＳ１）。以下では、カラー画像を単に画像と称し、画像とデプスマップを併せ入力情報と称する。画像とデプスマップの解像度が等しいことを前提としているが、異なる場合は、入力部１１において両者のサイズを併せるためのリサイズ処理を施せばよい。なお、入力部１１は、１フレームの画像と、１フレーム分のデプスマップのみを入力してもよい。以下の処理は、フレーム毎に行うため、以下の処理を連続するフレームに対して順次行うことにより、映像に対する処理を実現することができる。

次に、初期領域抽出部１２は、領域抽出を行うためのおおまかな初期領域の算出を行って初期領域の抽出を行う（ステップＳ２）。抽出結果を記録するために、画像と同じサイズの初期領域画像を用意する。以下の説明では、初期領域として抽出された画素が成す領域を抽出領域、初期領域ではないと判断された画素が成す領域を背景領域、判断が付かなかった画素が成す領域を不明領域と称する。初期領域画像の画素は、初期領域、背景領域、不明領域の３状態をとりうる１チャネルの画像とする。

初期領域の抽出においては、入力したデプスマップを用いた領域抽出を行う。ここで、初期領域を抽出する方法として、画素ごとにデプス値の閾値処理を行い、任意の奥行きの範囲内に存在する画素のみを抽出領域として算出、それ以外の範囲の画素を背景領域として算出する方法が適用できる。

しかし、デプス値の閾値処理では、カメラの光軸方向に対し垂直に立っている物体しか抽出することができないため、任意の三次元平面を設定し、その三次元平面から一定の距離の範囲内に存在する画素を抽出する方法を用いるようにしてもよい。その他、これに類し、おおまかに抽出領域の画素を抽出する方法を用いても構わない。また、ノイズやオクルージョンによりデプス値が取得できていない画素については、抽出領域か否かの判断が付かないため、判断が付かない状態（不明領域）として記録を行う。このようにして、初期領域抽出部は、初期領域画像を出力する。

次に、処理領域選択部１３は、処理を施す領域を算出して選択する（ステップＳ３）。ここで、図３を参照して、処理領域選択部１３の処理動作の詳細を説明する。図３は、図１に示す処理領域選択部の詳細動作を示す図である。処理領域選択部１３では、処理対象画素を示すマスク画像と、処理を行うと判断されたグリッドの左上画像座標群を出力する。処理領域選択部１３は、画像全体に対する処理を極力削減し処理を高速化するために、初期領域抽出部１２では精確に領域抽出が行われなかったであろうグリッドを選択し、以後の処理では処理の必要ない画素には処理を行わない判定を行わせる（ステップＳ４）ために存在する。

始めに、画像と同サイズのマスク画像を生成し、これを以下では処理対象画素を示すマスク画像と称する。画像３０１を、まずグリッドに分割する。グリッドのサイズは任意のサイズで構わない。画像座標３０２、３０３、３０４に示す様に、各グリッドの左上画像座標を基準にし、ここではあるひとつのグリッド３０５について説明する。グリッド３０５およびその近傍領域を含んだ拡張グリッド３０６に着目する。グリッド３０５と拡張グリッド３０６のサイズの差分３０７、３０８、３０９、３１０の大きさは任意に設定して構わない。これらの値が大きければ最終的な領域抽出の精度は向上するが、計算量の増大するため、適当な大きさを選択する。

図３の右図は、グリッド３０５および拡張グリッド３０６の拡大図３１１を示す。破線３１２はグリッド３０５を示し、白で示す画素からなる領域３１３は背景領域、斜線で示す画素からなる領域３１４は不明領域、濃いグレーで示す画素からなる領域３１５は抽出領域をそれぞれ示している。拡張グリッド３１１に含まれている画素の中に、１画素でも抽出領域に属する画素が含まれているとき、グリッド３１２に含まれるすべての画素を処理対象画素として判定し、処理対象画素を示すマスク画像に記録する。

逆に、この条件を満たさない拡張グリッド３１１に含まれる画素に対しては、処理対象画素ではない画素として、処理対象画素を示すマスク画像に記録する。拡張グリッド３１１の場合では、条件を満たしているため、拡張グリッド３０６に含まれているすべての画素が、処理対象画素として判定される。この処理をすべてのグリッドに対して行い、座標３０２、３０３、３０４のような処理対象と判定されたグリッドの左上画像座標を記録する。

次に、事前処理部１４は、前述の処理領域選択部１３において処理対象画素として判定された画素と同位置の画素において、初期領域画像に対するフィルタリング処理等の、ノイズを除去するための事前処理を行う（ステップＳ５）。入力として、処理領域選択部１３において出力された処理対象画素を示すマスク画像と、初期領域抽出部１２において出力された初期領域画像を用いる。

初期領域抽出部１２では、デプスマップを用いた領域抽出を行ったが、デプスマップ自体の精度が高くないため、初期領域画像の抽出結果の精度は高くない。特に、前景領域と背景領域、もしくは不明領域との境界において、多くのノイズが観測される傾向が強い。そのため、事前処理部１４においては、フィルタリング処理等を用い、これらのノイズを除去する。

ここで、図４を参照して、事前処理としてフィルタリング処理を用いた方法について説明する。ここではまず抽出領域を拡大するフィルタリング処理をかけた後、抽出領域を縮小するフィルタリング処理を行っている。抽出領域を拡大することにより、抽出領域中に含まれるノイズを除去することができる、そののち抽出領域を縮小することにより、拡大処理により膨らんだ境界を戻しつつ、境界付近に現れるノイズを除去することができる。

まず初めに、事前処理を行った結果の領域画像を保存するために、初期領域画像と同サイズ同フォーマットの画像を用意する。以下ではこの画像を編集領域画像と称する。編集領域画像の初期値として、初期領域画像をコピーする。初期領域画像中の領域４０１が処理対象画素として選択されているとする。初期領域画像中のある一部を拡大した拡大図４０２に示す。

以下、マスク画像に有効な画素として記録されており、かつ、抽出領域に含まれているすべての画素に対して抽出領域拡大のためのフィルタリング処理を行う。初期領域に含まれている画素４０３に着目し、説明する。まず、画素４０３の近傍領域４０４に着目する。近傍領域４０４に含まれている画素のうち１画素でも背景領域または不明領域に属する画素があれば、近傍領域４０４に含まれている画素の状態を抽出領域として判定し、編集領域画像を上書きする。画像４０５が編集領域画像の一部を拡大した画像であり、図４０２が図４０５、画素４０３が画素４０６、近傍領域４０４が近傍領域４０７にそれぞれ対応している。抽出領域に含まれているすべての画素に対して、前述のフィルタリング処理を行った後、編集領域画像を、初期領域画像に上書き保存する。

次に、抽出領域に含まれているすべての画素に対して抽出領域縮小のためのフィルタリング処理を行う。初期領域画像中のある一部の拡大図４０８を示す。初期領域に含まれている画素４０９に着目し、説明する。まず、画素４０９の近傍領域４１０に着目する。近傍領域４１０に含まれている画素のうち１画素でも背景領域または不明領域に属する画素があれば、近傍領域４１０に含まれている画素の状態を不明領域として判定し、編集領域画像を上書きする。画像４１１が編集領域画像の一部を拡大した画像であり、拡大図４０８が図４１１、画素４０９が画素４１２、近傍領域４１０が近傍領域４１３にそれぞれ対応している。

前述のフィルタリング処理以外に、バイラテラルフィルタ、モルフォロジー変換、等、これらに類するノイズ除去手法をもちいても構わない。このようにして、事前処理部１４では編集領域画像を出力する。

次に、領域抽出部１５は、抽出領域の算出を行う（ステップＳ６）。領域抽出部１５では、処理領域選択部１３で出力された処理を行うと判断されたグリッドの左上画像座標群と、事前処理部１４で出力された編集領域画像と、入力部１１から出力された画像を入力とし、さらに精確に領域抽出を行い、領域抽出結果画像を出力する。領域抽出結果画像は画像と同じサイズであり、各画素は抽出領域、背景領域、不明領域のいずれかの状態をとりうるものとする。

ここで、図５を参照して、領域抽出部１５の処理動作について説明をする。領域抽出部１５では、マスク画像を参照し処理領域選択部１３で処理を行うと判断されたグリッドのみに対して、処理を行う。この処理を行うか否かの判断は、処理領域選択部１３で出力された処理対象と判定されたグリッドの左上画像座標を用いることで行うことができる。

次に、処理対象であるグリッドをグリッド５０１とし、その拡大領域５０２に着目する。処理対象であるグリッドに含まれており、且つ、編集領域画像が示す画素の状態が不明領域に属する画素に対してのみ、画素毎に以下の処理を行う。条件を満たす画素の一つとして、画素５０３を例にして説明を進める。領域５０４のように濃いグレーの領域を抽出領域、領域５０５のように斜線の領域を不明領域、領域５０６のように白い領域を背景領域として示している。

まず、拡大領域５０２の中に含まれていて、抽出領域に含まれている幾つかの画素を抽出側シード（抽出すべき画素の候補）、背景領域に含まれている幾つかの画素を背景側シード（背景の画素の候補）として選択する。これらシードとして選択される画素の選び方については、どのように選らんでも構わない。図５においては、それぞれのシードとなる画素は一定間隔ごとに選択された方法を示しており、５０７−１〜５は抽出側シード、５０８−１〜５は背景側シードを示している。

次に、画素５０３が抽出側領域か、背景側領域化かの判断を行うための処理を、色情報を用いて、画素５０３の色と、すべてのシード画素の色と比較し、最も色が近いシードが属する領域を画素５０３の領域として判断し、領域抽出結果画像に記録する。比較方法については、どのような方法を用いても構わない。例えば、ＲＧＢ各色のＳＳＤ（Sum of Squared Distance）を用いる方法や、ＲＧＢではなく輝度・明度・彩度の色空間に変換した後に各画素値の差分を用いても構わない。この処理を、処理グリッドに含まれているすべての不明領域の画素について行うことによって、処理グリッドに含まれるすべての画素が、抽出領域もしくは背景領域に分類される。最後に、領域抽出部１５は、抽出領域結果画像を保存、もしくはディスプレイ等に画像出力する（ステップＳ７）。

次に、終了判定部１６は、入力情報中の全てのフレーム画像に対して処理を完了したかを判断し、完了していなければ前述の処理を繰り返し、完了していれば処理を終了する（ステップＳ８）。

＜第２実施形態＞
次に、本発明の第２実施形態による画像処理装置を説明する。図６は本発明の第２実施形態による画像処理装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、フレーム差分算出部１７が新たに設けられている点である。フレーム差分算出部１７は、処理が完了したフレームの抽出領域結果画像から、次フレームの初期領域を設定する際に用いるために有用な情報を抽出する。

次に、図６に示す画像処理装置１の処理動作を説明する。図７は、図６に示す画像処理装置１の処理動作を示すフローチャートである。この図に示す画像処理装置１の処理動作が図２に示す処理動作と異なる点は、ステップＳ９が新たに追加されている点である。

図７では、図２に示す処理動作に加え、次フレーム画像との差分を算出する処理（ステップＳ９）が追加されている。終了判定部の処理（ステップＳ８）の後、次フレームとの差分情報として、画像またはデプスマップ、または両方、の動きベクトルを算出する。動きベクトルは、オプティカルフローなど公知の方法を用いて算出することができるため、ここでは、詳細な説明を省略する。また、動きベクトルは、全画素に対し算出してもよいし、画素を間引くなどして一部の画素について算出してもよい。

初期領域抽出部１２では、前述した処理に加え、算出された動きベクトルと現在のフレーム情報を用いて、抽出領域の初期領域を抽出する。前フレームにて、抽出領域として判断された画素に対し、動きベクトルを用いて動き予測を行い、初期の編集領域とする。

このように、次のフレームとの差分を算出することにより、初期領域抽出の精度を向上させることができる。

以上説明したように、デプスマップによる奥行情報を利用して、前景領域、不明領域、背景領域に分けた後、不明領域の各画素を前景領域または背景領域に振り分けるようにした。振り分けの基準は、近傍の前景領域の画素の色、近傍の背景領域の画素の色、いずれに近いかで分ける。

このように構成することによって、色情報の画像に加えてデプスマップを用い、処理対象となるグリッドを判別しながら、局所的に色情報に基づく抽出領域の算出を行うことで、ジャギーの発生を抑制しながら、かつ高速に任意領域を抽出することができるようになる。

前述した実施形態における画像処理装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

所望の画像に対する画像処理によって、ジャギーの発生を抑制しながら、かつ高速に画像の任意領域を抽出することが不可欠な用途に適用できる。

１・・・画像処理装置、１１・・・入力部、１２・・・初期領域抽出部、１３・・・処理領域選択部、１４・・・事前処理部、１５・・・領域抽出部、１６・・・終了判定部、１７・・・フレーム差分算出部

Claims (7)

1. カラー画像から前景領域を抽出する画像処理装置であって、
   前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力手段と、
   前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、
   前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出手段と
   を備える画像処理装置。
2. 前記カラー画像をグリッドに分割し、各グリッド内に前記前景領域の画素が含まれていなかったグリッドを特定し、該グリッドを前記領域抽出手段の対象外とする処理領域選択手段をさらに備える請求項１に記載の画像処理装置。
3. 前記前景領域を拡大した後に、縮小を行うことにより、前記前景領域と前記背景領域、もしくは前景領域と不明領域との境界において発生するノイズを除去する事前処理手段をさらに備える請求項１または２に記載の画像処理装置。
4. カラー映像から前景領域を抽出する画像処理装置であって、
   前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力手段と、
   前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出手段と、
   前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出手段と、
   連続するフレームの画像から動きベクトルを算出するフレーム差分算出手段とを備え、
   前記初期領域抽出手段は、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理装置。
5. カラー画像から前景領域を抽出する画像処理装置が行う画像処理方法であって、
   前記カラー画像と、該カラー画像と同じシーンのデプスマップとを入力する入力ステップと、
   前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、
   前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を抽出する領域抽出ステップと
   を有する画像処理方法。
6. カラー映像から前景領域を抽出する画像処理装置が行う画像処理方法であって、
   前記カラー映像と、該カラー映像と同じシーンのデプスマップとを入力する入力ステップと、
   前記デプスマップのデータを参照して、前記カラー画像の各画素が所定の奥行き近傍の領域の画素であるか否かに基づいて、前記カラー映像のフレーム毎に、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する初期領域抽出ステップと、
   前記不明領域の各画素の色が近傍の前記前景領域の画素の色または近傍の前記背景領域の画素の色のいずれに近いかに基づいて、前記不明領域の画素を前記背景領域または前記前景領域のいずれかに振り分けることによって、前記抽出すべき前景領域を前記カラー映像のフレーム毎に抽出する領域抽出ステップと、
   連続するフレームの画像から動きベクトルを算出するフレーム差分算出ステップとを有し、
   前記初期領域抽出ステップでは、前記動きベクトルと、所定の奥行き近傍の領域の画素であるか否かに基づいて、背景領域、抽出すべき前景領域、判断が付かなかった不明領域のそれぞれを抽出する画像処理方法。
7. コンピュータを、請求項１から４のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images