JP2020126393A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】データ量の低減を適切に行うことができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置は、被写体を複数の視点から撮像して取得された複数の撮像画像に基づく三次元形状データと、複数の撮像画像に基づく被写体を含む前景画像と、を取得する取得手段と、前景画像における被写体に対応する画素又は領域が、三次元形状データを構成する要素に対応する画素又は領域を含むか否かに基づいて、削除する画素又は領域を決定する削除手段と、を有する。【選択図】図３

Description

本発明は、画像処理技術に関する。

それぞれ異なる位置に配置された複数のカメラによって被写体を複数視点で同期撮影し、その撮影で得られた複数視点の画像を用いて自由視点コンテンツ（仮想視点コンテンツ）を生成する技術が注目されている。特許文献１には、複数視点の画像に基づいて自由視点コンテンツを生成して保存するシステムにおいて、画像受信装置が、生成した視点情報に基づく画像データを読み出すことによって、任意の自由視点コンテンツを取得する技術が記載されている。

仮想視点コンテンツの生成は、１つ以上の被写体の三次元形状を組み合わせて行うことができる。複数のカメラで撮影された被写体の三次元形状データを生成する方法は、非特許文献１に示される視体積交差法でありうる。視体積交差法は、複数のカメラで撮影される測定対象の空間が、小さな立方体又は直方体（以下では「ボクセル」と呼ぶ。）によって分割される。そして、各ボクセルが幾何学的に変換されてカメラ画像に投影され、カメラ画像において、三次元形状データ化対象物体のシルエット内に、そのボクセルが投影されたか否かが判定される。そして、すべてのカメラ画像でシルエット内に投影されたと判定されたボクセルは、対象物体を構成するボクセルとして登録され、その登録されたボクセルの集合体が三次元形状データとして出力される。この三次元形状に撮像画像を適切に投影し色付けを行うことで被写体の再現した色がついた三次元形状データが描画できる。

特開２０１５−２０４５１２号公報

「Ｖｉｒｔｕａｌ Ｖｉｅｗ ｇｅｎｅｒａｔｉｏｎ ｆｏｒ ３Ｄ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ」（ＩＥＥＥ ＭＵＬＴＩＭＥＤＩＡ Ｖｏｌ．４ Ｎｏ．１ ｐｐ．１８−２６、１９９７年）

視体積交差法を行う場合に、撮像画像から被写体のシルエット及び画像を抽出する方法として一般的に、背景差分方式が用いられる。この背景差分方式は、背景として登録した画像に対する差分を、被写体と判断する手法である。しかしながら、背景差分方式では、スタジアム競技などを撮影する際に、観客席やその他画像ノイズなども被写体として抽出してしまう。これら観客席やその他画像ノイズの画像は、三次元形状データ化されない場合には、実質的に使用されないデータとなってしまう。このような使用先がないデータを処理、伝送、蓄積することは無駄である。

そこで、本発明は、データ量の低減を適切に行うことを目的とする。

本発明の画像処理装置は、被写体を複数の視点から撮像して取得された複数の撮像画像に基づく三次元形状データと、前記複数の撮像画像に基づく被写体を含む前景画像と、を取得する取得手段と、前記三次元形状データに基づいて、前記前景画像から一部の被写体に対応する画素又は領域を削除できる削除手段と、を有することを特徴とする。

本発明によれば、データ量の低減を適切に行うことが可能となる。

仮想視点画像生成システムの概略構成例を示す図である。 撮像部の配置例を示す図である。 第１の実施形態の画像処理装置の構成例を示す図である。 第１の実施形態における処理画像を模式的に示す図である。 第１の実施形態の画像処理装置の別構成例を示す図である。 バンディングボックスの例を説明する図である。 第２の実施形態の画像処理装置の構成例を示す図である。 第２の実施形態における処理画像を模式的に示す図である。 画像処理装置に適用可能なコンピュータの構成例を示す図である。

以下、本発明の実施の形態のいくつかの例を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
（基本的なシステム構成と動作）
図１には、本実施形態に係る仮想視点コンテンツ生成システムの概略構成例を示している。本システムは、例えば、撮像部１、同期部２、抽出部３、受信部４、形状推定部５、保存部６、画像生成部７、出力部８、及び操作部９を含んで構成される。なお、本システムは、１つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。

本システムでは、複数の撮像部１が、同期部２による同期信号に基づいて互いに高精度に同期して撮像を行う。なお、複数の撮像部１は、図２に示すように、スタジアムのグラウンド２０（競技スペース）などを含む被写体を囲むように設置されているとする。複数の撮像部１により撮像された画像はそれぞれ対応した抽出部３に送られる。抽出部３は、それぞれ対応した撮像部１で撮像された画像と予め設定された背景画像との差分を求め、被写体を含む前景画像の領域を抽出した前景マスク画像と前景テクスチャ画像とを生成し、受信部４へと送信する。前景マスク画像は撮像画像に含まれる被写体の領域を含むシルエットを表す画像であり、前景テクスチャ画像は撮像画像から切り出された被写体を含むテクスチャを表す画像である。

受信部４は、各抽出部３から受信した同期のとれた複数視点の前景マスク画像を、形状推定部５に入力する。
形状推定部５は、入力された複数視点の前景マスク画像を用いて、例えば視体積交差法などを用いて前景被写体の三次元形状データ（以下、三次元形状と呼ぶ）を生成（推定）する。それら生成された前景被写体の三次元形状は、受信部４が各抽出部３から受信した前景テクスチャ画像とともに、素材データとして保存部６に保存される。

素材データは、前景被写体の三次元形状と前景テクスチャ画像の他に、被写体以外の背景を描画するための、背景構造を示すポリゴンデータである背景三次元形状と、背景三次元形状のポリゴンに貼り付ける背景テクスチャ画像とのいずれか又は両方を含みうる。なお、背景三次元形状及び背景テクスチャの生成方法に関しては、本実施形態によるところではないので説明を省略するが、予め生成しておいてもよいし、撮像画像を用いて逐次生成してもよい。なお、素材データの被写体三次元形状は、本実施形態では視体積交差法を用いて生成されうるが、これ以外の方法が用いられてもよく、他の任意の方法によって三次元形状が生成されてもよい。また、他の素材データについても、任意の方法によって生成されうる。

操作部９は、例えば、タッチパネル、ボタン・キーボード等とディスプレイとの組み合わせ等で構成され、ユーザからの入力を受け付け、ユーザへの情報の提示を行うための、ユーザインタフェースを提供する。操作部９は、例えばその機能として、仮想視点操作部、表示部、及び時間指示部等を含んで構成され、ユーザからの指示を受け付ける。表示部は、現在操作している仮想視点において生成された仮想視点画像を表示する。

また、操作部９に含まれる仮想視点操作部では、ユーザからの指示を基に、仮想視点画像を生成すべき仮想視点情報である仮想視点の位置・姿勢・画角を取得及び決定する。なお、仮想視点操作部としては、例えば３Ｄマウスなどを用いてもよいし、ＧＵＩを通じた操作や、専用の操作部による操作を受け付けることによって仮想視点情報を決定するものでもよい。そして、操作部９を介して決定された仮想視点情報及び指定された時間情報は、画像生成部７に伝えられる。

画像生成部７は、操作部９から指示された仮想視点情報と時間情報とに基づいて、保存部６から素材データを取得して、仮想視点画像を生成する。生成された仮想視点画像は、例えば、操作部９の表示部に表示されたり、出力部８から外部に送信されたりする。

（本実施形態の画像処理装置における特徴的な動作）
図３は、本実施形態の画像処理装置の概略構成例を示した図である。図３において、基本的な構成及び動作は前述の基本構成である図１と同様であるが、特徴的な構成として、削除部１０が含まれている。なお、説明を簡略にするために、図３では画像生成部７以降の図示を省略している。
図４は、削除部１０を含んだ本構成における処理の流れ及び各処理で使用または生成される画像を模式的に表した図である。またここでは、重複した説明を避けるために、複数の撮像部１のうち一つの撮像部１についてのみ例を示して説明する。

まず撮像部１は、図４に示すように、例えば選手が競技しているスタジアム等を撮影した撮像画像４０を取得して抽出部３に送る。抽出部３は、撮像部１から受け取った撮像画像４０と、予め人物等の被写体が存在していない時のスタジアムを撮影した背景画像４１との差分を求めることで、前景マスク画像４２及び前景テクスチャ画像４３を抽出する。ただしこの場合、撮像画像４０と背景画像４１との差分として抽出される領域には、図４に示すように、スタジアムの競技スペース内に存在する選手等の領域だけではなく、観客やその他ノイズの領域も含まれることになる。

受信部４は、抽出部３で抽出された前景マスク画像４２及び前景テクスチャ画像４３のデータを受信し、前景マスク画像４２を形状推定部５に送り、前景テクスチャ画像４３を削除部１０に送る。
形状推定部５は、受信部４から入力された前景マスク画像４２を基に、前景の各被写体の三次元形状を推定する。このとき視体積交差法を用いて被写体の三次元形状の推定を行うと、一部の撮像画像にしか映っていない前景については、形状推定の結果としての被写体三次元形状が生成されない。このため、形状推定部５からは、図４の被写体三次元形状４４に示すように、全ての撮像部１の撮像画像に映っている前景の各被写体だけに対応した被写体三次元形状が出力されることになる。

削除部１０は、被写体を複数の視点から撮像した複数の撮像画像に基づきかつ仮想視点画像を生成するために用いられる三次元形状を用いて、前景テクスチャ画像４３から一部の被写体のテクスチャ画像を削除する。
例えば、削除部１０は、前景テクスチャ画像における被写体を示す画素又は領域が、三次元形状を構成する要素に対応する画素又は領域を含むか否かに基づいて、削除する被写体のテクスチャ画像を決定してもよい。
また例えば、削除部１０は、前景マスク画像の三次元形状に対応する投影画像と、前景テクスチャ画像との比較結果に基づいて、削除する被写体を決定してもよい。この場合の削除部１０は、前景マスク画像の三次元形状に対応する投影画像に含まれる被写体が、前景テクスチャ画像に含まれる被写体を含むか否かに基づいて、削除する被写体を決定する。
投影画像を用いる場合、削除部１０は、形状推定部５にて推定された被写体三次元形状を、撮像部１の位置姿勢を示す外部パラメータと、画角などを示す内部パラメータとを用いて、撮像部１の撮影画角に透視投影変換する。これにより、図４の再投影前景マスク画像４５が生成される。なお、撮像部１の位置姿勢を示す外部パラメータ、画角などを示す内部パラメータは、撮像部１から受信部４を介して取得されているとする。
そして削除部１０は、この再投影前景マスク画像４５を用いて、前景テクスチャ画像４３をマスキングすることで、図４に示すような前景被写体の三次元形状として推定された領域のみを抽出した、再抽出前景テクスチャ画像４６を生成する。

保存部６は、この再抽出前景テクスチャ画像４６を保存する。なお再抽出前景テクスチャ画像４６を保存する際には、再投影前景マスク画像４５でマスキングされなかった画素がある部分だけを矩形領域として切り出したり、圧縮処理をかけたときの圧縮率を向上させたりすることで、保存部６に保存するデータ量を削減する。

前述のようにして生成した、再投影前景マスク画像４５のシルエット外の前景テクスチャ画像は、前景としての被写体の三次元形状がない領域である。すなわち、その領域については、ボクセルに色付けを行う投影処理の際に使用されることがないため、後に仮想視点画像を生成した場合に画質に影響を与えることなく、また保存するデータ量も削減することができる。

（長期保存する際に前景削除処理を実施する例）
本実施形態では仮想視点画像を生成するための素材データを保存部６に保存する前に、削除部１０で前景テクスチャ画像を削除する構成としたが、必ずしもこの構成に限定するものではない。例えば、リアルタイム性を重要視するシステムでは、削除部１０における削除処理がボトルネックになってしまうことがある。一方で撮影後のデータを長期保存する際にはリアルタイム性は考慮する必要がなくデータ量を削減したい場合などもある。このような場合、図５に示すように、保存部６には前景削除処理していない素材データを保存するようにし、その保存部６に保存した素材データを長期保存部１１に保存し直す際に、削除部１０による前景削除処理を行ってデータ量を削減してもよい。なお、図５は、第１の実施形態の画像処理装置の別構成例を示した図である。図５の構成は、図３の構成とは異なり、削除部１０では、保存部６から読み出したデータに対して前景削除処理を行い、その処理後のデータを長期保存部１１に保存する構成となされている。図５の構成の他に、保存部６には前景削除処理前の素材データを保存し、後に長期保存することになった際に、保存部６から読み出したデータに対して削除部１０による前景削除処理を行い、その処理後のデータで保存部６の素材データを上書きしてもよい。この例の場合も、保存部６の保存データ量を削減することができる。

（バウンディングボックスを用いた構成）
ここで、前景被写体の三次元形状をそのまま透視投影変換する場合に、例えば三次元形状のボクセル数が多いと、その分、透視投影変換に要する処理時間が増加してしまうことになる。
そこで削除部１０では、図６に示すように、前景被写体の三次元形状６１に外接して当該三次元形状６１を内包する直方体６２（バウンディングボックス）を求め、この直方体６２を透視投影変換してカメラの撮影画角に投影してもよい。すなわち、被写体三次元形状それぞれについて直方体６２を設定することで投影対象が単純形状となり、例えば直方体の頂点である８点のみを投影するだけで済み、透視投影の処理を軽くすることができるようになる。そしてこのときの再投影前景マスク画像は単純形状になり、これを用いてマスキングを行うようにする。なおこの場合、被写体の付近にも不要な画像が残ってしまうが、観客席などの明らかに不要な部分の画像を削除することは可能なため、処理時間とのトレードオフでこのような構成にしてもよい。

（距離画像）
本実施形態において、再投影前景マスク画像は、例えば二値のマスク画像であるが、これに限定されるものではない。
例えば、削除部１０は、前景テクスチャ画像における被写体を示す画素又は領域に対応する三次元空間上の要素が、三次元形状を構成する要素に含まれるか否かに基づいて、削除する被写体を決定してもよい。例えば、前景被写体の三次元形状を、撮像部１の撮像画角に透視投影変換する際には、撮像部からの距離を表す距離情報が画素ごとに配列された距離画像として投影する。例えば撮像部１が画素ごとの距離情報を含んだ画像を撮像可能である場合、削除部１０は、その距離画像の距離情報に基づき、所定の距離範囲外かどうかで各画素を残すか削除するかを判定して、前景テクスチャ画像の削除処理を行う。このような構成とすることで、全ての撮像画像に映っているが被写体としてとらえたい注目領域内か否かを判定することができ、より高い精度で前景テクスチャの削除処理を行うことができる。

＜第２の実施形態＞
図７は、第２の実施形態の構成図を示した図である。図７において、基本的な構成及び動作は、第１の実施形態で説明した基本構成を示した図１と同様であるので、以下、第１の実施形態とは異なる部分のみ説明する。
図７に示すように、第２の実施形態において、形状推定部５には、領域指定部１２から形状推定領域の情報が供給される。

ここで、形状推定領域とは、形状推定を行う範囲を限定するための領域であり、本実施形態では、例えば図８の点線で示した直方体領域８１のように、例えば競技スペースを包括するような領域とする。なお、図８の例において、図４と同様の画像等には図４と同じ参照符号を付してそれらの説明は省略する。図８の場合、観客席等に関しては形状推定領域外となるため、例えば全ての撮像画像に観客席が含まれていたとしても、観客は形状推定されない。

また領域指定部１２は、削除部１０に対しても、形状推定領域を入力する。削除部１０は、その形状推定領域を、第１の実施形態と同様にして、各撮像部１の外部パラメータ及び内部パラメータに基づいて各撮像部１の撮像画角に投影し、図８に示すような再投影領域マスク画像８２を生成する。そして、削除部１０は、この再投影領域マスク画像８２を用いて、抽出部３で抽出された前景マスク画像４２及び前景テクスチャ画像４３をマスキングする。これにより、マスキングされた再抽出前景テクスチャ画像８３及び再抽出前景マスク画像８４が生成されることになる。

そして、第２の実施形態では、再抽出前景テクスチャ画像８３を圧縮して受信部４へ伝送することで、スタジアムの各所に設置された撮像部１から、受信部４への伝送量を削減することができる。

また第２の実施形態では、第１の実施形態とは異なり再投影領域マスク画像の生成は一度行えばよく、その後の処理は二次元画像のマスク処理のため、比較的軽い処理で実施することが可能となり、リアルタイム性を要するシステムにおいても導入しやすい。また、第２の実施形態では、形状推定部５へ入力される前景マスク画像が削除処理済みであるため、視体積交差法を行う際にシルエットの内外判定を行う回数が減り、形状推定処理の処理負荷も軽減する効果が得られる可能性がある。
一方、第２の実施形態では、最終的な前景テクスチャ画像は第１の実施形態に示す手法に比べ削減量が少ない場合がある。そのため最終的なデータの保存量を削減したい場合などは、第１の実施形態の構成と合わせた構成としてもよい。

前述した各実施形態の画像処理装置によれば、仮想視点コンテンツを生成するために用いられる素材データのうち、前景被写体の被写体三次元形状を再投影し、その再投影した三次元形状の範囲外の被写体画像を削除する。これにより、不要なデータを削減することが可能となり、コストを低減可能となる。なお前述した第１の実施形態に係る処理と第２の実施形態に係る処理は適宜組み合わされて用いられてもよい。

（その他の構成）
前述した各実施形態では、抽出部３が前景抽出を行った前景マスク画像及び前景テクスチャ画像に対して削除部１０で再投影領域マスクを用いたマスク処理を行ったが、必ずしもこの順序に限定するものではない。例えば撮像画像及び背景画像に対して、削除部１０において再投影領域マスクでマスク処理を行った画像を生成し、それらの画像を用いて抽出部３で前景の抽出処理を行う構成としてもよい。この構成とすることで、前景抽出の処理量も少なくすることが可能である。

また、前述した実施形態では、カメラ側で前景の抽出等の処理を行っているが、撮像部１と受信部４の伝送帯域などがボトルネックとならないシステムであれば、これらの処理を受信部４で受信した後に行ってもよい。
また、前述の実施形態では、各撮像部１での撮影を同期させているが、これに限定されない。例えば参考文献１のように、非同期で撮影した画像を基に、後から同期した画像を生成するようにして同期をとっても構わない。
また、前述の実施形態では、三次元モデルを保存し、仮想視点画像を生成する方法を用いたが、これに限定されない。例えば、三次元モデルは保存しないが、前景テクスチャ画像を削除して、参考文献２のようなビルボード方式で仮想視点画像を生成しても構わない。

参考文献１：Shishido, "Smoothly switching method of asynchronous multi-view videos using frame interpolation",
3DTV-Conference 2017.
参考文献２：T.Koyama, I.Kitahara and Y.Ohta, "Live Mixed-Reality 3D Video in Soccer Stadium," ISMAR2003, pp.167-178.

前述の図１、図３、図５、図７に示した各部はハードウェアにより構成されているものとして説明したが、これら各部で行う処理をコンピュータプログラムによるソフトウェア構成により実現してもよい。また、一部がハードウェア構成で、残りがソフトウェア構成となされてもよい。
図９は、前述した各実施形態の各部で行う処理をコンピュータプログラムの実行により実現可能なコンピュータのハードウェアの構成例を示したブロック図である。

図９において、ＣＰＵ９１は、ＲＡＭ９２やＲＯＭ９３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、前述した各実施形態に係る画像処理装置が行う各処理を実行する。すなわち、ＣＰＵ９１は、図１、図３、図５、図７に示した各部のうち、撮像部１の制御、同期部２、抽出部３、受信部４、形状推定部５、削除部１０、保存部６等の機能を担うことになる。なお、ハードウェア構成としてのカメラ側に同期部２や抽出部３が設けられている場合、ＣＰＵ９１は、受信部４、形状推定部５、削除部１０、保存部６の各機能を担う。

ＲＡＭ９２は、外部記憶装置９６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）９７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ９２は、ＣＰＵ９１が各種の処理を実行する際に用いるワークエリアを有する。すなわち、ＲＡＭ９２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ９３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部９４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ９１に対して入力することができる。出力部９５は、ＣＰＵ９１による処理結果を表示する。また出力部９５は例えば液晶ディスプレイで構成される。

外部記憶装置９６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置９６には、ＯＳ（オペレーティングシステム）や、前述した第１、第２の実施形態で説明した各部の機能をＣＰＵ９１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置９６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置９６に保存されているコンピュータプログラムやデータは、ＣＰＵ９１による制御に従って適宜、ＲＡＭ９２にロードされ、ＣＰＵ９１による処理対象となる。Ｉ／Ｆ９７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ９７を介して様々な情報を取得したり、送出したりすることができる。バス９８は上述した各部を繋ぐ。
上述の構成からなる作動は、前述の実施形態で説明した作動をＣＰＵ９１が中心となってその制御を行う。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：撮像部、２：同期部、３：抽出部、４：受信部、５：形状推定部、６：保存部、７：画像生成部、８：出力部、９：操作部、１０：削除部、１１：長期保存部、１２：領域指定部

Claims (16)

1. 被写体を複数の視点から撮像して取得された複数の撮像画像に基づく三次元形状データと、前記複数の撮像画像に基づく被写体を含む前景画像と、を取得する取得手段と、
   前記三次元形状データに基づいて、前記前景画像から一部の被写体に対応する画素又は領域を削除できる削除手段と、
   を有することを特徴とする画像処理装置。
2. 前記削除手段は、前記前景画像における被写体に対応する画素又は領域に対応する三次元空間上の要素が、前記三次元形状データを構成する要素に含まれるか否かに基づいて、削除する画素又は領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記削除手段は、前記前景画像における被写体に対応する画素又は領域が、前記三次元形状データを構成する要素に対応する画素又は領域を含むか否かに基づいて、削除する画素又は領域を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記削除手段は、前記三次元形状データの前記前景画像に対応する投影画像と、前記前景画像との比較結果に基づいて、削除する画素又は領域を決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記削除手段は、前記三次元形状データの前記前景画像に対応する投影画像に含まれる被写体が、前記前景画像に含まれる被写体を含むか否かに基づいて、削除する画素又は領域を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記三次元形状データは、複数の前記前景画像に基づいて生成されることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記削除手段は、前記三次元形状データに応じた三次元形状を内包する直方体に基づいて、前記削除を行うことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記削除手段は、予め指定された範囲を包括する領域に応じた三次元形状データに基づいて、前記削除を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記前景画像を保存した後に長期保存しなおす場合に、前記削除手段は、前記削除を行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記三次元形状データと、前記削除手段により一部の被写体に対応する画素又は領域が削除された前景画像は、指定された視点に基づく画像の生成に用いられることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 画像処理装置が実行する画像処理方法であって、
    被写体を複数の視点から撮像した複数の撮像画像に基づく三次元形状データと、前記複数の撮像画像に基づく被写体を含む前景画像と、を取得する取得工程と、
    前記三次元形状データに基づいて、前記前景画像から一部の被写体に対応する画素又は領域を削除する削除工程と、
    を有することを特徴とする画像処理方法。
12. 前記削除工程において、前記前景画像における被写体に対応する画素又は領域に対応する三次元空間上の要素が、前記三次元形状データを構成する要素に含まれるか否かに基づいて、削除する画素又は領域が決定されることを特徴とする請求項１１に記載の画像処理方法。
13. 前記削除工程において、前記前景画像における被写体に対応する画素又は領域が、前記三次元形状データを構成する要素に対応する画素又は領域を含むか否かに基づいて、削除する画素又は領域が決定されることを特徴とする請求項１１に記載の画像処理方法。
14. 前記削除工程において、前記三次元形状データの前記前景画像に対応する投影画像と、前記前景画像との比較結果に基づいて、削除する画素又は領域が決定されることを特徴とする請求項１１に記載の画像処理方法。
15. 前記削除工程において、前記三次元形状データの前記前景画像に対応する投影画像に含まれる被写体が、前記前景画像に含まれる被写体を含むか否かに基づいて、削除する画素又は領域を決定することを特徴とする請求項１１に記載の画像処理方法。
16. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置が有する各手段として機能されるためのプログラム。

Images