JP2023153534A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】データ量および演算量を抑制しながら、ＣＧ空間に合成されるオブジェクトの影を生成すること。【解決手段】画像処理装置は、仮想視点から前景オブジェクトを見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得手段と、コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得手段と、前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成する影生成手段と、前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成手段と、を有し、前記影生成手段は、前記前景オブジェクトの形状に関する二次元の情報と、前記ＣＧ空間における照明の情報と、に基づき前記影画像を生成する。【選択図】図１

Description

本開示は、撮像画像に基づくデータの生成に関する。

複数の視点で前景オブジェクトを時刻同期して撮像して得られた複数の撮影画像に基づき、前景オブジェクトの三次元形状をボクセルなどの要素群で表した三次元形状データ（三次元モデルともよぶ）を生成する方法がある。また、コンピュータグラフィックスを使用して生成された三次元空間に、前景オブジェクトの三次元モデルを合成する方法がある。さらに影を合成することでリアルな合成画像を生成することができる。

特許文献１には、前景オブジェクトの三次元モデルと、三次元モデルが投影される投影空間の光源情報に基づいて、オブジェクトの影を生成することが記載されている。

国際公開第２０１９／０３１２５９号

特許文献１のように前景オブジェクトの三次元モデルをそのまま用いて影を生成する方法では、三次元モデルの各要素の位置情報は三次元の情報となるため、影の生成のために使用されるデータ量が多くなり、影を生成する際の演算量が大きくなってしまう。

本開示は、データ量および演算量を抑制しながら、ＣＧ空間に合成される前景オブジェクトの影を生成することを目的とする。

本開示の画像処理装置は、仮想視点から前景オブジェクトを見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得手段と、コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得手段と、前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成する影生成手段と、前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成手段と、を有し、前記影生成手段は、前記前景オブジェクトの形状に関する二次元の情報と、前記ＣＧ空間における照明の情報と、に基づき前記影画像を生成することを特徴とする。

本開示によれば、データ量および演算量を抑制しながら、ＣＧ空間に合成される前景オブジェクトの影を生成することができる。

画像処理装置の機能構成図。 撮像装置の配置およびシルエット画像を説明するための図。 合成画像および合成画像を生成するための中間データの一例を示す図。 画像処理装置のハードウェア構成図。 影画像の生成を説明するためのフローチャート。 影画像の生成を説明するための図。 合成画像の生成を説明するためのフローチャート。 画像処理装置の機能構成図。 影画像の生成を説明するためのフローチャート。 撮像装置の配置および前景オブジェクトのデプス画像を説明するための図。 画像処理装置の機能構成図。 姿勢情報を説明するための図。 合成画像の生成を説明するためのフローチャート。

以下、図面を参照しながら、本開示の技術を実施するための形態について説明する。なお、以下の実施形態は本開示の技術を限定するものではなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。また、参照符号において番号の後ろに付与したアルファベットのみが異なる用語については、同一機能を持つ装置の別インスタンスを示すものとする。

＜実施形態１＞
［システム構成］
図１は、仮想視点から見た背景を含まない前景オブジェクトの画像をＣＧ画像と合成して合成画像を生成するためのシステムの一例を示す図である。本システムは、撮像装置１１１、撮像情報入力装置１１０、ＣＧ情報入力装置１２０、画像処理装置１００、および出力装置１３０を有する。

撮像装置１１１は、複数の撮像装置で構成され、複数の撮像装置それぞれは、動画などの画像を撮像するデジタルビデオカメラなどの装置である。撮像装置１１１を構成する複数の撮像装置は全台が時刻同期して撮像を行う。撮像装置１１１は、複数方向から撮像空間内に存在するオブジェクトを様々な角度で撮像してその結果得られた画像を撮像情報入力装置１１０へ出力する。

図２（ａ）は、撮像装置１１１の配置等を説明するための図である。図２（ａ）における撮像装置１１１ａ～１１１ｇは、撮像装置１１１を構成する複数の撮像装置の一例である。図２（ａ）に示すように、撮像装置１１１ａ～１１１ｇは、例えば、スタジオの周囲に配置され、前景オブジェクト２０２を様々な角度から時刻同期して撮像する。撮像装置１１１の撮像対象となるオブジェクトを前景オブジェクトとよぶ。前景オブジェクトは、例えば、人物である。または前景オブジェクトは、動物、または、ボール、ゴール等、画像パターンが予め定められている物体であってもよい。

撮像情報入力装置１１０は、撮像装置１１１が異なる視点で前景オブジェクトを撮像して得られた複数の撮像画像と、撮像装置１１１の位置、姿勢、および画角などの視点情報と、を画像処理装置１００へ出力する。撮像装置の視点情報には、例えば、撮像装置１１１の外部パラメータ、内部パラメータ、レンズの歪み、または焦点距離などが含まれる。撮像画像および撮像装置の視点情報は、撮像装置１１１から直接、画像処理装置１００へ出力されてもよいし、撮像画像は他の蓄積装置から出力されてもよい。

ＣＧ情報入力装置１２０は、合成画像における背景となる三次元空間内の背景オブジェクトの位置、形状、マテリアル、アニメーション、エフェクト、および三次元空間内の照明の情報などの数値的な三次元情報を蓄積部から出力する。さらに三次元情報を制御するプログラムを蓄積部から出力する。背景となる三次元空間は、一般的なコンピュータグラフィックス（ＣＧ）を使用して生成される。本実施形態では、ＣＧを使用して生成された背景となる三次元空間をＣＧ空間ともよぶ。

画像処理装置１００は、異なる視点で撮像して得られた複数の撮影画像に基づき、前景オブジェクトの三次元形状を表す三次元モデル（三次元形状データ）を生成する。さらに生成された三次元モデルを用いて、実際の撮像装置からの視点とは異なる仮想視点から見た前景オブジェクトの画像を生成するレンダリングを行う。

さらに画像処理装置１００は、ＣＧ空間を仮想視点から見た画像に、同じ仮想視点から見た前景オブジェクトの画像を合成することで得られる合成画像を生成する。この合成により、前景オブジェクト画像に対する演出の効果を向上させることができ、より魅力的な画像とすることができる。なお、合成画像は、動画であっても、静止画であってもよい。画像処理装置１００内の構成については後述する。

出力装置１３０は、合成部１０９によって生成された合成画像を出力し、ディスプレイなどの表示装置に表示する。また、サーバーなどの蓄積装置へ送信してもよい。なお、本システムは、図１のように複数の装置によって構成されてもよいし、一つの装置によって構成されてもよい。

[画像処理装置の機能構成]
次に、画像処理装置１００の機能構成を、図１を用いて説明する。画像処理装置１００は、前景抽出部１０１、三次元形状推定部１０３、仮想視点生成部１０２、仮想視点オブジェクト描画部１０４、ＣＧ空間描画部１０８、ＣＧ照明情報取得部１０６、前景マスク取得部１０５、影生成部１０７、および合成部１０９を有する。

前景抽出部１０１は撮像情報入力装置１１０から撮像画像を取得する。そして、撮像画像に含まれる前景オブジェクトが存在する領域を抽出して、前景オブジェクトの領域を表すシルエット画像を生成して出力する。

図２（ｂ）のシルエット画像２０３は、前景オブジェクト２０２を撮像する撮像装置１１１ｂの撮像画像に基づき生成されたシルエット画像の一例である。図２（ｂ）に示すように、シルエット画像は、前景オブジェクトの領域である前景領域を白で表し、前景領域以外の非前景領域を黒で表した二値画像として出力される。シルエット画像をマスク画像ともよぶ。このように仮想視点から見た前景オブジェクトの画像を生成するために、二次元の中間情報として、前景オブジェクトのシルエット画像が得られる。

前景領域を抽出する方法は、任意の既存の技術を用いればよいため限定しない。例えば、前景オブジェクトが存在しない時に撮像空間を撮像して得られた画像と撮像画像の差分を導出して、差分が閾値より高い領域を前景オブジェクトが存在する前景領域として抽出する方法を用いればよい。または、ディープニューラルネットワークを用いて前景領域が抽出されてもよい。

三次元形状推定部１０３は、前景オブジェクトの三次元モデルを生成する生成部である。三次元形状推定部１０３は、撮像画像、撮像装置１１１の視点情報、および前景抽出部１０１によって生成されたシルエット画像を用いて、前景オブジェクトの三次元形状を推定することで三次元モデルを生成する。本実施形態では、三次元形状を表すための要素群は、微小な直方体であるボクセル群であるものとして説明する。三次元形状の推定方法について限定しない、任意の既存の技術を用いて前景オブジェクトの三次元形状を推定することができる。

例えば、三次元形状推定部１０３は、視体積交差法を用いて前景オブジェクトの三次元形状を推定すればよい。視体積交差法では、撮像装置１１１を構成する複数の撮像装置それぞれに対応するシルエット画像の前景領域を、三次元の空間上で逆投影を行う。そして、それぞれの前景領域から導出される視体積の交差部分を求めることにより前景オブジェクトの三次元形状を得る方法である。または、三角測量の原理を用いて撮像装置から前景オブジェクトまでの距離を算出し、三次元形状を推定するステレオ法を用いてもよい。

仮想視点生成部１０２は、仮想視点から見た画像を描画するための仮想視点の情報として、仮想視点の位置、仮想視点における視線の向き、および画角などの仮想視点の視点情報を生成する。本実施形態では、仮想視点を仮想的なカメラ（仮想カメラ）に置き換えて説明する場合がある。このとき、仮想視点の位置は仮想カメラの位置、仮想視点からの視線の向きは仮想カメラの姿勢にそれぞれ対応する。

仮想視点オブジェクト描画部１０４は、仮想視点生成部１０２によって設定された仮想視点から見た前景オブジェクトの画像となるように、前景オブジェクトの三次元モデルに対してレンダリングを行う。仮想視点オブジェクト描画部１０４によるレンダリング結果として、仮想視点から見た前景オブジェクトのテスクチャ画像が得られる。

図３は、画像処理装置１００によって生成される各画像を説明するための図である。図３（ａ）は仮想視点から見た前景オブジェクトのテクスチャ画像を表す図である。仮想視点から見た前景オブジェクトのテスクチャ画像を、仮想視点画像または前景オブジェクト画像とよぶことがある。

また、仮想視点オブジェクト描画部１０４によるレンダリングの結果として、仮想視点から前景オブジェクトまでの距離を表すデプス情報が得られる。また、デプス情報を画像として表したものをデプス画像とよぶ。

図３（ｅ）は、図３（ａ）のテクスチャ画像に対応するデプス画像を示す図である。デプス画像は、各画素の画素値がカメラからの距離を表すデプス値である画像である。図３（ｅ）のデプス画像は、仮想視点からの距離を表すデプス画像である。デプス画像において前景が存在しない領域の画素値は０となり、図３（ｅ）では画素値が０の領域を黒で表している。また、図３（ｅ）では、グレーの領域はデプス値が０でない領域を表し、濃いグレーほどデプス値が高いことを示している。デプス値は、値が大きいほど、その画素が表すオブジェクトの位置はカメラ（仮想視点）から離れていることを示す。このように仮想視点から見た前景オブジェクトの画像を生成する際に、二次元の中間情報として、前景オブジェクトのデプス情報（デプス画像）が得られることになる。

ＣＧ空間描画部１０８は、ＣＧ情報入力装置１２０から出力されたＣＧ空間を、仮想視点から見た画像となるようにレンダリングをする。ここでＣＧ空間の仮想視点とは仮想視点生成部１０２によって設定された仮想視点に対応する視点である。即ち、ＣＧ空間に合成された前景オブジェクトとの位置関係が、仮想視点オブジェクト描画部１０４がレンダリングする際に用いられた仮想カメラと前景オブジェクトとの位置関係と同じになるように設定された視点である。

レンダリングの結果、仮想視点からのＣＧ空間を見たテスクチャ画像、および仮想視点からＣＧ空間の各背景オブジェクトまでの距離を表すデプス情報（デプス画像）が得られる。なお、仮想視点から見たＣＧ空間のテスクチャ画像を、単に背景画像とよぶことがある。

図３（ｂ）は、仮想視点から見たＣＧ空間のテクスチャ画像（背景画像）を表す図である。ＣＧ空間には立体形状の背景オブジェクトが配置されていることがあり、ＣＧ空間には、後述するＣＧ照明に基づき背景オブジェクトの影が描画される。

ＣＧ照明情報取得部１０６は、背景として生成されたＣＧ空間内の光源である照明（ＣＧ照明とよぶ）の情報をＣＧ情報入力装置１２０から取得する。取得される情報には、ＣＧ照明の位置、方向などのＣＧ空間における空間的な位置情報、およびＣＧ照明の光学的情報が含まれる。ＣＧ照明の光学的情報は、例えば、照明の明るさ、色、またＣＧ照明からの距離による減衰率などが含まれる。ＣＧ空間に複数のＣＧ照明が存在する場合、それぞれのＣＧ照明の情報が取得される。なお、ＣＧ照明の種類について特に限定しない。

前景マスク取得部１０５は、撮像装置１１１を構成する複数の撮像装置の中からＣＧ照明の位置および向きに最も近い撮像装置を、ＣＧ照明情報取得部１０６が取得したＣＧ照明の情報に基づき決定する。そして決定された撮像装置に対応する撮像画像から、前景抽出部１０１が前景オブジェクトを抽出して得られたシルエット画像を取得する。

図２（ａ）は、前景オブジェクト２０２を撮像する複数の撮像装置１１１ａ～１１１ｇの位置と、ＣＧ空間上に設定されたＣＧ照明２０１の位置との関係を表している。図２（ａ）におけるＣＧ照明２０１の位置は、ＣＧ空間内に合成された前景オブジェクトの位置に対応するＣＧ照明２０１の位置を示している。図２（ａ）における撮像装置１１１ａ～１１１ｇの位置は、撮像情報入力装置１１０から出力された撮像装置の情報から導出された位置である。即ち、前景オブジェクト２０２を撮像した際の前景オブジェクト２０２に対する撮像装置１１１ａ～１１１ｇの位置を示している。このように撮像装置１１１の位置がＣＧ空間に対応する位置となるように位置合わせされる。このため、前景マスク取得部１０５は、撮像装置１１１を構成する複数の撮像装置の中からＣＧ照明の位置および向きに最も近い撮像装置を決定できる。

ＣＧ照明に近い撮像装置の決定する方法として、例えば、ＣＧ照明の位置と撮像装置の位置の差が最も小さくなる撮像装置を決定する。または、ＣＧ照明の向きと撮像装置の向きの差が最も小さくなる撮像装置を決定する。または、ＣＧ照明の位置および向きと撮像装置の位置および向きの差が最も小さくなる撮像装置を決定すればよい。

図２（ａ）の場合、ＣＧ照明２０１の位置および向きに近い撮像装置は、撮像装置１１１ｂと決定される。その場合、前景マスク取得部１０５は、撮像装置１１１ｂの撮像画像に基づき生成されたシルエット画像２０３を取得する。

影生成部１０７は、ＣＧ空間に前景オブジェクトが配置された場合の影を、仮想視点から見た画像である影のテクスチャ画像を生成する。影生成部が生成した影のテスクチャ画像を、単に影画像と呼ぶことがある。さらに、影生成部１０７は、仮想視点から影の距離を表すデプス情報（デプス画像）を生成する。影生成部１０７の処理の詳細は後述する。

図３（ｃ）は、ＣＧ空間に対応するように投影された前景オブジェクトの影を仮想視点から見たテクスチャ画像（影画像）を表す図である。ＣＧ空間上のＣＧ照明に合わせてオブジェクトの影を描画することで合成画像をよりリアルな画像とすることができる。

合成部１０９は、合成画像を生成する。即ち、仮想視点オブジェクト描画部１０４によって生成された前景オブジェクト画像、ＣＧ空間描画部１０８よって生成された背景画像、および影生成部１０７によって生成された影画像を、１つの画像とする合成画像を生成する。合成部１０９は、仮想視点オブジェクト描画部１０４、ＣＧ空間描画部１０８、および影生成部１０７によって生成されたそれぞれのデプス画像を用いて、画像を合成する。図３（ｄ）は、図３（ａ）の前景オブジェクト画像、図３（ｂ）の背景画像、および図３（ｃ）の影画像を１つの画像となるように合成して得られた合成画像を表す図である。合成画像の生成方法の詳細は、後述する。

このように、ＣＧ空間にＣＧ照明が設定されており、ＣＧ照明に基づきＣＧ空間に影が描かれている場合、ＣＧ空間に合成される前景オブジェクトについても、図３（ｄ）のようにＣＧ空間に合わせて影を生成することで、不自然が画像となることが抑制される。

［ハードウェア構成］
図４は、画像処理装置１００のハードウェア構成を説明するためブロック図である。
画像処理装置１００は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１１を含む演算部を有する。演算部は、例えば、画像処理および三次元形状生成を行う。さらに画像処理装置１００は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４１２、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）４１３、補助記憶装置４１４を含む記憶部、表示部４１５、操作部４１６、通信Ｉ／Ｆ４１７、及びバス４１８を有する。

ＣＰＵ４１１は、ＲＯＭ４１２やＲＡＭ４１３に格納されているコンピュータプログラムまたはデータを用いて画像処理装置１００の全体を制御する。またＣＰＵ４１１は、表示部４１５を制御する表示制御部、及び操作部４１６を制御する操作制御部としても動作する。

ＧＰＵ４１０は、データを多く並列処理することで効率的な演算を行うことができる。プログラムを実行する場合、ＣＰＵ４１１およびＧＰＵ４１０の一方のみにより演算を行ってもよいし、ＣＰＵ４１１およびＧＰＵ４１０が協働して演算を行ってもよい。

なお、画像処理装置１００は、ＣＰＵ４１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ４１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ４１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ４１３は、補助記憶装置４１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ４１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置４１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部４１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部４１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受け付けて各種の指示をＣＰＵ４１１に入力する。

通信Ｉ／Ｆ４１７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ６１７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ６１７はアンテナを備える。バス４１８は、画像処理装置１００の各部をつないで情報を伝達する。

図１の画像処理装置１００内の各機能部は、画像処理装置１００のＣＰＵ４１１が所定のプログラムを実行することにより実現されるが、これに限られるものではない。他にも例えば、ＧＰＵ４１１、または不図示のＦＰＧＡなどのハードウェアが利用されてもよい。各機能部は、ソフトウエアと専用ＩＣなどのハードウェアとの協働で実現されてもよいし、一部またはすべての機能がハードウェアのみで実現されてもよい。例えば、画像処理装置１００における前景抽出部１０１、三次元形状推定部１０３、仮想視点オブジェクト描画部１０４、ＣＧ空間描画部１０８、影生成部１０７、および合成部１０９による処理には、ＣＰＵ４１１に加えてＧＰＵ４１０が用いられる。

［影の生成方法について］
図５は、本実施形態の影生成処理の処理手順を説明するフローチャートである。図５のフローチャートで示される一連の処理は、画像処理装置１００のＣＰＵおよびＧＰＵの少なくとも一方がＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。また、図５におけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。

Ｓ５０１において影生成部１０７は、前景マスク取得部１０５が特定した撮像装置のシルエット画像に対して、ＣＧ照明の位置からの見た前景オブジェクトのシルエット画像となるように補正を行う。

例えば、ＣＧ照明を仮想カメラとみなし、その仮想カメラの視点情報と前景マスク取得部１０５が特定した撮像装置の視点情報とを用いて、前景マスク取得部１０５が特定したシルエット画像をCG照明から見た場合のシルエット画像に変換することで補正する。変換は、式（１）によって行われる。
Ｉ´＝Ｐ^－１ＩＰ´ 式（１）

式（１）におけるＩおよびＩ´は一つ一つの要素が画素値を表す行列であり、Ｉは前景マスク取得部１０５が特定した撮像装置のシルエット画像の画像全体の画素値を表す行列である。Ｉ´は補正後のシルエット画像の画像全体の画素値を表す行列である。Ｐ^－１は前景マスク取得部１０５が特定した撮像装置の視点情報Ｐの逆行列である。Ｐ´はＣＧ照明の位置を仮想カメラの位置、ＣＧ照明の向きを仮想カメラの向きとした場合の仮想カメラの視点情報を示す行列である。

例えば、ＣＧ照明２０１に最も近い撮像装置１１１ｂのシルエット画像として図２（ｂ）のシルエット画像２０３が前景マスク取得部１０５によって特定されたとする。この場合、ＣＧ照明２０１の位置および向きからの見えとなるように、シルエット画像２０３はシルエット画像２０４に変換される。

Ｓ５０２において影生成部１０７は、Ｓ５０１で得られた補正後のシルエット画像２０４の前景領域を影の領域として用いて、ＣＧ空間の投影面へ影の領域を投影する。

図６は、影生成処理を説明するための模式図である。影生成部１０７は、ＣＧ照明２０１の位置を仮想カメラの位置、ＣＧ照明２０１の向きを仮想カメラの向きとした仮想カメラから見たＣＧ空間のデプス画像６０１を取得する。そして影生成部１０７は、そのデプス画像６０１に基づき投影面を算出する。影の投影方法は、投射テクスチャマッピング法を使用する、または、シャドウボリューム法やシャドウマップ法を用いてもよい。複数のＣＧ照明が存在する場合、それぞれの照明により投影し、その後すべて影を統合する。

影生成部１０７は、投影される影の明るさを、ＣＧ照明の明るさおよび環境照明の明るさに基づき、式（２）によって算出する。

Ｌは投影面における影の明るさである。また、Ｌ_ｅは環境照明の明るさである。Ｓ_ｉは投影後の領域が影であるか否か示す値であり、ＣＧ照明ｉに対して投影後の領域が影となる場合は０となり、影ではない場合は１になる。Ｌ_ｉはＣＧ照明ｉが照射する明るさである。

Ｓ５０３において影生成部１０７は、Ｓ５０２で投影面に投影された影を、仮想視点生成部１０２によって設定された仮想視点から見た画像となるようにレンダリングする。レンダリングの結果として、仮想視点から見た影のテクスチャ画像（影画像）および仮想視点から影の距離を表すデプス情報（デプス画像）が得られる。生成されるデプス画像は、影が存在しない領域の画素値は０であり、影が存在する領域の画素値は投影面のデプス値である画像となる。

レンダリングの方法は、仮想視点オブジェクト描画部１０４およびＣＧ空間描画部１０８における仮想視点からの見えを表すためのレンダリングと同じ方法でよい。または、例えばＣＧ空間描画部１０８が用いるレンダリング方法よりも、簡易な方法で、影生成部１０７は、レンダリングを行ってもよい。

［合成について］
図７は、本実施形態の合成画像を生成するための合成処理の処理手順を説明するフローチャートである。

以下のＳ７０１～Ｓ７０６の処理は、合成画像における注目画素の１画素分の画素値を決定する処理である。以下の処理で、影のテクスチャ画像および影のデプス画像は、図５のフローチャートのＳ５０３で生成された仮想視点から見た影のテクスチャ画像およびデプス画像である。また、ＣＧ空間のテクスチャ画像およびデプス画像は、仮想視点から見たＣＧ空間のテクスチャ画像およびデプス画像である。前景オブジェクトのテクスチャ画像およびデプス画像は、仮想視点から見た前景オブジェクトのテクスチャ画像およびデプス画像である。ここでの仮想視点は、仮想視点生成部１０２が設定した仮想視点またはその仮想視点に対応する視点である。また、それぞれの画像における注目画素とは、合成画像の注目画素に対応する画素を指すものとする。

Ｓ７０１において合成部１０９は、前景オブジェクトのデプス画像における注目画素のデプス値が０かを判定する。本ステップでは、注目画素が前景オブジェクトの領域以外の領域であるかの判定が行われることになる。

デプス値が０の場合（Ｓ７０１がＹＥＳ）、Ｓ７０２に進む。Ｓ７０２において合成部１０９は、影のデプス画像における注目画素のデプス値と、ＣＧ空間のデプス画像における注目画素のデプス値は、一致しないかを判定する。

影のデプス値とＣＧ空間のデプス値が一致する場合（Ｓ７０２がＮＯ）、合成画像における注目画素は、前景オブジェクトの影の領域を構成する画素となるため、合成画像における前景オブジェクトの影を表す画素の画素値を決定するためにＳ７０３に進む。

Ｓ７０３において合成部１０９は、影のテクスチャ画像における注目画素の画素値とＣＧ空間のテクスチャ画像における注目画素の画素値をアルファブレンドして、合成画像における注目画素の画素値を決定する。アルファ値は、注目画素の影画像の輝度とＣＧ画像の輝度の比率から得られる。

一方、影のデプス値とＣＧ空間のデプス値が一致しない場合（Ｓ７０２がＹＥＳ）、Ｓ７０４に進む。影のデプス値とＣＧ空間のデプス値が一致しない場合、注目画素は影も前景オブジェクトも存在しない領域の画素である。このため、Ｓ７０４で合成部１０９は、ＣＧ空間のテクスチャ画像における注目画素の画素値を、合成画像における注目画素の画素値に使用すると決定する。

一方、前景オブジェクトのデプス画像における注目画素のデプス値が０でない場合（Ｓ７０１がＮＯ）、Ｓ７０５に進む。Ｓ７０５において合成部１０９は、前景オブジェクトのデプス画像における注目画素のデプス値が、ＣＧ空間のデプス画像における注目画素のデプス値より小さいかを判定する。

前景オブジェクトのデプス値が、ＣＧ空間のデプス値より小さい場合（Ｓ７０５がＹＥＳ）、Ｓ７０６に進む。この場合、仮想視点から見て、前景オブジェクトはＣＧ空間内の背景オブジェクトの手前にいることになる。このため、合成画像における注目画素は前景オブジェクトが存在する領域の画素となる。よって、合成部１０９は、前景オブジェクトのテクスチャ画像における注目画素の画素値を、合成画像における注目画素の画素値に使用すると決定する。

前景オブジェクトのデプス値が、ＣＧ空間のデプス値以上の場合（Ｓ７０５がＮＯ）、ＣＧ空間の背景オブジェクトは前景オブジェクトの手前にいることになる。このためＳ７０４において合成部１０９は、ＣＧ空間のテクスチャ画像における注目画素の画素値を、合成画像における注目画素の画素値に使用すると決定する。または、半透明の背景オブジェクトが前景オブジェクトと仮想視点の間にいる場合がある。この場合は、その背景オブジェクトの透過性に応じて、前景オブジェクトのテクスチャ画像における注目画素の画素値とＣＧ空間のテクスチャ画像における注目画素の画素値をアルファブレンドして、合成画像における注目画素の画素値を決定する。

以上説明したように本実施形態によれば、前景オブジェクトの二次元の情報であるシルエット画像を用いてＣＧ照明に応じた前景オブジェクトの影を生成する。二次元の情報を用いることで、メッシュポリゴンのような三次元も情報を用いた影生成と比べ、演算リソースの使用量を軽減できる。このため、撮像とリアルタイムに影の生成する場合のように処理時間に制限がある場合でも、ＣＧ照明に合わせたリアルな影を生成することが可能となる。

なお、本実施形態の説明では、入力画像である撮像画像は静止画であることを想定して説明した。しかしながら、本実施形態の入力画像は動画であってもよい。入力画像が動画である場合、例えば、画像処理装置１００は、動画のタイムコードなどの時間情報に従ってフレーム毎に処理すればよい。

＜実施形態2＞
実施形態１では、前景オブジェクトの二次元の情報として前景オブジェクトのシルエット画像に基づき影を生成する方法を説明した。しかしながら、スタジオなどの撮像空間において前景オブジェクトが前景オブジェクト以外のオブジェクトによって遮蔽されると、シルエット画像の前景領域は、前景オブジェクトの形状を適切に表していないことがある。この場合、前景オブジェクトの影の形状を適切に再現できないことがある。本実施形態では、前景オブジェクトの二次元の情報として前景オブジェクトのデプス画像を用いる方法を説明する。本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

図８は、本実施形態における画像処理装置１００の機能構成図である。同一の構成については、同じ符号を付して説明する。実施形態１との異なるのは、前景デプス取得部８０１を有し、影生成部８０２の機能が異なる点である。前景デプス取得部８０１および影生成部８０２の機能の詳細は、フローチャートの説明と合わせて行う。

図９は、本実施形態の影生成処理の処理手順を説明するフローチャートである。図９を用いて本実施形態の影生成の処理の説明をする。

Ｓ９０１において前景デプス取得部８０１は、ＣＧ照明からの見た前景オブジェクトのデプス画像を生成して、影生成部８０２はそのデプス画像を取得する。

図１０は、Ｓ９０１で取得されるデプス画像を説明するための図である。図１０（ａ）は、図２（ａ）と同様の図であり、前景オブジェクトに合わせて位置合わせされた、撮像装置１１１ａ～１１１ｇおよびＣＧ照明２０１の位置を表す図である。前景オブジェクト２０２を撮像する複数の撮像装置１１１ａ～１１１ｇの撮像画像から得られたシルエット画像を用いて、図１０（ｂ）に示す前景オブジェクト２０２の三次元形状１００１が推定されて三次元モデル生成される。三次元形状１００１は、仮想視点オブジェクト描画部１０４のレンダリングで使われる中間情報となる。

そして、前景デプス取得部８０１は、ＣＧ照明２０１の位置を仮想カメラの位置、ＣＧ照明２０１の向きを仮想カメラの向きとした仮想カメラから前景オブジェクトの三次元形状１００１を見た場合のデプス画像１００２を生成する。生成されたデプス画像１００２では、前景オブジェクト２０２が存在する領域（デプス画像１００２のグレーの領域）の画素値は前景オブジェクト２０２とＣＧ照明２０１と間の距離を表すデプス値となる。また、前景オブジェクトが存在しない領域（デプス画像１００２の黒の領域）の画素値は、０となる。このように、ＣＧ照明情報取得部１０６によって得られたＣＧ照明２０１の位置をおよびＣＧ照明２０１の向きに基づく前景オブジェクトのデプス画像が取得される。

Ｓ９０２において影生成部８０２は、Ｓ９０１で取得されたデプス画像１００２における前景オブジェクト２０２の領域（デプス画像１００２の黒以外のグレーの領域）を影の領域として用いて、投影面へ、その影の領域を投影する。影の投影方法および影の明るさの算出方法は、Ｓ５０２と同様であるため説明を省略する。

Ｓ９０３において影生成部８０２は、Ｓ９０２で投影面に投影された影を、仮想視点生成部１０２によって設定された仮想視点から見た画像となるようにレンダリングする。レンダリング方法はＳ５０３と同様であるため説明を省略する。

以上説明したように本実施形態においては、前景オブジェクトの２次元の情報であるデプス画像に基づき影を表す画像を生成する。デプス画像では、前景オブジェクトの領域が他のオブジェクトによって遮蔽されないため、より忠実に前景オブジェクトの形状を再現できる。このため、前景オブジェクトの影の形状を適切に生成することが可能となる。

＜実施形態３＞
本実施形態では、前景オブジェクトの姿勢情報を用いて影を生成する方法を説明する。本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。

図１１は、本実施形態の画像処理装置１００の機能構成図である。実施形態１と同一の構成については、同じ符号を付して説明する。本実施形態では、ＣＧ空間に対応する前景オブジェクトの影を生成するための機能部として、姿勢推定部１１０１、およびＣＧメッシュ配置部１１０２を有する点が実施形態１とは異なる。本実施形態における前景オブジェクトは人物であるものとして説明する。

姿勢推定部１１０１は、三次元形状推定部１０３が生成した前景オブジェクトの三次元モデルを用いて前景オブジェクトの姿勢を推定して、推定した姿勢を表す情報である姿勢情報を生成する。

図１２は、姿勢情報を説明するための図である。姿勢推定部１１０１は、図１２（ａ）の前景オブジェクトに対して、図１２（ｂ）のような骨格モデルを生成することで姿勢を推定する。骨格モデルの生成方法について任意の既存の方法を用いればよい。

ＣＧメッシュ配置部１１０２は、ＣＧ空間における前景オブジェクトが合成される位置に、前景オブジェクトと同じ姿勢としたメッシュを配置する。

例えば、以下の方法で、前景オブジェクトと同じ姿勢とするメッシュを配置する。ＣＧメッシュ配置部１１０２は、事前に、前景オブジェクトと同じ又は前景オブジェクトに近い形状のメッシュを準備する。メッシュには、姿勢推定部１１０１によって推定される姿勢（骨格）を適応できるようにする。本実施形態における前景オブジェクトは人物であることから、例えば、マネキンのような人物モデルのメッシュが準備される。そしてＣＧメッシュ配置部１１０２は、準備したメッシュにスケルトンを設定する。

そして、ＣＧメッシュ配置部１１０２は、姿勢推定部１１０１が推定した姿勢（骨格）をメッシュに適応する。最後に、ＣＧメッシュ配置部１１０２は、前景オブジェクトが合成されるＣＧ空間上の位置を示す三次元位置情報を取得して、三次元位置情報に基づいてメッシュをＣＧ空間に配置する。これにより、前景オブジェクトが合成される位置と同じ位置で、前景オブジェクトと同じ姿勢となる人物モデルのメッシュがＣＧ空間に配置される。姿勢推定部１１０１が推定した姿勢（骨格）をメッシュに適応する際、姿勢（骨格）に応じて、事前に準備したメッシュのスケールを調整してもよい。

ＣＧ空間描画部１０８は、ＣＧ情報入力装置１２０から得た情報に基づいて、ＣＧ空間内を仮想視点から見た画像となるようにレンダリングする。レンダリングする際、ＣＧメッシュ配置部１１０２が配置した人物モデルのメッシュの影はレンダリングするが、人物モデルのメッシュ本体のレンダリングは行わない。これにより、ＣＧ空間内の背景オブジェクトと前景オブジェクトに対応するオブジェクトの影がレンダリングされた、仮想視点から見たＣＧ空間の画像が生成される。レンダリングの結果得られるＣＧ空間の画像は、仮想視点から見たＣＧ空間のテスクチャ画像およびデプス画像となる。

図１３は、本実施形態の合成処理の手順を説明するフローチャートである。以下のＳ１３０１～Ｓ１３０４の処理は、合成画像における注目画素の１画素分の画素値を決定する処理である。以下の処理で、前景オブジェクトのテクスチャ画像およびデプス画像は、仮想視点から見た前景オブジェクトのテクスチャ画像およびデプス画像である。ＣＧ空間のテクスチャ画像およびデプス画像は、仮想視点から見たＣＧ空間のテクスチャ画像およびデプス画像である。本実施形態では、仮想視点から見たＣＧ空間のテクスチャ画像には、前景オブジェクトに対応する影画像が描画されているテクスチャ画像が用いられることになる。

Ｓ１３０１において合成部１０９は、前景オブジェクトのデプス画像における注目画素のデプス値が０かを判定する。

デプス値が０の場合（Ｓ１３０１がＹＥＳ）、Ｓ１３０２に進む。デプス値が０の場合、注目画素は前景オブジェクトが存在しない領域の画素である。このため、Ｓ１３０２で合成部１０９は、ＣＧ空間のテクスチャ画像における注目画素の画素値を、合成画像における注目画素の画素値に使用すると決定する。

一方、前景オブジェクトのデプス画像における注目画素のデプス値が０でない場合（Ｓ１３０１がＮＯ）、Ｓ１３０３に進む。Ｓ１３０３において合成部１０９は、前景オブジェクトのデプス画像における注目画素のデプス値が、ＣＧ空間のデプス画像における注目画素のデプス値より小さいかを判定する。

前景オブジェクトのデプス値が、ＣＧ空間のデプス値より小さい場合（Ｓ１３０５がＹＥＳ）、Ｓ１３０４に進む。この場合、仮想視点から見て、前景オブジェクトはＣＧ空間内の背景オブジェクトの手前にいることになる。よって、合成部１０９は、前景オブジェクトのテクスチャ画像における注目画素の画素値を、合成画像における注目画素の画素値に使用すると決定する。

前景オブジェクトのデプス値が、ＣＧ空間のデプス値以上の場合（Ｓ１３０５がＮＯ）、ＣＧ空間の背景オブジェクトは前景オブジェクトの手前にいることになる。このためＳ１３０２において合成部１０９は、ＣＧ空間のテクスチャ画像における注目画素の画素値を、合成画像における注目画素の画素値に使用すると決定する。

このように、合成部１０９は、前述した実施形態と異なり、合成画像を生成するために、仮想視点から見た前景オブジェクトの画像と、仮想視点から見たＣＧ空間の画像と、を合成すればよい。

以上説明したように本実施形態によれば、前景オブジェクトに対応するCG空間内の影を適切にレンダリングすることができる。また、本実施形態では、ＣＧ空間描画部１０８がメッシュを他のＣＧ物体と同時にレンダリングすることにより、ＣＧ空間内の反射やブルームなどの効果の影響もレンダリングされることになる。このため本実施形態によれば、ＣＧ空間に自然でかつCG空間の背景オブジェクトとも統一的な影が生成されるため、よりリアルな影を生成することが可能となる。また、前景オブジェクトの三次元モデルをそのまま配置して影をレンダリングすることも考えられるが、この場合は、レンダリングするために伝送するデータは三次元モデルである。一方、本実施形態では、レンダリングするために伝送するデータは姿勢情報であるため、伝送するデータ量のサイズを抑制することができる。

＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

＜その他＞
上述した実施形態の開示は、以下の構成、方法、およびプログラムを含む。

（構成１）
仮想視点から前景オブジェクトを見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得手段と、
コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得手段と、
前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成する影生成手段と、
前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成手段と、を有し、
前記影生成手段は、
前記前景オブジェクトの形状に関する二次元の情報と、前記ＣＧ空間における照明の情報と、に基づき前記影画像を生成する
ことを特徴とする画像処理装置。

（構成２）
前記二次元の情報は、前記前景オブジェクトの領域を表すシルエット画像である
ことを特徴とする構成１に記載の画像処理装置。

（構成３）
前記前景オブジェクト画像は、複数の撮像装置が前記前景オブジェクトを撮像して得られた複数の撮像画像に基づき生成された画像であり、
前記影生成手段は、
前記複数の撮像装置から決定された撮像装置の撮像画像に基づき生成された前記シルエット画像と、前記照明の情報と、に基づき前記影画像を生成する
ことを特徴とする構成２に記載の画像処理装置。

（構成４）
前記影生成手段は、
前記複数の撮像装置の位置を前記ＣＧ空間に対応する位置となるように位置合わせをした場合に、前記照明の位置と最も近い位置にある撮像装置を前記複数の撮像装置から決定する
ことを特徴とする構成３に記載の画像処理装置。

（構成５）
前記影生成手段は、
前記複数の撮像装置から決定された前記撮像装置に対応する前記シルエット画像を、前記照明の位置から見た前記前景オブジェクトの領域を表す画像となるように補正して、
前記補正の結果得られたシルエット画像と、前記照明の情報と、に基づき前記影画像を生成する
ことを特徴とする構成３または４に記載の画像処理装置。

（構成６）
前記影生成手段は、
前記照明の情報および前記複数の撮像装置から決定された前記撮像装置の情報に基づいて、前記複数の撮像装置から決定された前記撮像装置に対応する前記シルエット画像を補正する
ことを特徴とする構成５に記載の画像処理装置。

（構成７）
前記影生成手段は、
前記シルエット画像における前記前景オブジェクトの領域を影の領域として用いて、前記影画像を生成する
ことを特徴とする構成２から６のいずれか１項に記載の画像処理装置。

（構成８）
前記影生成手段は、
前記影の領域を、前記ＣＧ空間に対応する投影面に投影して、前記仮想視点から見た画像となるようにレンダリングすることで前記影画像を生成する
ことを特徴とする構成７に記載の画像処理装置。

（構成９）
前記二次元の情報は、前記照明と前記前景オブジェクトとの距離を表す前記前景オブジェクトのデプス画像である
ことを特徴とする構成１から８のいずれか１項に記載の画像処理装置。

（構成１０）
前記影生成手段は、
前記前景オブジェクトのデプス画像における前記前景オブジェクトの領域を影の領域として用いて、前記影画像を生成する
ことを特徴とする構成９に記載の画像処理装置。

（構成１１）
前記影生成手段は、
前記影の領域を、前記ＣＧ空間に対応する投影面に投影して、前記仮想視点から見た画像となるようにレンダリングすることで前記影画像を生成する
ことを特徴とする構成１０に記載の画像処理装置。

（構成１２）
前記合成手段は、
前記前景オブジェクト画像、前記背景画像、および前記影画像に対応する夫々のデプス画像を用いて、前記合成画像を生成する
ことを特徴とする構成１から１１のいずれか１項に記載の画像処理装置。

（構成１３）
前記合成手段は、
前記夫々のデプス画像の注目画素のデプス値を比べることで、前記合成画像における前記注目画素の画素値を決定するために用いる画像を、前記前景オブジェクト画像、前記背景画像、および前記影画像から決定する
ことを特徴とする構成１２に記載の画像処理装置。

（構成１４）
人物である前景オブジェクトを仮想視点から見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得手段と、
コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得手段と、
前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成するための処理をする影生成手段と、
前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成手段と、を有し、
前記影生成手段は、
前記前景オブジェクトの姿勢情報、および前記ＣＧ空間に基づき前記影画像を生成するための処理をする
ことを特徴とする画像処理装置。

（構成１５）
前記前景オブジェクト画像は、前記前景オブジェクトの三次元形状を表す三次元形状データに基づき生成された画像であり、
前記影生成手段は、
前記三次元形状データに基づいて前記前景オブジェクトの姿勢を推定して、前記姿勢情報を取得する
ことを特徴とする構成１４に記載の画像処理装置。

（構成１６）
前記影生成手段は、
前記ＣＧ空間における前記前景オブジェクトが合成される位置に人物モデルを配置して、前記姿勢情報に基づいて前記人物モデルの姿勢を変更し、前記ＣＧ空間に描画された前記人物モデルの影を前記影画像として用いる
ことを特徴とする構成１４または１５に記載の画像処理装置。

（方法１）
前記合成手段は、
前記前景オブジェクト画像と、前記影画像が含まれる前記背景画像と、を合成して前記合成画像を生成する
ことを特徴とする構成１４から１６のいずれか１項に記載の画像処理装置。

（構成１８）
仮想視点から前景オブジェクトを見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得ステップと、
コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得ステップと、
前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成する影生成ステップと、
前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成ステップと、を含み、
前記影生成ステップでは、
前記前景オブジェクトの形状に関する二次元の情報と、前記ＣＧ空間における照明の情報と、に基づき前記影画像を生成する
ことを特徴とする画像処理方法。

（方法２）
人物である前景オブジェクトを仮想視点から見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得ステップと、
コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得ステップと、
前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成するための処理をする影生成ステップと、
前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成ステップと、を有し、
前記影生成ステップでは、
前記前景オブジェクトの姿勢情報、および前記ＣＧ空間に基づき前記影画像を生成するための処理をする
ことを特徴とする画像処理方法。

（プログラム）
コンピュータを、上記の構成１から１７のいずれか１項に記載の画像処理装置の各手段とし機能させるためのプログラム。

１００ 画像処理装置
１０４ 仮想視点オブジェクト描画部
１０８ CG空間描画部
１０７ 影生成部
１０９ 合成部

Claims (21)

1. 仮想視点から前景オブジェクトを見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得手段と、
   コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得手段と、
   前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成する影生成手段と、
   前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成手段と、を有し、
   前記影生成手段は、
   前記前景オブジェクトの形状に関する二次元の情報と、前記ＣＧ空間における照明の情報と、に基づき前記影画像を生成する
   ことを特徴とする画像処理装置。
2. 前記二次元の情報は、前記前景オブジェクトの領域を表すシルエット画像である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記前景オブジェクト画像は、複数の撮像装置が前記前景オブジェクトを撮像して得られた複数の撮像画像に基づき生成された画像であり、
   前記影生成手段は、
   前記複数の撮像装置から決定された撮像装置の撮像画像に基づき生成された前記シルエット画像と、前記照明の情報と、に基づき前記影画像を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記影生成手段は、
   前記複数の撮像装置の位置を前記ＣＧ空間に対応する位置となるように位置合わせをした場合に、前記照明の位置と最も近い位置にある撮像装置を前記複数の撮像装置から決定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記影生成手段は、
   前記複数の撮像装置から決定された前記撮像装置に対応する前記シルエット画像を、前記照明の位置から見た前記前景オブジェクトの領域を表す画像となるように補正して、前記補正の結果得られたシルエット画像と、前記照明の情報と、に基づき前記影画像を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記影生成手段は、
   前記照明の情報および前記複数の撮像装置から決定された前記撮像装置の情報に基づいて、前記複数の撮像装置から決定された前記撮像装置に対応する前記シルエット画像を補正する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記影生成手段は、
   前記シルエット画像における前記前景オブジェクトの領域を影の領域として用いて、前記影画像を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
8. 前記影生成手段は、
   前記影の領域を、前記ＣＧ空間に対応する投影面に投影して、前記仮想視点から見た画像となるようにレンダリングすることで前記影画像を生成する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記二次元の情報は、前記照明と前記前景オブジェクトとの距離を表す前記前景オブジェクトのデプス画像である
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記影生成手段は、
    前記前景オブジェクトのデプス画像における前記前景オブジェクトの領域を影の領域として用いて、前記影画像を生成する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記影生成手段は、
    前記影の領域を、前記ＣＧ空間に対応する投影面に投影して、前記仮想視点から見た画像となるようにレンダリングすることで前記影画像を生成する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記合成手段は、
    前記前景オブジェクト画像、前記背景画像、および前記影画像に対応する夫々のデプス画像を用いて、前記合成画像を生成する
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記合成手段は、
    前記夫々のデプス画像の注目画素のデプス値を比べることで、前記合成画像における前記注目画素の画素値を決定するために用いる画像を、前記前景オブジェクト画像、前記背景画像、および前記影画像から決定する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 人物である前景オブジェクトを仮想視点から見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得手段と、
    コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得手段と、
    前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成するための処理をする影生成手段と、
    前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成手段と、を有し、
    前記影生成手段は、
    前記前景オブジェクトの姿勢情報、および前記ＣＧ空間に基づき前記影画像を生成するための処理をする
    ことを特徴とする画像処理装置。
15. 前記前景オブジェクト画像は、前記前景オブジェクトの三次元形状を表す三次元形状データに基づき生成された画像であり、
    前記影生成手段は、
    前記三次元形状データに基づいて前記前景オブジェクトの姿勢を推定して、前記姿勢情報を取得する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記影生成手段は、
    前記ＣＧ空間における前記前景オブジェクトが合成される位置に人物モデルを配置して、前記姿勢情報に基づいて前記人物モデルの姿勢を変更し、前記ＣＧ空間に描画された前記人物モデルの影を前記影画像として用いる
    ことを特徴とする請求項１４に記載の画像処理装置。
17. 前記合成手段は、
    前記前景オブジェクト画像と、前記影画像が含まれる前記背景画像と、を合成して前記合成画像を生成する
    ことを特徴とする請求項１４から１６のいずれか１項に記載の画像処理装置。
18. 仮想視点から前景オブジェクトを見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得ステップと、
    コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得ステップと、
    前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成する影生成ステップと、
    前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成ステップと、を含み、
    前記影生成ステップでは、
    前記前景オブジェクトの形状に関する二次元の情報と、前記ＣＧ空間における照明の情報と、に基づき前記影画像を生成する
    ことを特徴とする画像処理方法。
19. 人物である前景オブジェクトを仮想視点から見た背景を含まない画像である前景オブジェクト画像を取得する第１の取得ステップと、
    コンピュータグラフィックスを用いて背景が描画されたＣＧ空間を前記仮想視点から見た画像である背景画像を取得する第２の取得ステップと、
    前記ＣＧ空間に対応する前記前景オブジェクトの影を表す影画像を生成するための処理をする影生成ステップと、
    前記前景オブジェクト画像、前記背景画像、および前記影画像を１つの画像とした合成画像を生成する合成ステップと、を有し、
    前記影生成ステップでは、
    前記前景オブジェクトの姿勢情報、および前記ＣＧ空間に基づき前記影画像を生成するための処理をする
    ことを特徴とする画像処理方法。
20. コンピュータに請求項１８に記載の画像処理方法を実行させるためのプログラム。
21. コンピュータに請求項１９に記載の画像処理方法を実行させるためのプログラム。

Images