JP2011165081A - 画像生成方法、画像生成装置、及びプログラム - Google Patents

Abstract

【課題】計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成する。
【解決手段】被写体を複数の視点位置から撮影した元画像中から、被写体の重要部位が撮影されている領域を検出し（ステップＳ２）、重要部位が撮影されている検出領域と複数の視点位置の幾何的な条件とから空間中重要部位領域を推定し(ステップＳ３)、空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、基準視点から見た被写体の中間画像を生成する（ステップＳ４）。中間画像中から重要部位領域を切り出し画像として切り出す（ステップＳ５）。元画像からベース画像を選択し（ステップＳ６）、ベース画像の重要部位が存在する領域に、切り出し画像を合成する（ステップＳ７）。
【選択図】図２

Description

本発明は、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する画像生成方法、画像生成装置、及びプログラムに関する。

近年，コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が盛んに研究されている。これらの技術の代表的なものとして、被写体の形状を推定し、所望の視点位置からレンダリングする幾何ベースの方法と、被写体から飛来する光線を所望の視点位置で再サンプリングする光線ベースの方法とがある。

幾何ベースの方法としては、被写体の幾何形状を推定するために、画像間のステレオ対応を用いる方法（例えば、非特許文献１参照）や、視体積交差法を用いる方法（例えば、非特許文献２参照）などがある。

また、光線ベースの方法としては、光線の強度を位置、方向、時間、波長に対する関数であるｐｌｅｎｏｐｔｉｃ ｆｕｎｃｔｉｏｎにより記述されることに基づき、その次元を落とし、ある視点位置を与えたときに、そこを通る光線群を再サンプリングするのに適した表現方法として、いくつかの方式が提案されている（例えば、非特許文献３、４参照）。

光線ベースの方法では、一般的に、計算機負荷は小さく、実時間処理が求められるアプリケーションに適している。しかしながら、光線ベースの方法では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないことが知られている（例えば、非特許文献５、６参照）。

そのため、あらかじめ被写体の位置を、利用者が仮定する必要があるため、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという欠点があった。そこで、多層の投影面を設定し、被写体が存在すると仮定する範囲を拡げる手法が提案されている（例えば、非特許文献７参照）。

T. Kanade, P. J. Narayanan, and P. W.Rander: "Virtualized Reality: Concepts and Early Results", In Proc. of IEEE Workshop on the Representation of Visual Scenes, pp.69-76 (1995). W. Matusik, C. Buehler, R. Raskar, S. J. Gortler, and L. McMillan: "Image-Based Visual Hulls", In Proc. of SIGGRAPH 2000, pp.369-374 (2000). M. Levoy and P. Hanrahan: "Light Field Rendering" In Proc. of SIGGRAPH ’96, pp. 31-41 (1996). S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen: "The Lumigraph", In Proc. of SIGGRAPH ’96, pp.43-54 (1996). Y. Kunita, M. Inami, T. Maeda, and S. Tachi: "Realtime Rendering System of Moving Objects", In Proc. of the 1999 IEEE Workshop on Multi-View Modeling & Analysis of Visual Scenes (MVIEW’99), pp.81-88 (1999). J.-X. Chai, X. Tong, S.-C. Chan, and H.-Y. Shum: "Plenoptic Sampling", In Proc. of SIGGRAPH 2000, pp.307-318 (2000). 特許第4052331号（ＷＯ2004/114224）：仮想視点画像生成方法及び３次元画像表示方法並びに装置

上述したように、光線ベースの方法（非特許文献３、４）では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないため、あらかじめ被写体の位置を、利用者が仮定する必要があるので、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという問題があった。

また、上述した従来技術（非特許文献７）においても、利用者が多層の投影面の位置を決定する必要があった。そして、被写体が動く範囲を、多層の投影面でカバーしきれていない場合、適切に画像生成ができないという問題があった。

また、例え、多層の投影面が被写体をカバーしたとしても、投影面の数が多すぎると、メモリなどの計算機リソースを多く消費し、また、必要以上に多層の投影面の範囲が広いと、生成画像の劣化を招いていた。また、多層投影面がカバーできていない被写体以外の場所には、多重像などが生じ、生成画像の見た目を悪くしてしまうという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、被写体の存在する場所が未知であっても、計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成することができる画像生成方法、画像生成装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成方法であって、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する第１のステップと、前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する第２のステップと、前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する第３のステップと、前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す第４のステップと、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第５のステップと、前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する第６のステップとを含むことを特徴とする画像生成方法である。

本発明は、上記の発明において、前記第５のステップは、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第７のステップと、前記選択したベース画像に前記基準視点から見た射影変換を施す第８のステップとを含み、前記射影変換後の画像を前記ベース画像として用いることを特徴とする。

本発明は、上記の発明において、前記第３のステップは、前記被写体存在領域にまたがって配列された多層の投影面を仮定し、当該多層投影面中の各画素の色または輝度、及び存在確率を推定し、前記基準視点を通る直線と前記多層投影面との交点の色を、前記存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する、ことを特徴とする。

また、上述した課題を解決するために、本発明は、被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置であって、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出手段と、前記重要部位検出手段により検出された重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定手段と、前記重要部位位置推定手段により推定された空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する中間画像生成手段と、前記中間画像生成手段により生成された中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し手段と、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択手段と、前記ベース画像選択手段により選択されたベース画像のうち、重要部位が存在する領域に、前記重要部位切り出し手段により切り出した切り出し画像を合成して最終的な生成画像を生成する合成手段とを含むことを特徴とする画像生成装置である。

本発明は、上記の発明において、前記ベース画像選択手段は、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択し、当該選択したベース画像に前記基準視点から見た射影変換を施し、当該射影変換後の画像を前記ベース画像として用いることを特徴とする。

本発明は、上記の発明において、前記中間画像生成手段は、前記被写体存在領域にまたがって配列された多層の投影面を決定する投影面決定手段と、前記投影面決定手段により決定された多層投影面中の各画素の色または輝度、及び存在確率を推定する色／輝度情報推定手段と、前記基準視点を通る直線と前記多層投影面との交点の色を、前記色／輝度情報推定手段により推定された存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する中間画像レンダリング手段とからなることを特徴とする。

本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置されており、前記複数の撮影手段により元画像を撮影し、同一の装置もしくは同様の構成の他の装置における表示手段に、前記基準視点から画像を表示することを特徴とする。

本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、前記表示手段の内側に配置された少なくとも１つの内側撮影手段とを備え、前記中間画像生成手段は、前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、前記ベース画像選択手段は、前記内側撮影手段により撮影された元画像をベース画像として選択し、前記合成手段は、前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、ことを特徴とする。

本発明は、上記の発明において、前記複数の撮影手段は、前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、前記表示手段の背面に配置された少なくとも１つの背面撮影手段とを備え、前記中間画像生成手段は、前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、前記ベース画像選択手段は、前記背面撮影手段により撮影された元画像をベース画像として選択し、前記合成手段は、前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、ことを特徴とする。

また、上述した課題を解決するために、本発明は、被写体を複数の視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置のコンピュータに、前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出機能、前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定機能、前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する基準視点画像生成機能、前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し機能、前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択機能、前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する合成機能、を実行させることを特徴とするプログラムである。

この発明によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する場合に、被写体の存在する場所が未知であっても、計算機リソースを節約しつつ、被写体以外の場所の見栄えを悪くすることなく、適切に画像を生成することができる。

本発明の第１実施形態による画像生成方法での被写体とカメラとの位置関係を示す概念図である。 本第１実施形態による画像生成方法の動作を説明するためのフローチャートである。 本第１実施形態において、カメラ毎の重要部位とそれを投影面に投影し、論理積をとった様子を示す概念図である。 本第１実施形態において、重要部位の位置の推定例を示す概念図である。 本第１実施形態において、色のブレンディングに用いる角度情報の一例を示す概念図である。 本第２実施形態による画像生成方法の動作を説明するためのフローチャートである。 本第３実施形態による代表的な画像生成装置の構成を示す機能ブロック図である。 本第４実施形態による、カメラの配置例を示す模式図である。 本第５実施形態による、カメラの配置例を示す模式図である。 本第６実施形態による、カメラの配置例を示す模式図である。

以下、本発明の一実施形態を、図面を参照して説明する。

本発明は、画像から被写体の中の重要部位をあらかじめ検出し、重要部位が存在する３次元領域のみ、指定された任意の視点からの画像を作成し、この作成した画像を、あらかじめ準備したベース画像（あるいは、撮影した画像の中の１つ）の中で重要部位が映り込む位置に嵌め込むことにより、重要部分については、指定した視点で画像を生成するため、指定した任意の視点で忠実に描画が可能になり、また、重要部分以外は、画像生成を行わないため、計算量を抑えることができるとともに、合成による多重像や画像劣化を防止できるという特徴がある。以下、詳細に説明する。

Ａ．第１実施形態
図１は、本発明の第１実施形態による画像生成方法での被写体とカメラとの位置関係を示す概念図である。ここで、カメラの集合を｛Ｃ_ｉ｜ｉ∈Ｎ｝、カメラＣ_ｉにより撮影された元画像をＩ_ｉ（ｍ）とおく（ｍは行列）。ｍ≡［ｕ，ｖ］^Ｔは、画像座標系であり、画像の画素の位置を表している。また、以下では、次式（１）のように、チルダ記号（〜）を付けた場合には、拡張ベクトルを示すものとする。

また、コンピュータビジョンの分野でよく用いられるように、焦点距離や画像中心、画素サイズなどのカメラ固有の情報を含む３×３の行列（内部行列）をＡ_ｉとおき、世界座標系からカメラのローカル座標系への回転行列、及び並進ベクトルをＲ_ｉ←Ｗ，ｔ_ｉ←Ｗとおく。

したがって、世界座標系の３次元の点からカメラの画像座標上の２次元の点への射影変換は、次式（２）で示す行列の式で表すことができる。

ここで、本発明における目的は、複数のカメラ映像｛Ｉ_ｉ（ｍ）｜ｉ∈Ｎ｝に基づいて、図１に示す基準視点Ｖから見た画像Ｉ_Ｖ（ｍ）を推定して生成することである。また、ここでは、各カメラの内部行列、及び外部行列は、何らかのキャリブレーション手段により求められているものとする。キャリブレーション方法の代表的なものとしては、例えば、「Ｔｓａｉの方法」や「Ｚｈａｎｇの方法」を用いることができる。

図２は、本第１実施形態による画像生成方法の動作を説明するためのフローチャートである。まず、複数の視点位置から被写体を撮影した画像（元画像：複数）を得る（ステップＳ１）。次に、元画像中から、被写体のうち、特に重要と定められた部位（重要部位）を検出する（ステップＳ２）。

その方法としては、テンプレートマッチングやパターンマッチングと呼ばれるように、重要部位の濃淡パターンと照合する方法、また、重要部位が特定の色分布を持つ場合に色で判断する方法、あらかじめ重要部位を含まない画像を背景として撮影しておき、重要部位を含んだ画像との差分をとる方法などがある。

また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を重要部位として検出することができる。

以下、説明のため、元画像Ｉ_ｉ（ｍ）の重要部位が存在する領域をΓ_ｉ（ｍ）にて表し、Γ_ｉ（ｍ）＝１なる画像座標では、被写体が存在し、Γ_ｉ（ｍ）＝０なる画像座標では、被写体が存在しないものとする。

次に、ステップ２の検出領域と撮影時のカメラの幾何的な条件とから、被写体の存在する空間中で重要部位が存在する領域を推定する（ステップＳ３）。例えば、次のような方法がある。

まず、被写体の空間中に投影面を想定し、これをスクリーンと見立てて前後に走査しつつ、元画像中の重要部位Γ_ｉ（ｍ）を投影していく。元画像の撮影位置を中心として、撮影時と同じ画角で検出領域を投影し、これを基準視点から見ると、射影変換となり、ホモグラフィと呼ばれる行列により対応付けられる。すなわち、カメラＣ_ｉの画像Ｉ_ｉ（ｍ）上の点ｍ_ｉから、投影面Ｌ^ｊを介して基準カメラＣ_Ｖの画像Ｉ_Ｖ（ｍ）上の点ｍ_Ｖへの写像は、次式（３）、（４）により表される。

但し、基準カメラＣ_Ｖの座標系において、投影面Ｌ^ｊの正規ベクトルをｎ、原点からの距離をｄ^ｊで表している。また、Ｒ_Ｖ←ｉ，ｔ_Ｖ←ｉは、カメラＣ_ｉの座標系における点Ｘ_ｉを、基準カメラＣ_Ｖの座標系における点Ｘ_Ｖに変換し、Ｘ_Ｖ＝Ｒ_Ｖ←ｉＸ_ｉ＋ｔ_Ｖ←ｉなる関係がある。

投影面Ｌ^ｊにΓ_ｉ（ｍ）を投影し、基準視点から見たものを次式（５）とおくと、次式（６）で表される、全てのカメラによる論理積が「１」となるｍを持つとき、その投影面上に重要部位が存在する可能性がある。

投影面を手前から奥に（あるいは、その逆に奥から手前に）走査していき、そのような投影面群｛Ｌ^ｊ｝の範囲が、重要部位が存在する領域として推定できる。ここで、多層の投影面Ｌ^ｊの走査間隔は、基準視点から見たときに、各カメラから投影された点が１画素以内で移動する間隔にすることが１つの目安となる。

図３は、本第１実施形態において、カメラ毎の重要部位とそれを投影面に投影し、論理積をとった様子を示す概念図である。上記の例では、投影面の決定のために、元画像中の被写体の領域を投影面に射影変換する手法を用いたが、画像の射影変換処理は、計算機の負荷が高い。また、投影面を走査する区間は、あらかじめ設定する必要があり、それ以外の区間にある被写体は、検出できない。

そこで、カメラの視点と検出された重要部位の中心点とを通る直線の交点として、重要部位の位置を求め、その点を含む投影面を設定する方法を示す。

図４は、本第１実施形態において、重要部位の位置の推定例を示す概念図である。図４に示すように、世界座標上における重要部位のある点Ｐが、複数のカメラ｛Ｃ_ｉ｜ｉ∈Ｎ｝により画像座標上で、次式（７）で表される位置Ｑ_ｉに写像されたとする。

点Ｐが未知で、数式（７）が既知のとき、カメラ中心と像を結ぶ直線Ｃ_ｉＱ_ｉの集合｛ｌ_ｉ｜ｉ∈Ｎ｝の交点として点Ｐの位置を求めることができる。

しかし、実際の状況においては、撮影時の雑音や量子化誤差、パラメータの推定誤差を含むため、一般に｛ｌ_ｉ｜ｉ∈Ｎ｝は、１点で交わることがない。そこで、直線ｌ_ｉとの距離の２乗和が最小となる点として、Ｐ：Ｘ_Ｐ＝［Ｘ_Ｐ，Ｙ_Ｐ，Ｚ_Ｐ］^Ｔを求めることにする。

カメラＣｉにおける投影の数は、数式（２）の通り、次式（８）と表される。

世界座標系で表される点Ｘ_Ｗ＝［Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ］^ＴがカメラＣ_ｉにより撮影され、画像座標系の斉次座標で、数式（９）で表される位置に写像される。

逆に、画像上の点、チルダ（〜）ｍ_ｉが与えられたとき、数式（８）をＸ_Ｗ＝［Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ］^Ｔについて解くと、次式（１０）で表される。

これが、すなわち、直線ｌｉの式である。このとき、−Ｒ_ｉ←Ｗ ^−１ｔ_ｉ←Ｗは、世界座標系におけるカメラＣ_ｉの投影中心であり、直線は、必ず、この点を通る。また、Ｒ_ｉ←Ｗ ^−１Ａ_ｉ ^−１［ｕ_ｉ，ｖ_ｉ，１］^Ｔは、直線の向きを表すベクトルであり、ｓは、媒介変数である。

以下，表現の簡略化のため数式（１０）を、次式（１１）とおく。

ｓは媒介変数であり、Ｘ＝［Ｘ，Ｙ，Ｚ］^Ｔ，ａ_ｉ＝［ａ_ｉ，ｂ_ｉ，ｃ_ｉ］^Ｔ，Ｘ_ｉ＝［Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ］^Ｔである。このとき、点Ｐと直線ｌ_ｉとの距離を、Ｄ_ｉとおくと、次式（１２）となる。

以下、評価関数を点Ｐと各直線ｌ_ｉとの距離の２乗和として、次式（１３）とおき、これが最小となる点としてＰを求める。

Ｊが最小となるのは、次式（１４）となるときである。

まず、ＸＰによる偏微分を計算すると、次式（１５）となる。

ここで、次式（１６）、また、次式（１７）より、数式（１８）となる。

そこで、数式（１６）、（１８）に、数式（１５）を代入し、数式（１９）を得る。

同様にして、Ｙ_Ｐ，Ｚ_Ｐの偏微分についても計算すると、次式（２０）、（２１）のようになる。

数式（１９）、（２０）、（２１）を代入すると、数式（１４）は、Ｘ_Ｐ＝［Ｘ_Ｐ，Ｙ_Ｐ，Ｚ_Ｐ］^Ｔの１次形式で表すことができ、数式（２２）となる。

これをＸ_Ｐについて解くことにより、点Ｐの座標を求めることができる。この点Ｐが重要部位の中心的な位置となる。こうして、重要部位の中心的な位置を求めた後、その点を含むように投影面を設定することができる。そして、基準視点から見た画像を生成する（ステップＳ４）。その際、ステップ３で推定した被写体の重要部位のおよその位置を用いる。その方法としては、例えば、以下のような方法がある。

＜単一投影面による方法＞
１つの投影面を仮定して、カメラで撮影した画像を投影し、それらを混色することで基準視点から見た画像を生成する方法である。

投影面の決定方法として、次式（２３）となる面積が最大となる投影面Ｌ^ｊを採用することができる。

また、数式（２２）により求めた、およその位置を通る投影面とすることができる。このように決定した投影面に対し、全ての元画像を投影し、基準視点から見た、次式（２４）で表される画像を、次式（２５）のように求める。

これを混色して、次式（２６）ように基準視点から見た画像を得る。

次式（２７）で表される、混色の重み関数は、単純に｛Ｃ_ｉ｜ｉ∈Ｎ｝の数Ｎｕｍ（Ｎ）により平均をとり、数式（２８）で表す定数に設定してもよいし、カメラの視点と着目する点と基準視点とによりなす角度に依存して決定することもできる。

ここで、図５は、本第１実施形態において、色のブレンディングに用いる角度情報の一例を示す概念図である。例えば、図５に示すように基準視点Ｖ、基準視点の画像座標ｍにおける投影面Ｌ^ｊの点、カメラＣ_ｉの視点のなす角を、次式（２９）とおいて、次式（３０）のようにすることができる。

ここで、ｎｏｒｍは、次式（３１）のような正規化演算を行うものとする。

＜デプスマップによる方法＞
また、平板な投影面を用いる代わりに、被写体の形状を推定し、その形状に応じた凹凸のある面を、ＣＧで用いられるポリゴンで描画することにより、基準視点から見た画像を生成する方法を用いることができる。このような被写体形状を反映した凹凸面を推定する方法は、いくつかあるが、例えば、画像間の相関を利用し、三角測量の原理により、距離を求めるステレオマッチングと呼ばれる方法がある。

そのうち、Ｐｌａｎｅ Ｓｗｅｅｐ と呼ばれる方法を例にとると、投影面を奥行き方向に走査しつつ、そこに複数のカメラからの画像を写像し、投影面上の各画素で画像間の色、もしくは輝度の相関をとる。

すなわち、基準視点の画像面に平行で距離ｄ^ｊにある投影面へのカメラＣ_ｉの画像Ｉ_ｉ（ｍ）の写像を数式（２５）により求めると、次式（３２）、（３３）により画像の分散値Ｖ^ｊ（ｍ）を求めることができる。そして、ｍの画素毎に、この分散値が最小となる位置として、被写体表面の奥行き情報を求めることができる。

色については、１枚の平坦な投影面を用いた場合と同様、着目する画素の奥行きに相当する各カメラの画像の画素の色を混色することで決定することができる。

＜多層投影面による方法＞
また、別の方法として、多層の投影面を仮定し、多層投影面中の各画素の色または輝度、及び存在確率を推定し、基準視点を通る直線と多層投影面の交点との色を、存在確率に応じた重みを付けて加算することで基準視点から見た画像を得る方法もある。多層投影面の範囲は、重要部位が存在する範囲に設定する。

例えば、既に述べた通り、数式（６）が数式（３４）となるｍを持つ投影面群｛Ｌ^ｊ｝の範囲が、重要部位が存在する領域として推定できる。

また、重要部位の大きさが想定できる場合には、数式（２２）により、重要部位の中心を求めておき、その前後に投影面を設定することができる。このようにして、多層の投影面｛Ｌ^ｊ｜ｊ∈Ｍ｝を決定したのち、投影面上での被写体の存在確率を求める。

存在確率の推定方法として、例えば、数式（３３）の分散値を元に、次式（３５）のように求めることができる。但し、ｎｏｒｍは正規化を示す。

このような数式（３５）で示す存在確率と、数式（２５）、（３０）の基準視点から見た画像、混色の重み関数を用いて、次式（３６）のように、基準視点から見た中間画像を得ることができる。

図２の説明を戻すと、次に、中間画像中において重要部位が存在する領域を特定し、その領域を切り出した画像（切り出し画像）を得る（ステップＳ５）。領域の特定方法としては、元画像中で重要部位が存在する領域を投影面に射影し、その論理積をとった、数式（３７）を用いる方法がある。また，論理積以外にも論理和をとるなど，特定の演算に限定されるものではない。

また、新たに中間画像中からパターンマッチングにより重要部位を検出してもよい。
次に、元画像のうちの１つをベース画像として選択する（ステップＳ６）。利用者により選択されてもよいし、あらかじめ設計者により設定されていてもよい。

そして、ベース画像のうち、重要部位が存在する領域に切り出し画像を合成する（ステップＳ７）。ベース画像中の重要部位は、ステップ５で選択されている。ここに切り出し画像を合成する。その際、切り出し画像とベース画像との境界を目立たなくするために、サイズの調整や変形を行ってもよいし、境界付近の色をブレンドしてもよい。

Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図６は、本第２実施形態による画像生成方法の動作を説明するためのフローチャートである。なお、図２に対応する部分には同一の符号を付けて説明を省略する。図２との違いは、ステップ６が、元画像のうちの１つをベース画像として選択するサブステップＳ６ａと、選択したベース画像に基準位置から見た射影変換を施すサブステップＳ６ｂとから構成される点にある。射影変換に用いる投影面は、被写体の重要領域がある付近に設定するのがよい。

このような投影面の位置の求め方として、例えば、数式（６）で全てのカメラによる論理積が「１」となる面積が最大となる投影面を用いることができる。もしくは、数式（２２）で求められる光線の交点を通る投影面を用いることができる。

Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図７は、本第３実施形態による代表的な画像生成装置の構成を示す機能ブロック図である。図７において、視点位置入力手段１は、視点位置を入力する。被写体撮影手段２は、複数の視点位置から被写体を撮影する。基準視点決定手段３は、基準視点を決定する。被写体画像（元画像）取得手段４は、撮影された被写体から、画像（元画像：複数）を取得する。

元画像中重要部位検出手段５は、元画像中から、被写体のうち、特に重要と定められた部位（重要部位）を検出する。３次元空間中重要部位検出手段６は、検出された重要部位と撮影時のカメラの幾何的な条件（基準視点）とから、被写体の存在する３次元空間中で重要部位が存在する領域を推定する。

中間画像生成手段７は、投影面決定手段８、テクスチャ配列確保手段９、色／輝度情報決定手段１０及び中間画像レンダリング手段１１からなる。投影面決定手段８は、元画像中で重要部位が存在する領域を射影する投影面を決定する。テクスチャ配列確保手段９は、投影面へのテクスチャマッピングを行うためのテクスチャ配列を確保する。色／輝度情報決定手段１０は、元画像の色または輝度情報に基づいて、被写体の存在する３次元空間中で重要部位が存在する領域の色、もしくは輝度を決定する。

中間画像レンダリング手段１１は、中間画像に対して、決定された色または輝度によりレンダリングする。画像切り出し手段１２は、中間画像中において重要部位が存在する領域を特定し、その領域を切り出した画像（切り出し画像）を取得する。

ベース画像選択手段１３は、元画像のうちの１つをベース画像として選択する。画像合成手段１４は、ベース画像のうち、重要部位が存在する領域に切り出し画像を合成する。生成画像出力手段１５は、合成した画像を生成画像として出力する。画像表示手段１６は、最終的に出力される生成画像を表示する。

なお、本第３実施形態では、中間画像の生成方法として、投影面へのテクスチャマッピングを用いる方法を示しているが、本発明はその限りではない。

Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図８は、本第４実施形態による、カメラの配置例を示す模式図である。図8に示すように、本発明の画像生成装置がネットワーク２２を介して接続されている。本第４実施形態では、図示するように、ディスプレイ２０の周囲に複数のカメラ２１ａ〜２１ｄを配置し、ディスプレイ２３の周囲に複数のカメラ２４ａ〜２４ｄを配置している。同一装置のディスプレイ２０ａ、２０ｂに、本発明の方法により画像生成した人物像の鏡像を映すことで、電子的な鏡を実現することができる。このようにして実現した鏡は、視点の移動が可能であるため、例えば、横顔や上向き、下向きの顔など、様々な方向から利用者自身の姿を観察することが可能となる。また、通信経路を介した２つ以上の同種の端末を使用し、遠隔地の利用者同士を正面から観た映像を交換することで、視線一致が可能なテレビ電話を実現することができる。

Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
図９は、本第５実施形態による、カメラの配置例を示す模式図である。本第５実施形態では、図示するように、ディスプレイ３０の外周、及び内部に複数のカメラ３１ａ〜３１ｇを配置している。外周のカメラ３１ａ〜３１ｄは、高品位な映像を取得可能な大型のカメラであり、内部のカメラ３２ａ〜３２ｃは、映像品質は低いが小型である。このように、ディスプレイ３０内部に配置したカメラ３２ａ〜３２ｃを小型にすることで、表示面を大きく遮蔽しない。また、表示面の内部にあるため、観察者の比較的正面から映像を撮影できる。

一方で、外周のカメラ３１ａ〜３１ｄは、大きさを気にすることなく、高品位なものを使うことで、解像度の高い映像を取得することが可能である。ゆえに、周囲の高品位なカメラ３１ａ〜３１ｄで顔の表情を合成し、比較的正面から撮影した小型のカメラ３２ａ〜３２ｃの映像に合成し、表情などの重要な部位の品質を補いつつ、正面から見た映像を生成することができる。

ここで、正面から見た映像と記述したが、必ずしも利用者の真正面からでなく、ディスプレイ３０の内部、もしくは外部の任意の位置から見た映像が合成できることは言うまでもない。例えば、利用者の頭部の位置を検出することで、その位置を基準視点として用いることができる。頭部位置の検出は、利用者の顔を重要部位として数式（２２）の方法で求めることもできるし、超音波や磁気や光を用いた他の位置検出センサを用いることもできる。また、ここでは、一例として、被写体を人物として説明したが、被写体は人物に限定するものでもない。

Ｆ．第６実施形態
次に、本発明の第６実施形態について説明する。
図１０は、本第６実施形態による、カメラの配置例を示す模式図である。本第６実施形態では、図示するように、透過ディスプレイ４０の背面、及びその外周に複数のカメラ４１、４２ａ〜４２ｄを配置している。透過ディスプレイ４０とは、表示面が透過、もしくは半透過なディスプレイであり、ホログラフィックスクリーンに斜め方向から映像を投影したり、また、透明電極を用いた有機発光ディスプレイなどでも実現できる。

透過ディスプレイ４０の背面にあるカメラ４１は、比較的正面から利用者を撮影可能である。しかし、透過ディスプレイ４０を介して撮影しているため、その映像は、ボケなどの画像の劣化が生じる。一方、表示面の外周に配置したカメラ４２ａ〜４２ｄは、遮蔽物がないので、高品位な映像を取得可能であるが、撮影できる方向が斜め方向からとなってしまう。

そこで、背面から撮影した劣化があるものの、比較的正面のカメラ４１からの映像をベース画像として、そこに周囲のカメラ４２ａ〜４２ｄで生成した中間画像を合成することで、表情などの重要な部位の品質を補いつつ、正面から見た映像を生成できる。

また、重要でない背景などは、ボケる（劣化する）ために、重要な部位が引き立つという副次的な効果も生じる。

ここで、正面から見た映像と記述したが、必ずしも利用者の真正面からでなく、ディスプレイの内部、もしくは外部の任意の位置から見た映像が合成できることは言うまでもない。また、ここでは、一例として、被写体を人物として説明したが、被写体は人物に限定するものでもない。

上述した第１から第６実施形態によれば、被写体中の特に重要な部位がある奥行き範囲を限定することで、中間画像では、重要部位を良好に、かつ計算機負荷をかけずに描画することができる。さらに、奥行き範囲にない被写体に関しては、ある１つの元画像をベース画像として用いることにより、そもそも多重像を生じない。その両者を嵌め込み合成をすることで、忠実に描画されている重要部位と、忠実ではないものの多重像や劣化のないその他の部位とを共存させ、１つの画像として得ることができる。

また、ベース画像中と中間画像中とで重要部位が存在する場所が一致し、ベース画像と切り出し画像との合成時の位置合わせが容易となり、また、両者のテクスチャ（模様）の連続性が増し、繋ぎ目が目立ち難くすることができる。

また、被写体の重要部位が存在する範囲を投影面がカバーされ、重要部位の中間画像が再現できる範囲を広くすることができる。また、投影面上で推定した存在確率に応じた明瞭さで重要部位を描画するため、テクスチャが一様である場合やノイズを含む場合など、推定の困難な場合でも、目立った画像の損傷のない中間画像の生成が可能となり、画質が向上させることができる。

また、ディスプレイの表示面の外側に複数のカメラを配置し、当該カメラにより元画像を撮影し、同一の装置、もしくは同様の構成の他の装置における映像ディスプレイに基準視点から画像を表示することで、ディスプレイの内部や背後や手前にカメラを置いて撮影したかのような映像を取得しつつ、ディスプレイを遮蔽することなく、そのような映像を提示することができる。例えば、利用者がディスプレイを見た場合に、周囲のカメラでは、視線の合っていない画像が撮影されるが、これらの画像を用いて、実際にはディスプレイがあるために置けない位置から撮影したかのような視線の合った画像を合成することができる。

また、透過スクリーン、もしくはディスプレイの表示面の外側、及び内側にカメラを配置し、外側のカメラを含む元画像により基準視点からの中間画像を生成し、内側のカメラの１つをベース画像として選択し、両者を合成することにより、背景部分は、所望の視点位置からのずれが少なく、重要部位は高精細な、ディスプレイの内部や背後や手前の所望の視点から見たかのような高画質な画像を取得することができる。

すなわち、一般に、サイズの大きなカメラほど、受光面積の大きな素子と大口径の明るいレンズとを用いるため、高画質な画像を取得することができるが、サイズが大きいことにより、表示面の手前に置くと、表示面を大きく遮蔽してしまい、表示面の内部にある所望の視点位置からは大きく外れた映像しか取得できない。本発明では、外側に配置するカメラは、表示面を遮蔽することはなく、大型の高品位のものを用いて重要な部位を生成し、内部に配置するカメラを小型のものにして遮蔽を少なくし、かつ所望の視点に近い背景画像を合成することができる。

また、透過スクリーン、もしくはディスプレイの表示面の外側、及び背面にカメラを配置し、外側のカメラを含む元画像により基準視点からの画像を生成し、背面のカメラの１つをベース画像として選択し、両者を合成することにより、背景部分は、所望の視点位置からのずれが少なく、重要部位は高精細な、ディスプレイの内部や背後や手前の所望の視点から見たかのような映像を得ることができる。

すなわち、透過スクリーン、もしくはディスプレイの背面から撮影した場合、ボケや表示画像の映り込みが生じてしまうが、重要な部位は、周辺に配置したカメラを用いて生成することにより明瞭な画像が描画できる。一方、重要でない部位に関しては、背面に配置したカメラで撮影した画像をベース画像としてそのまま用いることで、画像生成に伴う目障りな多重像や雑音は生じず、自然なボケが生じた画像となるため、全体として違和感のある画像とはならない。

なお、上述した第１から第６実施形態において、画像生成方法での各ステップは、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、その機能を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１ 視点位置入力手段
２ 被写体撮影手段
３ 基準視点決定手段
４ 被写体画像（元画像）取得手段
５ 元画像中重要部位検出手段
６ ３次元空間中重要部位検出手段
７ 中間画像生成手段
８ 投影面決定手段
９ テクスチャ配列確保手段
１０ 色／輝度情報決定手段
１１ 中間画像レンダリング手段
１２ 画像切り出し手段
１３ ベース画像選択手段
１４ 画像合成手段
１５ 生成画像出力手段
１６ 画像表示手段
２０、２３、３０、４０ ディスプレイ
２１ａ〜２１ｄ、２４ａ〜２４ｄ、３１ａ〜３１ｄ、３２ａ〜３２ｃ、４１、４２ａ〜４２ｄ、 カメラ

Claims (10)

1. 被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成方法であって、
   前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する第１のステップと、
   前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する第２のステップと、
   前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する第３のステップと、
   前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す第４のステップと、
   前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第５のステップと、
   前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する第６のステップと
   を含むことを特徴とする画像生成方法。
2. 前記第５のステップは、
   前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択する第７のステップと、
   前記選択したベース画像に前記基準視点から見た射影変換を施す第８のステップと
   を含み、
   前記射影変換後の画像を前記ベース画像として用いることを特徴とする請求項１に記載の画像生成方法。
3. 前記第３のステップは、
   前記被写体存在領域にまたがって配列された多層の投影面を仮定し、
   当該多層投影面中の各画素の色または輝度、及び存在確率を推定し、
   前記基準視点を通る直線と前記多層投影面との交点の色を、前記存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する、
   ことを特徴とする請求項１に記載の画像生成方法。
4. 被写体を複数の撮影手段による視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置であって、
   前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出手段と、
   前記重要部位検出手段により検出された重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定手段と、
   前記重要部位位置推定手段により推定された空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する中間画像生成手段と、
   前記中間画像生成手段により生成された中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し手段と、
   前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択手段と、
   前記ベース画像選択手段により選択されたベース画像のうち、重要部位が存在する領域に、前記重要部位切り出し手段により切り出した切り出し画像を合成して最終的な生成画像を生成する合成手段と
   を含むことを特徴とする画像生成装置。
5. 前記ベース画像選択手段は、
   前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択し、当該選択したベース画像に前記基準視点から見た射影変換を施し、当該射影変換後の画像を前記ベース画像として用いることを特徴とする請求項４に記載の画像生成装置。
6. 前記中間画像生成手段は、
   前記被写体存在領域にまたがって配列された多層の投影面を決定する投影面決定手段と、
   前記投影面決定手段により決定された多層投影面中の各画素の色または輝度、及び存在確率を推定する色／輝度情報推定手段と、
   前記基準視点を通る直線と前記多層投影面との交点の色を、前記色／輝度情報推定手段により推定された存在確率に応じた重みを付けて加算することで前記基準視点から見た被写体の中間画像を生成する中間画像レンダリング手段と
   からなることを特徴とする請求項４に記載の画像生成装置。
7. 前記複数の撮影手段は、
   前記表示手段の表示面の外側に配置されており、
   前記複数の撮影手段により元画像を撮影し、同一の装置もしくは同様の構成の他の装置における表示手段に、前記基準視点から画像を表示することを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
8. 前記複数の撮影手段は、
   前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、
   前記表示手段の内側に配置された少なくとも１つの内側撮影手段と
   を備え、
   前記中間画像生成手段は、
   前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、
   前記ベース画像選択手段は、
   前記内側撮影手段により撮影された元画像をベース画像として選択し、
   前記合成手段は、
   前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、
   ことを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
9. 前記複数の撮影手段は、
   前記表示手段の表示面の外側に配置された１つ以上の外側撮影手段と、
   前記表示手段の背面に配置された少なくとも１つの背面撮影手段と
   を備え、
   前記中間画像生成手段は、
   前記外側撮影手段により撮影された元画像から、前記基準視点からの中間画像を生成し、
   前記ベース画像選択手段は、
   前記背面撮影手段により撮影された元画像をベース画像として選択し、
   前記合成手段は、
   前記中間画像生成手段により生成された中間画像と前記ベース画像選択手段により選択されたベース画像とを合成する、
   ことを特徴とする請求項４から請求項６のいずれかに記載の画像生成装置。
10. 被写体を複数の視点位置から撮影した元画像に基づいて、所望の基準視点から被写体を見た画像を生成する画像生成装置のコンピュータに、
    前記元画像中から、被写体のうち特に重要と定められた重要部位が撮影されている領域を検出する重要部位検出機能、
    前記重要部位が撮影されている検出領域と前記複数の撮影手段の幾何的な条件とから、被写体の存在する空間中で重要部位が存在する空間中重要部位領域を推定する重要部位位置推定機能、
    前記空間中重要部位領域が空間中で被写体が存在する被写体存在領域であると想定し、前記元画像の色または輝度情報に基づいて、前記被写体存在領域中の小領域毎の色または輝度を決定して基準視点から見た写像を得ることで、前記基準視点から見た被写体の中間画像を生成する基準視点画像生成機能、
    前記中間画像中において重要部位が存在する重要部位領域を特定し、当該重要部位領域を切り出し画像として切り出す重要部位切り出し機能、
    前記複数の撮影手段により撮影された元画像のうちの１つをベース画像として選択するベース画像選択機能、
    前記ベース画像のうち、重要部位が存在する領域に、前記切り出し画像を合成して最終的な生成画像を生成する合成機能、
    を実行させることを特徴とするプログラム。

Images