JP2018180654A - 情報処理装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】 仮想視点画像に仮想オブジェクトが挿入される場合に、撮影装置１０８による撮影範囲に含まれる被写体が仮想視点画像において仮想オブジェクトに遮蔽されてしまう虞を低減する。【解決手段】 情報処理装置１００は、複数の撮影装置１０８によるそれぞれ異なる方向からの撮影に基づくデータを取得し、また、当該データに基づく仮想視点画像の生成に係る、仮想視点の指定に応じた視点情報を取得する。そして情報処理装置１００は、仮想視点画像の領域であって、複数の撮影装置１０８による撮影範囲外に対応する領域を、複数の撮影装置１０８による撮影画像に含まれない仮想オブジェクトが挿入される挿入領域として決定する。【選択図】 図１４

Description

本発明は、仮想視点画像を生成する技術に関する。

従来、異なる位置に設置された複数のカメラにより複数の方向から被写体を撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このようにして生成される仮想視点画像は、設置されたカメラの視点に限らない仮想的な視点における見えを表す画像である。仮想視点画像を生成する技術によれば、例えば、撮影されたサッカーやバスケットボールの試合を、自由に指定可能な様々な視点から見ることが可能になり、従来の撮影画像よりも高い臨場感を視聴者に与えることが出来る。

特許文献１には、複数視点画像には含まれない仮想オブジェクトである広告を仮想視点画像に挿入して表示させることが記載されている。また、広告を挿入する位置として、複数視点画像に含まれる壁など実空間上の平面状の領域を選択することが記載されている。

特開２０１２−４８６３９号公報

しかしながら、特許文献１に記載の技術では、仮想視点画像に仮想オブジェクトが挿入される場合に、カメラによる撮影範囲に含まれる壁などの被写体の少なくとも一部が、仮想視点画像において仮想オブジェクトに遮蔽されてしまう。

本発明は上記の課題に鑑みてなされたものであり、仮想視点画像に仮想オブジェクトが挿入される場合に、カメラによる撮影範囲に含まれる被写体が仮想視点画像において仮想オブジェクトに遮蔽されてしまう虞を低減することを目的とする。

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、複数のカメラによる撮影画像に含まれない仮想オブジェクトが挿入される仮想視点画像の挿入領域を決定する情報処理装置であって、複数のカメラによるそれぞれ異なる方向からの撮影に基づくデータを取得する第１取得手段と、前記第１取得手段により取得されるデータに基づく仮想視点画像の生成に係る、仮想視点の指定に応じた視点情報を取得する第２取得手段と、前記第１取得手段により取得される撮影に基づくデータと前記第２取得手段により取得される視点情報とに基づく仮想視点画像の領域であって、前記複数のカメラによる撮影範囲外に対応する領域を、前記仮想オブジェクトが挿入される前記挿入領域として決定する決定手段とを有する。

本発明によれば、仮想視点画像に仮想オブジェクトが挿入される場合に、カメラによる撮影範囲に含まれる被写体が仮想視点画像において仮想オブジェクトに遮蔽されてしまう虞を低減できる。

画像処理システム１０の構成について説明するための図である。 情報処理装置１００の機能構成について説明するための図である。 情報処理装置１００による仮想視点画像の生成に係る処理について説明するためのフローチャートである。 情報処理装置１００による非撮影領域の特定に係る処理について説明するためのフローチャートである。 非撮影領域について俯瞰図を用いて説明するための図である。 非撮影領域について断面図を用いて説明するための図である。 仮想視点に応じた非撮影領域について説明するための図である。 情報処理装置１００による仮想広告の配置に係る処理について説明するためのフローチャートである。 情報処理装置１００による仮想広告の配置候補の決定に係る処理について説明するためのフローチャートである。 仮想広告の配置候補について説明するための図である。 情報処理装置１００による仮想広告の向きの決定に係る処理について説明するためのフローチャートである。 仮想視点に応じた仮想広告の配置の例について説明するための図である。 仮想視点に応じた仮想広告の配置の例について説明するための図である。 仮想広告が挿入された仮想視点画像について説明するための図である。

以下、図面を参照しながら本発明の実施形態について説明する。ただし、本発明は以下の実施形態に限定されるものではない。

［システム構成］
図１は、本実施形態に係る画像処理システム１０の構成例を示す図である。画像処理システム１０は、情報処理装置１００、複数の撮影装置（カメラ）１０８、及び端末装置１０９を有する。複数の撮影装置１０８は、それぞれ異なる方向から同期して撮影を行い、撮影に基づくデータを情報処理装置１００に入力する。本実施形態では、複数の撮影装置１０８から情報処理装置１００に入力される撮影に基づくデータが複数の撮影画像（複数視点画像）である場合を中心に説明するが、これに限らない。例えば、複数の撮影画像の差分に基づいて生成されるデータなどが撮影に基づくデータとして入力されてもよい。

情報処理装置１００は、複数の撮影装置１０８から取得したデータに基づいて、仮想視点画像を生成して出力する。端末装置１０９は、情報処理装置１００から出力された仮想視点画像を取得してディスプレイなどの表示部に表示する。端末装置１０９は、例えば放送局や視聴者が有する装置であり、具体的にはＰＣやスマートフォンなどである。

本実施形態における仮想視点画像は、仮想的な視点（仮想視点）から被写体を撮影した場合に得られる画像を表す。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想視点は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（仮想視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお本実施形態では、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１０は、静止画及び動画の何れについても処理可能である。

本実施形態において、情報処理装置１００から出力される仮想視点画像には、撮影装置１０８により撮影された複数視点画像には含まれない仮想オブジェクトが挿入されうる。なお、仮想視点画像に仮想オブジェクトを挿入するという文言が表す内容は、仮想オブジェクトを含む仮想視点画像をレンダリング処理により生成する形態に限らない。例えば、仮想視点画像と仮想オブジェクトの画像とをそれぞれ独立したレンダリング処理により生成し、生成された仮想視点画像と仮想オブジェクトの画像とが重なるように表示する形態も含まれる。また、挿入の方向は限定されず、例えば、生成された仮想オブジェクトの画像に後から仮想視点画像を合成する形態も含まれる。

なお本実施形態では、仮想視点画像に挿入される仮想オブジェクトが、仮想視点画像内に広告を表示させるための仮想広告である場合を中心に説明する。ただし、仮想オブジェクトは広告に限らない。例えば仮想オブジェクトとして、試合の途中経過に関する情報や試合に関する統計情報が表示されてもよいし、人物などの被写体を説明する文字や画像、当該人物の生体情報などが表示されてもよい。また、本実施形態では仮想オブジェクトが面状のオブジェクトである場合を中心に説明するが、直方体や球体など立体形状のオブジェクトであってもよい。

次に、情報処理装置１００のハードウェア構成について説明する。なお、端末装置１０９のハードウェア構成も情報処理装置１００と同様である。情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、操作部１０５、通信Ｉ／Ｆ（インターフェース）１０６、及びシステムバス１０７を有する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて各種処理のための演算や論理判断などを行い、システムバス１０７に接続された各構成要素を制御する。なお、情報処理装置１００がＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１０２は、プログラムメモリであって、後述する各種処理をＣＰＵ１０１が実行するためのプログラムやパラメータを格納する。ＲＡＭ１０３は、データメモリであり、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０６を介して外部から供給されるデータなどを一時記憶する。またＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワーク領域、エラー処理を行う際のデータの退避領域、及びプログラムをロードする領域などとして機能する。

補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータ、及びプログラムなどを記憶する。なお、補助記憶装置１０４はハードディスクドライブに限らず、同様の役割を果たす外部記憶装置であってもよい。ここで外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現される。このようなメディアとしては、例えばＦＤ（フレキシブルディスク）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ（光磁気ディスク）、フラッシュメモリ等が用いられる。また、補助記憶装置１０４は、情報処理装置１００とネットワークで接続されたサーバー装置などであってもよい。

表示部１１０は、例えば液晶ディスプレイ等で構成され、ユーザが情報処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１０５は、例えばジョイスティック、ゲームパッド、タッチパネル、キーボード、及びマウスなどの入力デバイスで構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１０１に入力する。通信Ｉ／Ｆ１０６は、端末装置１０９や撮影装置１０８などの外部の装置と通信を行う。例えば、情報処理装置１００が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信Ｉ／Ｆ１０６に接続される。なお、情報処理装置１００が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ１０６はアンテナを備える。システムバス１０７は、情報処理装置１００の各部を繋いで情報を伝達する。

なお、本実施形態では表示部１１０と操作部１０５は情報処理装置１００の内部に存在するが、情報処理装置１００は表示部１１０及び操作部１０５の少なくとも一方を備えていなくてもよい。また、表示部１１０及び操作部１０５の少なくとも一方が情報処理装置１００の外部に別の装置として存在していて、ＣＰＵ１０１が、表示部１１０を制御する表示制御部、及び操作部１０５を制御する操作制御部として動作してもよい。

［機能構成］
図２は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、画像取得部２０１、分離処理部２０２、前景モデル生成部２０３、前景テクスチャ決定部２０４、背景モデル取得部２０５、背景テクスチャ決定部２０６、カメラパラメータ取得部２０７、及び領域特定部２０８を有する。情報処理装置１００はまた、注視点取得部２０９、候補決定部２１０、視点取得部２１１、配置決定部２１２、広告モデル生成部２１３、広告テクスチャ決定部２１４、レンダリング処理部２１５、及び出力部２１６を有する。情報処理装置１００が有するこれらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現される。なお、図２に示す機能部の少なくとも一部を、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。

画像取得部２０１は、複数の撮影装置１０８によるそれぞれ異なる方向からの撮影に基づくデータを取得する。ここでは、画像取得部２０１が複数の撮影画像（複数視点画像）を取得するものとする。ただしこの例に限らず、例えば、複数の撮影画像の差分に基づいて生成されるデータなどが画像取得部２０１により取得されるようにしてもよい。

分離処理部２０２は、画像取得部２０１が取得した撮影画像（複数視点画像）を、所定の被写体に対応する前景と、当該所定の被写体とは異なる被写体に対応する背景とに分離する。ここで所定の被写体とは、例えば予め定められた形状パターンに合致する被写体や、動きのある被写体などである。例えば、撮影装置１０８により撮影される対象がスタジアムにおけるサッカーの試合である場合には、選手やボールが前景として処理される。一方、スタジアムのフィールドや観客席、屋根など、前景として処理される所定の被写体とは異なる被写体は、背景として処理される。なお、撮影装置１０８による撮影対象はサッカーの試合に限らず、ラグビーや相撲など他の競技であってもよい。さらに、撮影対象はスタジアムにおける競技に限らず、ステージにおけるコンサートなどであってもよい。

前景と背景の分離方法としては、たとえば動きの有る被写体を前景とする場合、撮影装置１０８による撮影画像において複数のフレームにわたり画素値の変化がないまたは小さい領域を背景とし、画素値の変化が大きい領域を前景とする方法などがある。また別の方法として背景差分法を用いる場合は、前景となる所定の被写体が存在しない状態で予め撮影した背景画像を保持しておき、撮影画像と背景画像との差分をとることで前景を抽出することもできる。

前景モデル生成部２０３は、複数視点画像のそれぞれから分離処理部２０２が分離した前景の画像に基づいて、前景に対応する被写体（例えば選手やボール）の形状を表す３次元モデルに関するモデル情報を生成する。モデル情報には例えば、被写体の３次元モデルを特定する情報と、当該被写体の３次元座標系における位置に関する情報とが含まれる。本実施形態における３次元座標系とは、情報処理装置１００が仮想視点画像を生成するために３次元モデルを配置する仮想的な３次元空間を規定する座標系であり、３次元座標系における位置と実空間上の位置とが対応関係にある。被写体の３次元モデルの決定方法としては、例えば、複数視点画像のそれぞれにおける被写体の２次元シルエットを用いて計算される当該被写体の３次元形状を表すビジュアルハルを用いる方法などがある。

前景テクスチャ決定部２０４は、前景モデル生成部２０３が決定した前景の３次元モデルに対し、被写体の色や質感を表すテクスチャをマッピングすることで、テクスチャに関する情報を含む前景のモデル情報を生成する。具体的には、前景テクスチャ決定部２０４は、分離処理部２０２が分離した前景の画像をテクスチャとして、３次元モデルを表す点群やポリゴンにマッピングする。

背景モデル取得部２０５は、複数視点画像から分離処理部２０２が分離した背景の画像に基づいて、背景に対応する被写体（例えばスタジアムなど）のモデル情報を生成する。なお、背景のモデル情報を事前に補助記憶装置１０４に保存しておき、背景モデル取得部２０５は背景のモデル情報を補助記憶装置１０４から読みだすことで取得してもよい。背景テクスチャ決定部２０６は、背景モデル取得部２０５が決定した背景の３次元モデルに、分離処理部２０２が分離した背景の画像をテクスチャとしてマッピングする。

カメラパラメータ取得部２０７は、複数の撮影装置１０８それぞれの外部パラメータおよび内部パラメータを取得する。外部パラメータは撮影装置１０８の位置や向きに関する情報であり、内部パラメータは撮影装置１０８の画角や焦点距離に関する情報である。領域特定部２０８は、前景のモデル情報と背景のモデル情報とに基づいて、仮想視点画像の描画対象となる領域のうち撮影装置１０８による撮影範囲外に対応する非撮影領域を特定する。ここで特定される非撮影領域は、仮想視点画像内における仮想広告を挿入する位置を決定するために用いられる。非撮影領域の特定の詳細については後述する。

注視点取得部２０９は、複数の撮影装置１０８の撮影方向に応じた注視点を特定する。本実施形態において注視点とは、複数の撮影装置１０８が向いている位置、すなわち複数の撮影装置１０８の視野の中心に対応する位置である。画像処理システム１０においては、複数の撮影装置１０８それぞれの向きを雲台によって変更することができ、例えば撮影対象の試合の状況に応じて注視点の位置を変えることができる。そして注視点取得部２０９は、注視点の位置の変化に応じて新たに注視点を特定する。なお、画像処理システム１０において注視点は複数存在していてもよい。すなわち、複数の撮影装置１０８のうち第１のグループに含まれる複数の撮影装置１０８が第１の注視点に向いており、第２のグループに含まれる複数の撮影装置１０８が第１の注視点とは異なる第２の注視点に向いていてもよい。

候補決定部２１０は、前景のモデル情報、背景のモデル情報、及び注視点などに基づいて、３次元座標系における仮想広告の配置候補となる領域を決定する。視点取得部２１１は、仮想視点画像の生成に係る仮想視点を特定するための視点情報を取得する。視点情報は仮想視点の指定に応じた情報であり、例えば視点取得部２１１は、仮想視点を指定するために操作部１０５に対して行われるユーザ操作に基づいて仮想視点を特定し、視点情報を生成してもよい。また例えば、視点取得部２１１は、端末装置１０９において指定された仮想視点に関する視点情報を、端末装置１０９から取得してもよい。配置決定部２１２は、候補決定部２１０が決定した候補に従って、３次元座標系における仮想広告の配置を決定する。

広告モデル生成部２１３は、配置決定部２１２が決定した仮想広告の配置に基づいて、仮想広告の３次元モデルを決定し、配置情報を含む仮想広告のモデル情報を生成する。広告テクスチャ決定部２１４は、広告モデル生成部２１３が決定した仮想広告の３次元モデルに対し、仮想広告の内容を表す画像データ（広告データ）をテクスチャとしてマッピングすることで、テクスチャに関する情報を含む仮想広告のモデル情報を生成する。広告データは事前に補助記憶装置１０４に記憶されているものとし、広告テクスチャ決定部２１４は補助記憶装置１０４から広告データを読み出して利用する。

レンダリング処理部２１５は、テクスチャのマッピングが反映された前景のモデル情報、背景のモデル情報、及び仮想広告のモデル情報に基づいて、視点取得部２１１が取得した視点情報に対応する仮想視点画像を生成する。この生成処理においてレンダリング処理部２１５は、広告モデル生成部２１３が生成した仮想広告のモデル情報に含まれる配置情報に基づいて、仮想視点画像内における仮想広告を挿入する挿入領域を決定する。そしてレンダリング処理部２１５は、決定された挿入領域に仮想広告が挿入された仮想視点画像を生成する。出力部２１６は、レンダリング処理部２１５が生成した仮想視点画像を端末装置１０９に出力することで、端末装置１０９の表示部に当該仮想視点画像を表示させる。

なお、情報処理装置１００は、仮想視点画像内における決定された挿入領域に仮想オブジェクトを挿入させる制御を行えばよく、その方法は仮想広告が挿入された仮想視点画像を生成するものに限らない。例えば、レンダリング処理部２１５は、前景のモデル情報及び背景のモデル情報に基づいて、仮想広告が挿入されていない仮想視点画像を生成してもよい。そして出力部２１６は、仮想広告が挿入されていない仮想視点画像と、仮想広告のモデル情報に基づいて決定された挿入領域を特定するための情報と、挿入領域に挿入されるべき仮想広告の画像とを、端末装置１０９へ出力してもよい。そして端末装置１０９が、情報処理装置１００から取得した仮想視点画像内の挿入領域に仮想広告の画像を合成することで、仮想広告が挿入された仮想視点画像を生成し、端末装置１０９の表示部へ生成した仮想視点画像を表示させてもよい。またこの場合、端末装置１０９は、仮想視点画像内の挿入領域に仮想広告の画像を合成するか否かを、ユーザによる端末装置１０９に対する操作の内容や、当該ユーザを識別する情報などに基づいて判定してもよい。

また例えば、出力部２１６は、仮想広告が挿入されていない仮想視点画像と挿入領域を特定するための情報とを端末装置１０９へ出力してもよい。そして、情報処理装置１００とは異なる装置が仮想広告の画像または仮想広告のモデル情報を端末装置１０９へ出力してもよい。そして端末装置１０９が、情報処理装置１００から取得した情報と、情報処理装置１００とは異なる装置から取得した情報とに基づいて、仮想視点画像の生成と表示を行ってもよい。このように仮想オブジェクトが挿入された仮想視点画像を表示させるための制御には種々のバリエーションが存在する。

なお、情報処理装置１００による仮想視点画像の画像生成方法は以上で説明したものに限らない。例えば情報処理装置１００は、３次元モデルを生成せず撮影画像を変形したり合成したりすることで仮想視点画像を生成してもよい。

［動作フロー］
図３は、情報処理装置１００による仮想視点画像の生成に係る処理の流れの例を示すフローチャートである。図３に示す処理は、仮想視点画像の生成を開始するためのユーザによる操作を操作部１０５が受け付けたタイミングで開始される。生成開始のためのユーザ操作は、例えば、撮影装置１０８による撮影の対象となる試合の開始に応じて行われる。なお、仮想視点画像の生成はリアルタイムで行われるものに限らず、例えば試合中に収録された撮影画像に基づいて、試合の終了後に仮想視点画像の生成が開始されてもよい。ただし、図３に示す処理の開始タイミングは上記タイミングに限定されない。

生成される仮想視点画像が動画である場合、図３に示す処理は、動画の１フレームごとに行われる。ただし、図３に示す処理のすべてを毎フレーム実行する必要はなく、前のフレームの処理に用いた情報を再利用することで処理の一部を省略してもよい。図３に示す処理は、情報処理装置１００のＣＰＵ１０１がＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。

Ｓ３０１では、画像取得部２０１が、複数の撮影装置１０８によるそれぞれ異なる方向からの撮影に基づく複数視点画像を取得する。Ｓ３０２では、分離処理部２０２が、画像取得部２０１が取得した複数視点画像それぞれを、前景と背景に分離する画像処理を行う。Ｓ３０３では、前景モデル生成部２０３が前景のモデル情報を生成し、背景モデル取得部２０５が背景のモデル情報を生成する。モデル情報には、被写体の形状を表す３次元モデルを特定する情報と、３次元座標系における被写体の位置を特定する情報が含まれる。Ｓ３０４では、前景テクスチャ決定部２０４が前景の３次元モデルにマッピングするテクスチャを決定し、テクスチャの情報を含む前景のモデル情報を生成する。また、背景テクスチャ決定部２０６が背景の３次元モデルにマッピングするテクスチャを決定し、テクスチャの情報を含む背景のモデル情報を生成する。

Ｓ３０５では、視点取得部２１１が、仮想視点画像の生成に係る、仮想視点の指定に応じた視点情報を取得する。視点情報には視点の位置や視線の方向を特定する情報が含まれる。Ｓ３０６では、領域特定部２０８が、前景のモデル情報と背景のモデル情報とに基づいて、仮想視点画像の描画対象となる領域のうち撮影装置１０８による撮影範囲外に対応する非撮影領域を特定する。ここで特定される非撮影領域は、仮想視点画像内における仮想広告を挿入する位置を決定するために用いられる。Ｓ３０６の処理の詳細については図４を用いて後述する。Ｓ３０７では、配置決定部２１２が広告の配置を決定し、広告モデル生成部２１３が仮想広告のモデル情報を生成する。Ｓ３０７の処理の詳細については図８を用いて後述する。

Ｓ３０８では、レンダリング処理部２１５が、前景、背景及び仮想広告それぞれのモデル情報を用いて、視点取得部２１１が取得した視点情報に対応する、仮想広告が挿入された仮想視点画像を生成する。Ｓ３０９では、出力部２１６が、レンダリング処理部２１５が生成した仮想視点画像を端末装置１０９に出力して処理を終了する。

図４は、図３のＳ３０６における非撮影領域の特定に係る処理の詳細を示すフローチャートである。図４の処理の開始時には非撮影領域が初期化され、図４の処理の中で非撮影領域が更新されていく。そして、更新が行われて最終的に特定された非撮影領域が、仮想広告を配置する対象の領域となる。

Ｓ４０１では、領域特定部２０８が、前景のモデル情報および背景のモデル情報を取得する。ここで取得される前景のモデル情報には、前景に対応する被写体の３次元モデルを特定する情報、３次元座標系における当該被写体の位置に関する情報、および３次元モデルにマッピングされたテクスチャに関する情報が含まれている。同様に、背景のモデル情報には、背景に対応する被写体の３次元モデルを特定する情報、３次元座標系における当該被写体の位置に関する情報、および３次元モデルにマッピングされたテクスチャに関する情報が含まれている。

Ｓ４０２では、領域特定部２０８が、Ｓ４０１で取得された各被写体のモデル情報に対してＳ４０３からＳ４０５の処理が行われたか否かを判定する。未処理の被写体のモデル情報がある場合はその中の一つが処理対象として選択され、Ｓ４０３に移る。未処理の被写体のモデル情報がない場合はＳ４０６に移る。

Ｓ４０３では、領域特定部２０８が、処理対象の被写体の３次元モデルにおいてテクスチャがマッピングされていない領域を特定する。テクスチャがマッピングされていない領域は、すなわち、被写体の３次元モデルを表現するポリゴンまたは点群のうち、撮影装置１０８による撮影画像に基づく色情報が割り当てられていない部分である。Ｓ４０４では、領域特定部２０８が、Ｓ４０３で特定されたテクスチャがマッピングされていない領域を非撮影領域に追加することで、非撮影領域を更新する。

Ｓ４０５では、領域特定部２０８が、３次元座標系において処理対象の被写体の３次元モデルが位置しない領域を特定し、Ｓ４０２に戻る。処理対象の被写体を変えてＳ４０５の処理が繰りかえされることにより、３次元座標系においていずれの被写体の３次元モデルも位置しない領域が特定される。Ｓ４０６では、領域特定部２０８が、Ｓ４０５の処理により最終的に得られた、いずれの被写体の３次元モデルも位置しない領域を非撮影領域に追加することで、非撮影領域を更新する。

ここで、図５および図６を用いて、非撮影領域について説明する。図５（ａ）は、撮影装置１０８の撮影対象であるスタジアムの俯瞰図を示している。スタジアムの観客席５０１の内側に、フィールド５０２が存在している。複数の撮影装置１０８は、例えば観客席５０１の近傍やスタジアムの屋根に設置され、注視点５０３が視野の中心になるようにフィールド５０２の上方から撮影を行う。本実施形態では注視点５０３がフィールド面に存在するものとするが、これに限らず、注視点５０３はフィールド面から鉛直方向に離れた位置に存在してもよい。範囲５０６は複数の撮影装置１０８の何れの撮影範囲にも含まれるため、生成される仮想視点画像において範囲５０６の内部に対応する被写体は高画質で表示される。一方、生成される仮想視点画像において範囲５０６の外部に対応する領域は、範囲５０６の内部に対応する領域よりも低画質で表示されるか、または表示されない。

図５（ｂ）は、スタジアムの俯瞰図における非撮影領域を示している。白抜きの領域５０５は、撮影装置１０８の少なくともいずれかの撮影範囲に含まれる領域であり、斜線の領域５０４は、いずれの撮影装置１０８の撮影範囲にも含まれない非撮影領域である。なお、本実施形態において撮影装置１０８はフィールド５０２を斜め上から撮影している。そして図５（ｂ）の領域５０５は、撮影範囲に含まれる領域をフィールド面に投影したものである。そのため実際には、撮影装置１０８の直下付近のフィールド面は撮影されず、範囲５０６付近のフィールド面が、撮影される領域であり被写体の３次元モデルにマッピングされるテクスチャが得られる領域である。

すでに説明したように、背景モデル取得部２０５は、背景に対応する被写体としてのスタジアム全体の３次元モデルを予め取得してもよい。この場合、領域５０４には、被写体の３次元モデルは存在するがテクスチャが得られないスタジアム内の領域と、被写体の３次元モデルが存在しないスタジアム外の領域とが含まれる。図６（ａ）及び図６（ｂ）は、スタジアムを水平方向から見た断面図を示している。図６（ｂ）には、図５（ｂ）に示す領域５０４と領域５０５とが示されている。

本実施形態では、このように特定された非撮影領域が仮想広告を配置する対象の領域となる。すなわち、情報処理装置１００は、仮想視点画像内の領域であって、複数の撮影装置１０８による撮影範囲外に対応する領域を、仮想広告を挿入する挿入領域として決定する。これにより、撮影装置１０８の撮影範囲に含まれる被写体が仮想視点画像内において仮想広告に遮蔽されてしまう虞が低減される。なお、非撮影領域には、被写体の３次元モデルが存在しない領域と、被写体の３次元モデルは存在するがテクスチャが得られない領域とが含まれる。つまり、仮想視点画像内の領域であって、撮影装置１０８による撮影画像に含まれる被写体に対応しない領域が、仮想広告を挿入する挿入領域として決定される。またそれに加えて、撮影画像に含まれる被写体の内部に対応する領域、及び／又は被写体の面であって撮影画像に含まれない面に対応する領域も、挿入領域として決定される。被写体の内部に対応する領域とは、例えば建造物の壁の内部などであり、被写体の面であって撮影画像に含まれない面とは、例えば観客席５０１の椅子の裏側などである。

なお、本実施形態では、いずれの撮影装置１０８の撮影範囲にも含まれない領域５０４が非撮影領域として特定され、特定された非撮影領域に基づいて仮想広告の配置が決定される場合を中心に説明する。ただしこれに限らず、例えば、いずれの撮影装置１０８の撮影範囲にも含まれる範囲５０６の外部がすべて非撮影領域として特定されてもよい。また、設置された複数の撮影装置１０８のうち予め定められた数以上の撮影装置１０８の撮影範囲に含まれる範囲の外部が非撮影領域として特定されてもよい。

Ｓ４０７では、領域特定部２０８が、視点取得部２１１が保持する視点情報を取得する。Ｓ４０８では、領域特定部２０８が、Ｓ４０１からＳ４０６の処理で得られた非撮影領域を、視点情報から特定される仮想視点に応じて更新し、処理を終了する。なお、本実施形態では、領域特定部２０８により特定される非撮影領域が仮想視点に応じて変化する場合を中心に説明するが、これに限らない。非撮影領域が仮想視点に依らずに決まる場合、図４におけるＳ４０７とＳ４０８の処理は省略される。

図７を用いて、仮想視点に応じた非撮影領域について説明する。図７は、図６（ｂ）に示したスタジアムを水平方向から見た断面図と、仮想視点との関係を示している。視点情報から特定される仮想視点は、地中にある位置７０１から地上を見上げる方向の視野７０５を有する。領域７０３は、図６（ｂ）の領域５０５のうち視野７０５に含まれる部分である。すなわち領域７０３は、仮想視点の視野内であり、且つ撮影装置１０８の少なくとも何れかの撮影範囲に含まれる領域の一部であってテクスチャが得られる領域である。領域７０２は、図６（ｂ）の領域５０４のうち視野７０５に含まれる部分である。すなわち領域７０２は、仮想視点の視野内であるが、いずれの撮影装置１０８の撮影範囲にも含まれない領域であってテクスチャが得られない領域である。なお、領域５０４のうち仮想視点から見て領域７０３と重なる部分は領域７０２から除かれる。領域７０４は、仮想視点から見て領域７０３と重ならない領域であり、且つ被写体の３次元モデルが存在しない領域である。Ｓ４０８の処理によって更新された非撮影領域は、領域７０４と領域７０２とからなる領域である。このように、仮想広告を配置する対象の領域である非撮影領域を仮想視点に応じて設定することで、撮影装置１０８の撮影範囲に含まれる被写体が仮想視点画像内において仮想広告に遮蔽される虞をより低減できる。

次に、図８を用いて、図３のＳ３０７における広告の配置に係る処理の詳細を説明する。Ｓ８０１では、候補決定部２１０が、領域特定部２０８により特定された非撮影領域の中から、３次元座標系における仮想広告の配置の候補となる領域を決定する。仮想視点画像内に仮想広告を挿入する場合には、撮影装置１０８により撮影される被写体と親和性のある位置や向きで仮想広告を挿入することで、仮想視点画像を見る視聴者に与える違和感を低減できる。そのため、候補決定部２１０は、前景や背景に対応する被写体の３次元モデルの面と略直角又は略平行な線や面、及び被写体の３次元モデルの周辺位置などを、仮想広告の配置候補として決定する。配置候補を決定する処理の詳細については図９を用いて後述する。

Ｓ８０２では、配置決定部２１２が、候補決定部２１０が決定した配置候補にしたがって、３次元座標系における仮想広告の配置を決定する。なお配置決定部２１２は、決定された配置候補のうち、広告効果が高い領域に優先的に仮想広告を配置してもよい。広告効果が高い領域とは、例えば、仮想視点画像内に表示される時間が長い領域、表示される頻度が多い領域、表示される面積が大きい領域などである。また、配置決定部２１２は、仮想広告に設定された広告料金が高いほど、広告効果が高い領域に仮想広告を配置してもよい。仮想広告の配置を決定する処理の詳細については図１１を用いて後述する。

Ｓ８０３では、広告モデル生成部２１３が仮想広告のモデル情報を生成する。具体的には、広告モデル生成部２１３は、仮想広告の形状を表す３次元モデルを特定する情報と、配置決定部２１２により決定された仮想広告の位置に関する情報とを生成する。Ｓ８０４では、広告テクスチャ決定部２１４が、仮想広告の３次元モデルに対して、補助記憶装置１０４に事前に記憶された広告データをテクスチャとしてマッピングする。

次に図９を用いて、図８のＳ８０１における仮想広告の配置候補を決定する処理の詳細について説明する。図８の処理の開始時には配置候補が初期化され、図８の処理の中で配置候補が更新されていく。そして、更新が行われて最終的に決定された配置候補が、仮想広告を配置する対象の領域となる。

Ｓ９０１では、候補決定部２１０が、前景および背景のモデル情報を取得する。ここで取得されるモデル情報には、被写体の３次元モデルを特定する情報、被写体の位置に関する情報、及びテクスチャに関する情報が含まれる。Ｓ９０２では、候補決定部２１０が、Ｓ９０１で取得された各被写体のモデル情報に対してＳ９０３からＳ９１２の処理が行われたか否かを判定する。未処理の被写体のモデル情報がある場合はその中の一つが処理対象として選択され、Ｓ９０３に移る。未処理の被写体のモデル情報がない場合はＳ９１３に移る。

Ｓ９０３では、候補決定部２１０が、処理対象の被写体が実空間上に存在する実広告（例えば看板など）であるか否かを判定し、実広告の場合はＳ９０４に移り、実広告でない場合はＳ９０５に移る。Ｓ９０４では、候補決定部２１０は、３次元座標系において実広告から鉛直方向に離れた位置を仮想広告の配置候補に追加しＳ９０２に戻る。仮想視点画像において、仮想広告を実広告の直上や直下など実広告から鉛直方向に離れた位置に挿入し、仮想広告と実広告の広告内容を関連させることで、広告効果を相乗的に向上させることができる。

Ｓ９０５では、候補決定部２１０が、処理対象の被写体が観客席であるか否かを判定し、観客席の場合はＳ９０６に移り、観客席でない場合はＳ９０８に移る。Ｓ９０６では、候補決定部２１０が、観客席とフィールドの境界から鉛直方向に離れた位置を配置候補に追加し、Ｓ９０７に移る。Ｓ９０７では、候補決定部２１０が、観客席の外壁の面を配置候補に追加し、Ｓ９０２に戻る。本実施形態では撮影装置１０８がスタジアムの中に設置されているため、観客席の外壁は撮影装置１０８による撮影範囲に含まれず、外壁の面に対応するテクスチャは得られない。

Ｓ９０８では、候補決定部２１０が、処理対象の被写体が屋根であるか否かを判定し、屋根の場合はＳ９０９に移り、屋根でない場合はＳ９１０に移る。Ｓ９０９では、候補決定部２１０が、屋根の外側の面を配置候補に追加し、９０２に戻る。屋根の外側の面も観客席の外壁と同様、撮影装置１０８による撮影範囲には含まれない。

Ｓ９１０では、候補決定部２１０が、処理対象の被写体がフィールドであるか否かを判定し、フィールドの場合はＳ９１１に移り、フィールドでない場合はＳ９０２に戻る。Ｓ９１１では、候補決定部２１０が、フィールドの面を配置候補に追加し、Ｓ９１２に移る。Ｓ９１２では、候補決定部２１０が、３次元座標系においてフィールド上に引かれた線に直角な面を配置候補に追加し、Ｓ９０２に戻る。

Ｓ９１３では、注視点取得部２０９が複数の撮影装置１０８の撮影方向に応じた注視点の位置を取得する。候補決定部２１０は、３次元座標系において注視点から鉛直方向に離れた位置に対応する領域を配置候補に追加し、Ｓ９１４に移る。仮想視点画像において、注視点の周辺は画質が高く、視聴者が特に注目する領域である。そのため、注視点の真下や真上など注視点から鉛直方向に離れた位置に仮想広告を挿入することで、広告効果を向上させることができる。

Ｓ９１４では、候補決定部２１０が、領域特定部２０８により特定された非撮影領域を取得し、Ｓ９１５に移る。Ｓ９１５では、候補決定部２１０が、Ｓ９０３からＳ９１２の処理により追加された配置候補のうち非撮影領域に存在する配置候補のみを最終的な配置候補として決定し、処理を終了する。

図１０は、仮想広告の配置候補の一例を示している。この例では、観客席５０１、フィールド５０２、実広告１００２、及び注視点５０３を基準として配置候補が決定される。候補１００１は、観客席５０１の外壁の面である。候補１００４は、観客席５０１の屋根の外側の面である。候補１００５は、スタジアムの外部で地面の高さの水平面である。候補１００６は、観客席の下で地面の高さの水平面である。候補１００７は、観客席とフィールドの境界から鉛直方向に離れた面である。候補１００８は、撮影装置１０８による撮影画像に含まれる被写体である実看板から鉛直方向に離れた面である。候補１００９は注視点から鉛直方向に離れた面である。

なお、図１０では仮想広告が厚みを持った形状となっているが、これに限らず、仮想広告は厚みのない面状のオブジェクトであってもよい。例えば、観客席５０１の外壁の面である候補１００１に仮想広告が配置される場合には、外壁のテクスチャとして広告がマッピングされてもよい。

ここで、候補１００７、候補１００８及び候補１００９は、地中に対応する領域である。なお、図１０では背景に対応する被写体及び注視点を基準として決定される配置候補が示されているが、選手やボールなど前景に対応する被写体を基準として配置候補が決定されてもよい。例えば、選手から鉛直方向に離れた位置に、当該選手に関する情報を表示するための仮想オブジェクトが配置されてもよい。また、図１０では仮想オブジェクトが面形状である場合を示しているが、これに限らず、仮想オブジェクトは球体や直方体などの立体形状であってもよい。

次に図１１を用いて、図８のＳ８０２における仮想広告の配置を決定する処理の詳細について説明する。図１１を用いた以下の説明では、生成される仮想視点画像が動画であるものとする。Ｓ１１０１では、配置決定部２１２が、補助記憶装置１０４に予め記憶された仮想広告の広告データを取得する。仮想視点画像に挿入される仮想広告が複数ある場合には、複数の広告データが取得される。

Ｓ１１０２では、配置決定部２１２が、Ｓ１１０１で取得された各広告データに対してＳ１１０３からＳ１１０８の処理が行われたか否かを判定する。未処理の広告データが存在する場合はその中の１つが処理対象として選択され、Ｓ１１０３に移る。未処理の広告データが存在しない場合は処理を終了する。

Ｓ１１０３では、配置決定部２１２が、前のフレームの仮想視点画像の生成において処理対象の仮想広告が配置されたか否かを判定する。配置済みの場合はＳ１１０５に移動し、配置済みでない場合はＳ１１０４に移る。Ｓ１１０４では、配置決定部２１２が、候補決定部２１０が決定した配置候補にしたがって仮想広告の配置を決定する。候補決定部２１０により決定された配置候補が複数ある場合には、配置決定部２１２は例えば、配置候補のうち広告効果が最も高い領域に仮想広告を配置する。ただし、配置候補の中から仮想広告を配置する領域を決定する方法はこれに限らない。

Ｓ１１０５では、配置決定部２１２が、視点取得部２１１が保持している視点情報を取得する。Ｓ１１０６では、配置決定部２１２が、仮想視点が移動中であるか否かを判定する。仮想視点が移動中である、すなわち処理対象のフレームにおける仮想視点と前のフレームにおける仮想視点とが一致しない場合はＳ１１０８に移り、仮想視点が移動中でない場合はＳ１１０７に移る。

Ｓ１１０７では、配置決定部２１２が、仮想広告の配置を更新する。例えば、仮想視点の移動が停止した際、配置候補のうち広告効果が高い領域が仮想視点の移動に伴って変化していた場合に、配置決定部２１２は仮想広告の配置を変更してもよい。また例えば、配置決定部２１２は、仮想視点の移動に伴って３次元座標系における仮想広告の向きを変更してもよい。Ｓ１１０８では、配置決定部２１２が、仮想広告の配置を前フレームにおける配置から変更せずに処理を終了する。すなわち、仮想視点の移動中には仮想広告の配置が更新されない。

図１２および図１３を用いて、仮想広告の配置の例について説明する。図１２は、図１１の処理に従って、仮想視点の移動に応じて３次元座標系における仮想広告の向きが変化する場合の例を示す。図１２（ａ）の視点１２０１から図１２（ｃ）の視点１２０３まで、仮想視点が時間経過に伴って連続的に移動する。図１１で説明したように、仮想視点が移動しているは仮想広告１２０４の向きが変化しない。一方、図１２（ｄ）は図１２（ｃ）の次のフレームに対応し、仮想視点の移動が停止したことに応じて、仮想広告の向きが変化している。このように、仮想視点の移動中は広告の向きを変化させないことで、仮想視点画像の視聴者に与える違和感を低減できる。また、仮想視点の移動が止まった後に、仮想視点に応じた向きに仮想広告を配置しなおすことで、仮想広告が視聴者の目に留まりやすくなり、広告効果を向上させることができる。以上のように、配置決定部２１２は、３次元座標系における仮想オブジェクトの向きを、視点取得部２１１が取得した視点情報に基づいて決定してもよい。

図１２の例においては、広告が表示される所定の面が３次元座標系において地面に略水平又は略垂直となるように、仮想広告の向きが決められている。これにより、視聴者が仮想視点画像における水平方向や鉛直方向を把握しやすくなる。また図１２の例では、水平向きと垂直向きのうち、仮想視点から広告内容がより見えやすい向きに、仮想広告が配置されている。広告内容が見えやすい向きとは、仮想視点の視線方向と仮想広告の面とが成す角が直角に近くなるような向きである。

なお、仮想広告の広告効果をより高めるために、仮想視点の移動中にも仮想広告の向きを変更してもよい。図１３はこの場合の例を示す。仮想視点は図１３（ａ）の視点１２０１から図１３（ｃ）の視点１２０３へ連続的に移動するが、図１２（ｂ）の視点１２０２において仮想視点から広告内容が見えやすい向きが変化するため、この時点において仮想広告の向きが変更される。

なお、図１１を用いた以上の説明では、仮想視点の変化に応じて仮想広告の配置が変化するものとしたが、これに限らない。すなわち、配置決定部２１２は、３次元座標系における固定位置であって、視点取得部２１１により取得される視点情報に応じて変化しない固定位置を、仮想広告の位置として決定してもよい。これにより、仮想広告と撮影画像に含まれる被写体との３次元座標系における位置関係が仮想視点の移動に伴って変化することで仮想視点画像の視聴者が受ける違和感を、軽減することができる。

図１４は、配置決定部２１２による仮想広告の配置の決定に従ってレンダリング処理部２１５により生成される仮想視点画像の例を示す。図１４（ａ）は、地中から地上を見上げるように指定された仮想視点に対応する仮想視点画像の一例である。撮影装置１０８による撮影画像に含まれる被写体として、選手１４００、実広告１００２、及び観客席５０１が表示されている。フィールドと観客席の境界１４０３よりも下の領域は、撮影装置１０８による撮影範囲外に対応する地中の領域１４０５である。図１４の例では、フィールドが透明化して表示されているため、実際はフィールドに接地している選手１４００が浮いているかのように表示されている。

撮影範囲外に対応する領域１４０５は黒画像になっており、この領域１４０５の中に仮想広告１２０４が表示されている。従来は黒画像になっており撮影範囲外であることのみを示していた領域１４０５に、文字情報を有する仮想広告１２０４などユーザに対して所定の情報を提供するための仮想オブジェクトを表示させることで、仮想視点画像内の限られた領域を有効活用できる。なお、領域１４０５のうち仮想広告１２０４以外の領域には、黒画像に限らず、予め定められた色や模様の画像が割り当てられてもよい。

なお、図１４（ａ）の例のように、仮想広告１２０４は撮影範囲内に対応する領域（境界１４０３よりも上の領域）には隣接しない領域に表示してもよい。こうすることで、撮影範囲内に対応する領域と撮影範囲外に対応する領域を仮想視点画像の視聴者が識別しやすくなる。

また、本実施形態では、仮想視点画像が撮影範囲内に対応する領域と撮影範囲外に対応する領域とを含む場合に、仮想視点画像内の領域であって撮影範囲外に対応する領域に仮想広告を表示させる場合について説明する。ただしこれに限らず、仮想視点画像外に広告が表示されてもよい。例えば、端末装置１０９の表示部が有する表示領域内において、仮想視点画像が表示される領域の外側に、広告が表示される広告領域が存在してもよい。そして、当該広告領域の形状や、当該広告領域に表示される広告の表示内容、及び当該広告領域に広告を表示させるか否かなどが、仮想視点画像の生成に係る仮想視点に応じて変化してもよい。

図１４（ｂ）は、上空からスタジアムを見下ろすように指定された仮想視点に対応する仮想視点画像の一例である。３次元モデルは存在するがテクスチャが存在しないスタジアムの屋根に対応する領域１４０６に仮想広告「ＡＤＶ１」が表示され、３次元モデルが存在しないスタジアムの外部に対応する領域１４０７に仮想広告「ＡＤＶ２」が表示されている。

なお、本実施形態では仮想広告を仮想視点画像内において撮影範囲外に対応する領域にのみ挿入する場合を中心に説明したが、これに限定されるものではなく、撮影範囲内に対応する領域と外部に対応する領域の両方に仮想広告を挿入してもよい。このような構成によっても、仮想広告をすべて撮影範囲内に対応する領域に挿入する場合と比べて、撮影範囲に含まれる被写体が仮想オブジェクトに遮蔽されてしまう虞を低減できる。

また、本実施形態では配置決定部２１２が仮想的な３次元座標系における仮想広告の配置を決定し、当該決定された配置に基づいてレンダリング処理部２１５が仮想視点画像内における仮想広告を挿入する挿入領域を決定する場合について説明した。ただしこれに限らず、情報処理装置１００は例えば、仮想広告が挿入されていない仮想視点画像を生成し、当該仮想視点画像において撮影範囲外に対応する領域を、撮影装置１０８の撮影に関する外部パラメータ及び内部パラメータに基づいて特定してもよい。そして情報処理装置１００は、仮想視点画像内の当該特定された領域を、仮想広告を挿入する挿入領域として決定してもよい。

以上説明したように、本実施形態に係る情報処理装置１００は、複数の撮影装置１０８による撮影画像に含まれない仮想オブジェクトが挿入される仮想視点画像の挿入領域を決定する。具体的には、複数の撮影装置１０８によるそれぞれ異なる方向からの撮影に基づくデータを取得し、また、当該データに基づく仮想視点画像の生成に係る、仮想視点の指定に応じた視点情報を取得する。そして情報処理装置１００は、仮想視点画像内の領域であって、複数の撮影装置１０８による撮影範囲外に対応する領域を、仮想オブジェクトが挿入される挿入領域として決定する。このような構成によれば、仮想視点画像に仮想オブジェクトが挿入される場合に、撮影装置１０８による撮影範囲に含まれる被写体が仮想視点画像内において仮想オブジェクトに遮蔽されてしまう虞を低減することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１０ 画像処理システム
１００ 情報処理装置
１０８ 撮影装置

Claims (19)

1. 複数のカメラによる撮影画像に含まれない仮想オブジェクトが挿入される仮想視点画像の挿入領域を決定する情報処理装置であって、
   前記複数のカメラによるそれぞれ異なる方向からの撮影に基づくデータを取得する第１取得手段と、
   前記第１取得手段により取得されるデータに基づく仮想視点画像の生成に係る、仮想視点の指定に応じた視点情報を取得する第２取得手段と、
   前記第１取得手段により取得される撮影に基づくデータと前記第２取得手段により取得される視点情報とに基づく仮想視点画像の領域であって、前記複数のカメラによる撮影範囲外に対応する領域を、前記仮想オブジェクトが挿入される前記挿入領域として決定する決定手段とを有することを特徴とする情報処理装置。
2. 前記決定手段は、前記撮影画像に含まれる被写体に対応しない領域を前記挿入領域として決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記撮影画像に含まれる被写体の内部に対応する領域、及び／又は前記被写体の面であって前記撮影画像に含まれない面に対応する領域を、前記挿入領域として決定することを特徴とする請求項１に記載の情報処理装置。
4. 前記決定手段は、前記撮影範囲内に対応する領域に隣接しない領域を前記挿入領域として決定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記複数のカメラの撮影に関するパラメータを取得する取得手段を有し、
   前記決定手段は、前記取得手段により取得されるパラメータに基づいて特定される前記撮影範囲外に対応する領域を前記挿入領域として決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記決定手段は、３次元座標系における固定位置であって前記第２取得手段より取得される視点情報に応じて変化しない固定位置を前記仮想オブジェクトの位置として決定し、且つ、当該決定された位置に基づいて前記挿入領域を決定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記決定手段は、３次元座標系における前記仮想オブジェクトの向きを前記第２取得手段により取得される視点情報に基づいて決定し、且つ、当該決定された向きに基づいて前記挿入領域を決定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記決定手段は、前記第２取得手段により取得される視点情報から特定される仮想視点が移動している間は前記仮想オブジェクトの向きが変化せず、前記仮想視点の移動が停止した後に前記仮想オブジェクトの向きが変化するように、前記仮想オブジェクトの向きを決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記決定手段は、地中に対応する領域を前記挿入領域として決定することを特徴とする請求項１に記載の情報処理装置。
10. 前記決定手段は、３次元座標系における位置であって前記複数のカメラの撮影方向に応じた注視点から鉛直方向に離れた位置に対応する領域を前記挿入領域として決定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
11. 前記決定手段は、３次元座標系における位置であって前記撮影画像に含まれる被写体から鉛直方向に離れた位置に対応する領域を前記挿入領域として決定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
12. 前記決定手段は、前記仮想オブジェクトの所定の面が３次元座標系において地面に略水平または略垂直となるように前記仮想オブジェクトの向きを決定し、且つ、当該決定された向きに基づいて前記挿入領域を決定することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記決定手段は、仮想視点画像に広告を表示させるための前記仮想オブジェクトが挿入される前記挿入領域を決定することを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 前記決定手段により決定された前記挿入領域に前記仮想オブジェクトが挿入された仮想視点画像を、前記第１取得手段により取得される撮影に基づくデータと前記第２取得手段により取得される視点情報とに基づいて生成する生成手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 前記仮想オブジェクトが挿入されていない仮想視点画像を、前記第１取得手段により取得される撮影に基づくデータと前記第２取得手段により取得される視点情報とに基づいて生成する生成手段と、 前記生成手段により生成された仮想視点画像と、前記決定手段により決定された前記挿入領域を特定するための情報とを、前記仮想オブジェクトが挿入された仮想視点画像を生成する装置へ出力する出力手段とを有することを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
16. 複数のカメラによるそれぞれ異なる方向からの撮影に基づくデータを取得する第１取得工程と、
    前記第１取得工程において取得されるデータに基づく仮想視点画像の生成に係る、仮想視点の指定に応じた視点情報を取得する第２取得工程と、
    前記第１取得工程において取得される撮影に基づくデータと前記第２取得工程において取得される視点情報とに基づいて仮想視点画像を生成する生成工程であって、仮想視点画像の領域であって前記複数のカメラによる撮影範囲外に対応する領域に、前記複数のカメラによる撮影画像に含まれない仮想オブジェクトが挿入された仮想視点画像を生成する生成工程とを有することを特徴とする画像生成方法。
17. 前記生成工程においては、前記撮影画像に含まれる被写体に対応しない領域に前記仮想オブジェクトが挿入された仮想オブジェクトが生成されることを特徴とする請求項１６に記載の画像生成方法。
18. 前記生成工程においては、前記撮影画像に含まれる被写体の内部に対応する領域、又は前記被写体の面であって前記撮影画像に含まれない面に対応する領域に、前記仮想オブジェクトが挿入された仮想視点画像が生成されることを特徴とする請求項１６に記載の画像生成方法。
19. コンピュータを、請求項１乃至１５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images