JP2022169177A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】 仮想視点映像内の所望の位置に被写体が配置される仮想視点映像を生成できるようにするための情報を出力可能にする。【解決手段】 仮想カメラパスデータ処理装置１は、複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成するフレームに対応し、仮想視点の位置及び仮想視点からの視線方向を表すパラメータを取得する仮想カメラ情報取得部１０１と、仮想視点映像における被写体の位置及び向きを特定する座標系調整情報取得部１０２と、取得されるパラメータと、特定される被写体の位置及び向きに基づく情報とが関連付けられた仮想視点データを出力する仮想カメラパスデータ出力部とを有する。【選択図】 図１

Description

本開示は、仮想視点映像を生成する技術に関するものである。

近年、撮影領域の周囲に複数の撮影装置を配置して撮影を行い、それぞれの撮影装置から取得された複数の撮影画像を用いて、指定された視点（仮想視点）から見た映像（仮想視点映像）を生成する技術が注目されている。仮想視点映像を生成する技術によれば、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができ、従来の撮影画像と比較してユーザに高臨場感を与えることができる。特許文献１では、デバイスやＵＩ画面を操作して仮想視点を決定する技術が示されている。

特開２０１７－２１２５９２号公報

仮想視点映像の生成においては、複数の撮影装置により撮影される被写体を、仮想視点映像内の任意の位置に配置した仮想視点映像を生成する場合が考えられる。しかしながら、仮想視点映像内で被写体を任意の位置に配置する場合には、単に仮想視点を決定するのみでは、適切な仮想視点映像が生成されなくなるという問題が発生しうる。特許文献１に記載の方法で生成される仮想視点のデータでは、上記の問題について考慮がされていなかった。

本開示は上記課題を鑑みてなされたものであり、仮想視点映像内の所望の位置に被写体が配置される仮想視点映像を生成できるようにするための情報を出力可能にすることを目的とする。

本開示に係る情報処理装置は、複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成するフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータを取得する取得手段と、前記仮想視点映像における被写体の位置及び向きを特定する特定手段と、前記取得手段により取得される前記パラメータと、前記特定手段により特定される前記被写体の位置及び向きに基づく情報とが関連付けられた仮想視点データを出力する出力手段とを有する。

本開示によれば、仮想視点映像内の所望の位置に被写体が配置される仮想視点映像を生成できるようにするための情報が出力可能になる。

情報処理システムの構成を説明するための図である。 座標系調整情報を説明するための図である。 シーケンスデータのフォーマットの一例を示す図である。 仮想カメラパスデータのフォーマットの一例を示す図である。 仮想カメラパスデータのフォーマットの一例を示す図である。 仮想カメラパスデータのフォーマットの一例を示す図である。 仮想カメラパスデータ生成処理装置の動作を説明するためのフローチャートである。 仮想視点映像生成装置の構成を説明するための図である。 仮想視点映像生成装置の動作を説明するためのフローチャートである。 装置間の通信状況の一例を説明するための図である。 仮想カメラパスデータの一例を示す図である。 仮想カメラパスデータ処理装置のハードウェア構成を説明するための図である。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。

（実施形態１）
本実施形態では、複数の撮影装置により異なる方向から撮影して取得された撮影データに基づいて仮想視点映像を生成するための、仮想カメラパスデータを生成する処理を行う例を述べる。本実施形態では、仮想視点映像を生成する際に使用される仮想視点を、仮想カメラと呼ぶ。すなわち、仮想カメラは、仮想視点の位置に仮想的に配置されるカメラであり、仮想視点の位置及び仮想視点からの視線方向が、それぞれ仮想カメラの位置及び仮想カメラの姿勢に対応する。

また、本実施形態では、仮想視点映像を生成する際の仮想カメラの移動経路及び姿勢の変化を表す情報を、仮想カメラパスデータと呼ぶ。すなわち、仮想カメラパスデータは、仮想視点の位置及び仮想視点からの視線方向のパラメータを含む仮想視点データであると言える。本実施形態における仮想カメラパスデータは、仮想カメラの３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想カメラの姿勢を表すパラメータとを含む。なお、仮想カメラパスデータの内容は上記に限定されない。例えば、仮想カメラパスデータには、仮想視点の視野の大きさ（画角）に対応するパラメータが含まれてもよい。

また、本実施形態における仮想カメラパスデータは、仮想視点映像を構成する複数の動画フレーム分のパラメータを有するものとする。すなわち、仮想カメラパスデータは、仮想視点映像の動画を構成する複数のフレームのそれぞれに仮想カメラパラメータが対応付けられた構成となっており、この構成により仮想視点映像における仮想カメラの移動経路及び姿勢の変化を表す。

また、本実施形態における仮想視点映像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば、複数の候補からユーザが選択した視点に対応する画像なども仮想視点映像に含まれる。また、仮想視点の指定は、ユーザ操作により行われてもよいし、画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では、仮想視点映像が動画である場合を中心に説明する。本実施形態において、動画とは、複数の画像（フレーム）で構成されるものとする。このため、仮想視点映像に映る被写体が静止した状態で、フレームごとに仮想カメラパラメータが変化する映像も、動画であると言える。さらに、仮想視点映像に映る被写体が静止した状態で、フレームごとの仮想カメラパラメータが変化しない映像は、映像としては静止しているように見えるが、複数のフレームを有するとして、動画として扱うことができる。また、本実施形態は、１つのフレームにより構成される仮想視点映像、すなわち静止画に対しても適用可能である。

＜ハードウェア構成＞
図１２は、後述する仮想カメラパスデータ処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。カメラパスデータ処理装置１は、ＣＰＵ１２０１、ＲＯＭ１２０２、ＲＡＭ１２０３、操作部１２０４、出力部１２０５、外部記憶装置１２０６、Ｉ／Ｆ１２０７、バス１２０８を有する。なお、以下で説明するハードウェア構成は、後述する情報処理システムにおける他の装置においても適用可能である。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、後述する装置が行うものとして各処理を実行する。即ち、ＣＰＵ１２０１は、後述する仮想カメラパスデータ処理装置における各処理部として機能することになる。

ＲＡＭ１２０２は、外部記憶装置１２０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１２０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１２０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。出力部１２０５は、ＣＰＵ１２０１による処理結果を表示する。また出力部１２０５は例えば液晶ディスプレイで構成される。

外部記憶装置１２０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１２０６には、ＯＳ（オペレーティングシステム）や、仮想カメラパスデータ処理装置の各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１２０６には、処理対象としての各画像データが保存されても良い。

外部記憶装置１２０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜、ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。Ｉ／Ｆ１２０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１２０７を介して様々な情報を取得したり、送出したりすることができる。１２０８は上述の各部を繋ぐバスである。

なお、ハードウェア構成はこれに限定されない。例えば、操作部１２０４、出力部１２０５、及び外部記憶装置１２０６の少なくともいずれかが、仮想カメラパスデータ処理装置１とは異なる装置として外部に接続される構成でもよい。この場合、ＣＰＵ１２０１が、操作装置及び外部記憶装置からの入力を受信する受信制御部、及び表装置などの出力装置及び外部記憶装置にデータを出力する出力制御部として機能する。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

記憶媒体に格納されるコードは、先に説明した処理の少なくとも一部又はそれに類似した処理に対応するコンピュータプログラムのコードとなる。

＜システム構成＞
図１は、本実施形態における仮想カメラパスデータ処理装置を含む情報処理システムの構成例を示す図である。情報処理システム１０は、仮想カメラパスデータ処理装置１、撮影装置２、形状推定装置３、記憶装置４、モデル操作装置５、仮想カメラ操作装置６、及び、シーケンスデータ処理装置７を有する。

仮想カメラパスデータ処理装置１は、後述する仮想カメラ操作装置６から仮想カメラの位置及び姿勢のパラメータ等を決定するための入力を受け付け、仮想カメラパスデータを生成する。仮想カメラパスデータ処理装置１の詳細については後述する。

撮影装置２は、仮想視点映像を生成するために使用される撮影画像を取得する撮影装置である。本実施形態では、複数の撮影装置を使用して得られる複数の撮影画像に基づいて仮想視点映像が生成される。なお、図１には撮影装置２のみ図示されるが、情報処理システム１０には複数の撮影装置が含まれるものとする。以下の説明では、複数の撮影装置のそれぞれを特に区別しない場合は、撮影装置２として説明する。複数の撮影装置は、異なる複数の方向から撮影領域を撮影する。撮影領域は、例えば、ラグビーまたはサッカーなどが行われる競技場、コンサート等が行われるホールや舞台、撮影スタジオなどである。複数の撮影装置は、このような撮影領域を取り囲むようにして、それぞれ異なる位置および方向に設置され、同期して撮影を行う。なお、複数の撮影装置は、撮影領域の全周にわたって設置されなくてもよく、設置場所の制限等によっては撮影領域の一部にのみ設置されていてもよい。また、複数の撮影装置の数は限定されず、例えば、撮影領域をラグビーの競技場とする場合、競技場の周囲に数十～数百台程度の撮影装置が設置されてもよい。

また、望遠カメラおよび広角カメラなどのように、画角が異なる複数の撮影装置が設置されていてもよい。例えば、望遠カメラを用いれば、高解像度にオブジェクトを撮影できるので、生成される仮想視点映像の解像度も向上する。また、例えば、広角カメラを用いれば、一台のカメラで撮影できる範囲が広いので、カメラ台数を減らすことができる。複数の撮影装置は、現実世界の一つの時刻情報で同期され、撮影した映像には毎フレームの画像に撮影時刻を表す時刻情報が付与される。

なお、撮影装置２は、１台のカメラで構成されていてもよいし、複数台のカメラで構成されていてもよい。さらに、撮影装置２は、カメラ以外の装置を含んでいてもよい。例えば、レーザ光等による測距装置などを含んでも構わない。

また、撮影装置２の状態が制御可能であってもよい。撮影装置の状態とは、撮影装置の位置、姿勢、焦点距離、光学中心、および歪みなどの状態のことをいう。撮影装置の位置および姿勢は、撮影装置そのもので制御されてもよいし、撮影装置の位置および姿勢を制御する雲台により制御されてもよい。

撮影装置２は、他の撮影装置と識別するための固有の識別番号を持つ。撮影装置２は、撮影して取得した画像から前景画像を抽出する機能など、他の機能を有してよく、その機能を実現するハードウェア（回路または装置など）も含んでもよい。

形状推定装置３は、撮影装置２から取得される画像データに基づいて、被写体の形状を表す形状データを生成する。本実施形態では、形状推定装置３は、被写体の３次元形状を表す３次元形状データを生成するものとする。以下、本実施形態における３次元形状データの生成方法について説明する。

まず、複数の像装置２により異なる方向からそれぞれの撮影領域を撮影することで、複数の撮影画像が取得される。次に、複数の撮影画像から、人物またはボールなどのオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像とが取得される。ここで、前景画像とは、撮影装置により撮影されて取得された撮影画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮影を行った場合において動きのある（その位置または形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、競技が行われるフィールド内にいる選手または審判などの人物を含み、球技であれば人物に加えボールなども含み得る。また、コンサートまたはエンタテイメントなどにおいては、歌手、演奏者、パフォーマー、または司会者などが、オブジェクトの一例である。なお、背景画像などにより事前に背景を登録しているのであれば、静止したオブジェクトでも事前に登録済みである背景に存在していなければ前景領域として抽出される。

また、背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮影画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮影を行った場合において静止している、又は静止に近い状態が継続している撮影対象物を指す。このような撮影対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、またはフィールドなどである。ただし、背景は、少なくとも前景となるオブジェクトとは異なる領域であり、撮影対象物としては、オブジェクトと背景との他に、別の物体等が含まれていてもよい。撮影画像から前景画像と背景画像とを生成する処理は、形状推定装置３で行われてもよいし、撮影装置２で行われてもよい。撮影装置２で行われる場合は、撮影装置２は、前景画像と背景画像とを形状推定装置３に出力する。

形状推定装置３は、前景画像を使用して、例えば視体積交差法（ｓｈａｐｅ－ｆｒｏｍ－ｓｉｌｈｏｕｅｔｔｅ法）などの形状推定方法により、前景である被写体の３次元形状データを生成する。３次元形状データは、例えば、点群モデルデータ、ビルボードデータ、メッシュモデルデータなどである。なお、以下の説明においては、被写体の３次元形状データを、被写体モデルともいう。また、形状推定装置３は、前景画像を使用して、３次元形状データに色付けをするためのテクスチャデータを生成する。また、背景の３次元形状データは、予めスタジアムまたは会場などの撮影領域を事前に３次元測定しておくことにより生成される。形状推定装置３は、背景画像に基づいて、背景の３次元形状データに色付けをするためのテクスチャデータを生成する。形状推定装置３は、生成した３次元形状データとテクスチャデータとを、記憶装置４に送信する。

本実施形態における仮想視点映像は、例えば、以下のような方法で生成される。すなわち、前景の３次元形状データに対し、仮想カメラの位置及び姿勢のパラメータに応じてテクスチャデータをマッピングしレンダリングを行うことにより、仮想視点映像が生成される。背景の３次元形状データに対するレンダリングも同様に行われる。なお、仮想視点映像の生成方法はこれに限定されず、３次元形状データを用いずに、撮影画像の射影変換により仮想視点映像を生成する方法など、種々の方法を用いることができる。

なお、以下の説明において、３次元形状データやテクスチャデータ等、仮想視点映像の生成に使用されるデータを、まとめて素材データとも表記する。また、本実施形態においては、３次元形状データが生成される構成について説明したが、仮想視点映像の生成方法としてイメージベースドレンダリングが行われる場合においても、本実施形態は適用可能である。

記憶装置４は、形状推定装置３で生成された素材データを格納する装置である。例えば、半導体メモリや磁気記録装置などで構成される。記憶装置４に格納される素材データは、それぞれ、対応する撮影時刻情報と紐づいている。具体的には、素材データの生成に使用された撮影画像に関連付けられている撮影時刻情報を、素材データに関連付けることにより、素材データと撮影時刻情報との紐づけがされる。素材データに対する撮影時刻情報の関連付けは、例えば、素材データのメタデータに撮影時刻情報を付与することで行われる。なお、撮影時刻情報の付与を行う装置は特に限定されず、形状推定装置３で付与されても、記憶装置４で付与されてもよい。記憶装置４は、他の装置からのリクエストに応じて素材データを出力する。

モデル操作装置５は、背景の３次元形状データの設定、及び、設定した背景の３次元形状データ上に被写体の３次元形状データを配置するための指示をする装置である。背景の３次元形状データの設定とは、例えば、仮想視点映像における背景の座標系の設定、及び背景の３次元形状データの決定等である。被写体の３次元形状データの配置は、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどにより、ユーザ（操作者）から指定される。モデル操作装置５は、ユーザからの指示に基づき、３次元形状データの配置を表す配置情報を出力する。配置情報は、３次元形状データの位置や向きなどの情報が含まれるが、これに限定されない。

モデル操作装置５は、ユーザから指定された背景の３次元形状データの設定及び配置情報を基に、背景と被写体とが配置された３次元空間を表す映像を表示する。ユーザは、こうして表示される３次元空間を参照しながら、背景の３次元形状データの設定及び被写体の３次元形状データの配置を検討する。モデル操作装置５は、仮想カメラパスデータ処理装置１に、設定した配置情報を送信する。なお、被写体モデルの配置情報の指定に関しては、ユーザからの指定に限定されず、映像解析等により被写体を認識するなどして、自動的に指定されても構わない。

仮想カメラ操作装置６は、仮想カメラの位置及び姿勢のパラメータの指定をするための操作装置である。仮想カメラ操作装置６は、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどにより構成される。なお、指定可能な仮想カメラのパラメータは、仮想カメラの位置、姿勢、画角などの情報が含まれるが、これに限定されず、他の情報が指定可能であってもよい。

本実施形態における仮想カメラ操作装置６は、ユーザにより指定された仮想カメラパラメータをモデル操作装置５に送信する。モデル操作装置５は、受信した仮想カメラパラメータと、記憶装置４から取得した素材データとに基づいて、仮想視点画像を生成する。仮想カメラ操作装置６を操作するユーザは、モデル操作装置５により表示された、３次元空間を表す仮想視点映像を参照しながら仮想カメラパラメータを指定し、仮想カメラパスを検討する。なお、表示される映像はユーザが仮想カメラパラメータの指定をする際の補助となる映像であればよく、例えば被写体の簡易モデルや、被写体の位置のみを示すマーカ等を使用した簡易的な映像であってもよい。また、映像を生成及び表示することなく仮想カメラパラメータが指定されてもよい。また、仮想カメラパラメータの指定に関しては、ユーザからの指定に限定されず、被写体を認識するなどして、自動的に指定されても構わない。仮想カメラ操作装置６により指定された仮想カメラパラメータは、仮想カメラパスデータ処理装置１に送信される。

また、仮想カメラ操作装置６は、ユーザ操作に応じて、映像上の被写体の撮影時刻を指定することができる。具体的には、ユーザは仮想カメラ操作装置６に表示される映像において、被写体の動きを一時停止させたり、被写体の動きを逆再生したり、早送りしたりすることが可能である。また、これは、撮影装置２が撮影を行った際の撮影時刻の一時停止、逆再生、早送りに相当する。撮影時刻を変更させても、仮想カメラは操作することができるため、例えば被写体の動きを一時停止した状態で、仮想カメラを動かすような仮想視点映像の生成が可能となる。また、連続した撮影が行われなかった場合や、被写体ごとに間を空けて撮影を行った場合等にも、撮影時刻情報を参照することにより、異なる時刻に撮影された被写体を含む仮想視点映像を生成することができる。このような映像では、撮影時刻と仮想視点映像上の再生時刻とは、それぞれ独立したパラメータとして扱われる。仮想カメラ操作装置６は、表示される映像に対応する撮影時刻を表す撮影時刻情報を、仮想カメラパスデータ処理装置１に送信する。

シーケンスデータ処理装置７は、仮想カメラパスデータ処理装置１から仮想カメラパスデータを取得する。また、シーケンスデータ処理装置７は、記憶装置４から仮想カメラパスデータに対応する素材データを取得する。そして、シーケンスデータ処理装置７は、取得したデータを保存または出力するためのシーケンスデータを生成する。シーケンスデータの書式に関しては、後述する。なお、素材データは必ずしも必要ではなく、仮想カメラパスデータのみのシーケンスデータが生成されてもよい。さらに、仮想カメラパスは一つのパターンだけでなく、複数のパターンの仮想カメラパスデータを含んでもよい。

以上が、本実施形態における情報処理システムの構成である。ここで、本システムで解決すべき課題について、図２を用いて説明する。図２は、被写体モデルの配置情報と座標系調整情報の関係を説明する図である。前提として、例えば複数の被写体を含む仮想視点映像を生成する場合に、撮影を行う場所の制約等により、複数の被写体を同じ撮影領域で同時に撮影できない問題が生じうる。このような場合、複数の被写体をそれぞれ別の場所、あるいは異なる時刻で撮影し、撮影された被写体の３次元形状データの位置を変更して、一つの仮想視点映像に含まれるようにするという方法がありうる。しかしながら、上述したように、仮想カメラパラメータに応じたレンダリングにより仮想視点映像を生成する場合においては、単純に被写体の３次元形状データを移動させ、仮想カメラパラメータを決定するのみでは、適切な仮想視点映像が生成されない虞がある。より具体的には、被写体の３次元形状データに色付けするためのテクスチャデータは、仮想カメラの位置及び姿勢に応じて特定される撮像画像の画素値に基づき決定される。したがって、被写体の３次元形状データの位置を移動すると、適切な撮影画像の画素値を参照することが困難となりうる。結果として、適切な仮想視点映像が得られなくなる場合がある。

本実施形態における仮想カメラパスデータ処理装置１は、被写体の３次元形状データの位置に基づいて仮想カメラパスを調整するための情報として、座標系調整情報を含む仮想カメラパスデータを生成する。これにより、本実施形態のような仮想視点映像の生成方法においても所望の仮想視点映像を生成可能な情報を出力する。以下、座標系調整情報について説明する。

図２（ａ）は、異なる時間帯に同じ場所で撮影された、撮影時の撮影空間に対応する３次元空間の座標系２００１～２００４と、被写体の３次元形状データ（以下、被写体モデルともいう）２００５～２０１２の例を示す。撮影時の３次元空間の座標系は撮像装置の構成やキャリブレーションデータが同じであれば同じになる。ここでは説明のため、座標系２００１～２００４は同じであるものとするが、異なっていてもよい。また、被写体モデル２００５と被写体モデル２００６とは、同じ時刻に撮影されているものとする。同様に、被写体モデル２００７と被写体モデル２００８、被写体モデル２００９と被写体モデル２０１０、被写体モデル２０１１と被写体モデル２０１２も、それぞれ同じ時刻に撮影されているものとする。ただし、以上の４組の被写体モデルは、それぞれ異なる時刻に撮影されているものとする。なお、撮影時に含まれる被写体の数は２に限定されず、１でもよいし、より多くの数でも構わない。

図２（ｂ）は、座標系２００１～２００４とは異なった、ＣＧの３次元空間、あるいは別の撮影空間の３次元空間の座標系２１０１の例を示す。図２（ｂ）は、ここでは被写体モデルを配置するための背景として設定される。図２（ｃ）は、ユーザの指示に基づき、座標系２１０１に対応する上に被写体モデル２００５～２０１２を配置した例である。図２（ｃ）の被写体モデル２２０１と２２０２は被写体モデル２００７と２００８に対応しており、座標系２２０３は座標系２１０１に対応している。なお、図２（ｃ）においては、簡単のため同じ時刻に撮影された被写体モデルは全て含み、位置関係も維持しているが、それに限らない。例えば、被写体モデル２２０１に対する被写体モデル２２０２の相対的な位置関係を変更してもよいし、被写体モデル２２０１のみを配置してもよいし、あるいは被写体モデル２２０１を複製して配置してもよい。この場合、撮影時の３次元空間における被写体の位置関係や数が変わるため、仮想視点映像としてレンダリングする被写体モデルあるいは対象領域の情報も格納することで、所望の仮想視点映像を得ることができる。モデル操作装置５は、図２（ｃ）に示すような表示を行うことにより、被写体が配置された３次元空間を認識できるようにする。

図２（ｄ）は、図２（ｃ）に示す３次元空間および被写体モデルに対する仮想カメラパス２３０１の例を示す。仮想カメラパス２３０１は、例えばユーザがモデル操作装置３により表示される映像を見ながら仮想カメラ操作装置６を操作することにより指定される。仮想カメラ２３０２は、仮想カメラパス２３０１におけるあるフレームに対応する位置や姿勢などの仮想カメラを表す。また、図２（ｄ）における座標系２３０３は座標系２２０３および座標系２１０１に対応している。なお、仮想カメラパス２３０１は座標系２３０３を基準に作成される。このとき、仮想カメラ２３０２の位置は（Ｘｃ、Ｙｃ、Ｚｃ）のように記述されるとする。

図２（ｅ）は、被写体モデル２４０１と２４０２に対して、撮影時の座標系２４０３とそれとは異なる座標系２４０４の座標系の違いを説明する図である。図２（ｅ）の被写体モデル２４０１と２４０２は、被写体モデル２２０１と２２０２および２００７と２００８に対応している。また、座標系２４０３と座標系２００２とは対応しており、同じ座標系を表している。さらに、座標系２４０４と座標系２１０１と座標系２２０３と座標系２３０３は、全て対応しており、同じ座標系を表している。各被写体モデルと被写体撮影時の座標系２４０３との位置関係は常に一定のため、各被写体モデルの位置や向きを変更すれば、その変更量と同じだけ座標系２４０３の位置や向きが変わる。そのため、図２（ｃ）のように各被写体モデルを任意の位置に配置し直すと、その変化量２４０５に応じて座標系２４０３と２４０４との位置関係や向きが変わる。例えば、被写体モデル２４０１が位置のみ変更されていたとする。このとき、被写体モデル２４０１の位置（重心）を座標系２４０４から見たときの位置を（Ｘｗ、Ｙｗ、Ｚｗ）、座標系２４０３から見たときの位置を（Ｘｖ、Ｙｖ、Ｚｖ）と表すると、変化量２４０５は（Ｘｗ―Ｘｖ、Ｙｗ―Ｙｖ、Ｚｗ―Ｚｖ）となる。この変化量２４０５が座標系調整情報となる。

図２（ｆ）は、図（ｄ）における仮想カメラパス２３０１を、座標系２５０３を基にした仮想カメラパス２５０１へ調整したときの例を説明する図である。仮想カメラ２５０２は、仮想カメラパス２５０１におけるあるフレームに対応する位置や姿勢などの仮想カメラを表し、座標系２５０３は座標系２３０３、２２０３、２１０１に対応している。このとき、調整後の仮想カメラ２５０２の位置を（ＸＣ、ＹＣ、ＺＣ）のように記述されるとする。また、被写体モデル２５０４と２５０５は、被写体モデル２２０１と２２０２および２００７と２００８と２４０１および２４０２にそれぞれ対応している。ここで、仮想カメラパス２５０１および２３０１において、背景を除いて同じような仮想視点映像を生成するためには、仮想カメラから見た各被写体モデルの相対的な位置や向きは変わってはならない。しかし、仮想カメラパス２３０１を調整なしにそのまま座標系２５０３へ適用すると、仮想カメラ２５０２は座標系２５０３における位置（Ｘｃ、Ｙｃ、Ｚｃ）に存在することになる。このとき、Ｘｃ、Ｙｃ、Ｚｃの各値は、ＸＣ、ＹＣ、ＺＣとはそれぞれ同じではない可能性が高く、同じでない場合、仮想カメラから見た各被写体モデルの相対的な位置や向きの関係が崩れる。したがって、被写体モデルの位置を変更した場合、座標系２５０３における仮想カメラの位置（Ｘｃ、Ｙｃ、Ｚｃ）を調整する必要がある。その調整は、図２（ｆ）における場合では、座標（Ｘｃ、Ｙｃ、Ｚｃ）から変化量２４０５（Ｘｗ―Ｘｖ、Ｙｗ―Ｙｖ、Ｚｗ―Ｚｖ）を引くことで行われる。

このようにして、被写体モデルの位置の移動に応じて、仮想カメラの位置も移動させることにより、被写体モデルと仮想カメラとの相対的な位置関係が維持される。これにより、被写体モデルへの色付けに際し、適切な撮像画像の画素値を参照することができるようになる。

なお、上述した例においては、仮想カメラの位置のみが変更される場合について説明したが、これに限定されない。例えば、被写体モデルの向きが変更される場合は、変更される向きに対応して仮想カメラの姿勢を変化させるための変換行列が特定される。この変換行列が、座標系調整情報となる。このように、本実施形態においては、被写体モデルの位置及び向きを表す配置情報に基づいて、仮想カメラの位置及び姿勢の少なくともいずれかを変更するための座標系調整情報が取得される。

＜仮想カメラパスデータ処理装置の機能構成＞
図１を使用して、仮想カメラパスデータ処理装置１の構成について説明する。仮想カメラパスデータ処理装置１は、仮想カメラ情報取得部１０１、座標系調整情報取得部１０２、仮想カメラパスデータ生成部１０３、仮想カメラパスデータ出力部１０４を有する。

仮想カメラ情報取得部１０１は、仮想カメラ操作装置６で指定された仮想カメラパラメータを取得する。なお、仮想カメラ情報取得部１０１は、仮想カメラ操作装置６で決定された全フレーム分の仮想カメラパラメータをまとめて取得してもよいし、仮想カメラ操作装置６が１フレーム分の仮想カメラパラメータを出力するごとに、１フレームずつ取得し続けてもよい。

なお、本実施形態における仮想カメラ情報取得部１０１は、被写体が撮影された時刻に対応する撮影時刻情報も取得するものとする。本実施形態における撮影時刻情報は、ある標準時間における絶対時刻であるものとするが、これに限定されない。撮影時刻情報は、例えば、ある基準の時刻に対する相対時刻、及び、ある基準の時刻に対応するフレームに対する相対フレーム数などで表されてもよい。また、例えば、撮影時における所定のシーン（例えば、サッカーの前半４５分など）、又はある一試合に対応する素材データがまとまりで管理される場合、そのシーンや試合の開始タイミングを基準とした相対時刻が、撮影時刻情報として用いられてもよい。

なお、撮影時刻情報は、あるフレームに対応する素材データの特定に使用される情報であるため、素材データを特定可能であれば、撮影時刻情報以外の情報が取得されてもよい。例えば、素材データを特定するための識別番号やＩＤが付与されている場合、仮想カメラ情報取得部１０１は、撮影時刻情報の代わりとして、素材データの識別番号及びＩＤ等を取得する構成でもよい。なお、仮想カメラ情報取得部１０１は、仮想カメラ操作装置６で決定された全フレーム分の撮影時刻情報をまとめて取得してもよいし、１フレームずつ取得し続けてもよい。

座標系調整情報取得部１０２は、モデル操作装置５で指定された被写体モデルの配置情報を取得し、取得した配置情報に基づいて仮想視点映像における被写体の位置及び向きを特定する。また、座標系調整情報取得部１０２は、配置情報に基づいて座標系調整情報を取得する。なお、モデル操作装置５が座標系調整情報を取得し、座標系調整情報取得部１０２はモデル操作装置５により取得された座標系調整情報を取得する構成でもよい。

仮想カメラパスデータ生成部１０３は、仮想カメラ情報取得部１０１で取得された仮想カメラパラメータと、座標系調整情報取得部１０２で取得された座標系調整情報とを関連付けた仮想カメラパスデータを生成する。図１１を使用して、仮想カメラパスデータの概念について説明する。図１１は、図２（ｄ）における仮想カメラパス２３０１に、座標系調整情報を格納した仮想カメラパスデータの例である。ここで、仮想カメラパス時刻情報は、仮想カメラパスを構成するフレームの番号を表す情報である。この例では、仮想カメラパスは１００フレームあり、各フレームに対して仮想カメラの座標系調整情報が４種類あることを表している。なお、座標系調整情報は仮想カメラの位置を調整する位置オフセットとして与えている。仮想カメラパラメータ情報は、例えば仮想カメラの３次元空間上における位置（ｘ，ｙ，ｚ）や、仮想カメラの３次元空間における姿勢を表すパン、チルト、ロールの値（ｐａｎ，ｔｉｌｔ．ｒｏｌｌ）が含まれる。なお、仮想カメラパスデータには、仮想カメラの画角や歪みに対応するパラメータが含まれてもよい。

撮影時刻情報は、仮想視点映像の生成に使用される素材データを特定するための情報であり、図１１の例では、所定の撮影画像のフレームに対する相対フレーム数を表すフレーム番号で表されている。図１１の例では、例えば、仮想カメラパス時刻情報０に対応する被写体の撮影時刻情報は０、１０００、２０００、３０００の４つある。すなわち、仮想カメラパス時刻情報０に対応する仮想視点映像のフレームを生成する際に使用される素材データは４つあることが示されている。本実施形態における仮想カメラパスデータ処理装置１は、図１１に示すような仮想カメラパスデータを生成する。仮想カメラパスデータの使用方法については、実施形態２にて後述する。

図１に戻り、仮想カメラパスデータ出力部１０４は、仮想カメラパスデータ生成部１０３で生成された仮想カメラパスデータに対して、ヘッダ情報などを付与する処理を行い出力する。なお、仮想カメラパスデータは、データファイルとして出力されてもよいし、パケットデータとして出力されてもよい。さらに、仮想カメラパスデータは、フレーム単位で出力されてもよいし、仮想カメラパス全体あるいは一定フレーム数ごとに出力されてもよい。

＜仮想カメラパスデータのフォーマット＞
図４を使用して、仮想カメラパスデータ処理装置１により生成される仮想カメラパスデータのフォーマットの一例を示す。仮想カメラパスデータ処理装置１は、以下で説明するような所定のフォーマットに対応するファイルを生成する。

図４に示す仮想カメラパスデータは、所定のフレーム数分の仮想カメラパラメータを有するデータセットの例である。データセットの先頭には、仮想カメラパスデータヘッダが保存されるが、ヘッダには本データセットが仮想カメラパスデータのデータセットであること、データセットのデータサイズが保存されている。続いて、格納されている仮想カメラパスデータのフレーム数Ｍが記載される。そして、仮想カメラパスデータのフォーマットの情報が記載される。これは、仮想カメラパスデータがどのように格納されているかの書式を表す情報であり、仮想カメラパスに関するデータが種別単位で格納されているか、フレーム単位で格納されているか、などを示す情報である。図３はデータが種別単位で格納されている場合の例である。続いて、仮想カメラパスデータヘッダには、そのデータの数がＬとして記載される。以下、各データの情報が保存される。本実施形態では、仮想カメラパス時刻情報と、撮影時刻情報と、カメラパラメータ情報と、座標系調整情報との４つのデータが含まれている。なお、仮想カメラパス時刻情報とは、仮想カメラパスにおけるフレームを表す情報であり、上述した図１１におけるカメラパスフレームに相当する。すなわち、仮想カメラパス時刻情報は、仮想カメラパスにおけるフレームを区別可能な任意の情報で表される。

仮想カメラパスのデータ単位の情報では、最初にデータの種別コードが保存される。本実施形態では、データセットとして、仮想カメラパス時刻情報と、撮影時刻情報と、カメラパラメータ情報と、仮想広告表示指示情報があるものとする。なお、それぞれを仮想カメラパスデータ種別コードとして表現することにする。仮想カメラパスデータ種別コードは図３に示すように１バイトのコードとして表されるものとする。ただし、データの種別やコードはこれに限定されず、記載する情報に応じて、例えば２バイトより長いコードであってもよいし、２バイトより短いコードでもよい。仮想視点映像生成する際に用いる他のデータでも構わない。また、仮想広告表示指示情報は、仮想カメラパスデータを使用して生成される仮想視点映像に、付加情報として仮想広告を表示させるための指示情報である。仮想広告は付加情報の一例であり、仮想広告の他にも例えば被写体に関する情報やエフェクトなどの任意の付加情報を付加するための指示情報が仮想カメラパスデータに記載されてもよい。

続いて、各データへのアクセス情報（ポインタ）が保存される。そして、撮影時刻情報やカメラパラメータ情報などのデータに関するフォーマット情報が記載される。例えば、仮想カメラパス時刻情報のフォーマットは、先頭を基準としたときの相対時刻か、相対フレーム番号か、などを示す。また、撮影時刻情報のフォーマットは、実際に被写体を撮影した際のある標準時（例えば、グリニッジ標準時や日本標準時）に基づく絶対時刻、ある基準時刻に対する相対時刻、基準フレームに対する相対フレーム数等を使用するフォーマットでありうる。あるいは撮影時刻情報以外の情報が使用されるフォーマットであってもよく、例えば素材データへのファイルパスあるいはポインタなどが使用されてもよい。なお、撮影時刻情報として、基準時に対する相対時刻あるいは相対フレーム数を記述する場合、シーケンスヘッダ中の仮想カメラパスシーケンス説明において、仮想カメラパスの基準時刻情報を記載される。この基準時刻情報は、ある標準時に基づく絶対時刻や、あるコンテンツ内の管理時刻（例えば、所定の試合の開始時刻など）に基づく絶対時刻などとして保存される。具体的には、例えば、年月日時分秒を整数で表し、小数点以下の時刻を浮動小数点や、固定小数点、整数などで表しても良い。

仮想カメラパラメータのフォーマットは、例えば、仮想カメラの位置や姿勢などを表す値がクォータニオンで表記される。なお、仮想カメラパラメータの表記方法はこれに限定されない。

座標系調整情報のフォーマットは、例えば、仮想カメラの位置のオフセット情報や、カメラの位置や姿勢の変換を表す変換行列情報で表記される。なお、仮想カメラパス時刻情報とカメラパラメータ情報とは一対一で対応するが、仮想カメラパス時刻情報と撮影時刻情報とは座標系を調整する被写体の数に応じて一対多対応してもよい。例えば、図２（ｄ）の場合では、それぞれの撮影空間の被写体を被写体グループとすると、一つの仮想カメラパス時刻情報に対応する撮影時刻情報の被写体グループは４種類となる。さらに、座標系調整情報は、フレーム単位ではなく、指定の撮影時刻帯単位であってもよい。例えば、図２（ｄ）の場合では、４被写体グループの撮影時刻帯それぞれにおいて座標系調整情報が変わらないのであれば、座標系調整情報の数は、Ｍ×４ではなく、４でもよい。即ち、座標系調整情報データセットは、図５のような書式であってもよい。なお、座標系調整情報フォーマットコードは、図４記載の仮想カメラパスデータヘッダにおけるデータ情報のフォーマット情報に記載してもよい。なお、被写体グループ数Ｋが１のとき、座標系調整情報がもつ情報は座標系調整データのみとしてもよい。

以下、仮想カメラパスの各データの実データが、仮想カメラパスデータヘッダ記載のフォーマットに従って記載されていく。なお、各データの先頭には、そのデータが始まることを表すスタートコードが記載される。

図６は、仮想カメラパスデータの構成の別の一例を説明するための図である。図４では、仮想カメラパラメータに含まれる各種データがフレーム単位で格納されている。フレーム単位でデータを格納する場合、各フレームデータの先頭にはフレームデータヘッダが保存され、フレームデータが始まることを表すコードや、フレームデータがどういったデータがどんな順番で格納しているかを表す情報が記載される。

各種データがフレーム単位で格納されることにより、例えば仮想カメラパスデータのうち一部のフレームを取り出して仮想視点映像の生成に使用したい場合等に、フレーム単位でデータを取り出しやすいというメリットがある。

図３は、シーケンスデータ処理装置７で出力されるシーケンスデータの書式の一例を示す図である。シーケンスデータ処理装置７は、１つの仮想視点映像を生成するための複数の仮想カメラパスデータを含むシーケンスデータを出力する。また、シーケンスデータには、仮想視点映像を生成するために使用される素材データが含まれる。例えば、シーケンスはビデオクリップや撮影のカットごとに生成される。このように、仮想カメラパスデータと素材データとが含まれる構成により、シーケンスデータを受け取った装置側で、仮想視点映像を生成することができる。

各シーケンスにはシーケンスヘッダが含まれており、シーケンスヘッダには、対応する素材シーケンスデータを特定できる情報が保存される。例えば、素材シーケンスデータを一意に特定可能な素材データに関するシーケンスヘッダスタートコードや、被写体を撮影した場所と年月日に関する情報や、素材シーケンスデータの所在を表すパス情報、等が保存されるがこれに限定されない。また、シーケンスヘッダには、上述した仮想カメラパスデータを含むことを示す情報が含まれる。例えば、シーケンスヘッダに含まれるデータセットを示す情報や、仮想カメラパスデータの存在の有無を表す情報であっても良い。

続いて、仮想カメラパスのシーケンスデータ全体に関する情報が保存される。例えば、仮想カメラパスの作成者の情報、権利者情報、シーケンスの名称、被写体を撮影したイベント名や、撮影時のカメラフレームレート等が仮想カメラパスシーケンス説明情報に含まれうる。また例えば、仮想カメラカメラパスが基準としている時刻情報、仮想視点映像のレンダリング時に想定されている画像サイズや背景データ情報等が仮想カメラパスシーケンス説明情報に含まれうる。ただし、これらの全ての情報が含まれる必要はなく、任意の情報が含まれてよい。

シーケンスにはそれぞれの仮想カメラパスデータがデータセット単位で保存される。シーケンスヘッダには、そのデータセット数Ｎが記される。以下、データセット単位の情報が保存される。本実施形態では、仮想カメラパスデータと素材データの２つのデータセットが含まれている。データセット単位の情報では、最初にデータセットの識別ＩＤが付与される。識別ＩＤは全データセットで唯一のＩＤが付与される。続いて、データセットの種別コードが保存される。本実施形態では、データセットとして、仮想カメラパスデータを表すデータセットと、素材データを表すデータがあるものとする。なお、それぞれをデータセット種別コードとして表現することにする。データセット種別コードは図２に示す２バイトのコードとして表現されている。ただし、データの種別やコードはこれに限定されない。仮想視点映像を生成する際に用いる他のデータでも構わない。続いて、データセットへのポインタが保存される。ただし、各データセットへのアクセスのための情報であれば良く、ポインタに限定されない。例えば、記憶装置４で構築されているファイルシステムにおける、ファイル名としても構わない。

なお、シーケンスデータ処理装置７は、仮想カメラパスデータのみ、又は素材データのみが含まれるシーケンスデータを生成してもよい。シーケンスデータが生成されることにより、ビデオクリップなどの一つの仮想視点映像の生成に使用されるデータをまとめて一つのデータとして管理することができる。

以上説明したフォーマットに従い、仮想カメラの位置及び姿勢を変更するための座標系調整情報と、仮想視点映像を構成するフレームに対応する複数の仮想カメラパラメータとが含まれるデータが生成される。なお、上述したフォーマットは一例であり、構成や含まれる情報は上記に限定されない。

＜処理フロー＞
本実施形態における仮想カメラパスデータ生成処理装置１の動作について、図７のフローチャートを用いて説明する。図７に示す処理は、ＣＰＵ１２０１がＲＯＭ１２０２または外部記憶装置１２０６に記憶されたプログラムを読み出して実行することにより実現される。仮想カメラ操作装置６から、仮想カメラパスデータの生成の指示等を受けることにより、処理が開始される。

ステップＳ７０１において、仮想カメラパスデータ生成部１０３は、仮想カメラパスデータを生成するためのヘッダ情報を生成し、仮想カメラパスデータのヘッダとする。ステップＳ７０２において、仮想カメラ情報取得部１０１および座標系調整情報取得部１０２は、仮想カメラ操作装置６から仮想カメラパスの各データ情報、すなわち仮想カメラパス時刻情報、撮影時刻情報、カメラパラメータ情報、座標系調整情報を取得する。また、仮想カメラパスデータ生成部１０３は、各データのヘッダを生成する。

ステップＳ７０３において、仮想カメラパス開始時点からフレーム単位でデータの格納を繰り返す。ステップＳ７０４において、仮想カメラパスデータ生成部１０３は、仮想カメラ情報取得部１０１で取得した仮想カメラ情報に対して、座標系調整情報取得部１０２で取得した座標系調整情報を格納した仮想カメラパスデータを生成する。ステップＳ７０５において、仮想カメラパスが終了するか、フレーム単位での入力が終了するまでステップＳ７０３からステップＳ７０４までを繰り返す。ステップＳ７０６において、仮想カメラパスデータ出力部１０４は、仮想カメラパスデータ生成部１０３で生成した仮想カメラパスデータに対して、ヘッダ情報などを格納し、最終的な仮想カメラパスデータとして出力する。

なお、一度にやり取りするデータは、フレーム単位でもよいし、複数フレーム単位や仮想カメラパス単位でまとまっていてもよい。例えば、仮想カメラ情報取得部１０１は、仮想カメラ情報をフレーム単位や複数フレーム単位で受け取ってもよい。また、複数フレーム単位で処理をまとめて行う場合、被写体モデル毎の座標系調整情報を、座標系調整情報データセットに被写体単位でまとめて記載してもよい。

以上の処理により、被写体モデルの位置の変更を考慮した仮想視点映像を生成可能な仮想カメラパスデータの生成が可能となる。

（実施形態２）
本実施形態では、第１実施形態における仮想カメラパスデータ処理装置１で生成された仮想カメラパスデータを基に、仮想視点映像を生成する処理を行う例を述べる。

＜システム構成、及び、仮想視点映像生成装置の機能構成＞
図８は、本実施形態における仮想視点映像生成装置を含むシステムの構成例を示す図である。仮想視点映像生成装置８００は、仮想カメラパスデータ処理装置１と記憶装置４とに接続されている。仮想カメラパスデータ処理装置１および記憶装置４の構成は実施形態１と同様である。以下、実施形態１と同じ構成については説明を省略する。また、仮想視点映像生成装置８００のハードウェア構成は、図１０に表すハードウェア構成と同様であるものとする。なお、仮想視点映像生成装置８００は、実施形態１における情報処理システム１０に含まれてもよい。

仮想視点映像生成装置８００は、仮想カメラパスデータ取得部８０１、仮想カメラ情報取得部８０２、素材データ管理部８０３、座標系調整情報取得部８０４、カメラパラメータ情報調整部８０５、仮想視点映像生成部８０６、仮想視点映像出力部８０７を有する。本実施形態における仮想視点映像生成装置８００は、仮想カメラパスデータ処理装置１から仮想カメラパスデータを取得し、取得した仮想カメラパスデータに基づいて仮想視点映像を生成する。以下、各処理部について説明する。

仮想カメラパスデータ取得部８０１は、仮想カメラパスデータ処理装置１から出力された仮想カメラパスデータを取得する。なお、仮想カメラパスデータ取得部８０１は、仮想カメラパスデータ処理装置１で出力される仮想カメラパスデータを、データファイルとして取得してもよいし、パケットデータとして取得してもよい。なお、仮想カメラパスデータ取得部８０１は、仮想カメラパスデータを、フレーム単位で取得してもよいし、一定フレーム数単位で取得してもよいし、一つあるいは複数の仮想カメラパスデータセット単位で取得してもよい。複数の仮想カメラパスデータセットを取得した場合は、後述する仮想視点映像出力部８０７にて、それぞれの仮想カメラパスデータセットに対応する仮想視点映像を区別して出力することができる。それぞれの仮想カメラパスデータセットは、各仮想カメラパスデータセットヘッダに記載の識別ＩＤによって区別できる。なお、後述する仮想視点映像出力部８０７は、仮想カメラパスデータセットに記載される識別ＩＤを、出力する仮想視点映像のメタデータに付与する処理を行ってもよい。

仮想カメラ情報取得部８０２は、仮想カメラパスデータ取得部８０１で取得した仮想カメラパスデータから、仮想カメラのカメラパラメータを取得する。また、仮想カメラ情報取得部８０２は、仮想カメラパスデータに含まれる、仮想カメラパス時刻情報に対応する撮影時刻情報を取得する。なお、これに限定されず、仮想広告などのある付加情報を付加するための指示情報やレンダリング対象の情報も取得してもよい。

素材データ管理部８０３は、仮想カメラ情報取得部８０２で取得した撮影時刻情報に対応する素材データを、記憶装置４から取得する。実施形態１で説明したように、素材データには撮影時刻情報が関連付けられているため、素材データ管理部８０３は、素材データに関連付けられた撮影時刻情報を参照することにより、素材データを取得することができる。なお、素材データ管理部８０３は、取得した素材データと仮想カメラパスデータセットおよび仮想カメラパス時刻情報との対応を保持する。

なお、素材データ管理部８０３により取得される素材データは、仮想視点映像生成部８０６において仮想視点映像を生成する方法に基づき、必要な素材データが取得される。例えば、前景モデルや背景モデルに基づく生成方法であれば、前景や背景の点群モデルデータまたはメッシュモデルデータや、それに対応するテクスチャ画像やテクスチャを生成するための撮影画像とカメラキャリブレーションデータが取得される。前景モデルや背景モデルを用いない生成方法の場合は、撮影画像やカメラキャリブレーションデータなどが取得される。

座標系調整情報取得部８０４は、仮想カメラパスデータ取得部８０１で取得した仮想カメラパスデータから、仮想カメラの座標系を調整するための座標系調整情報を取得する。カメラパラメータ情報調整部８０５は、座標系調整情報取得部８０４で取得した座標系調整情報を基に、仮想カメラパラメータを変更する。

仮想視点映像生成部８０６は、カメラパラメータ情報調整部８０５で変更された仮想カメラパラメータと、被写体データ管理部８０３で取得した素材データを用いて、仮想視点映像を生成する。なお、仮想カメラパラメータと素材データは、それぞれ対応するものを用いる。対応する仮想カメラパラメータと素材データは、例えば同一の仮想カメラパス時刻情報を参照することで特定される。

ここで、仮想カメラパスデータに基づいて仮想視点映像を生成する方法の一例について説明する。まず、カメラパラメータ情報調整部８０５は、各撮影時刻情報に対応する座標系調整情報に基づいて、仮想カメラパラメータを変更（調整）する。また、仮想視点映像生成部８０６は、座標系調整済みの仮想カメラパラメータに基づいて、それぞれの撮影時刻情報に対応する素材データを使用して、独立に仮想視点映像を生成する。このとき、各仮想視点映像について仮想カメラから被写体モデルまでの距離を表す距離画像も合わせて生成する。そして、仮想視点映像生成部８０６は、独立に生成された複数の仮想視点映像と、合わせて生成された距離画像とに基づいて、仮想カメラの位置との距離がより近い被写体モデルが手前に映るように、複数の仮想視点映像を合成する。

図１１に示す仮想カメラパスデータを例に説明する。仮想カメラパス時刻情報０について、カメラパラメータ情報調整部８０５は、４つの撮影時刻情報のそれぞれに対応する座標系調整情報に基づいて、仮想カメラパラメータＰ０を調整する。また、仮想視点映像生成部８０６は、座標系調整済みの４つの仮想カメラパラメータと、撮影時刻０、１０００、２０００、３０００のそれぞれに対応する素材データを使用して、４つの仮想視点映像を生成する。このとき、各仮想視点映像について仮想カメラから被写体モデルまでの距離を表す距離画像も合わせて生成する。仮想視点映像生成部８０６は、生成された４つの仮想視点映像と、合わせて生成された距離画像とに基づいて、仮想カメラの位置との距離がより近い被写体モデルが手前に映るように、４つの仮想視点映像を合成する。これにより、同一の仮想カメラパス時刻情報０に対応する４つの仮想視点映像が合成され、１つの仮想視点映像のフレームが生成される。同様の処理を、他の仮想カメラパス時刻情報に対応するフレームに対しても行うことにより、最終的に１００フレームの仮想視点映像が生成される。

以上の処理を行うことで一枚の仮想視点映像を生成できる。なお、前述の生成方法では、それぞれの撮影時刻情報について独立に仮想視点映像を生成してから合成処理をしたが、それに限らない。例えば、各撮影時刻情報に基づく仮想視点映像を順番に生成していき、順に仮想カメラから被写体モデルまでの距離に応じて上書きしていってもよい。なお、仮想視点映像を生成する際の色付け方法として、仮想カメラ情報を基にした色付けを前提としており、その方が高画質な画を得られるが、一般的なテクスチャマッピングなどのその他の方法でもよい。

仮想視点映像出力部８０７は、仮想視点映像生成部８０６から仮想視点映像を取得し、仮想視点映像をディスプレイなどの表示デバイスを用いて出力する。なお、仮想視点映像出力部８０７は、仮想視点映像生成部８０６から取得した仮想視点映像を、画像のデータファイルやパケットデータとして出力してもよい。

＜処理フロー＞
上記の構成での仮想視点映像生成装置の動作について、図９のフローチャートを用いて説明する。仮想視点映像生成装置８００が仮想カメラパスデータを取得することにより、処理が開始される。ステップＳ９００において、仮想カメラパスデータからカメラパスデータヘッダを読み込む。ヘッダ情報に基づいて、処理に必要なメモリの確保等を行う。続いて、各データ情報を読み込み、各情報のヘッダ及びデータのアクセス情報を取得する。

ステップＳ９０１において、仮想視点映像生成装置８００は、仮想カメラパス開始からフレーム単位で入力されるデータの取得を繰り返す。ステップＳ９０２において、仮想カメラパスデータ取得部８０１は、仮想カメラパスデータ処理装置１からステップＳ９０１で入力されたフレームに対応する仮想カメラパス時刻情報、撮影時刻情報、カメラパラメータ情報、座標系調整情報を取得する。ステップＳ９０３において、仮想カメラ情報取得部８０２は、仮想カメラパスデータ取得部８０１あるいはカメラパラメータヘッダに基づき、当該フレームの仮想カメラ情報、つまりカメラパラメータ情報を取得する。また、仮想カメラ情報取得部８０２は、撮影時刻情報ヘッダに基づき、当該フレームの撮影時刻情報を取得する。これらの情報のデータサイズは固定長であるため、先頭からのフレーム数で読み込むデータの先頭の位置が指定できる。

ステップＳ９０４において、被写体データ管理部８０３は、仮想カメラ情報取得部８０２で取得した撮影時刻情報に対応する素材データを記憶装置４から取得する。記憶装置４に格納されている被写体データから当該撮影時刻に基づいて素材データを選択する。

ステップＳ９０５において、座標系調整情報取得部８０４は、仮想カメラパスデータ取得部８０１から座標系調整情報ヘッダに基づき、当該フレームの座標系調整情報を取得する。ステップＳ９０６において、カメラパラメータ情報調整部８０５は、仮想カメラ情報取得部で取得した仮想カメラパラメータを、座標系調整情報取得部８０４で取得した座標系調整情報を基に、カメラパラメータ情報を調整する。具体的に、図２で示した例を用いてカメラパラメータ情報調整方法を説明する。例えば、仮想カメラ情報取得部で取得したあるフレームのカメラパラメータ情報を、仮想カメラ２３０２の仮想カメラパラメータとする。このとき、座標系調整情報取得部８０４で取得した座標系調整情報は、変化量２４０５に相当する。図２の例では、被写体モデルは向きの変更はされておらず、変化量２４０５だけ並行移動して配置されている。したがって、カメラパラメータ情報の調整は、カメラパラメータ情報における位置座標を変化量２４０５だけ引くことで行われる。

ステップＳ９０７において、仮想視点映像生成部８０４は、被写体データ管理部８０３で取得した被写体データおよびにステップＳ９０６で調整したカメラパラメータ情報に基づき、仮想視点映像を生成する。ステップＳ９０８において、仮想視点映像出力部６０５は、仮想視点映像生成部６０４で生成した仮想視点映像を、ディスプレイなどの表示デバイスを用いて出力、あるいはデータファイルやパケットデータとして出力する。ステップＳ９０９において、仮想カメラパスが終了するか、フレーム単位での入力が終了するまでステップＳ９０１からステップＳ９０８までを繰り返す。

図１０は各部の通信の状況を示した図である。最初に仮想カメラパスデータ処理装置１が起動され、仮想視点映像生成装置８００に対し、仮想視点映像を生成の開始を通達する。ここで、図８には図示していないが、ＣＰＵなどで構成される仮想視点映像生成装置を制御する制御部が、仮想カメラパスデータ取得部８０１および各部に仮想視点映像を生成の開始を通達し、各部はその準備を行う。続いて、仮想カメラパスデータ処理装置１は、仮想カメラパスデータ取得部８０１に対して、仮想カメラパスデータを送信する。仮想カメラパスデータ取得部８０１は、送られた仮想カメラパスデータのヘッダを解釈した仮想カメラパスデータにおける仮想カメラ情報と撮影時刻情報とを仮想カメラ情報取得部８０２に送り、座標系調整情報を座標系調整情報取得部８０４に送る。

仮想カメラ情報取得部８０２は、撮影時刻情報を被写体データ管理部８０３に送り、カメラパラメータ情報をカメラパラメータ情報調整部８０５へ送る。また、座標系調整情報取得部８０４は、取得した座標系調整情報をカメラパラメータ情報調整部８０５へ送る。被写体データ管理部８０３は、入力された撮影時刻情報に対応する素材データを記憶装置４から取得し、取得した素材データを仮想視点映像生成部８０６へ送る。カメラパラメータ情報調整部８０５は、取得した座標系調整情報と仮想カメラパラメータとを基に、仮想カメラパラメータを調整し、調整した仮想カメラパラメータを仮想視点映像生成部８０６へ送る。仮想視点映像生成部８０６は、取得した被写体データおよび調整済みカメラパラメータ情報に基づいて、仮想視点映像をレンダリングする。

仮想視点映像生成部８０６は、レンダリングが終わり次第、生成した仮想視点映像を仮想視点映像出力部８０７へ送り、次に生成する仮想視点映像のフレームに関する情報を要求する。以下、次のフレームの処理をするために、仮想カメラパスデータの取得、仮想カメラパスデータに対応する素材データの取得および仮想カメラパラメータの取得と調整、仮想視点映像の生成および出力が繰り返される。仮想カメラパスデータ処理装置１から送信終了が仮想視点映像生成装置を制御する制御部に送信されると、全ての処理を終了する。

なお、本実施形態では処理をシーケンシャルな流れとしてフローチャートに示したが、これに限定されない。例えば、複数の仮想カメラパスデータについて出力を並行して実施しても構わない。

なお、一度にやり取りするデータは、フレーム単位でもよいし、複数フレーム単位でまとめておこなってもよい。例えば、仮想カメラパスデータ取得部８０１は、受信する仮想カメラパスデータを複数フレーム単位で受け取ってもよい。この場合は、例えば、受信したフレーム分の仮想カメラパスデータを仮想カメラパスデータ取得部８０１で記憶しておき、記憶した仮想カメラパスデータの情報をフレーム単位で順次送信してもよいし、複数フレーム単位で送信してもよい。また、仮想視点映像生成部８０６に送られる仮想カメラパラメータと被写体データの送信順序はこれに限らず、順序が逆転してもよいし、同時に送ってもよい。

以上説明したように、仮想カメラパラメータと、座標系調整情報とが含まれる仮想カメラパスデータを使用することにより、被写体の３次元形状データの位置を変更した場合においても、適切な仮想視点映像を生成することができる。なお、本実施形態においては、仮想視点映像生成装置８００は仮想カメラパスデータ処理装置１から直接仮想カメラパスデータを取得する構成としたが、これに限定されない。仮想視点映像生成装置８００は、例えば、記憶装置４や他の記憶装置に保存された仮想カメラパスデータを取得する構成でもよい。また例えば、仮想視点映像生成装置８００は、実施形態１におけるシーケンスデータ生成装置７により生成されるシーケンスデータを使用して仮想視点映像を生成してもよい。このとき、シーケンスデータに素材データが含まれていれば、仮想視点映像生成装置８００は、記憶装置４に記憶される素材データを参照することなく、仮想視点映像を生成することが可能である。

（その他の実施形態）
上述した実施形態においては、仮想視点映像における被写体の位置及び向きの少なくともいずれかを変更するための変更情報として座標系調整情報を使用し、仮想カメラパラメータを変更させることについて説明したが、これに限定されない。上述の実施形態では被写体モデルの色情報を、仮想カメラパラメータに応じた撮像画像の画素値に基づいて取得し、仮想視点映像をレンダリングする方法を使用した場合について説明した。しかしながら、仮想視点映像の生成に使用される被写体モデルとしては、すでに色が付けられた（固定色の）被写体モデルが使用される場合もありうる。色が付けられた被写体モデルは、例えば色付きの点群モデルデータ及びメッシュモデルデータ、並びに固定色のテクスチャデータを有するデータでありうる。色が付けられた被写体モデルを使用する場合は、仮想カメラと色付けに使用される撮像画像との関係を考量する必要がない。したがって、この場合は被写体モデルの位置及び向きを、撮影時からどれだけ変更させるかを表す情報を仮想カメラパラメータと関連付けた仮想カメラパスデータを生成する。これにより、被写体モデルの位置及び向きが変更された仮想視点映像を生成することが可能となる。また、上述の変更情報は、撮影時の被写体の位置及び向きからどれだけ変更させるかを表す情報であるとしたが、これに限定されない。例えば、仮想カメラパスデータにおける複数のフレームのうち、基準となるフレームにおける被写体の位置及び向きからの変更量を表す情報であってもよい。

また例えば、仮想カメラパスデータに含まれる情報は、仮想視点映像における被写体の位置及び向きを表す情報、すなわち、モデル操作装置５において生成される配置情報そのものであってもよい。この場合は、仮想カメラパスデータは、配置情報である被写体の位置及び向きの情報と、仮想カメラパラメータとが関連付けられたデータとなる。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置又は装置に供給し、その装置又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 仮想カメラパスデータ処理装置
１０１ 仮想カメラ情報取得部
１０２ 座標系調整情報取得部
１０４ 仮想カメラパスデータ出力部

Claims (19)

1. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成するフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータを取得する取得手段と、
   前記仮想視点映像における前記被写体の位置及び向きを特定する特定手段と、
   前記取得手段により取得される前記パラメータと、前記特定手段により特定される前記被写体の位置及び向きに基づく所定の情報とが関連付けられた仮想視点データを出力する出力手段と
   を有することを特徴とする情報処理装置。
2. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成するフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記仮想視点映像における前記被写体の位置及び向きに基づく所定の情報とが関連付けられた仮想視点データを取得する取得手段と、
   前記仮想視点データに基づいて、前記仮想視点映像を生成する生成手段と
   を有することを特徴とする情報処理装置。
3. 前記所定の情報は、前記仮想視点映像における前記被写体の位置及び向きを表す情報であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記所定の情報は、前記仮想視点映像における前記被写体の位置及び向きの少なくともいずれかを、前記複数の撮影装置による撮影時における前記被写体の位置及び向きから変更させるための情報を含むことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記所定の情報は、前記仮想視点映像における前記被写体の位置及び向きに基づいて、前記パラメータを変更させるための情報を含むことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記仮想視点映像は、前記所定の情報に基づいて変更された前記パラメータに基づいて生成されることを特徴とする請求項５に記載の情報処理装置。
7. 前記所定の情報は、前記仮想視点映像における前記被写体の位置に基づいて仮想視点の位置が変更されるように前記パラメータを変更させるための情報を含むことを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記所定の情報は、前記仮想視点映像における前記被写体の向きに基づいて仮想視点からの視線方向が変更されるように前記パラメータを変更させるための情報を含むことを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
9. 前記仮想視点映像における前記被写体の位置及び向きは、前記仮想視点映像を生成するための座標系における前記被写体を表すデータの位置及び向きであり、
   前記座標系は、前記複数の撮影装置により撮影される撮影空間に対応する座標系とは異なる
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記パラメータは、前記仮想視点映像を生成するための座標系における仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータであることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記仮想視点映像を生成するための座標系は、前記仮想視点映像における背景に対応する座標系であることを特徴とする請求項９に記載の情報処理装置。
12. 前記仮想視点データは、複数の前記パラメータと、複数の前記所定の情報が関連付けられたデータであり、
    複数の前記所定の情報は、同一の前記フレームと関連付けられる
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記仮想視点データは、前記被写体が撮影された時刻を特定するための時刻情報が更に関連付けられたデータであることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記仮想視点映像は、前記複数の撮影画像に基づいて生成される素材データであって、前記被写体の３次元形状を表す３次元形状データ、及び、前記被写体の色を表すテクスチャデータを含む素材データに基づいて生成されることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記仮想視点データは、前記パラメータと前記所定の情報とを含むファイルであることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記仮想視点映像における前記被写体の位置及び向きは、ユーザ操作に基づいて特定されることを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。
17. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成するフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータを取得する取得工程と、
    前記仮想視点映像における被写体の位置及び向きを特定する特定工程と、
    前記取得工程において取得される前記パラメータと、前記特定工程において特定される前記被写体の位置及び向きに基づく所定の情報とが関連付けられた仮想視点データを出力する出力工程と
    を有することを特徴とする情報処理方法。
18. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成するフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記仮想視点映像における前記被写体の位置及び向きに基づく所定の情報とが関連付けられた仮想視点データを取得する取得工程と、
    前記仮想視点データに基づいて、前記仮想視点映像を生成する生成手段と
    を有することを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１６のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
    

Images