JP2022169176A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】 所望の被写体の状態を含む仮想視点映像を容易に生成できるようにするための情報を出力可能にする。【解決手段】 仮想カメラパスデータ処理装置１は、複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成する動画のフレームに対応し、仮想視点の位置及び仮想視点からの視線方向を表すパラメータを取得する仮想カメラ情報取得部１０１と、被写体が撮影された時刻を特定するための時刻情報を取得する撮影時刻情報取得部１０２と、取得される複数のパラメータと、取得される時刻情報とが関連付けられた仮想視点データを出力する仮想カメラパスデータ出力部とを有する。【選択図】 図１

Description

本開示は、仮想視点映像を生成する技術に関するものである。

近年、撮影領域の周囲に複数の撮影装置を配置して撮影を行い、それぞれの撮影装置から取得された複数の撮影画像を用いて、指定された視点（仮想視点）から見た映像（仮想視点映像）を生成する技術が注目されている。仮想視点映像を生成する技術によれば、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができ、従来の撮影画像と比較してユーザに高臨場感を与えることができる。特許文献１では、デバイスやＵＩ画面を操作して仮想視点を決定する技術が示されている。

特開２０１７－２１２５９２号公報

実世界の被写体を撮影して得られる撮影画像を使用して仮想視点映像を生成する技術においては、仮想視点映像中における被写体の動きは撮影時における実際の被写体の動きに即したものとなる。したがって、例えば被写体の動きを止める、あるいは逆再生する等、実際に撮影された被写体の状態とは異なる状態を含む仮想視点映像を生成する場合に、特許文献１に記載の方法で生成される仮想視点のデータでは所望の仮想視点映像が生成されない可能性がある。

本開示は上記課題を鑑みてなされたものであり、所望の被写体の状態を含む仮想視点映像を容易に生成できるようにするための情報を出力可能にすることを目的とする。

本開示に係る情報処理装置は、複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成する動画のフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータを取得する第１の取得手段と、前記被写体が撮影された時刻を特定するための時刻情報を取得する第２の取得手段と、前記第１の取得手段により取得される複数の前記パラメータと、前記第２の取得手段により取得される時刻情報とが関連付けられた仮想視点データを出力する出力手段とを有する。

本開示によれば、所望の被写体の状態を含む仮想視点映像を容易に生成できるようにするための情報が出力可能になる。

情報処理システムの構成を説明するための図である。 シーケンスデータの書式の一例を示す図である。 仮想カメラパスデータのフォーマットの一例を示す図である。 仮想カメラパスデータのフォーマットの一例を示す図である。 仮想カメラパスデータ生成処理装置の動作を説明するためのフローチャートである。 仮想視点映像生成装置の構成を説明するための図である。 仮想視点映像生成装置の動作を説明するためのフローチャートである。 装置間の通信状況の一例を説明するための図である。 仮想カメラパスデータの一例を示す図である。 仮想カメラパスデータ処理装置のハードウェア構成を説明するための図である。 仮想カメラパスデータの概念を説明するための図である。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。

（実施形態１）
本実施形態では、複数の撮影装置により異なる方向から撮影して取得された撮影データに基づいて仮想視点映像を生成するための、仮想カメラパスデータを生成する処理を行う例を述べる。本実施形態では、仮想視点映像を生成する際に使用される仮想視点を、仮想カメラと呼ぶ。すなわち、仮想カメラは、仮想視点の位置に仮想的に配置されるカメラであり、仮想視点の位置及び仮想視点からの視線方向が、それぞれ仮想カメラの位置及び仮想カメラの姿勢に対応する。

また、本実施形態では、仮想視点映像を生成する際の仮想カメラの移動経路及び姿勢の変化を表す情報を、仮想カメラパスデータと呼ぶ。すなわち、仮想カメラパスデータは、仮想視点の位置及び仮想視点からの視線方向のパラメータを含む仮想視点データであると言える。本実施形態における仮想カメラパスデータは、仮想カメラの３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想カメラの姿勢を表すパラメータとを含む。なお、仮想カメラパスデータの内容は上記に限定されない。例えば、仮想カメラパスデータには、仮想視点の視野の大きさ（画角）に対応するパラメータが含まれてもよい。

また、本実施形態における仮想カメラパスデータは、仮想視点映像を構成する複数の動画フレーム分のパラメータを有するものとする。すなわち、仮想カメラパスデータは、仮想視点映像の動画を構成する複数のフレームのそれぞれに仮想カメラパラメータが対応付けられた構成となっており、この構成により仮想視点映像における仮想カメラの移動経路及び姿勢の変化を表す。

また、本実施形態における仮想視点映像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば、複数の候補からユーザが選択した視点に対応する画像なども仮想視点映像に含まれる。また、仮想視点の指定は、ユーザ操作により行われてもよいし、画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では、仮想視点映像が動画である場合を中心に説明する。本実施形態において、動画とは、複数の画像（フレーム）で構成されるものとする。このため、仮想視点映像に映る被写体が静止した状態で、フレームごとに仮想カメラパラメータが変化する映像も、動画であると言える。さらに、仮想視点映像に映る被写体が静止した状態で、フレームごとの仮想カメラパラメータが変化しない映像は、映像としては静止しているように見えるが、複数のフレームを有するとして、動画として扱うことができる。

＜ハードウェア構成＞
図１０は、後述する仮想カメラパスデータ処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。カメラパスデータ処理装置１は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、操作部１００４、出力部１００５、外部記憶装置１００６、Ｉ／Ｆ１００７、バス１００８を有する。なお、以下で説明するハードウェア構成は、後述する情報処理システムにおける他の装置においても適用可能である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、後述する装置が行うものとして各処理を実行する。即ち、ＣＰＵ１００１は、後述する仮想カメラパスデータ処理装置における各処理部として機能することになる。

ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１００３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。出力部１００５は、ＣＰＵ１００１による処理結果を表示する。また出力部１００５は例えば液晶ディスプレイで構成される。

外部記憶装置１００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１００６には、ＯＳ（オペレーティングシステム）や、後述する仮想カメラパスデータ処理装置の各部の機能をＣＰＵ１００１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１００６には、処理対象としての各画像データが保存されても良い。

外部記憶装置１００６に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜、ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。Ｉ／Ｆ１００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１００７を介して様々な情報を取得したり、送出したりすることができる。１００８は上述の各部を繋ぐバスである。

なお、ハードウェア構成はこれに限定されない。例えば、操作部１００４、出力部１００５、及び外部記憶装置１００６の少なくともいずれかが、仮想カメラパスデータ処理装置１とは異なる装置として外部に接続される構成でもよい。この場合、ＣＰＵ１００１が、操作装置及び外部記憶装置からの入力を受信する受信制御部、及び表装置などの出力装置及び外部記憶装置にデータを出力する出力制御部として機能する。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した処理に対応するコンピュータプログラムのコードが格納されることになる。

＜システム構成＞
図１は、本実施形態における仮想カメラパスデータ処理装置を含む情報処理システムの構成例を示す図である。情報処理システム１０は、仮想カメラパスデータ処理装置１、撮影装置２、形状推定装置３、記憶装置４、映像生成装置５、仮想カメラ操作装置６、及び、シーケンスデータ処理装置７を有する。

仮想カメラパスデータ処理装置１は、後述する仮想カメラ操作装置６から仮想カメラの位置及び姿勢のパラメータ等を決定するための入力を受け付け、仮想カメラパスデータを生成する。仮想カメラパスデータ処理装置１の詳細については後述する。

撮影装置２は、仮想視点映像を生成するために使用される撮影画像を取得する撮影装置である。本実施形態では、複数の撮影装置を使用して得られる複数の撮影画像に基づいて仮想視点映像が生成される。なお、図１には撮影装置２のみ図示されるが、情報処理システム１０には複数の撮影装置が含まれるものとする。以下の説明では、複数の撮影装置のそれぞれを特に区別しない場合は、撮影装置２として説明する。複数の撮影装置は、異なる複数の方向から撮影領域を撮影する。撮影領域は、例えば、ラグビーまたはサッカーなどが行われる競技場、コンサート等が行われるホールや舞台、撮影スタジオなどである。複数の撮影装置は、このような撮影領域を取り囲むようにして、それぞれ異なる位置および方向に設置され、同期して撮影を行う。なお、複数の撮影装置は、撮影領域の全周にわたって設置されなくてもよく、設置場所の制限等によっては撮影領域の一部にのみ設置されていてもよい。また、複数の撮影装置の数は限定されず、例えば、撮影領域をラグビーの競技場とする場合、競技場の周囲に数十～数百台程度の撮影装置が設置されてもよい。

また、望遠カメラおよび広角カメラなどのように、画角が異なる複数の撮影装置が設置されていてもよい。例えば、望遠カメラを用いれば、高解像度にオブジェクトを撮影できるので、生成される仮想視点映像の解像度も向上する。また、例えば、広角カメラを用いれば、一台のカメラで撮影できる範囲が広いので、カメラ台数を減らすことができる。撮影装置２は、現実世界の一つの時刻情報で同期され、撮影した映像には毎フレームの画像に撮影時刻を表す時刻情報が付与される。

なお、撮影装置２は、１台のカメラで構成されていてもよいし、複数台のカメラで構成されていてもよい。さらに、撮影装置２は、カメラ以外の装置を含んでいてもよい。例えば、レーザ光等による測距装置などを含んでも構わない。

また、撮影装置２の状態が制御可能であってもよい。撮影装置の状態とは、撮影装置の位置、姿勢、焦点距離、光学中心、および歪みなどの状態のことをいう。撮影装置の位置および姿勢は、撮影装置そのもので制御されてもよいし、撮影装置の位置および姿勢を制御する雲台により制御されてもよい。

撮影装置２は、他の撮影装置と識別するための固有の識別番号を持つ。撮影装置２は、撮影して取得した画像から前景画像を抽出する機能など、他の機能を有してよく、その機能を実現するハードウェア（回路または装置など）も含んでもよい。

形状推定装置３は、撮影装置２から取得される画像データに基づいて、被写体の形状を表す形状データを生成する。本実施形態では、形状推定装置３は、被写体の３次元形状を表す３次元形状データを生成するものとする。以下、本実施形態における３次元形状データの生成方法について説明する。

まず、複数の撮像装置により異なる方向からそれぞれの撮影領域を撮影することで、複数の撮影画像が取得される。次に、複数の撮影画像から、人物またはボールなどのオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像とが取得される。ここで、前景画像とは、撮影装置により撮影されて取得された撮影画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮影を行った場合において動きのある（その位置または形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、競技が行われるフィールド内にいる選手または審判などの人物を含み、球技であれば人物に加えボールなども含み得る。また、コンサートまたはエンタテイメントなどにおいては、歌手、演奏者、パフォーマー、または司会者などが、オブジェクトの一例である。なお、背景画像などにより事前に背景を登録しているのであれば、静止したオブジェクトでも事前に登録済みである背景に存在していなければ前景領域として抽出される。

また、背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮影画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮影を行った場合において静止している、又は静止に近い状態が継続している撮影対象物を指す。このような撮影対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、またはフィールドなどである。ただし、背景は、少なくとも前景となるオブジェクトとは異なる領域であり、撮影対象物としては、オブジェクトと背景との他に、別の物体等が含まれていてもよい。撮影画像から前景画像と背景画像とを生成する処理は、形状推定装置３で行われてもよいし、撮影装置２で行われてもよい。撮影装置２で行われる場合は、撮影装置２は、前景画像と背景画像とを形状推定装置３に出力する。

形状推定装置３は、前景画像を使用して、例えば視体積交差法（ｓｈａｐｅ－ｆｒｏｍ－ｓｉｌｈｏｕｅｔｔｅ法）などの形状推定方法により、前景である被写体の３次元形状データを生成する。３次元形状データは、例えば、点群モデルデータ、ビルボードデータ、メッシュモデルデータなどである。また、形状推定装置３は、前景画像を使用して、前景である被写体の色を表し、前景の３次元形状データに色付けをするためのテクスチャデータを生成する。また、背景の３次元形状データは、予めスタジアムまたは会場などの撮影領域を事前に３次元測定しておくことにより生成される。形状推定装置３は、背景画像に基づいて、背景である被写体の色を表し、背景の３次元形状データに色付けをするためのテクスチャデータを生成する。形状推定装置３は、生成した３次元形状データとテクスチャデータとを、記憶装置４に送信する。

本実施形態における仮想視点映像は、例えば、以下のような方法で生成される。すなわち、前景の３次元形状データに対し、仮想カメラの位置及び姿勢のパラメータに応じてテクスチャデータをマッピングしレンダリングを行うことにより、仮想視点映像が生成される。背景の３次元形状データに対するレンダリングも同様に行われる。なお、仮想視点映像の生成方法はこれに限定されず、３次元形状データを用いずに、撮影画像の射影変換により仮想視点映像を生成する方法など、種々の方法を用いることができる。

なお、以下の説明において、３次元形状データやテクスチャデータ等、仮想視点映像の生成に使用されるデータを、まとめて素材データとも表記する。また、本実施形態においては、３次元形状データが生成される構成について説明したが、仮想視点映像の生成方法としてイメージベースドレンダリングが行われる場合においても、本実施形態は適用可能である。

記憶装置４は、形状推定装置３で生成された素材データを格納する装置である。例えば、半導体メモリや磁気記録装置などで構成される。記憶装置４に格納される素材データは、それぞれ、対応する撮影時刻情報と紐づいている。具体的には、素材データの生成に使用された撮影画像に関連付けられている撮影時刻情報を、素材データに関連付けることにより、素材データと撮影時刻情報との紐づけがされる。素材データに対する撮影時刻情報の関連付けは、例えば、素材データのメタデータに撮影時刻情報を付与することで行われる。なお、撮影時刻情報の付与を行う装置は特に限定されず、形状推定装置３で付与されても、記憶装置４で付与されてもよい。記憶装置４は、他の装置からのリクエストに応じて素材データを出力する。

映像生成装置５は、仮想視点映像を生成する装置である。ここで、映像生成装置５は、ユーザが仮想カメラのパラメータを指定するための操作を行う際に、操作の補助となる映像を生成するものとする。ユーザは、仮想カメラの位置及び姿勢を指定する場合、被写体と仮想カメラとの位置関係がわかるような映像を見ながら操作を行うことが想定される。したがって、映像生成装置５は、例えば記憶装置４から被写体の３次元計所データを取得し、３次元形状データを使用した映像を生成する。生成された映像は、仮想カメラ操作装置６に出力される。

仮想カメラ操作装置６は、仮想カメラの位置及び姿勢のパラメータの指定をするための操作装置である。仮想カメラ操作装置６は、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどにより構成される。なお、指定可能な仮想カメラのパラメータは、仮想カメラの位置、姿勢、画角などの情報が含まれるが、これに限定されず、他の情報が指定可能であってもよい。

本実施形態における仮想カメラ操作装置６は、ユーザにより指定された仮想カメラパラメータを映像生成装置５に送信する。映像生成装置５は、受信した仮想カメラパラメータと、記憶装置４から取得した素材データとに基づいて、仮想視点画像を生成する。仮想カメラ操作装置６は、映像生成装置５により生成された仮想視点映像を取得し、表示部に表示する。ユーザは、表示される仮想視点映像を参照しながら仮想カメラパラメータを指定し、仮想カメラパスを検討する。なお、表示される映像はユーザが仮想カメラパラメータの指定をする際の補助となる映像であればよく、例えば被写体の簡易モデルや、被写体の位置のみを示すマーカ等を使用した簡易的な映像であってもよい。また、映像を生成及び表示することなく仮想カメラパラメータが指定されてもよい。また、仮想カメラパラメータの指定に関しては、ユーザからの指定に限定されず、被写体を認識するなどして、自動的に指定されても構わない。仮想カメラ操作装置６により指定された仮想カメラパラメータは、仮想カメラパスデータ処理装置１に送信される。

また、仮想カメラ操作装置６は、ユーザ操作に応じて、映像上の被写体の撮影時刻を指定することができる。具体的には、ユーザは仮想カメラ操作装置６に表示される映像において、被写体の動きを一時停止させたり、被写体の動きを逆再生したり、早送りしたりすることが可能である。これは、撮影装置２が撮影を行った際の撮影時刻の一時停止、逆再生、早送りに相当する。撮影時刻を変更させても、仮想カメラは操作することができるため、例えば被写体の動きを一時停止した状態で、仮想カメラを動かすような仮想視点映像の生成が可能となる。このような映像では、撮影時刻と仮想視点映像上の再生時刻とは、それぞれ独立したパラメータとして扱われる。仮想カメラ操作装置６は、表示される映像に対応する撮影時刻を表す撮影時刻情報を、仮想カメラパスデータ処理装置１に送信する。

シーケンスデータ処理装置７は、仮想カメラパスデータ処理装置１から仮想カメラパスデータを取得する。また、シーケンスデータ処理装置７は、記憶装置４から仮想カメラパスデータに対応する素材データを取得する。そして、シーケンスデータ処理装置７は、取得したデータを保存または出力するためのシーケンスデータを生成する。シーケンスデータの書式に関しては、後述する。なお、素材データは必ずしも必要ではなく、仮想カメラパスデータのみのシーケンスデータが生成されてもよい。さらに、仮想カメラパスは一つのパターンだけでなく、複数のパターンの仮想カメラパスデータを含んでもよい。

以上が、本実施形態における情報処理システムの構成である。ここで、本システムで解決すべき課題について説明する。撮影画像に基づく仮想視点映像の生成においては、仮想視点の位置（仮想カメラの位置）及び仮想視点からの視線方向（仮想カメラの姿勢）が指定されることにより、被写体を仮想的な視点から見た映像が生成される。すなわち、仮想カメラの位置及び姿勢の変化を表す仮想カメラパスデータを使用することにより、仮想視点映像を生成することが可能である。

しかしながら、仮想視点映像における被写体の動きは、撮影時の被写体の動きに即したものとなる。しかしながら、例えば被写体の動きを止めたり、逆再生したりしながら仮想視点を変化させ、仮想視点映像を生成する場合、被写体の動きは撮影時の動きとは異なる動きとなる。このような場合、単純に仮想視点の位置及び仮想視点からの視線方向を指定するためのデータでは、ユーザが所望する被写体の動きを含む仮想視点映像を生成することができない場合がある。したがって、本実施形態におけるシステムでは、ユーザが所望する被写体の動きを含む仮想視点映像を生成可能な仮想カメラパスデータを生成する。

＜仮想カメラパスデータ処理装置の機能構成＞
図１を使用して、仮想カメラパスデータ処理装置１の構成について説明する。仮想カメラパスデータ処理装置１は、仮想カメラ情報取得部１０１、撮影時刻情報取得部１０２、仮想カメラパスデータ生成部１０３、仮想カメラパスデータ出力部１０４を有する。

仮想カメラ情報取得部１０１は、仮想カメラ操作装置６で指定された仮想カメラパラメータを取得する。なお、仮想カメラ情報取得部１０１は、仮想カメラ操作装置６で決定された全フレーム分の仮想カメラパラメータをまとめて取得してもよいし、仮想カメラ操作装置６が１フレーム分の仮想カメラパラメータを出力するごとに、１フレームずつ取得し続けてもよい。

撮影時刻情報取得部１０２は、仮想カメラ操作装置６で指定された被写体の撮影時刻を表す撮影時刻情報を取得する。本実施形態では、撮影時刻情報は仮想カメラパス（仮想視点映像）を構成するフレームと関連付けられる。また、仮想カメラパラメータも同様に、仮想カメラパス（仮想視点映像）を構成するフレームと関連付けられる。これにより、被写体が撮影された撮影時刻と、その撮影時刻に対する仮想カメラパラメータが関連付けられる。この関連付けにより、特定の撮影時刻に撮影された被写体を、その撮影時刻に対応する仮想カメラから見たような仮想視点映像が生成される。

本実施形態における撮影時刻情報は、ある標準時間における絶対時刻であるものとするが、これに限定されない。撮影時刻情報は、例えば、ある基準の時刻に対する相対時刻、及び、ある基準の時刻に対応する撮影画像のフレームを基準としたフレーム数などで表されてもよい。また、例えば、撮影時における所定のシーン（例えば、サッカーの前半４５分など）、又はある一試合に対応する素材データがまとまりで管理される場合、そのシーンや試合の開始タイミングを基準とした相対的な時刻が、撮影時刻情報として用いられてもよい。この場合、例えば、試合の開始時刻を０とし、撮影時刻情報は試合の開始時刻からの経過時間に基づいて特定される。

なお、撮影時刻情報は、あるフレームに対応する素材データの特定に使用される情報であるため、素材データを特定可能であれば、撮影時刻情報以外の情報が取得されてもよい。例えば、素材データを特定するための識別番号やＩＤが付与されている場合、撮影時刻情報取得部１０２は、撮影時刻情報の代わりとして、素材データの識別番号及びＩＤ等を取得する構成でもよい。なお、仮想カメラ情報取得部１０１と同様に、撮影時刻情報取得部１０２は、仮想カメラ操作装置６で決定された全フレーム分の撮影時刻情報をまとめて取得してもよいし、１フレームずつ取得し続けてもよい。

仮想カメラパスデータ生成部１０３は、仮想カメラ情報取得部１０１で取得された仮想カメラパラメータと、撮影時刻情報取得部１０２で取得された撮影時刻情報とを関連付けた仮想カメラパスデータを生成する。図１１を使用して、仮想カメラパスデータの概念について説明する。図１１（ａ）は、撮影時刻情報として絶対時刻のタイムコードが使用された仮想カメラパスデータである。カメラパスフレームは、仮想カメラパスを構成するフレーム数を表す情報である。撮影時刻情報は、被写体の撮影時刻を表す情報である。仮想カメラの位置パラメータは、仮想カメラの位置を表し、例えば３次元空間上における（ｘ，ｙ，ｚ）で表される。仮想カメラの姿勢パラメータは、仮想カメラの姿勢を表し、例えば３次元空間におけるパン、チルト、ロールを（ｐａｎ，ｔｉｌｔ，ｒｏｌｌ）のように表す。なお、仮想カメラパスデータには、仮想カメラの画角や歪みに対応するパラメータが含まれてもよい。

このフォーマットにより、例えばカメラパスフレーム０に対応する撮影時刻に対応する素材データと、その撮影時刻に対応する仮想カメラパラメータを使用することで、カメラパスフレーム０の仮想視点映像を生成することができる。同様に、他のカメラパスフレームの仮想視点映像を生成し、フレーム順に再生することで、仮想視点映像の動画を生成することができる。図１１（ｂ）は、撮影時刻情報として、素材データを特定するためのフレーム番号が使用される例である。仮想視点映像の生成においては、図１１（ａ）に示すフォーマットと同様に使用することができる。以上説明した仮想カメラパスデータの詳細な書式については、後述する。

図１に戻り、仮想カメラパスデータ出力部１０４は、仮想カメラパスデータ生成部１０３で生成された仮想カメラパスデータに対して、ヘッダ情報などを付与する処理を行い出力する。なお、仮想カメラパスデータは、データファイルとして出力されてもよいし、パケットデータとして出力されてもよい。さらに、仮想カメラパスデータは、フレーム単位で出力されてもよいし、仮想カメラパス全体あるいは一定フレーム数ごとに出力されてもよい。

＜仮想カメラパスデータのフォーマット＞
図３を使用して、仮想カメラパスデータ処理装置１により生成される仮想カメラパスデータのフォーマットの一例を示す。図３に示す仮想カメラパスデータは、所定のフレーム数分の仮想カメラパラメータを有するデータセットの例である。データセットの先頭には、仮想カメラパスデータヘッダが保存されるが、ヘッダには本データセットが仮想カメラパスデータのデータセットであること、データセットのデータサイズが保存されている。続いて、格納されている仮想カメラパスデータのフレーム数Ｍが記載される。そして、仮想カメラパスデータのフォーマットの情報が記載される。これは、仮想カメラパスデータがどのように格納されているかの書式を表す情報であり、仮想カメラパスに関するデータが種別単位で格納されているか、フレーム単位で格納されているか、などを示す情報である。図３はデータが種別単位で格納されている場合の例である。続いて、仮想カメラパスデータヘッダには、そのデータの数がＬとして記載される。以下、各データの情報が保存される。本実施形態では、仮想カメラパス時刻情報と、撮影時刻情報と、カメラパラメータ情報との３つのデータが含まれている。なお、仮想カメラパス時刻情報とは、仮想カメラパスにおけるフレームを表す情報であり、上述した図１１におけるカメラパスフレームに相当する。すなわち、仮想カメラパス時刻情報は、仮想カメラパスにおけるフレームを区別可能な任意の情報で表される。

仮想カメラパスのデータ単位の情報では、最初にデータの種別コードが保存される。本実施形態では、データセットとして、仮想カメラパス時刻情報と、撮影時刻情報と、カメラパラメータ情報と、仮想広告表示指示情報があるものとする。なお、それぞれを仮想カメラパスデータ種別コードとして表現することにする。仮想カメラパスデータ種別コードは図３に示すように１バイトのコードとして表されるものとする。ただし、データの種別やコードはこれに限定されず、記載する情報に応じて、例えば２バイトより長いコードであってもよいし、２バイトより短いコードでもよい。仮想視点映像生成する際に用いる他のデータでも構わない。また、仮想広告表示指示情報は、仮想カメラパスデータを使用して生成される仮想視点映像に、付加情報として仮想広告を表示させるための指示情報である。仮想広告は付加情報の一例であり、仮想広告の他にも例えば被写体に関する情報やエフェクトなどの任意の付加情報を付加するための指示情報が仮想カメラパスデータに記載されてもよい。

続いて、各データへのアクセス情報（ポインタ）が保存される。そして、撮影時刻情報やカメラパラメータ情報などのデータに関するフォーマット情報が記載される。例えば、仮想カメラパス時刻情報のフォーマットは、先頭を基準としたときの相対時刻か、相対フレーム番号か、などを示す。また、撮影時刻情報のフォーマットは、実際に被写体を撮影した際のある標準時（例えば、グリニッジ標準時や日本標準時）に基づく絶対時刻、ある基準時刻に対する相対時刻、基準フレームに対する相対フレーム数等を使用するフォーマットでありうる。あるいは撮影時刻情報以外の情報が使用されるフォーマットであってもよく、例えば素材データへのファイルパスあるいはポインタなどが使用されてもよい。なお、撮影時刻情報として、基準時に対する相対時刻あるいは相対フレーム数を記述する場合、シーケンスヘッダ中の仮想カメラパスシーケンス説明において、仮想カメラパスの基準時刻情報を記載される。この基準時刻情報は、ある標準時に基づく絶対時刻や、あるコンテンツ内の管理時刻（例えば、所定の試合の開始時刻など）に基づく絶対時刻などとして保存される。具体的には、例えば、年月日時分秒を整数で表し、小数点以下の時刻を浮動小数点や、固定小数点、整数などで表しても良い。

仮想カメラパラメータのフォーマットは、例えば、仮想カメラの位置や姿勢などを表す値がクォータニオンで表記される。なお、仮想カメラパラメータの表記方法はこれに限定されない。以下、仮想カメラパスの各データの実データが、仮想カメラパスデータヘッダ記載のフォーマットに従って記載されていく。なお、各データの先頭には、そのデータが始まることを表すスタートコードが記載される。

図４は、仮想カメラパスデータの構成の別の一例を説明するための図である。図４では、仮想カメラパラメータに含まれる各種データがフレーム単位で格納されている。フレーム単位でデータを格納する場合、各フレームデータの先頭にはフレームデータヘッダが保存され、フレームデータが始まることを表すコードや、フレームデータがどういったデータがどんな順番で格納しているかを表す情報が記載される。

各種データがフレーム単位で格納されることにより、例えば仮想カメラパスデータのうち一部のフレームを取り出して仮想視点映像の生成に使用したい場合等に、フレーム単位でデータを取り出しやすいというメリットがある。

図２は、シーケンスデータ処理装置７で出力されるシーケンスデータの書式の一例を示す図である。シーケンスデータ処理装置７は、１つの仮想視点映像を生成するための複数の仮想カメラパスデータを含むシーケンスデータを出力する。また、シーケンスデータには、仮想視点映像を生成するために使用される素材データが含まれる。例えば、シーケンスはビデオクリップや撮影のカットごとに生成される。このように、仮想カメラパスデータと素材データとが含まれる構成により、シーケンスデータを受け取った装置側で、仮想視点映像を生成することができる。

各シーケンスにはシーケンスヘッダが含まれており、シーケンスヘッダには、対応する素材シーケンスデータを特定できる情報が保存される。例えば、素材シーケンスデータを一意に特定可能な素材データに関するシーケンスヘッダスタートコードや、被写体を撮影した場所と年月日に関する情報や、素材シーケンスデータの所在を表すパス情報、等が保存されるがこれに限定されない。また、シーケンスヘッダには、上述した仮想カメラパスデータを含むことを示す情報が含まれる。例えば、シーケンスヘッダに含まれるデータセットを示す情報や、仮想カメラパスデータの存在の有無を表す情報であっても良い。

続いて、仮想カメラパスのシーケンスデータ全体に関する情報が保存される。例えば、仮想カメラパスの作成者の情報、権利者情報、シーケンスの名称、被写体を撮影したイベント名や、撮影時のカメラフレームレート等が仮想カメラパスシーケンス説明情報に含まれうる。また例えば、仮想カメラカメラパスが基準としている時刻情報、仮想視点映像のレンダリング時に想定されている画像サイズや背景データ情報等が仮想カメラパスシーケンス説明情報に含まれうる。ただし、これらの全ての情報が含まれる必要はなく、任意の情報が含まれてよい。

シーケンスにはそれぞれの仮想カメラパスデータがデータセット単位で保存される。シーケンスヘッダには、そのデータセット数Ｎが記される。以下、データセット単位の情報が保存される。本実施形態では、仮想カメラパスデータと素材データの２つのデータセットが含まれている。データセット単位の情報では、最初にデータセットの識別ＩＤが付与される。識別ＩＤは全データセットで唯一のＩＤが付与される。続いて、データセットの種別コードが保存される。本実施形態では、データセットとして、仮想カメラパスデータを表すデータセットと、素材データを表すデータがあるものとする。なお、それぞれをデータセット種別コードとして表現することにする。データセット種別コードは図２に示す２バイトのコードとして表現されている。ただし、データの種別やコードはこれに限定されない。仮想視点映像を生成する際に用いる他のデータでも構わない。続いて、データセットへのポインタが保存される。ただし、各データセットへのアクセスのための情報であれば良く、ポインタに限定されない。例えば、記憶装置４で構築されているファイルシステムにおける、ファイル名としても構わない。

なお、シーケンスデータ処理装置７は、仮想カメラパスデータのみ、又は素材データのみが含まれるシーケンスデータを生成してもよい。シーケンスデータが生成されることにより、ビデオクリップなどの一つの仮想視点映像の生成に使用されるデータをまとめて一つのデータとして管理することができる。

以上説明したフォーマットに従い、被写体が撮影された時刻を特定するための時刻情報と、仮想視点映像を構成するフレームに対応する複数の仮想カメラパラメータとが含まれるデータが生成される。なお、上述したフォーマットは一例であり、構成や含まれる情報は上記に限定されない。

＜処理フロー＞
本実施形態における仮想カメラパスデータ生成処理装置１の動作について、図５のフローチャートを用いて説明する。図５に示す処理は、ＣＰＵ１００１がＲＯＭ１００２または外部記憶装置１００６に記憶されたプログラムを読み出して実行することにより実現される。仮想カメラ操作装置６から仮想カメラパラメータを受信すると、処理が開始される。

ステップＳ５０１において、仮想カメラ情報取得部１０１は、仮想カメラ操作装置６により指定される仮想カメラパスのフレームごとに処理を繰り返す。ステップＳ５０２において、仮想カメラ情報取得部１０１は、仮想カメラ操作装置６から仮想カメラパラメータを取得する。ステップＳ５０３において、撮影時刻情報取得部１０２は、仮想カメラ操作装置６から、被写体の撮影時刻情報を取得する。ステップＳ５０４において、仮想カメラパスが終了するか、フレーム単位での入力が終了するまでステップＳ５０１からステップＳ５０３までを繰り返す。

ステップＳ５０１からＳ５０４までの処理について、具体例を説明する。ユーザは、映像生成装置５に表示される被写体を見ながら、仮想カメラを操作する。このとき、仮想カメラパラメータは、映像のフレームごとに決定され、仮想カメラ情報取得部１０１に送信される。また、仮想カメラを操作する際、ユーザは映像生成装置５に表示される被写体の映像の時刻を止める、逆再生する、早送りする等の指定を行いながら仮想カメラを操作する。こうすることにより、被写体の撮影時刻を指定することができる。このときに指定された撮影時刻情報が撮影時刻情報取得部１０２に送信される。

なお、図５の例では仮想カメラ情報取得部１０１はフレーム単位で仮想カメラパラメータを取得するが、これに限定されない。例えば、仮想カメラ情報取得部１０１は、所定数のフレーム分の仮想カメラパラメータが決定されてから、まとめて取得してもよい。撮影時刻情報取得部１０２も同様に、フレーム単位でなく所定数のフレーム分の仮想カメラパラメータをまとめて取得してもよい。

ステップＳ５０５において、仮想カメラパスデータ生成部１０３は、仮想カメラ情報取得部１０１で取得された仮想カメラパラメータと、撮影時刻情報取得部１０２で取得された撮影時刻情報とを関連付けた仮想カメラパスデータを生成する。ステップＳ５０６において、仮想カメラパスデータ出力部１０４は、仮想カメラパスデータ生成部１０３で生成した仮想カメラパスデータに対して、ヘッダ情報などを付与して出力する。仮想カメラパスデータは、記憶装置４に出力されて保存されたり、シーケンスデータ処理装置７に出力されてシーケンスデータの生成に使用されうる。シーケンスデータを生成する際は、仮想カメラパスデータ中の撮影時刻情報に基づいて記憶装置４から取得される素材データをシーケンスデータに含めてもよい。
また、仮想カメラパスデータは、後述する実施形態２における仮想視点映像生成装置に出力され、仮想視点映像の生成に使用される。

以上の構成と動作により、仮想カメラ情報に撮影時刻情報を付与した仮想カメラパスデータを出力することにより、実世界における仮想視点映像制作において、被写体の撮影時間を自由に操作した仮想カメラパスデータを表現可能となる。なお、本実施形態では仮想カメラ操作装置６から撮影時刻情報を取得したが、これに限定されず、映像の先頭からのフレーム数等、撮影時刻を特定できる情報を取得しても構わない。

また、本実施形態では、仮想カメラパラメータと撮影時刻情報とを関連付ける方法として、仮想カメラパラメータと撮影時刻情報とが一つのデータセットに含まれるデータ構造について説明したが、これに限定されない。例えば、仮想カメラパラメータと撮影時刻情報とが別ファイルで保存され、所定の情報で紐づけがされていてもよい。

（実施形態２）
本実施形態では、第１実施形態における仮想カメラパスデータ処理装置１で生成された仮想カメラパスデータを基に、仮想視点映像を生成する処理を行う例を述べる。

＜システム構成、及び、仮想視点映像生成装置の機能構成＞
図６は、本実施形態における仮想視点映像生成装置を含むシステムの構成例を示す図である。仮想視点映像生成装置６００は、仮想カメラパスデータ処理装置１と記憶装置４とに接続されている。仮想カメラパスデータ処理装置１および記憶装置４の構成は実施形態１と同様である。以下、実施形態１と同じ構成については説明を省略する。また、仮想視点映像生成装置６００のハードウェア構成は、図１０に表すハードウェア構成と同様であるものとする。なお、仮想視点映像生成装置６００は、実施形態１における情報処理システム１０に含まれてもよい。

仮想視点映像生成装置６００は、仮想カメラパスデータ取得部６０１、撮影時刻情報取得部６０２、素材データ管理部６０３、仮想視点映像生成部６０４、仮想視点映像出力部６０５を有する。本実施形態における仮想視点映像生成装置６００は、仮想カメラパスデータ処理装置１から仮想カメラパスデータを取得し、取得した仮想カメラパスデータに基づいて仮想視点映像を生成する。以下、各処理部について説明する。

仮想カメラパスデータ取得部６０１は、仮想カメラパスデータ処理装置１から出力された仮想カメラパスデータを取得する。なお、仮想カメラパスデータ取得部６０１は、仮想カメラパスデータ処理装置１で出力される仮想カメラパスデータを、データファイルとして取得してもよいし、パケットデータとして取得してもよい。なお、仮想カメラパスデータ取得部６０１は、仮想カメラパスデータを、フレーム単位で取得してもよいし、一定フレーム数単位で取得してもよいし、一つあるいは複数の仮想カメラパスデータセット単位で取得してもよい。複数の仮想カメラパスデータセットを取得した場合は、後述する仮想視点映像出力部６０５にて、それぞれの仮想カメラパスデータセットに対応する仮想視点映像を区別して出力することができる。それぞれの仮想カメラパスデータセットは、各仮想カメラパスデータセットヘッダに記載の識別ＩＤによって区別できる。なお、後述する仮想視点映像出力部６０５は、仮想カメラパスデータセットに記載される識別ＩＤを、出力する仮想視点映像のメタデータに付与する処理を行ってもよい。

撮影時刻情報取得部６０２は、仮想カメラパスデータ取得部６０１で取得した仮想カメラパスデータに含まれる、仮想カメラパス時刻情報に対応する撮影時刻情報を取得する。素材データ管理部６０３は、撮影時刻情報取得部６０２で取得した撮影時刻情報に対応する素材データを、記憶装置４から取得する。実施形態１で説明したように、素材データには撮影時刻情報が関連付けられているため、素材データ管理部６０３は、素材データに関連付けられた撮影時刻情報を参照することにより、素材データを取得することができる。なお、素材データ管理部６０３は、取得した素材データと仮想カメラパスデータセットおよび仮想カメラパス時刻情報との対応を保持する。

なお、素材データ管理部６０３により取得される素材データは、仮想視点映像生成部６０４において仮想視点映像を生成する方法に基づき、必要な素材データが取得される。例えば、前景モデルや背景モデルに基づく生成方法であれば、前景や背景の点群モデルデータまたはメッシュモデルデータや、それに対応するテクスチャ画像やテクスチャを生成するための撮影画像とカメラキャリブレーションデータが取得される。前景モデルや背景モデルを用いない生成方法の場合は、撮影画像やカメラキャリブレーションデータなどが取得される。

仮想視点映像生成部６０４は、仮想カメラパスデータ取得部６０１で取得した仮想カメラパスデータに含まれる仮想カメラパラメータを取得する。また、仮想視点映像生成部６０４は、取得した仮想カメラパラメータと、素材データ管理部６０３で取得した素材データを用いて、仮想視点映像を生成する。例えば、図３における仮想カメラパスデータセットの１ｓｔ仮想カメラパス時刻情報に対応する仮想視点映像のフレームは、１ｓｔ撮影時刻情報に対応する素材データと、１ｓｔカメラパラメータ情報に含まれる仮想カメラパラメータとを使用して生成される。このように、同一の仮想カメラパス時刻情報に対応する撮影時刻情報と仮想カメラパラメータとを使用して、仮想視点映像の各フレームを生成する。

仮想視点映像出力部６０５は、仮想視点映像生成部６０４から仮想視点映像を取得し、仮想視点映像をディスプレイなどの表示デバイスを用いて出力する。なお、仮想視点映像出力部６０５は、仮想視点映像生成部６０４から取得した仮想視点映像を、画像のデータファイルやパケットデータとして出力してもよい。

＜処理フロー＞
仮想視点映像生成装置６００の動作について、図７のフローチャートを用いて説明する。

ステップＳ７０１において、仮想カメラパスデータ取得部６０１は、仮想カメラパスデータにおけるフレーム単位でデータの取得を繰り返す。ステップＳ７０２において、仮想カメラパスデータ取得部６０１は、仮想カメラパスデータ処理装置１から仮想カメラパスデータを取得する。

ステップＳ７０３において、撮影時刻情報取得部６０２は、仮想カメラパスデータ取得部６０１から撮影時刻情報を取得する。ステップＳ７０４において、素材データ管理部６０３は、撮影時刻情報取得部６０２で取得した撮影時刻情報に対応する素材データを記憶装置４から取得する。

ステップＳ７０５において、仮想視点映像生成部６０４は、仮想カメラパスデータ取得部６０１が取得した仮想カメラパスデータから、仮想カメラパラメータを取得する。ステップＳ７０６において、仮想視点映像生成部６０４は、素材データ管理部６０３で取得した素材データおよびステップＳ７０５で取得した仮想カメラパラメータに基づき、仮想視点映像を生成する。

ステップＳ７０７において、仮想視点映像出力部６０５は、仮想視点映像生成部６０４で生成した仮想視点映像を、ディスプレイなどの表示デバイスを用いて出力、あるいはデータファイルやパケットデータとして出力する。ステップＳ７０８において、仮想カメラパスデータに含まれる前フレームの処理が終了するか、フレーム単位での入力が終了するまでステップＳ７０１からステップＳ７０７までを繰り返す。

図８は各部の通信の状況を示した図である。最初に仮想カメラパスデータ処理装置１が起動され、仮想視点映像生成装置６００に対し、仮想視点映像を生成の開始を通達する。ここで、図６には図示しないが、ＣＰＵなどで構成される仮想視点映像生成装置を制御する制御部が、仮想カメラパスデータ取得部６０１および各部に仮想視点映像を生成の開始を通達し、各部はその準備を行う。

続いて、仮想カメラパスデータ処理装置１は、仮想カメラパスデータ取得部６０１に対して、仮想カメラパスデータを送信する。仮想カメラパスデータ取得部６０１は、送られた仮想カメラパスデータの内、仮想カメラパラメータを仮想視点映像生成装置６０４に送り、撮影時刻情報を撮影時刻情報部６０２に送る。撮影時刻情報取得部６０２は撮影時刻情報を素材データ管理部６０３に送る。素材データ管理部６０３は、入力された撮影時刻情報に対応する素材データを記憶装置４から取得し、取得した素材データを仮想視点映像生成部６０４へ送る。仮想視点映像生成部６０４は、取得した仮想カメラ情報および素材データに基づいて、仮想視点映像をレンダリング生成する。また、仮想視点映像生成部６０４は、レンダリングが終わり次第、生成した仮想視点映像出力部６０５へ送る。仮想視点映像生成部６０４は、次に生成する仮想視点映像のフレームに関する情報を要求する。以下、次のフレームの処理をするために、仮想カメラパスデータの取得、仮想カメラパスデータの撮影時刻情報に対応する素材データおよび仮想カメラ情報の取得、仮想視点映像の生成および出力が繰り返される。仮想カメラパスデータ処理装置１から送信終了が仮想カメラパスデータ取得部６０１に送信されると、全ての処理を終了する。

なお、本実施形態では処理をシーケンシャルな流れとしてフローチャートに示したが、これに限定されない。例えば、複数の仮想カメラパスデータについて出力を並行して実施しても構わない。

なお、一度にやり取りするデータは、フレーム単位でもよいし、複数フレーム単位でまとめておこなってもよい。例えば、仮想カメラパスデータ取得部６０１は、受信する仮想カメラパスデータを複数フレーム単位で受け取ってもよい。この場合は、例えば、受信したフレーム分の仮想カメラパスデータを仮想カメラパスデータ取得部６０１で記憶しておき、記憶した仮想カメラパスデータの情報をフレーム単位で順次送信してもよいし、複数フレーム単位で送信してもよい。

また、仮想視点映像生成部６０４に送られる仮想カメラ情報と素材データの送信順序はこれに限らず、順序が逆転してもよいし、同時に送ってもよい。

以上の構成と動作により、仮想カメラパスに撮影時刻情報を付与した仮想カメラパスデータを基づいた仮想視点映像を生成することができる。具体的には、仮想カメラは所定の動きをしながら、被写体の動きを停止や早送り、逆再生、スロー再生にした仮想視点映像を生成することができる。

図９に、被写体の動きを停止させる場合の仮想カメラパスデータの一例を示す。図９（ａ）の表９０１は、被写体の動きを停止させる状態を含む仮想視点映像を生成するための仮想カメラパスデータの例である。この例では、仮想カメラは１００フレームあり、その内、カメラパスフレーム５０から５２の仮想カメラに対応する被写体の時間が停止していることを表している。図９（ｂ）の仮想カメラ９０２は、仮想カメラのカメラパスフレーム０における仮想カメラの位置及び姿勢の変化を表しており、仮想カメラパス９０３は、カメラパスフレーム０～９９までの仮想カメラの位置及び姿勢の変化を表している。そのため、この例における仮想カメラパスは、仮想カメラの姿勢を変えながら移動し続けている。

また、図９（ｃ）の被写体９０４は、カメラパスフレーム０に対応する被写体であり、９０５はその被写体の動きを表している。ここでは、例えば、被写体９０４はジャンプの動作をしているものとする。仮想カメラパスに対応する撮影時刻を操作しない場合、被写体９０４がジャンプしてそのまま着地するだけの映像となる。しかし、被写体９０６の撮影時刻を操作し、表９０１のように、カメラパスフレーム４９～５２までの撮影時刻情報を同一の値にすることにより、被写体の動きを停止させることができる。９０６は、カメラパスフレーム４９～５２に対応する期間であるものとする。これによれば、９０６の期間は、被写体９０４はあたかも宙に浮いているかのような状態となり、この状態で仮想カメラの位置及び姿勢が変化するような映像が生成される。

同様にして、例えば図９（ａ）における相対フレーム番号が１０、９、８・・・のように時間を遡るような情報であれば、被写体の動きが逆再生されながら仮想カメラの位置及び姿勢が変化するような仮想視点映像が生成される。また例えば、図９（ａ）における相対フレーム番号が１、３、５、７・・・のように１フレーム飛ばしの情報である場合は、被写体の動きが２倍速となるような仮想視点映像となる。このように、撮影時刻情報に任意の時刻を含めることにより、任意の被写体の動きを含む仮想視点映像を生成することが可能となる。

以上説明したように、仮想視点映像生成装置６００は、仮想カメラパラメータと、仮想カメラパラメータに対応する被写体の撮影時刻の情報とが含まれるデータを取得し、仮想視点映像を生成することができる。なお、本実施形態における仮想視点映像生成装置６００は、仮想カメラパスデータ処理装置１から直接仮想カメラパスデータを取得する構成としたが、これに限定されない。仮想視点映像生成装置６００は、例えば、実施形態１におけるシーケンスデータ処理装置７で生成されたシーケンスデータを取得して仮想視点映像を生成する構成でもよい。このとき、シーケンスデータ内に素材データが含まれていれば、仮想視点映像生成装置６００は記憶装置４から素材データを取得することなく仮想視点映像を生成することができる。また例えば、仮想視点映像生成装置６００は、記憶装置４やその他の記憶装置に記憶された仮想カメラパスデータを取得し、仮想視点映像を生成する構成でもよい。

（その他の実施形態）
なお、本実施形態においては、撮影時刻情報を含む仮想カメラパスデータを生成することにより、実際に撮影された被写体の状態とは異なる状態を含む仮想視点映像を生成可能な情報を出力するとしたが、これに限定されない。例えば、撮影時刻情報の代わりに、被写体の動きを止める、逆再生する、早送りする等の動作に対応するフラグを予め設定し、各フレームに対応付けしてもよい。この場合、仮想カメラパスデータには、仮想カメラパスの最初のフレームに対応する被写体の撮影時刻を記載し、仮想カメラパスデータに基づく仮想視点映像の再生時には、仮想視点映像に含まれる被写体の映像も再生される。そして、仮想カメラパスデータのフレームにおいて、例えば被写体の動きを停止させるフラグが対応付けられていた場合は、被写体の再生状態のみを停止し、仮想カメラパラメータの位置及び姿勢は変化するような仮想視点映像が生成されるようにする。このように、実際に撮影された被写体の状態とは異なる状態を含む仮想視点映像を生成するための情報として、撮影時刻情報以外の情報が使用されてもよい。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置又は装置に供給し、その装置又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 仮想カメラパスデータ処理装置
１０１ 仮想カメラ情報取得部
１０２ 撮影時刻情報取得部
１０４ 仮想カメラパスデータ出力部

Claims (14)

1. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成する動画のフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータを取得する第１の取得手段と、
   前記被写体が撮影された時刻を特定するための時刻情報を取得する第２の取得手段と、
   前記第１の取得手段により取得される複数の前記パラメータと、前記第２の取得手段により取得される時刻情報とが関連付けられた仮想視点データを出力する出力手段と
   を有することを特徴とする情報処理装置。
2. 前記仮想視点映像を構成する前記フレームは、前記複数のパラメータと、前記複数の撮影画像に基づいて生成される素材データであって前記時刻情報が対応付けられた素材データとに基づいて生成されることを特徴とする請求項１に記載の情報処理装置。
3. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成する動画のフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記被写体が撮影された時刻を特定するための時刻情報とが関連付けられた仮想視点データを取得する第１の取得手段と、
   前記複数の撮影画像に基づいて生成される素材データであって、前記時刻情報が対応付けられた素材データを取得する第２の取得手段と、
   前記第１の取得手段により取得される仮想視点データと、前記第２の取得手段により取得される素材データとに基づいて、前記仮想視点映像を生成する生成手段と
   を有することを特徴とする情報処理装置。
4. 前記素材データは、前記被写体の３次元形状を表す３次元形状データ、及び、前記被写体の色を表すテクスチャデータを含むことを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記仮想視点データは、前記仮想視点映像を構成する複数の前記フレームの数を表す情報を含み、
   前記複数のパラメータ及び前記時刻情報は、複数の前記フレームの数を表す情報に対応付けられることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記時刻情報は、前記複数の撮影画像に関連付けられた撮影時刻に基づく情報であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記時刻情報は、所定のタイミングを基準とした相対的な時刻により表される情報であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記時刻情報は、前記複数の撮影画像のうち所定の時刻に対応する撮影画像のフレームを基準としたフレーム数により表される情報であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
9. 前記仮想視点データは、複数の前記パラメータと関連付けられた複数の前記時刻情報を含み、
   複数の前記時刻情報は、第１の撮影時刻を表す第１の時刻情報と、前記第１の撮影時刻と同一の撮影時刻を表す第２の時刻情報とを含む
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記仮想視点データは、複数の前記パラメータと関連付けられた複数の前記時刻情報を含み、
    複数の前記時刻情報は、第１の撮影時刻を表す第１の時刻情報と、前記第１の撮影時刻とは異なる撮影時刻を表す第２の時刻情報とを含む
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記仮想視点データは、複数の前記パラメータと前記時刻情報とを含むファイルであることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成する動画のフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータを取得する第１の取得工程と、
    前記被写体が撮影された時刻を特定するための時刻情報を取得する第２の取得工程と、
    前記第１の取得工程において取得される複数の前記パラメータと、前記第２の取得工程において取得される時刻情報とが関連付けられた仮想視点データを出力する出力工程と
    を有することを特徴とする情報処理方法。
13. 複数の撮影装置が被写体を撮影することにより得られる複数の撮影画像に基づいて生成される仮想視点映像を構成する動画のフレームに対応し、仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記被写体が撮影された時刻を特定するための時刻情報とが関連付けられた仮想視点データを取得する第１の取得工程と、
    前記複数の撮影画像に基づいて生成される素材データであって、前記時刻情報が対応付けられた素材データを取得する第２の取得工程と、
    前記第１の取得工程において取得される仮想視点データと、前記第２の取得工程において取得される素材データとに基づいて、前記仮想視点映像を生成する生成工程と
    を有することを特徴とする情報処理方法。
14. コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
    

Images