JP2022126207A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】 データの出力先の装置が処理可能な仮想視点画像の生成に係る素材データを出力可能にする。
【解決手段】 情報処理装置１００は、複数のカメラ１０１が被写体を撮像することにより得られる複数の撮像画像に基づく仮想視点画像を生成するために使用される素材データであって、第１の形式により表される素材データを取得する取得部１０５と、素材データの出力先である他の装置により処理可能な素材データの形式を特定するための情報に基づいて、取得された素材データの形式を第１の形式から第２の形式に変換する変換部１０７と、第２の形式に変換された素材データを、他の装置に出力する送受信部１０８とを有する。
【選択図】 図２

Description

本開示は、仮想視点画像を生成する技術に関するものである。

近年、撮像領域の周囲に複数の撮像装置を配置して被写体の撮像を行い、それぞれの撮像装置から取得された複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。この技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、通常の画像と比較してユーザに高臨場感を与えることが出来る。

特許文献１には、被写体の形状を表す三次元形状データとして、三次元位置を示す複数の点で構成される点群データを生成するシステムについて記載されている。また、特許文献１に記載のシステムは、生成された点群データを用いてレンダリング処理を行うことで、任意の視点から見た画像（仮想視点画像）を生成する。

特許文献２には、ＲＧＢ－Ｄカメラにより取得される情報から、オブジェクトの正面領域だけでなく、側面領域も含めた広範囲の三次元モデルを復元する技術について記載されている。特許文献２によれば、深度マップの奥行データに基づいてオブジェクト領域を抽出し、オブジェクトの三次元表面モデルをその奥行データに基づいて生成する。また、特許文献２によれば、三次元表面モデルを用いて生成される三次元メッシュモデルを使用してレンダリング処理を行うことにより、仮想視点画像が生成される。

国際公開第２０１８／１４７３２９号 特開２０１６－７１６４５号公報

上述したように、仮想視点画像の生成方法は複数存在し、それぞれの生成方法において使用されるデータが異なる。したがって、仮想視点画像の生成に係る処理を実行する装置に出力されるデータが、出力先の装置が対応していないデータである場合に、適切に処理が実行されない可能性がある。

本開示は上記の課題に鑑みてなされたものである。その目的は、データの出力先の装置が処理可能な仮想視点画像の生成に係る素材データを出力可能にすることである。

本開示に係る情報処理装置は、複数の撮像装置が被写体を撮像することにより得られる複数の撮像画像に基づく仮想視点画像を生成するために使用される素材データであって、第１の形式により表される素材データを取得する取得手段と、前記素材データの出力先である他の装置により処理可能な素材データの形式を特定するための情報に基づいて、前記取得手段により取得された素材データの形式を前記第１の形式から第２の形式に変換する変換手段と、前記変換手段により前記第２の形式に変換された素材データを、前記他の装置に出力する出力手段とを有する。

本開示によれば、データの出力先の装置が処理可能な仮想視点画像の生成に係る素材データが出力可能になる。

情報処理装置のハードウェア構成例を示すブロック図である。 第１の実施形態における情報処理装置を含む仮想視点画像生成システムの構成の一例を説明するための図である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 変換処理を特定するための情報の一例である。 第１の実施形態における仮想視点画像生成システムが行う処理の一例を表すフローチャートである。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 保存部に保存される素材データのデータ構造の一例である。 第２の実施形態における情報処理装置を含む仮想視点画像生成システムの構成の一例を説明するための図である。 第２の実施形態における仮想視点画像生成システムが行う処理の一例を表すフローチャートである。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。

（第１の実施形態）
本実施形態においては、複数の撮像装置が被写体を撮像することにより得られる複数の撮像画像に基づく仮想視点画像の生成に使用されるデータ（以下、素材データという）を表示装置に出力する情報処理装置について説明する。

図１は、本実施形態における情報処理装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。情報処理装置は、ＣＰＵ１６０１、ＲＡＭ１６０２、ＲＯＭ１６０３、操作部１６０４、出力部１６０５、外部記憶装置１６０６、Ｉ／Ｆ１６０７、及び、バス１６０８を有する。なお、図１に示すハードウェア構成は、後述する仮想視点画像生成システムに含まれるいずれの装置にも適用可能である。

ＣＰＵ１６０１は、ＲＡＭ１６０２やＲＯＭ１６０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。ＲＡＭ１６０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１６０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１６０２は、ＣＰＵ１６０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１６０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１６０３には、本装置の設定データや、ブートプログラムなどが格納される。操作部１６０４は、キーボード、マウス、及びジョイスティックなどの入力装置により構成され、これらの入力装置を使用したユーザ操作に基づき、各種の指示をＣＰＵ１６０１に対して入力することができる。出力部１６０５は、ＣＰＵ１６０１による処理結果を出力する。出力部１６０５は例えば液晶ディスプレイ等で構成される。

外部記憶装置１６０６は、ハードディスクドライブ装置に代表される情報記憶装置でありうる。外部記憶装置１６０６には、ＯＳ（オペレーティングシステム）や、本実施形態における装置が有する各処理部の機能をＣＰＵ１６０１に実現させるためのコンピュータプログラムが保存されている。外部記憶装置１６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１６０１による制御に従って適宜、ＲＡＭ８０２にロードされ、ＣＰＵ１６０１による処理対象となる。更には、外部記憶装置１６０６には、処理対象としての各画像データ、及び処理に使用される各種の情報が記憶されていても良い。

Ｉ／Ｆ１６０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１６０７を介して様々な情報を取得したり、送信したりすることができる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１６０７に接続される。情報処理装置が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１６０７はアンテナを備える。バス１６０８は上述の各部を繋ぐバスである。

なお、上述した構成のうち少なくともいずれかが他の装置として情報処置装置の外部に接続されてもよい。これは、後述する仮想視点画像生成システムに含まれるいずれの装置においても同様である。

＜仮想視点画像生成システムの構成＞
次に、本実施形態における仮想視点画像生成システムの構成について説明する。なお、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

図２は、仮想視点画像生成システム１の構成を説明するための図である。仮想視点画像生成システム１は、例えば競技場（スタジアム）やコンサートホールなどの施設に設置される複数の撮像装置を使用して被写体の撮像を行い、得られた複数の撮像画像に基づいて、仮想視点画像を生成するためのデータ（素材データ）を生成する。仮想視点画像生成システム１は、カメラ１０１ａ～ｚ、入力部１０２、蓄積部１０３、素材データ生成部１０４、情報処理装置１００、及び、端末１０９ａ～ｄを有する。情報処理装置１００の機能構成については後述する。

カメラ１０１ａ～ｚは、被写体を囲むように配置され、同期をとって撮像が行われる。ただし、カメラの台数は図２に限定されない。カメラ１０１ａ～ｚはネットワークで接続されており、入力部１０２に接続されている。カメラ１０１ａ～ｚは同期をとって撮像を行う。すなわち、カメラ１０１ａ～ｚのそれぞれが撮像する撮像画像のフレームは、同時刻に取得される。取得された撮像画像は、撮像時刻に関する時刻情報及びフレームの番号が付与され、入力部１０２に送信される。なお、時刻情報は、任意の形式を使用することが可能である。また、各カメラにはそれぞれカメラＩＤが割り当てられており、各カメラが取得した撮像画像に、カメラＩＤの情報が付与される。なお、以降の説明において、特に区別する理由がない場合、カメラ１０１ａ～ｚを単にカメラ１０１と記載する。

入力部１０２はカメラ１０１ａ～ｚが行う撮像により得られた画像データを入力し、蓄積部１０３に出力する。蓄積部１０３は入力された画像データを一旦蓄積する蓄積部である。

素材データ生成部１０４は、蓄積部１０３に蓄積された画像データ使用して、仮想視点画像の生成に使用される素材データを生成する。ここで、本実施形態における素材データとは、仮想視点画像を生成するためのデータであって、撮像画像に基づいて生成されるデータのことを表す。素材データは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、三次元空間における被写体の形状を表すモデル（以下、三次元形状データともいう）、および三次元形状データに色付けするためのテクスチャデータ等である。本実施形態における素材データ生成部１０４は、仮想視点画像生成システム１に予め設定された形式の素材データを生成するものとする。

端末１０９ａ～ｄは、後述する情報処置装置１００から素材データを取得し、素材データに基づいて仮想視点画像を生成して表示する表示装置である。端末１０９ａ～ｄは、例えば、ＰＣ、スマートフォン、及びタブレット等でありうる。以降の説明においては、特に区別する理由がない場合は、端末１０９ａ～ｄを単に端末１０９と記載する。

次に、仮想視点画像生成システム１が有する情報処理装置１００の機能構成について、図２を用いて説明する。情報処理装置１００は、取得部１０５、保存部１０６、変換部１０７、及び、送受信部１０８を有する。

取得部１０５は、素材データを取得し、保存部１０８に保存する。本実施形態における取得部１０５は、仮想視点画像生成システム１内の素材データ生成部１０４から素材データを取得する。取得部１０５は、取得した素材データを保存する際、素材データを所定の形式（フォーマット）で保存する。例えば、素材データは、それぞれのデータを読み出すためのデータアクセスのためのテーブルを生成するなどして、時刻情報やフレーム番号等に関連付けてデータの読み書きができるフォーマットで保存される。取得部１０５が取得しうる素材データの種別及び保存される際の素材データのフォーマットに関しては後述する。

保存部１０６は入力された素材データを保存する。保存部１０６は、図１の外部記憶装置１６０６に対応し、半導体メモリや磁気記録装置などで構成される。データの書き込み、読出しは取得部１０５からの指示に基づいて行い、書き込まれたデータは読出し指示に従って送受信部１０８に出力される。

変換部１０７は、保存部１０６に保存されている素材データのフォーマットを、素材データの出力先である端末１０９が処理可能なフォーマットに合わせて変換する処理を行う。変換処理については後述する。送受信部１０８は、端末１０９と通信を行い、端末からの要求や、データの送受信を行う。端末１０９ａ～ｄは、情報処理装置１００から素材データを取得する。また、端末１０９ａ～ｄは、ユーザによる仮想視点の指定に係る操作を受け付け、指定された仮想視点に対応する仮想視点画像を素材データに基づき生成する。また、端末１０９ａ～ｄは、生成した仮想視点画像を表示する。本実施形態では、端末１０９ａは前景画像と点群データとを使用して仮想視点画像を生成するものとする。また、端末１０９ｂは色付き点群データを使用して仮想視点画像を生成するものとする。また、端末１０９ｃは前景画像と距離画像とを使用して仮想視点画像を生成するものとする。また、端末１０９ｄはメッシュデータを使用して仮想視点画像を生成するものとする。

ここで、上述したように、仮想視点画像の生成方法によって、仮想視点画像を生成する際に使用する素材データが異なる場合がある。使用される素材データが異なる要因としては、例えば端末が採用している仮想視点画像の生成方法、及び端末が使用している仮想視点画像の生成用のソフトウェアの種類が異なること等がありうる。また、端末が扱うことのできる素材データのフォーマットが異なること等も要因として挙げられる。さらに、メッシュデータに基づく仮想視点画像は表示できるが、点群データに基づく仮想視点画像は表示することができない等、端末の表示能力や処理能力が異なることも要因として挙げられる。これらの要因により、端末が表示することができない仮想視点画像に対応する素材データを端末に出力しても、端末が仮想視点画像を生成することができない問題が生じうる。この問題を解決するため、本実施形態における情報処理装置１００は、取得した素材データのフォーマットを、素材データの出力先である端末１０９が処理可能なフォーマットに変換して、変換した素材データを端末１０９に出力する。

＜素材データの種別及びフォーマットの例＞
本実施形態における情報処理装置１００の取得部１０５が取得しうる素材データの種別について説明する。本実施形態における取得部１０５は、素材データ生成部１０４が生成する素材データを取得するため、素材データ生成部１０４が生成する素材データとその生成方法について、以下で説明する。なお、以下で説明する素材データの種別は一例であり、下記以外の素材データが生成される構成でもよい。

はじめに、素材データ生成部１０４が、素材データとして、被写体の三次元形状を表す点群データと、前景画像とを生成する場合について説明する。ここで、前景画像とは、撮像画像からオブジェクト（例えば選手やボールなど）に対応する領域を抽出した画像である。素材データ生成部１０４は、例えば、被写体の映っていない状態の画像を基準画像として撮像し、入力された画像データ（撮像画像）との差分を用いて、被写体に対応する領域を抽出する。また、素材データ生成部１０４は、被写体領域の抽出結果に基づき、被写体に対応する領域の画素値を１、それ以外の領域の画素値を０としたシルエット画像を生成する。

さらに、素材データ生成部１０４は、生成したシルエット画像を使用して、視体積交差法（Ｓｈａｐｅ－ｆｒｏｍ－Ｓｉｌｈｏｕｅｔｔｅ）を用いて、点群データを生成する。生成される点群データは、三次元空間における座標の情報を有する複数の点の集合により被写体の三次元形状を表すデータである。また、素材データ生成部１０４は、抽出された被写体領域の外接矩形を求め、外接矩形に対応する撮像画像中の領域を切り出し、これを前景画像として生成する。前景画像は、仮想視点画像を生成する際に、三次元形状データに色付けを行うためのテクスチャデータとして使用される。なお、点群データ及び前景画像の生成方法については上述した方法に限定されず、任意の生成方法が使用可能である。

次に、素材データ生成部１０４が、被写体の三次元形状を表す点群と、被写体の色を表す情報とを含むデータ（以後、色付き点群データ）を素材データとして生成する場合について説明する。色付き点群データは、上述した方法で生成される点群データと、蓄積部１０３から取得される各カメラ１０１の撮像画像あるいは前景画像を用いて生成することができる。素材データ生成部１０４は、点群データに含まれる各点について、点に対応する三次元位置を撮像するカメラ１０１が取得した撮像画像の色（画素値）を特定する。素材データ生成部１０４は、特定した色を点に対応付けることで、色情報を有する点群データである色付き点群データを生成することができる。

次に、素材データ生成部１０４が、各カメラ１０１から被写体までの距離を表す距離画像を素材データとして生成する場合について説明する。素材データ生成部１０４は、例えば、ステレオマッチング法などで、複数の撮像画像間で視差を算出し、視差のデータから距離画像の画素値を決定することにより、距離画像を生成する。なお、距離画像の生成方法はこれに限定されない。例えば、素材データ生成部１０４は、上述した方法により生成される点群データを使用し、点群データにおける各点の三次元位置から各カメラ１０１までの距離を求めることにより、距離画像を生成してもよい。また、素材データ生成部１０４は、赤外線センサー等を用いた距離カメラを使用して、距離画像を別途取得する構成でもよい。

次に、素材データ生成部１０４が、被写体の三次元形状を表すメッシュデータを素材データとして生成する場合について説明する。素材データ生成部１０４は、例えば特許文献２に記載の方法を用いて、複数のポリゴンの集合体であるメッシュデータを生成する。この方法を用いる際は、条出する方法により生成される距離画像データが深度マップとして使用される。なお、メッシュデータの生成方法はこれに限定されない。例えば、素材データ生成部１０４は、上述した方法により生成される点群データ及び色付き点群データ等を変換することにより、メッシュデータを生成してもよい。

次に、素材データ生成部１０４が、被写体の概観を表すビルボードデータを生成する場合について説明する。ビルボードデータは、板状のポリゴンに、前景画像を使用して色付けを行うことにより得られるデータである。ビルボードデータを生成する場合、素材データ生成部１０４は、板状のポリゴンと、上述した方法により前景画像を生成する。

なお、上述した素材データ生成部１０４が行う処理の一部が、撮像装置及び後述する情報処理装置１００等の他の装置により行われる構成でもよい。例えば、点群データが生成される場合におけるシルエット画像の生成及び／又は前景画像の生成の処理が、カメラ１０１により行われてもよい。この場合、カメラ１０１は、撮像画像に基づいて生成されるシルエット画像及び／又は前景画像に、時刻情報、フレーム番号及びカメラＩＤ等の各種の情報を付与し、入力部１０２に送信する。

次に、上述した素材データが保存される際の、素材データのフォーマットの一例について以下で説明する。素材データ生成部１０４が生成した素材データは、取得部１０５により取得され、以下で説明するフォーマットで保存部１０６に保存される。

図３に保存部１０６で保存ざれる素材データの書式の一例を示す。素材データは、図３（ａ）に示すように１つのまとまりに対応するシーケンスとして保存される。シーケンスは、例えば、撮像が行われた期間、撮像された競技、さらには競技中に発生したイベントやカットごとに生成されうる。保存部１０６は、シーケンス単位でデータを管理する。各シーケンスにはシーケンスヘッダ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ）が含まれる。シーケンスヘッダには、図３（ｂ）に示すように、シーケンスの始まりであることを示すシーケンスヘッダスタートコード（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ Ｓｔａｒｔ Ｃｏｄｅ）が保存される。続いて、シーケンス全体に関する情報が保存される。例えば、シーケンスの名称、撮像場所、撮像が開始された日時、時刻などを表す時刻情報、フレームレート、画像サイズが保存される。シーケンスの名称には、例えば、競技やイベントの名称など、シーケンスを特定するための情報が記載される。

シーケンスにはそれぞれの素材データがデータセット（Ｄａｔａ Ｓｅｔ）という単位で保存される。シーケンスヘッダにはそのデータセットの数（Ｎｕｍｂｅｒ ｏｆ Ｄａｔａ ｓｅｔ）Ｍが記される。以下、データセット単位の情報が保存される。データセット単位の情報では、最初にデータセットの識別ＩＤが付与される。識別ＩＤは保存部１０６ないし、全データセットで唯一のＩＤが付与される。続いて、データセットの種別が保存される。図３（ａ）に示す例では、データセットとして、点群データ、前景画像、色付き点群データ、距離画像データ、メッシュデータがシーケンスに含まれているが、これらのデータセットがすべてシーケンスに含まれる必要はない。本実施形態においては、取得部１０５により取得された素材データがデータセットとしてシーケンスに含まれるものとする。例えば、取得部１０５が点群データ及び前景画像データを取得した場合、シーケンスには点群データと前景画像データのデータセットが含まれる。シーケンスに含まれるデータセットは、それぞれデータセットクラスコード（Ｄａｔａ ｓｅｔ ｃｌａｓｓ ｃｏｄｅ）で表現される。データセットクラスコードは図３（ｅ）に示す２バイトのコードとして表現されている。ただし、データの種別やコードはこれに限定されない。他の三次元形状データを表すデータでも構わない。続いて、データセットへのポインタが保存される。ただし、各データセットへのアクセスのための情報であれば良く、ポインタに限定されない。例えば、保存部でファイルシステムを構築し、ファイル名としても構わない。

次に、シーケンスに含まれる各データセットのフォーマットについて説明する。本実施形態ではデータセットの種別として、点群データ、前景画像、色付き点群データ、距離画像データ、メッシュデータ、ビルボードデータを例にとって説明する。

図４に前景画像データセットの構成の一例を示す。説明のため、前景画像データセットはフレーム単位で保存されているものとするが、これに限定されない。図４（ａ）に示すように、データセットの先頭には前景画像データヘッダが保存される。ヘッダには本データセットが前景画像のデータセットであることや、フレーム数等が保存されている。

各フレームに含まれる情報を図４（ｂ）に示す。各フレームには、前景画像データの先頭フレームの時刻を表す時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。データサイズは次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていても良い。続いて、時刻情報が示す時刻に仮想視点画像を生成するための被写体の数（Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔ）Ｐが保存される。さらにその時点で撮像に使用されたカメラの台数（Ｎｕｍｂｅｒ ｏｆ Ｃａｍｅｒａ）Ｃが保存される。続いて、使用されたカメラのカメラＩＤ（Ｃａｍｅｒａ ＩＤ ｏｆ Ｃｔｈ Ｃａｍｅｒａ）が保存される。続いて、被写体ごとに被写体が映る前景画像の画像データ（１ｓｔ Ｆｏｒｅｇｒｏｕｎｄ Ｉｍａｇｅ ｏｆ Ｃｔｈ Ｃａｍｅｒａ）が保存される。画像データの先頭に、図４（ｃ）に示すように、前景画像のデータサイズ、前景画像の大きさ、画素値のビット深度、および画素値がラスター順に保存される。以下、被写体毎に各カメラからの前景画像データを続けて保存する。なお、カメラに被写体が映っていない場合は、ＮＵＬＬデータを書き込むか、被写体単位で映っているカメラ数と該当するカメラＩＤを保存しても構わない。

図５に点群データのデータセットの構成の一例を示す。説明のため、点群データセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭には、点群データヘッダが保存される。ヘッダには、図５（ａ）に示すように、本データセットが点群データのデータセットであることや、フレーム数等が保存されている。

各フレームに含まれる情報を図５（ｂ）に示す。各フレームには、フレームの時刻を表す時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）が保存されている。続いて、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。これは次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていても良い。続いて、時刻情報が示す時刻の被写体、即ち点群データの数（Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔ）Ｐが保存される。以下、被写体ごとの点群データが順に保存されている。まず、最初の被写体の点群を構成する座標点数（Ｎｕｍｂｅｒ ｏｆ Ｐｏｉｎｔｓ ｉｎ １ｓｔ Ｏｂｊｅｃｔ）が保存される。以下、点の座標（Ｐｏｉｎｔ ｃｏｏｒｄｉｎａｔｉｏｎ ｉｎ １ｓｔ Ｏｂｊｅｃｔ）が保存される。以下、同様にして、時刻情報に対応する時刻に含まれる被写体全ての点群データが保存される。

本実施形態では座標系を３軸のデータとして保存するが、これに限定されず、極座標やその他の座標系でも構わない。なお、座標値のデータ長が固定であるとして点群データヘッダに記載してもよいし、点群ごとに異なるデータ長としてもよい。データ長が点群ごとに異なる場合、データサイズを点群ごとに保存する。データサイズを参照することにより、座標点数から次の点群の保存位置の特定を行うことができる。

図６に色付き点群データのデータセットの構成の一例を示す。説明のため、色付き点群データセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭には色付き点群データヘッダが保存される。ヘッダには、図６（ａ）に示すように、本データセットが色付き点群データのデータセットであることや、フレーム数等が保存されている。

各フレームに含まれる情報を図６（ｂ）に示す。各フレームには、各フレームの点群データにはフレームの時刻を表す時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）が保存されている。続いて、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。これは次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていても良い。続いて、時刻情報が示す時刻の被写体、即ち色付き点群データの数（Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔ）Ｐが保存される。以下、被写体ごとの色付き点群データが順に保存されている。まず、最初の被写体の点群を構成する座標点数（Ｎｕｍｂｅｒ ｏｆ Ｐｏｉｎｔｓ ｉｎ １ｓｔ Ｏｂｊｅｃｔ）が保存される。以下、点の座標と点の色情報（Ｐｏｉｎｔ ｃｏｏｒｄｉｎａｔｉｏｎ ｉｎ １ｓｔ Ｏｂｊｅｃｔ）が保存される。以下、同様にして、時刻情報に対応する時刻に含まれる被写体全ての色付き点群データが保存される。

本実施形態では座標系を３軸のデータとし、色情報をＲＧＢの三原色の値で保存するが、これに限定されない。座標系では極座標やその他の座標系でも構わない。また、色情報も均等色空間や輝度、色度といった情報で表現しても構わない。また、座標値のデータ長が固定であるとして色付き点群データヘッダに記載してもよいし、色付き点群ごとに異なるデータ長としてもよい。データ長が色付き点群ごとに異なる場合、データサイズを点群ごとに保存する。データサイズを参照することにより、座標点数から次の色付き点群の保存位置の特定を行うことができる。

図７に距離画像データのデータセットの構成の一例を示す。説明のため、距離画像データセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭には距離画像データヘッダが保存される。ヘッダには、図７（ａ）に示すように、本データセットが距離画像データのデータセットであることや、フレーム数等が保存されている。

各フレームに含まれる情報を図７（ｂ）に示す。各フレームにはフレームの時刻を表す時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）が保存されている。続いて、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。これは次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていても良い。距離画像データはカメラ単位で取得されるものであるため、フレームで使用されたカメラの数（Ｎｕｍｂｅｒ ｏｆ Ｃａｍｅｒａ）Ｃが保存される。続いて、順にカメラＩＤ（Ｃａｍｅｒａ ＩＤ ｏｆ Ｃｔｈ Ｃａｍｅｒａ）が保存される。続いて、距離画像データ（Ｄｉｓｔａｎｃｅ Ｉｍａｇｅ ｏｆ Ｃｔｈ Ｃａｍｅｒａ）が保存される。距離画像データの先頭には、図７（ｃ）に示すように、距離画像のデータサイズ、距離画像の大きさ、画素値のビット深度、および画素値がラスター順に保存される。以下、各カメラからの距離画像データを続けて保存する。なお、カメラに被写体が映っていない場合は、ＮＵＬＬデータを書き込むか、被写体単位で映っているカメラ数Ｃと該当するカメラＩＤのみを保存しても構わない。

図８にメッシュデータのデータセットの構成の一例を示す。説明のため、メッシュデータセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭にはメッシュデータヘッダが保存される。ヘッダには、図８（ａ）に示すように、本データセットがメッシュデータのデータセットであることや、フレーム数等が保存されている。

各フレームに含まれる情報を図８（ｂ）に示す。各フレームには、フレームの時刻を表す時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）が保存されている。続いて、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。これは次のフレームのデータを参照するためのものであり、ヘッダにまとめて保存されていても良い。続いて、被写体の数（Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔ）Ｐが保存される。以下、被写体ごとのメッシュデータが保存される。被写体ごとのメッシュデータには、先頭にメッシュデータを構成するポリゴン数（Ｎｕｍｂｅｒ ｏｆ Ｐｏｉｎｔｓ ｉｎ Ｐｔｈ Ｏｂｊｅｃｔ）が保存される。さらに、被写体ごとのメッシュデータには、ポリゴン毎のデータ、すなわちポリゴンの頂点の座標及びポリゴンの色の情報（Ｐｏｌｙｇｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｉｎ Ｐｔｈ Ｏｂｊｅｃｔ）が保存される。以下、同様にして、時刻情報に対応する時刻に含まれる被写体全てのメッシュデータが保存される。なお、上述したメッシュデータは、１つのポリゴンに１つの色を割り当てるメッシュデータであるが、色情報を含まないメッシュデータであってもよい。以下の説明では、図８に示すメッシュデータを、色付きメッシュデータとし、色情報を含まないメッシュデータを、単にメッシュデータという。色付きメッシュデータを使用して仮想視点画像が生成される場合は、仮想視点の位置及び仮想視点からの視線方向によらずに、ポリゴンの色が決定する。一方、色情報を含まないメッシュデータを使用して仮想視点画像が生成される場合、仮想視点の位置及び仮想視点からの視線方向に応じて、前景画像を使用してポリゴンに色付けがされる。

図９にビルボードデータのデータセットの構成の一例を示す。説明のため、ビルボードデータセットはフレーム単位で保存されているものとするが、これに限定されない。データセットの先頭には、図９（ａ）に示すように、ビルボードデータヘッダが保存される。ヘッダには本データセットがビルボードデータのデータセットであることや、フレーム数等が保存されている。各フレームのビルボードデータにはフレームの時刻を表す時間情報（Ｔｉｍｅ Ｉｎｆｏｒｍａｔｉｏｎ）が保存されている。続いて、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。以下、被写体ごとに各カメラのビルボードデータが保存される。

ビルボードデータは被写体ごとに各カメラにおけるビルボードのポリゴンデータとテクスチャマッピングされる画像データの組み合わせで保存される。まず、ビルボードの１つのポリゴンデータ（Ｐｏｌｙｇｏｎ ｂｉｌｌｂｏａｒｄ ｏｆ Ｃｔｈ Ｃａｍｅｒａ ｆｏｒ Ｐｔｈ Ｏｂｊｅｃｔ）が記載される。続いて、テクスチャマッピングするための前景画像データ（Ｆｏｒｅｇｒｏｕｎｄ Ｉｍａｇｅ ｏｆ Ｃｔｈ Ｃａｍｅｒａ ｆｏｒ Ｐｔｈ Ｏｂｊｅｃｔ）が保存される。ビルボード方式は被写体を１つのポリゴンとして扱うことで、処理とデータ量を大幅に軽減することができる。なお、ビルボードデータを表すポリゴンは、１つに限定されず、メッシュデータよりも少ないポリゴン数であるものとする。

本実施形態では頂点を記述する座標系を３軸のデータとし、色情報をＲＧＢの三原色の値で保存するが、これに限定されない。座標系では極座標やその他の座標系でも構わない。また、色情報も均等色空間や輝度、色度といった情報で表現しても構わない。また、既存のフォーマット、例えば、ＰＬＹフォーマットやＳＴＬフォーマットであっても構わない。それぞれのフォーマットに対応するデータセットクラスコードを用意することで対応可能である。

＜変換部が行う変換処理の例１＞
次に、変換部１０７が行う変換処理について説明する。変換部１０７は、取得部１０５が取得し、保存部１０６に所定の形式で保存されている素材データを、出力先の装置が処理可能な形式に変換する処理を行う。上述した通り、仮想視点画像の生成方法は複数種類あるため、生成方法によって使用される素材データも異なる場合がある。一方で、素材データを生成するシステムにおいては、所定の形式の素材データしか生成されない場合がある。このとき、システムで生成された素材データが、仮想視点画像の生成に係る処理を行う装置が処理することができない形式である場合、仮想視点画像が生成されない等の問題が生じうる。この問題を解決するため、変換部１０７を介して素材データを処理可能な形式に変換することにより、素材データの出力先の装置が適切に処理を行うことができるようにすることができる。

変換部１０７は、まず、素材データの出力先の装置が処理可能な素材データを特定する。送受信部１０８は、情報処理装置１００に接続された端末１０９から、端末１０９が処理可能な素材データの形式を特定するための情報を取得する。ここで、端末１０９が素材データを処理可能であるとは、端末１０９が取得した素材データのファイル内のデータを解釈し、記述されている内容に従って適切に処理可能であることを指す。例えば、端末１０９が対応しておらず、読み込むことができない素材データのファイル形式は、処理可能ではないということになる。

取得される情報は、例えば、端末の仕様、種別に関する情報、端末の処理能力に関する情報等を含みうる。また例えば、取得される情報は、端末が使用する仮想視点画像の生成方法、仮想視点画像の生成や再生に使用するアプリケーションおよびソフトウェア等の情報等を含みうる。また例えば、取得される情報は、端末が表示可能な仮想視点画像のフォーマットに関する情報などを含みうる。送受信部１０８は、取得した情報を変換部１０７に送信する。変換部１０７は、取得した情報に基づき、端末１０９に出力する素材データの形式を特定する。

また、変換部１０７は、保存部１０６に保存されている素材データの形式を特定する。変換部１０７は、例えば、保存部１０６に保存されている素材データのデータセットクラスコード、及びデータセットのヘッダ等を参照することにより、素材データの種別を特定する。なお、取得部１０５が取得する素材データの形式や種別があらかじめ決まっている場合は、データセットを参照しなくてもよい。変換部１０７は、端末１０９に出力する素材データの形式と、保存部１０６に保存されている素材データの形式とが一致しない場合、保存部１０６に保存されている素材データの変換処理を行う。送受信部１０８は、変換処理により得られた素材データを、出力先の装置に出力する。

変換処理の一例として、保存部１０６には前景画像データセットと点群データセットのみが保存されている場合について説明する。ここで、情報処理装置１００に端末１０９ｃが接続され、端末１０９ｃから距離画像の出力を要求されたとする。この場合、変換部１０７は送受信部１０８から入力された端末１０９ｃからのデータセットの要求と保存部３０９に保存されている素材データの形式を比較する。比較した結果、適合する形式の素材データが保存されていないと判定する。変換部１０７は、保存部１０６から点群データセットを取得し、点群データの各点から各カメラまでの距離を求めて距離画像データを生成して距離画像データセットに変換する。即ち、図５の点群データセットから図７の距離画像データセットに変換する。送受信部１０８は、変換処理により得られた距離画像データを、端末１０９に出力する。

このように、変換部１０７は、端末１０９からの要求に応じて、保存部１０６に保存されている素材データを所定の形式に変換する。なお、端末１０９から要求される素材データの形式と、保存部１０６に保存されている素材データの形式とが一致する場合は、変換処理は行われない。この場合、例えば、変換部１０７が保存部１０６に保存されている素材データを取得して、変換せずに送受信部１０８に送信する構成でもよいし、保存部１０６から直接送受信部１０８に送信する構成でもよい。

変換部１０７は、上述した処理の流れと同様の処理により、以下のように変換処理を行う。例えば、保存部１０６に点群データと前景画像データとが保存されている場合においては、端末１０９からの要求に応じて、色付き点群データ、距離画像、メッシュデータ及び前景画像、色付きメッシュデータ、ビルボードデータに変換することができる。また例えば、保存部１０６に色付き点群データが保存されている場合においては、端末１０９からの要求に応じて、色付きメッシュデータ、距離画像、ビルボードデータに変換することができる。また例えば、保存部１０６にメッシュデータと前景画像データとが保存されている場合においては、端末１０９からの要求に応じて、点群データ及び前景画像データ、色付き点群データ、色付きメッシュデータ、距離画像、ビルボードデータに変換することができる。また例えば、保存部１０６に色付きメッシュデータが保存されている場合においては、端末１０９からの要求に応じて、色付き点群データ、距離画像、ビルボードデータに変換することができる。

また例えば、保存部１０６に距離画像データと前景画像とが保存されている場合においては、端末１０９からの要求に応じて、ビルボードデータに変換することができる。また例えば、保存部１０６にビルボードデータ及び前景画像データが保存されている場合においては、点群データ及び前景画像データ、色付き点群データ、メッシュデータ及び前景画像、色付きメッシュデータ、距離画像に変換することができる。ビルボードデータから三次元形状を表す点群データやメッシュデータに変換する場合、例えば、ビルボードデータを使用した視体積交差法を実行することにより変換される。

なお、上述した例では、端末１０９から取得される情報に基づいて、変換部１０７が素材データの変換処理を行う構成について説明したが、これに限定されない。変換部１０７は、素材データの出力先の端末が予めわかっている場合、端末に出力するための素材データを予め変換しておくことが可能である。例えば、保存部１０６に点群データ及び前景画像データが保存され、情報処理装置１００には端末１０９ａ、ｂ、ｄが接続されるものとする。端末１０９ａは前景画像と点群データとを使用して仮想視点画像を生成する。また、端末１０９ｂは色付き点群データを使用して仮想視点画像を生成する。また、端末１０９ｄは色付きメッシュデータを使用して仮想視点画像を生成する。ここで、変換部１０７は、図１０（ａ）に示すテーブルを参照し、保存部１０６に保存されている点群データ及び前景画像データを何に変換するかを決定する。図１０（ａ）における変換フラグは、変換する場合を「１」、変換しない場合を「０」で表している。変換部１０７は、変換フラグの値に基づいて、点群及び前景画像データを、色付き点群データ、及び色付きメッシュデータに変換する。送受信部１０８は、変換部１０７の変換処理により生成された色付き点群データ及び色付きメッシュデータを、それぞれ端末１０９ｂ、１０９ｄに出力する。また、送受信部１０８は、端末１０９ａに対しては、保存部１０６に保存されている点群データ及び前景画像データを出力する。

以上説明した構成により、取得部１０５が取得した素材データの種別が、端末１０９から要求される素材データの種別と異なる場合においても、適切な形式に変換して出力することができる。なお、上述した例では、点群データ及び前景画像データが取得される例について説明したが、他の素材データが取得される場合についても同様に変換処理が行われる。

＜変換部が行う変換処理の例２＞
次に、変換部１０７が行う変換処理の別の例について説明する。変換部１０７は、素材データの種別の変換だけでなく、素材データの内容を変換することが可能である。ここでは、変換される内容として、素材データのデータ量を特定する情報である解像度及びフレームレートについて説明する。さらに、変換される内容として、フォーマットについても説明する。

まず、素材データの解像度の変換処理について説明する。例えば、保存部１０６に点群データが保存されている場合、変換部１０７は、点群データの解像度を変更することが可能である。ここでいう解像度とは、点群データを構成する複数の点の密度を表すものとする。複数の点の密度は、被写体の三次元形状を表すのに使用される点の数に対応する。複数の点の密度が大きいほど、より細かく三次元形状を表現することができるため、解像度はより高くなる。一方、複数の点の密度が小さいほど、解像度はより低くなる。変換部１０７は、端末１０９から取得される情報に応じて、点群データを構成する点の密度をより大きくする（解像度を高くする）、又は、密度をより小さくする（解像度を低くする）ように変換処理を行う。変換部１０７は、密度を大きくする場合は、例えば、複数の点の間を補間する処理を行う。また、変換部１０７は、密度を大きくする場合は、点を間引く処理を行う。点の補間処理及び点を間引く処理は、点群データに対して一様に行われてもよいし、任意の方法で行われてよい。例えば、選手の顔部分は、選手の体部分よりも点の密度が高くなるように、点の補間処理及び点を間引く処理を行ってもよい。また、変換部１０７は、点群データの点の補間又は間引きを行った場合、保存部１０６に保存されている点群データの内容を変更する。この場合、変換部１０７は、図５（ｂ）における点の座標の情報の追加及び削除を行う。

上述した点群データの解像度の変換方法は、色付き点群データにおいても適用可能である。また、保存部１０６に保存されている素材データが、所定の体積を有するボクセルの集合であるボクセルデータである場合について説明する。ボクセルデータの解像度は、三次元形状を表すボクセル一つあたりの大きさ（ボクセルサイズ）に対応する。ボクセルサイズが小さいほど、より細かく三次元形状を表現することができるため、解像度はより高くなる。一方、ボクセルサイズが大きいほど、解像度はより低くなる。変換部１０７は、端末１０９から取得される情報に応じて、ボクセルデータを構成するボクセルの大きさをより小さくする（解像度を高くする）、又は、より大きくする（解像度を低くする）ように変換処理を行う。

また、保存部１０６に保存されている素材データがメッシュデータである場合について説明する。メッシュデータの解像度は、メッシュデータを構成するポリゴンの大きさ（ポリゴンサイズ）に対応する。ポリゴンサイズが小さいほど、より細かく三次元形状を表現することができるため、解像度はより高くなる。一方、ポリゴンサイズが大きいほど、解像度はより低くなる。変換部１０７は、端末１０９から取得される情報に応じて、メッシュデータを構成するポリゴンの大きさをより小さくする（解像度を高くする）、又は、より小さくする（解像度を低くする）ように変換処理を行う。ポリゴンの大きさの変換方法としては、例えば、ポリゴンの頂点の数を増やす（ポリゴンの数を増やす）、又は頂点の数を減らす（ポリゴンの数を減らす）等の処理により行われる。また、変換部１０７は、ポリゴンの頂点の数を変更した場合、変更処理に応じて、図８（ｂ）に示すポリゴン情報の内容を変更する。以上説明したメッシュデータの解像度の変換処理は、色付きメッシュデータにも適用可能である。

また、変換部１０７は、前景画像の解像度を変換する。変換部１０７は、例えば超解像処理により画素値の情報を増やす（解像度を高くする）、又は、複数の画素値の平均値を一つの画素値に置き換えるなどして画素値の情報を減らす（解像度を低くする）処理を行うことが可能である。なお、前景画像の解像度の変換は、点群データやメッシュデータ等、前景画像を使用して色付けがされる素材データに対応させて行われる構成とする。変換部１０７は、例えば、点群データ又はメッシュデータの解像度をより低くするように変換した場合、前景画像の解像度も低くするように変更する。また例えば、変換部１０７は、点群データ又はメッシュデータの解像度をより高くするように変換した場合、前景画像の解像度も高くするように変更する。ただしこれに限定されず、例えば、点群データ又はメッシュデータの解像度をより低くした場合でも、前景画像の解像度は変更しない構成でもよい。こうすることにより、三次元形状は粗く表現されるが、色は実際の被写体の色と近い状態となり、データ量を削減しつつ仮想視点画像の画質の低下が抑制されるという効果がある。

なお、変換部１０７は、点群データにおける点の座標値、メッシュデータにおけるメッシュの頂点の座標値、及び、距離画像データにおける距離の値の精度を変換する処理を行ってもよい。すなわち、変換部１０７は、これらの値を、浮動小数点、固定小数点、整数のいずれかに変換することにより、データの精度を変更する処理を行うことが可能である。また、変換部１０７は、前景画像の画素値に対し、量子化処理等によりビット深度をより小さくする、及び、補間処理等によりビット深度をより大きくする変換処理を行ってもよい。

次に、素材データのフレームレートの変換処理について説明する。変換部１０７は、保存部１０６に保存されている素材データのフレームレートを大きくする又は小さくするように変換処理を行うことが可能である。例えば、保存部１０６に保存されている素材データのフレームレートが６０ｆｐｓである場合について説明する。変換部１０７は、フレームレートを大きくする場合、例えばフレームを補間生成し、１２０ｆｐｓにする。また、変換部１０７は、例えば、フレームレートを小さくする場合、例えばフレームを間引く処理を行い、３０ｆｐｓにする。なお、変更後のフレームレートの値や、フレームレートの変更のしかたはこれに限定されない。例えば、データセットのシーケンスにおける特定の範囲のみフレームレートを変更してもよい。なお、フレームレートの変更は、前景画像データ、点群データ、メッシュデータ、距離画像データ、ビルボードデータ等いずれの種別の素材データにも適用可能である。

次に、素材データのフォーマットの変換処理について説明する。ここでいうフォーマットは、例えばファイルの拡張子や、データの構造等を指すものとする。変換部１０７は、例えば端末１０９が処理可能な素材データのファイルの拡張子と、保存部１０６に保存されている素材データのファイルの拡張子が異なる場合、ファイルのフォーマットの変換処理を行う。この処理は、いずれの種別の素材データにも適用可能である。また例えば、変換部１０７は、保存部１０６に保存されているメッシュデータを構成するポリゴンの形状を変更する処理を行ってもよい。例えば、保存部１０６に保存されているメッシュデータのポリゴンの形状が三角形であり、端末１０９が処理可能なメッシュデータのポリゴンの形状が六角形である場合に、変換部１０７はポリゴンの形状を三角形から六角形に変換する処理を行う。このように、変換部１０７は、ポリゴンの形状を任意の多角形に変更することができる。

以上説明した例では、端末１０９から取得される情報に基づいて、素材データの解像度、フレームレート、及びフォーマットの変換処理が行われるものとしたが、これに限定されない。変換部１０７は、素材データの出力先の端末が予めわかっている場合、端末に出力するための素材データを予め変換しておくことが可能である。この場合、変換部１０７は、例えば図１０（ｂ）に示すようなテーブルを参照し、素材データの変換処理を行う。図１０（ｂ）の例においては、変換部１０７は、保存部１０６に保存されている点群データの解像度を低くなるように変換し、フレームレートを小さくするように変換する。

素材データの解像度、フレームレート等のデータ量を特定するための情報の変換を行うことにより、例えば端末の処理能力や表示能力に応じた素材データを出力することが可能になる。例えば、素材データの解像度が４Ｋ相当であり、端末が８Ｋ映像を表示可能な場合、変換部１０７は素材データの解像度を高くするように変換する。反対に、端末が２Ｋ映像しか表示できない場合、変換部１０７は素材データの解像度を低くするように変換する。

＜情報処理装置の動作＞
次に、情報処理装置１００及び、情報処理装置から素材データを取得する端末１０９の動作について、図１１のフローチャートを用いて説明する。図１１の処理は、仮想視点画像生成システム１における各装置が有するＣＰＵが、ＲＯＭまたは外部記憶装置に記憶されたプログラムを読み出して実行することにより実現される。情報処理装置１００の電源がＯＮになると、処理が開始される。

Ｓ１１００において、取得部１０５は、他の装置から素材データを取得する。ここでは、取得部１０５は、素材データ生成部１０４が生成した素材データを取得する。Ｓ１１０１において、取得部１０５は、取得した素材データを、上述したフォーマットで保存部１０６に保存する。Ｓ１１０２において、送受信部１０８は、情報処理装置１００に接続された端末１０９から、素材データの出力の要求を受信する。このとき、送受信部１０８は、端末１０９から、端末１０９が処理可能な素材データの形式を特定するための情報を取得する。なお、送受信部１０８が端末から取得する情報は上述したものに限定されず、例えば点群データ等の特定の素材データを指定する情報であってもよい。また、情報処理装置１００は、複数の端末の種別とそれぞれの端末に出力すべき素材データとを対応付けたテーブルをあらかじめ外部記憶装置等に保持しておき、送受信部１０８はこのテーブルを取得する構成であってもよい。送受信部１０８は、取得した情報を変換部１０７に送信する。

また、Ｓ１１０２において、送受信部１０８は、素材データのシーケンスを特定する情報を取得する。シーケンスを特定する情報は、例えばシーケンス名でありうる。送受信部１０８は、取得したシーケンス名等の情報を変換部１０７に送信し、対応するシーケンスが取得されるように指示する。

Ｓ１１０３において、変換部１０７は、保存部１０６に保存されている素材データの形式と、送受信部１０８から取得された情報とに基づいて、素材データの変換処理が必要かを判定する。変換部１０７は、送受信部１０８から取得された情報に基づいて特定される、端末１０９に出力する素材データの形式が、保存部１０６に保存されている素材データの形式と一致しない場合、変換処理が必要であると判定する（Ｓ１１０３でＹｅｓ）。そして、変換部１０７は、Ｓ１１０４において、保存部１０６に保存されている素材データの変換処理を行う。一方、変換部１０７は、端末１０９に出力する素材データの形式が、保存部１０６に保存されている素材データの形式と一致する場合、変換処理が不要であると判定し（Ｓ１１０３でＮｏ）、Ｓ１１０４をスキップする。

Ｓ１１０５において、送受信部１０８は、変換部１０７から取得された素材データを、端末１０９に出力する。Ｓ１１０６において、端末１０９は素材データを取得し、Ｓ１１０７及びＳ１１０８の処理を実行する。Ｓ１１０７及びＳ１１０８の処理は、生成される仮想視点画像のフレームごとに繰り返し行われる。

Ｓ１１０７において、端末１０９は、ユーザ操作等に基づいて、仮想視点の位置及び仮想視点からの視線方向を決定する。Ｓ１１０８において、端末１０９は、情報処理装置１００から取得した素材データと、決定した仮想視点の位置及び仮想視点からの視線方向に基づいて、仮想視点画像を生成する。端末１０９ａのように前景画像データと点群データとから仮想視点映像を生成する端末においては、最初に仮想視点画像における点群データの点の位置を特定する。また、点の位置に対応する画素値を、前景画像データの射影によって色付けすることにより、仮想視点画像が生成される。前景画像データと点群データとから仮想視点画像を生成する方法においては、仮想視点の位置及び仮想視点からの視線方向に応じて、点に色付けされる色が変化する。端末１０９ｂのような色付き点群データから仮想視点画像を生成する端末においても、最初に仮想視点映像における点群データの点の位置を特定する。特定された点の位置に対応する画素値を、点に対応付けられた色で色付けすることで、仮想視点画像が生成される。色付き点群を使用して仮想視点画像を生成する方法においては、各点に対応する色は固定なので、仮想視点の位置及び仮想視点からの視線方向によらずに所定の色で色付けされる。

端末１０９ｃのように距離画像データと前景画像データから仮想視点画像を生成する端末においては、複数の距離画像データから仮想視点画像上の物体の位置を特定し、前景画像を使用したテクスチャマッピングにより仮想視点画像を生成する。端末１０９ｄのようにメッシュデータから仮想視点画像を生成する端末については、通常のコンピュータグラフィックス同様に、仮想視点から見える面に色の値や画像を貼り付けることにより、仮想視点画像が生成される。

Ｓ１１０９において、端末１０９は、生成した仮想視点画像を表示部に表示する。Ｓ１１１０において、端末１０９は、繰り返し処理を終了するかを判定する。例えば、ユーザの指示等により仮想視点画像の生成が終了すると、繰り返し処理が終了する。

以上の構成と動作により、情報処理装置１００は、端末１０９が処理可能な素材データの形式を特定するための情報に基づいて変換処理を行い、得られた素材データを端末１０９に出力する。これにより、情報処理装置１００が保持する素材データの形式と、端末が処理可能な素材データの形式とが異なる場合であっても、端末が処理可能な素材データを出力することができる。なお、図１１に示す処理においては、Ｓ１１０４において変換処理が行われた後に、仮想視点画像のフレームごとの処理が行われるものとしたが、これに限定されない。すなわち、情報処理装置１００は、決定された仮想視点に応じて保存部１０８に保存されている素材データを読み出し、変換処理を行って端末１０９に素材データを出力してもよい。この場合、例えば、図１１におけるＳ１１０２からＳ１１０４までの処理が、Ｓ１１０７とＳ１１０８との間に行われる。

また、情報処理装置１００は、変換部１０７により取得された変換後の素材データを保存部１０６に保存する構成でもよい。このとき、変換処理により生成された素材データは、同じ保存部１０６に保存されてもよいし、素材データの種別ごとに異なる保存部に保存される構成でもよい。さらに、異なる保存部に保存される場合、情報処理装置１００が複数の保存部を有する構成でもよいし、各保存部が異なる装置として仮想視点画像生成システム１に含まれる構成でもよい。複数種類の素材データがそれぞれ異なる保存部に保存される場合、情報処理装置１００は、端末１０９に出力する素材データが保存されている場所を表すポインタ等の情報を端末１０９に出力する構成とする。これにより、端末１０９は、仮想視点画像の生成に必要な素材データが保存されている保存部にアクセスし、素材データを取得することができる。 （第１の実施形態の変形例）
第１の実施形態では、仮想視点画像生成システム１において素材データが生成され、情報処理装置における取得部１０５により取得される構成について説明したが、これに限定されない。情報処理装置１００は、例えば、他のシステムで生成された素材データを取得したり、複数の装置から素材データを取得したりすることが可能である。そして、情報処理装置１００は、取得した素材データを端末１０９に合わせた形式に変換し、端末１０９に出力することができる。

また、第１の実施形態では前景画像を被写体ごとに分割して保存したが、これに限定されず、カメラで撮像された画像自体を保存しても構わない。また、第１の実施形態では点群データをフレーム単位で保存したが、これに限定されない。例えば、各被写体の識別を行い、被写体単位で保存することも可能である。

また、第１の実施形態では、三次元形状データを識別するために、データを識別するための情報をシーケンスのヘッダに入れたが、これに限定されず、データと関連付けたリスト等で管理しても構わない。また、保存部１０６に保存される素材データは符号化されていても構わない。このとき、取得部１０５は、素材データを保存部１０６に保存する際に符号化する構成でもよいし、素材データ生成部１０４が符号化処理を行った素材データを取得する構成でもよい。

また、第１の実施形態においては、前景画像データと点群データを別なデータセットとして保存したが、これに限定されない。図１２に前景画像データと点群データを統合した前景画像・点群データセットの構成の一例を示す。図１２に示すフォーマットは、図４の前景画像データセットと同様にデータセットの先頭には前景画像・点群データヘッダ（Ｆｏｒｅｇｒｏｕｎｄ ＆ Ｐｏｉｎｔ Ｃｌｏｕｄ Ｍｏｄｅｌ Ｈｅａｄｅｒ）が保存される。このデータヘッダには、ヘッダには本データセットが前景画像・点群データのデータセットであることや、フレーム数等が保存されている。続いて、各フレームの前景画像データと点群データが保存される。各フレームの前景画像・点群データにはフレームの時刻を表す時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）、フレームのデータサイズ（Ｄａｔａ Ｓｉｚｅ）が保存されている。続いて、時刻情報が示す時刻に対応する被写体の数（Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔ）Ｐが保存される。さらにその時点で撮像に使用されたカメラの台数（Ｎｕｍｂｅｒ ｏｆ Ｃａｍｅｒａ）Ｃが保存される。続いて、使用されたカメラのカメラＩＤ（Ｃａｍｅｒａ ＩＤ ｏｆ Ｃｔｈ Ｃａｍｅｒａ）が保存される。続いて、各被写体のデータが保存される。まず、図５の点群データと同様に被写体の点群を構成する座標点数が保存される。以下、点の座標が保存される。続いて、被写体を映した各カメラの前景画像データが図４と同様に順に格納される。以下、被写体ごとに点群データと前景画像データを保存する。

以上のように構成することで、レンダラである端末によって必須の組み合わせのデータセットを統合して保存することができる。これにより、データの読出しを簡易化することが可能になる。なお、ここでは点群データと前景画像データとを統合したフォーマットについて説明したが、これに限定されない。例えば、距離画像と前景画像とを統合したフォーマットや、３以上の素材データを統合したフォーマットなど、任意のデータを組み合わせて統合したフォーマットを構成することが可能である。また、変換部１０７は、ここで述べたような素材データの統合、及び、統合された素材データの分離などの変換も可能である。

また、図１６のように単に点群データのフレームデータと前景画像データのフレームデータをインターリーブして交互に格納する構成でもよい。同様に点群データの代わりに、距離画像データが格納されても構わない。また変換部１０７は、素材データを図１６のようなデータ構成に変換することも可能である。

また、素材データをオブジェクト単位で管理しても構わない。図１３に一例を示す。

シーケンスの新たなデータセットとして、オブジェクトデータセットを定義する。なお、オブジェクトデータセットは複数存在しても構わない。例えば、被写体の所属するチームごとなど、所定の単位で設けることができる。

オブジェクトデータセットの先頭のオブジェクトデータヘッダには、オブジェクトデータセットの始まりであることを示すオブジェクトデータヘッダスタートコード（Ｏｂｊｅｃｔ Ｄａｔａ Ｈｅａｄｅｒ）が保存される。さらに、オブジェクトデータヘッダには、データサイズ（Ｄａｔａ ｓｉｚｅ）が保存される。続いて、オブジェクトデータセットに含まれる被写体の数（Ｎｕｍｂｅｒ ｏｆ Ｏｂｊｅｃｔ）Ｐが保存される。以下、被写体ごとデータの情報が記保存される。

被写体データの情報（Ｐｔｈ Ｏｂｊｅｃｔ Ｄａｔａ Ｄｅｓｃｒｉｐｔｉｏｎ）には、被写体のＩＤ番号（Ｏｂｊｅｃｔ ＩＤ）と、被写体データの情報の大きさ（Ｄａｔａ Ｓｉｚｅ）が保存される。続いて、データセットとしてのデータの種別を表すデータセットクラスコード（Ｄａｔａ ｓｅｔ ｃｌａｓｓ ｃｏｄｅ）が保存される。また、被写体のオブジェクトデータへのポインタ（Ｐｏｉｎｔｅｒ ｏｆ ｏｂｊｅｃｔ ｄａｔａ）が保存される。また、被写体に関するメタデータ（Ｍｅｔａ ｄａｔａ）が保存される。メタデータには、例えば、スポーツであれば、選手の名前、所属チーム、背番号などの情報などを保存することができる。

各オブジェクトデータには、データセットクラスコードに基づいたデータが保存される。図１３は、前景画像と点群データとを統合したデータセットの例である。先頭にヘッダとして、オブジェクトデータセットの大きさ、先頭フレームの時刻情報、フレームレート等が保存される。以下、フレーム単位のデータが保存される。フレーム単位のデータでは先頭にそのフレームの時刻情報（Ｔｉｍｅ ｉｎｆｏｒｍａｔｉｏｎ）及びフレームのデータの大きさ（Ｄａｔａ ｓｉｚｅ）が保存される。続いて、被写体のフレームでの点群データの大きさ（Ｄａｔａ Ｓｉｚｅ ｏｆ Ｐｏｉｎｔ Ｃｌｏｕｄ）と点数（Ｎｕｍｂｅｒ ｏｆ Ｐｏｉｎｔｓ）が保存される。以下、点群の点の座標（Ｐｏｉｎｔ ｃｏｏｒｄｉｎａｔｉｏｎ）が保存される。続いて、被写体が写っていたカメラの台数（Ｎｕｍｂｅｒ ｏｆ Ｃａｍｅｒａ）Ｃが保存される。以下、それぞれのカメラのカメラＩＤ（Ｃａｍｅｒａ ＩＤ ｏｆ １ｓｔ～Ｃｔｈ Ｃａｍｅｒａ）と前景画像データ（Ｄａｔａ Ｓｉｚｅ ｏｆ Ｆｏｒｅｇｒｏｕｎｄ ｉｍａｇｅ ｏｆ １ｓｔ～Ｃｔｈ Ｃａｍｅｒａ）が保存される。以下、カメラごとにカメラＩＤと前景画像データが保存される。

なお、オブジェクトデータのデータセットが色付き点群データであれば、図１４（ａ）のようにデータセットクラスコードが設定され、各フレームのデータとして、時刻情報、データの大きさ、色付き点群の点の数、色付き点群のデータが保存される。また、オブジェクトデータのデータセットがメッシュデータであれば、図１４（ｂ）のようにデータセットクラスコードが設定され、各フレームのデータとして、時刻情報、データの大きさ、ポリゴンの数、各ポリゴンのデータが保存される。また、オブジェクトデータのデータセットが距離画像であれば、図１４（ｃ）のようにデータセットクラスコードが設定され、各フレームのデータとして、時刻情報、データの大きさ、カメラの数、各距離画像のデータが保存される。

このように、データを被写体ごとに管理し、出力することで、例えば、選手や演者の被写体を指定し、指定された被写体中心の画像を読出しまでの時間を短縮することができる。指定された選手の動きを中心とした画像や、被写体の後方を追従するような仮想視点画像の生成時に有効である。また、指定された選手の検索も簡単に行うことも可能になる。また、変換部１０６は、図４～９に示すようなフレーム単位でデータを管理する形式から、図１３、１４に示すように被写体ごとにデータを管理する形式に変換することが可能である。勿論、図１３、１４の形式から図４～９の形式に変換することも可能である。

また、取得部１０５は、図１５のように、素材データの種別ごとにシーケンスを構成しても構わない。例えば、取得部１０５が取得する素材データが前景画像データと点群データである場合、図１５に示すように、前景画像データと点群データのそれぞれでシーケンスを生成し、保存部１０６に保存する。この構成によれば、出力先の端末が使用するレンダリング方法に合わせてシーケンスをまとめて出力することができるので、迅速に出力することが可能になる。また、変換部１０７は、図３のように素材データがまとめて１つのシーケンスとなっている形式から、図１５のように素材データごとに分割されたシーケンスに変換することが可能である。勿論、図１５の形式から図３の形式に変換することも可能である。また、変換部１０７は、出力先の装置が素材データを処理することができるように、素材データのヘッダ等に所定の情報を付与する処理を行う構成であってもよい。反対に、変換部１０７は、出力先の装置にとって不要なメタデータ等の情報を削除する処理を行う構成でもよい。

また、本実施形態においては、情報処理装置１００は、素材データ生成部１０４及び端末１０９とは異なる装置であるとして説明したが。これに限定されない。すなわち、情報処理装置１００が、素材データを生成する装置、又は、素材データを取得する装置と一体となっている構成でもよい。

情報処理装置１００の機能が、素材データ生成部１０４を含む素材データ生成装置に含まれる場合について説明する。この場合、取得部１０５及び変換部１０７は、生成される素材データの種別をあらかじめ特定することができる。したがって、変換部１０７は、端末１０９から取得される端末１０９が処理可能な素材データを特定するための情報と、図１０に示すテーブル等を参照し、素材データの変換処理を行う。

一方、情報処理装置１００の機能が、素材データを取得して仮想視点画像の生成に係る処理を行う装置に含まれている場合について説明する。例えば、情報処理装置１００の機能が、端末１０９に含まれるものとする。この場合、変換部１０７は、端末が処理可能な素材データの形式をあらかじめ特定することができる。したがって、変換部１０７は、他の装置から取得した素材データの形式を、あらかじめ特定した素材データの形式に変換する。このとき、取得する素材データの種別等を特定する情報（例えば、データセットクラスコード等）が素材データに付与されることにより、変換部１０７はいずれの変換処理を行えばよいかを決定することができる。

また、第１の実施形態では、端末１０９が処理可能な素材データの形式を特定するための情報は、端末の種別等、変化しない情報であるものを中心に説明したが、これに限定されない。すなわち、端末１０９が処理可能な素材データの形式を特定するための情報は、動的に変化する情報であってもよい。例えば、端末１０９が処理負荷の増大等により、処理可能な素材データが変化した場合、端末１０９は情報処理装置１００に対し、再度情報を送信する。これにより、情報処理装置１００は、端末１０９に出力する適切な素材データを決定し、変換処理を行うことができる。さらに、情報処理装置１００は、端末１０９との通信路の通信帯域の変化に応じて、変換処理により生成する素材データを動的に決定してもよい。

（第２の実施形態）
第１の実施形態では、端末１０９が仮想視点画像を生成する場合のシステムの構成について説明した。本実施形態では、情報処理装置が仮想視点画像を生成する構成について説明する。なお、本実施形態の情報処理装置２００のハードウェア構成は、第１の実施形態と同様のため説明を省略する。また、第１の実施形態と同様の機能構成については、同じ符号を付し、説明を省略する。

図１７は、情報処理装置２００を有する仮想視点画像生成システム２の構成を説明するための図である。情報処理装置２００は、第１の実施形態の情報処理装置１００と同様の構成に加え、変換部２０１、仮想視点画像生成部２０２、及び送受信部２０３を有する。端末２０２ａ～ｄは、ユーザ操作等に基づいて仮想視点を設定し、設定した仮想視点の位置及び仮想視点からの視線方向を表す仮想視点情報を情報処理装置２００に送信する。端末２０４ａ～ｄは仮想視点画像を生成する機能（レンダラ）を持たず、仮想視点の設定と仮想視点画像の表示のみを行う。以降の説明においては、特に区別する理由がない場合、端末２０４ａ～ｄを単に端末２０４と記載する。

送受信部２０３は、端末２０４から仮想視点情報を受信し、仮想視点画像生成部２０２に送信する。また、送受信部２０３は、端末２０４に出力する仮想視点画像の種別を特定するための情報を端末２０４から取得する。また、送受信部２０３は、生成された仮想視点画像を、仮想視点情報を送信した端末に送信する機能を備える。仮想視点画像生成部２０２は、仮想視点情報と、保存部１０６または変換部２０１から取得される素材データとに基づいて、仮想視点画像を生成する。素材データを使用した仮想視点画像の生成方法は、第１の実施形態で説明した方法と同様である。

変換部２０１は、端末２０４に出力する仮想視点画像の形式に応じて、第１の実施形態における変換処理と同様の処理により、保存部１０６に保存されている素材データの変換を行う。例えば、保存部１０６に点群データ及び前景画像データが保存されており、仮想視点画像の出力先である端末２０４が、色付きメッシュデータに基づいて生成される仮想視点画像を表示するものとする。この場合、変換部２０１は、保存部１０６に保存される点群データ及び前景画像データを、色付きメッシュデータに変換する。仮想視点画像生成部２０２は、変換部２０１による変換処理により取得される色付きメッシュデータを使用して仮想視点画像を生成し、送受信部２０３を介して端末２０４に出力する。また例えば、例えば、保存部１０６に点群データ及び前景画像データが保存されているが、端末２０４は表示能力の関係により、保存部１０６に保存される点群データを使用して生成された仮想視点画像を表示することができないとする。この場合、変換部２０１は、端末２０４から取得される表示能力に関する情報に基づいて、素材データの変換処理の内容を決定する。ここで、変換部２０１は、端末２０４は点群データの解像度をより低くなるように変換して生成される仮想視点画像であれば表示可能であると判定したとする。変換部２０１は、保存部１０６に保存される点群データの解像度をより低くする（ボクセルサイズを大きくする）ように変換する。仮想視点画像生成部２０２は、変換部２０１による変換処理により得られた素材データを使用して仮想視点画像を生成し、送受信部２０３を介して端末２０４に出力する。

また、変換部２０１は、仮想視点画像生成部２０２が生成した仮想視点画像の形式を変換することも可能である。このとき、仮想視点画像生成部２０２は、保存部１０６に保存される素材データを使用してもよいし、変換部２０１により変換された素材データを使用してもよい。例えば、仮想視点画像生成部２０２が生成した仮想視点画像の解像度が所定よりも高いために端末２０４で表示ができないものとする。この場合、変換部２０１は、仮想視点画像の解像度がより低くなるように、生成された仮想視点画像の形式を変換する。また、端末２０４が使用する仮想視点画像の再生用のアプリケーションやソフトウェアが特定のフォーマットの仮想視点画像しか再生できないものとする。この場合、変換部２０１は、端末２０４が再生可能な仮想視点画像の形式になるように、生成された仮想視点画像のフォーマットを変換する。また例えば、端末２０４がヘッドマウントディスプレイ（ＨＭＤ）である場合は、生成された仮想視点画像をＨＭＤ用の画像に変換する。このように、変換部２０１は、端末の表示能力、端末が表示可能な仮想視点画像の形式、及び端末の種別等に応じて、仮想視点画像を変換することができる。

以上説明したように、変換部２０１が、保存部１０６に保存される素材データ及び仮想視点画像生成部２０２が生成する仮想視点画像の少なくともいずれかを変換することにより、適切な形式の仮想視点画像を端末２０４に出力することができる。なお、本実施形態は第１の実施形態と組み合わせて実施することが可能である。すなわち、レンダラを有する装置に対しては、装置が処理可能な素材データを出力し、レンダラを有しない装置に対しては、装置が表示可能な仮想視点画像を出力する構成としてもよい。この構成においても、変換部は、出力先の装置に応じて素材データ及び仮想視点画像の少なくともいずれかの形式を変換する変換処理を実行する。

図１８を使用して、情報処理装置２００及び端末２０４が行う処理について説明する。ここでは、変換部２０１が素材データを変換する場合の処理の例を説明する。なお、図１１と同様の処理については、同じ符号を付し、説明を省略する。

Ｓ１８０１において、送受信部２０３は、端末２０４に出力する仮想視点画像の形式を特定するための情報を、端末２０４から取得する。取得する情報は、例えば第１の実施形態において説明した情報と同様の情報でありうる。変換部２０１は、取得した情報に応じて、Ｓ１１０３及びＳ１１０４において変換処理を行う。

Ｓ１８０２において、仮想視点画像生成部２０２及び端末２０４は、生成される仮想視点画像のフレームごとに、Ｓ１８０３からＳ１１０９の処理を繰り返し実行する。Ｓ１８０３において、送受信部２０３は、端末２０４から、仮想視点の位置及び仮想視点からの視線方向を表す仮想視点情報を取得する。また、送受信部２０３は、取得した仮想視点情報を仮想視点画像生成部２０２に送信する。Ｓ１８０４において、仮想視点画像生成部２０２は、変換部２０１による変換処理により得られた素材データと、送受信部２０３から取得された仮想視点情報とに基づいて、仮想視点画像を生成する。Ｓ１８０５において、送受信部２０３は、生成された仮想視点画像を端末２０４に出力する。端末２０４は、Ｓ１１０９ｎｉｏｉｔｅ仮想視点画像を表示する。

Ｓ１８０６において、情報処理装置２００は、繰り返し処理を終了するかを判定する。例えば、端末からの指示等により仮想視点画像の生成が終了すると、繰り返し処理が終了する。以上説明した構成により、端末２０４に応じて適切な形式の仮想視点画像が出力される。なお、変換部２０１が仮想視点画像の形式の変換を行う場合は、図１８の処理において、Ｓ１８０４の後に仮想視点画像の変換処理の工程が追加される。この場合における素材データの変換処理（Ｓ１１０３、Ｓ１１０４）は必須ではない。

なお、図１８に示す処理においては、Ｓ１１０４において変換処理が行われた後に、仮想視点画像のフレームごとの処理が行われるものとしたが、これに限定されない。すなわち、情報処理装置１００は、取得された仮想視点情報に応じて保存部１０８に保存されている素材データを読み出し、変換処理を行って仮想視点画像を生成してもよい。この場合、例えば、図１８におけるＳ１８０１からＳ１１０４までの処理が、Ｓ１８０３とＳ１８０４との間に行われる。

（その他の実施形態）
上述した第１及び第２の実施形態では、仮想視点画像を表示する端末に素材データを出力する例について説明したが、出力先の装置はこれに限定されない。例えば、素材データを取得して所定の処理を行う他の装置に対して素材データを出力する場合であっても、上述した実施形態は適用可能である。この場合、情報処理装置１００は、出力先の他の装置が処理可能な素材データの形式を特定するための情報に基づいて、他の装置に出力する素材データを決定し、素材データの変換処理を行う。

本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処置装置
１０５ 取得部
１０７ 変換部
１１０ 送受信部

Claims (20)

1. 複数の撮像装置が被写体を撮像することにより得られる複数の撮像画像に基づく仮想視点画像を生成するために使用される素材データであって、第１の形式により表される素材データを取得する取得手段と、
   前記素材データの出力先である他の装置により処理可能な素材データの形式を特定するための情報に基づいて、前記取得手段により取得された素材データの形式を前記第１の形式から第２の形式に変換する変換手段と、
   前記変換手段により前記第２の形式に変換された素材データを、前記他の装置に出力する出力手段と
   を有することを特徴とする情報処理装置。
2. 前記変換手段により変換される素材データの形式は、素材データの種別を特定する形式であることを特徴とする請求項１に記載の情報処理。
3. 前記第２の形式により表される素材データは、前記被写体の三次元形状を表す点群データ及び前記被写体の色を表すテクスチャデータを含むデータであることを特徴とする請求項２に記載の情報処理装置。
4. 前記第２の形式により表される素材データは、前記被写体の三次元形状及び被写体の色を表す点群データを含むデータであることを特徴とする請求項２に記載の情報処理装置。
5. 前記第２の形式により表される素材データは、前記被写体の三次元形状及び被写体の色を表すメッシュデータを含むデータであることを特徴とする請求項２に記載の情報処理装置。
6. 前記第２の形式により表される素材データは、前記被写体の三次元形状を表すメッシュデータ及び前記被写体の色を表すテクスチャデータを含むデータであることを特徴とする請求項２に記載の情報処理装置。
7. 前記第１の形式により表される素材データは、前記被写体の三次元形状を表す点群データ及び前記被写体の色を表すテクスチャデータを含むデータであることを特徴とする請求項４乃至６のいずれか１項に記載の情報処理装置。
8. 前記第１の形式により表される素材データは、前記被写体の三次元形状及び被写体の色を表す点群データを含むデータであることを特徴とする請求項６に記載の情報処理装置。
9. 前記第１の形式により表される素材データは、前記被写体の三次元形状を表すメッシュデータ及び前記被写体の色を表すテクスチャデータを含むデータであることを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
10. 前記第１の形式により表される素材データは、前記被写体の三次元形状及び被写体の色を表すメッシュデータを含むデータであることを特徴とする請求項４に記載の情報処理装置。
11. 前記変換手段により変換される素材データの形式は、素材データのデータ量を特定する情報に関する形式であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記素材データのデータ量を特定する情報は、素材データの解像度に関する情報を含み、
    前記変換手段は、前記取得手段により取得された素材データの形式に基づいて特定される第１の解像度を、第２の解像度に変換する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記素材データのデータ量を特定する情報は、素材データのフレームレートに関する情報を含み、
    前記変換手段は、前記取得手段により取得された素材データの形式に基づいて特定される第１のフレームレートを、第２のフレームレートに変換する
    ことを特徴とする請求項１１又は１２に記載の情報処理装置。
14. 前記情報は、前記他の装置の種別に関する情報を含むことを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記情報は、前記他の装置の処理能力に関する情報を含むことを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記情報は、前記他の装置が使用する仮想視点画像の生成方法に関する情報を含むことを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。
17. 前記情報は、前記他の装置が表示可能な仮想視点画像のフォーマットに関する情報を含むことを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 前記取得手段により取得される素材データに基づいて、第３の形式により表される仮想視点画像を生成する生成手段を有し、
    前記変換手段は、生成手段により生成された仮想視点画像の形式を、前記第３の形式から第４の形式に変換する
    ことを特徴とする請求項１乃至１７のいずれか１項に記載の情報処理装置。
19. 複数の撮像装置が被写体を撮像することにより得られる複数の撮像画像に基づく仮想視点画像を生成するために使用される素材データであって、第１の形式により表される素材データを取得する取得工程と、
    前記素材データの出力先である他の装置により処理可能な素材データの形式を特定するための情報に基づいて、前記取得工程において取得された素材データの形式を前記第１の形式から第２の形式に変換する変換工程と、
    前記変換工程において前記第２の形式に変換された素材データを、前記他の装置に出力する出力工程と
    を有することを特徴とする情報処理方法。
20. コンピュータを、請求項１乃至１８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
    

Images