JP2021077238A - 出力装置、画像処理システム、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】 素材データに基づいて生成される仮想視点画像の品質を容易に参照できるようにする。【解決手段】 ファイル生成装置１１０は、複数の撮像装置が撮像領域を撮像することにより得られる複数の撮像画像に基づく素材データであって、仮想視点画像を生成するための素材データを取得する素材データ取得部１０２と、前記複数の撮像装置の設置位置及び撮像方向に基づいて決定される仮想視点画像の品質に係る品質情報と、前記取得手段により取得された素材データとを関連付けて出力するファイル生成部１０４とを有する。【選択図】 図３

Description

本発明は、仮想視点画像を生成する技術に関するものである。

近年、撮像領域の周囲に複数の撮像装置を配置して撮像を行い、それぞれの撮像装置から取得された複数の撮像画像を用いて、指定された視点（仮想視点）から見た画像（仮想視点画像）を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、スポーツの試合、コンサート、及び演劇等といった様々なイベントについて、任意の視点から見た画像を生成することができる。

特許文献１には、複数の撮像装置により撮像された撮像画像に基づいて仮想視点画像を生成する画像生成装置について記載されている。

特開２０１７−２１１８２８号公報

仮想視点画像を提供する方法として、撮像画像に基づくデータであって、仮想視点画像を生成するためのデータ（以下、素材データという）を画像生成装置に配信し、画像生成装置が仮想視点画像を生成する方法が考えられる。この方法では、画像生成装置は、素材データを生成する装置から素材データを取得し、取得された素材データと、ユーザにより指定された仮想視点とに基づいて、仮想視点画像を生成し、生成した仮想視点画像をユーザに提供する。

しかしながら、仮想視点画像の品質は、その基となる素材データの品質に影響を受ける。そして、素材データの品質は、仮想視点画像を生成するために使用される複数の撮像装置の設置位置及び撮像方向等の影響を受ける。例えば、各撮像装置の設置位置及び撮像方向に偏りがある場合、多くの撮像装置から撮像される範囲と少ない撮像装置により撮像される範囲とが生じる。これにより、少ない撮像装置により撮像される範囲における仮想視点画像を生成するための素材データは、少ない撮像画像に基づくデータであるため、精度が低下する可能性がある。このように、素材データの品質が複数の撮像装置の設置位置及び撮像方向等に応じて低下する場合がある。これにより、ユーザが指定した仮想視点によっては、仮想視点画像の品質が低下する可能性がある。

本発明は上記の課題に鑑みてなされたものである。その目的は、素材データに基づいて生成される仮想視点画像の品質を容易に参照できるようにすることである。

本発明に係る出力装置は、複数の撮像装置が撮像領域を撮像することにより得られる複数の撮像画像に基づく素材データであって、仮想視点画像を生成するための素材データを取得する第１の取得手段と、前記素材データに基づいて生成される仮想視点画像の品質に係る品質情報を取得する第２の取得手段と、前記第１の取得手段により取得された素材データと、前記第２の取得手段により取得された品質情報とを関連付けて出力する出力手段とを有することを特徴とする。

本発明によれば、素材データに基づいて生成される仮想視点画像の品質を容易に参照できるようになる。

複数の撮像装置の配置の一例を示す図である。 画像処理システムが有するファイル生成装置および画像生成装置のハードウェア構成を説明するための図である。 ファイル生成装置の機能構成を説明するための図である。 素材データファイルの構成の例を説明するための図である。 品質領域が近似される所定の立体図形の例を説明するための図である。 所定のまとまりごとにメタデータが付与された素材データファイルの一例を示す図である。 所定のまとまりごとにメタデータが付与された素材データファイルの一例を示す図である。 所定のまとまりごとにメタデータが付与された素材データファイルの一例を示す図である。 素材データファイルのフォーマットの一例を説明するための図である。 素材データファイルの構成の一例を説明するための図である。 ファイル生成装置１１０が行う処理を説明するためのフローチャートである。 画像生成装置１２０の機能構成を説明するための図である。 画像生成部１３０６が行う処理を説明するための図である。 制御部１３０４が行う表示制御の一例を説明するための図である。 制御部１３０４が行う表示制御の一例を説明するための図である。 制御部１３０４が行う表示制御の一例を説明するための図である。 制御部１３０４が行う入力制御の一例を説明するための図である。 画像生成装置１２０が行う処理を説明するためのフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。

本実施形態においては、仮想視点画像を生成するための素材データを含む素材データファイルを生成するファイル生成装置と、素材データファイルに基づいて仮想視点画像を生成する画像生成装置について説明する。仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。複数の撮像装置は、例えば図１に示す撮像装置１のように、撮像領域を囲むように配置されうるが、配置及び台数はこの例に限定されない。本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は静止画であるが、複数の仮想視点画像を組み合わせることにより、動画を生成することが可能である。例えば、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画は、１秒間に６０枚の仮想視点画像フレームを含む動画である。以下の説明においては、複数の仮想視点画像を組み合わせて生成された動画を構成する仮想視点画像フレームを、単にフレームと呼ぶ。

また、本実施形態においては、仮想視点画像を生成するためのデータを、素材データと呼ぶ。素材データは、複数の撮像装置が撮像領域を撮像することにより得られる複数の撮像画像、及び、複数の撮像画像に基づいて生成されるデータを含む。複数の撮像画像に基づいて生成されるデータは、例えば、シルエット画像、３次元モデルデータ、及び、テクスチャデータ等である。ここで、シルエット画像が、撮像画像における被写体に対応する領域を表す画像である。また、３次元モデルデータは、３次元空間における被写体の３次元形状を表すデータである。また、テクスチャデータは、３次元モデルデータに色付けをするためのデータである。

また、素材データは、仮想視点画像を生成するためのデータとして、撮像パラメータを含む。撮像パラメータは、撮像装置の設置位置、撮像方向（姿勢）及び画角を示すパラメータを含む。なお、撮像パラメータは、少なくとも撮像装置の設置位置及び撮像方向を示すパラメータが含まれていればよく、上記以外のパラメータがさらに含まれていてもよい。

なお、素材データは仮想視点画像を生成するためのデータであれば、含むデータの種類は限定されない。例えば、上記以外のデータを含んでいてもよいし、上記のうち必要な任意の種類のデータのみを含んでいてもよい。また、上記では３次元モデルデータを生成することにより仮想視点画像を生成する手法を用いる場合の素材データの例について記載した。しかしながら、３次元モデルデータを用いないイメージベースドレンダリングの手法を用いて仮想視点画像を生成する場合、仮想視点画像の生成に必要なデータは上記の素材データの例と異なる場合がある。このように、仮想視点画像の生成手法に応じて素材データが異なっていてもよい。素材データの生成方法の詳細については後述する。

本実施形態におけるファイル生成装置は、画像生成装置において所定の基準以上の品質を有する仮想視点画像が生成されるようにするための情報を含む素材データファイルを生成し、画像生成装置に出力する。なお、本実施形態における仮想視点画像の品質は、後述する画像処理システムにおいて定義づけられる品質であり、素材データの精度に依存する指標であるものとする。また、素材データの精度は、複数の撮像装置の設置位置及び撮像方向等の条件によって異なる場合がある。したがって、本実施形態におけるファイル生成装置は、複数の撮像装置の設置位置及び撮像方向に基づいて、所定の基準以上の品質を有する仮想視点画像が生成されるようにするための情報を決定する。

図２は、本実施形態における画像処理システムが有するファイル生成装置および画像生成装置のハードウェア構成を説明するための図である。図２における画像処理システム１００は、ファイル生成装置１１０と画像生成装置１２０とを有する。ファイル生成装置１１０は、ＣＰＵ（中央演算装置）１１１、ＲＯＭ（リードオンリーメモリ）１１２、ＲＡＭ（ランダムアクセスメモリ）１１３、補助記憶装置１１４、表示部１１５、操作部１１６、通信Ｉ／Ｆ１１７、およびバス１１８を有する。

ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３に格納されているコンピュータプログラムおよびデータを用いて、ファイル生成装置１１０の全体を制御する。なお、ファイル生成装置１１０がＣＰＵ１１１とは異なる一または複数の専用のハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートウェイ）、およびＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ１１２は、変更を必要としないプログラム等を格納する。ＲＡＭ１１３は、補助記憶装置１１４から供給されるプログラムおよびデータ、および通信Ｉ／Ｆ１１７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１１４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）、フラッシュメモリなどで構成され、画像データおよび音声データ等の様々なデータを記憶する。なお、補助記憶装置１１４は、単一のデバイスでなくてもよく、例えば、複数個又は複数種類の物理デバイスにより構成されていてもよい。

表示部１１５は、例えば液晶ディスプレイ、あるいはＬＥＤ等で構成され、ユーザがファイル生成装置１１０を操作するためのＧＵＩ（グラフィカルユーザインターフェース）等を表示する。操作部１１６は、例えばキーボード、マウス、ジョイスティック、およびタッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１１１に入力する。ＣＰＵ１１１は、表示部１１５を制御する表示制御部、および操作部１１６を制御する操作制御部として動作する。通信Ｉ／Ｆ１１７は、撮像システム１０１や画像生成装置等の、ファイル生成装置１１０の外部の装置との通信に用いられる。例えば、ファイル生成装置１１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１７に接続される。ファイル生成装置１１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１７はアンテナを備える。バス１１８は、ファイル生成装置１１０の各部をつないで情報を伝達する。

本実施形態では、表示部１１５と操作部１１６がファイル生成装置１１０の内部に存在するものとするが、表示部１１５と操作部１１６との少なくとも一方がファイル生成装置１１０の外部に別の装置として存在していてもよい。

以上が、ファイル生成装置１１０のハードウェア構成についての説明である。画像生成装置１２０におけるＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、補助記憶装置１２４、表示部１２５、操作部１２６、通信Ｉ／Ｆ１２７およびバス１２８についても、それぞれファイル生成装置１１０のＣＰＵ１１１〜バス１１８と同様の機能を有する。

図３は、本実施形態におけるファイル生成装置の機能構成を説明するための図である。図３におけるファイル生成装置１１０は、素材データ取得部１０２、領域特定部１０３、ファイル生成部１０４、及び、保存部１０５を有する。以下、各処理部について説明する。

素材データ取得部１０２は、撮像システム１０１から素材データを取得する。ここで、撮像システム１０１は、図１に示すような複数の撮像装置を有するシステムである。本実施形態における素材データ取得部１０２は、素材データとして、複数の撮像画像、及び、撮像パラメータを取得する。取得された素材データは、保存部１０５に保存される。保存部１０５は、図２における補助記憶装置１１４に対応する処理部である。なお、保存部１０５は、例えば、ネットワーク上に仮想化されたクラウド上のデバイスであってもよい。

領域特定部１０３は、素材データ取得部１０２が取得した撮像パラメータに基づいて、所定の基準以上の品質を有する仮想視点画像が生成される領域（以下、品質領域という）を特定する。以下、領域特定部１０３が品質領域を特定する方法の一例について説明する。領域特定部１０３は、撮像領域における３次元空間に対し、互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸を世界座標軸として定義する。なお、このときの原点は撮像領域における任意の位置に指定することが可能である。領域特定部１０３は、上記の世界座標軸によって定義された世界座標の全座標について、撮像パラメータを用いて射影変換を行い、撮像座標を算出する。撮像座標は、撮像装置から取得される撮像画像上における２次元座標である。撮像座標は、撮像座標を構成する画素に対応する。本実施形態における撮像座標は、撮像画像を構成する画素のうち撮像画像の頂点に対応する４つの画素のいずれかを原点とし、互いに直交するＸ軸及びＹ軸の２軸で表される座標系における座標である。このとき、Ｘ軸及びＹ軸は、それぞれ原点から撮像画像の幅方向及び高さ方向に沿って定義される。撮像座標は、複数の撮像装置それぞれの撮像パラメータを用いて、撮像装置ごとに算出される。なお、射影変換に使用される撮像パラメータは、定義された世界座標軸に合わせてあらかじめ公知のキャリブレーション手法等により算出されているものとする。

ここで、世界座標を射影変換することにより算出された撮像座標のうち少なくともいずれかの座標値が負の値又は撮像解像度に基づく撮像座標の値の範囲を超えた値である場合、変換前の世界座標に対応する位置は、撮像装置の画角外であると判定される。撮像解像度とは、撮像装置が撮像を行う際の解像度であり、例えば、ＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の場合における１９２０×１０８０の値である。このとき、世界座標を射影変換して得られる撮像座標の値を（Ｘｃ、Ｙｃ）であるとすると、撮像装置の画角に含まれる世界座標を射影変換して算出される撮像座標がとりうる座標値は（Ｘｃ、Ｙｃ）＝（０，０）〜（１９１９，１０７９）となる。算出された撮像座標（Ｘｃ、Ｙｃ）のうち、例えばＸｃの値がＸｃ＝２０３５であった場合、座標値が撮像解像度に基づく撮像座標の値の範囲を超えているため、変換前の世界座標に対応する位置は撮像装置の画角外であると判定される。

領域特定部１０３は、複数の撮像装置それぞれの撮像パラメータを使用し、世界座標に対応する位置が各撮像装置の画角に含まれるか否かを判定する。また、領域特定部１０３は、所定の数以上の撮像装置の画角に含まれる位置に対応する世界座標の集合を、品質領域として特定する。

品質領域と仮想視点画像の品質との関係について説明する。例えば、素材データの一つである３次元モデルデータは、複数の撮像画像に基づいて公知技術である視体積交差法（ｓｈａｐｅ−ｆｒｏｍ−ｓｉｌｈｏｕｅｔｔｅ法）を用いて生成される。視体積交差法を用いた３次元モデルデータの生成においては、アルゴリズムの関係上、被写体をより多くの方向から撮像することにより得られた撮像画像に基づいて３次元モデルデータを生成することで、生成される３次元モデルデータの精度が高くなる。ここで、本実施形態における複数の撮像装置は、図１に示すようにそれぞれ異なる方向から撮像領域を撮像する構成となっている。したがって、より多くの撮像装置から撮像される領域における被写体は、より多くの方向から撮像されていることになる。したがって、より多くの撮像装置により撮像された領域ほど、その領域に含まれる被写体の３次元モデルデータの精度がより高くなる。

また、例えば、素材データの一つであるテクスチャデータは、撮像画像に含まれる被写体の色情報（撮像画像の画素値）に基づいて生成される。このとき、被写体がより多くの方向から撮像されることにより、より多くの色情報が取得されるため、仮想視点から見たときの色を精度良く再現することが可能になる。また、被写体がより多くの方向から撮像されることにより、被写体に対して仮想視点の視点位置がいずれの位置に指定されても、仮想視点の視点位置から被写体を見たときの色が精度良く再現される。したがって、３次元モデルデータと同様に、より多くの撮像装置により撮像された領域ほど、その領域に含まれる被写体の色を表すテクスチャデータの精度がより高くなる。

このように、より多くの撮像装置により被写体が撮像されるほど、精度の高い素材データが生成される。また、素材データの精度が高いほど、素材データに基づいて生成される仮想視点画像の品質は高くなる。したがって、所定の基準以上の精度の素材データが生成されるために必要な台数の撮像装置により撮像される領域を品質領域として特定することにより、品質領域を視野に含む仮想視点に対応する仮想視点画像は一定以上の品質を有することが期待できる。本実施形態においては、仮想視点から見たときの範囲を表す指標として、仮想視点の視野という表現を用いる。仮想視点の視野は、撮像装置の画角と同様の指標であるものとする。

品質領域を特定するための所定の数は、所定の基準以上の精度の素材データが生成されるために必要な撮像装置の数であるとする。また、品質領域の外の領域については、品質領域内と比較して相対的に仮想視点画像の品質が低いことが想定される。このように、品質領域は、仮想視点画像の品質に係る情報であって、撮像領域において品質の高い仮想視点画像が生成される領域を示す。

品質領域を特定する際に使用される所定の数は、例えば、撮像システム１０１の規模に応じて異なる数が設定されてもよい。例えば、撮像システム１０１が有する撮像装置が１００台である場合、所定の数として、撮像装置全体の台数の８割である８０が設定される。また例えば、撮像システム１０１が有する撮像装置が１０台である場合、所定の数として、撮像装置全体の台数である１０が設定される。なお、上記の所定の数は一例であり、上記以外の値が設定されてもよい。また、第１の所定の数として８０が設定され、第２の所定の数として６０が設定されるというように、複数の所定の数が設定されてもよい。これにより、領域特定部１０３は、異なる品質の仮想視点画像が生成される領域を、より細かい品質の段階ごとに特定することが可能になる。また、本実施形態における領域特定部１０３は、所定の数以上の撮像装置により撮像される領域を特定するが、これに限定されない。領域特定部１０３は、所定の数未満の撮像装置により撮像される領域を特定してもよい。これにより、品質の低い仮想視点画像が生成される領域が特定されるため、品質の高い仮想視点画像が生成される領域も識別可能になる。

また、本実施形態においては、所定の基準以上の品質を有する仮想視点画像が生成される領域として、所定の数以上の撮像装置により撮像される撮像領域を特定する構成について説明したが、これに限定されない。例えば、領域が撮像される方向に基づいて、所定の基準以上の品質を有する仮想視点画像が生成される領域が特定される構成であってもよい。例えば、所定の数以上の撮像装置により撮像される領域であっても、その領域を撮像する撮像装置の撮像方向に偏りがある場合、その領域における被写体が特定の方向から撮像されない状況が起こりうる。これにより、視体積交差法によって生成される３次元モデルデータの形状の精度が低下したり、特定の方向に対応する被写体の色を精度よく再現できない場合がある。したがって、領域特定部１０３は、所定の数以上の撮像装置により撮像され、且つ各撮像装置の撮像方向が所定の条件を満たすような領域を品質領域として特定する。所定の条件としては、例えば、隣り合う撮像装置のそれぞれの撮像方向どうしがなす角が所定の閾値未満であること等が設定される。この条件が、隣り合う撮像装置のすべての組み合わせについて満たされる場合、領域が撮像される方向に偏りがないことを示す。上記の構成によれば、より精度の高い素材データが生成される領域を特定することが可能となる。なお、領域特定部１０３は、領域を撮像する撮像装置の台数によらずに、領域を撮像する各撮像装置の撮像方向が所定の条件を満たすか否かに基づいて、品質領域を特定する構成であってもよい。

上述したように、領域特定部１０３は、複数の撮像装置の設置位置及び撮像方向を示す撮像パラメータに基づいて、品質領域を特定する。ファイル生成部１０４は、保存部１０５に保存された素材データと、領域特定部１０３において特定された品質領域を示す情報とを含む素材データファイルを生成する。以下、図４を用いて素材データファイルの構成の例について説明する。

図４（ａ）は、素材データ２０１にメタデータ２０２が付与された素材データファイルの構成の一例である。メタデータ２０２には、品質領域を示す品質情報２０３が含まれる。品質情報２０３はＮ個の座標データから構成され、各座標データは世界座標のＸ，Ｙ，Ｚの座標値を持つ。品質情報２０３に含まれる座標データは、上述した品質領域を表す世界座標である。例えば、数値Ｎが８の場合、８個の世界座標のそれぞれを頂点とする六面体により、品質領域が表現される。図４（ｂ）は、素材データに付与されるメタデータの構成の別の例である。メタデータ３０２に含まれる品質情報３０３は、世界座標上における特定の座標と、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれに平行な３つの線分の長さａ、ｂ、ｃが含まれる。品質情報３０３は、所定の立体図形に近似された品質領域を示す。

所定の立体図形の例を図５に示す。図５（ａ）、（ｂ）及び（ｃ）は、それぞれ直方体、円柱及び半球に近似された品質領域４０２、５０２及び６０２を示す。それぞれの品質領域は、特定の座標４０１、５０１及び６０１において直交する３つの線分により表される。各線分はそれぞれＸ軸、Ｙ軸、Ｚ軸と平行であり、線分の長さはそれぞれａ、ｂ、ｃである。なお、円柱及び半球の底面は楕円となる場合もある。品質領域を所定の立体図形に近似する方法の一例を説明する。領域特定部１０３は、例えば、品質領域に含まれる複数の座標について、Ｘ及びＹの値を最小二乗法を用いて形状の底面の形状に近似することにより、Ｘ軸長ａ及びＹ軸長ｂを算出する。また、領域特定部１０３は、品質領域に含まれる複数の座標のうち最大のＺの値に基づいてＺ軸長ｃを算出する。なお、ここでは最小二乗法としたが、近似計算の手法については限定しない。また、図４（ｂ）の例においては、品質領域を近似する立体図形としてあらかじめいずれかの図形が定まっている場合について説明したが、例えば図４に示す図形のうち任意の図形に近似させることが可能な構成であってもよい。この場合、品質情報３０３には、所定の立体図形を指定するための図形情報がさらに含まれる。図形情報としては、例えば直方体の場合は「０」、円柱の場合は「１」、半球の場合は「２」というようにあらかじめ割り振られた符号が用いられてもよい。図形情報は上記に限定されず、立体図形の種類を特定可能な情報であればよい。また、所定の立体図形についても図４に示す図形以外の形状が用いられてもよい。

図４（ｃ）は、素材データに付与されるメタデータの構成の別の例である。図４（ｃ）におけるメタデータ４０２は、品質情報７０１として、保存部１０５又は外部に接続された記憶装置等において品質領域を示す情報が格納されている場所を示すポインタ情報を含む。品質領域を示す情報は品質領域テーブル７０２として保存部１０４に格納される。品質領域テーブル７０２には１つ以上の品質領域を示す情報が格納される。品質領域テーブル７０２に含まれる情報は、それぞれ、異なる撮像システムによって特定された品質領域、又は、撮像システムは同様の構成であるが品質領域の特定時に使用された所定の数が異なる品質領域である。また、品質領域テーブル７０２に格納される情報は、例えば品質情報２０３又は品質情報３０３のフォーマットと同様である。品質情報７０１には、素材データ４０１に対応する品質領域に関する情報が格納されている場所を示すポインタ情報が含まれる。図４に示す例においては、素材データ４０１に対応する品質領域は領域Ｃであるため、品質情報７０１には領域Ｃを示すポインタ情報が含まれる。

以上、素材データファイルの構成の一例として、素材データに品質情報をメタデータとして付与する構成について説明した。なお、素材データファイルは、メタデータとして、品質情報以外の情報をさらに含んでいてもよい。例えば、撮像されたイベントに関する情報として、イベントの種類（例えばスポーツやコンサート等）、イベントの名称（例えば大会名等）、及びイベントの詳細（例えば開催日、出場チーム名及びアーティスト名等）等の情報がメタデータとして付与されてもよい。また、素材データを生成する際に行われた処理の内容を示す情報、処理中に発生したエラー等を示す情報、素材データそのものの品質を示す情報等がメタデータとして付与されてもよい。また、仮想視点画像に付加する情報として、仮想的な広告を表す画像データ、選手のプロフィール等の情報、又はそれらの情報が記憶された場所を示すアドレス情報等がメタデータとして付与されてもよい。このように、素材データファイルには種々の情報が含まれ得る。素材データファイルに含まれる情報は一例であり、上記以外の情報が含まれていてもよいし、上記のうち任意の情報のみが含まれていてもよい。

次に、素材データファイルのメタデータに品質情報を付与する方法の例について説明する。後述する画像生成装置において複数の仮想視点画像を組み合わせた動画が生成される場合は、動画を構成する各フレームを生成するための素材データについて、所定の素材データのまとまりごとに品質情報が関連付けられる。このような構成とすることにより、動画を生成する際の素材データの扱いが容易になる効果がある。詳細については、図面を参照しながら説明する。

図６は、所定の素材データのまとまりとして、フレームを生成するための素材データのまとまりごとにメタデータが付与された素材データファイルの一例を示す図である。素材データ８０２は、特定の時刻Ｔに行われた撮像により得られた複数の撮像画像に基づく素材データである。特定の時刻Ｔは、例えば撮像が６０ｆｐｓで行われる場合、撮像タイミング８０３に示す時刻Ｔ＝０、Ｔ＝１、Ｔ＝２、Ｔ＝３．．．のような１／６０秒間隔の時刻となる。すなわち、素材データ８０２に基づいて、特定の時刻Ｔに対応するフレームが生成される。メタデータ８０１には、特定の時刻Ｔを示す時刻情報８０４及び品質情報８０５が含まれる。品質情報８０５は、図４における品質情報２０３、３０３又は７０１と同様の構成であるとする。時刻情報８０４のフォーマットとしては、例えばＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）等が使用される。ただし時刻情報８０４のフォーマットはこれに限定されず、ＭＰＴＥ以外のフォーマットが使用されてもよい。図６のようにフレームごとにまとめられた素材データに品質情報を付与することで、任意のフレームのみ、又は任意のフレームから始まる連続したフレームを用いて動画を生成する際に、フレーム単位で品質を把握することが容易になる。

図７は、所定の素材データのまとまりとして、複数のフレームのまとまりごとにメタデータが付与された素材データファイルの例を示す図である。図７の例では、撮像システム１０１が撮像を行う時間範囲において、各撮像装置の設置位置及び撮像方向が変化しない時間範囲に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまりごとにメタデータが付与される。なお、本実施形態においては設置位置及び撮像方向の少なくともいずれかが変化する場合について説明するが、撮像装置の画角など、上記以外の条件が変更された場合についても同様に適用可能である。

図７の例では、時刻Ｔ＝Ｎ及びＴ＝Ｍにおいて撮像装置の設置位置及び撮像方向の少なくともいずれかが変化している。このとき、ファイル生成部１０４は、複数の撮像装置の設置位置及び撮像方向が変化しない時間範囲であるＴ＝０〜Ｎ−１に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまり９０１に対して、メタデータを付与する。なお、Ｔ＝Ｎ〜Ｍ−１及びＴ＝Ｍ以降の時刻に対応する素材データについても、同様にメタデータが付与される。なお、Ｎ及びＭはそれぞれ３以上の整数であり、Ｍ＞（Ｎ＋２）であるものとする。すなわち、複数の撮像装置の設置位置及び撮像方向が変化しない時間範囲において二以上の撮像が行われるものとする。まとまり９０１に含まれる複数の素材データ９００及びメタデータ９０２は、Ｔ＝０〜Ｎ−１における各時刻に行われた撮像により得られた撮像画像に基づく素材データ及び素材データに付与されたメタデータである。素材データ９００及びメタデータ９０２の構成は、それぞれ図６に示す素材データ８０２及びメタデータ８０１と同様である。

また、まとまり９０１に付与されるメタデータ９０３は、品質情報９０４を含む。品質情報９０４は、図４における品質情報２０３、３０３又は７０１と同様の構成であるとする。本実施形態においては、撮像装置の設置位置及び撮像方向が変化しない場合、品質領域も変化しない。したがって、まとまり９０１に対して一つの品質情報を付与されることにより、同一の品質領域ごとに素材データを扱うことが容易になる。また、これにより、まとまり９０１に含まれる素材データ９００に付与されたメタデータ９０２に含まれる品質情報については、省略することが可能になる。品質情報が省略されることにより、素材データファイルのデータ量が削減される等の効果が得られる。ただし、メタデータ９０２に含まれる品質情報は必ずしも省略されなくてもよい。

図８は、所定の素材データのまとまりとして、複数のフレームのまとまりごとにメタデータが付与された素材データファイルの別の例を示す図である。図８の例では、撮像システム１０１が撮像を行う時間範囲において、所定の長さの時間範囲に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまりごとにメタデータが付与される。ファイル生成部１０４は、所定の長さＮの時間範囲であるＴ＝０〜Ｎ−１に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまり１００１に対してメタデータを付与する。なお、Ｔ＝Ｎ〜２Ｎ−１及びＴ＝２Ｎ以降の時刻に対応する素材データについても、同様にメタデータが付与される。なお、Ｎは３以上の整数であるものとする。すなわち、所定の長さの時間範囲において二以上の撮像が行われるものとする。まとまり１００１に含まれる複数の素材データ１０００及びメタデータ１００２は、Ｔ＝０〜Ｎ−１における各時刻に行われた撮像により得られた撮像画像に基づく素材データ及び素材データに付与されたメタデータである。素材データ１０００及びメタデータ１００２の構成は、それぞれ図６に示す素材データ８０２及びメタデータ８０１と同様である。

メタデータ１００３は、時刻情報及び品質情報を含む。なお、図８の例は、所定の長さＮの時間範囲Ｔ＝０〜Ｎ−１において、途中で撮像装置の設置位置及び撮像方向の少なくともいずれかが変化した場合を示している。このとき、撮像装置の設置位置及び撮像方向の少なくともいずれかが変化した時刻において、品質領域も変化する。したがって、時刻情報及び品質情報は、品質領域が変化しない時間範囲ごとに付与される。例えば、Ｔ＝Ｍにおいて品質領域が変化した場合、時刻情報１００５はＴ＝０〜Ｍ−１を示す情報であり、品質情報１００６は、Ｔ＝０〜Ｍ−１における品質領域を示す。また、時刻情報１００７はＴ＝Ｍ〜Ｎ−１を示す情報であり、品質情報１００６は、Ｔ＝Ｍ〜Ｎ−１における品質領域を示す。

図８のような構成とすることにより、後述する画像生成装置において、所定の長さごとに動画を生成したり素材データを扱う際の処理が容易になる効果がある。なお、所定の長さの時間範囲ではなく、所定のシーンごと（例えば、サッカーにおけるゴールシーン等）にまとめられた素材データに対しメタデータが付与される構成であってもよい。

次に、素材データファイルのファイルフォーマットの一例について説明する。なお本実施形態においては、素材データファイルのファイルフォーマットとして、ＩＳＯ／ＩＥＣ １４４９６−１２（ＭＰＥＧ−４ Ｐａｒｔ１２） ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ（以下、ＩＳＯ ＢＭＦＦという）規格に基づいた例について説明する。また、以下では、素材データファイルに基づいて生成される仮想視点画像を動画として再生するためのデータを、メディアデータと呼ぶ。

図９は、本実施形態におけるＩＳＯ ＢＭＦＦの構成の一例を説明するための図である。図９（ａ）に示すＩＳＯ ＢＭＦＦファイル１２００は、ｆｔｙｐ（Ｆｉｌｅ Ｔｙｐｅ Ｃｏｍｐａｔｉｂｉｌｉｔｙ Ｂｏｘ）１２０１、ｍｏｏｖ（Ｍｏｖｉｅ Ｂｏｘ）１２０２、ｍｅｔａ（ｍｅｔａｄａｔａ）１２０３、ｍｄａｔ（Ｍｅｄｉａ Ｄａｔａ Ｂｏｘ）１２０４のボックスから構成される。ボックスｆｔｙｐ１２０１には、ファイルフォーマットの情報、ボックスのバージョン、および、映像ファイルを作成したメーカの名称等が記載される。ボックスｍｏｏｖ１２０２には、メディアデータを管理するために必要な情報である、動画の再生時間、データサイズ、およびアドレス等が含まれる。ボックスｍｅｔａ１２０３には、品質領域を示す情報（品質情報）が含まれる。ボックスｍｄａｔ１２０４には、実際に動画として再生されるメディアデータが含まれる。

図１０（ａ）は、ボックスｍｅｔａ１２０３の構成の一例を示す図である。ＦｒｅｅＶｉｅｗＰｏｉｎｔＩｍａｇｅ＿ｇｅｎｅｒａｔｅ＿ａｒｅａ＿ｉｎｆｏは、品質領域に関する情報（品質情報）が格納されるボックスである。

ＦｒｅｅＶｉｅｗＰｏｉｎｔＩｍａｇｅ＿ｇｅｎｅｒａｔｅ＿ａｒｅａ＿ｉｎｆｏボックスに関する情報は、以下のとおりである。
Ｂｏｘ Ｔｙｐｅ：‘ｆｖｇａ‘
Ｃｏｎｔａｉｎｅｒ：Ｍｅｔａ ｂｏｘ（‘ｍｅｔａ‘）
Ｍａｎｄａｔｏｒｙ：Ｎｏ
Ｑｕａｎｔｉｔｙ：Ｚｅｒｏ ｏｒ ｏｎｅ

また、ＦｒｅｅＶｉｅｗＰｏｉｎｔＩｍａｇｅ＿ｇｅｎｅｒａｔｅ＿ａｒｅａ＿ｉｎｆｏボックスのシンタックスの例を図１０（ｂ）及び（ｃ）に示す。ｏｆｆｓｅｔ＿ｓｉｚｅ、ｌｅｎｇｔｈ＿ｓｉｚｅ、ｂａｓｅ＿ｏｆｆｓｅｔ＿ｓｉｚｅ、ｉｎｄｅｘ＿ｓｉｚｅ、及び、ｒｅｓｅｒｖｅｄはＩＳＯ ＢＭＦＦの規格書に記載される、ボックスの大きさ等に関係する符号である。

図１０（ｂ）におけるｍａｘ＿ｎｕｍ＿ｃｏｏｒｄｉｎａｔｅ＿ｍｉｎｕｓ１は品質領域を表す座標の数を示す符号であり、図４（ａ）における品質情報２０３の数値Ｎに相当する。ｃｏｏｒｄｉｎａｔｅ＿ｘ、ｃｏｏｒｄｉｎａｔｅ＿ｙ、及びｃｏｏｒｄｉｎａｔｅ＿ｚはそれぞれＸ座標の値、Ｙ座標の値、及びＺ座標の値を示した符号であり、図４（ａ）における品質情報２０３の各座標値に対応する。

また、図１０（ｃ）におけるａｒｅａ＿ｓｈａｐｅ＿ｃｏｄｅは映像生成領域の形状を表す符号である。例えば、その値が０の場合は直方体、１の場合は円柱、及び２の場合は半球を表すというように、図形に対して所定の符号が割り当てられる。なお、割り当てられる符号及び表現される図形の種類は上記に限定されない。ｏｒｉｇｉｎａｌ＿ｃｏｏｒｄｉｎａｔｅ＿ｘ、ｏｒｉｇｉｎａｌ＿ｃｏｏｒｄｉｎａｔｅ＿ｙ、及び、ｏｒｉｇｉｎａｌ＿ｃｏｏｒｄｉｎａｔｅ＿ｚはａｒｅａ＿ｓｈａｐｅ＿ｃｏｄｅで規定された立体図形を表すための特定の座標の値である。この座標値は、図５における座標４０１、５０１、及び６０１の座標値に対応する。ｘ＿ａｘｉｓ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｎｇｔｈ、ｙ＿ａｘｉｓ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｎｇｔｈ、及び、ｚ＿ａｘｉｓ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｎｇｔｈは、特定の座標において直交する３つの線分のそれぞれの長さを表す。この値は、図５におけるａ，ｂ及びｃの値に対応する。

なお、図９（ａ）に示すＩＳＯ ＢＭＦＦファイル１２００においては、品質情報をｍｅｔａ１２０３に格納したが、この例に限らない。例えば、仮想視点画像に係る情報を格納するための新たなボックスが設けられてもよい。図９（ｂ）に示すように、ＩＳＯ ＢＭＦＦファイル１２００に、例えば仮想視点画像に係る情報を格納する専用のボックスとして、ｆｖｖｉ（Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ Ｖｉｄｅｏ Ｉｎｆｏ）１２０５が新たに設けられてもよい。ｆｖｖｉ１２０５には、品質情報の他、仮想視点画像に係る種々の情報を格納することが可能である。また、ｍｅｔａ１２０３およびｆｖｖｉ２０５は、動画（シーケンス）全体、動画に含まれる複数フレームから構成される映像クリップごと、および、フレームごとに設けることができる。例えば、図９（ｃ）に示すように、ボックスｍｏｏｖ１２０２の中にボックスｍｅｔａ１２０６が設けられてもよい。また例えば、ボックスｍｏｏｖ１２０２の中にある不図示のボックスｍｏｏｆ（Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ Ｂｏｘ）の中に、ボックスｍｅｔａ１２０６が設けられてもよい。あるいは、図９（ｄ）に示すように、ボックスｆｖｖｉ１２０５が複数のボックスｆｖｖｉ８０７に分かれて設けられてもよい。

ファイル生成部１０４は、上述したような構成の素材データファイルを生成することにより、ユーザが素材データファイルを利用して仮想視点画像を生成したり、素材データを保管して管理したりする際の利便性が向上する。すなわち、品質情報が素材データと適切に紐づけられているため、品質情報を参照して仮想視点画像の生成を行うことが容易になる。また、素材データと品質情報とが同一のファイルに格納されているため、ユーザによる素材データの管理が容易になる。さらに、所定のファイルフォーマットに従い素材データファイルを生成することにより、後述する画像生成装置１２０においても共通のファイルフォーマットに従って仮想視点画像を生成することができるようになる。すなわち、共通のファイルフォーマットに準拠する他の装置にも素材データが適用可能になるという効果がある。また、素材データの一部を扱う、あるいはまとめて扱う等の場合に、扱いが容易になるという効果がある。なお、本実施形態においては、ＩＳＯ ＢＭＦＦ規格に基づいた例について説明したが、フォーマットはこれに限定されない。ファイルフォーマットは、他の標準規格でもよいし、独自のフォーマットでもよい。

ファイル生成部１０４は、生成した素材データファイルを保存部１０５に保存する。保存された素材データファイルは、後述する画像生成装置１２０が仮想視点画像を生成する際に使用される。なお、ファイル生成部１０４から直接画像生成装置１２０に素材データファイルが送信される構成であってもよい。

図１１は、ファイル生成装置１１０が行う処理を説明するためのフローチャートである。ＣＰＵ１１１がＲＯＭ１１２または補助記憶装置１１４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。以降の説明においては、処理ステップを単にＳと表記する。撮像システム１０１から送信された素材データを取得すると、処理が開始される。

Ｓ１１０１において、素材データ取得部１０２は、素材データとして、複数の撮像画像、及び、撮像パラメータを取得する。Ｓ１１０２において、領域特定部１０３は、素材データ取得部１０２が取得した撮像パラメータに基づいて、品質領域を特定する。領域特定部１０３は、撮像領域における世界座標を、複数の撮像装置それぞれの撮像パラメータを用いて射影変換を行うことにより、各撮像装置に対応する撮像座標を算出する。また、領域特定部１０３は、算出された撮像座標に基づき、変換前の世界座標が撮像装置の画角に含まれるか否かを判定する。上記の処理を行うことにより、領域特定部１０３は、所定の数以上の撮像装置の画角に含まれる世界座標の集合を、品質領域として特定する。

Ｓ１１０３において、ファイル生成部１０４は、保存部１０５に保存された素材データと、領域特定部１０３において特定された品質領域を示す情報とを含む素材データファイルを生成する。ファイル生成部１０４は、例えば、素材データに対し、品質領域を示す品質情報をメタデータとして付与する。付与される品質情報は、例えば、図４（ａ）に示すような、３次元座標により表される領域、及び図（ｂ）に示すような、撮像領域における特定の座標及びその座標において互いに直交する３つの線分のそれぞれの長さを示す情報により表される領域等である。また、図４（ｃ）に示すように、品質領域を示す情報が格納された場所を示すポインタ情報が付与されてもよい。また、ファイル生成部１０４は、素材データの所定のまとまりごとに品質情報を付与した素材データファイルを生成する。所定のまとまりは、例えば、特定の時刻、複数の撮像装置の設置位置及び撮像方向が変化しない時間範囲、又は、所定の長さの時間範囲のいずれかに行われた撮像により得られた撮像画像に基づく素材データのまとまりである。また、ファイル生成部１０４は、例えばＩＳＯ ＢＭＦＦ規格に基づく素材データファイルを生成する。Ｓ１１０４において、ファイル生成部１０４は、生成した素材データファイルを保存部１０５に保存する。以上で処理が終了する。

以上説明したファイル生成装置１１０は、素材データと、仮想視点画像の品質に関する情報とを関連付けて出力する。これにより、生成される仮想視点画像の品質を容易に参照することができるようになる。

次に、素材データに基づいて仮想視点画像を生成する画像生成装置１２０について説明する。画像生成装置１３０のハードウェア構成は、図２に示すように、ファイル生成装置１１０と同様の構成である。図１２は、画像生成装置１２０の機能構成を説明するための図である。画像生成装置１２０は、ファイル取得部１３０１、領域抽出部１３０２、素材データ抽出部１３０３、制御部１３０４、表示部１３０５、画像生成部１３０６、及び、入力部１３０７を有する。以下、各処理部について説明する。

ファイル取得部１３０１は、ファイル生成装置１１０に保存されている素材データファイルを取得する。領域抽出部１３０２は、ファイル取得部１３０１が取得した素材データファイルに含まれる品質領域を示す情報（品質情報）を抽出する。素材データ抽出部１３０３は、ファイル取得部１３０１が取得した素材データファイルに含まれる素材データを抽出する。なお、本実施形態においては、素材データファイルに含まれる素材データは、ファイル生成装置１１０において素材データ取得部１０２が取得した複数の撮像画像及び撮像パラメータであるものとして説明を行う。制御部１３０４は、領域抽出部１３０２が抽出した品質情報に基づいて、生成される仮想視点画像の品質をユーザに識別可能にさせる制御を行う。制御内容の詳細については後述する。画像生成部１３０６は、素材データ抽出部１３０６が抽出した素材データに基づいて仮想視点画像を生成する。

画像生成部１３０６の詳細について、図１３を用いて説明する。画像生成部１３０６は、仮想視点画像の生成処理の各工程に対応する分離部１３１１、シルエット生成部１３１２、テクスチャ生成部１３１３、３次元モデル生成部１３１４、及び、画像生成処理部１３１５を有する。分離部１３１１は、素材データ抽出部１３０３において抽出された素材データに含まれる複数の撮像画像における被写体の領域（以下、被写体領域という）を抽出する。本実施形態においては、撮像領域において動きのあるオブジェクト（例えば、選手やボールなど）を被写体という。

分離部１３１１は、複数の撮像装置により連続する時間において撮像された複数の撮像画像同士を比較することにより、画素値に変化のない領域を検出する。分離部１３１１は、検出した領域を背景領域であると判定し、背景領域に基づいて背景画像を生成する。また、分離部１３１１は、生成した背景画像と撮像画像とを比較し、画像値の差が所定の閾値以上である領域を被写体領域であると判定し、被写体領域を抽出する。なお、被写体領域を抽出する方法は上記に限定されない。分離部１３１１は、例えば、連続する時間において撮像された複数の撮像画像同士を比較し、画素値の変化量が所定の閾値以上である領域を被写体領域として抽出してもよい。

シルエット生成部１３１２は、分離部１３１１が抽出した被写体領域に基づいて、撮像画像における被写体の領域を示すシルエット画像を生成する。シルエット生成部１３１２は、撮像画像において被写体領域に対応する画素の値を「１」、及び被写体領域以外の領域に対応する画素の値を「０」とすることにより、シルエット画像を生成する。なお、画素値は一例であり、他の値が使用されてもよい。テクスチャ生成部１３１３は、分離部１３１１が抽出した被写体領域に基づいて、被写体の形状を表す３次元モデルデータに色付けをするためのテクスチャデータを生成する。テクスチャデータは、撮像画像における被写体領域に対応する画素の値に基づいて生成される。

３次元モデル生成部１３１４は、シルエット生成部１３１２において生成されたシルエット画像に基づいて、被写体の形状を表す３次元モデルデータを生成する。本実施形態における３次元モデルデータは、視体積交差法を用いて生成されるものとする。画像生成処理部１３１５は、３次元モデル生成部１３１４において生成された３次元モデルデータに対し、テクスチャ生成部１３１３において生成されたテクスチャデータを用いて色付けを行う。また、画像生成処理部１３１５は、色付けされた３次元モデルデータを用いて仮想視点画像を生成する。このとき、後述する入力部１３０７に対して行われたユーザ操作に基づいて指定される仮想視点に応じた仮想視点画像が生成される。例えば、指定された仮想視点の視点位置及び仮想視点からの視線方向を考慮し、テクスチャデータに含まれる画素値をブレンドすることにより得られる色を用いて、３次元モデルデータの色付けがされる。

以上、画像生成部１３０６が有する各処理部について説明した。画像生成部１３０６において生成されるシルエット画像、テクスチャ画像、及び３次元モデルデータも、仮想視点画像を生成するためのデータであるので、素材データに含まれる。なお、分離部１３１１、シルエット生成部１３１２、テクスチャ生成部１３１３及び３次元モデル生成部１３１４は、それぞれが画像生成装置１２０とは異なる装置に含まれていてもよい。例えば、撮像システム１０１が有する複数の撮像装置のそれぞれに分離部１３１１及びシルエット生成部１３１２が含まれていてもよい。この場合、ファイル生成装置１１０は、素材データとして複数の撮像画像、シルエット画像及び撮像パラメータを取得する。また、ファイル生成装置１１０における素材データ取得部１０３が上記のうち任意の処理部と同等の処理行う構成であってもよい。例えば、素材データ取得部１０２がシルエット画像、テクスチャデータ及び３次元モデルデータの少なくともいずれかを生成する構成であってもよい。ファイル生成装置１１０は、取得あるいは生成した素材データを用いて素材データファイルを生成する。以上説明したように、分離部１３１１、シルエット生成部１３１２、テクスチャ生成部１３１３及び３次元モデル生成部１３１４は、処理順に対応してそれぞれ撮像システム１０１、ファイル生成装置１１０及び画像生成装置１２０のいずれかに含まれていればよい。また、それぞれが独立した処理装置として外部に接続される構成であってもよい。

図１２に戻り、入力部１３０７は、図２における操作部１２６に対応し、仮想視点画像に係る仮想視点を指定するためのユーザ操作を受け付ける。ユーザは、例えばジョイスティックやタッチパネルを用いて仮想視点の視点位置及び仮想視点からの視線方向を指定するための操作を行う。入力部１３０７が受け付けたユーザ操作に基づいて、画像生成部１３０６において仮想視点が指定されることにより、指定された仮想視点からの見えを表す仮想視点画像が生成される。生成された仮想視点画像は表示部１３０５に表示される。ユーザは表示部１３０５に表示される仮想視点画像を見ながら、仮想視点を指定するための操作を行うことができる。

なお、本実施形態における表示部１３０５及び入力部１３０７は画像生成装置１２０の内部に含まれる構成としたが、これに限定されない。例えば、表示部１３０５及び入力部１３０７の少なくともいずれかが、独立した装置として画像生成装置１２０の外部に接続される構成であってもよい。

ここで、制御部１３０４が行う表示部１３０５の表示制御について説明する。図１４は、制御部１３０４が行う表示制御の一例を説明するための図である。制御部１３０４は、品質情報が示す品質領域を識別可能な表示を表示部１３０５に表示させる。図１４（ａ）及び（ｂ）は、表示部１３０５に表示される画面表示の一例であり、撮像領域を上から見た図を表している。図１４（ａ）において、斜線で表される領域１４０１は品質領域を示している。また、アイコン１４０２及びアイコン１４０３は各被写体の位置を示すアイコンである。図１４（ａ）では、人型のアイコンにより被写体が模式的に表されているが、アイコンの種類はこれに限定されない。例えば、撮像領域における被写体の位置に矢印や丸などの記号を表示することにより、被写体の位置が示されてもよい。また、各被写体を識別可能にするための被写体情報が表示されてもよい。例えば、被写体がスポーツ選手である場合、被写体情報として、氏名、背番号、ポジションの名称、あるいはチーム名等の情報が表示されてもよい。また、被写体の位置を示すアイコンと共に被写体情報が表示されてもよいし、どちらか一方が表示されてもよい。

ここで、領域１４０１は、一定の品質を有する仮想視点画像が生成され得る所定の数以上の撮像装置により撮像された領域である。したがって、領域１４０１に含まれるアイコン１４０２は、領域１４０１の外に位置するアイコン１４０３よりも精度が高いことが期待される。ユーザは、図１４（ａ）に示す画面表示を見ることにより、仮想視点の視点位置及び仮想視点からの視線方向に応じて異なる品質の仮想視点画像が生成されることを識別することが可能になる。すなわち、ユーザは領域１４０１を視野に含むような仮想視点の視点位置及び仮想視点からの視線方向が指定されるようにユーザ操作を行うことにより、品質の高い仮想視点画像が得られることがわかる。

図１４（ｂ）は、表示部１３０５に表示される画面表示の別の例を示す図である。領域１５０１は品質領域を示し、モデル１５０２及びモデル１５０３は、それぞれ被写体の３次元モデルデータを示す。図１４（ｂ）の例においては、領域１５０１に含まれる３次元モデルデータが太線により強調表示されている。したがって、モデル１５０２はモデル１５０３よりも太い線により表されている。これにより、ユーザは精度よく生成された３次元モデルデータを容易に識別することができる。すなわち、ユーザは、強調表示された３次元モデルデータを視野に含むような仮想視点を指定するようにユーザ操作を行うことにより、品質の高い仮想視点画像が得られることがわかる。制御部１３０４が行う強調表示は図１４（ｂ）の例に限定されない。例えば、赤色などの所定の色を３次元モデルデータに重畳させたり、３次元モデルデータを点滅表示したりする等、種々の方法が使用されてもよい。また、制御部１３０４は、領域１５０１の外に位置する３次元モデルデータの色の透明度を上げることにより薄く表示されるようにしてもよい。

図１５は、品質情報が示す品質領域が複数ある場合に制御部１３０４が行う表示制御の一例を説明するための図である。図１５（ａ）は、素材データファイルの構成を示す図であり、品質情報１６０１には複数の品質領域を示す情報が含まれている。例えば、品質領域Ａは、８０台以上の撮像装置から撮像される領域を示すものとする。また、品質領域Ｂは、６０台以上８０台未満の撮像装置から撮像される領域を示すものとする。また、品質領域Ｃは、４０台以上６０台未満の撮像装置から撮像される領域を示すものとする。図１５（ｂ）は、各品質領域を識別可能にする画面表示の一例であり、領域１７０１、領域１７０２及び領域１７０３は、それぞれ品質領域Ａ、品質領域Ｂ及び品質領域Ｃを示す。これにより、ユーザは、指定される仮想視点によって生成される仮想視点画像の品質が段階的に異なることを認識することができる。

また、図１５に示すように、品質領域Ａ、品質領域Ｂ及び品質領域Ｃのそれぞれに「品質 高」「品質 中」「品質 低」という品質ランク情報が紐づけられていてもよい。また上記の品質ランク情報は、素材データファイルにあらかじめ含まれていてもよい。また、図１５（ｂ）に示すように、品質ランク情報が表示部１３０５に表示されてもよい。これにより、ユーザは直感的に仮想視点画像の品質を認識することが可能になる。

図１６は、制御部１３０４が行う表示制御の別の例を説明するための図である。例えば、ユーザは図１４に示すような品質領域を識別可能な表示画面を見ながら、仮想視点を指定するための操作を行う。これにより、仮想視点１８００の視点位置及び仮想視点からの視線方向１８０２が指定され、図１６（ａ）のような画面表示がされる。図１６（ａ）において、仮想視点画像が生成される範囲１８０３は、仮想視点１８００の視点位置及び仮想視点１８００からの視線方向１８０２により決定される。図１６（ａ）においては、範囲１８０３は品質領域である領域１８０１に含まれるため、品質の高い仮想視点画像が生成される。

しかしながら、図１６（ｂ）における仮想視点１９００について、仮想視点画像が生成される範囲１９０３は、品質領域である領域１９０１の範囲外に位置する。このため、仮想視点１９００に対応する仮想視点画像は仮想視点１８００に対応する仮想視点画像よりも品質が低いことが想定される。このような場合に、制御部１３０４は、品質領域の外を視野に含む仮想視点が指定されたことを示す警告表示１９０４を表示部１３０５に表示させる。これにより、ユーザは品質の低い仮想視点画像が生成されることを回避することが可能になる。警告表示１９０４を表示させる方法の一例について述べる。例えば、制御部１３０４は、ユーザ操作に基づいて指定される仮想視点に対応する仮想視点画像が順次表示部１３０５に表示される場合に、品質領域の外を視野に含む仮想視点が指定されると、表示された仮想視点画像に重畳して警告表示１９０４を表示させる。また、例えば、制御部１３０４は、品質領域の外を視野に含む仮想視点が指定されると、仮想視点画像を表示せずに、又は図１６（ｂ）に示すような俯瞰図と警告表示１３０４とをともに表示させる。あるいは、制御部１３０４は、仮想視点画像を表示せずに、警告表示１３０４のみを表示させる構成であってもよい。品質領域の外を視野に含む仮想視点に対応する仮想視点画像を表示しないことにより、品質の低い仮想視点画像がユーザに提供されないようにすることができる。

なお、制御部１３０４は、仮想視点画像が生成される範囲のうち所定の割合以上が品質領域外に含まれる場合に警告表示を行う構成としてもよい。また、警告表示の方法は上記に限定されず、画面表示を点滅させたり、色合いを変化させたりする等、種々の方法が用いられてもよい。また、画像生成装置１２０の外部にスピーカー等を接続し、警告音を出力することによりユーザに通知する方法が用いられてもよい。

制御部１３０４は、図１４、図１５及び図１６に示すような画面表示を表示部１３０５に表示させることにより、ユーザ操作に基づいて指定される仮想視点に対応する仮想視点画像の品質をユーザに識別可能にさせることができる。これにより、意図せず品質の低い仮想視点画像が生成される可能性を抑制することができる。なお、図１４、図１５及び図１６では撮像領域を上から見た２次元の図が表示される例について説明したが、これに限定されない。品質情報が示す品質領域は３次元空間を表す領域であるため、表示部１３０６に表示される画面表示においても３次元で品質領域が表現されてもよい。

次に、制御部１３０４が行う入力部１３０７の入力制御について説明する。図１７は、制御部１３０４が行う入力制御の一例を説明するための図である。図１７において実線で示される範囲２１０３は、品質領域２１０１に含まれる位置を視野に含むための、仮想視点２１００からの視線方向２１０２が指定可能な範囲を示す。範囲２１０３は、例えば、視線方向２１０２が品質領域２１０１を通るように設定され得る。本実施形態における品質領域は、図５に示すように３次元空間における３次元座標により表される領域であるため、範囲２１０３についても３次元空間上に設定される。

また、例えば、範囲２１０３は品質領域２１０１が仮想視点２１００に対応する仮想視点画像のうち所定の割合を占めるように決定され得る。図１７の例では、仮想視点２１００の視点位置が指定されると、仮想視点２１００の視点位置及び視野２１０５の少なくともいずれかに基づき、範囲２１０３が特定される。仮想視点２１００の視点位置が品質領域２１０１に近づくほど、範囲２１０３は大きくなり、視点位置が品質領域２１０１から離れるほど、範囲２１０３は小さくなる。また、仮想視点２１００の視野２１０５が大きいほど、仮想視点２１００に対応する仮想視点画像を占める品質領域２１０１の割合は小さくなる。したがって、範囲２１０３を設定する際に使用される所定の割合が仮想視点２１００の視野２１０５の大きさに応じて動的に変化するような構成であってもよい。なお、範囲２１０３の特定方法はこれらに限定されない。

視線方向２１０２が範囲２１０３に含まれる場合、また、破線で示される範囲２１０４は、品質領域２１０１の外の位置を視野に含む視線方向２１０２の範囲を示す。制御部１３０４は、入力部１３０７に対する入力を取得する。このとき、仮想視点２１００に関する視線方向２１０２が範囲２１０４に指定された場合、入力部１３０７に対し視線方向２１０２を補正させる制御を行う。具体的には、視線方向２１０２が範囲２１０３に含まれるように、ユーザ操作に基づいて指定された視線方向２１０２を補正する。例えば、制御部１３０４は、仮想視点２１００の視点位置を基準として、指定された視線方向２１０２を回転させるように制御する。なお、補正方法はこれに限定されず、例えば品質領域２１０１に含まれる位置が視野に含まれるように、仮想視点２１００の視点位置を補正させてもよい。このように、制御部１３０４は、仮想視点の視点位置及び仮想視点からの視線方向の少なくともいずれかを変更することにより、品質の低い仮想視点画像が生成されることを抑制する。

なお、制御部１３０４は、あらかじめ範囲２１０３の間でしか視線方向２１０２を指定することができないように入力部１３０７に制限させてもよい。また、制御部１３０４は、例えば品質領域内にしか仮想視点２１００の視点位置を指定することができないように入力部１３０７に制限させてもよい。また、品質領域内に仮想視点２１００が指定された場合に、品質領域内から品質領域の外を見るような仮想視点が指定されないように、仮想視点２１００からの視線方向に制限が設けられてもよい。

制御部１３０４が仮想視点の指定を制限する方法の例について述べる。例えば、ユーザがジョイスティックを用いて仮想視点を指定するための操作を行う場合、制御部１３０４は、仮想視点を指定可能な範囲と指定できない範囲との境界において、ジョイスティックを操作しても仮想視点を変更できないようにする。あるいは、制御部１３０４は、ユーザが仮想視点を指定できない範囲を選択した場合に、指定可能な範囲に自動で仮想視点を変更する。また、例えば、ユーザがタッチパネルに対してタッチやスワイプ等の操作を行う場合、制御部１３０４は、仮想視点を指定できない範囲においては仮想視点の視点位置を指定できないようにする。また、例えばユーザがスワイプ操作で仮想視点からの視線方向を変更する場合に、仮想視点を指定可能な範囲と指定できない範囲との境界において、スワイプしても表示画面を動かすことができないようにする。

このように、制御部１３０４は、仮想視点の視点位置を指定可能な範囲及び前記仮想視点からの視線方向を指定可能な範囲の少なくともいずれかを制限する。これにより、制御部１３０４は、所定の基準以上の品質を有する仮想視点画像が画像生成部１３０６において生成されるように制御する。なお、制御部１３０４は、仮想視点画像が生成される範囲のうち所定の割合以上が品質領域外に含まれる場合に上記の入力制御を行う構成であってもよい。

図１８は、画像生成装置１２０が行う処理を説明するためのフローチャートである。ＣＰＵ１２１がＲＯＭ１２２または補助記憶装置１２４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。画像生成装置１２０がファイル生成装置１１０から素材データファイルを取得すると、処理が開始される。

Ｓ２２０１において、ファイル取得部１３０１は、ファイル生成装置１１０に保存されている素材データファイルを取得する。Ｓ２２０２において、領域抽出部１３０２は、ファイル取得部１３０１が取得した素材データファイルに含まれる品質情報を抽出する。また、素材データ抽出部１３０３は、ファイル取得部１３０１が取得した素材データファイルに含まれる素材データを抽出する。

Ｓ２２０３において、制御部１３０４は、領域抽出部１３０２が抽出した品質情報に基づいて、品質領域を識別可能にする表示を表示部１３０５に表示させる制御を行う。具体的には、制御部１３０４は、品質情報に含まれる品質領域を示す座標等の情報に基づいて、品質領域を特定し、図１４及び１５に示すような表示画面を表示部１３０５に表示させる。

Ｓ２２０４において、入力部１３０７は、仮想視点を指定するためのユーザ操作の受付をする。Ｓ２２０５において、制御部１３０４は、入力部１３０７が受け付けたユーザ操作による入力を取得し、ユーザ操作に基づいて指定される仮想視点の視野に品質領域の外が含まれるか否かを判定する。より具体的には、制御部１３０４は、ユーザ操作に基づいて指定される仮想視点に対応する仮想視点画像のうち、品質領域の外の領域が所定の割合以上含まれるか否かを判定する。含まれると判定された場合、Ｓ２２０６へ処理が進む。

Ｓ２２０６において、制御部１３０４は、ユーザ操作に基づいて指定される仮想視点が、品質領域の外を視野に含むことをユーザに通知する。具体的には、制御部１３０４は、図１６（ｂ）に示すような警告表示１９０４を表示部１３０５に表示させる、又は画像生成装置１２０の外部に接続されるスピーカー等に警告音を出力させる等の制御を行う。

また、制御部１３０４は、ユーザ操作に基づいて指定される仮想視点に対応する仮想視点画像が生成されないように入力部１３０７を制御する。例えば、制御部１３０４は、品質情報に基づいて、仮想視点の視点位置を指定可能な範囲、及び、仮想視点からの視線方向を指定可能な範囲を決定する。制御部１３０４は、ユーザ操作に基づいて指定された仮想視点の視点位置及び視線方向が、それぞれ視点位置を指定可能な範囲及び視線方向を指定可能な範囲に含まれるように、仮想視点の視点位置及び視線方向の少なくともいずれかを補正する。あるいは、制御部１３０４は、視点位置を指定可能な範囲及び視線方向を指定可能な範囲においてのみ仮想視点が指定されるように、ユーザ操作を制限する。以上の入力制御を行うことにより、制御部１３０４は、所定の基準以上の品質を有する仮想視点画像が生成されるように制御する。

Ｓ２２０７において、画像生成部１３０６は、素材データと、指定された仮想視点とに基づいて、仮想視点画像を生成する。生成された仮想視点画像は、表示部１３０５に表示される。なお、Ｓ２２０３及びＳ２２０６の処理は、少なくともいずれかが実行される構成でもよい。また、Ｓ２２０６における通知および入力制御についても、少なくとも一方が実行される構成でもよい。

以上説明した画像生成装置１２０によれば、素材データファイルに含まれる品質情報に基づいて、生成される仮想視点画像の品質を識別可能にする情報をユーザに提供することができる。また、画像処理装置１２０は、ユーザ操作に基づいて指定された仮想視点を変更する、又は仮想視点を指定可能な範囲を制限することにより、所定の基準以上の品質を有する仮想視点画像を生成する。これにより、ユーザは、仮想視点画像の品質を容易に参照し、所望の品質の仮想視点画像を取得することができる。

なお、上記においては制御部１３０４が表示制御及び入力制御を行う構成について説明したが、他の処理部が表示制御及び入力制御を行う構成であってもよい。例えば、表示部１３０５が品質情報を取得し、品質情報に基づいて図１４、１５及び１６に示すような画面表示を行う構成であってもよい。また、画像生成部１３０６が、入力部１３０７に対する入力を取得し、入力に基づいて指定された仮想視点を変更する、又は仮想視点を指定するためのユーザ操作を制限する構成であってもよい。

以上、仮想視点画像に係る品質を示す品質情報を含む素材データファイルを生成するファイル生成装置１１０、及び、素材データファイルを使用して仮想視点画像を生成する画像生成装置１２０について説明した。本実施形態において説明した素材データファイルが生成されることにより、複数の撮像装置の設置位置及び撮像方向の影響を考慮した仮想視点画像の品質を容易に参照できるようになる。また、この素材データファイルを使用して仮想視点画像を生成することで、所定の基準以上の品質を有する仮想視点画像を容易に生成することができるようになる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ ファイル生成装置
１０２ 素材データ取得部
１０４ ファイル生成部

Claims (21)

1. 複数の撮像装置が撮像領域を撮像することにより得られる複数の撮像画像に基づく素材データであって、仮想視点画像を生成するための素材データを取得する第１の取得手段と、
   前記素材データに基づいて生成される仮想視点画像の品質に係る品質情報を取得する第２の取得手段と、
   前記第１の取得手段により取得された素材データと、前記第２の取得手段により取得された品質情報とを関連付けて出力する出力手段とを有することを特徴とする出力装置。
2. 前記品質情報は、前記撮像領域において所定の基準以上の品質を有する仮想視点画像が生成される領域を識別可能にする情報を含むことを特徴とする請求項１に記載の出力装置。
3. 前記品質情報は、前記撮像領域において、前記複数の撮像装置のうち所定の数以上の撮像装置により撮像される領域を識別可能にする情報を含むことを特徴とする請求項１又は２に記載の出力装置。
4. 前記領域は、前記撮像領域における３次元座標により表される領域であることを特徴とする請求項３に記載の出力装置。
5. 前記素材データは、前記複数の撮像装置が撮像することにより得られる複数の撮像画像及び複数の撮像画像に基づいて生成されるデータの少なくともいずれかを含むことを特徴とする請求項１乃至４のいずれか１項に記載の出力装置。
6. 前記複数の撮像画像に基づいて生成されるデータは、撮像画像における被写体の領域を表す画像、被写体の形状を表すデータ、及び、被写体の色を表すデータの少なくともいずれかを含むことを特徴とする請求項５に記載の出力装置。
7. 前記出力手段は、前記複数の撮像装置により撮像領域が撮像された時刻に基づく所定の素材データのまとまりごとに、前記素材データと前記品質情報とを関連付けて出力することを特徴とする請求項１乃至６のいずれか１項に記載の出力装置。
8. 前記所定の素材データのまとまりは、前記複数の撮像装置の設置位置及び撮像方向が変化しない時間範囲における二以上の時刻に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまりであることを特徴とする請求項７に記載の出力装置。
9. 前記所定の素材データのまとまりは、所定の長さの時間範囲における二以上の時刻に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまりであることを特徴とする請求項７に記載の出力装置。
10. 前記所定の素材データのまとまりは、特定の時刻に行われた撮像により得られた複数の撮像画像に基づく素材データのまとまりであることを特徴とする請求項７に記載の出力装置。
11. 前記出力手段は、前記素材データと前記品質情報とを含む素材データファイルを出力することを特徴とする請求項１乃至１０のいずれか１項に記載の出力装置。
12. 前記出力手段は、ＩＳＯ／ＩＥＣ １４４９６−１２に基づく素材データファイルを生成することを特徴とする請求項１１に記載の出力装置。
13. 画像処理システムであって、
    請求項１乃至１２のいずれか１項に記載の出力装置と、
    仮想視点画像を生成する生成装置と
    を有し、
    前記生成装置は、
    前記出力装置により出力された素材データ及び品質情報を取得する第３の取得手段と、
    前記第３の取得手段により取得された品質情報に基づいて、仮想視点画像の品質を識別可能にする情報を、前記出力装置が有する出力手段とは異なる他の出力手段に出力させるように制御する制御手段と、
    前記第３の取得手段により取得された素材データに基づいて、仮想視点画像を生成する生成手段と
    を有することを特徴とする画像処理システム。
14. 前記品質情報は、前記撮像領域において所定の基準以上の品質を有する仮想視点画像が生成される領域を識別可能にする情報を含み、
    前記制御手段は、前記第３の取得手段が取得した品質情報に基づいて、所定の基準以上の品質を有する仮想視点画像が生成される領域を識別可能にする情報を前記他の出力手段に出力させるように制御することを特徴とする請求項１３に記載の画像処理システム。
15. 前記品質情報は、前記撮像領域において、前記複数の撮像装置のうち所定の数以上の撮像装置により撮像される領域を識別可能にする情報を含み、
    前記制御手段は、前記第３の取得手段が取得した品質情報に基づいて、前記複数の撮像装置のうち所定の数以上の撮像装置により撮像される領域を識別可能な情報を前記他の出力手段に出力させるように制御することを特徴とする請求項１３又は１４に記載の画像処理システム。
16. 画像処理システムであって、
    請求項１乃至１２のいずれか１項に記載の出力装置と、
    仮想視点画像を生成する生成装置と
    を有し、
    前記生成装置は、
    前記出力装置が出力した素材データ及び品質情報を取得する第３の取得手段と、
    前記第３の取得手段により取得された素材データ及び品質情報に基づいて、所定の基準以上の品質を有する仮想視点画像を生成する生成手段と
    を有することを特徴とする画像処理システム。
17. 前記生成装置は、仮想視点画像を生成するための仮想視点を指定するためのユーザ操作を受け付ける受付手段を有し、
    前記生成手段は、前記受付手段が受け付けるユーザ操作に基づいて指定される仮想視点にさらに基づいて、仮想視点画像を生成する
    ことを特徴とする請求項１６に記載の画像処理システム。
18. 前記生成手段は、前記受付手段が受け付けたユーザ操作に基づいて指定された仮想視点に対応する仮想視点画像が所定の基準以上の品質を有しない場合、前記仮想視点の視点位置及び前記仮想視点からの視線方向の少なくともいずれかを変更することにより、所定の基準以上の品質を有する仮想視点画像を生成することを特徴とする請求項１７に記載の画像処理システム。
19. 前記生成手段は、前記受付手段が受け付けるユーザ操作に基づいて指定される仮想視点の視点位置を指定可能な範囲及び仮想視点からの視線方向を指定可能な範囲の少なくともいずれかを制限することにより、所定の基準以上の品質を有する仮想視点画像を生成することを特徴とする請求項１７に記載の画像処理システム。
20. 複数の撮像装置が撮像領域を撮像することにより得られる複数の撮像画像に基づく素材データであって、仮想視点画像を生成するための素材データを取得する第１の取得工程と、
    前記素材データに基づいて生成される仮想視点画像の品質に係る品質情報を取得する第２の取得工程と、
    前記第１の取得工程において取得された素材データと、前記第２の取得工程において取得された品質情報とを関連付けて出力する出力工程と、
    前記出力工程において出力された前記素材データと前記品質情報とに基づいて、仮想視点画像を生成するための処理を行う処理工程と
    を有することを特徴とする画像処理方法。
21. コンピュータを、請求項１乃至１２のいずれか１項に記載の出力装置として機能させるためのコンピュータプログラム。

Images