JP2019125865A

JP2019125865A - 情報処理装置および方法

Info

Publication number: JP2019125865A
Application number: JP2018003728A
Authority: JP
Inventors: 遼平高橋; Ryohei Takahashi; 平林　光浩; Mitsuhiro Hirabayashi; 光浩平林; 伸明泉; Nobuaki Izumi
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-01-12
Filing date: 2018-01-12
Publication date: 2019-07-25

Abstract

【課題】符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができるようにする。【解決手段】立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する。本開示は、例えば、情報処理装置、画像処理装置、画像符号化装置、ファイル生成装置、ファイル送信装置、配信装置、ファイル受信装置、画像復号装置、または再生装置等に適用することができる。【選択図】図９

Description

本開示は、情報処理装置および方法に関し、特に、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができるようにした情報処理装置および方法に関する。

従来、HTTP（Hypertext Transfer Protocol）プロトコルによるアダプティブなコンテンツ配信技術の標準化規格として、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある（例えば、非特許文献１参照）。

また、このMPEG-DASHのファイルフォーマットとして、動画圧縮の国際標準技術「MPEG-4（Moving Picture Experts Group - 4）」のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）がある（例えば、非特許文献２参照）。

ところで、所謂全天球映像のように、水平方向の周囲360度および垂直方向の周囲180度の画像を立体構造に投影した画像である立体構造画像を、平面画像にマッピングした全天球画像（投影平面画像とも称する）があり、近年、この立体構造画像の配信にMPEG-DASHを利用することが考えられている。例えば、立体構造画像を単数の平面にマッピングし、その立体構造画像が平面にマッピングされた投影平面画像として配信することにより、MPEG-DASHを適用することができる（例えば、非特許文献３参照）。

非特許文献３に記載のMPEG-I Part2 Omnidirectional Media Format（ISO/IEC 23090-2）FDIS（Final Draft International Standards）（以下、OMAFとも称する）では、この投影方法（プロジェクションフォーマット（projection format）とも称する）として、ERP（Equirectangular projection（正距円筒））とCMP（Cubemap projection（キューブマップ））の２つが採用されている。

"Information technology . Dynamic adaptive streaming over HTTP (DASH) . Part 1: Media presentation description and segment formats, AMENDMENT 4: Segment Independent SAP Signalling (SISSI), MPD chaining, MPD reset and other extensions", ISO/IEC 23009-1:2014/PDAM 4, ISO/IEC JTC 1/SC 29/WG 11, 2015-10-23 "Information technology - Coding of audio-visual objects - Part 12: ISO base media file format", ISO/IEC 14496-12, 2005-10-01 "Information technology - Coded representation of immersive media (MPEG-I) - Part 2: Omnidirectional media format", ISO/IEC FDIS 23090-12:201x (E), ISO/IEC JTC 1/SC 29/WG 11, 2017-12-11

しかしながら、これらの投影方法は、画質を向上させる仕組みを特に有しておらず、画質の面で優れたprojection formatであるとは言えない。例えば、近年、全天球映像の配信において、帯域幅を有効活用しユーザ体験を最適化することができるように、全天球映像の中の特定の方向の高画質化（ビューポートディペンデント（viewport dependent）な高画質化とも称する）を行うことが考えられている。しかしながら、これらのprojection formatはviewport dependentな高画質化に非対応である。

そのため、帯域幅を有効活用してユーザ体験を最適化するように、符号化効率の低減を抑制しながら高画質化を図る場合、上述のようなviewport dependentな特性を持つ新たなprojection formatを採用する必要がある。しかしながら、そのためには、オーサリングワークフローやクライアント実装への影響が非常に大きなものとなってしまうおそれがあった。そのため、市場導入のハードルが高く、実現が困難になるおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができるようにするものである。

本技術の一側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部を備える情報処理装置である。

本技術の一側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する情報処理方法である。

本技術の他の側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、前記ファイル取得部により取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部とを備える情報処理装置である。

本技術の他の側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う情報処理方法である。

本技術のさらに他の側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部を備える情報処理装置である。

本技術のさらに他の側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する情報処理方法である。

本技術のさらに他の側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、前記ファイル取得部により取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部とを備える情報処理装置である。

本技術のさらに他の側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う情報処理方法である。

本技術の一側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが生成される。

本技術の他の側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが取得され、その取得された制御ファイルに含まれるそのプロジェクション拡張に関する情報に基づいて、その画像符号化データのストリームの選択が行われる。

本技術のさらに他の側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが生成される。

本技術のさらに他の側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが取得され、その取得された制御ファイルに含まれるその投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択が行われる。

本開示によれば、情報を処理することができる。特に、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

projection formatの例を示す図である。プロジェクション拡張の例を示す図である。偏心球面マッピングの様子の例を示す図である。ファイル生成装置の主な構成例を示すブロック図である。クライアント装置の主な構成例を示すブロック図である。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。 ISOBMFFのBox階層構造の例を示す図である。 Projected Omnidirectional Video Boxのシンタックスの例を示す図である。 Projection Enhancement Boxのシンタックスの例を示す図である。 enhancement_typeのセマンティクスの例を示す図である。 Projection Format Boxのシンタックスの例を示す図である。 Projection Format Structのシンタックスの例を示す図である。 projection_typeのセマンティクスの例を示す図である。 enhancement_typeのセマンティクスの例を示す図である。 projection_typeのセマンティクスの例を示す図である。 enhancement_typeのセマンティクスの例を示す図である。 Projected Omnidirectional Video Boxのシンタックスの例を示す図である。 Offset Spherical Projection Boxのシンタックスの例を示す図である。 Projection Format Structのシンタックスの例を示す図である。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。 Projection enhancement descriptorの属性値の例を示す図である。データタイプの例を示す図である。 EssentialPropertyの例を示す図である。 Projection format descriptorの属性値の例を示す図である。 Projection enhancement descriptorの属性値の例を示す図である。 Projection format descriptorの属性値の例を示す図である。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。 Projection_Enhancement_Boxのシンタックスの例を示す図である。追加されたフィールドのセマンティクスの例を示す図である。 Spherical offset projection SEI messageのシンタックスの例を示す図である。 Spherical offset projection SEI messageのフィールドのセマンティクスの例を示す図である。 Offset Sample Entryのシンタックスの例を示す図である。 Offset Sampleのシンタックスの例を示す図である。 Sample Table Boxの例を示す図である。 Offset Spherical Projection Sample Group Entryのシンタックスの例を示す図である。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。 Quality ranking領域の例を示す図である。 Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。 2D Region Quality Ranking Boxのシンタックスの例を示す図である。 Quality ranking領域の例を示す図である。 Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。追加されたフィールドのセマンティクスの例を示す図である。 Quality ranking領域の例を示す図である。 Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。追加されたフィールドのセマンティクスの例を示す図である。 Quality ranking領域の例を示す図である。 Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。追加されたフィールドのセマンティクスの例を示す図である。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。 Projected Omnidirectional Video Boxのシンタックスの例を示す図である。 Quality Emphasized Viewport Information Boxのシンタックスの例を示す図である。追加されたフィールドのセマンティクスの例を示す図である。アップロード処理の流れの例を説明するフローチャートである。コンテンツ再生処理の流れの例を説明するフローチャートである。 Quality emphasized viewport info descriptorの属性値の例を示す図である。データタイプの例を示す図である。 Projection Enhancement Boxのシンタックスの例を示す図である。 Recommended viewport information Boxのシンタックスの例を示す図である。追加されたフィールドのセマンティクスの例を示す図である。全天球映像のTrackとrecommended viewport timed metadataのTrackとの紐付けの様子の例を示す図出る。 Recommended viewport information descriptorの属性値の例を示す図である。データタイプの例を示す図である。 MPDのシンタックスの例を示す図である。 Projection Enhancement Boxのシンタックスの例を示す図である。コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．プロジェクション拡張に関する情報のシグナル
２．第１の実施の形態（ISOBMFFの拡張）
３．第２の実施の形態（MPDの拡張）
４．第３の実施の形態（偏心球面マッピングストリーム配信）
５．付記

＜１．プロジェクション拡張に関する情報のシグナル＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。

非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）

つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。

＜MPEG-DASH＞
従来、例えば非特許文献１に記載のように、HTTP（Hypertext Transfer Protocol）プロトコルによるアダプティブなコンテンツ配信技術の標準化規格として、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。

このMPEG-DASHにより、例えば、ウェブサイトからインターネットのウェブページをダウンロードする場合と同様の通信プロトコルであるHTTPを用いて、ネットワーク帯域の変動に応じた最適なビットレートでのビデオ再生を実現することができる。

この標準規格により、動画配信サービスのためのインフラや動画再生クライアント向けの技術開発をより容易にすることができる。特に、配信サービスを手掛ける事業者にとっては、動画配信サービスと動画再生クライアントとの間の互換性が向上する他、既存のコンテンツ資産を活用しやすい利点があり、市場の成長を促進する効果が期待される。

MPEG-DASHは、主に、２つの技術企画で構成されている。動画や音声ファイルを管理するメタデータを記述したMPD（Media Presentation Description）と称するマニュフェストファイル仕様を定めた規格と、実際に動画コンテンツを伝達するためのセグメントフォーマット(segment format)と称するファイルフォーマットの運用規格である。

このファイルフォーマットとして、例えば非特許文献２に記載のように、動画圧縮の国際標準技術「MPEG-4（Moving Picture Experts Group - 4）」のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）がある。ISOBMFFには、MPEG-DASHの要件を満たすための機能拡張がISO/IEC（International Organization for Standardization / International Electrotechnical Commission） 14496-12の拡張仕様として加えられた。

＜MPEG-DASHを用いた全天球映像の配信＞
ところで、所謂全天球映像のように、水平方向の周囲360度および垂直方向の周囲180度の画像が立体構造に投影された画像である立体構造画像がある。例えば、視点から見た周辺の画像をその視点を中心とする立体構造にレンダリングして立体構造画像とすることにより、視点の周辺の画像をより自然に表現したり、その立体構造画像から所望の視線方向の画像を容易に生成したりすることができる。

近年、この立体構造画像の配信にMPEG-DASHを利用することが考えられている。例えば非特許文献３に記載のように、立体構造画像を単数の平面にマッピングし、その立体構造画像が平面にマッピングされた投影平面画像として配信することにより、MPEG-DASHを適用することができる。

図１の上側に示されるERPの場合、左側に示されるような球状の立体構造に投影された立体構造画像が、右側に示されるような単数の平面に、立体構造画像の緯度方向と経度方向とが直交するようにマッピングされる。

図１の下側に示されるCMPの場合、左側に示されるような立方体に投影された立体構造画像の各面が展開され、右側に示されるような単数の平面に所定の順に並べるようにマッピングされる。

このように水平方向の周囲360度および垂直方向の周囲180度の画像が投影・マッピングされた投影平面画像をプロジェクテドピクチャ（projected picture）とも称する。つまり、projected pictureとは、projection format毎に決まる、全天球映像を表現する２次元画像（２次元picture）のことである。

＜全天球映像配信におけるviewport dependentな高画質化＞
このようなERPやCMPは、いずれも市場で広くサポートされている。ただし、これらの投影方法は、画質を向上させる仕組みを特に有しておらず、画質の面で優れたprojection formatであるとは言えない。例えば、近年、全天球映像の配信において、帯域幅を有効活用しユーザ体験を最適化することができるように、全天球映像の中の特定の方向の高画質化（ビューポートディペンデント（viewport dependent）な高画質化とも称する）を行うことが考えられている。しかしながら、これらのprojection formatはviewport dependentな高画質化に非対応である。

そのため、帯域幅を有効活用してユーザ体験を最適化するように、符号化効率の低減を抑制しながら高画質化を図る場合、上述のようなviewport dependentな特性を持つ新たなprojection formatを採用する必要がある。しかしながら、そのためにはオーサリングワークフローやクライアント実装への影響が非常に大きなものとなってしまうおそれがあった。そのため、市場導入のハードルが高く、実現が困難になるおそれがあった。

＜プロジェクション拡張に関する情報の提供＞
そこで、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報をシグナルする（コンテンツの再生側に提供する）ようにする。

このようにすることにより、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。したがって、符号化効率の低減を抑制したより高画質な画像提供を、より容易に実現することができる。

＜プロジェクション拡張タイプ＞
次に、投影方法（projection format）の拡張方法であるプロジェクション拡張のタイプの例について説明する。プロジェクション拡張のタイプとして、例えば、EAC（Equi-Angular Cubemap）がある。EACは、図２に示されるように、キューブ面への投影時の画素配置を等角度とするマッピング手法である。このようにすることで、表示時の球面上において画素配置が等間隔となるため、投影面上で画素配置が等間隔となるCMPに比べて、視野変更時の画質変化が滑らかになるというメリットがある。EACは、CMPに適用されるプロジェクション拡張である。

また、例えば、プロジェクション拡張のタイプとして、偏心球面マッピングがある。偏心球面マッピングは、図３に示されるように、プロジェクション構造を正規化して球面とし、ずれた位置から球面画素を見た時の不均一な画素配置を適用するマッピング手法である。このようにすることにより、viewport dependentな高画質化を実現することができる。偏心球面マッピングは、ERPとCMPのいずれにも適用可能である。また、偏心球面マッピングは、EACにも適用可能であり、その他のprojection formatへの適用も可能である。

＜プロジェクション拡張に関する情報＞
次に、シグナルする（ファイルに含めてクライアントに提供する）プロジェクション拡張に関する情報の例について説明する。上述したプロジェクション拡張に関する情報は、プロジェクション拡張が適用されたストリーム（以下において、プロジェクション拡張ストリームとも称する）をクライアントが正しく処理するために有用な情報であれば、どのような情報であってもよい。例えば、プロジェクション拡張に関する情報として、例えば以下のような情報をシグナルするようにしてもよい。

（Ａ）プロジェクション拡張が適用されているか否か
（Ｂ）適用されているならばどの拡張方法が適用されているか
（Ｃ）プロジェクション拡張がなされたストリームを、クライアントが正しくレンダリングするための情報

情報（Ａ）をシグナルすることにより、コンテンツの再生側において、そのシグナルされた情報（Ａ）に基づいて、ストリームにプロジェクション拡張が適用されているか否かを容易に把握することができる。したがって、コンテンツの再生側において、自身のプロジェクション拡張に関する能力（capability）に応じたストリームの選択、すなわち、プロジェクション拡張の適用の有無の選択を行うことができる。

また、情報（Ｂ）をシグナルすることにより、コンテンツの再生側において、そのシグナルされた情報（Ｂ）に基づいて、ストリームに適用されたプロジェクション拡張のタイプを容易に把握することができる。したがって、コンテンツの再生側において、自身のプロジェクション拡張に関する能力（capability）に応じたストリームの選択、すなわち、プロジェクション拡張のタイプの選択を行うことができる。

また、情報（Ｃ）をシグナルすることにより、コンテンツの再生側において、そのシグナルされた情報（Ｂ）に基づいて、プロジェクション拡張が適用されたストリームの画像のレンダリングに必要な情報を容易に把握することができる。したがって、コンテンツの再生側において、自身のプロジェクション拡張に関する能力（capability）に応じたストリームの選択、すなわち、プロジェクション拡張に伴う処理内容の選択を行うことができる。また、選択したストリームの画像のレンダリングを正しく行うことができる。

つまり、例えば、プロジェクション拡張が適用されたストリームを処理できるクライアントは、プロジェクション拡張が適用されたストリームを選択し、処理できないクライアントは、プロジェクション拡張が未適用のストリームを選択することができる。したがって、クライアントの互換性担保が可能となる。

＜ファイル生成装置＞
次に、プロジェクション拡張に関するシグナルを行う装置の構成について説明する。図４は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図４に示されるファイル生成装置１００は、ISOBMFFファイル（セグメントファイル）やMPDファイルを生成する装置である。例えば、ファイル生成装置１００は、非特許文献１乃至非特許文献３に記載されている技術を実装し、MPEG-DASHに準拠した方法で、ストリームを含むISOBMFFファイルや、ストリームの配信制御に用いられる制御ファイルであるMPDファイルを生成し、それらのファイルを、ネットワークを介して、それらのファイルを配信するサーバにアップロード（送信）する。

なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、ファイル生成装置１００において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図４に示されるようにファイル生成装置１００は、制御部１０１、メモリ１０２、およびファイル生成部１０３を有する。

制御部１０１は、ファイル生成装置１００全体の動作を制御する。例えば制御部１０１は、ファイル生成部１０３を制御して、ISOBMFFファイルやMPDファイルを生成させたり、生成されたISOBMFFファイルやMPDファイルをアップロードさせたりする。制御部１０１は、このような制御に関する処理を、メモリ１０２を利用して行う。例えば、制御部１０１は、所望のプログラム等をメモリ１０２にロードして実行することにより、上述のような制御に関する処理を行う。

ファイル生成部１０３は、制御部１０１の制御に従って、ISOBMFFファイルやMPDファイルの生成やアップロード（送信）に関する処理を行う。図４に示されるように、ファイル生成部１０３は、データ入力部１１１、データ符号化・生成部１１２、MPDファイル生成部１１３、記録部１１４、およびアップロード部１１５を有する。

データ入力部１１１は、データ入力の受け付けに関する処理を行う。例えば、データ入力部１１１は、テクスチャやメッシュの生成に必要な画像等のデータや、MPDファイルの生成に必要なメタデータ等の入力を受け付ける。また、データ入力部１１１は、受け付けたデータを、データ符号化・生成部１１２やMPDファイル生成部１１３に供給する。

データ符号化・生成部１１２は、データの符号化やファイルの生成に関する処理を行う。例えば、データ符号化・生成部１１２は、データ入力部１１１から供給された画像等のデータに基づいて、テクスチャやメッシュ等のストリームを生成する。また、データ符号化・生成部１１２は、生成したストリームを格納するISOBMFFファイルを生成する。また、データ符号化・生成部１１２は、生成したISOBMFFファイルを記録部１１４に供給する。

図４に示されるように、データ符号化・生成部１１２は、前処理部１２１、エンコード部１２２、およびセグメントファイル生成部１２３を有する。

前処理部１２１は、符号化前の画像等のデータに対する処理を行う。例えば、前処理部１２１は、データ入力部１１１から供給された画像等のデータに基づいて、テクスチャやメッシュのストリームを生成する。また、例えば、前処理部１２１は、その生成したストリームをエンコード部１２２に供給する。

エンコード部１２２は、ストリームの符号化に関する処理を行う。例えば、エンコード部１２２は、前処理部１２１から供給されたストリームを符号化する。また、例えば、エンコード部１２２は、その符号化により得られた符号化データを、セグメントファイル生成部１２３に供給する。

セグメントファイル生成部１２３は、セグメントファイルの生成に関する処理を行う。例えば、セグメントファイル生成部１２３は、データ入力部１１１から供給されたメタデータ等に基づいて、エンコード部１２２から供給された符号化データをセグメント単位でファイル化する（セグメントファイルを生成する）。また、例えば、セグメントファイル生成部１２３は、セグメントファイルの生成に関する処理として、以上のように生成したISOBMFFファイルを記録部１１４に供給する。例えば、セグメントファイル生成部１２３は、セグメントファイルとしてISOBMFFファイルを生成し、生成したISOBMFFファイルを記録部１１４に供給する。

MPDファイル生成部１１３は、MPDファイルの生成に関する処理を行う。例えば、MPDファイル生成部１１３は、データ入力部１１１から供給されたメタデータ等に基づいて、MPDファイルを生成する。また、例えば、MPDファイル生成部１１３は、生成したMPDファイルを記録部１１４に供給する。なお、MPDファイル生成部１１３は、MPDファイルの生成に必要なメタデータ等をセグメントファイル生成部１２３から取得するようにしてもよい。

記録部１１４は、例えば、ハードディスクや半導体メモリ等の任意の記録媒体を有し、データの記録等に関する処理を行う。例えば、記録部１１４は、MPDファイル生成部１１３から供給されたMPDファイルを記録する。また、例えば、記録部１１４は、セグメントファイル生成部１２３から供給されたセグメントファイル（例えばISOBMFFファイル）を記録する。

アップロード部１１５は、ファイルのアップロード（送信）に関する処理を行う。例えば、アップロード部１１５は、記録部１１４に記録されているMPDファイルを読み出す。また、例えば、アップロード部１１５は、読み出したMPDファイルを、ネットワーク等を介して、MPDファイルをクライアント等に配信するサーバ（図示せず）にアップロード（送信）する。

また、例えば、アップロード部１１５は、記録部１１４に記録されているセグメントファイル（例えばISOBMFFファイル）を読み出す。また、例えば、アップロード部１１５は、読み出したそれらのセグメントファイルを、ネットワーク等を介して、セグメントファイルをクライアント等に配信するサーバ（図示せず）にアップロード（送信）する。

つまり、アップロード部１１５は、MPDファイルやセグメントファイル（例えばISOBMFFファイル）をサーバに送信する通信部として機能する。なお、アップロード部１１５によるMPDファイルの送信先とセグメントファイル（例えばISOBMFFファイル）の送信先は、互いに同一であってもよいし、互いに異なっていてもよい。また、ここでは、ファイル生成装置１００が、MPDファイルやセグメントファイル（例えばISOBMFFファイル）を、それらのファイルをクライアントに配信するサーバにアップロードする装置として機能する例について説明するが、ファイル生成装置１００がそのサーバとして機能するようにしてもよい。その場合、ファイル生成装置１００のアップロード部１１５が、ネットワークを介してMPDファイルやセグメントファイル（例えばISOBMFFファイル）をクライアントに配信するようにすればよい。

＜クライアント装置＞
図５は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図５に示されるクライアント装置２００は、MPDファイルやセグメントファイル（例えばISOBMFFファイル）を取得し、それらのファイルに基づいて、コンテンツを再生する装置である。例えば、クライアント装置２００は、非特許文献１乃至非特許文献３に記載されている技術を実装し、MPEG-DASHに準拠した方法でセグメントファイルをサーバ（または上述のファイル生成装置１００）より取得し、そのセグメントファイルに含まれるストリーム（コンテンツ）を再生する。その際、クライアント装置２００は、MPDファイルをサーバ（または上述のファイル生成装置１００）より取得し、そのMPDファイルを利用して所望のセグメントファイルを選択し、サーバより取得するようにしてもよい。

なお、図５においては、処理部やデータの流れ等の主なものを示しており、図５に示されるものが全てとは限らない。つまり、クライアント装置２００において、図５においてブロックとして示されていない処理部が存在したり、図５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図５に示されるようにクライアント装置２００は、制御部２０１、メモリ２０２、および再生処理部２０３を有する。

制御部２０１は、クライアント装置２００全体の動作を制御する。例えば制御部２０１は、再生処理部２０３を制御して、サーバからMPDファイルやセグメントファイル（例えばISOBMFFファイル）を取得させたり、セグメントファイルに含まれるストリーム（コンテンツ）を再生させたりする。制御部２０１は、このような制御に関する処理を、メモリ２０２を利用して行う。例えば、制御部２０１は、所望のプログラム等をメモリ２０２にロードして実行することにより、上述のような制御に関する処理を行う。

再生処理部２０３は、制御部２０１の制御に従って、セグメントファイルに含まれるストリーム（コンテンツ）の再生に関する処理を行う。図５に示されるように、再生処理部２０３は、計測部２１１、MPDファイル取得部２１２、MPDファイル処理部２１３、セグメントファイル取得部２１４、表示制御部２１５、データ解析・復号部２１６、および表示部２１７を有する。

計測部２１１は、計測に関する処理を行う。例えば、計測部２１１は、クライアント装置２００とサーバとの間のネットワークの伝送帯域を計測する。また、例えば、計測部２１１は、その計測結果をMPDファイル処理部２１３に供給する。

MPDファイル取得部２１２は、MPDファイルの取得に関する処理を行う。例えば、MPDファイル取得部２１２は、所望のコンテンツ（再生するコンテンツ）に対応するMPDファイルを、ネットワークを介してサーバから取得する。また、例えば、MPDファイル取得部２１２は、取得したMPDファイルをMPDファイル処理部２１３に供給する。

MPDファイル処理部２１３は、MPDファイルに基づく処理を行う。例えば、MPDファイル処理部２１３は、MPDファイル取得部２１２から供給されたMPDファイルに基づいて、取得するストリームを選択する。また、例えば、MPDファイル処理部２１３は、その選択結果をセグメントファイル取得部２１４に供給する。なお、取得するストリームの選択にあたっては、計測部２１１から供給された計測結果や、表示制御部２１５から供給されたユーザの視点位置や視線方向に関する情報も適宜利用される。

セグメントファイル取得部２１４は、セグメントファイル（例えばISOBMFFファイル）の取得に関する処理を行う。例えば、セグメントファイル取得部２１４は、所望のコンテンツの再生に必要なストリームが格納されたセグメントファイルを、ネットワークを介してサーバから取得する。また、例えば、セグメントファイル取得部２１４は、取得したセグメントファイルをデータ解析・復号部２１６に供給する。

なお、セグメントファイル取得部２１４がセグメントファイル（例えばISOBMFFファイル）を取得するサーバは、MPDファイル取得部２１２がMPDファイルを取得するサーバと同一であってもよいし、異なっていてもよい。また、セグメントファイル取得部２１４が、MPDファイル処理部２１３から供給されるストリームの選択結果に基づいて、セグメントファイルを取得するようにしてもよい。つまり、セグメントファイル取得部２１４が、MPDファイル等に基づいて選択されたストリームが格納されたセグメントファイルをサーバから取得するようにしてもよい。

表示制御部２１５は、コンテンツの再生（表示）の制御に関する処理を行う。例えば、表示制御部２１５は、コンテンツを視聴するユーザの視点位置や視線方向の検出結果を取得する。また、例えば、表示制御部２１５は、その取得した検出結果（ユーザの視点位置や視線方向に関する情報）をMPDファイル処理部２１３やデータ解析・復号部２１６に供給する。

データ解析・復号部２１６は、データの解析や復号等に関する処理を行う。例えば、データ解析・復号部２１６は、セグメントファイル取得部２１４から供給されたISOBMFFファイルを処理し、コンテンツの表示用画像を生成する。また、データ解析・復号部２１６は、その表示用画像のデータを表示部２１７に供給する。

図５に示されるように、データ解析・復号部２１６は、セグメントファイル処理部２２１、デコード部２２２、および表示情報生成部２２３を有する。

セグメントファイル処理部２２１は、セグメントファイル（例えばISOBMFFファイル）に対する処理を行う。例えば、セグメントファイル処理部２２１は、セグメントファイル取得部２１４から供給されたISOBMFFファイルから所望のストリームの符号化データを抽出する。また、例えば、セグメントファイル処理部２２１は、抽出した符号化データをデコード部２２２に供給する。

なお、セグメントファイル処理部２２１が、表示制御部２１５から供給されたユーザの視点位置や視線方向に関する情報や計測部２１１において計測された伝送帯域等に基づいて、ストリームを選択し、そのストリームの符号化データをセグメントファイルから抽出するようにしてもよい。

デコード部２２２は、復号に関する処理を行う。例えば、デコード部２２２は、セグメントファイル処理部２２１から供給された符号化データを復号する。また、例えば、デコード部２２２は、その復号により得られたストリームを表示情報生成部２２３に供給する。

表示情報生成部２２３は、表示用画像のデータの生成に関する処理を行う。例えば、表示情報生成部２２３は、表示制御部２１５から供給されたユーザの視点位置や視線方向に関する情報と、デコード部２２２から供給されたストリームとに基づいて、ユーザの視点位置や視線方向に応じた表示用画像のデータを生成する。また、例えば、表示情報生成部２２３は、生成された表示用画像のデータを、表示部２１７に供給する。

表示部２１７は、例えば液晶表示パネル等を用いたディスプレイやプロジェクタ等の任意の表示デバイスを有し、その表示デバイスを用いた画像表示に関する処理を行う。例えば、表示部２１７は、表示情報生成部２２３から供給されたデータに基づいて、画像表示等のコンテンツ再生を行う。

＜２．第１の実施の形態＞
＜ISOBMFFによるプロジェクション拡張に関する情報のシグナル＞
上述したプロジェクション拡張に関する情報のシグナルを、セグメントファイルであるISOBMFFファイルにおいて行うようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、セグメントファイル生成部１２３が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置（例えばファイル生成装置１００）が、ファイル生成部（例えばセグメントファイル生成部１２３）を備えるようにしてもよい。

なお、ISOBMFFファイルにおいては、ストリームはトラック（track）として管理される。つまり、ISOBMFFファイルを用いる場合、トラックを選択することにより、ストリームの選択が行われる。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図６のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ１０１において、画像とメタデータを取得する。

ステップＳ１０２において、セグメントファイル生成部１２３は、プロジェクション拡張に関する情報を含むISOBMFFファイルを生成する。

ステップＳ１０３において、記録部１１４は、ステップＳ１０２の処理により生成されたISOBMFFファイルを記録する。

ステップＳ１０４において、アップロード部１１５は、ステップＳ１０３において記録されたISOBMFFファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ１０４の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、プロジェクション拡張に関する情報を含むISOBMFFファイルを生成することができる。

したがって、クライアントは、そのプロジェクション拡張に関する情報に基づいて、自身の能力（capability）に応じたストリームを適切に取得し、レンダリングすることが可能となる。つまり、例えば、プロジェクション拡張が適用されたストリームを処理できるクライアントは、プロジェクション拡張が適用されたストリームを選択し、処理できないクライアントは、プロジェクション拡張が未適用のストリームを選択することができる。したがって、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜ISOBMFFにシグナルされたプロジェクション拡張に関する情報の利用＞
また、ISOBMFFファイルにシグナルされたプロジェクション拡張に関する情報を利用してストリームの選択やレンダリングを行うようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、その取得されたファイルに含まれるそのプロジェクション拡張に関する情報に基づいて、その画像符号化データのストリームの選択を行うようにしてもよい。

例えば、情報処理装置であるクライアント装置２００において、セグメントファイル取得部２１４が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部２１６が、そのファイル取得部により取得されたファイルに含まれるそのプロジェクション拡張に関する情報に基づいて、その画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置（例えばクライアント装置２００）が、ファイル取得部（例えばセグメントファイル取得部２１４）と、画像処理部（例えばデータ解析・復号部２１６）とを備えるようにしてもよい。

＜コンテンツ再生処理の流れ＞
その場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図７のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のセグメントファイル取得部２１４は、ステップＳ１２１において、プロジェクション拡張に関する情報を含むISOBMFFファイルを取得する。

ステップＳ１２２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ１２３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ１２４において、セグメントファイル処理部２２１は、そのクライアント装置２００が対応しているプロジェクションフォーマット（projection format）を使用しているトラック（track）を選択候補とする。

ステップＳ１２５において、セグメントファイル処理部２２１は、そのクライアント装置２００が拡張プロジェクションに対応しているか否かを判定する。対応していると判定された場合、処理はステップＳ１２６に進む。

ステップＳ１２６において、セグメントファイル処理部２２１は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたトラック（track）を選択する。その際、セグメントファイル処理部２２１は、ステップＳ１２４において設定された選択候補の内、クライアント装置２００が対応する拡張タイプのトラック、および、プロジェクション拡張を未適用のトラックの中から、所望のトラックを選択する。ステップＳ１２６の処理が終了すると、処理はステップＳ１２８に進む。

また、ステップＳ１２５において、そのクライアント装置２００が拡張プロジェクションに対応していないと判定された場合、処理はステップＳ１２７に進む。

ステップＳ１２７において、セグメントファイル処理部２２１は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたトラック（track）を選択する。その際、セグメントファイル処理部２２１は、ステップＳ１２４において設定された選択候補の内、プロジェクション拡張を未適用のトラックの中から、所望のトラックを選択する。ステップＳ１２７の処理が終了すると、処理はステップＳ１２８に進む。

つまり、セグメントファイル処理部２２１は、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報に基づいて、クライアント装置２００の機能（capability）に対応するトラックを候補とし、その中から所望のトラックを選択する。

ステップＳ１２８において、セグメントファイル処理部２２１は、ステップＳ１２６またはステップＳ１２７において選択されたトラックのストリームの符号化データを、ステップＳ１２１において取得されたISOBMFFファイルから抽出する。

ステップＳ１２９において、デコード部２２２は、ステップＳ１２８において抽出されたストリームの符号化データを復号する。

ステップＳ１３０において、表示情報生成部２２３は、ステップＳ１２９において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ１３０の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報を利用して、そのISOBMFFファイルに含まれるストリーム（そのストリームに対応するコンテンツ）を再生することができる。

したがって、クライアント装置２００は、そのプロジェクション拡張に関する情報に基づいて、自身の能力（capability）に応じたストリームを適切に取得し、レンダリングすることが可能となる。つまり、例えば、プロジェクション拡張が適用されたストリームを処理できるクライアントは、プロジェクション拡張が適用されたストリームを選択し、処理できないクライアントは、プロジェクション拡張が未適用のストリームを選択することができる。したがって、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜プロジェクション拡張に関する情報の詳細＞
なお、プロジェクション拡張に関する情報に、プロジェクション拡張が適用されているかを示す情報（情報（Ａ））が含まれているようにしてもよい。例えば、ファイル生成装置１００のセグメントファイル生成部１２３が、プロジェクション拡張が適用されているかを示す情報（情報（Ａ））を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のデータ解析・復号部２１６が、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報の、プロジェクション拡張が適用されているかを示す情報（情報（Ａ））に基づいて、プロジェクション拡張が適用されているかの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。

また、プロジェクション拡張に関する情報に、適用されるプロジェクション拡張のタイプを示す情報（情報（Ｂ））が含まれるようにしてもよい。例えば、ファイル生成装置１００のセグメントファイル生成部１２３が、適用されるプロジェクション拡張のタイプを示す情報（情報（Ｂ））を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のデータ解析・復号部２１６が、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報の、適用されるプロジェクション拡張のタイプを示す情報（情報（Ｂ））に基づいて、適用されるプロジェクション拡張のタイプの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。

なお、この情報が示すプロジェクション拡張のタイプに、上述したEACが含まれるようにしてもよい。また、この情報が示すプロジェクション拡張のタイプに、上述した偏心球面マッピングが含まれるようにしてもよい。

また、プロジェクション拡張に関する情報に、立体構造へのレンダリングに必要な情報（情報（Ｃ））が含まれるようにしてもよい。例えば、ファイル生成装置１００のセグメントファイル生成部１２３が、立体構造へのレンダリングに必要な情報（情報（Ｃ））を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のデータ解析・復号部２１６が、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報の、立体構造へのレンダリングに必要な情報（情報（Ｃ））を用いて、ストリームの選択や、選択したストリームから得られる画像の立体構造へのレンダリングを行うようにしてもよい。

以上のようなプロジェクション拡張に関する情報をシグナルすることにより、クライアントはプロジェクション拡張ストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜投影方法＞
次に、水平方向の周囲360度および垂直方向の周囲180度の画像が立体構造に投影された立体構造画像を単数の平面にマッピングする投影方法の例について説明する。この投影方法はどのような方法であってもよい。例えば、この投影方法に、上述したERPが含まれるようにしてもよい。また、例えば、この投影方法に、上述したCMPが含まれるようにしてもよい。

＜ファイル構成＞
ISOBMFFファイルにおいて、ストリームはトラックとして管理され、メタデータは、階層構造のBoxに格納される。図８は、ISOBMFFファイルのBox階層構造の例を示す図である。図８に示されるように、Movie Box（moov）の下に、対応するトラックに関するメタデータを格納するTrack Box（trak）が定義される。各トラックのメタデータは、そのTrack Box内においてさらに階層構造化される各種Box内に格納される。

上述したプロジェクション拡張に関する情報が、このようなファイルに、画像符号化データのストリーム毎の情報として含まれるようにしてもよい。例えば、ファイル生成部が、プロジェクション拡張に関する情報を画像符号化データのストリーム毎の情報として含むファイルを生成するようにしてもよい。

例えば、OMAFのISOBMFFファイルにおいて、Sample Entryの下のRestricted Scheme Information Box（rinf）の下のScheme Information Box（schi）の下にシグナルされるProjected Omnidirectional Video Box（povd）に、プロジェクション拡張に関する情報を格納するようにしてもよい。

例えば、そのProjected Omnidirectional Video Box（povd）内に、新たにProjection Enhancement Boxを定義し、そのBox内にプロジェクション拡張に関する情報を格納するようにしてもよい。

図９に示されるシンタックス（syntax）３０１は、Projected Omnidirectional Video Box（povd）のシンタックスの例を示している。プロジェクション拡張を適用する場合、このシンタックス３０１に示されるように、Projected Omnidirectional Video Box（povd）内に、適用されているプロジェクション拡張に関する情報を格納するProjection Enhancement Boxが定義される。

図１０に示されるシンタックス３０２は、Projection Enhancement Boxのシンタックスの例を示している。このシンタックス３０２に示されるように、Projection Enhancement Box内に、適用される拡張タイプを示すenhancement_typeフィールドが定義される。

図１１に示されるセマンティクス（semantics）３０３は、このenhancement_typeフィールドのセマンティックスの例を示している。この場合、enhancement_type==0は、偏心球面マッピングが適用されることを示す。また、enhancement_type==1は、EACが適用されることを示す。また、enhancement_type==2は、EACおよび偏心球面マッピングが適用されることを示す。なお、この例の場合、投影方法としてERPが適用される場合、プロジェクション拡張タイプとしてEACを適用することができないので、enhancement_typeの値は１および２になってはならない。

また、シンタックス３０２に示されるように、３行目以下のif文内において、拡張タイプ毎（enhancement_typeの値毎）にレンダリングに必要な情報が格納される。

以上のように、Projection Enhancement Boxがtrack（Projected Omnidirectional Video Box（povd）内）に存在するとき、そのtrackのストリームにはプロジェクション拡張が適用されていることを示す。つまり、Projection Enhancement Boxの有無が、プロジェクション拡張が適用されているか否かを示す情報（上述の情報（Ａ））である。

換言するに、プロジェクション拡張に関する情報に、Projected Omnidirectional Video Boxに格納される、当該Boxが存在することによってプロジェクション拡張が適用されていることを示すProjection Enhancement Boxが含まれるようにしてもよい。

また、そのProjection Enhancement Box内に定義されるenhancement_typeフィールドは、どのプロジェクション拡張が適用されたストリームであるかを示す情報（上述の情報（Ｂ））である。換言するに、プロジェクション拡張に関する情報に、Projection_Enhancement_Boxに格納される、適用されるプロジェクション拡張のタイプを示すenhancement_typeが含まれるようにしてもよい。

また、そのProjection Enhancement Box内においてenhancement_typeの値毎に定義される情報は、拡張タイプ毎にシグナルされるレンダリングに必要な情報（上述の情報（Ｃ））である。換言するに、プロジェクション拡張に関する情報に、Projection Enhancement Boxに格納される、プロジェクション拡張のタイプ毎の、立体構造へのレンダリングに必要な情報が含まれるようにしてもよい。

このようにすることにより、クライアント装置２００は、Projection Enhancement Boxの有無と、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無の識別、および、適用された拡張タイプの識別を行うことができる。また、クライアント装置２００は、enhancement_type毎に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置２００は、自身の能力（capability）に応じたトラック（track）の選択を行うことができる。

したがって、クライアント装置２００はプロジェクション拡張ストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

なお、シンタックス３０１（図９）に示されるように、Projected Omnidirectional Video Box（povd）内において、Projection Format Boxも定義される。図１２に示されるシンタックス３０４は、そのProjection Format Boxのシンタックスの例を示している。このシンタックス３０４に示されるように、Projection Format Box内に、Prjection Format Structが定義される。

図１３に示されるシンタックス３０５は、そのProjection Format Structのシンタックスの例を示している。このシンタックス３０５に示されるように、Projection Format Struct内に、適用される投影方法（ストリームで用いられているprojection format）が示されるprojection_typeフィールドが定義される。例えば、このprojection_typeにより、ERPであるかCMPであるか等がシグナルされる。

＜Projection Enhancement Boxの他の例＞
なお、Projection Enhancement Boxの位置は、Projected Omnidirectional Video Boxの下に限定されない。例えば、Sample Entryの下等、その他のBox下にProjection Enhancement Boxがシグナルされるようにしてもよい。

このようにしても、クライアント装置２００は、Projection Enhancement Boxの有無と、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無の識別、および、適用された拡張タイプの識別を行うことができる。また、クライアント装置２００は、enhancement_type毎に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置２００は、自身の能力（capability）に応じたトラック（track）の選択を行うことができる。

＜projection_type、enhancement_typeの他の例＞
また、例えば、OMAFで規定済みのProjection Format Box内のProjection Format Structが持つprojection_typeフィールドで、プロジェクション拡張ストリームであることをシグナルし、Projection Enhancement Boxのenhancement_typeフィールドで、projection formatおよび拡張タイプをシグナルするようにしてもよい。

図１４のセマンティクス３０６は、その場合のprojection_typeのセマンティクスの例を示す。セマンティクス３０６に示されるように、この場合、projection_type==0は、投影方法（Projection format）としてERPが適用されることを示す。また、projection_type==1は、投影方法（Projection format）としてCMPが適用されることを示す。さらに、projection_type==2は、プロジェクション拡張が適用されることを示す。

図１５のセマンティクス３０７は、その場合のenhancement_typeのセマンティクスの例を示す。セマンティクス３０７に示されるように、この場合、enhancement_type==0は、投影方法（Projection format）としてERPが適用され、プロジェクション拡張のタイプとして、偏心球面マッピングが適用されることを示す。また、enhancement_type==1は、投影方法（Projection format）としてCMPが適用され、プロジェクション拡張のタイプとして、偏心球面マッピングが適用されることを示す。さらに、enhancement_type==2は、プロジェクション拡張のタイプとして、EACが適用されることを示す。また、enhancement_type==3は、プロジェクション拡張のタイプとして、EACおよび偏心球面マッピングが適用される（EACと偏心球面マッピングとの組み合わせが適用される）ことを示す。

このようにしても、クライアント装置２００は、Projection Enhancement Boxの有無と、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無の識別、および、適用されたタイプの識別を行うことができる。また、クライアント装置２００は、enhancement_type毎に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置２００は、自身の能力（capability）に応じたトラック（track）の選択を行うことができる。

さらに変形例として、レンダリングを行う上で、拡張タイプ以外の追加情報が不要である場合、Projection Format Box内のProjection Format Structが持つprojection_typeフィールドでそのタイプをシグナルし、拡張タイプ以外の追加情報が必要なもののみProjection Enhancement Boxのenhancement_typeでシグナルするようにしてもよい。

図１６のセマンティクス３０８は、この場合のprojection_typeのセマンティクスの例を示す。セマンティクス３０８に示されるように、この場合、projection_type==0は、投影方法（Projection format）としてERPが適用されることを示す。また、projection_type==1は、投影方法（Projection format）としてCMPが適用されることを示す。さらに、projection_type==2は、プロジェクション拡張のタイプとして、レンダリングに追加情報が不要なEACが適用されることを示す。

図１７のセマンティクス３０９は、その場合のenhancement_typeのセマンティクスの例を示す。セマンティクス３０９に示されるように、この場合、enhancement_type==0は、プロジェクション拡張のタイプとして、レンダリングに追加情報が必要な偏心球面マッピングが適用されることを示す。

この場合も、クライアント装置２００は、projection_typeフィールドとenhancement_typeフィールドの値に応じて、プロジェクション拡張の適用の有無の識別、および、適用された拡張タイプの識別を行うことができる。また、クライアント装置２００は、enhancement_type毎に定義された追加情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置２００は、自身の能力（capability）に応じたトラック（track）の選択を行うことができる。

＜プロジェクション拡張のタイプ専用のBox＞
上述したProjection Enhancement Boxを用いる代わりに、拡張のタイプ毎に個別のBox（適用される拡張のタイプ専用のBox）をProjected Omnidirectional Video Box（povd）の下にシグナルするようにしてもよい。

つまり、プロジェクション拡張に関する情報が、ISOBMFFファイルに格納される、プロジェクション拡張のタイプ専用のBoxを含むようにしてもよい。

図１８に示されるシンタックス３１０は、適用されるプロジェクション拡張のタイプが偏心球面マッピングである場合のProjected Omnidirectional Video Boxのシンタックスの例を示す。シンタックス３１０に示されるように、この場合、Projected Omnidirectional Video Boxの下に、Offset Spherical Projection Boxが新たに定義される。このOffset Spherical Projection Boxは、偏心球面マッピング専用のBoxである。

図１９に示されるシンタックス３１１は、そのOffset Spherical Projection Boxのシンタックスの例を示す。シンタックス３１１に示されるように、このOffset Spherical Projection Box内には、レンダリングに必要な情報がシグナルされる。

この場合、クライアント装置２００は、Projected Omnidirectional Video Boxの下に、Offset Spherical Projection Boxが定義されることにより、プロジェクション拡張が適用され、その適用されたプロジェクション拡張のタイプが偏心球面マッピングであることを識別することができる。また、クライアント装置２００は、Offset Spherical Projection Box内に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置２００は、自身の能力（capability）に応じたトラック（track）の選択を行うことができる。

この場合も、さらに、プロジェクション拡張ストリームに適用されている拡張タイプを示すenhancement_typeを、Projection Format Boxに格納されるProjection Format Struct内にシグナルするようにしてもよい。その場合のenhancement_typeのセマンティクスは、図１１と同様である。

また、レンダリングを行う上で、拡張タイプ以外の追加情報が不要である場合、適用された拡張タイプの専用のBox（拡張タイプ毎の個別Box）をシグナルせず、enhancement_typeのみをシグナルするようにしてもよい。

図２０に示されるシンタックス３１２は、この場合のProjection Format Structのシンタックスの例を示す。シンタックス３１２に示されるように、この場合、Projection Format Struct内において、projection_typeとともにenhancement_typeが定義される。

この場合、Offset Spherical Projection Boxがtrackに存在するとき、そのtrackのストリームには偏心球面マッピングが適用されていることを示す。その他のプロジェクション拡張タイプの場合についても同様に、そのプロジェクション拡張タイプ専用のBoxが設定される。また、enhancement_typeはどのプロジェクション拡張タイプが適用されたストリームであるかを示す。

クライアント装置２００は、プロジェクション拡張方法毎の個別Boxの存在や、enhancement_typeの値からプロジェクション拡張の適用の有無、適用されているならばそのタイプを識別し、自身の能力（capability）に応じたtrack選択を行うことができる。

なお、この場合も、アップロード処理の流れは、図６のフローチャートを参照して説明した場合と同様である。また、この場合のコンテンツ再生処理の流れも、図７のフローチャートを参照して説明した場合と同様である。

なお、Offset Spherical Projecction Box等、プロジェクション拡張方法毎の個別Boxの位置は、Projected Omnidirectional Video Boxの下に限定されない。例えば、Sample Entryの下等、その他のBox下にプロジェクション拡張方法毎の個別Boxがシグナルされるようにしてもよい。

＜３．第２の実施の形態＞
＜MPDファイルによるプロジェクション拡張に関する情報のシグナル＞
上述したプロジェクション拡張に関する情報のシグナルを、MPDファイルにおいて行うようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、MPDファイル生成部１１３が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置（例えばファイル生成装置１００）が、ファイル生成部（例えばMPDファイル生成部１１３）を備えるようにしてもよい。

なお、MPDファイルにおいては、ストリーム毎のメタデータはアダプテーションセット（Adaptation Set）やリプレゼンテーション（Representation）として管理される。つまり、MPDファイルを用いる場合、アダプテーションセット（Adaptation Set）やリプレゼンテーション（Representation）を選択することにより、ストリームの選択が行われる。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図２１のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ１５１において、画像とメタデータを取得する。

ステップＳ１５２において、セグメントファイル生成部１２３は、その画像に対応するセグメントファイルを生成する。

ステップＳ１５３において、MPDファイル生成部１１３は、ステップＳ１５１において取得された画像とメタデータ（並びに、ステップＳ１５２において生成されたセグメントファイル）に対応する、プロジェクション拡張に関する情報を含むMPDファイルを生成する。

ステップＳ１５４において、記録部１１４は、ステップＳ１５３の処理により生成されたMPDファイルと、ステップＳ１５２の処理により生成されたセグメントファイルとを記録する。

ステップＳ１５５において、アップロード部１１５は、ステップＳ１５４において記録されたMPDファイルおよびセグメントファイルを記録部１１４より読み出し、それらをサーバにアップロードする。

ステップＳ１５５の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、プロジェクション拡張に関する情報を含むMPDファイルを生成することができる。

したがって、クライアントは、そのプロジェクション拡張に関する情報に基づいて、自身の能力（capability）に応じたセグメントファイル（ストリーム）を適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜MPDファイルにシグナルされたプロジェクション拡張に関する情報の利用＞
また、MPDファイルにシグナルされたプロジェクション拡張に関する情報を利用してストリームの選択を行うようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、その取得された制御ファイルに含まれるプロジェクション拡張に関する情報に基づいて、画像符号化データのストリームの選択を行うようにしてもよい。

例えば、情報処理装置であるクライアント装置２００において、MPDファイル取得部２１２が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部として機能し、MPDファイル処理部２１３が、そのファイル取得部により取得された制御ファイルに含まれるプロジェクション拡張に関する情報に基づいて、画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置（例えばクライアント装置２００）が、ファイル取得部（例えばMPDファイル取得部２１２）と、画像処理部（例えばMPDファイル処理部２１３）とを備えるようにしてもよい。

＜コンテンツ再生処理の流れ＞
その場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図２２のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のMPDファイル取得部２１２は、ステップＳ１７１において、プロジェクション拡張に関する情報を含むMPDファイルを取得する。

ステップＳ１７２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ１７３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ１７４において、MPDファイル処理部２１３は、そのクライアント装置２００が対応しているプロジェクションフォーマット（projection format）を使用しているアダプテーションセット（Adaptation Set）を選択候補とする。

ステップＳ１７５において、MPDファイル処理部２１３は、そのクライアント装置２００が拡張プロジェクションに対応しているか否かを判定する。対応していると判定された場合、処理はステップＳ１７６に進む。

ステップＳ１７６において、MPDファイル処理部２１３は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたアダプテーションセット（Adaptation Set）を選択する。その際、MPDファイル処理部２１３は、ステップＳ１７４において設定された選択候補の内、クライアント装置２００が対応する拡張タイプのアダプテーションセット、および、プロジェクション拡張を未適用のアダプテーションセットの中から、所望のアダプテーションセットを選択する。ステップＳ１７６の処理が終了すると、処理はステップＳ１７８に進む。

また、ステップＳ１７５において、そのクライアント装置２００が拡張プロジェクションに対応していないと判定された場合、処理はステップＳ１７７に進む。

ステップＳ１７７において、MPDファイル処理部２１３は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたアダプテーションセット（Adaptation Set）を選択する。その際、MPDファイル処理部２１３は、ステップＳ１７４において設定された選択候補の内、プロジェクション拡張を未適用のアダプテーションセットの中から、所望のアダプテーションセットを選択する。ステップＳ１７７の処理が終了すると、処理はステップＳ１７８に進む。

つまり、MPDファイル処理部２１３は、MPDファイルに含まれるプロジェクション拡張に関する情報に基づいて、クライアント装置２００の機能（capability）に対応するアダプテーションセットを候補とし、その中から所望のアダプテーションセットを選択する。

ステップＳ１７８において、MPDファイル処理部２１３は、ステップＳ１７６またはステップＳ１７７において選択されたアダプテーションセット（Adaptation Set）の中から、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたリプレゼンテーション（Representation）を選択する。

ステップＳ１７９において、セグメントファイル取得部２１４は、ステップＳ１７８において選択されたリプレゼンテーション（Representation）に対応するセグメントファイルを取得する。

ステップＳ１８０において、セグメントファイル処理部２２１は、ステップＳ１７９において取得されたセグメントファイルから符号化データを抽出する。

ステップＳ１８１において、デコード部２２２は、ステップＳ１８０において抽出されたストリームの符号化データを復号する。

ステップＳ１８２において、表示情報生成部２２３は、ステップＳ１８１において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ１８２の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、MPDファイルに含まれるプロジェクション拡張に関する情報を利用して、適切にストリームを選択し、セグメントファイルに含まれるそのストリーム（そのストリームに対応するコンテンツ）を再生することができる。

したがって、クライアント装置２００は、そのプロジェクション拡張に関する情報に基づいて、自身の能力（capability）に応じたストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜プロジェクション拡張に関する情報の詳細＞
なお、第１の実施の形態の場合と同様に、プロジェクション拡張に関する情報に、プロジェクション拡張が適用されているかを示す情報（情報（Ａ））が含まれているようにしてもよい。例えば、ファイル生成装置１００のMPDファイル生成部１１３が、プロジェクション拡張が適用されているかを示す情報（情報（Ａ））を含むプロジェクション拡張に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のMPDファイル処理部２１３が、MPDファイルに含まれるプロジェクション拡張に関する情報の、プロジェクション拡張が適用されているかを示す情報（情報（Ａ））に基づいて、プロジェクション拡張が適用されているかの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。

また、第１の実施の形態の場合と同様に、プロジェクション拡張に関する情報に、適用されるプロジェクション拡張のタイプを示す情報（情報（Ｂ））が含まれるようにしてもよい。例えば、ファイル生成装置１００のMPDファイル生成部１１３が、適用されるプロジェクション拡張のタイプを示す情報（情報（Ｂ））を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のMPDファイル処理部２１３が、MPDファイルに含まれるプロジェクション拡張に関する情報の、適用されるプロジェクション拡張のタイプを示す情報（情報（Ｂ））に基づいて、適用されるプロジェクション拡張のタイプの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。

なお、第１の実施の形態の場合と同様に、この情報が示すプロジェクション拡張のタイプに、上述したEACが含まれるようにしてもよい。また、この情報が示すプロジェクション拡張のタイプに、上述した偏心球面マッピングが含まれるようにしてもよい。

また、第１の実施の形態の場合と同様に、プロジェクション拡張に関する情報に、立体構造へのレンダリングに必要な情報（情報（Ｃ））が含まれるようにしてもよい。例えば、ファイル生成装置１００のMPDファイル生成部１１３が、立体構造へのレンダリングに必要な情報（情報（Ｃ））を含むプロジェクション拡張に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のMPDファイル処理部２１３が、MPDファイルに含まれるプロジェクション拡張に関する情報の、立体構造へのレンダリングに必要な情報（情報（Ｃ））を用いて、ストリームの選択を行うようにしてもよい。また、データ解析・復号部２１６が、その立体構造へのレンダリングに必要な情報（情報（Ｃ））を用いて、レンダリングを行うようにしてもよい。

＜Projection enhancement descriptorによるシグナル＞
MPDファイルにおいてプロジェクション拡張に関する情報をシグナルする場合も、第１の実施の形態の場合と同様に、プロジェクション拡張に関する情報が、画像符号化データのストリーム毎の情報として含まれるようにしてもよい。例えば、ファイル生成部が、プロジェクション拡張に関する情報を画像符号化データのストリーム毎の情報として含む制御ファイルを生成するようにしてもよい。

例えば、MPDファイルにおいて、新たに、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:preh"のエッセンシャルプロパティ（Essential Property）をプロジェクションエンハンスメントディスクリプタ（Projection enhancement descriptor）として定義する。なお、同じschemeIdUriのサプリメンタルプロパティ（Supplemental Property）を用いてもよい。

なお、EssentialPropertyのschemeIdUriに対応していないDASHクライアントは、このプロパティ（Property）の書かれているAdaptation Set（Representation等でもよい）は無視しなければならない。また、SupplementalPropertyのschemeIdUriに対応していないDASHクライアントは、このProperty値を無視して、Adaptation Set（Representation等でもよい）を利用してもよい。

また、このProjection enhancement descriptorは、例えば、MPD、AdaptationSet、またはRepresentationレベルに存在可能である。

図２３に示される属性値３３１は、このProjection enhancement descriptorの属性値である。この属性値omaf;@enhancement_typeが０の場合、偏心球面マッピングが適用されることを示す。また、この属性値が１の場合、EACが適用されることを示す。

図２４のデータタイプ３３２は、このProjection enhancement descriptorにおいて定義されるデータタイプの例を示す。

例えば、Adaptation SetがCMPに対してプロジェクション拡張を行ったEACのストリームであり、かつ偏心球面マッピングが適用されている場合、図２５に示されるようなディスクリプタ（descriptor）がそのAdaptation Setにシグナルされる。図２５に示されるシンタックス３３３は、EssentialPropertyのシンタックスの例を示す。

つまり、プロジェクション拡張に関する情報に、MPDファイルに定義されるProjection enhancement descriptorの、適用されたプロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeが含まれるようにしてもよい。

このdescriptorがAdaptation Setに存在するとき、そのAdaptation Setが参照するビデオストリームにプロジェクション拡張が適用されていることを示し（情報（Ａ））、enhancement_typeによって適用された拡張タイプを示す（情報（Ｂ））。

クライアント装置２００は、このようなProjection enhancement descriptorの有無や、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無や適用される拡張タイプを識別し、自身の能力（capability）に応じたAdaptaton Set選択を行うことができる。

また、プロジェクションフォーマットディスクリプタ（Projection format descriptor）のプロジェクションタイプ（projection_type）フィールドで、プロジェクション拡張ストリームであることをシグナルし、Projection enhancement descriptorのenhancement_typeでprojection formatおよび拡張タイプをシグナルするようにしてもよい。

つまり、プロジェクション拡張に関する情報が、さらに、MPDファイルに定義されるProjection format descriptorの、プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含むようにしてもよい。

Projection format descriptorは@schemeIdUri="urn:mpeg:mpegI:omaf:2017:pf"のEssential Propertyでシグナルされる。図２６の属性値３３４は、このdescriptorの拡張された属性値の例を示す。

例えば、どのような値がどのような投影方法を示すかは任意である。この属性値omaf:@projection_typeの値が０の場合、適用された投影方法がERPであることを示すようにしてもよい。また、この属性値omaf:@projection_typeの値が１の場合、適用された投影方法がCMPであることを示すようにしてもよい。さらに、この属性値omaf:@projection_typeの値が２の場合、プロジェクション拡張が適用されることを示すようにしてもよい。

また、この場合のProjection enhancement descriptorのenhancement_typeの例を図２７に示す。図２７に示される属性値３３５は、このdescriptorの属性値の例を示す。

どのような値がどのようなタイプを示すかは任意である。例えば、この属性値omaf:@enhancement_typeの値が０の場合、適用されるプロジェクション拡張のタイプがERPおよび偏心球面マッピングであることを示すようにしてもよい。また、この属性値omaf:@enhancement_typeの値が１の場合、適用されるプロジェクション拡張のタイプがCMPおよび偏心球面マッピングであることを示すようにしてもよい。さらに、この属性値omaf:@enhancement_typeの値が２の場合、適用されるプロジェクション拡張のタイプがEACであることを示すようにしてもよい。また、この属性値omaf:@enhancement_typeの値が３の場合、適用されるプロジェクション拡張のタイプがEACおよび偏心球面マッピングであることを示すようにしてもよい。

なお、以上においては、DASH配信時のクライアントによるストリーム選択時に必須ではないため、レンダリングに必要な、拡張タイプ以外の追加情報（情報（Ｃ））のシグナルは行わない例を示したが、これに限らず、追加情報（情報（Ｃ））のシグナルを行ってもよい。

＜プロジェクション拡張のタイプ専用のdescriptor＞
上述したProjection enhancement descriptorを用いる代わりに、拡張のタイプ毎に個別のdescriptor（適用される拡張のタイプ専用のdescriptor）をシグナルするようにしてもよい。

例えば、偏心球面マッピングが適用されたプロジェクション拡張ストリームの場合、新たに、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:ofsp"のEssential Propertyをオフセットスフェリカルプロジェクションディスクリプタ（Offset spherical projection descriptor）として定義する。上述したProjection enhancement descriptorの場合と同様に、この場合も、同じschemeIdUriのSupplemental Propertyを用いてもよい。

なお、上述したProjection enhancement descriptorの場合と同様に、Offset spherical projection descriptorは、MPD, AdaptationSet, Representationレベルに存在可能である。

また、図２８に示される属性値３３６の例のように、プロジェクション拡張ストリームに適用されている拡張タイプを示す属性値であるエンハンスメントタイプ（enhancement_type）を、OMAFで定義されているProjection format descriptorにシグナルするようにしてもよい。

どのような値がどのようなタイプを示すかは任意である。例えば、この属性値omaf:@enhancement_typeの値が０の場合、適用されるプロジェクション拡張のタイプが偏心球面マッピングであることを示すようにしてもよい。また、この属性値omaf:@enhancement_typeの値が１の場合、適用されるプロジェクション拡張のタイプがEACであることを示すようにしてもよい。

以上のようにすることにより、クライアント装置２００は、プロジェクション拡張方法ごとの個別descriptorの有無やenhancement_typeの値に基づいて、プロジェクション拡張の適用の有無や適用される拡張タイプを識別し、自身の能力（capability）に応じたAdaptaton Set選択を行うことができる。

＜４．第３の実施の形態＞
＜偏心球面マッピングストリーム配信＞
次に、プロジェクション拡張方法の１つである、偏心球面マッピングを適用したストリーム（偏心球面マッピングストリームとも称する）を配信するためのシグナリング例を説明する。

＜ISOBMFFファイルにおけるレンダリングに関する情報のシグナル＞
プロジェクション拡張が適用されたストリームを含むISOBMFFファイルの場合、そのプロジェクション拡張に対応するレンダリングに関する情報もシグナルするようにしてもよい。このレンダリングに関する情報は、画像を立体構造にレンダリングする際に用いられる情報を含む。例えば、レンダリングに関する情報に、画像の立体構造への投影のオフセットに関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、その偏心球面マッピングのオフセットに関する情報が含まれるようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、セグメントファイル生成部１２３が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置（例えばファイル生成装置１００）が、ファイル生成部（例えばセグメントファイル生成部１２３）を備えるようにしてもよい。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図２９のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ２０１において、画像とメタデータを取得する。

ステップＳ２０２において、セグメントファイル生成部１２３は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むISOBMFFファイルを生成する。

ステップＳ２０３において、記録部１１４は、ステップＳ２０２の処理により生成されたISOBMFFファイルを記録する。

ステップＳ２０４において、アップロード部１１５は、ステップＳ２０３において記録されたISOBMFFファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ２０４の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むISOBMFFファイルを生成することができる。

したがって、クライアントは、そのレンダリングに関する情報を用いて、容易に、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜ISOBMFFにシグナルされたレンダリングに関する情報の利用＞
また、ISOBMFFファイルにシグナルされたレンダリングに関する情報を利用してレンダリングを行うようにしてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、そのISOBMFFファイルにシグナルされた偏心球面マッピングのオフセットに関する情報を利用してレンダリングを行うようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行うようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、セグメントファイル取得部２１４が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部２１６が、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行う画像処理部として機能するようにしてもよい。つまり、情報処理装置（例えばクライアント装置２００）が、ファイル取得部（例えばセグメントファイル取得部２１４）と、画像処理部（例えばデータ解析・復号部２１６）とを備えるようにしてもよい。

＜コンテンツ再生処理の流れ＞
その場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図３０のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のセグメントファイル取得部２１４は、ステップＳ２２１において、プロジェクション拡張方法に対応するレンダリングに関する情報を含むISOBMFFファイルを取得する。

ステップＳ２２２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ２２３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ２２４において、セグメントファイル処理部２２１は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたトラック（track）を選択する。

ステップＳ２２５において、セグメントファイル処理部２２１は、ステップＳ２２４において選択されたトラックのストリームの符号化データを、ステップＳ２２１において取得されたISOBMFFファイルから抽出する。

ステップＳ２２６において、デコード部２２２は、ステップＳ２２５において抽出されたストリームの符号化データを復号する。

ステップＳ２２７において、表示情報生成部２２３は、ステップＳ２２６において復号されて得られたストリーム（コンテンツ）を、ISOBMFFファイルに含まれるレンダリングに関する情報を用いて再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ２２７の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応するレンダリングに関する情報を利用して、そのISOBMFFファイルに含まれるストリーム（そのストリームに対応するコンテンツ）を再生することができる。

したがって、クライアント装置２００は、そのレンダリングに関する情報を用いて、容易に、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜レンダリングに関する情報の詳細＞
レンダリングに関する情報に含まれる、投影のオフセットに関する情報に、そのオフセットの方向に関する情報と、そのオフセットの大きさに関する情報とが含まれるようにしてもよい。例えば、ファイル生成装置１００のセグメントファイル生成部１２３が、オフセットの方向に関する情報およびオフセットの大きさに関する情報をISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のデータ解析・復号部２１６が、ISOBMFFファイルに含まれる、オフセットの方向に関する情報およびオフセットの大きさに関する情報に基づいて、レンダリングを行うようにしてもよい。

例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、その偏心球面マッピングのオフセットの方向に関する情報と、オフセットの大きさに関する情報とが含まれるようにしてもよい。

また、そのオフセットの方向に関する情報に、オフセットの方向の方位角に関する情報と、オフセットの方向の仰角に関する情報とが含まれるようにしてもよい。例えば、偏心球面マッピングのオフセットの方向に関する情報に、偏心球面マッピングのオフセットの方向の方位角に関する情報と、偏心球面マッピングのオフセットの方向の仰角に関する情報とが含まれるようにしてもよい。

なお、このオフセットに関する情報の値は、画像符号化データのストリーム中において固定であるようにしてもよい。

その場合、ISOBMFFファイルには、オフセットに関する情報が画像符号化データのストリーム毎の情報として含まれるようにしてもよい。

これらの情報は、例えば、第１の実施の形態において説明したProjection Enhancement Boxでシグナルされるようにしてもよい。図３１のシンタックス３５１は、その場合のProjection Enhancement Boxのシンタックスの例を示す。このシンタックス３５１に示されるように、enhancement_type毎に、offset_azimuth、offset_elevation、offset_value等のフィールドが定義される。

図３２のセマンティクス３５２は、この追加されたフィールド（field）のセマンティクスの例を示す。

セマンティクス３５２に示されるように、offset_azimuthは、偏心球面マッピングのオフセット（offset）の方向の方位角を示す情報である。値の範囲は例えば-180*2¹⁶乃至180*2¹⁶-1である。offset_elevationは、そのoffsetの方向の仰角を示す情報である。値の範囲は例えば-90*2¹⁶乃至90*2¹⁶-1である。offset_valueは、そのoffsetの値を示す情報である。この値は例えば2^-32単位でシグナルされる。また、値の範囲は例えば0乃至2^-32-1である。

つまり、オフセットに関する情報が、ISOBMFFファイルのProjected Omnidirectional Video Box内のProjection Enhancement Boxに格納される、オフセットの方向の方位角を示すoffset_azimuth、オフセットの方向の仰角を示すoffset_elevation、および、オフセットの大きさを示すoffset_valueを含むようにしてもよい。

クライアント装置２００は、元となるprojection formatをProjection Format Boxから識別し、さらにProjection Enhancement Boxでシグナルされるoffset方向とoffset値を参照することで、偏心球面マッピングストリームを適切にレンダリングすることができる。

なお、第１の実施の形態において説明した、偏心球面マッピングストリーム固有のOffset Spherical Projection Boxの場合も、同様のfieldをシグナルすることができる。

また、ここでは１種類のoffset方向およびoffset値がシグナルされる例を示したが、これらの数は任意である。複数のoffset方向およびoffset値をシグナルすることで、１つの偏心球面マッピングストリームに複数offsetが適用されていることを示してもよい。

ここまで、ISOBMFFファイルのtrackのSample Entry内におけるシグナリングについて説明した。この方法によれば、ストリーム中でoffset方向およびoffset値等のレンダリングに関する情報が不変、つまり高画質化される方向が変化しない偏心球面マッピングストリームについて、レンダリングに必要な情報をシグナリングでき、クライアントが適切にレンダリングすることが可能となる。

＜レンダリングに関する情報の動的な変化＞
なおレンダリングに関する情報（offset方向およびoffset値等）は、ストリーム中で動的に変化してもよい。その場合、trackのSample Entry内での情報シグナリングのみでは対応することができない。そのための追加シグナリング例を示す。

＜SEI（Supplemental Enhancement Information）message＞
ストリーム中に動的に変化するレンダリングに関する情報に対応するために、HEVC（High Efficiency Video Coding）やAVC（Advanced Video Coding）において用いられるSEI（Supplemental Enhancement Information）messageを拡張するようにしてもよい。

例えば、Spherical offset projection SEI messageを新規定義し、ストリーム内で動的に変化するレンダリングに関する情報（例えばoffset方向およびoffset値等）を、その中に格納するようにしてもよい。Spherical offset projection SEI messageにおいて、レンダリングに関する情報は、例えばアクセスユニット単位でシグナルされる。

図３３のシンタックス３５３は、このSpherical offset projection SEI messageのシンタックスの例を示す。また、図３４のセマンティックス３５４は、そのフィールドのセマンティクスの例を示す。

offset_projection_cancel_flagは、オフセットに関する情報をキャンセルするかを示すフラグである。どのような値がどのような状態を示すかは任意である。例えば、このフラグの値が１の場合、出力順で先行するSEIの持続的適用をキャンセルするようにしてもよい。また、このフラグの値が０の場合、offset情報がシグナルされるようにしてもよい。

offset_projection_persitence_flagは、SEIの適用範囲を制御するフラグである。どのような値がどのような状態を示すかは任意である。例えば、このフラグの値が０の場合、SEIが含まれるピクチャのみに、SEIの情報が適用されるようにしてもよい。また、このフラグの値が１の場合、SEIの適用は、新たなコーデドビデオシーケンス（coded video sequence）が開始されるか、またはストリームの末尾に到達するまで持続するようにしてもよい。

offset_projection_reserved_zero_6bitsは、０で埋められる。

offset_azimuthは、offsetの方向の方位角を示す情報である。例えば2^-16degree単位でシグナルされる。値の範囲は例えば-180*2¹⁶乃至180*2¹⁶-1である。

offset_elevationは、offsetの方向の仰角を示す情報である。例えば2^-16degree単位でシグナルされる。値の範囲は例えば-90*2¹⁶乃至90*2¹⁶-1である。

offset_valueは、offsetの値を示す情報である。例えば2^-32単位でシグナルされる。値の範囲は例えば0乃至2^-32-1である。

＜Timed metadata＞
時系列で変化するメタデータを格納するストリームであるタイムドメタデータ（timed metadata）の仕組みを利用するようにしてもよい。例えば、Offset timed metadataを新規定義し、ストリーム内で動的に変化するレンダリングに関する情報（例えばoffset方向およびoffset値等）を、その中に格納するようにしてもよい。Offset timed metadataにおいて、レンダリングに関する情報は、例えばサンプル単位でシグナルされる。このようにすることにより、参照する偏心球面マッピングストリーム内で動的に変化するoffset方向およびoffset値をシグナルすることができる。

なお、その際、Offset timed metadataが紐づく偏心球面マッピングストリームを格納するtrackに対するトラックリファレンスタイプ（track reference type）としては、例えば'ofsp'を用いるようにしてもよい。

Timed metadataを使用することで、クライアントは、偏心球面マッピングストリームを取得・デコードせずとも、高画質化される方向を事前に識別し、どのストリームを選択するかの基準とすることができる。

図３５のシンタックス３５５は、この場合のOffset Sample Entryのシンタックスの例を示す。図３６のシンタックス３５６は、この場合のOffset Sampleのシンタックスの例を示す。なお、OffsetSample内の各フィールドのセマンティクスは、図３２と同様である。

＜Sample Group＞
ISOBMFFファイルで定義される、サンプル（sample）単位でメタ情報を紐づける仕組みであるサンプルグループ（Sample Group）というツールを使用し、ストリーム内で動的に変化するレンダリングに関する情報（例えばoffset方向およびoffset値等）を、sample単位で紐づけるようにしてもよい。

メタ情報が記述されるSample Groupは、図３７に示されるように、サンプルテーブルボックス（Sample Table Box）のサンプルグループディスクリプションボックス（Sample Group Description Box）にグループエントリ（Group Entry）としてシグナルされ、サンプルトゥグループボックス（Sample To Group Box）を介して、sampleと紐づけられる。

図３７に示されるように、Sample To Group Boxのグルーピングタイプ（grouping_type）は、紐づけられるSample Group Description Boxのgrouping_typeを示す。１エントリ（1 entry）につき、サンプルカウント（sample_count）とグループディスクリプションインデックス（group_description_index）がシグナルされ、そのgroup_description_indexは、紐づくグループエントリ（Group Entry）のインデックス（index）を示し、sample_countはそのGroup Entryに属するサンプル（sample）の数を示す。

例えば、Offset Spherical Projection Sample Group Entryを新規定義し、ストリーム内で動的に変化するレンダリングに関する情報（例えばoffset方向およびoffset値等）を、その中に格納するようにしてもよい。

図３８のシンタックス３７１は、そのOffset Spherical Projection Sample Group Entryのシンタックスの例を示す。grouping_typeは'ofgp'となる。Offset Spherical Projection Sample Group Entry内の各フィールドのセマンティクスは、図３２と同様である。

このようにすることにより、参照する偏心球面マッピングストリーム内で動的に変化するoffset方向およびoffset値をシグナルすることができる。

なお、これらの動的に変化するなoffset方向およびoffset値のシグナリングが行われる場合、Projection Enhancement Boxでシグナルされる偏心球面マッピングストリームのレンダリングのための情報は、例えば、最初のピクチャについての情報がシグナルされる。

また、ストリーム中で動的にoffset方向およびoffset値が変化することを示すフラグをProjection Enhancement Box、もしくはその他Box内でシグナルするようにしてもよい。すなわち、オフセットに関する情報に、そのオフセットに関する情報がストリーム中において動的に変化するかを示す情報が含まれるようにしてもよい。この情報を参照することにより、クライアント装置２００は、動的に高画質化方向が変化する偏心球面マッピングストリームであることを容易に識別することができる。

＜MPDファイルにおけるレンダリングに関する情報のシグナル＞
第２の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、同様に、そのプロジェクション拡張に対応するレンダリングに関する情報もシグナルするようにしてもよい。このレンダリングに関する情報は、画像を立体構造にレンダリングする際に用いられる情報を含む。例えば、レンダリングに関する情報に、画像の立体構造への投影のオフセットに関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを配信制御するMPDファイルの場合、その偏心球面マッピングのオフセットに関する情報（例えばoffset方向およびoffset値等）が含まれるようにしてもよい。

また、そのオフセットに関する情報として、ストリーム中で動的にオフセットに関する情報が変化することを示すフラグをシグナルするようにしてもよい。その場合、そのフラグを、Projection enhancement descriptorやOffset spherical projection descriptorにおいてシグナルするようにすればよい。そのようにすることにより、上述のISOBMFFファイルの場合と同様の効果を得ることができる。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、MPDファイル生成部１１３が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置（例えばファイル生成装置１００）が、ファイル生成部（例えばMPDファイル生成部１１３）を備えるようにしてもよい。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図３９のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ２４１において、画像とメタデータを取得する。

ステップＳ２４２において、セグメントファイル生成部１２３は、ステップＳ２４１において取得した画像のセグメントファイルを生成する。

ステップＳ２４３において、MPDファイル生成部１１３は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むMPDファイルを生成する。例えば、偏心球面マッピングストリームに対応するMPDファイルを生成する場合、MPDファイル生成部１１３は、偏心球面マッピングに対応するレンダリングに関する情報を含むMPDファイルを生成する。

ステップＳ２４４において、記録部１１４は、ステップＳ２４２の処理により生成されたセグメントファイルを記録する。また、記録部１１４は、ステップＳ２４３の処理により生成されたMPDファイルを記録する。

ステップＳ２４５において、アップロード部１１５は、ステップＳ２４４において記録されたMPDファイルを記録部１１４より読み出し、それをサーバにアップロードする。また、アップロード部１１５は、ステップＳ２４４において記録されたセグメントファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ２４５の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むMPDファイルを生成することができる。

したがって、クライアントは、そのレンダリングに関する情報を用いて、容易に、再生可能なストリームを選択したり、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングしたりすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜MPDファイルにシグナルされたレンダリングに関する情報の利用＞
また、MPDファイルにシグナルされたレンダリングに関する情報を利用してストリームを選択したり、レンダリングを行ったりするようにしてもよい。例えば、偏心球面マッピングストリームの配信を制御するMPDファイルの場合、そのMPDファイルにシグナルされた偏心球面マッピングのオフセットに関する情報を利用して、配信要求するストリームを選択したり、レンダリングを行ったりするようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行うようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、MPDファイル取得部２１２が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部２１６が、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行う画像処理部として機能するようにしてもよい。つまり、情報処理装置（例えばクライアント装置２００）が、ファイル取得部（例えばMPDファイル取得部２１２）と、画像処理部（例えばデータ解析・復号部２１６）とを備えるようにしてもよい。

＜コンテンツ再生処理の流れ＞
その場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図４０のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のMPDファイル取得部２１２は、ステップＳ２６１において、プロジェクション拡張方法に対応するレンダリングに関する情報を含むMPDファイルを取得する。

ステップＳ２６２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ２６３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ２６４において、MPDファイル処理部２１３は、ステップＳ２６１において取得されたMPDファイルに基づいて（特に、そのMPDファイルに含まれる、プロジェクション拡張方法に対応するレンダリングに関する情報等に基づいて）、アダプテーションセット（Adaptation Set）やリプレゼンテーション（Representation）を選択する。

ステップＳ２６５において、セグメントファイル取得部２１４は、ステップＳ２６４において選択されたアダプテーションセット（Adaptation Set）やリプレゼンテーション（Representation）を含むセグメントファイルを取得する。

ステップＳ２６６において、セグメントファイル処理部２２１は、ステップＳ２６５において取得されたセグメントファイルから符号化データを抽出する。

ステップＳ２６７において、デコード部２２２は、ステップＳ２６６において抽出されたストリームの符号化データを復号する。

ステップＳ２６８において、表示情報生成部２２３は、ステップＳ２６７において復号されて得られたストリーム（コンテンツ）を、MPDファイルに含まれるレンダリングに関する情報を用いて再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ２６８の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、MPDファイルに含まれるプロジェクション拡張方法に対応するレンダリングに関する情報を利用して、そのMPDファイルにより配信制御されるストリーム（そのストリームに対応するコンテンツ）を再生することができる。

＜ISOBMFFファイルにおけるストリーム選択に関する情報のシグナル＞
以上においては、レンダリングに関する情報のシグナリングについて説明したが、プロジェクション拡張が適用されたストリームを含むISOBMFFファイルの場合、そのプロジェクション拡張に対応するストリームの選択に関する情報もシグナルするようにしてもよい。このストリームの選択に関する情報は、再生するコンテンツのストリームを選択する際に用いられる情報を含む。例えば、このストリームに関する情報に、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像（projected picture）の画質に関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、その偏心球面マッピングにより平面にマッピングされた投影平面画像（projected picture）の画質に関する情報が含まれるようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを生成するようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、MPDファイル生成部１１３が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置（例えばファイル生成装置１００）が、ファイル生成部（例えばMPDファイル生成部１１３）を備えるようにしてもよい。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図４１のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ２８１において、画像とメタデータを取得する。

ステップＳ２８２において、セグメントファイル生成部１２３は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むISOBMFFファイルを生成する。

ステップＳ２８３において、記録部１１４は、ステップＳ２８２の処理により生成されたISOBMFFファイルを記録する。

ステップＳ２８４において、アップロード部１１５は、ステップＳ２８３において記録されたISOBMFFファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ２８４の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むISOBMFFファイルを生成することができる。

したがって、クライアントは、そのストリームの選択に関する情報を用いて、より容易に、プロジェクション拡張が適用されたストリームの選択を行うことができる。例えば、クライアントは、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。

つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜ISOBMFFにシグナルされたストリームの選択に関する情報の利用＞
また、ISOBMFFファイルにシグナルされたストリームの選択に関する情報を利用してストリームの選択を行うようにしてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、そのISOBMFFファイルにシグナルされた偏心球面マッピングにより立体構造画像が平面にマッピングされた投影平面画像（projected picture）の画質に関する情報を利用してレンダリングを行うようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを取得し、その取得されたファイルに含まれる投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行うようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、セグメントファイル取得部２１４が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部２１６が、そのファイル取得部により取得されたファイルに含まれる投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置（例えばクライアント装置２００）が、ファイル取得部（例えばセグメントファイル取得部２１４）と、画像処理部（例えばデータ解析・復号部２１６）とを備えるようにしてもよい。

＜コンテンツ再生処理の流れ＞
その場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図４２のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のセグメントファイル取得部２１４は、ステップＳ３０１において、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むISOBMFFファイルを取得する。

ステップＳ３０２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ３０３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ３０４において、セグメントファイル処理部２２１は、ステップＳ３０１において取得されたISOBMFFファイルに含まれるストリームの選択に関する情報、ユーザの視点位置および視線方向、並びに、クライアントとサーバとの間のネットワークの伝送帯域幅等に基づいて、クライアントの視野が高画質化されているトラック（track）を選択する。

ステップＳ３０５において、セグメントファイル処理部２２１は、ステップＳ３０４において選択されたトラックのストリームの符号化データを、ステップＳ３０１において取得されたISOBMFFファイルから抽出する。

ステップＳ３０６において、デコード部２２２は、ステップＳ３０５において抽出されたストリームの符号化データを復号する。

ステップＳ３０７において、表示情報生成部２２３は、ステップＳ３０６において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ３０７の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応するストリームの選択に関する情報を利用して、より容易に、より適切なストリームを選択することができる。例えば、クライアント装置２００は、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。

＜MPDファイルにおけるストリーム選択に関する情報のシグナル＞
第２の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、同様に、そのプロジェクション拡張に対応するストリームの選択に関する情報もシグナルするようにしてもよい。

このストリームの選択に関する情報は、再生するコンテンツのストリームを選択する際に用いられる情報を含む。例えば、このストリームに関する情報に、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像（projected picture）の画質に関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを配信制御するMPDファイルの場合、その偏心球面マッピングにより平面にマッピングされた投影平面画像（projected picture）の画質に関する情報が含まれるようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、MPDファイル生成部１１３が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置（例えばファイル生成装置１００）が、ファイル生成部（例えばMPDファイル生成部１１３）を備えるようにしてもよい。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図４３のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ３２１において、画像とメタデータを取得する。

ステップＳ３２２において、セグメントファイル生成部１２３は、ステップＳ３２１において取得した画像のセグメントファイルを生成する。

ステップＳ３２３において、MPDファイル生成部１１３は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むMPDファイルを生成する。例えば、偏心球面マッピングストリームに対応するMPDファイルを生成する場合、MPDファイル生成部１１３は、偏心球面マッピングに対応するストリームの選択に関する情報を含むMPDファイルを生成する。

ステップＳ３２４において、記録部１１４は、ステップＳ３２２の処理により生成されたセグメントファイルを記録する。また、記録部１１４は、ステップＳ３２３の処理により生成されたMPDファイルを記録する。

ステップＳ３２５において、アップロード部１１５は、ステップＳ３２４において記録されたMPDファイルを記録部１１４より読み出し、それをサーバにアップロードする。また、アップロード部１１５は、ステップＳ３２４において記録されたセグメントファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ３２５の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むMPDファイルを生成することができる。

したがって、クライアントは、そのストリームの選択に関する情報を用いて、より容易に、より適切なストリームを選択することができる。例えば、クライアントは、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。

つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜MPDファイルにシグナルされたレンダリングに関する情報の利用＞
また、MPDファイルにシグナルされたストリームの選択に関する情報を利用してストリームを選択するようにしてもよい。例えば、偏心球面マッピングストリームの配信を制御するMPDファイルの場合、そのMPDファイルにシグナルされた偏心球面マッピングにより平面にマッピングされた投影平面画像（projected picture）の画質に関する情報を利用して、配信要求するストリームを選択するようにしてもよい。

つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、その取得された制御ファイルに含まれる投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行うようにしてもよい。

例えば、情報処理装置であるファイル生成装置１００において、MPDファイル取得部２１２が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部として機能し、MPDファイル処理部２１３が、そのファイル取得部により取得されたその制御ファイルに含まれるその投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置（例えばクライアント装置２００）が、ファイル取得部（例えばMPDファイル取得部２１２）と、画像処理部（例えばMPDファイル処理部２１３）とを備えるようにしてもよい。

＜コンテンツ再生処理の流れ＞
その場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図４４のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のMPDファイル取得部２１２は、ステップＳ３４１において、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むMPDファイルを取得する。

ステップＳ３４２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ３４３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ３４４において、MPDファイル処理部２１３は、ステップＳ３４１において取得されたMPDファイルに含まれるストリームの選択に関する情報、ユーザの視点位置および視線方向、並びに、クライアントとサーバとの間のネットワークの伝送帯域幅等に基づいて、クライアントの視野が高画質化されているアダプテーションセット（Adaptation Set）を選択する。

ステップＳ３４５において、MPDファイル処理部２１３は、さらに、ステップＳ３４４において選択されたAdaptation Setから、所望のリプレゼンテーション（Representation）を選択する。

ステップＳ３４６において、セグメントファイル取得部２１４は、ステップＳ３４４およびＳ３４５において選択されたAdaptation SetやRepresentationを含むセグメントファイルを取得する。

ステップＳ３４７において、セグメントファイル処理部２２１は、ステップＳ３４６において取得されたセグメントファイルから符号化データを抽出する。

ステップＳ３４８において、デコード部２２２は、ステップＳ３４７において抽出されたストリームの符号化データを復号する。

ステップＳ３４９において、表示情報生成部２２３は、ステップＳ３４８において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ３４９の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、MPDファイルに含まれるプロジェクション拡張方法に対応するストリームの選択に関する情報を用いて、より容易に、より適切なストリームを選択することができる。例えば、クライアント装置２００は、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。

＜偏心球面マッピングストリーム＞
偏心球面マッピングストリームには、高画質化する方向がストリーム中で不変であるスタティック（static）な偏心球面マッピングストリームと、高画質化する方向がストリーム中で変化するダイナミック（dynamic）な偏心球面マッピングストリームの２種類存在する。それぞれにおいて、ストリーム選択に必要な情報が異なる。

＜staticな偏心球面マッピングストリーム＞
staticな偏心球面マッピングストリームの場合、クライアントのユーザの視野変更が行われたら、視野方向が高画質化されたストリームを取得・レンダリングすることで、常に高画質な映像をそのユーザに視聴させる（ユーザに提供する）ことができる。そこで、例えばストリームの領域毎のクオリティランキング（Quality ranking）をシグナルすることにより、クライアントにおいてユーザの視野変更に応じたストリームの切り替えが可能になる。

＜dynamicな偏心球面マッピングストリーム＞
dynamicな偏心球面マッピングストリームの場合、例えば、統計上最も良く視聴されている方向や、特定の登場人物の動きに従って、高画質方向が動的に変化する。その際、クライアントのユーザの視野に応じたストリーム切り替えは行われないことが想定される。そこで、例えばストリーム中で高画質化されている領域の属性をシグナルすることにより、クライアントにおいて再生開始時にユーザプリファレンスに応じたストリーム選択が可能になる。ここで高画質化されている領域の属性とは、例えば統計上ユーザが最もよく見る領域や、特定の登場人物、ディレクターズカット等である。

＜ISOBMFFファイルにおけるQuality rankingのシグナル＞
以上の２つの内、まず、staticな偏心球面マッピングストリームについて説明する。offset方向およびoffset値から、偏心球面マッピングストリーム間のQuality比較が可能である。ただし、この方法では、偏心球面マッピングストリーム以外とのQuality比較はできない。

OMAFで定義されているQuality rankingという共通の画質指標を用いることで、偏心球面マッピングストリーム間の切り替えだけでなく、他のプロジェクション拡張やviewport dependentな高画質化処理（例えばregion-wise packing等）がなされたストリーム間でのQuality比較と、それをもとにしたストリーム切り替えが可能となる。

つまり、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、このQuality rankingに関する情報が含まれるようにしてもよい。例えば、ファイル生成装置１００のセグメントファイル生成部１２３が、Quality rankingに関する情報を含む投影平面画像の画質に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のデータ解析・復号部２１６が、ISOBMFFファイルに含まれる投影平面画像の画質に関する情報の、Quality rankingに関する情報に基づいて、ストリームを選択するようにしてもよい。

このようにQuality rankingに関する情報を用いることにより、クライアントにおいて、より容易に、より高画質な画像を選択し、ユーザに提供することができる。つまり、クライアントの視野に応じて、視野領域が高画質となっている偏心球面マッピングが適用されたストリームを選択することができる。これによりクライアントのユーザの視野領域を常に高画質化することが可能となり、ユーザ体験を向上させることができる。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図４５のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ３６１において、画像とメタデータを取得する。

ステップＳ３６２において、セグメントファイル生成部１２３は、Quality rankingに関する情報を含むISOBMFFファイルを生成する。

ステップＳ３６３において、記録部１１４は、ステップＳ３６２の処理により生成されたISOBMFFファイルを記録する。

ステップＳ３６４において、アップロード部１１５は、ステップＳ３６３において記録されたISOBMFFファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ３６４の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、Quality rankingに関する情報を含むISOBMFFファイルを生成することができる。

したがって、クライアントは、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜コンテンツ再生処理の流れ＞
次に、このような、Quality rankingに関する情報を含むISOBMFFファイルのコンテンツを再生する場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図４６のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のセグメントファイル取得部２１４は、ステップＳ３８１において、プロジェクション拡張方法に対応するQuality rankingに関する情報を含むISOBMFFファイルを取得する。

ステップＳ３８２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ３８３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ３８４において、セグメントファイル処理部２２１は、ステップＳ３８１において取得したISOBMFFファイルに含まれるQuality rankingに関する情報、ユーザの視点位置および視線方向、および、クライアントとサーバとの間のネットワークの伝送帯域幅等に応じて、クライアント装置２００のユーザの視野が高画質化されているトラック（track）を選択する。

ステップＳ３８５において、セグメントファイル処理部２２１は、ステップＳ３８４において選択されたトラックのストリームの符号化データを、ステップＳ３８１において取得されたISOBMFFファイルから抽出する。

ステップＳ３８６において、デコード部２２２は、ステップＳ３８５において抽出されたストリームの符号化データを復号する。

ステップＳ３８７において、表示情報生成部２２３は、ステップＳ３８６において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ３８７の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応するQuality rankingに関する情報を利用して、より高画質な画像のtrackを選択し、再生することができる。

したがって、クライアント装置２００は、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択し、そのストリームの画像（より高画質な画像）をユーザに提供することができる。

つまり、クライアント装置２００のユーザの視野に応じて、視野領域が高画質となっている偏心球面マッピングが適用されたストリームを選択することができる。これによりクライアント装置２００のユーザの視野領域を常に高画質化することが可能となり、ユーザ体験を向上させることができる。

＜ネストされたQuality Ranking領域のシグナリング＞
偏心球面マッピングの画質は、最高画質の方向から最低画質の方向に向けて画質が滑らかに変化する特性がある。そのため、図４７に示されるようなネスト（nest）された領域（入れ子構造の領域）のQuality rankingのシグナリングが有効である。なお、Quality rankingがシグナルされる領域（以下、Quality ranking領域とも称する）内のQualityはおおよそ一定という前提であり、Quality ranking値の小さい方が高画質である。

図４７に示される画像４００には、Quality ranking領域４０１乃至Quality ranking領域４０３が設定されている。Quality ranking領域４０１は、Quality ranking領域４０２に内包され、Quality ranking領域４０２は、Quality ranking領域４０３に内包されている。つまり、Quality ranking領域４０１乃至Quality ranking領域４０３は、入れ子構造を形成している（ネストされた領域である）。

図４７の例の場合、Quality ranking領域４０１には、Quality ranking値「１」がセットされている。また、Quality ranking領域４０２には、Quality ranking値「２」がセットされている。さらに、Quality ranking領域４０３には、Quality ranking値「３」がセットされている。つまり、これらの内、Quality ranking領域４０１の画像が最も高画質であり、Quality ranking領域４０３の画像が最も低画質である。なお、領域４０４は、Quality ranking値が設定されていないその他の領域である。

このようなネストされた領域毎のQuality ranking値を上述のQuality rankingに関する情報として利用するようにしてもよい。つまり、Quality rankingに関する情報に、入れ子構造の領域毎のQuality rankingに関する情報が含まれるようにしてもよい。

＜Quality rankingをシグナルするBox＞
OMAFにおいて、Quality rankingは、球面上領域に対するQuality rankingをシグナルするSphere Region Quality Ranking Boxと、２次元矩形領域に対するQuality rankingをシグナルする2D Region Quality Ranking Boxが定義されている。

図４８に示されるシンタックス４２１は、Sphere Region Quality Ranking Boxのシンタックスの例を示す。また、図４９に示されるシンタックス４２２は、2D Region Quality Ranking Boxのシンタックスの例を示す。

Sphere Region Quality Ranking Box、2D Region Quality Ranking Boxいずれにおいても、num_regionsで示される数のQualitry ranking領域を持ち、その領域毎にquality_rankingがシグナルされる。Sphere Region Quality Ranking Boxでは球面上におけるQualitry ranking領域がSphere Region Structでシグナルされ、2D Region Quality Ranking Boxにおいては、２次元矩形の形状のQuality ranking領域が、left_offset、top_offset、region_width、およびregion_hegihtでシグナルされる。remaining_area_flagは、シグナルされたQuality ranking領域以外の全ての領域に対してquality_rankingをシグナルするために用いられる。

これらのBoxにおいて、入れ子構造の領域毎のQuality rankingに関する情報をシグナルするようにしてもよい。換言するに、Quality rankingに関する情報にSphere Region Quality Ranking Boxが含まれるようにしてもよい。また、Quality rankingに関する情報に2D Region Quality Ranking Boxが含まれるようにしてもよい。

ここで、Quality ranking領域[i]のQuality rankingは、Quality ranking領域[i]からQuality ranking領域[i]に重なるi>jの全てのQuality ranking領域[j]を除いた領域に適用される、と定義される。この定義に従い、ネストされたQuality ranking領域のシグナルがなされる。つまり、図４７の画像４００の場合、Quality ranking領域４０１乃至Quality ranking領域４０３は、図５０に示されるような形状の領域に定義される。

＜Quality ranking領域の重なりに関する情報＞
なお、Quality ranking領域に重なりがある状態において、クライアントがあるQuality ranking領域を識別する場合、その領域の上に重なる領域の有無を識別し、重なる領域があるならその領域分を除く、という処理を行う必要がある。これに対して、重なる領域が存在しない場合、この処理は不要である。つまり、常に上述の処理を行うようにすると、重なる領域が存在しない場合の処理の負荷が不要に増大するおそれがある。

そこで、Quality ranking領域に重なる領域が存在するか否かをフラグで明示するようにしてもよい。つまり上述のQuality rankingに関する情報に、Quality ranking領域の重なりに関する情報が含まれるようにしてもよい。例えば、画像全体についてQuality ranking領域の重なりの有無を示す情報が含まれるようにしてもよい。また、例えば、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報が含まれるようにしてもよい。このような情報を利用することにより、クライアントは、重なる領域が存在しない領域について、重なる領域を取り除く処理が不要になる（処理を省略することができる）ので、クライアント処理の効率を向上させることができる。

図５１に示されるシンタックス４２３は、この場合のSphere Region Quality Ranking Boxのシンタックスの例を示す。また、図５２に示されるセマンティクス４２４は、このBoxに追加されたフィールドのセマンティクスの例を示す。

overlapped_region_presence_flagは、画像全体についてQuality ranking領域の重なりの有無を示す情報である。どのような値がどのような状態を示すかは任意である。例えば、このフィールドの値が０の場合、全てのQuality ranking領域の中で互いに重なる領域がないことを示すようにしてもよい。また、このフィールドの値が１の場合、Quality ranking領域の中で互いに重なる領域があることを示すようにしてもよい。つまり、この場合、overlapped_region_presence_flagが０の場合、画像内の全てのQuality ranking領域について、重なる領域を取り除く処理が不要である。換言するに、overlapped_region_presence_flagが１の場合のみ、各Quality ranking領域について、重なる領域を取り除く処理が必要であるかを確認するようにすればよい。

overlapped_region_flagは、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報である。このoverlapped_region_flagは、例えば、図５３に示されるように、各Quality ranking領域に対してセットされる。

どのような値がどのような状態を示すかは任意である。例えば、このフィールドの値が０の場合、この領域（i=x）の上に、他の領域（i=y、yはy<x）が重なっていないことを示すようにしてもよい。また、このフィールドの値が１の場合、この領域（i=x）の上に、他の領域（i=y、yはy<x）が重なっていることを示すようにしてもよい。つまり、この場合、overlapped_region_flagが０の領域は、重なる領域を取り除く処理が不要である。換言するに、overlapped_region_flagが１の領域のみ、重なる領域を取り除く処理を行うようにすればよい。

このようにすることで、クライアントの処理の負荷の不要な増大を抑制することができる。

さらに、あるQuality ranking領域の上に他の領域が重なっているとき、どの領域が重なっているのかを明示するようにしてもよい。例えば、上述のQuality rankingに関する情報に、その情報に対応する領域に重なる他の領域の数を示す情報が含まれるようにしてもよい。また、例えば、上述のQuality rankingに関する情報に、その情報に対応する領域に重なる他の領域を示す情報が含まれるようにしてもよい。このような情報を利用することにより、重なる領域を除いたQuality ranking領域を識別するクライアント処理をより容易にすることができる。

図５４に示されるシンタックス４２５は、この場合のSphere Region Quality Ranking Boxのシンタックスの例を示す。また、図５５に示されるセマンティクス４２６は、このBoxに追加されたフィールドのセマンティクスの例を示す。

num_overlapped_regionsは、図５６に示されるように、各QualityRanking領域にセットされる情報であり、その値は、そのnum_overlapped_regionsがセットされたQualityRanking領域の上に重なっている他のQualityRanking領域の数を示す。

overlapped_region_indexは、図５６に示されるように、各QualityRanking領域にセットされる情報であり、その値は、そのoverlapped_region_indexがセットされたQualityRanking領域（当該領域）の上に重なっているQualityRanking領域のインデックス（index）を示す。つまり、このフィールドの値は、当該領域にどのQualityRanking領域が重なっているかを示す。重なる領域が存在しない場合、このフィールドは省略することができる。換言するに、このフィールドが省略されている場合、重なる領域が存在しないことを示す。

overlapped_region_indexを参照することで、そのQuality ranking領域に重なる領域のインデックスを識別できるため、Quality ranking領域を総当たりで確認する必要がなくなり、重なる領域を除いたQuality ranking領域を識別するクライアント処理をより容易化することができる。

なお、以上においては、Sphere Region Quality Ranking Boxを例に説明したが、これらの拡張は、2D Region Quality Ranking Boxにも適用可能である。

＜最高・最低画質のQualityRankingのみのシグナリング＞
偏心球面マッピングの画質は、最高画質の方向から最低画質の方向に向けて画質が滑らかに変化する特性がある。したがって、最高画質および最低画質のQuality rankingさえシグナルされていれば、Quality rankingがシグナルされない領域のQuality rankingについては、シグナルされたその最高画質および最低画質のQuality rankingから類推が可能である。

そこで、最高画質および最低画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。つまり上述のQuality rankingに関する情報が、最高画質および最低画質のQuality rankingのみに関する情報を含むようにしてもよい。そして、クライアントは、その最高画質および最低画質のQuality rankingのみに関する情報に基づいて、その他のQuality rankingを類推するようにしてもよい。

また、その際、最高および最低画質のQuality rankingのみをシグナルすることをフラグにより明示するようにしてもよい。つまり、上述のQuality rankingに関する情報が、さらに、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含むようにしてもよい。

例えば、Sphere Region Quality Ranking Boxを拡張し、最高および最低画質のQuality rankingのみをシグナルすることをフラグにより明示するようにしてもよい。図５７に示されるシンタックス４２７は、その場合のSphere Region Quality Ranking Boxのシンタックスの例を示す。また、図５８のセマンティクス４２８は、このBoxにおいて追加されたフィールドのセマンティクスの例を示す。

min_max_only_flagは、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報である。このフィールドの値が１の場合、このBoxでシグナルされるQuality rankingは、最高画質および最低画質のQuality rankingのみであることを示す。そして、その場合（min_max_only_flag=1の場合）、上述のnum_regionsの値は２である。

なお、以上においては、Sphere Region Quality Ranking Boxを例に説明したが、この拡張は、2D Region Quality Ranking Boxにも適用可能である。

また、上述の２種類のBoxを用いる代わりに、最高画質および最低画質のQuality Rankingのみをシグナルする専用のBoxを新規定義するようにしてもよい。

＜最高画質のQuality Rankingのみのシグナリング＞
偏心球面マッピングは、特定の１方向を高画質化するものであり、その最高画質の領域のみ識別することができればストリームを選択することが可能である。そこで、最高画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。

例えば、上述のQuality rankingに関する情報が、最高画質のQuality rankingのみに関する情報を含むようにしてもよい。また、そのQuality rankingに関する情報が、対応する領域のQuality rankingが未定義であることを示す値のQuality rankingをさらに含むようにしてもよい。

このようにすることにより、クライアントは、多くのQuality ranking領域を識別する必要がなく、処理の簡易化が可能となる。また、コンテンツ生成側も、多くの領域のQualityを算出したり、シグナルしたりする必要がないため、処理の簡易化が可能となる。

最高画質のQuality rankingのみのシグナリングは、例えば、Sphere Region Quality Ranking Boxのセマンティクスにおいて、quality_rankingの特定の値に対し、"Quality rankingが未定義であり、かつそのquality_ranking値の領域はその値以外のquality_rankingを有するどの領域のQualityよりも低い、という定義を行うことで実現することができる。例えば、quality_ranking=0の領域は、その領域のQuality rankingが未定義で、かつその値以外のquality_rankingを有するどの領域のQualityよりもQualityが低い、とすればよい。

このとき、最高画質のQuality rankingのみのシグナリングは、最高画質領域のQuality rankingと、それ以外の画質未定義領域（quality_ranking=0）のシグナリングにより実現することができる。つまり、シンタックスの変更は不要である。

もちろん、このセマンティクスの拡張は、2D Region Quality Ranking Boxにも適用可能である。

また、Sphere Region Quality Ranking Boxや2D Region Quality Ranking Boxを用いる代わりに、最高画質のQuality rankingのみをシグナルするBoxを新規定義するようにしてもよい。

＜MPDファイルにおけるQuality rankingのシグナル＞
第２の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、上述のISOBMFFファイルの場合と同様に、OMAFで定義されているQuality rankingを利用することにより、偏心球面マッピングストリーム間の切り替えだけでなく、他のプロジェクション拡張やviewport dependentな高画質化処理（例えばregion-wise packing等）がなされたストリーム間でのQuality比較と、それをもとにしたストリーム切り替えが可能となる。

つまり、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、このQuality rankingに関する情報が含まれるようにしてもよい。例えば、ファイル生成装置１００のMPDファイル生成部１１３が、Quality rankingに関する情報を含む投影平面画像の画質に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のMPDファイル処理部２１３が、MPDファイルに含まれる投影平面画像の画質に関する情報の、Quality rankingに関する情報に基づいて、ストリームを選択するようにしてもよい。

このようにQuality rankingに関する情報を用いることにより、クライアントにおいて、より容易に、より高画質な画像を選択し、ユーザに提供することができる。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図５９のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ４０１において、画像とメタデータを取得する。

ステップＳ４０２において、セグメントファイル生成部１２３は、その画像のセグメントファイルを生成する。

ステップＳ４０３において、MPDファイル生成部１１３は、Quality rankingに関する情報を含むMPDファイルを生成する。

ステップＳ４０４において、記録部１１４は、ステップＳ４０３の処理により生成されたMPDファイルを記録する。また、記録部１１４は、ステップＳ４０２の処理により生成されたセグメントファイルを記録する。

ステップＳ４０５において、アップロード部１１５は、ステップＳ４０４において記録されたMPDファイルを記録部１１４より読み出し、それをサーバにアップロードする。また、アップロード部１１５は、ステップＳ４０４において記録されたMPDファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ４０５の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、Quality rankingに関する情報を含むMPDファイルを生成することができる。

したがって、クライアントは、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜コンテンツ再生処理の流れ＞
次に、このような、Quality rankingに関する情報を含むMPDファイルのコンテンツを再生する場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図６０のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のMPDファイル取得部２１２は、ステップＳ４２１において、プロジェクション拡張方法に対応するQuality rankingに関する情報を含むMPDファイルを取得する。

ステップＳ４２２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ４２３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ４２４において、MPDファイル処理部２１３は、ステップＳ４２１において取得したMPDファイルに含まれるQuality rankingに関する情報、ユーザの視点位置および視線方向、および、クライアントとサーバとの間のネットワークの伝送帯域幅等に応じて、クライアント装置２００のユーザの視野が高画質化されているアダプテーションセット（Adaptation Set）を選択する。

ステップＳ４２５において、MPDファイル処理部２１３は、ステップＳ４２４において選択されたAdatation Setから、所望のリプレゼンテーション（Representation）を選択する。

ステップＳ４２６において、セグメントファイル取得部２１４は、ステップＳ４２４およびＳ４２５において選択されたAdaptation SetやRepresentationを含むセグメントファイルを取得する。

ステップＳ４２７において、セグメントファイル処理部２２１は、ステップＳ４２６において取得されたセグメントファイルから符号化データを抽出する。

ステップＳ４２８において、デコード部２２２は、ステップＳ４２７において抽出されたストリームの符号化データを復号する。

ステップＳ４２９において、表示情報生成部２２３は、ステップＳ４２８において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ４２９の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、MPDファイルに含まれるプロジェクション拡張方法に対応するQuality rankingに関する情報を利用して、より高画質な画像のAdaptation Setを選択し、再生することができる。

＜ネストされたQuality Ranking領域のシグナリング＞
MPDファイルにおいてQuality rankingをシグナルする場合も、上述のようにISOBMFFファイルにおいてシグナルする場合と同様に、ネストされた領域毎のQuality ranking値をQuality rankingに関する情報として利用するようにしてもよい。つまり、Quality rankingに関する情報に、入れ子構造の領域毎のQuality rankingに関する情報が含まれるようにしてもよい。

＜Quality rankingをシグナルするdescriptor＞
OMAFでは、Sphere Region Quality Ranking Boxと、2D Region Quality Ranking Boxそれぞれに対応するDASH MPDのdescriptorとして、spherical region-wise quality ranking descriptorおよび2D region-wise quality ranking descriptorも定義されている。

これらのdescriptorを用いて、入れ子構造の領域毎のQuality rankingに関する情報をシグナルするようにしてもよい。換言するに、Quality rankingに関する情報にspherical region-wise quality ranking descriptorが含まれるようにしてもよい。また、Quality rankingに関する情報に2D region-wise quality ranking descriptorが含まれるようにしてもよい。

＜Quality ranking領域の重なりに関する情報＞
MPDファイルにQuality rankingに関する情報をシグナルする場合も、上述のISOBMFFファイルの場合と同様に、Quality ranking領域に重なる領域が存在するか否かをフラグで明示するようにしてもよい。つまり上述のQuality rankingに関する情報に、Quality ranking領域の重なりに関する情報が含まれるようにしてもよい。例えば、画像全体についてQuality ranking領域の重なりの有無を示す情報が含まれるようにしてもよい。また、例えば、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報が含まれるようにしてもよい。このような情報を利用することにより、クライアントは、重なる領域が存在しない領域について、重なる領域を取り除く処理が不要になる（処理を省略することができる）ので、クライアント処理の効率を向上させることができる。

つまり、例えば、上述のdescriptorに対してoverlapped_region_presence_flag属性、overlapped_region_flag属性、num_overlapped_regions属性、overlapped_region_index属性等を追加するようにしてもよい。

overlapped_region_presence_flag属性は、上述のoverlapped_region_presence_flagと同様に、画像全体についてQuality ranking領域の重なりの有無を示す情報である。このセマンティクスは、overlapped_region_presence_flagと同様である。

overlapped_region_flag属性は、上述のoverlapped_region_flagと同様に、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報である。このセマンティクスは、overlapped_region_flagと同様である。

num_overlapped_regions属性は、上述のnum_overlapped_regionsと同様に、各QualityRanking領域にセットされる情報である。その値は、そのnum_overlapped_regions属性がセットされたQualityRanking領域の上に重なっている他のQualityRanking領域の数を示す。このセマンティクスは、num_overlapped_regionsと同様である。

overlapped_region_index属性は、上述のoverlapped_region_indexと同様に、各QualityRanking領域にセットされる情報であり、その値は、そのoverlapped_region_index属性がセットされたQualityRanking領域（当該領域）の上に重なっているQualityRanking領域のインデックス（index）を示す。つまり、このフィールドの値は、当該領域にどのQualityRanking領域が重なっているかを示す。このセマンティクスは、num_overlapped_regionsと同様である。

つまり、DASHにおけるQuality ranking情報をもとにしたAdaptation Set選択時においても、上述したISOBMFFファイルの場合と同様の効果を得ることができる。

＜最高・最低画質のQualityRankingのみのシグナリング＞
MPDファイルの場合も上述のISOBMFFファイルの場合と同様に、最高画質および最低画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。つまり上述のQuality rankingに関する情報が、最高画質および最低画質のQuality rankingのみに関する情報を含むようにしてもよい。そして、クライアントは、その最高画質および最低画質のQuality rankingのみに関する情報に基づいて、その他のQuality rankingを類推するようにしてもよい。

例えば、上述のspherical region-wise quality ranking descriptorや2D region-wise quality ranking descriptorに対して、min_max_only_flag属性を追加するようにしてもよい。min_max_only_flag属性は、上述のmin_max_only_flagと同様に、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報である。このセマンティクスは、min_max_only_flagと同様である。このようにすることにより、DASHにおけるQuality ranking情報をもとにしたAdaptation Set選択時においても、track選択の場合と同様の効果を得ることができるで適用可能である。

なお、最高画質および最低画質のQuality Rankingのみをシグナルするdescriptorを新規定義するようにしてもよい。

＜最高画質のQuality Rankingのみのシグナリング＞
MPDファイルの場合も上述のISOBMFFファイルの場合と同様に、最高画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。

なお、最高画質のQuality Rankingのみをシグナルするdescriptorを新規定義するようにしてもよい。

＜ISOBMFFファイルにおける高画質化領域の属性シグナリング＞
次に、ストリーム中で動的に高画質化される領域が変化するdynamicな偏心球面マッピングストリームについて説明する。次に、ストリーム中で動的に高画質化される領域が変化する場合、高画質化されている領域の属性をシグナルすることで、ユーザプリファレンスに応じたストリーム選択を可能にする。

例えば、ISOBMFFファイルに含まれる、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、他の領域よりも高画質な高画質化領域に関する情報が含まれるようにしてもよい。

例えば、ファイル生成装置１００のセグメントファイル生成部１２３が、他の領域よりも高画質な高画質化領域に関する情報を含む投影平面画像の画質に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のデータ解析・復号部２１６が、ISOBMFFファイルに含まれる投影平面画像の画質に関する情報の、他の領域よりも高画質な高画質化領域に関する情報に基づいて、ストリームを選択するようにしてもよい。

このように他の領域よりも高画質な高画質化領域に関する情報を用いることにより、ユーザプリファレンスに応じて、所望の領域が高画質化されている偏心球面マッピングが適用されたストリームを選択することができる。これにより所望の領域が高画質となったストリームをユーザに視聴させることができ、ユーザ体験を向上させることができる。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図６１のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ４４１において、画像とメタデータを取得する。

ステップＳ４４２において、セグメントファイル生成部１２３は、track毎の高画質化領域の属性に関する情報を含むISOBMFFファイルを生成する。

ステップＳ４４３において、記録部１１４は、ステップＳ４４２の処理により生成されたISOBMFFファイルを記録する。

ステップＳ４４４において、アップロード部１１５は、ステップＳ４４３において記録されたISOBMFFファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ４４４の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、他の領域よりも高画質な高画質化領域に関する情報を含むISOBMFFファイルを生成することができる。

したがって、クライアントは、その「他の領域よりも高画質な高画質化領域に関する情報」を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。

＜コンテンツ再生処理の流れ＞
次に、このような、他の領域よりも高画質な高画質化領域に関する情報を含むISOBMFFファイルのコンテンツを再生する場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図６２のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のセグメントファイル取得部２１４は、ステップＳ４６１において、track毎の高画質化領域に関する情報を含むISOBMFFファイルを取得する。

ステップＳ４６２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ４６３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ４６４において、セグメントファイル処理部２２１は、ステップＳ４６１において取得したISOBMFFファイルに含まれる高画質化領域の属性に関する情報に基づいて、track毎の高画質化領域の属性を識別し、表示し、その表示に基づいて入力されるユーザの好みに応じてtrackを選択する。

ステップＳ４６５において、セグメントファイル処理部２２１は、ステップＳ４６４において選択されたトラックのストリームの符号化データを、ステップＳ４６１において取得されたISOBMFFファイルから抽出する。

ステップＳ４６６において、デコード部２２２は、ステップＳ４６５において抽出されたストリームの符号化データを復号する。

ステップＳ４６７において、表示情報生成部２２３は、ステップＳ４６６において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ４６７の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応する高画質化領域の属性に関する情報を利用して、より高画質な画像のtrackを選択し、再生することができる。

したがって、クライアント装置２００は、その高画質化領域の属性に関する情報を用いて、より容易に、所望の領域が高画質となったストリームをユーザに視聴させることができ、ユーザ体験を向上させることができる。

＜ビデオストリームの付加情報としてシグナル＞
例えば、この「他の領域よりも高画質な高画質化領域に関する情報」として、ISOBMFFファイルのProjected Omnidirectional Video Boxにおいて、Quality Emphasized Viewport Information Boxを新たに定義するようにしてもよい。

図６３のシンタックス４４１は、Projected Omnidirectional Video Boxのシンタックスの例を示す。シンタックス４４１（Projected Omnidirectional Video Boxのシンタックス）の上から３行目において、Quality Emphasized Viewport Information Boxが定義されている。

図６４のシンタックス４４２は、そのQuality Emphasized Viewport Information Boxのシンタックスの例を示す。図６５のセマンティクス４４３は、そのQuality Emphasized Viewport Information Boxにおいて追加されたフィールドのセマンティクスの例を示す。

例えば、viewport_typeは、高画質化されている領域の属性を示す情報である。どのような値がどのような属性を示すかは任意である。例えば、このフィールドの値が０の場合、ディレクターズカットを示すようにしてもよい。また、このフィールドの値が１の場合、ユーザに最も視聴されている領域を示すようにしてもよい。さらに、このフィールドの値が２の場合、特定の出演者を追従することを示すようにしてもよい。また、このフィールドの値が２４０乃至２５５の場合、アプリケーション毎に決定されるタイプであることを示すようにしてもよい。

また、例えばviewport_descriptionは、viewport_typeの補足情報としての文字列が定義される情報である。

例えば、ユーザに、ディレクターズカットが高画質化された全天球映像を視聴させたい場合、クライアント装置２００は、viewport_type=0のtrackを選択し、再生すればよい。この時、viewport_descriptionは、例えばviewport_type=0のときは映画監督の名前が、viewport_type=2のときは出演者の名前がシグナルされ、ストリーム選択画面の表示等に用いられるようにしてもよい。

以上のように、この「他の領域よりも高画質な高画質化領域に関する情報」が、ISOBMFFファイルのProjected Omnidirectional Video Box内のQuality Emphasized Viewport Information Boxに格納される、前記高画質化領域の属性を示すviewport_typeを含むようにしてもよい。

＜ProjectionEnhancementBoxの拡張＞
なお、第１の実施の形態において説明したISOBMFFファイルのProjection Enhancement Boxを拡張して、他の領域よりも高画質な高画質化領域に関する情報をシグナルするようにしてもよい。

図６６のシンタックス４４４は、その場合のProjection Enhancement Boxのシンタックスの例を示す。

なお、偏心球面マッピングストリームに限らず、その他のストリーム中でダイナミックに変化するviewport dependentな高画質化にも適用可能である。

＜Timed metadataの付加情報としてシグナル＞
recommended viewport timed metadataに、全天球映像の高画質化領域とrecommended viewportが一致することを示すフラグを追加するようにしてもよい。recommended viewport timed metadataに従い、クライアントの視野変更に関わらずrecommended viewportを表示することで、常に高画質化領域が表示できる。なお、recommended viewport timed metadataのtrackと全天球映像のtrackは、track referenceによる参照関係で紐づけられる。

このようなフラグのシグナルのために、OMAFで定義されたRecommended viewport information Box (RcvpInfoBox) を拡張するようにしてもよい。RvcpInfoBoxは、recommended viewport timed metadataのSampleEntryにシグナルされる。

すなわち、「他の領域よりも高画質な高画質化領域に関する情報」が、ISOBMFFファイルのrecommended viewport timed metadataのRcvpInfoBoxに格納される、その高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグ情報を含むようにしてもよい。

図６７のシンタックス４４５は、そのRcvpInfoBoxのシンタックスの例を示す。また、図６８のセマンティクス４４６は、そのRcvpInfoBoxに追加されたフィールドのセマンティクスの例を示す。

quality_emphasized_region_matching_flagは、高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグである。このフィールドの値が「１」の場合、紐づく全天球映像の高画質化領域とrecommended viewportとが一致することを示す。

なお、図６９に示されるように、quality_emphasized_region_matching_flagをシグナルせず、recommended viewport timed metadataのtrackと全天球映像のtrackとを紐づけるtrack referenceにおいて、特定のreference typeが、timed metadataでシグナルされたrecommended viewportと全天球映像の高画質化領域とが一致することを示す、としてもよい。例えば、reference_type="empr"で参照する場合に、recommended viewportが全天球映像の高画質化領域と一致することを示す、とする。

また、全天球映像を格納するtrackに紐づくrecommended viewport timed metadataでシグナルされるrecommended viewportが、全天球映像の高画質化領域と一致するか否かを示すフラグをシグナルしてもよい。図７０に示されるシンタックス４６１は、Projection Enhancement Boxのシンタックスの例を示す。このシンタックス４６１に示されるように、Projection Enhancement Boxにおいて、全天球映像を格納するtrackに紐づくrecommended viewport timed metadataでシグナルされるrecommended viewportが、全天球映像の高画質化領域と一致するか否かを示すフラグrecommended_viewport_matching_flagを設定するようにしてもよい。このrecommended_viewport_matching_flagの値が１の場合、recommended viewportが全天球映像の高画質化領域と一致することを示す。

＜MPDファイルにおける高画質化領域の属性シグナリング＞
第２の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、上述のISOBMFFファイルの場合と同様に、高画質化されている領域の属性をシグナルすることで、動的に高画質化される領域が変化するストリームに対して、ユーザプリファレンスに応じたストリーム選択を可能にする。

例えば、MPDファイルに含まれる、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、他の領域よりも高画質な高画質化領域に関する情報が含まれるようにしてもよい。

例えば、ファイル生成装置１００のMPDファイル生成部１１３が、他の領域よりも高画質な高画質化領域に関する情報を含む投影平面画像の画質に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置２００のMPDファイル処理部２１３が、MPDファイルに含まれる投影平面画像の画質に関する情報の、他の領域よりも高画質な高画質化領域に関する情報に基づいて、ストリームを選択するようにしてもよい。

＜アップロード処理の流れ＞
その場合の図４のファイル生成装置１００により実行されるアップロード処理の流れの例を、図７１のフローチャートを参照して説明する。

アップロード処理が開始されると、ファイル生成装置１００のデータ入力部１１１は、ステップＳ４８１において、画像とメタデータを取得する。

ステップＳ４８２において、セグメントファイル生成部１２３は、その画像のセグメントファイルを生成する。

ステップＳ４８３において、MPDファイル生成部１１３は、Adaptation Set毎の高画質化領域の属性に関する情報を含むMPDファイルを生成する。

ステップＳ４８４において記録部１１４は、ステップＳ４８３の処理により生成されたMPDファイルを記録する。また、記録部１１４は、ステップＳ４８２の処理により生成されたセグメントファイルを記録する。

ステップＳ４８５において、アップロード部１１５は、ステップＳ４８４において記録されたMPDファイルを記録部１１４より読み出し、それをサーバにアップロードする。また、アップロード部１１５は、ステップＳ４８４において記録されたセグメントファイルを記録部１１４より読み出し、それをサーバにアップロードする。

ステップＳ４８５の処理が終了すると、アップロード処理が終了する。

以上のようにアップロード処理を行うことにより、ファイル生成装置１００は、他の領域よりも高画質な高画質化領域に関する情報を含むMPDファイルを生成することができる。

＜コンテンツ再生処理の流れ＞
次に、このような、他の領域よりも高画質な高画質化領域に関する情報を含むMPDファイルのコンテンツを再生する場合のクライアント装置２００により実行されるコンテンツ再生処理の流れの例を、図７２のフローチャートを参照して説明する。

コンテンツ再生処理が開始されると、クライアント装置２００のMPDファイル取得部２１２は、ステップＳ５０１において、Adaptation Set毎の高画質化領域に関する情報を含むMPDファイルを取得する。

ステップＳ５０２において、表示制御部２１５は、ユーザの視点位置（および視線方向）の計測結果を取得する。

ステップＳ５０３において、計測部２１１は、サーバとクライアント装置２００との間のネットワークの伝送帯域幅を計測する。

ステップＳ５０４において、MPDファイル処理部２１３は、ステップＳ５０１において取得したMPDファイルに含まれる高画質化領域の属性に関する情報に基づいて、Adaptation Set毎の高画質化領域の属性を識別し、表示し、その表示に基づいて入力されるユーザの好みに応じてAdaptation Setを選択する。

ステップＳ５０５において、MPDファイル処理部２１３は、ステップＳ５０４において選択されたAdatation Setから、所望のリプレゼンテーション（Representation）を選択する。

ステップＳ５０６において、セグメントファイル取得部２１４は、ステップＳ５０４およびＳ５０５において選択されたAdaptation SetやRepresentationを含むセグメントファイルを取得する。

ステップＳ５０７において、セグメントファイル処理部２２１は、ステップＳ５０６において取得されたセグメントファイルから符号化データを抽出する。

ステップＳ５０８において、デコード部２２２は、ステップＳ５０７において抽出されたストリームの符号化データを復号する。

ステップＳ５０９において、表示情報生成部２２３は、ステップＳ５０８において復号されて得られたストリーム（コンテンツ）を再生する。より具体的には、表示情報生成部２２３は、そのストリームから表示用画像のデータを生成し、それを表示部２１７に供給し、表示させる。

ステップＳ５０９の処理が終了すると、コンテンツ再生処理が終了する。

以上のようにコンテンツ再生処理を行うことにより、クライアント装置２００は、MPDファイルに含まれるプロジェクション拡張方法に対応する高画質化領域の属性に関する情報を利用して、より高画質な画像のAdaptation Setを選択し、再生することができる。

＜ビデオストリームの付加情報としてシグナル＞
MPDファイルにおいてシグナルする場合、例えば、この「他の領域よりも高画質な高画質化領域に関する情報」として、MPDファイルにおいて新たにQuality emphasized viewport info descriptorを定義するようにしてもよい。

例えば、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:qevi"のSupplemental PropertyをQuality emphasized viewport info descriptorとして定義するようにしてもよい。また、同じschemeIdUriのEssential Propertyを用いてもよい。なお、Quality emphasized viewport info descriptorは、上述の例に限らず、例えば、AdaptationSetやRepresentationレベルにも存在可能である。

図７３の属性値４７１は、このQuality emphasized viewport info descriptorの属性値の例を示す。この属性値４７１に示されるomaf:@viewport_typeは、データタイプがxs:unsignedByteであり、高画質化されている領域の属性を示す。

どのような値がどのような属性を示すかは任意である。例えば、この属性値が０の場合、ディレクターズカットであることを示すようにしてもよい。また、この属性値が１の場合、ユーザに最も視聴されている領域であることを示すようにしてもよい。さらに、この属性値が２の場合、特定の出演者を追従することを示すようにしてもよい。また、例えば、この属性値が２４０乃至２５５の場合、アプリケーション毎に決定されるタイプであることを示すようにしてもよい。

また、属性値４７１に示されるomaf:@viewport_descriptionは、データタイプがxs:stringであり、viewport_typeの補足情報としての文字列を示す。

図７４に示されるデータタイプ４７２は、この場合のデータタイプの定義の例を示す。

つまり、他の領域よりも高画質な高画質化領域に関する情報は、MPDファイルに定義されるQuality emphasized viewport info descriptorの、その高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含むようにしてもよい。

＜ProjectionEnhancementBoxの拡張＞
なお、Projection enhancement descriptorを拡張して、他の領域よりも高画質な高画質化領域に関する情報をシグナルするようにしてもよい。

＜Timed metadataの付加情報としてシグナル＞
また、Recommended viewport information descriptorを新たに定義し、全天球映像の高画質化領域の属性と、高画質化領域がrecommended viewportと一致するか否かを示すフラグをシグナルするようにしてもよい。

その場合、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:rvif"のSupplemental PropertyをProjection enhancement descriptorとして定義する。また、同じschemeIdUriのEssential Propertyを用いてもよい。なお、このdescriptorは、上述の例に限らず、Adaptation SetやRepresentationレベルにも存在可能である。

また、recommended viewport timed metadataのRepresentationと全天球映像のRepresentationは、@associationIdおよび@associationTypeによって紐づけられる。

図７５に示される属性値４７３は、Recommended viewport information descriptorの属性値の例を示す。omaf:@viewport_typeは、データタイプがxs:unsignedByteであり、recommended viewportのタイプを示す属性値である。

どのような値がどのようなタイプを示すかは任意である。例えば、この属性値の値が０の場合、ディレクターズカットであることを示すとしてもよい。また、この属性値の値が１の場合、ユーザに最も視聴されている領域を示すとしてもよい。また、この属性値の値が３の場合、特定の出演者を追従することを示すとしてもよい。また、この属性値が２４０乃至２５５の場合、アプリケーション毎に決定されるタイプを示すとしてもよい。

また、omaf:@viewport_descriptionは、データタイプがxs:stringであり、viewport_typeの補足情報としての文字列を示す属性値である。

また、omaf:@quality_emphasized_region_matching_flagは、データタイプがxs:booleanであり、全天球映像の高画質化領域とrecommended viewportがマッチすることを示す属性値である。例えば、この属性値の値が１の場合、紐づく全天球映像の高画質化領域とrecommended viewportがマッチすることを示すようにしてもよい。

つまり、他の領域よりも高画質な高画質化領域に関する情報が、MPDファイルに定義されるRecommended viewport information descriptorの、その高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含むようにしてもよい。

なお、図７６のデータタイプ４７４は、この場合のデータタイプの定義の例を示す。

クライアントは、このdescriptorから紐づくストリームの高画質化領域の属性を識別し、ストリーム選択を行うことができる。

なお、omaf:@quality_emphasized_region_matching_flagをシグナルせず、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際、特定の@associationTypeが、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す、としてもよい。例えば、@associationType="empr"で紐づけられる場合に、recommended viewportと全天球映像の高画質化領域が一致することを示すとする。図７７のMPD４７５は、その場合のMPDの例を示す。

なお、Projection enhancement descriptorを拡張し、全天球映像を格納するtrackに紐づくrecommended viewport timed metadataでシグナルされるrecommended viewportが、全天球映像の高画質化領域と一致するか否かを示すフラグrecommended_viewport_matching_flagを設定するようにしてもよい。

ここまで、高画質化される領域の決定は、コンテンツ生成側で行われている例を扱ったが、クライアント装置２００が、プリファレンス情報（例えば、特定の登場人物等）を、ストリームを配信するサーバに送信することで、そのサーバが動的にクライアントの望む対象を高画質化したストリームをエンコードし、配信するようにしてもよい。

＜５．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図７８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図７８に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
以上においては、ISOBMFFファイルまたはMPDファイルに本技術を適用する場合について説明したが、本技術は、これらの例に限らず、プロジェクション拡張を適用して立体構造画像を単数の平面にマッピングした投影平面画像のストリームを配信する、任意の規格のファイルに対して適用することができる。つまり、上述した本技術と矛盾しない限り、配信制御、ファイル形式、符号化・復号方式等の各種処理の仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。

また、以上においては、本技術の適用例としてファイル生成装置１００やクライアント装置２００について説明したが、本技術は、任意の構成に適用することができる。

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部
を備える情報処理装置。
（２）前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含む
（１）に記載の情報処理装置。
（３）前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含む
（１）または（２）に記載の情報処理装置。
（４）前記プロジェクション拡張のタイプは、EAC（Equi-Angular Cubemap）を含む
（３）に記載の情報処理装置。
（５）前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
（３）または（４）に記載の情報処理装置。
（６）前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含む
（１）乃至（５）のいずれかに記載の情報処理装置。
（７）前記投影方法は、ERP（Equirectanglar projection）を含む
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）前記投影方法は、CMP（Cubemap projection）を含む
（１）乃至（７）のいずれかに記載の情報処理装置。
（９）前記ファイル生成部は、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む前記ファイルを生成する
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Boxに格納される
（９）に記載の情報処理装置。
（１１）前記プロジェクション拡張に関する情報は、前記Projected Omnidirectional Video Boxに格納される、当該Boxが存在することによってプロジェクション拡張が適用されていることを示すProjection_Enhancement_Boxを含む
（１０）に記載の情報処理装置。
（１２）前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、適用される前記プロジェクション拡張のタイプを示すenhancement_typeを含む
（１１）に記載の情報処理装置。
（１３）前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、前記プロジェクション拡張のタイプ毎の、前記立体構造へのレンダリングに必要な情報を含む
（１２）に記載の情報処理装置。
（１４）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルに格納される、前記プロジェクション拡張のタイプ専用のBoxを含む
（９）乃至（１３）のいずれかに記載の情報処理装置。
（１５）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成する
情報処理方法。

（２１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
（２２）前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張が適用されているかを示す情報に基づいてプロジェクション拡張が適用されているかの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
（２１）に記載の情報処理装置。
（２３）前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張のタイプを示す情報に基づいて適用されるプロジェクション拡張のタイプの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
（２１）または（２２）に記載の情報処理装置。
（２４）前記プロジェクション拡張のタイプは、EAC（Equi-Angular Cubemap）を含む
（２３）に記載の情報処理装置。
（２５）前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
（２３）または（２４）に記載の情報処理装置。
（２６）前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含み、
前記画像処理部は、前記立体構造へのレンダリングに必要な情報を用いて、選択したストリームから得られる画像の前記立体構造へのレンダリングを行う
（２１）乃至（２５）のいずれかに記載の情報処理装置。
（２７）前記投影方法は、ERP（Equirectanglar projection）を含む
（２１）乃至（２６）のいずれかに記載の情報処理装置。
（２８）前記投影方法は、CMP（Cubemap projection）を含む
（２１）乃至（２７）のいずれかに記載の情報処理装置。
（２９）前記ファイルは、前記プロジェクション拡張に関する情報を、前記画像符号化データのストリーム毎の情報として含む
（２１）乃至（２８）のいずれかに記載の情報処理装置。
（３０）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Boxに格納される
（２９）に記載の情報処理装置。
（３１）前記プロジェクション拡張に関する情報は、前記Projected Omnidirectional Video Boxに格納される、当該Boxが存在することによってプロジェクション拡張が適用されていることを示すProjection_Enhancement_Boxを含む
（３０）に記載の情報処理装置。
（３２）前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、適用される前記プロジェクション拡張のタイプを示すenhancement_typeを含む
（３１）に記載の情報処理装置。
（３３）前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、前記プロジェクション拡張のタイプ毎の、前記立体構造へのレンダリングに必要な情報を含む
（３２）に記載の情報処理装置。
（３４）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルに格納される、前記プロジェクション拡張のタイプ専用のBoxを含む
（２９）乃至（３３）のいずれかに記載の情報処理装置。
（３５）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、
取得された前記ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。

（４１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部
を備える情報処理装置。
（４２）前記画質に関する情報は、Quality rankingに関する情報を含む
（４１）に記載の情報処理装置。
（４３）前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
（４２）に記載の情報処理装置。
（４４）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記Quality rankingに関する情報は、Sphere_Region_Quality_Ranking_Boxを含む
（４３）に記載の情報処理装置。
（４５）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記Quality rankingに関する情報は、2D_Region_Quality_Ranking_Boxを含む
（４３）または（４４）に記載の情報処理装置。
（４６）前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含む
（４３）乃至（４５）のいずれかに記載の情報処理装置。
（４７）前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
（４６）に記載の情報処理装置。
（４８）前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
（４６）または（４７）に記載の情報処理装置。
（４９）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
（４６）乃至（４８）のいずれかに記載の情報処理装置。
（５０）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
（４６）乃至（４９）のいずれかに記載の情報処理装置。
（５１）前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
（４２）に記載の情報処理装置。
（５２）前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
（５１）に記載の情報処理装置。
（５３）前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む（４２）に記載の情報処理装置。
（５４）前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含む
（４１）乃至（５４）のいずれかに記載の情報処理装置。
（５５）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のQuality Emphasized Viewport Information Boxに格納される、前記高画質化領域の属性を示すviewport_typeを含む
（５４）に記載の情報処理装置。
（５６）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのrecommended viewport timed metadataのRcvpInfoBoxに格納される、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグ情報を含む
（５４）または（５５）に記載の情報処理装置。
（５７）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのtrackと全天球映像のtrackとを紐づけるtrack referenceの、timed metadataでシグナルされたrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値のreference_typeを含む
（５４）乃至（５６）のいずれかに記載の情報処理装置。
（５８）前記プロジェクション拡張のタイプは、偏心球面マッピングである
（４１）乃至（５７）のいずれかに記載の情報処理装置。
（５９）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを生成する
情報処理方法。

（６１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
（６２）前記画質に関する情報は、Quality rankingに関する情報を含み、
前記画像処理部は、前記Quality rankingに関する情報に基づいて前記ストリームの選択を行うように構成される
（６１）に記載の情報処理装置。
（６３）前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
（６２）に記載の情報処理装置。
（６４）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記Quality rankingに関する情報は、Sphere_Region_Quality_Ranking_Boxを含む
（６３）に記載の情報処理装置。
（６５）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記Quality rankingに関する情報は、2D_Region_Quality_Ranking_Boxを含む
（６３）または（６４）に記載の情報処理装置。
（６６）前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含み、
前記画像処理部は、前記領域の重なりに関する情報に基づいて前記ストリームの選択を行う
（６３）乃至（６５）に記載の情報処理装置。
（６７）前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
（６６）に記載の情報処理装置。
（６８）前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
（６６）または（６７）に記載の情報処理装置。
（６９）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
（６６）乃至（６８）のいずれかに記載の情報処理装置。
（７０）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
（６６）乃至（６９）のいずれかに記載の情報処理装置。
（７１）前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
（６２）のいずれかに記載の情報処理装置。
（７２）前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
（７１）に記載の情報処理装置。
（７３）前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む（６２）に記載の情報処理装置。
（７４）前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含み、
前記画像処理部は、前記高画質領域に関する情報に基づいて前記ストリームの選択を行うように構成される
（６１）乃至（７３）のいずれかに記載の情報処理装置。
（７５）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のQuality Emphasized Viewport Information Boxに格納される、前記高画質化領域の属性を示すviewport_typeを含む
（７４）に記載の情報処理装置。
（７６）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのrecommended viewport timed metadataのRcvpInfoBoxに格納される、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグ情報を含む
（７４）または（７５）に記載の情報処理装置。
（７７）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのtrackと全天球映像のtrackとを紐づけるtrack referenceの、timed metadataでシグナルされたrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値のreference_typeを含む
（７４）乃至（７６）のいずれかに記載の情報処理装置。
（７８）前記プロジェクション拡張のタイプは、偏心球面マッピングである
（６１）乃至（７７）に記載の情報処理装置。
（７９）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを取得し、
取得された前記ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。

（８１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部
を備える情報処理装置。
（８２）前記オフセットに関する情報は、前記オフセットの方向に関する情報および前記オフセットの大きさに関する情報を含む
（８１）に記載の情報処理装置。
（８３）前記オフセットの方向に関する情報は、前記オフセットの方向の方位角に関する情報および前記オフセットの方向の仰角に関する情報を含む
（８２）に記載の情報処理装置。
（８４）前記オフセットに関する情報は、前記画像符号化データのストリーム中において固定である
（８１）乃至（８３）のいずれかに記載の情報処理装置。
（８５）前記ファイル生成部は、前記オフセットに関する情報を前記画像符号化データのストリーム毎の情報として含む前記ファイルを生成する
（８４）に記載の情報処理装置。
（８６）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のProjection Enhancement Boxに格納される、前記オフセットの方向の方位角を示すoffset_azimuth、前記オフセットの方向の仰角を示すoffset_elevation、および、前記オフセットの大きさを示すoffset_valueを含む
（８５）に記載の情報処理装置。
（８７）前記オフセットに関する情報は、前記画像符号化データのストリーム中において動的に変化する
（８１）乃至（８３）のいずれかに記載の情報処理装置。
（８８）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、Supplemental Enhancement information messageに格納される
（８７）に記載の情報処理装置。
（８９）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、timed metadataに格納される
（８７）または（８８）に記載の情報処理装置。
（９０）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、Sample Group Entyに格納される
（８７）乃至（８９）のいずれかに記載の情報処理装置。
（９１）前記オフセットに関する情報は、前記オフセットに関する情報が前記ストリーム中において動的に変化するかを示す情報を含む
（８７）乃至（９０）のいずれかに記載の情報処理装置。
（９２）前記プロジェクション拡張のタイプは、偏心球面マッピングである
（８１）乃至（９１）のいずれかに記載の情報処理装置。
（９３）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成する
情報処理方法。

（１０１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記ファイルに含まれる前記オフセットに関する情報に基づいて、前記画像符号化データより得られた前記投影平面画像の立体構造へのレンダリングを行う画像処理部と
を備える情報処理装置。
（１０２）前記オフセットに関する情報は、前記オフセットの方向に関する情報および前記オフセットの大きさに関する情報を含み、
前記画像処理部は、前記オフセットの方向に関する情報および前記オフセットの大きさに関する情報に基づいて、前記レンダリングを行う
（１０１）に記載の情報処理装置。
（１０３）前記オフセットの方向に関する情報は、前記オフセットの方向の方位角に関する情報および前記オフセットの方向の仰角に関する情報を含む
（１０２）に記載の情報処理装置。
（１０４）前記オフセットに関する情報は、前記画像符号化データのストリーム中において固定である
（１０１）乃至（１０３）のいずれかに記載の情報処理装置。
（１０５）前記ファイルは、前記オフセットに関する情報を前記画像符号化データのストリーム毎の情報として含む
（１０４）に記載の情報処理装置。
（１０６）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のProjection Enhancement Boxに格納される、前記オフセットの方向の方位角を示すoffset_azimuth、前記オフセットの方向の仰角を示すoffset_elevation、および、前記オフセットの大きさを示すoffset_valueを含む
（１０５）に記載の情報処理装置。
（１０７）前記オフセットに関する情報は、前記画像符号化データのストリーム中において動的に変化する
（１０１）乃至（１０３）のいずれかに記載の情報処理装置。
（１０８）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、Supplemental Enhancement information messageに格納される
（１０７）に記載の情報処理装置。
（１０９）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、timed metadataに格納される
（１０７）または（１０８）に記載の情報処理装置。
（１１０）前記ファイルは、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルであり、
前記オフセットに関する情報は、Sample Group Entyに格納される
（１０７）乃至（１０９）のいずれかに記載の情報処理装置。
（１１１）前記オフセットに関する情報は、前記オフセットに関する情報が前記ストリーム中において動的に変化するかを示す情報を含む
（１０７）乃至（１１０）のいずれかに記載の情報処理装置。
（１１２）前記プロジェクション拡張のタイプは、偏心球面マッピングである
（１０１）乃至（１１１）のいずれかに記載の情報処理装置。
（１１３）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、
取得された前記ファイルに含まれる前記オフセットに関する情報に基づいて、前記画像符号化データより得られた前記投影平面画像の立体構造へのレンダリングを行う
情報処理方法。

（１２１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
（１２２）前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含む
（１２１）に記載の情報処理装置。
（１２３）前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含む
（１２１）または（１２２）に記載の情報処理装置。
（１２４）前記プロジェクション拡張のタイプは、EAC（Equi-Angular Cubemap）を含む
（１２３）に記載の情報処理装置。
（１２５）前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
（１２３）または（１２４）に記載の情報処理装置。
（１２６）前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含む
（１２１）乃至（１２５）のいずれかに記載の情報処理装置。
（１２７）前記投影方法は、ERP（Equirectanglar projection）を含む
（１２１）乃至（１２６）のいずれかに記載の情報処理装置。
（１２８）前記投影方法は、CMP（Cubemap projection）を含む
（１２１）乃至（１２７）のいずれかに記載の情報処理装置。
（１２９）前記ファイル生成部は、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む前記制御ファイルを生成する
（１２１）乃至（１２８）のいずれかに記載の情報処理装置。
（１３０）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記プロジェクション拡張に関する情報は、前記MPDファイルに定義されるProjection enhancement descriptorの、適用された前記プロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeを含む
（１２９）に記載の情報処理装置。
（１３１）前記プロジェクション拡張に関する情報は、さらに、前記MPDファイルに定義されるProjection format descriptorの、前記プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含む
（１３０）に記載の情報処理装置。
（１３２）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。

（１４１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
（１４２）前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張が適用されているかを示す情報に基づいてプロジェクション拡張が適用されているかの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
（１４１）に記載の情報処理装置。
（１４３）前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張のタイプを示す情報に基づいて適用されるプロジェクション拡張のタイプの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
（１４１）または（１４２）に記載の情報処理装置。
（１４４）前記プロジェクション拡張のタイプは、EAC（Equi-Angular Cubemap）を含む
（１４３）に記載の情報処理装置。
（１４５）前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
（１４３）または（１４４）に記載の情報処理装置。
（１４６）前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含み、
前記画像処理部は、前記立体構造へのレンダリングに必要な情報を用いて、選択したストリームから得られる画像の前記立体構造へのレンダリングを行う
（１４１）乃至（１４５）のいずれかに記載の情報処理装置。
（１４７）前記投影方法は、ERP（Equirectanglar projection）を含む
（１４１）乃至（１４６）のいずれかに記載の情報処理装置。
（１４８）前記投影方法は、CMP（Cubemap projection）を含む
（１４１）乃至（１４７）のいずれかに記載の情報処理装置。
（１４９）前記制御ファイルは、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む
（１４１）乃至（１４８）のいずれかに記載の情報処理装置。
（１５０）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記プロジェクション拡張に関する情報は、前記MPDファイルに定義されるProjection enhancement descriptorの、適用された前記プロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeを含む
（１４９）に記載の情報処理装置。
（１５１）前記プロジェクション拡張に関する情報は、さらに、前記MPDファイルに定義されるProjection format descriptorの、前記プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含む
（１５０）に記載の情報処理装置。
（１５２）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。

（１６１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
（１６２）前記画質に関する情報は、Quality rankingに関する情報を含む
（１６１）に記載の情報処理装置。
（１６３）前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
（１６２）に記載の情報処理装置。
（１６４）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記Quality rankingに関する情報は、spherical region-wise quality ranking descriptorを含む
（１６３）に記載の情報処理装置。
（１６５）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記Quality rankingに関する情報は、2D region-wise quality ranking descriptorを含む
（１６３）または（１６４）に記載の情報処理装置。
（１６６）前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含む
（１６３）乃至（１６５）のいずれかに記載の情報処理装置。
（１６７）前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
（１６６）に記載の情報処理装置。
（１６８）前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
（１６６）または（１６７）に記載の情報処理装置。
（１６９）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
（１６６）乃至（１６８）のいずれかに記載の情報処理装置。
（１７０）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
（１６６）乃至（１６９）のいずれかに記載の情報処理装置。
（１７１）前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
（１６２）に記載の情報処理装置。
（１７２）前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
（１７１）に記載の情報処理装置。
（１７３）前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む（１６２）に記載の情報処理装置。
（１７４）前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含む
（１６１）乃至（１７３）のいずれかに記載の情報処理装置。
（１７５）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるQuality emphasized viewport info descriptorの、前記高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含む
（１７４）に記載の情報処理装置。
（１７６）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるRecommended viewport information descriptorの、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含む
（１７４）または（１７５）に記載の情報処理装置。
（１７７）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際の、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値の前記@associationTypeを含む
（１７４）乃至（１７６）のいずれかに記載の情報処理装置。
（１７８）前記プロジェクション拡張のタイプは、偏心球面マッピングである
（１６１）乃至（１７７）のいずれかに記載の情報処理装置。
（１７９）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。

（１８１）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
（１８２）前記画質に関する情報は、Quality rankingに関する情報を含み、
前記画像処理部は、前記Quality rankingに関する情報に基づいて前記ストリームの選択を行う
（１８１）に記載の情報処理装置。
（１８３）前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
（１８２）に記載の情報処理装置。
（１８４）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記Quality rankingに関する情報は、spherical region-wise quality ranking descriptorを含む
（１８３）に記載の情報処理装置。
（１８５）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記Quality rankingに関する情報は、2D region-wise quality ranking descriptorを含む
（１８３）または（１８４）に記載の情報処理装置。
（１８６）前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含む
（１８３）乃至（１８５）のいずれかに記載の情報処理装置。
（１８７）前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
（１８６）に記載の情報処理装置。
（１８８）前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
（１８６）または（１８７）に記載の情報処理装置。
（１８９）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
（１８６）乃至（１８８）のいずれかに記載の情報処理装置。
（１９０）前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
（１８６）乃至（１８９）のいずれかに記載の情報処理装置。
（１９１）前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
（１８２）に記載の情報処理装置。
（１９２）前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
（１９１）に記載の情報処理装置。
（１９３）前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む（１８２）に記載の情報処理装置。
（１９４）前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含み、
前記画像処理部は、前記高画質領域に関する情報に基づいて前記ストリームの選択を行う
（１８１）乃至（１９３）のいずれかに記載の情報処理装置。
（１９５）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるQuality emphasized viewport info descriptorの、前記高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含む
（１９４）に記載の情報処理装置。
（１９６）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるRecommended viewport information descriptorの、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含む
（１９４）または（１９５）に記載の情報処理装置。
（１９７）前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際の、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値の前記@associationTypeを含む
（１９４）乃至（１９６）のいずれかに記載の情報処理装置。
（１９８）前記プロジェクション拡張のタイプは、偏心球面マッピングである
（１８１）乃至（１９６）のいずれかに記載の情報処理装置。
（１９９）立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。

１００ファイル生成装置，１０１制御部，１０２メモリ，１０３ファイル生成部，１１１データ入力部，１１２データ符号化・生成部，１１３ MPDファイル生成部，１１４記録部, １１５アップロード部，１２１前処理部，１２２エンコード部，１２３セグメントファイル生成部，２００クライアント装置，２０１制御部，２０２メモリ，２０３再生処理部，２１１計測部，２１２ MPDファイル取得部，２１３ MPDファイル処理部，２１４セグメントファイル取得部，２１５表示制御部，２１６データ解析・復号部，２１７表示部，２２１セグメントファイル処理部，２２２デコード部，２２３表示情報生成部，９００コンピュータ

Claims

立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含む
請求項１に記載の情報処理装置。
前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含む
請求項１に記載の情報処理装置。
前記ファイル生成部は、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む前記制御ファイルを生成する
請求項１に記載の情報処理装置。
前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記プロジェクション拡張に関する情報は、前記MPDファイルに定義されるProjection enhancement descriptorの、適用された前記プロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeを含む
請求項４に記載の情報処理装置。
前記プロジェクション拡張に関する情報は、さらに、前記MPDファイルに定義されるProjection format descriptorの、前記プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含む
請求項５に記載の情報処理装置。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
前記画質に関する情報は、Quality rankingに関する情報を含む
請求項１０に記載の情報処理装置。
前記Quality rankingに関する情報は、画像全体について領域の重なりの有無を示す情報を含む
請求項１１に記載の情報処理装置。
前記Quality rankingに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
請求項１１に記載の情報処理装置。
前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含む
請求項１０に記載の情報処理装置。
前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるQuality emphasized viewport info descriptorの、前記高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含む
請求項１４に記載の情報処理装置。
前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるRecommended viewport information descriptorの、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含む
請求項１４に記載の情報処理装置。
前記制御ファイルは、MPD（Media Presentation Description）ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際の、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値の前記@associationTypeを含む
請求項１４のいずれかに記載の情報処理装置。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。